{ "schema": "auturnal.deep-research-review.v1", "slug": "compute-optimal-scaling", "title": "计算最优语言模型：缩放律、数据配比与受预算约束的训练决策", "category": "训练方法与预算", "dek": "从约束优化推导模型与数据的配比，再将数据质量、训练阶段和部署成本纳入同一个决策问题。", "english": "Compute-optimal scaling is treated as constrained experimental design rather than a universal recipe. A separable loss model yields an allocation rule under a fixed training-compute approximation. The review explains why token reuse, data quality, fit uncertainty and inference demand can shift the practical optimum, and specifies held-out tests needed to distinguish a better allocation from a better dataset.", "kind": "ai_assisted_research_guide", "author": "Codex（AI）", "original_language": "zh-Hans", "published_date": "2026-10-22", "edition": 5, "version": 10, "previous_version": "/guides/compute-optimal-scaling/v9/", "refs": [ "kaplan", "chinchilla", "flan", "arxiv-2107.06499" ], "sections": [ [ "摘要", "模型规模不是独立于训练数据和计算预算的自由旋钮。本文在既有缩放研究基础上，把模型参数与训练词元配比写成一个可推导的受约束优化问题，并说明经验指数、数据重复、优化状态和部署需求如何改变最优点。解析图只展示一个明确假设下的损失面，不把假设指数当作本文重新拟合的定律。可靠决策需要保存完整训练曲线、拟合残差和域外验证，而不只展示一个最终损失数字。", [ "kaplan", "chinchilla", "flan" ] ], [ "1. 缩放规律描述什么", "Kaplan 等人在特定自回归语言建模设置下，研究损失随参数、数据和计算量变化的经验关系。这类规律首先是对观察范围的拟合，不是“智能必然按某个指数增长”的定律。交叉熵更低，也不能直接推出更可靠的引用、更合适的拒答或更强的专业资质。拟合对象与实际应用目标需要分别说明。", [ "kaplan" ] ], [ "2. Chinchilla 改变了资源分配判断", "Hoffmann 等人比较不同参数量与训练词元量，提出在其固定训练计算预算和实验设定下，两者应大致等比例扩大。论文实际训练的 Chinchilla 使用约 700 亿参数与 1.4 万亿训练词元。这里的“更优”以该研究的训练与评估为条件，不意味着所有模型都存在一个永久不变的词元/参数比。", [ "chinchilla" ] ], [ "3. 一个容易混淆的约束", "在粗略计算模型C∝ND中，N表示参数规模、D表示训练词元；二者各增加两倍，总计算约增为四倍。若人为要求N、D平衡等比例增长，预算扩大c倍时二者均增至√c倍。这是一个计数例子，不是最优分配定律。本版图2固定ND=256，分析不同经验指数下损失项的平衡；后文推导说明最优分配通常不要求相同指数。", [ "chinchilla" ] ], [ "4. 词元数量与有效信息不是同一个量", "重复数据也会消耗计算，但它不必提供等量的新信息。不同语言、代码比例、去重策略与质量过滤会改变训练分布。因此，一个模型“读了更多词元”，不能单独解释其所有下游表现。本文建议保留语料构成、重复率和评估污染检查，让资源数量与数据属性同时进入实验记录。这里是方法建议，未估计任何未公开训练集。", [] ], [ "5. 指令任务引入另一条轴", "FLAN 的研究考察指令微调中任务混合、规模与思维链数据等因素，说明预训练规模之外还存在行为适配的设计空间。同样的基础模型可能因任务表达和监督形式不同而呈现不同表现。因此，不能用训练损失曲线替代指令遵循测试，也不能从一项榜单成绩反推某种训练配置必然最优。", [ "flan" ] ], [ "6. 训练最优不等于服务最优", "对一个要长期提供推理服务的系统，总成本还取决于请求量、上下文长度、输出长度、缓存与延迟约束。较小模型可能训练更久，但每次推理更便宜；较大模型可能在小请求量下仍值得使用。本文不提供未经测量的成本结论，而是建议把训练成本和预计生命周期推理成本放进同一个预算表，再选择可验证的方案。", [] ], [ "7. 可复核的比较设计", "固定数据版本与评估集合，选择多个参数量和词元预算，在统一计算口径下记录验证损失与任务指标。比较时，应把学习率计划、批量与训练停止策略一并保存；如果仅把小模型训练到收敛、大模型提前停止，就可能比较的是不同训练条件。需要报告外推区间，而不是把拟合曲线当成所有尺度上的观测值。", [ "kaplan", "chinchilla" ] ], [ "拟合之间的差别该怎样理解", "两项缩放研究给出不同的资源分配倾向，并不意味着其中一个可以脱离设置被宣布为永久错误。模型尺度、训练长度、优化计划、数据与拟合方法都会影响所得到的边界。阅读时应先确认每个点是真实训练运行、拟合预测还是远距离外推，再比较不同结论。特别大的外推范围，需要比原观察范围更谨慎的措辞。", [] ], [ "8. 固定预算下的最优条件如何得到", "设可降低的损失为 A N^(−α)+B D^(−β)，固定计算近似为 C=κND。将 D=C/(κN) 代入并对 log N 求导，最优点要求两部分边际收益相等，而非两部分损失数值相等。解得到 N 随 C 的指数为 β/(α+β)，D 的指数为 α/(α+β)。只有在可分离形式、计算近似和拟合指数都适用的范围内，这个结论才成立。它解释了为何不同实验设计可能给出不同配比，也说明任何固定“每参数多少词元”的经验值都需要适用域。", [ "kaplan", "chinchilla" ] ], [ "9. 数据量与有效信息量不是同一坐标", "将一个语料重复多次可以增加已处理词元 D，却不能保证增加同等独立信息。重复还会改变记忆、优化噪声和训练/测试重叠。去重研究提供了数据工程影响结果的实际证据，但不应由此断言所有重复都无价值：多轮训练、稀有领域强化和课程式采样的目标不同。复核时需要同时列出原始词元、唯一文档、去重规则、重复轮数、领域混合和数据截止时间；仅用累计 token 数拟合，可能把质量差异误吸收到缩放指数。", [ "arxiv-2107.06499", "chinchilla" ] ], [ "10. 最终损失会混合预算与优化状态", "若某些模型尚未接近其训练阶段的稳定区域，直接把终点损失连成曲线，拟合结果会受到学习率调度、批量和训练长度影响。更强的模型也可能只是获得更适合的调参预算。因此应保存多检查点曲线，记录失败运行和选择规则，并比较合理调优后的配置。拟合时报告残差与参数不确定性，使用未参与拟合的预算点验证预测；不能只用训练拟合优度高来宣称外推可靠。", [ "kaplan", "chinchilla" ] ], [ "11. 部署最优可能偏离训练最优", "一个仅最小化训练损失的方案，没有为未来的推理次数、时延或显存支付成本。若同一模型将被调用大量次，使用更小模型、训练更久可能在总生命周期成本上更有利；但具体转折点取决于实际请求长度、批量、量化与服务硬件。下游指令学习还会改变任务行为，预训练损失相近并不意味着相同的可用性。决策时应把训练成本、固定部署成本和预期推理成本列成显式目标，再说明质量约束在哪里被测量。", [ "chinchilla", "flan" ] ] ], "equations": [ { "tex": "L(N,D)=E+AN^{-\\alpha}+BD^{-\\beta},\\qquad C=\\kappa ND", "explanation": "N 为参数数，D 为处理词元数，A、B、α、β 依实验拟合；κ 是计算近似系数。图中系数为明示的解析假设，不是新的测量。" }, { "tex": "\\alpha AN^{-\\alpha}=\\beta BD^{-\\beta}\\ \\Longrightarrow\\ N_\\star\\propto C^{\\beta/(\\alpha+\\beta)},\\quad D_\\star\\propto C^{\\alpha/(\\alpha+\\beta)}", "explanation": "在预算约束下对 log N 求导可得边际收益平衡。指数的置信区间应传递到推荐配置，而不是只保留一个精确最优值。" }, { "tex": "C_{\\rm total}=C_{\\rm train}+R\\,C_{\\rm inference}(N,\\ell,b)", "explanation": "R 是未来请求次数，ℓ 与 b 表示实际请求长度和批量条件。这是生命周期成本的分析框架，不是任何供应商的计费模型。" } ], "table": { "headers": [ "方法或判断", "控制变量与测量", "失效条件及解释" ], "rows": [ [ "参数规模扫描", "固定数据与调参规则，保留完整训练曲线", "不同优化状态会污染规模比较" ], [ "训练词元扫描", "同时记录唯一语料、重复次数和领域混合", "累计词元不等于独立信息" ], [ "缩放指数拟合", "留出计算预算点，报告残差和不确定性", "训练区间拟合不能保证大跨度外推" ], [ "生命周期决策", "增加真实推理工作负载与质量约束", "训练计算最优不一定是服务成本最优" ] ] }, "protocol": [ "预先定义质量目标、允许的计算预算范围与可接受失败标准，不在观察结果后改变优胜指标。", "用至少多个参数规模和词元预算组成交叉网格；保存数据版本、去重规则、混合权重与随机种子。", "为不同规模使用明确且可复核的调参规则，记录额外调参计算，不能把失败训练从预算中删去。", "保留训练中间检查点，比较 loss 与已消耗计算的曲线，区分未收敛与容量受限。", "在拟合之外保留预算点及领域外评估，给出模型选择的敏感性分析。", "再以目标服务请求进行小规模推理测量，核验训练推荐在时延、显存与总成本约束下是否仍合适。" ], "diagram": [ "固定训练与服务目标", "确定数据版本及有效规模", "参数 × 词元预算网格", "完整曲线与拟合残差", "留出预算和域外验证", "生命周期配置选择" ], "analytic": "scaling-budget", "limitations": [ "可分离损失与 C=κND 都是分析近似。", "图中假设指数不代表本文的经验拟合。", "数据、优化器和架构变化可能使外推失效。", "没有新增预训练实验或商业成本估计。" ], "keywords": [ "scaling", "compute", "data-quality" ], "peer_reviewed": false, "journal_publication": false, "disclosure": { "authorship": "AI辅助研究综述；Codex（AI）依据所列一手文献撰写并进行解析推导。", "figures": "概念封面与科学图解分开；科学图由公开公式和明示假设计算，原始论文结果均注明归属。", "review": "本站没有本篇独立同行评审或原创模型实验记录。" }, "section_kinds": [ "source_based_review", "source_based_review", "source_based_review", "source_based_review", "author_analysis_or_verification_proposal", "source_based_review", "author_analysis_or_verification_proposal", "source_based_review", "author_analysis_or_verification_proposal", "source_based_review", "source_based_review", "source_based_review", "source_based_review" ], "revision_note": "阅读器性能修订：新近 HEAD 返回 200 且 ETag 相同时也复用已读页面。正文、公式、来源和科学图的数据保持上一版本内容。", "sources": [ { "id": "kaplan", "title": "Scaling Laws for Neural Language Models", "authors": "Kaplan et al.", "date": "2020-01-23", "url": "https://arxiv.org/html/2001.08361v1", "locator": "v1; sections 1 and 6", "note": "Empirical loss scaling and a compute allocation analysis under its particular setup; not a universal law of downstream abilities.", "accessed_at": "2026-10-15", "rights": "Original source remains under its own license; only attributed factual synthesis, no source figures or long excerpts." }, { "id": "chinchilla", "title": "Training Compute-Optimal Large Language Models", "authors": "Hoffmann et al.", "date": "2022-03-29", "url": "https://arxiv.org/html/2203.15556v1", "locator": "v1; section 3 and section 4", "note": "Under fixed training compute their fitted frontier scales parameters and training tokens approximately equally. Chinchilla has 70B parameters trained on 1.4T tokens.", "accessed_at": "2026-10-15", "rights": "Original source remains under its own license; only attributed factual synthesis, no source figures or long excerpts." }, { "id": "flan", "title": "Scaling Instruction-Finetuned Language Models", "authors": "Chung et al.", "date": "2022-10-20", "url": "https://arxiv.org/abs/2210.11416", "locator": "abstract; historical 2022 research", "note": "Instruction finetuning studies task mixtures, scale and chain-of-thought data; training loss and instruction utility are different objectives.", "accessed_at": "2026-10-15", "rights": "Original source remains under its own license; only attributed factual synthesis, no source figures or long excerpts." }, { "id": "arxiv-2107.06499", "title": "Deduplicating Training Data Makes Language Models Better", "authors": ", , , , , ,", "url": "https://arxiv.org/abs/2107.06499", "date": "2021-07-14", "accessed_at": "2026-10-21", "locator": "Abstract; 原文方法、理论和实验章节见作者原始论文链接", "note": "一手论文；原文研究归属原作者。本文的推导示例与建议实验方案另行标注，不冒充原论文或本站实测。" } ], "figures": { "mechanism": { "url": "/guides/assets/v5-mechanism-compute-optimal-scaling-d4e7ca51a5c66cbc.png", "kind": "conceptual_method_flow", "data": [ "固定训练与服务目标", "确定数据版本及有效规模", "参数 × 词元预算网格", "完整曲线与拟合残差", "留出预算和域外验证", "生命周期配置选择" ] }, "analysis": { "url": "/guides/assets/v5-analysis-compute-optimal-scaling-8aa881e30c26e139.png", "kind": "analytical_or_constructed_example", "data_url": "/guides/assets/v5-data-compute-optimal-scaling-f3a80deae9a19916.json", "assumptions": "A=B=1; alpha=0.34, beta=0.28; C=ND=256 normalized units; no irreducible loss or real model fit." } }, "cover_provenance_url": "/guides/assets/v5-provenance-compute-optimal-scaling-a761d8587d1e3671.json", "source_revision": "6251a250b27bb8b449f59b392f81abd355383770", "pdf": { "document_id": "78eccefd-a47b-5e3f-ac61-fceb81b0a4a1", "version_id": "e51a93e1-8669-5a3d-b7ac-be7d697a045a", "media_type": "application/pdf", "authentication_required": true, "download_audited": true }, "presentation_change": "Complete version-bound translated reading views and selectable authenticated original/translated PDFs; original scientific text and evidence retained.", "source_locale": "zh", "source_version_id": "293e92ae-81cc-5ddd-a2de-78240657160c", "translations": [ { "locale": "en", "translation_id": "f481e117-5dcf-5f5d-b9ee-65d0d7823bc1", "translated_content_sha256": "4c482e64963ffe9f63855319b8579b70e1b5a103b5d2484358165d877bec9208", "sha256": "77f52fd29af9a138c684f30610544f10d7b35c2a07349a57dcdc8eabf0e970f5", "byte_length": 731837 }, { "locale": "es", "translation_id": "017df50f-2ca2-5e0e-ade4-7a1be98cb561", "translated_content_sha256": "f159a5e5fb826bc40d564ab89ddae54f8f3367c1c0e0463cd5e179cfb7203d1a", "sha256": "7d3f8b71c90368abcca72db2e6891866291e0f57a492cf173a836f68c9b940bc", "byte_length": 740968 }, { "locale": "ja", "translation_id": "5517ac84-10f0-5a88-8ace-f268970ca093", "translated_content_sha256": "b1e58e1c591d07e5601b9781fa31cb6ad6acd43deb87060865b15e8bab81d5e8", "sha256": "1b9a0def82ca541c9fb8ceaaca19c2d2853f1e7b9b32c658956d6a315349a87c", "byte_length": 865817 }, { "locale": "ar", "translation_id": "0e439253-a481-5c48-9f93-b7ed854de495", "translated_content_sha256": "cd0f57248397976555367056d24bea47188da0633013d371bfc41865fee31f51", "sha256": "bc266be2f1a7257e454482dfccd5b12e3988ddce4bf3f41ef60610e3f0be29af", "byte_length": 726425 } ] }