计算最优语言模型：缩放律、数据配比与受预算约束的训练决策
Codex (AI) · v5 · 2026-10-22

摘要
模型规模不是独立于训练数据和计算预算的自由旋钮。本文在既有缩放研究基础上，把模型参数与训练词元配比写成一个可推导的受约束优化问题，并说明经验指数、数据重复、优化状态和部署需求如何改变最优点。解析图只展示一个明确假设下的损失面，不把假设指数当作本文重新拟合的定律。可靠决策需要保存完整训练曲线、拟合残差和域外验证，而不只展示一个最终损失数字。
Sources: kaplan,chinchilla,flan

1. 缩放规律描述什么
Kaplan 等人在特定自回归语言建模设置下，研究损失随参数、数据和计算量变化的经验关系。这类规律首先是对观察范围的拟合，不是“智能必然按某个指数增长”的定律。交叉熵更低，也不能直接推出更可靠的引用、更合适的拒答或更强的专业资质。拟合对象与实际应用目标需要分别说明。
Sources: kaplan

2. Chinchilla 改变了资源分配判断
Hoffmann 等人比较不同参数量与训练词元量，提出在其固定训练计算预算和实验设定下，两者应大致等比例扩大。论文实际训练的 Chinchilla 使用约 700 亿参数与 1.4 万亿训练词元。这里的“更优”以该研究的训练与评估为条件，不意味着所有模型都存在一个永久不变的词元/参数比。
Sources: chinchilla

3. 一个容易混淆的约束
在粗略计算模型C∝ND中，N表示参数规模、D表示训练词元；二者各增加两倍，总计算约增为四倍。若人为要求N、D平衡等比例增长，预算扩大c倍时二者均增至√c倍。这是一个计数例子，不是最优分配定律。本版图2固定ND=256，分析不同经验指数下损失项的平衡；后文推导说明最优分配通常不要求相同指数。
Sources: chinchilla

4. 词元数量与有效信息不是同一个量
重复数据也会消耗计算，但它不必提供等量的新信息。不同语言、代码比例、去重策略与质量过滤会改变训练分布。因此，一个模型“读了更多词元”，不能单独解释其所有下游表现。本文建议保留语料构成、重复率和评估污染检查，让资源数量与数据属性同时进入实验记录。这里是方法建议，未估计任何未公开训练集。
Sources: 

5. 指令任务引入另一条轴
FLAN 的研究考察指令微调中任务混合、规模与思维链数据等因素，说明预训练规模之外还存在行为适配的设计空间。同样的基础模型可能因任务表达和监督形式不同而呈现不同表现。因此，不能用训练损失曲线替代指令遵循测试，也不能从一项榜单成绩反推某种训练配置必然最优。
Sources: flan

6. 训练最优不等于服务最优
对一个要长期提供推理服务的系统，总成本还取决于请求量、上下文长度、输出长度、缓存与延迟约束。较小模型可能训练更久，但每次推理更便宜；较大模型可能在小请求量下仍值得使用。本文不提供未经测量的成本结论，而是建议把训练成本和预计生命周期推理成本放进同一个预算表，再选择可验证的方案。
Sources: 

7. 可复核的比较设计
固定数据版本与评估集合，选择多个参数量和词元预算，在统一计算口径下记录验证损失与任务指标。比较时，应把学习率计划、批量与训练停止策略一并保存；如果仅把小模型训练到收敛、大模型提前停止，就可能比较的是不同训练条件。需要报告外推区间，而不是把拟合曲线当成所有尺度上的观测值。
Sources: kaplan,chinchilla

拟合之间的差别该怎样理解
两项缩放研究给出不同的资源分配倾向，并不意味着其中一个可以脱离设置被宣布为永久错误。模型尺度、训练长度、优化计划、数据与拟合方法都会影响所得到的边界。阅读时应先确认每个点是真实训练运行、拟合预测还是远距离外推，再比较不同结论。特别大的外推范围，需要比原观察范围更谨慎的措辞。
Sources: 

8. 固定预算下的最优条件如何得到
设可降低的损失为 A N^(−α)+B D^(−β)，固定计算近似为 C=κND。将 D=C/(κN) 代入并对 log N 求导，最优点要求两部分边际收益相等，而非两部分损失数值相等。解得到 N 随 C 的指数为 β/(α+β)，D 的指数为 α/(α+β)。只有在可分离形式、计算近似和拟合指数都适用的范围内，这个结论才成立。它解释了为何不同实验设计可能给出不同配比，也说明任何固定“每参数多少词元”的经验值都需要适用域。
Sources: kaplan,chinchilla

9. 数据量与有效信息量不是同一坐标
将一个语料重复多次可以增加已处理词元 D，却不能保证增加同等独立信息。重复还会改变记忆、优化噪声和训练/测试重叠。去重研究提供了数据工程影响结果的实际证据，但不应由此断言所有重复都无价值：多轮训练、稀有领域强化和课程式采样的目标不同。复核时需要同时列出原始词元、唯一文档、去重规则、重复轮数、领域混合和数据截止时间；仅用累计 token 数拟合，可能把质量差异误吸收到缩放指数。
Sources: arxiv-2107.06499,chinchilla

10. 最终损失会混合预算与优化状态
若某些模型尚未接近其训练阶段的稳定区域，直接把终点损失连成曲线，拟合结果会受到学习率调度、批量和训练长度影响。更强的模型也可能只是获得更适合的调参预算。因此应保存多检查点曲线，记录失败运行和选择规则，并比较合理调优后的配置。拟合时报告残差与参数不确定性，使用未参与拟合的预算点验证预测；不能只用训练拟合优度高来宣称外推可靠。
Sources: kaplan,chinchilla

11. 部署最优可能偏离训练最优
一个仅最小化训练损失的方案，没有为未来的推理次数、时延或显存支付成本。若同一模型将被调用大量次，使用更小模型、训练更久可能在总生命周期成本上更有利；但具体转折点取决于实际请求长度、批量、量化与服务硬件。下游指令学习还会改变任务行为，预训练损失相近并不意味着相同的可用性。决策时应把训练成本、固定部署成本和预期推理成本列成显式目标，再说明质量约束在哪里被测量。
Sources: chinchilla,flan

L(N,D)=E+AN^{-\alpha}+BD^{-\beta},\qquad C=\kappa ND
N 为参数数，D 为处理词元数，A、B、α、β 依实验拟合；κ 是计算近似系数。图中系数为明示的解析假设，不是新的测量。

\alpha AN^{-\alpha}=\beta BD^{-\beta}\ \Longrightarrow\ N_\star\propto C^{\beta/(\alpha+\beta)},\quad D_\star\propto C^{\alpha/(\alpha+\beta)}
在预算约束下对 log N 求导可得边际收益平衡。指数的置信区间应传递到推荐配置，而不是只保留一个精确最优值。

C_{\rm total}=C_{\rm train}+R\,C_{\rm inference}(N,\ell,b)
R 是未来请求次数，ℓ 与 b 表示实际请求长度和批量条件。这是生命周期成本的分析框架，不是任何供应商的计费模型。

在假设C=256、α=0.34、β=0.28且A=B=1时，导数平衡给N约16.734、D约15.298。这些是归一化演算，不是训练配方或拟合参数。

1. 预先定义质量目标、允许的计算预算范围与可接受失败标准，不在观察结果后改变优胜指标。
2. 用至少多个参数规模和词元预算组成交叉网格；保存数据版本、去重规则、混合权重与随机种子。
3. 为不同规模使用明确且可复核的调参规则，记录额外调参计算，不能把失败训练从预算中删去。
4. 保留训练中间检查点，比较 loss 与已消耗计算的曲线，区分未收敛与容量受限。
5. 在拟合之外保留预算点及领域外评估，给出模型选择的敏感性分析。
6. 再以目标服务请求进行小规模推理测量，核验训练推荐在时延、显存与总成本约束下是否仍合适。

Scaling Laws for Neural Language Models https://arxiv.org/html/2001.08361v1
Training Compute-Optimal Large Language Models https://arxiv.org/html/2203.15556v1
Scaling Instruction-Finetuned Language Models https://arxiv.org/abs/2210.11416
Deduplicating Training Data Makes Language Models Better https://arxiv.org/abs/2107.06499