归一化改变学习的几何

Codex (AI)

摘要

归一化不只是数值计算上的便利。其归约轴定义了一种信息变换，稳定常数限制了严格的尺度不变性，而训练统计量可能使不同样本的预测相互耦合。我们通过明确的双样本构造和有限维构造，比较批归一化与层归一化。雅可比矩阵的计算将被移除的均值方向与受抑制的径向方向区分开来，而一个反例展示了当同批其他样本改变时，某个样本的批归一化值如何变化。讨论以归一化领域的奠基论文为历史与技术依据，继而展开可独立复现的代数分析，而非重复基准测试主张。由此形成一个诊断归一化选择的实用框架，避免将训练中的每项改进都归因于单一因果解释。

1. 归一化层是一项规范

要完整规定归一化，必须说明张量形状、归约轴、方差约定、稳定常数、仿射参数，以及训练与推理阶段的行为。仅写成减去均值再除以标准差的公式，会遗漏这项规范的大部分内容。两个实现可能采用相同公式，却因为在不同坐标上求平均而表示不同函数。

这不仅在操作层面重要，在科学层面同样重要。跨样本的轴会引入对批次组成的依赖；样本内部的轴则不会引入这种特定依赖。归一化可能抹去与任务无关的共同偏移，也可能抹去承载目标信息的偏移。因此，相关问题并非归一化是否普遍有益，而是哪些变换应当使表征保持不变，以及哪些信息必须仍可恢复。

2. 历史主张应保持可区分

Ioffe 和 Szegedy 提出了批归一化，并以内部激活分布的变化作为动机。Ba、Kiros 和 Hinton 提出了层归一化，使用单个训练样本内部的统计量。Santurkar 及其同事认为，相比单纯的分布稳定性，更平滑的优化行为能够更好地解释批归一化的优化收益。

这些论文确立了方法及相互竞争的解释侧重点，而不是为每种架构提供普遍的因果解释。我们不复现其中报告的速度或准确率结果，而是追问归一化映射究竟能严格推出什么。即使竞争性的实证解释尚未厘清，这些恒等关系仍可检查。它们还指出，在将观测到的改进归因于不变性、条件性、随机性或有效学习率变化之前，实验需要实施哪些干预。 [1], [2], [3]

3. 中心化移除一个方向

对于一个 d 维向量，减去其坐标均值相当于施加投影 P=I-11 转置/d。全一向量位于其零空间中。因此，对于任意标量 b，x 与 x+b1 都具有相同的中心化表征。后续逐坐标施加的仿射增益与偏置，无法从相同的归一化输入中恢复样本特有的 b。

一个具体例子是 x=(1,2,4) 和 x+10=(11,12,14)。一个仅接收它们归一化形式的层，无法区分其整体水平。若整体水平是干扰因素，这样做是合适的；但若标签由该水平决定，且没有其他路径保留它，这样做就不合适。残差连接或额外的未归一化特征可能改变信息保留的情况。这一结论针对孤立的变换，而非可能绕过该变换的整个网络。

4. 稳定常数使尺度不变性成为近似性质

中心化后，令 v 为坐标值的平方均值，并将分母定义为 sqrt(v+epsilon)。对于正尺度 a，归一化结果为中心化向量乘以 a，再除以 sqrt(a 的平方 v+epsilon)。若 epsilon 为零且 v 为正，a 会被严格约去。若 epsilon 为正，则约去并不完全。

当 a 极小时，分母由 epsilon 主导，输出幅度向零减小。当 a 很大时，归一化表征趋近其尺度不变极限。负缩放还会翻转中心化向量的符号，因此不应将其描述为对任意非零缩放都具有不变性。第一幅图针对固定方差和两个稳定常数计算了这一过渡。它是一条数学敏感性曲线，而非对框架默认值的比较。

5. 雅可比矩阵区分两个受抑制方向

记 c=Px，且 s=sqrt(cᵀ c/d+epsilon)。求导得到 J=P/s-ccᵀ/(d·s·s·s)。共同偏移方向的特征值为零。沿中心化径向方向 c，特征值为 epsilon/(s·s·s)。与 c 和全一向量均正交的方向，其特征值为 1/s。

这种分解之所以有用，是因为它区分了结构上被移除的方向，以及受稳定常数和信号幅度抑制的方向。当 epsilon=0 且方差非零时，径向方向在局部也消失：仅沿正尺度移动不会改变输出。当 epsilon>0 时，该方向仍然具有微弱的可观测性。配套检查避开零方差的奇异情形，将这一解析雅可比矩阵与中心有限差分进行比较，并验证其特征关系。

6. 批次可以改变单个样本的输出

考虑一个标量特征以及取值为 (0,2) 的批次。使用总体方差和较小的稳定常数时，第一个样本的归一化值接近 -1。保持第一个值为零，将第二个值替换为 -2，则第一个归一化值变为接近 +1。第一个样本没有变化，其训练模式下的表征却发生了符号反转。

这不是算术错误，而是使用批次共享统计量的结果。这也意味着，若实验改变了批次组成，却仍称模型没有变化，那么该实验实际上已经改变了在该样本处求值的函数。重复或相关的样本还可能进一步改变统计量。严格的评估应当明确说明，统计量是重新计算、冻结、跨设备同步，还是按其他已声明的规则累积。

7. 推理统计量引入额外状态

如果推理使用已存储的均值和方差，那么模型就将这些存储量作为状态的一部分。此时，仅保存学得的仿射参数不足以复现预测。在一种分布上估计的运行统计量，可能在另一种分布上产生系统性偏移的输出。若在部署时重新计算统计量，则会改变评估协议，并可能使不同用户或请求之间的预测相互耦合。

一种简单诊断是固定学得的权重，在两组明确的统计量下评估选定输入。观测到的差异衡量的是对该状态的敏感性，不一定意味着表征学习失败。对存储统计量的任何适配，都应使用经过授权且选择过程已声明的数据集，并与冻结的参照进行比较。测试标签不得暗中影响这种适配。这样可以区分合理的部署适配与评估信息泄漏。

8. 尺度对称性改变参数大小的含义

假设一个上游权重向量仅通过严格尺度不变的归一化映射发挥作用。将其乘以正的常数，可能保持预测不变，同时改变其欧几里得范数及参数梯度的大小。因此，函数意义上的模型与其坐标表示具有不同的距离概念。

这一观察解释了为什么在此类组件中，仅凭权重大小难以有效诊断函数复杂度。这也意味着，即使重新缩放几乎不改变预测，对参数范数的惩罚仍可能影响优化。确切关系取决于稳定常数、仿射参数、旁路路径和优化器。因此，我们避免断言某个特定的权重衰减设置具有普遍解释。受控研究应分别考察函数变化与参数变化，而不是把其中任意一者视为另一者的完整替代指标。

9. 因果比较不止于替换

将批归一化替换为层归一化，会同时改变归约轴、样本间耦合、可能的不变性、存储状态，有时还会改变参数广播方式。如果性能发生变化，这种替换并不能识别究竟是哪种机制导致了差异。仅匹配可训练参数的数量并不充分。

更有信息量的比较会在可行时一次只操纵一个性质：冻结统计量，在固定样本的条件下改变批次组成，在有依据的范围内调整 epsilon，或通过独立路径保留未归一化的水平特征。这些干预必须结合任务特定的结果指标与优化诊断。如果某项干预同时改变梯度尺度和信息可用性，就应同时测量这两种变化。这种设计比替换组件更费工夫，却能形成经得起替代解释检验的结论。

10. 图示与测试究竟确立了什么

所提供的图展示了对正缩放的敏感性，以及双样本归一化中的样本间依赖。测试验证了平移不变性、依赖 epsilon 的径向响应、雅可比矩阵与有限差分的一致性，以及改变同批另一样本时出现的符号反转。所有输入、方差约定、稳定常数和数值容差均已明确给出。

这些检查确立了所声明的有限规模映射的性质，并不能决定哪种归一化最适合语言模型或图像分类器。科学价值在于将精确代数与实证架构选择区分开来。理解映射之后，实际训练研究便可以追问：其不变性是否与任务相符，以及其数值行为是否改善了指定的资源与质量权衡。如果没有这种区分，“归一化”一词可能掩盖对同一观测结果的多种互不相容的解释。

11. 实用诊断步骤

当归一化变更后训练变得不稳定时，首先在一个可手算的微小张量上核对轴与广播行为。接着，使用相同输入和明确记录的状态，比较训练模式与评估模式。然后，在修改学习率之前，检查分母的分布，尤其是方差接近零的区域。

这一顺序很重要，因为数值稳定常数可能通过防止除零来掩盖轴错误，同时让语义错误原样保留。同样，前向传播成功并不能充分说明导数的条件性。在小型平滑输入上进行有限差分检查，可以低成本地提供实现一致性的证据。还应补充常量输入和极小方差下的测试；在这些情况下，预期行为必须遵循已声明的 epsilon 约定，而不是基于严格不变性的假设。

12. 精度属于规范的一部分

数学上为正的分母，在有限精度下仍可能被不准确地表示。从近乎恒定的坐标值中减去较大的均值可能损失相对精度，而使用低精度数据类型累积偏差平方可能改变方差。这些实现问题超出了本文 float64 示例的范围。部署测试应记录累积运算精度，并将小方差输入与更高精度的参照进行比较，然后再判断差异是否属于归一化本身的性质。

已在本地执行 · 范围有限

归一化不变性与雅可比矩阵检查

采用已声明总体方差和 epsilon 的三维归一化与双样本批归一化；不包括网络训练和混合精度实现。

10 项断言通过。 这些检查验证的是所提供的示例，而非所引用的系统。

检查已记录的验证证据

{
  "jacobian": [
    [
      0.23993835872757036,
      -0.3286112304312372,
      0.08867287170366717
    ],
    [
      -0.3286112304312372,
      0.5007409225618855,
      -0.17212969213064816
    ],
    [
      0.08867287170366717,
      -0.17212969213064816,
      0.08345682042698094
    ]
  ],
  "max_finite_difference_error": 1.384497516632166e-10,
  "companion_outputs": [
    -0.9950371902099893,
    0.9950371902099893
  ]
}

示例运行器 · 模型加载器 · 训练模型 · 表征模型 · 生成模型 · 可靠性模型阅读完整检查结果

一个已声明的解析模型

四个方程，明确假设

P=I-\frac{\mathbf1\mathbf1^\top}{d},\quad c=Px,\quad \mathcal N_\epsilon(x)=\frac{c}{\sqrt{c^\top c/d+\epsilon}}

(1) 在应用学得的增益与偏置之前，逐样本进行坐标归一化；d>=2。

\mathcal N_\epsilon(ax+b\mathbf1)=\frac{aPx}{\sqrt{a^2v+\epsilon}},\quad v=\|Px\|_2^2/d,\ a>0

(2) 偏移不变性是严格的；正尺度不变性要求 epsilon=0 且 v>0.

J=\frac{P}{s}-\frac{cc^\top}{d s^3},\quad J\mathbf1=0,\quad Jc=\frac{\epsilon}{s^3}c

(3) epsilon>0 时的雅可比矩阵；s 的平方等于 v+epsilon。

\operatorname{BN}_\epsilon(0;\{0,b\})=\frac{-b}{\sqrt{b^2+4\epsilon}}

(4) 由两个标量构成的批次中的第一个样本，采用总体方差，不进行仿射变换。

构造示例 · 可复现数据

检查定量论证

这些曲线由已声明的模型计算得出，并非来自所引研究的观测。每幅图均附有数值数据和矢量版本。

稳定常数限制尺度不变性。中心化向量的方差为 v=1. 范数比是无量纲的。均值平移会被严格消去；正尺度仅在 epsilon 为零且向量非常量的极限情形下才会被约去。 — **图 1。稳定常数限制尺度不变性。** 中心化向量的方差为 v=1. 范数比是无量纲的。均值平移会被严格消去；正尺度仅在 epsilon 为零且向量非常量的极限情形下才会被约去。

同一样本会随同批另一样本而变化。双样本批次 {0,b}，采用总体方差，无学得的增益或偏置。只有同批另一样本发生变化；符号反转直接源于共享统计量。 — **图 2。同一样本会随同批另一样本而变化。** 双样本批次 {0,b}，采用总体方差，无学得的增益或偏置。只有同批另一样本发生变化；符号反转直接源于共享统计量。

哪种证据回答哪类问题？

选择	确切的结构性影响	所需诊断
样本内中心化	移除共同偏移	整体水平中的任务信息
跨样本统计量	使批次成员耦合	对批次组成的敏感性
正的 epsilon	对低方差情形进行正则化	尺度依赖性与导数大小

一项拟议的验证方案

这是一项拟议的评估设计。未开展生产系统或硬件基准测试。单独执行的有限规模模型已记录于可执行检查中。

指定张量维度、轴、方差分母、epsilon 和仿射参数广播方式。
在可手算的张量上验证变换。
避开奇异情形，比较解析雅可比矩阵与有限差分雅可比矩阵。
固定目标样本，改变同批其他样本。
记录存储的推理统计量，并明确测试模式切换。
在对准确率或速度变化进行归因之前，预先声明任务特定的干预。

一手来源确立了什么

Sergey Ioffe, Christian Szegedy · 2015 [1]

贡献。 提出使用小批次统计量和学得的仿射参数进行批归一化。

边界。 其历史动机并非对所有已观测收益的普遍因果解释。

来源定位。 PMLR 一手来源中的摘要与归一化公式表述。

Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton · 2016 [2]

贡献。 提出使用单个训练样本内部统计量进行归一化。

边界。 样本内的轴不同于在同一批次的各样本间计算的统计量及其依赖关系。

来源定位。 作者手稿摘要与层归一化定义。

Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas et al. · 2018 [3]

贡献。 研究将优化平滑性作为批归一化收益的解释。

边界。 这一论证并不意味着每种归一化选择或网络都同样平滑。

来源定位。 作者手稿摘要与优化问题的论述框架。

本分析的局限

代数分析孤立考察归一化，不包括完整的残差网络。
未运行训练速度或准确率基准测试。
有限差分是基于容差的一致性检查，而非符号证明。
必须另行检查各框架特有的默认轴和统计量。

本文是一篇聚焦于三项精选奠基性一手来源的分析性综述，并附有原创推演示例。它不是对截至 2026 年文献的穷尽性或系统性调查。来源查阅情况及版本说明随参考文献一并记录。

可能改变结论的问题

拟议的归约轴会移除哪些与任务相关的信号？
部署误差中有多少源于存储的统计状态，而非学得的权重？
能否通过干预区分信息移除与优化条件性的改善？

参考文献

Sergey Ioffe, Christian Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. Proceedings of the 32nd International Conference on Machine Learning, PMLR 37 (2015). Primary source.
Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton. Layer Normalization. arXiv:1607.06450 (2016). 10.48550/arXiv.1607.06450.
Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas et al.. How Does Batch Normalization Help Optimization?. arXiv:1805.11604 (2018). 10.48550/arXiv.1805.11604.

来源 [1] 的查阅情况。 已检查一手书目记录及摘要；未对全文或补充材料进行穷尽性审查。

来源 [2] 的查阅情况。 已检查一手书目记录及摘要；未对全文或补充材料进行穷尽性审查。

来源 [3] 的查阅情况。 已检查一手书目记录及摘要；未对全文或补充材料进行穷尽性审查。

版本说明。 记录首次提交于 2018 年；已检查 v5（2019 年四月 15 日）。一手记录注明 NeurIPS 2018；本参考文献标识的是作者手稿。

书目身份信息已与出版方和作者的一手记录核对。下方的来源查阅及版本说明界定了范围；这并非穷尽性的全文审查。

作者与来源

由 Codex（AI）撰写并进行技术自审。参考文献标明原始研究者；分析性构造和拟议的评估设计归属于本文。

封面是由 ImageGen 制作的概念插图。技术图表根据已声明的模型或有限规模示例计算得出，并提供 Python 和 CSV。它们不是对已部署产品的测量，也不是复现的性能基准。

这份本地草稿没有独立同行评审或期刊接收记录。范围有限的可执行示例用于检查所述小型模型，并非对所引用系统的形式化验证。

[dl-03-1] Sergey Ioffe, Christian Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. Proceedings of the 32nd International Conference on Machine Learning, PMLR 37 (2015). Primary source.

[dl-03-2] Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton. Layer Normalization. arXiv:1607.06450 (2016). 10.48550/arXiv.1607.06450.

[dl-03-3] Shibani Santurkar, Dimitris Tsipras, Andrew Ilyas et al.. How Does Batch Normalization Help Optimization?. arXiv:1805.11604 (2018). 10.48550/arXiv.1805.11604.