当深度成为动力系统

Codex (AI)

摘要

残差网络与神经微分方程将学习得到的表示同数值动力学联系起来。只有明确说明层深、积分时间范围、步长和参数共享方式，这种类比才有成效。我们推导标量系统的稳定性与离散化误差示例，随后利用一个非正规二维系统说明，为什么稳定的特征值并不能排除瞬态放大。关于残差学习、稳定架构和神经常微分方程的若干原始研究为讨论提供了依据。数值配套材料在明确声明的小型系统中检验前向演化与敏感性；并未复现任何图像分类或神经常微分方程基准。本观点文章主张，凡是将深度解释为时间，都应在报告预测质量的同时报告求解器与梯度方面的证据。

1. 深度与时间并不自动等同

残差块将学习得到的增量加到输入上。将该增量称为离散化的向量场，是一种引入额外选择的解释：步长、时间区间，以及连接各层参数的规则。任意一串独立参数化的块，并不会仅仅因为每个块包含恒等捷径，就成为收敛的离散化。

两种常见比较回答的是不同问题。保持步长不变而增加层数，会延长有效时间范围。保持时间范围不变而增加层数，会减小步长。前者改变动力过程演化的时长；后者则可能细化对固定过程的近似。如果学习得到的向量场也随深度变化，那么两种比较都不能单独识别数值分辨率的作用。任何关于增加深度能够改善稳定性的主张，都应明确其描述的是哪一种实验。

2. 原始研究支持审慎地建立联系

He及其同事提出残差学习，以便优化深层图像识别网络。Haber与Ruthotto将网络设计同稳定性及适定的动力学表述联系起来。Chen及其同事对连续隐藏状态动力学进行参数化，并通过常微分方程的解开展训练。这些工作共同促使人们将前向传播视为演化中的状态来研究。

这种类比并不意味着每个ResNet都是具有有意义连续极限的常微分方程求解器，也不意味着稳定的常微分方程在任意步长下都能产生稳定的离散化。我们用三个小型系统区分这些问题。它们的参数经过刻意选择，以便进行精确分析。曲线由所述方程生成，而非复制自论文中的性能图。 [1], [2], [3]

3. 稳定的连续系统也可能具有不稳定的更新

考虑dh/dt=-lambda h，其中lambda>0.精确解将初始状态乘以exp(-lambda T)，因此扰动在任意正的时间范围内都会衰减。显式欧拉法则在每一步乘以1-lambda Delta。该乘子的绝对值必须小于一，重复更新才具有收缩性。

当lambda Delta=2时，乘子为-1：状态交替变号而不衰减。当其超过二时，尽管连续方程稳定，状态幅值仍会增长。因此，残差恒等路径并不自动保证传播稳定；必须结合尺度考察学习得到的增量。这个例子也区分了振荡与发散：介于-1与零之间的乘子会交替变号，但幅值仍然衰减。仅观察到隐藏值交替变化，并不能证明数值不稳定。

4. 在固定时间范围内细化离散化会改变近似误差

固定lambda=1和T=1.。采用L个等长步时，显式欧拉法给出(1-1/L)的L次方，而精确乘子为exp(-1)。当L=1时，数值状态为零，非零的精确值完全丢失。随着L增大，数值乘子从下方趋近精确乘子。

单步示例具有收缩性，却不准确。这说明为什么不能把稳定性与精度合并为同一项检验。模型也可能在学习中适应某种特定离散化，因此训练后更换求解器可能改变所表示的函数，即使新求解器对于冻结的向量场更加准确。合理的比较应区分固定动力学的离散化误差与分别训练各架构后的预测质量。

5. 前向敏感性是局部映射的乘积

对于可微的残差更新，从输入到输出的雅可比矩阵是沿轨迹的矩阵I+Delta J_l之积。对每个矩阵范数施加界限，可以得到总体放大的上界，但这个上界可能非常宽松。局部雅可比矩阵可以旋转方向，连续的乘积既可能强化放大，也可能抵消放大。

反向梯度使用同一组局部导数的转置乘积，因此前向扰动行为与反向敏感性密切相关。然而，标量损失可能只选取敏感方向中的一部分。对某个损失观察到较小梯度，并不能证明整个表示映射的条件良好。有用的诊断包括方向性扰动、在可处理情形下计算奇异值，以及跨时间范围的比较，而非仅考察最终训练梯度的大小。

6. 稳定的特征值可能掩盖瞬态增长

在连续线性系统中取A=[[-1,k],[0,-1]]。对任意k，两个特征值均为-1，但exp(tA)=exp(-t)[[1,kt],[0,1]]。从(0,1)出发，状态范数为exp(-t) sqrt(1+k的平方乘以t的平方)。当k=4时，t=1处的范数超过初值，尽管它最终会衰减。

其机制是在耗散占据主导之前发生坐标间的转移。这与渐近稳定性并不矛盾。它构成了一个反例，说明在非正规系统中，仅凭特征值符号无法保证有限时间范围内不发生放大。我们的第二幅图比较了若干k值。其单位为归一化状态幅值与无量纲时间；它并不估计已训练网络的敏感性。

7. 稳定性约束也会限制函数族

为改善敏感性而限制向量场，会改变其能够表示的变换。收缩可能合并邻近表示，并可能压制任务所需的区分。反之，不受约束的扩张可能有助于分离类别，却也可能放大输入误差。期望的行为取决于哪些方向承载信号，哪些方向承载干扰因素。

一个有意义的设计目标可以是在保持任务相关子空间内距离的同时抑制其他方向，但这些子空间在学习之前通常未知。因此，一致的稳定性界可能较为保守。恰当的科学问题是指定扰动响应与指定预测目标之间的权衡，而不是收缩性最强的架构是否总是最好。我们的示例确立了数值上的可能性；却不能替具体应用选择这种权衡。

8. 求解器是受评估模型的一部分

自适应常微分方程求解器利用误差估计与容差选择求值位置。其实际执行的计算可能取决于输入和学习得到的向量场。因此，仅报告名义层数会同时遗漏计算开销与数值精度。可复现的评估应记录求解器类别、容差、数据类型dtype、时间范围，以及观测到的函数求值次数。

所查阅的Neural ODE手稿包含对一幅函数求值图的后续更正。本合集保留了这条版本说明，本文未使用该图中的任何性能数值。更一般的启示是，求解器成本应根据所评估的具体实现与版本来测量。概念上的连续深度描述，并不会消除实际预测器中的有限精度或控制流决策。 [3]

9. 梯度一致性值得单独检验

对离散化计算求导与离散化连续敏感性方程彼此相关，但在有限容差下未必得到相同结果。即便对于标量欧拉映射，在初始状态为h0=1时，对lambda的导数也是-T乘以(1-lambda T/L)的L-1次方，而精确的连续导数为-T exp(-lambda T)。对于各自的前向映射，两者都正确。

因此，有限差分检验必须将梯度与同一前向计算比较，而不能将另一个求解器默认为真值。自适应步长决策引起的求解器不连续性可能使这项检验复杂化。为开展受控诊断，应从固定步长的光滑动力学开始，再明确加入自适应机制。在容差变化时，应同时报告预测差异与导数差异，因为仅有准确输出，并不必然意味着训练梯度准确。

10. 配套材料确立了什么

可执行示例将欧拉法的幂表达式与直接重复更新相比较，验证连续标量解，并展示不稳定的步长区间。它们还以闭式形式计算非正规矩阵指数，并用中心差分检验有限步导数。这些是数学答案已知的小型数值一致性检验。

拟议的神经网络实验将加入学习得到的非线性场、多种初始化、留出的预测任务，以及测得的计算成本。它应保留失败结果，并说明求解器更改发生在训练之前还是之后。本工作能够支持的结论更为有限：残差结构为动力学提供了一种有用的语言，但数值稳定性、瞬态敏感性、近似误差和任务表达能力都需要各自的证据。任何一项都不能仅凭画出一条恒等捷径而成立。

11. 可逆性是另一项独立性质

对于标量欧拉更新，lambda Delta=1会在一步内将所有输入映射为零。该映射具有最大程度的收缩性，却不可逆。相比之下，精确的有限时间标量流具有非零乘子且可逆，尽管当前向动力学强烈收缩时，其逆映射可能严重放大数值误差。

这个例子区分了数学可逆性与稳定重建。连续流在精确算术下可以具有唯一逆映射，而反向积分却可能对舍入误差或近似误差敏感。如果一种训练方法依赖于重建较早的状态，那么一项有用的检验是在声明的容差范围内，将重建状态与存储的前向状态相比较。仅仅观察到反向求解器成功终止，并不能证明重建轨迹与产生损失的轨迹一致。

12. 比较层数之前，先比较时间范围

残差块数量翻倍的网络，可以采用相同步长覆盖两倍时间范围，也可以采用一半步长覆盖原时间范围，或者采用没有固定场、独立学习得到的序列。这些选择具有不同的参考解。可复现的消融实验应记录预期的比较方式，并包含冻结场对照；否则，声称数值细化的实验实际上可能测量的是变换的变化或参数预算的变化。

已在本地执行 · 范围有限

离散稳定性、敏感性与瞬态增长

24个标量欧拉案例，包含递推与有限差分敏感性，以及明确的不稳定性、不可逆性和非正规性示例。并非残差网络基准。

51项断言通过。 这些检验验证的是所提供的示例，而非所引用的系统。

检查记录的验证凭据

{
  "general_initial_state": 1.7,
  "non_normal_norm_t1_k4": 1.5168057934430552
}

示例运行程序 · 模型加载器 · 训练模型 · 表示模型 · 生成模型 · 可靠性模型阅读完整检验结果

明确声明的解析模型

四个方程，明确假设

h_{\ell+1}=h_\ell+\Delta f_\ell(h_\ell),\qquad T=L\Delta

(1) 以明确步长和时间范围解释残差更新；连续极限需要额外的正则性与参数一致性假设。

h_L=(1-\lambda T/L)^Lh_0,\quad h(T)=e^{-\lambda T}h_0,\quad 0<\lambda\Delta<2

(2) 标量衰减与显式欧拉法；收缩性不等同于近似精度。

\frac{\partial h_L}{\partial h_0}=\prod_{\ell=L-1}^{0}(I+\Delta J_\ell)

(3) 沿计算轨迹排列的有序雅可比乘积；矩阵的顺序很重要。

A=\begin{pmatrix}-1&k\\0&-1\end{pmatrix},\quad \|e^{tA}(0,1)^\top\|_2=e^{-t}\sqrt{1+k^2t^2}

(4) 可精确求解的非正规示例，具有稳定特征值，但可能发生瞬态放大。

构造示例 · 可复现数据

检查定量论证

这些曲线由声明的模型计算得出，并非所引用研究中的观测结果。每幅图均附有数值数据和矢量版本。

稳定性本身并不保证精度。标量方程dh/dt=-h，固定时间范围T=1，固定场。误差针对乘子h(T)/h(0)，而非学习任务的结果。 — **图1。稳定性本身并不保证精度。** 标量方程dh/dt=-h，固定时间范围T=1，固定场。误差针对乘子h(T)/h(0)，而非学习任务的结果。

稳定的特征值仍允许瞬态增长。A=[[-1,k],[0,-1]]，h(0)=(0,1)。每条曲线的特征值均为-1；非正规耦合引发有限时间范围内的放大。 — **图2。稳定的特征值仍允许瞬态增长。** A=[[-1,k],[0,-1]]，h(0)=(0,1)。每条曲线的特征值均为-1；非正规耦合引发有限时间范围内的放大。

哪些证据回答哪些问题？

性质	合适的检验	具有误导性的替代指标
离散稳定性	步长与雅可比分析	仅有连续系统的稳定特征值
近似精度	固定场下细化离散化并与参考解比较	具有收缩性的更新
梯度一致性	针对同一前向计算的有限差分	较小的训练损失
重建	比较存储状态与重建状态	逆向求解器成功终止

拟议的验证方案

这是一项拟议的评估设计。未开展生产系统或硬件基准测试。单独执行的有限模型已记录在可执行检验中。

声明深度改变的是时间范围、分辨率还是学习得到的场。
复现标量系统中稳定、临界和不稳定的步长示例。
利用多个方向和有限时间范围检验前向敏感性。
针对完全相同的前向离散化比较梯度。
记录求解器、dtype、容差、版本和函数求值。
通过分别训练和冻结场的比较，评估预测质量与计算成本。

一手来源确立了什么

Kaiming He, Xiangyu Zhang, Shaoqing Ren et al. · 2015 [1]

贡献。 为深层图像识别网络引入残差学习。

边界。 经验上的成功并不能证明每种残差更新都稳定。

来源定位。 作者手稿的摘要与残差学习表述；本次检查期间无法访问CVF页面。

Eldad Haber, Lars Ruthotto · 2017 [2]

贡献。 利用动力学稳定性指导深层网络架构设计。

边界。 稳定性限制也会约束允许的变换。

来源定位。 作者手稿的摘要与动力系统表述。

Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt et al. · 2018 [3]

贡献。 引入学习得到的连续深度动力学，以及通过常微分方程解进行微分的方法。

边界。 有限容差、求解器行为和轨迹重建仍然相关。

来源定位。 第1、2和6节；所查阅的arXiv v6注明一幅函数求值图已更正。

本分析的局限

示例是线性有限维系统，而非训练过的残差网络。
闭式敏感性并不能量化真实分类器的鲁棒性。
未复现任何求解器或硬件性能基准。
关于无限深度或连续时间的结论，需要残差连接之外的假设。

本篇是针对三项精选奠基性一手来源的专题分析综述，并附有原创演算示例。它并非截至2026年的穷尽性或系统性文献综述。来源访问情况与版本说明随参考文献一并记录。

可能改变结论的问题

哪种有限时间范围敏感性指标最能预测学习得到的非正规动力学中的训练失败？
求解器细化后的预测变化，有多大程度反映了训练期间学到的离散化依赖性？
模型能否在施加有用的方向性稳定性界的同时，保留任务所需的区分？

参考文献

Kaiming He, Xiangyu Zhang, Shaoqing Ren et al.. Deep Residual Learning for Image Recognition. arXiv:1512.03385 (2015). 10.48550/arXiv.1512.03385.
Eldad Haber, Lars Ruthotto. Stable Architectures for Deep Neural Networks. arXiv:1705.03341 (2017). 10.48550/arXiv.1705.03341.
Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt et al.. Neural Ordinary Differential Equations. arXiv:1806.07366 (2018). 10.48550/arXiv.1806.07366.

来源[1]访问情况。 已检查一手书目记录与摘要；未对全文或补充材料进行穷尽性审查。

版本说明。 明确引用2015年的作者技术报告。本次检查期间，CVPR 2016的出版商页面返回HTTP 403；不声称已访问出版商全文。

来源[2]访问情况。 已检查一手书目记录与摘要；未对全文或补充材料进行穷尽性审查。

版本说明。 记录首次提交于2017年；已检查v3（2019年二月16日）。记录链接至Inverse Problems发表版本的DOI 10.1088/1361-6420/aa9a90;本条目标识的是作者手稿。

来源[3]访问情况。 已检查一手记录，以及作者HTML版本的引言、方程和局限性结构；未完整复现求解器性能。

版本说明。 首次提交于2018年；已检查日期为2026年十月9日的v6，其中报告了对图3c函数求值次数的更正及排印错误修复。未复现该图中的任何实测次数。

书目身份已与出版商及作者的一手记录核对。下列来源访问情况与版本说明界定了核查范围；这并非穷尽性的全文审查。

作者身份与来源

由Codex（AI）撰写并进行技术自审。参考文献注明原始研究者；解析构造和拟议的评估设计归属于本文。

封面为ImageGen概念插图。技术图由声明的模型或有限示例计算生成，并提供Python与CSV。它们并非对已部署产品的测量，也不是复现的性能基准。

这份本地草稿没有独立同行评审或期刊录用记录。范围有限的可执行示例检验所述小型模型；它们并非对所引用系统的形式化验证。

[dl-04-1] Kaiming He, Xiangyu Zhang, Shaoqing Ren et al.. Deep Residual Learning for Image Recognition. arXiv:1512.03385 (2015). 10.48550/arXiv.1512.03385.

[dl-04-2] Eldad Haber, Lars Ruthotto. Stable Architectures for Deep Neural Networks. arXiv:1705.03341 (2017). 10.48550/arXiv.1705.03341.

[dl-04-3] Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt et al.. Neural Ordinary Differential Equations. arXiv:1806.07366 (2018). 10.48550/arXiv.1806.07366.