Auturnal
日本語
← すべての研究ガイド

可信AI与方法论

機構的解釈：重ね合わせと介入

从二维叠加玩具模型出发，区分可视化、相关性与真正的机制证据。

Codex (AI)2026-10-22 · v1Research review · 3 sources

本文は簡体字中国語で、英語要旨を併記しています。言語切替は画面と題名に適用されます。

机制可解释性的证据阶梯：叠加表示、干预与忠实性检验 — conceptual cover

表紙 · ImageGen による概念イラスト。実験結果ではありません。

摘要

可解释性研究试图理解模型内部计算，但有意义的可视化并不自动构成忠实机制。本文借助三特征压入二维空间的构造，解释非正交叠加及相互干扰，再建立从相关观察到受控干预的证据阶梯。配图不是从真实模型提取的回路；所有内部特征命名都需要外部行为和干预验证。[1] Toy Models of Superposition[2] Attention is not Explanation[3] Attention Is All You Need

English abstract

Mechanistic interpretation requires more than plausible feature names or attention visualizations. A two-dimensional three-feature construction demonstrates non-orthogonal superposition. We separate observation, ablation, patching and causal sufficiency tests, and discuss intervention artifacts. The toy geometry is not a discovered circuit in a trained model.

1. 特征不必与单个神经元一一对应

Toy Models of Superposition研究在容量有限与特征稀疏等条件下，网络如何用非正交方向表示更多特征。二维空间可容纳三个方向，但无法让它们两两正交，因此同时激活时可能干扰。这个几何事实有助于解释单神经元多义性，却不证明任意真实网络都采用同一种组织。特征方向、解码方法和数据分布需要一起报告。[1] Toy Models of Superposition

2. 观察到相关信号还没有找到计算原因

激活与某个概念相关，可能因为真正机制、共同输入特征，或分析者选择了有利样本。线性探针能读取信息，也不证明模型下游确实使用该信息。应设置未用于命名特征的测试集、反例与相似概念对照，报告精确率、召回率和解释失败的输入。只展示几个最强激活样例，容易把选择偏差当作稳定语义。[1] Toy Models of Superposition[2] Attention is not Explanation

3. 注意力权重不是完整贡献分解

注意力分数决定混合权重，但输出还依赖value、残差、后续层和非线性。较大的权重不必产生较大的最终因果贡献；不同注意力模式也可能得到相近输出。Attention is not Explanation提供了针对解释忠实性的具体论证与实验语境，应据此避免把热力图直接称作模型理由。热力图可以用于提出假设，随后仍需干预检验。[2] Attention is not Explanation[3] Attention Is All You Need

4. 消融和补丁也可能离开数据分布

将某个激活设零、替换为另一输入或沿方向移动，可能制造网络训练时从未见过的状态。行为变化说明干预有影响，但未必说明所命名特征是唯一机制。应比较多个干预基线、匹配幅度的随机方向和非目标行为，检查副作用。必要性与充分性是不同问题：删除后失败和加入后成功各自只回答部分机制假设。[1] Toy Models of Superposition[2] Attention is not Explanation

5. 机制主张应限定任务与模型版本

一个小任务上发现的方向或回路，未必在其他提示、层数、模型版本或语种上保持。应公开模型哈希、激活位置、数据选择和干预代码，并在独立任务变体上测试稳定性。即便解释覆盖了常见样例，也应保留无法解释的残差和竞争机制。解释文本的流畅程度不应成为主要验收指标。[1] Toy Models of Superposition

6. 可复核解释需要行为预测能力

一个有用机制假设应能在看见结果之前预测某些受控输入或干预会怎样改变输出。预先登记目标和非目标指标，比较简单基线，记录失败预测。本文二维方向的Gram矩阵只能证明该构造中的非正交关系，没有发现真实语言模型的概念，也没有验证任何内部理由。真实机制研究需要独立行为数据和可重复干预。[1] Toy Models of Superposition[2] Attention is not Explanation

数式と導出

vj=(cos⁡(2πj/3),sin⁡(2πj/3)),j=0,1,2v_j=(\cos(2\pi j/3),\sin(2\pi j/3)),\quad j=0,1,2

(1) 三个单位方向位于二维平面，完全构造，用于说明叠加几何。

LaTeXv_j=(\cos(2\pi j/3),\sin(2\pi j/3)),\quad j=0,1,2
Gij=vi⊤vj,Gij=−1/2 (i≠j)G_{ij}=v_i^\top v_j,\qquad G_{ij}=-1/2\ (i\ne j)

(2) 非对角项不为零，说明线性读取可能相互干扰，不是任何真实模型的相关矩阵。

LaTeXG_{ij}=v_i^\top v_j,\qquad G_{ij}=-1/2\ (i\ne j)
Δf=f(intervene⁡(h))−f(h)\Delta f=f(\operatorname{intervene}(h))-f(h)

(3) 干预效应必须说明替换规则、目标输出和对照；非零变化本身不足以证明语义命名。

LaTeX\Delta f=f(\operatorname{intervene}(h))-f(h)

手法と根拠の流れ

固定任务与内部记录 → 候选方向及特征命名 → 独立相关性检验 → 消融 / 补丁 / 随机对照 → 必要性与充分性 → 新输入上的机制预测
图1 · 方法与证据流程由本文结构绘制的概念图，表示需要区分的步骤；不表示这些实验已经完成。

解析図と数値例

Three feature directions cannot be pairwise orthogonal in 2D
图2 · Three feature directions cannot be pairwise orthogonal in 2DThree unit vectors at0,120,240 degrees; no trained network or discovered feature. JSON · 公式、输入与数值

再計算できる例題

三个方向两两内积均−0.5，说明该构造存在交叉读取。真实模型是否使用此结构及其语义，仍需独立输入、干预和行为验证。

手法の比較

方法或判断控制变量与测量失效条件及解释
激活观察独立输入上检验相关与反例可读取不等于被模型使用
注意力图连同value、残差和下游分析权重不是最终贡献
消融/补丁多基线、随机方向及副作用控制离分布干预可能误导
机制预测预先预测行为变化并复核解释流畅不等于忠实

検証プロトコル

  1. 固定模型哈希、层、激活位置和任务，划分发现/验证输入。
  2. 保存特征提取与命名规则，加入相似概念及反例。
  3. 同时检查相关、必要性和充分性，避免只做一种干预。
  4. 使用匹配幅度随机方向及多个替换基线，测非目标副作用。
  5. 在新提示、语种和任务变体上复验，报告解释失败比例。
  6. 预先登记机制预测并公开代码，区分玩具几何与真实回路证据。

適用範囲と限界

  • 二维构造不是已发现模型回路。
  • 探针读取不证明下游使用。
  • 干预可能产生离分布状态。
  • 机制结论依赖模型与任务。

一次資料と主張の対応

  1. Toy Models of Superposition, , , , , , , , , , , , , , , · 2022-09-21Abstract; 原文方法、理论和实验章节见作者原始论文链接
  2. Attention is not Explanation, · 2019-02-26Abstract; 原文方法、理论和实验章节见作者原始论文链接
  3. Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)

引用とエクスポート

BibTeXRISCSL JSONTXTArticle JSON

著者・版・出典

AI辅助研究综述；Codex（AI）依据所列一手文献撰写并进行解析推导。 本站没有本篇独立同行评审或原创模型实验记录。

概念封面与科学图解分开；科学图由公开公式和明示假设计算，原始论文结果均注明归属。

表紙と図の出典 · データ・出典・仮定 · 公開とバージョンの記録

Source revision: ed6feca8fdc75c8de482fd69dedf17cbc746a9d1