摘要
位置编码为序列提供次序信息，但能够接收更长输入，不等于能够可靠使用更远的信息。本文推导RoPE的相对位置内积，说明不同频率的相位变化，并与ALiBi的距离偏置及局部稀疏注意力比较。配图展示明确频率下的余弦相位，不是模型准确率；复核方案分开测量长度支持、定位检索和多证据组合。[1] RoFormer: Enhanced Transformer with Rotary Position Emb[2] Train Short, Test Long: Attention with Linear Biases En[3] Longformer: The Long-Document Transformer
English abstract
We derive the relative-position inner product of rotary embeddings and contrast it with linear attention biases. Phase curves illustrate frequency behavior only. Context acceptance, retrieval and evidence composition are evaluated separately, with explicit training-length and truncation controls. No long-context accuracy or universal extrapolation guarantee follows from positional algebra.
1. 相对位置如何从绝对旋转中出现
对查询和键的二维子空间分别按位置旋转，内积中的两个绝对位置可合并为位置差对应的旋转。这提供了相对位置关系的代数结构，但注意力分数仍依赖输入内容、频率和学习到的表示。该恒等式并不证明模型在任意长度上泛化，也不保证不同位置差都能被唯一稳定识别。实现应核对维度配对、旋转方向、位置偏移和缓存续写，尤其关注分块预填充后的索引。[1] RoFormer: Enhanced Transformer with Rotary Position Emb
2. 多频率相位与外推不是同一件事
较高频率随距离更快旋转，低频率变化较慢；单个频率会出现周期性相似。多个频率组合可以提供更丰富的表示，但训练只覆盖有限位置和数据关系。位置缩放或频率调整改变了输入给模型的相位分布，需要重新验证。图中选取1、0.1、0.01三个弧度频率，只用于展示变化尺度，不能据此确定模型最大上下文，更不能把曲线相近解释成语义必然混淆。[1] RoFormer: Enhanced Transformer with Rotary Position Emb
3. 线性距离偏置加入了另一种归纳偏好
ALiBi在注意力分数中加入与距离有关的线性项，并为不同头设置斜率。其外推行为与旋转编码不同，但都依赖训练与任务。较强近邻偏好可能适合部分语言预测，同时也可能增加远程证据利用难度。比较应固定模型规模、训练token与评估长度，公开偏置实现和掩码；不能把某个模型的测试结果推广成所有任务上的位置方案排名。[2] Train Short, Test Long: Attention with Linear Biases En
4. 稀疏连接改变可达路径与计算
局部窗口或全局位置能够降低完整注意力的开销，也改变信息从一个位置传播到另一个位置需要经过的路径。窗口之外的信息未必在单层直接可达，增加层数、全局token和任务结构会影响结果。位置编码负责表示位置，稀疏模式负责允许哪些交互，两者应分别消融。理论上支持长输入的掩码不自动保证关键信息在实际层数内被有效组合。[3] Longformer: The Long-Document Transformer
5. 长上下文验收需要三个层次
首先检验服务是否接受并正确保留给定长度，排除静默截断；其次检验指定位置的证据检索；最后检验跨多个位置的推理或矛盾识别。测试应扫描证据位置、干扰数量与相似性，并控制答案是否已能由模型常识猜出。一次针检索成功只能支持那个输入分布上的定位能力，不代表任意长文分析。报告应包括最差位置区间与无证据对照。[1] RoFormer: Enhanced Transformer with Rotary Position Emb[3] Longformer: The Long-Document Transformer
6. 工程问题可能伪装成模型能力问题
KV缓存续写位置错误、滑窗截断、分词差异和批处理padding都会改变长输入结果。先用小规模参考实现比对分数，再检查连续与分块执行的一致性，之后才测任务质量。对任何外推改动，保留原长度能力回归与资源曲线，避免只报告最长输入上的少量成功样例。本文完成位置代数和解析图，不提供真实模型长度扩展结论。[1] RoFormer: Enhanced Transformer with Rotary Position Emb[2] Train Short, Test Long: Attention with Linear Biases En[3] Longformer: The Long-Document Transformer
المعادلات والاشتقاقات
(1) 同一二维旋转族满足R_m转置R_n等于R_(n−m)；完整实现逐子空间应用。
LaTeX
(R_mq)^\top(R_nk)=q^\top R_{n-m}k(2) 展示频率对应的相位，不是注意力权重、检索率或模型质量。
LaTeX
\phi_j(\Delta)=\cos(\theta_j\Delta)(3) 因果情形下线性距离偏置的示意；实际缩放和各头斜率须按实现保存。
LaTeX
s_{ij}=q_i^\top k_j-m_h(i-j),\quad j\le iمسار المنهج والأدلة
الرسوم التحليلية
مثال حسابي قابل للتحقق
距离32时，三个余弦分量分别约0.834、−0.998、0.949。它们只是相位，既不是模型注意力权重，也不证明检索错误或长度上限。
مقارنة المناهج
| 方法或判断 | 控制变量与测量 | 失效条件及解释 |
|---|---|---|
| RoPE | 核对旋转维度、频率和续写位置 | 代数关系不保证无限长度泛化 |
| ALiBi | 记录各头斜率与因果掩码 | 近邻偏好对不同任务影响不同 |
| 稀疏注意力 | 测窗口、全局位置和层间路径 | 位置表示与连接结构不可混同 |
| 长文能力 | 分开接收、检索、组合测试 | 单针成功不能代表全部长文任务 |
بروتوكول التحقق
- 保存训练长度、位置方案、频率、分词器和截断策略。
- 对小张量逐项验证旋转内积及因果掩码。
- 比较连续、分块预填充与缓存续写，排除索引偏差。
- 扫描长度、位置、干扰与证据组合数，并加入无证据对照。
- 同时检查原长度能力、显存、延迟与最差位置区间。
- 将位置改动与窗口、层数和模型规模分别消融，保留所有失败样例。
النطاق والقيود
- 相位图不是模型准确率。
- 单频率示例不代表完整RoPE。
- 没有扩展模型上下文的训练实验。
- 检索能力不能替代多证据理解。
المصادر الأولية وربطها بالادعاءات
- RoFormer: Enhanced Transformer with Rotary Position Embedding, , , , , · 2021-04-20Abstract; 原文方法、理论和实验章节见作者原始论文链接
- Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation, , · 2021-08-27Abstract; 原文方法、理论和实验章节见作者原始论文链接
- Longformer: The Long-Document TransformerBeltagy et al. · 2020-04-10v2 abstract and architecture description
الاستشهاد والتصدير
BibTeXRISCSL JSONTXTArticle JSON
المؤلف والإصدارات والمصادر
AI辅助研究综述；Codex（AI）依据所列一手文献撰写并进行解析推导。 本站没有本篇独立同行评审或原创模型实验记录。
概念封面与科学图解分开；科学图由公开公式和明示假设计算，原始论文结果均注明归属。
مصادر الأغلفة والرسوم · البيانات والمصادر والافتراضات · سجل النشر والإصدارات
Source revision: ed6feca8fdc75c8de482fd69dedf17cbc746a9d1