Resumen
La codificación posicional proporciona información sobre el orden de las secuencias, pero aceptar entradas más largas no equivale a utilizar de forma fiable información más distante. Este artículo deriva el producto interno de posiciones relativas de RoPE, explica los cambios de fase a distintas frecuencias y los compara con el sesgo de distancia de ALiBi y la atención dispersa local. Los gráficos muestran fases cosenoidales a frecuencias explícitamente especificadas, no la exactitud de un modelo; el plan de verificación mide por separado el soporte de longitudes, la recuperación por posición y la combinación de múltiples evidencias.[1] RoFormer: Enhanced Transformer with Rotary Position Emb[2] Train Short, Test Long: Attention with Linear Biases En[3] Longformer: The Long-Document Transformer
Traducción del resumen en inglés
Derivamos el producto interno de posiciones relativas de las representaciones vectoriales rotatorias y lo contrastamos con los sesgos lineales de atención. Las curvas de fase ilustran únicamente el comportamiento de las frecuencias. La aceptación del contexto, la recuperación y la combinación de evidencias se evalúan por separado, con controles explícitos de la longitud de entrenamiento y del truncamiento. Del álgebra posicional no se desprende ninguna garantía de exactitud en contextos largos ni de extrapolación universal.
1. Cómo surge la posición relativa a partir de rotaciones absolutas
Al rotar según su posición los subespacios bidimensionales de las consultas y las claves, las dos posiciones absolutas del producto interno pueden combinarse en una rotación correspondiente a su diferencia posicional. Esto proporciona una estructura algebraica para las relaciones de posición relativa, pero las puntuaciones de atención siguen dependiendo del contenido de entrada, las frecuencias y las representaciones aprendidas. Esta identidad no demuestra que el modelo generalice a longitudes arbitrarias ni garantiza que todas las diferencias posicionales puedan identificarse de forma única y estable. La implementación debe verificar el emparejamiento de dimensiones, la dirección de rotación, los desplazamientos posicionales y la continuación con caché, prestando especial atención a los índices tras el prellenado por bloques.[1] RoFormer: Enhanced Transformer with Rotary Position Emb
2. La fase multifrecuencia y la extrapolación no son lo mismo
Las frecuencias más altas rotan más rápidamente con la distancia, mientras que las bajas cambian más despacio; una frecuencia aislada presenta similitud periódica. La combinación de múltiples frecuencias puede proporcionar representaciones más ricas, pero el entrenamiento solo abarca un conjunto limitado de posiciones y relaciones entre datos. El escalado de posiciones o el ajuste de frecuencias modifica la distribución de fases presentada al modelo y exige una nueva validación. Las tres frecuencias angulares 1, 0.1 y 0.01, expresadas en radianes y seleccionadas para el gráfico, solo ilustran las escalas de variación; no permiten determinar el contexto máximo del modelo, y mucho menos interpretar la proximidad entre curvas como una confusión semántica inevitable.[1] RoFormer: Enhanced Transformer with Rotary Position Emb
3. El sesgo lineal de distancia introduce otra preferencia inductiva
ALiBi añade a las puntuaciones de atención un término lineal dependiente de la distancia y asigna pendientes distintas a las diferentes cabezas. Su comportamiento de extrapolación difiere del de la codificación rotatoria, aunque ambos dependen del entrenamiento y de la tarea. Una preferencia más intensa por posiciones cercanas puede resultar adecuada para algunas tareas de predicción lingüística, pero también puede dificultar el uso de evidencias lejanas. Las comparaciones deben mantener constantes el tamaño del modelo, los tokens de entrenamiento y la longitud de evaluación, y divulgar la implementación del sesgo y la máscara; los resultados de prueba de un modelo concreto no pueden generalizarse como una clasificación de los esquemas posicionales para todas las tareas.[2] Train Short, Test Long: Attention with Linear Biases En
4. Las conexiones dispersas modifican las rutas accesibles y el cómputo
Las ventanas locales o las posiciones globales pueden reducir el coste de la atención completa y también modifican las rutas que debe recorrer la información para propagarse de una posición a otra. La información fuera de la ventana puede no ser directamente accesible en una sola capa; el aumento del número de capas, los tokens globales y la estructura de la tarea influyen en los resultados. La codificación posicional representa las posiciones, mientras que el patrón de dispersión determina qué interacciones se permiten; ambos deben someterse a estudios de ablación separados. Una máscara que teóricamente admite entradas largas no garantiza automáticamente que la información clave se combine de forma eficaz dentro del número real de capas.[3] Longformer: The Long-Document Transformer
5. La validación del contexto largo requiere tres niveles
Primero se comprueba si el servicio acepta y conserva correctamente la longitud especificada, descartando el truncamiento silencioso; después se evalúa la recuperación de evidencias en posiciones determinadas; por último, se evalúa el razonamiento o la detección de contradicciones entre múltiples posiciones. Las pruebas deben recorrer distintas posiciones de evidencia, cantidades de distractores y grados de similitud, y controlar si la respuesta ya puede adivinarse a partir del conocimiento general del modelo. Un único éxito en la recuperación de una aguja solo respalda la capacidad de localización en esa distribución de entradas, no el análisis de cualquier documento largo. El informe debe incluir el intervalo de posiciones con peor rendimiento y controles sin evidencia.[1] RoFormer: Enhanced Transformer with Rotary Position Emb[3] Longformer: The Long-Document Transformer
6. Los problemas de ingeniería pueden parecer problemas de capacidad del modelo
Los errores en las posiciones de continuación de la caché KV, el truncamiento por ventana deslizante, las diferencias de tokenización y el relleno de lotes pueden modificar los resultados con entradas largas. Primero deben compararse las puntuaciones con una implementación de referencia pequeña; después, comprobarse la coherencia entre la ejecución continua y por bloques; y solo entonces medirse la calidad de la tarea. Para cualquier modificación de extrapolación, deben conservarse las comprobaciones de regresión de la capacidad a la longitud original y las curvas de recursos, evitando informar únicamente de unos pocos ejemplos exitosos con la entrada más larga. Este artículo desarrolla el álgebra posicional y los gráficos analíticos, pero no ofrece conclusiones sobre la ampliación de longitud en modelos reales.[1] RoFormer: Enhanced Transformer with Rotary Position Emb[2] Train Short, Test Long: Attention with Linear Biases En[3] Longformer: The Long-Document Transformer
Ecuaciones fundamentales y derivaciones
(1) En una misma familia de rotaciones bidimensionales, la transpuesta de R_m multiplicada por R_n es igual a R_(n−m); la implementación completa aplica esta relación a cada subespacio.
LaTeX
(R_mq)^\top(R_nk)=q^\top R_{n-m}k(2) Muestra la fase correspondiente a la frecuencia, no pesos de atención, tasas de recuperación ni calidad del modelo.
LaTeX
\phi_j(\Delta)=\cos(\theta_j\Delta)(3) Ilustración del sesgo lineal de distancia en el caso causal; deben registrarse el escalado real y las pendientes de cada cabeza según la implementación.
LaTeX
s_{ij}=q_i^\top k_j-m_h(i-j),\quad j\le iFlujo de métodos y evidencia
Gráficos analíticos y ejemplos numéricos
Ejemplo resuelto que puede recalcularse
A una distancia de 32, las tres componentes cosenoidales son aproximadamente 0.834, −0.998 y 0.949, respectivamente. Solo son fases: no son pesos de atención del modelo ni demuestran errores de recuperación o una cota superior de longitud.
Comparación de métodos
| Método o juicio | Variables controladas y mediciones | Condiciones de fallo e interpretación |
|---|---|---|
| RoPE | Verificar las dimensiones de rotación, las frecuencias y las posiciones de continuación | La relación algebraica no garantiza la generalización a longitudes ilimitadas |
| ALiBi | Registrar las pendientes de cada cabeza y la máscara causal | La preferencia por posiciones cercanas afecta de forma diferente a cada tarea |
| Atención dispersa | Medir la ventana, las posiciones globales y las rutas entre capas | No deben confundirse la representación posicional y la estructura de conexiones |
| Capacidad para procesar documentos largos | Evaluar por separado la aceptación, la recuperación y la combinación | El éxito con una sola aguja no representa todas las tareas con documentos largos |
Plan de verificación y experimentación
- Registrar la longitud de entrenamiento, el esquema posicional, las frecuencias, el tokenizador y la estrategia de truncamiento.
- Verificar elemento a elemento el producto interno rotatorio y la máscara causal con tensores pequeños.
- Comparar la ejecución continua, el prellenado por bloques y la continuación con caché para descartar errores de indexación.
- Recorrer distintas longitudes, posiciones, distractores y cantidades de evidencias que deben combinarse, e incluir controles sin evidencia.
- Comprobar también la capacidad a la longitud original, la memoria de GPU, la latencia y el intervalo de posiciones con peor rendimiento.
- Realizar ablaciones separadas de los cambios posicionales, la ventana, el número de capas y el tamaño del modelo, y conservar todos los casos de fallo.
Ámbito de aplicación y limitaciones
- Un gráfico de fase no representa la exactitud del modelo.
- Un ejemplo de una sola frecuencia no representa RoPE completo.
- No se realizaron experimentos de entrenamiento para ampliar el contexto del modelo.
- La capacidad de recuperación no sustituye la comprensión de múltiples evidencias.
Correspondencia entre fuentes primarias y afirmaciones
- RoFormer: Enhanced Transformer with Rotary Position Embedding, , , , , · 2021-04-20Abstract; 原文方法、理论和实验章节见作者原始论文链接
- Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation, , · 2021-08-27Abstract; 原文方法、理论和实验章节见作者原始论文链接
- Longformer: The Long-Document TransformerBeltagy et al. · 2020-04-10v2 abstract and architecture description
Cita y exportación del artículo
BibTeXRISCSL JSONTXTArtículo JSON
Autor, versión y fuentes
Revisión de investigación asistida por IA; Codex (IA) redactó el artículo y realizó las derivaciones analíticas a partir de las fuentes primarias enumeradas. Este sitio no dispone de registros de una revisión por pares independiente ni de experimentos originales con modelos para este artículo.
Revisión del rendimiento del lector: las páginas ya leídas también se reutilizan cuando una respuesta HEAD reciente devuelve 200 y el ETag coincide. El texto principal, las ecuaciones, las fuentes y los datos de las figuras científicas mantienen el contenido de la versión anterior.
La portada conceptual se presenta separada de las ilustraciones científicas; las figuras científicas se calculan a partir de ecuaciones públicas y supuestos explícitos, y se atribuyen todos los resultados de los artículos originales.
Autor, versión e historial de correcciones · /guides/positional-long-context/v1/
Fuentes de la portada y las figuras científicas · Datos, fuentes y supuestos · Historial de publicación y versiones
Revisión de la fuente: 6251a250b27bb8b449f59b392f81abd355383770