De la atención a la ejecución consciente de la E/S: estructura computacional, complejidad y análisis verificable de Transformer

1. Identificar primero el cuello de botella que se modifica

Dentro de una misma muestra, los modelos recurrentes de secuencias suelen tener que actualizar sus estados de forma sucesiva a lo largo de las posiciones temporales. El Transformer original complementa la información de orden con representaciones posicionales y permite después que múltiples posiciones intercambien contenido mediante la atención. Esto acorta las rutas de información entre posiciones distantes y amplía las posibilidades de paralelismo entre posiciones durante el entrenamiento. Sin embargo, la decodificación autorregresiva sigue dependiendo de los tokens ya generados; que el entrenamiento pueda paralelizarse no significa que toda la respuesta pueda generarse simultáneamente.[1] Attention Is All You Need

2. Q, K y V son funciones computacionales

La atención por producto escalar escalado puede escribirse como $$\operatorname{softmax}\!\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}\right)V$$Q y K producen puntuaciones de correspondencia, softmax normaliza esas puntuaciones y los pesos resultantes se aplican a V. El mecanismo de múltiples cabezas realiza esta operación por separado en distintos subespacios de proyección y después combina los resultados. Estos nombres describen la función de los vectores en el cálculo; no implican que el modelo posea módulos de «preguntas», «memoria» o «comprensión» que se correspondan directamente con la cognición humana.[1] Attention Is All You Need

3. Las cifras de rendimiento deben conservar su contexto experimental

El artículo original informa de que Transformer big alcanzó 28.4 BLEU en el experimento de traducción del inglés al alemán de WMT 2014. Esta cifra corresponde a una configuración específica de datos, tokenización, entrenamiento, decodificación y evaluación; no demuestra las capacidades de los modelos de lenguaje modernos de propósito general. Este artículo no compara las puntuaciones de inglés a francés entre distintos trabajos: los resúmenes, las tablas y el cuerpo de las versiones accesibles presentan formulaciones diferentes, y mezclarlas produciría conclusiones con una precisión injustificada.[1] Attention Is All You Need

4. Por qué los contextos largos son costosos

La atención completa establece$n\times n$pares en una secuencia de longitud n. Si se almacenan explícitamente puntuaciones float32 para una sola capa y una sola cabeza, el número de bytes es$n^2\times4$, y duplicar la longitud cuadruplica este término. La figura 2 de esta versión utiliza otra configuración explícita: puntuaciones FP16 de 32 cabezas, comparadas por separado con una caché de 32 capas y 8 cabezas KV; estos dos cálculos no deben confundirse con un único pico de memoria del dispositivo. Los gradientes, las proyecciones, las activaciones y los espacios de trabajo del kernel deben contabilizarse por separado.[1] Attention Is All You Need[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

5. Dos optimizaciones responden a preguntas diferentes

Longformer modifica qué posiciones deben interactuar y procesa documentos largos mediante ventanas locales y atención global selectiva. FlashAttention, en cambio, reorganiza el cálculo en función de la jerarquía de memoria y utiliza la división en bloques y la fusión para reducir los accesos a la memoria del dispositivo de alto ancho de banda, preservando la atención exacta que define. El primero ajusta la estructura de conexiones; el segundo optimiza la forma de ejecutar el mismo cálculo. La optimización de E/S no debe describirse como la eliminación de todo el cálculo cuadrático.[3] Longformer: The Long-Document Transformer[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

6. Un ejemplo analítico verificable

Como ejemplo de contabilización de puntuaciones float32 para una sola capa y una sola cabeza, las longitudes 512, 1024, 2048 y 4096 requieren, respectivamente, 1, 4, 16 y 64 MiB,$1\,\mathrm{MiB}=2^{20}$bytes. Esto difiere de la configuración de la figura 2 de esta versión; las cifras proceden de fórmulas, no de mediciones en GPU. Si la implementación procesa los datos por bloques sin volver a escribir todas las puntuaciones en la memoria de alto ancho de banda, el pico real cambiará; por tanto, debe comprobarse la estrategia de ejecución antes de interpretar la tendencia.[1] Attention Is All You Need[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

7. Cómo comparar un método «más rápido»

Este artículo recomienda informar por separado de la longitud de las muestras de entrenamiento, el tamaño del lote, la precisión, el dispositivo, el calentamiento, el rendimiento de procesamiento, el tiempo hasta el primer token y el pico de memoria del dispositivo, y comparar bajo un mismo objetivo de calidad. Si un método trunca el contexto y otro conserva toda la entrada, la diferencia de velocidad incluye un cambio en la tarea; si uno utiliza un kernel fusionado y otro una implementación básica, tampoco puede atribuirse toda la diferencia a la arquitectura. Esta es una recomendación de diseño experimental, no un nuevo resultado experimental de este artículo.作者分析与复核建议 / Author analysis

Un límite computacional fácil de pasar por alto

El término de las puntuaciones de atención $n^2$ solo describe las interacciones entre posiciones; las proyecciones y las operaciones de propagación hacia delante por posición tienen sus propios costes computacionales. Para una longitud de secuencia fija, aumentar la dimensión oculta modifica el peso relativo de estos términos; para una dimensión fija, alargar la secuencia incrementa la importancia de los emparejamientos entre posiciones. Por tanto, la afirmación «la atención tiene complejidad cuadrática» no basta para predecir la proporción del tiempo que consume cada parte del modelo completo. Primero deben especificarse las dimensiones del modelo y las entradas, y después interpretarse los resultados reales del perfilado.作者分析与复核建议 / Author analysis

8. Estadísticos suficientes para softmax por bloques

Para una fila de puntuaciones, calcular directamente la suma de exponenciales puede provocar fácilmente un desbordamiento; restar el máximo solo cambia la representación de la normalización, no las probabilidades. Al procesar un bloque nuevo, no es necesario conservar todas las puntuaciones anteriores: basta con mantener el máximo acumulado m, el denominador de normalización l y la suma ponderada u antes de dividirla por el denominador. Una vez que los bloques anterior y nuevo se expresan respecto del nuevo máximo común m′, los acumuladores anteriores se reescalan mediante exp(m−m′). El denominador y el numerador se transforman simultáneamente, y finalmente u/l proporciona la salida de esa fila. Esta derivación explica por qué reducir las transferencias de ida y vuelta a la memoria del dispositivo no exige modificar las conexiones de atención; sin embargo, el orden de suma en coma flotante cambia, de modo que la equivalencia numérica debe seguir verificándose dentro de una tolerancia acordada.[1] Attention Is All You Need[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

9. La memoria de entrenamiento y la caché de decodificación deben modelarse por separado

El almacenamiento explícito de puntuaciones crece con el número de pares de posiciones; la caché KV, en cambio, conserva las claves y los valores de las posiciones anteriores en cada capa. Suponiendo L capas, n posiciones, h_kv cabezas KV, una dimensión d_h por cabeza y b bytes por escalar, la caché ocupa aproximadamente 2Lnh_kv d_h b. Esta expresión no incluye los pesos, los espacios de trabajo ni la fragmentación del asignador. Reducir el número de cabezas KV puede disminuir este término, pero no permite afirmar que las operaciones de atención durante el entrenamiento disminuyan en la misma proporción. Deben perfilarse por separado el prefill de prompts largos, la decodificación en pasos cortos y las solicitudes concurrentes, en lugar de informar únicamente de una media global de tokens/s.[1] Attention Is All You Need[2] FlashAttention: Fast and Memory-Efficient Exact Attenti

10. Por qué los cuellos de botella computacionales se desplazan con la carga de trabajo

En un modelo roofline idealizado, el tiempo de ejecución está acotado inferiormente por max(F/capacidad de cálculo,B/ancho de banda), donde F es el número de operaciones y B la cantidad de bytes realmente transferidos. La fusión y la división en bloques afectan principalmente a B; reducir las conexiones afecta principalmente a F y a la capacidad expresiva del modelo. Los kernels reales también están condicionados por el lanzamiento, la sincronización, la ocupación y las formas de los tensores, por lo que esta cota inferior no es un predictor del rendimiento. Por ejemplo, aumentar el tamaño del lote puede amortizar las lecturas de pesos, pero agotar antes la capacidad de KV; el crecimiento de la secuencia también puede cambiar la división óptima en bloques. La afirmación de que «el cuello de botella se ha desplazado» debe sustentarse en el perfilado del dispositivo, en lugar de inferir factores de aceleración directamente de la complejidad asintótica.[2] FlashAttention: Fast and Memory-Efficient Exact Attenti[3] Longformer: The Long-Document Transformer

11. Representar relaciones a larga distancia no implica automáticamente poder utilizarlas

La codificación posicional determina cómo intervienen las posiciones relativas en las puntuaciones de correspondencia; el patrón de conexiones determina si la información puede llegar a su destino; y los datos de entrenamiento y la tarea determinan si el modelo utiliza realmente la evidencia. La construcción rotacional de RoPE permite expresar desplazamientos relativos mediante productos internos, pero esto por sí solo no garantiza la fiabilidad más allá de las longitudes de entrenamiento. La verificación con textos largos debe, como mínimo, variar por separado la posición de la evidencia, la cantidad de distractores y la distancia entre las evidencias que deben combinarse, y comprobar si aparecen atajos basados únicamente en indicios locales. Deben comunicarse por separado el límite de longitud, la capacidad de aceptar entradas y el contexto efectivo para completar la tarea.[4] RoFormer: Enhanced Transformer with Rotary Position Emb[3] Longformer: The Long-Document Transformer

Fórmulas y derivaciones fundamentales

Flujo metodológico y de evidencia

Gráficos analíticos y ejemplos numéricos

Ejemplo resuelto cuyo cálculo puede reproducirse

Con 8192 tokens, la matriz de puntuaciones de una sola capa con 32 cabezas ocupa 4 GiB; la caché de 32 capas y 8 cabezas KV ocupa 1 GiB. Sus ciclos de vida son distintos, por lo que esta figura no puede interpretarse como una medición del pico de memoria del dispositivo ni como una prueba de velocidad de FlashAttention.

Comparación de métodos

Plan de verificación y experimentación

1. Fijar un conjunto de pesos, una secuencia de tokens, una máscara y una semilla aleatoria; registrar la precisión, el dispositivo y la versión del kernel, y desactivar las sustituciones automáticas por otras implementaciones que modificarían el objeto de comparación.
2. Comparar primero los errores absolutos y relativos de las salidas de la pasada hacia delante, la pérdida y los gradientes, utilizando como referencia un cálculo de pequeñas dimensiones y mayor precisión cuando sea necesario.
3. Explorar por separado distintos valores de longitud de secuencia y tamaño del lote; realizar un calentamiento en cada punto y después medir el tiempo con sincronización del dispositivo, registrando por separado el coste de la compilación inicial.
4. Registrar por separado el tiempo hasta el primer token del prefill y la distribución de la latencia por token de la decodificación, sin ocultar las diferencias entre fases con una media global.
5. Medir conjuntamente el pico de memoria del dispositivo utilizada por el proceso, la memoria reservada por el asignador y la ocupación de KV; los gráficos analíticos solo ofrecen una referencia del orden de magnitud de componentes individuales.
6. Incluir tareas cuya evidencia se sitúe al principio, en el medio y al final; si el método más rápido modifica las conexiones, deben comunicarse también los cambios en la calidad de la tarea.

Ámbito de aplicación y limitaciones

• Las estimaciones analíticas de almacenamiento no incluyen los gradientes, los pesos ni la fragmentación del asignador.
• El tiempo de ejecución debe medirse en el dispositivo de destino y no puede obtenerse directamente de las curvas del gráfico.
• Los distintos patrones de conexión deben compararse bajo las mismas restricciones de calidad.
• Este artículo no entrenó un modelo nuevo ni añadió una nueva prueba de rendimiento.

Correspondencia entre afirmaciones y fuentes primarias

1. Attention Is All You NeedVaswani et al. · 2017-06-12v7; sections 3-4; Table 2 (EN-DE only)
2. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessDao et al. · 2022-05-27v1; sections 2-3
3. Longformer: The Long-Document TransformerBeltagy et al. · 2020-04-10v2 abstract and architecture description
4. RoFormer: Enhanced Transformer with Rotary Position Embedding, , , , , · 2021-04-20Abstract; 原文方法、理论和实验章节见作者原始论文链接