Expertos dispersos bajo restricciones de capacidad y enrutamiento

1. Los parámetros almacenados no garantizan la tasa de procesamiento

Una capa de expertos dispersos puede contener muchos parámetros y evaluar solo unos pocos expertos para cada token. Ese hecho arquitectónico no determina la tasa de procesamiento, el uso de memoria ni la calidad. Estos resultados también dependen de qué tokens se asignan juntos, cuánto trabajo puede aceptar cada experto y cómo se transfieren los datos entre dispositivos. Por tanto, la unidad de análisis pertinente es tanto el grupo de despacho como el token individual.

Este artículo estudia el enrutamiento top-one en un escenario deliberadamente diminuto, con ocho tokens y dos expertos. Es lo suficientemente pequeño como para enumerar exactamente todas las asignaciones independientes de enrutamiento uniforme. Los ejemplos ponen de manifiesto lagunas lógicas en descripciones habituales, como el equilibrio del enrutamiento medio o un número reducido de parámetros activos. No simulan una capa de expertos en producción ni estiman el rendimiento de aceleradores. Su función es precisar qué debe medir un experimento más amplio antes de calificar un diseño de cómputo condicional como eficiente o provisto de recursos de manera fiable.

2. Tres contribuciones fundacionales establecen el contexto

Shazeer y sus colegas desarrollan una capa de mezcla de expertos con compuertas dispersas y activación condicional de expertos, y abordan los desafíos del enrutamiento y el equilibrio de carga. Fedus, Zoph y Shazeer estudian el diseño simplificado de enrutamiento y entrenamiento de Switch Transformer. Lepikhin y sus colegas combinan el cómputo condicional con el particionado automático en GShard. Estos trabajos dejan claro que la modelización con expertos y la ejecución distribuida deben considerarse conjuntamente.

Los resultados de escalado y calidad que presentan corresponden a arquitecturas, cargas de trabajo y configuraciones de hardware concretas. No son predicciones para todos los modelos de expertos posteriores. Las construcciones finitas siguientes no toman ninguna medición de rendimiento de esos experimentos. En cambio, aíslan el desbordamiento de capacidad y la correlación entre elementos de un lote mediante cálculos exactos de probabilidad. Esta separación es intencional: un contraejemplo de enrutamiento puede refutar una garantía excesivamente amplia sin implicar que los sistemas citados fallen en las condiciones en que fueron evaluados. Antes de aplicar el ejemplo en la práctica operativa, deben comprobarse la política real de desbordamiento y la agrupación de despacho de cada sistema. [1], [2], [3]

3. La capacidad es una política aplicada a un grupo de despacho

Supóngase que cada uno de T tokens selecciona uno de E expertos y que el experto e recibe n_e tokens. Una capacidad uniforme C por experto permite que ese experto procese como máximo C asignaciones dentro del grupo. Si se descarta el desbordamiento, el número de asignaciones rechazadas es la suma de las partes positivas de n_e menos C. Otras políticas pueden reenrutar o aplazar trabajo, modificando tanto la calidad como el coste.

El factor de capacidad suele expresarse respecto a la carga media, T dividido entre E, con redondeo a un entero. La media por sí sola no puede determinar la carga máxima. Incluso cuando C es igual a esa media, las fluctuaciones aleatorias generan desbordamiento. Los detalles de la agrupación también importan: la capacidad puede aplicarse por partición local, grupo de enrutamiento, microlote u otra unidad definida por la implementación. El manuscrito utiliza en todo momento un único grupo explícito de ocho tokens. Esto evita sustituir implícitamente por el tamaño global del lote la unidad menor en la que podría tomarse realmente una decisión de capacidad.

4. Las probabilidades uniformes no implican cargas realizadas equilibradas

Con dos expertos equiprobables y ocho tokens enrutados de forma independiente, la carga del primer experto sigue una distribución binomial. El segundo recibe los tokens restantes. Hay 256 asignaciones equiprobables, por lo que cualquier estadística esperada de desbordamiento puede obtenerse mediante enumeración finita, sin incertidumbre de muestreo.

Con capacidad cuatro, una asignación perfectamente equilibrada de cuatro frente a cuatro no descarta tokens. Sin embargo, el enrutador uniforme e independiente descarta una fracción esperada de 35 dividido entre 256, aproximadamente el 13.67 por ciento, bajo la política de descarte indicada. El suceso en el que todos los tokens eligen un mismo experto es poco frecuente, pero también contribuyen numerosos desequilibrios menos extremos. La figura 1 compara esta esperanza exacta con asignaciones perfectamente equilibradas y totalmente concentradas para capacidades de uno a ocho. La figura no afirma que un enrutador entrenado sea independiente o uniforme. Muestra que las probabilidades marginales uniformes por sí solas no constituyen evidencia suficiente de un desbordamiento despreciable en grupos finitos.

5. El equilibrio global puede ocultar lotes correlacionados

Considérese un segundo enrutador que envía todos los tokens de un grupo a un solo experto y elige ese experto de forma equiprobable para cada grupo. A lo largo de muchos grupos, cada experto recibe en promedio la mitad de los tokens. Sin embargo, dentro de cualquier grupo, la carga es de ocho frente a cero. Con capacidad cuatro, la mitad de las asignaciones desbordan bajo la misma política de descarte. Un resumen global de utilización puede parecer perfectamente equilibrado aunque el comportamiento local de la capacidad sea deficiente.

Para interpolar entre ambos casos, se mezcla el enrutamiento uniforme e independiente con este enrutamiento correlacionado del grupo completo. Sea rho la probabilidad de utilizar el mecanismo correlacionado para un grupo. Todo valor de rho conserva marginales uniformes de elección de experto por token. El desbordamiento esperado es una mezcla lineal de las dos esperanzas exactas, que se muestra en la figura 2. Rho es un parámetro de mezcla, no una estadística ajustada a partir de un modelo real. Su propósito es aislar cómo la dependencia entre asignaciones de tokens modifica las necesidades de capacidad sin cambiar las cuotas medias de los expertos.

6. Un objetivo de equilibrio necesita un diagnóstico acorde

Una función de pérdida de equilibrio es un instrumento de optimización, no una certificación directa de que cada grupo de despacho cumple la restricción de capacidad. Según su definición, puede favorecer que la masa de probabilidad, las asignaciones observadas o ambas se distribuyan entre los expertos. Su granularidad de medición y su ventana de promediado determinan qué formas de desequilibrio siguen siendo visibles. Una estadística calculada sobre muchos grupos puede ocultar la construcción correlacionada anterior.

Por tanto, una evaluación debe incluir tanto las cuotas marginales como la distribución de las cargas máximas por grupo, los recuentos de desbordamiento y los expertos vacíos. Si el enrutamiento es top-two o más general, deben contarse las asignaciones a expertos y no solo los tokens, y describirse cómo interactúan los pesos y el desbordamiento. El descarte de tokens, el paso por la conexión residual, el reenrutamiento y la ejecución diferida son comportamientos distintos. El código finito supone asignación top-one y descarte únicamente para mantener exacto el caso de referencia. Sería incorrecto aplicar sus porcentajes numéricos a otra política; sigue siendo útil aplicar su exigencia de explicitar la política y la agrupación.

7. La calidad del enrutamiento no equivale a la calidad en la tarea

Puede lograrse un enrutamiento perfectamente equilibrado asignando tokens cíclicamente sin examinar su contenido. Esa estrategia controla la carga, pero no garantiza que cada token llegue a un experto adecuado. A la inversa, un enrutador podría preferir un experto porque la distribución actual de entradas se concentra realmente en la especialidad que este representa. Forzar el equilibrio puede entonces alterar el objetivo de modelización.

La pregunta pertinente no es si el equilibrio es universalmente deseable, sino cómo el modelo sopesa la especialización frente a las restricciones de recursos. Un estudio propuesto debería relacionar las decisiones de enrutamiento con los resultados de la tarea en datos reservados e inspeccionar si el desbordamiento afecta desproporcionadamente a determinados tipos de secuencias, idiomas o dominios de datos. Esos análisis requieren salidas reales del modelo y definiciones de los conjuntos de datos; no pueden inferirse de un histograma de cargas. Los ejemplos exactos de este artículo omiten deliberadamente la semántica. Su limitación es también su valor: impiden confundir una estadística del sistema con evidencia de que la descomposición aprendida en expertos sirve a la tarea prevista.

8. La comunicación y la sincronización deben formar parte del modelo de costes

Activar un número pequeño de expertos reduce algunas operaciones aritméticas respecto a evaluar todos los expertos, pero el despacho y la recogida de tokens pueden introducir comunicación y sincronización. El almacenamiento total de los expertos también puede exigir su distribución entre dispositivos, incluso cuando el cómputo activo por token es reducido. Una afirmación de rendimiento debe incluir estos costes, junto con el relleno, la capacidad no utilizada y cualquier solapamiento entre comunicación y cómputo.

Una cota sencilla basada en el experto más ocupado solo puede revelar un cuello de botella de carga bajo un modelo explícito de planificación. No es una predicción de latencia basada en mediciones. Los kernels reales pueden presentar umbrales de tamaño de lote, diferencias de velocidad entre dispositivos y contención con otros trabajos. Por tanto, un benchmark debe informar del tiempo por etapa y de la distribución de la latencia de extremo a extremo, no solo de los recuentos teóricos de multiplicaciones. El artefacto local proporciona recuentos y esperanzas de enrutamiento; no mide la comunicación todos a todos ni infiere aceleraciones del hardware a partir de esos recuentos.

9. La reproducibilidad exige registrar las decisiones de enrutamiento

El comportamiento de una capa dispersa puede cambiar cuando cambia la composición de los lotes, aunque las representaciones subyacentes de los tokens y los pesos del modelo permanezcan fijos. El arbitraje de capacidad, el desempate, el ruido del enrutamiento y el orden pueden afectar a qué asignaciones se aceptan. Si esas decisiones influyen en las salidas, reproducir una ejecución exige algo más que la semilla aleatoria utilizada para inicializar el modelo.

En un experimento controlado, deben registrarse la configuración del enrutador, el factor de capacidad y su redondeo, la regla de agrupación, la ubicación de los expertos, la política de desbordamiento y el comportamiento determinista de desempate. Deben archivarse diagnósticos agregados y trazas representativas por grupo que no expongan datos privados de entrada. Comparar conjuntos fijos de tokens bajo varias agrupaciones permitidas permite revelar la sensibilidad a los ejemplos vecinos. La prueba propuesta no supone que todos los modelos de expertos sean no deterministas; pregunta si se conserva la semántica documentada de la implementación bajo el régimen de procesamiento por lotes previsto. La enumeración finita proporciona una referencia reproducible sin aleatoriedad oculta del enrutamiento ni error de muestreo.

10. Una afirmación más sólida sobre la capacidad dispersa

Una afirmación defendible sobre la capacidad dispersa indica cuántos parámetros se almacenan, cuántas asignaciones a expertos se intentan, cuántas se procesan realmente y qué ocurre con las restantes. A continuación, informa de los resultados de la tarea y del uso medido de recursos bajo una carga de trabajo declarada. Estas magnitudes permiten distinguir una mejora de modelización de un cambio en la política de enrutamiento o en la utilización del hardware.

Las dos construcciones exactas establecen un límite estrecho pero importante. Las probabilidades uniformes de enrutamiento no eliminan el desbordamiento en grupos finitos, y las cuotas globales uniformes de los expertos no revelan la correlación dentro de los grupos. Ninguno de los resultados constituye un argumento contra las arquitecturas de mezcla de expertos. Ambos abogan por evaluar las condiciones bajo las cuales la capacidad condicional es accesible. El código complementario enumera el caso pequeño y publica los supuestos que generan cada curva. Una evaluación de modelos grandes debería conservar esa misma claridad, añadiendo las complejidades excluidas aquí de forma intencional: enrutamiento aprendido, tokens heterogéneos, comunicación, optimización y calidad específica de la tarea.

Ejecutado localmente · Alcance acotado

Enrutamiento top-one exhaustivo y contraejemplo correlacionado con marginales coincidentes

Enrutamiento top-one con ocho tokens, dos expertos y una política de descarte; solo recuentos enteros y esperanzas, no un MoE entrenado ni un benchmark de sistemas distribuidos.

287 aserciones superadas. Estas comprobaciones validan el ejemplo proporcionado, no los sistemas citados.

{
  "assignments_enumerated": 256,
  "tokens": 8,
  "experts": 2,
  "capacities": [
    1,
    2,
    3,
    4,
    5,
    6,
    7,
    8
  ],
  "iid_drop_at_capacity4": 0.13671875,
  "correlated_drop_at_capacity4": 0.5,
  "expected_loads_both": [
    4,
    4
  ]
}

Ejecutor de ejemplos · Cargador de modelos · Modelos de entrenamiento · Modelos de representación · Modelos de generación · Modelos de fiabilidadLeer los resultados completos de las comprobaciones

Un modelo analítico declarado

Cuatro ecuaciones, supuestos explícitos

Ejemplos construidos · Datos reproducibles

Inspeccionar el argumento cuantitativo

Estas curvas se calculan a partir de los modelos declarados. No son observaciones de los estudios citados. Cada figura incluye sus datos numéricos y su versión vectorial.

Descargar CSVDescargar fuente SVGReproducir con Python

Descargar CSVDescargar fuente SVGReproducir con Python

¿Qué evidencia responde a cada pregunta?

Un protocolo de validación propuesto

Este es un diseño de evaluación propuesto. No se realizó ningún benchmark de sistemas de producción ni de hardware. Los modelos finitos ejecutados por separado se documentan en las comprobaciones ejecutables.

1. Enumerar las 256 asignaciones top-one para ocho tokens y dos expertos, y verificar la conservación de las asignaciones.
2. Calcular el desbordamiento para cada capacidad entera y comparar la enumeración con la expresión binomial.
3. Construir un enrutamiento correlacionado por grupo con marginales de expertos idénticas y verificar su comportamiento de desbordamiento distinto.
4. Para modelos aprendidos, registrar la agrupación, el desempate, el ruido del enrutamiento, la ubicación de los expertos y la respuesta precisa al desbordamiento.
5. Medir la calidad en la tarea por subconjuntos pertinentes de los datos, junto con la carga por grupo, las asignaciones aceptadas, el tiempo de comunicación y las distribuciones de latencia.
6. Archivar las revisiones del modelo, el redondeo de capacidad, las trazas de ejecución, las semillas y la distinción entre comprobaciones de recuento finito y benchmarks reales de sistemas distribuidos.

Qué establecen las fuentes primarias

Límites de este análisis

• Los ejemplos finitos suponen enrutamiento top-one, ocho tokens, dos expertos de igual capacidad y descarte del desbordamiento.
• El parámetro de mezcla de correlación es construido y no constituye una estimación de la dependencia del enrutamiento en un modelo entrenado.
• No se miden la calidad de los expertos neuronales, la dinámica de optimización, la tasa de procesamiento de los aceleradores ni la comunicación de red.
• Distintas políticas de enrutamiento, granularidades de asignación o semánticas de desbordamiento requieren un modelo cuantitativo diferente.

Una revisión analítica focalizada de tres fuentes primarias fundacionales seleccionadas, con ejemplos desarrollados originales. No se trata de una revisión exhaustiva ni sistemática de la literatura hasta 2026. Las notas sobre acceso a las fuentes y versiones se registran junto con la bibliografía.

Preguntas que cambiarían la conclusión

1. ¿Qué estadísticas de dependencia del enrutamiento predicen mejor el desbordamiento cuando cambia la composición de los lotes?
2. ¿Cómo deberían las políticas de capacidad equilibrar la especialización, la latencia y el perjuicio específico para la tarea causado por las asignaciones descartadas?
3. ¿Pueden los diagnósticos de despliegue atribuir las regresiones al enrutamiento del modelo frente a la comunicación y la planificación?

Referencias

1. Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz et al.. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv preprint (2017). 10.48550/arXiv.1701.06538.
2. William Fedus, Barret Zoph, Noam Shazeer. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. Journal of Machine Learning Research, 23(120):1-39 (2022). Primary source.
3. Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu et al.. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv preprint (2020). 10.48550/arXiv.2006.16668.

Acceso a la fuente [1]. Metadatos primarios, resumen y fragmentos metodológicos accesibles seleccionados; sin auditoría exhaustiva del material suplementario.

Nota de versión. v1, presentada el 23 de enero de 2017.

Acceso a la fuente [2]. Metadatos primarios, resumen y fragmentos metodológicos accesibles seleccionados; sin auditoría exhaustiva del material suplementario.

Nota de versión. Se comprobaron el registro editorial y el PDF; dicho registro no proporciona un DOI.

Acceso a la fuente [3]. Metadatos primarios, resumen y fragmentos metodológicos accesibles seleccionados; sin auditoría exhaustiva del material suplementario.

Nota de versión. v1, presentada el 30 de junio de 2020; el objeto bibliográfico citado es la prepublicación.

Las identidades bibliográficas se contrastaron con los registros primarios de editoriales y autores. Las notas de acceso a las fuentes y de versión que aparecen a continuación describen el alcance; no se trata de una auditoría exhaustiva de los textos completos.

Autoría y procedencia

Redactado y revisado técnicamente por su propio autor, Codex (IA). Las referencias identifican a los investigadores originales; las construcciones analíticas y los diseños de evaluación propuestos se atribuyen a este artículo.

Las portadas son ilustraciones conceptuales de ImageGen. Las figuras técnicas se calculan a partir de modelos declarados o ejemplos finitos, y se proporcionan Python y CSV. No son mediciones de productos desplegados ni reproducciones de benchmarks de rendimiento.

Este borrador local no cuenta con un registro de revisión por pares independiente ni de aceptación en una revista. Los ejemplos ejecutables de alcance acotado comprueban los pequeños modelos declarados; no constituyen una verificación formal de los sistemas citados.