Los límites de la verificación del razonamiento de los modelos de lenguaje: muestreo, búsqueda y evidencia de corrección

1. El texto intermedio no es una prueba de corrección

La investigación sobre cadenas de pensamiento muestra que, en los modelos y las tareas estudiados, los ejemplos con pasos intermedios pueden mejorar el rendimiento en razonamiento aritmético, de sentido común y simbólico. Este resultado indica que la organización de las instrucciones puede influir en la resolución de tareas, pero no garantiza que cada paso generado sea válido. El lector debe distinguir entre la corrección de la respuesta final, la validez de los pasos y la fidelidad de la explicación al cómputo real, sin sustituir la comprobación por la coherencia narrativa.[1] Chain-of-Thought Prompting Elicits Reasoning in Large L

2. La autoconsistencia dedica cómputo a múltiples trayectorias

El método de autoconsistencia muestrea distintas trayectorias de razonamiento y después agrega las respuestas para realizar una selección. Aprovecha la estructura según la cual «distintas trayectorias pueden converger en la respuesta correcta», a diferencia de la generación que sigue una única trayectoria voraz. Sin embargo, si el modelo reutiliza reiteradamente la misma premisa errónea, aumentar el número de muestras puede limitarse a repetir el error. La diversidad efectiva de los candidatos debe comunicarse por separado del número de muestras extraídas.[2] Self-Consistency Improves Chain of Thought Reasoning in

3. La supervisión del proceso se centra en los juicios intermedios

Let's Verify Step by Step compara la supervisión del resultado final con la supervisión del proceso e informa de ventajas de esta última en tareas matemáticas específicas y configuraciones concretas de selección de candidatos. El 78% de su resumen corresponde a un subconjunto representativo del conjunto de prueba MATH y al procedimiento de evaluación del artículo; no puede reformularse como «exactitud al resolver todos los problemas matemáticos». Este artículo no utiliza esa cifra para elaborar una clasificación general de capacidades.[3] Let's Verify Step by Step

4. Una derivación transparente de la votación

Si los candidatos son independientes, su probabilidad de ser correctos es una constante p y todos los candidatos correctos pueden agruparse como una misma respuesta, la probabilidad de éxito de la votación mayoritaria en un número impar n de intentos es la suma de las probabilidades binomiales desde$k=\frac{n+1}{2}$hasta n. Esto difiere de que «al menos un candidato sea correcto»; aunque esta última probabilidad sea elevada, sigue siendo necesario un selector fiable. La figura 2 de esta versión muestra la probabilidad de al menos un éxito y el valor predictivo positivo del verificador, no resultados empíricos de votación mayoritaria. La independencia, la distribución idéntica y la agrupación de respuestas son supuestos que deben comprobarse.作者分析与复核建议 / Author analysis

5. Por qué el supuesto de independencia suele ser insuficiente

Las salidas de un mismo modelo pueden compartir lagunas de conocimiento, sesgos de las instrucciones e interpretaciones erróneas de los problemas; por ello, los errores pueden seguir correlacionados aunque el muestreo produzca textos diferentes. Tener formalmente «nueve respuestas» no equivale a disponer de nueve evidencias independientes. La recuperación externa de información, la ejecución de programas o la comprobación demostrable de restricciones pueden incorporar información distinta de una reformulación lingüística; su eficacia real sigue requiriendo mediciones específicas para cada tarea.[2] Self-Consistency Improves Chain of Thought Reasoning in[3] Let's Verify Step by Step

6. Las comparaciones deben especificar el presupuesto

Si un método utiliza más tokens, más candidatos o un verificador más potente, el cambio de calidad se produce junto con un cambio en la inversión computacional. Este artículo recomienda informar conjuntamente del total de tokens por problema, el número de llamadas, la tasa de agotamiento del tiempo límite, la exactitud final y la latencia completa, conservando también los resultados agrupados por dificultad. Informar únicamente del tiempo medio de los problemas más fáciles oculta la cola larga; mostrar solo la mejor respuesta oculta el coste de selección.作者分析与复核建议 / Author analysis

7. Establecer límites de verificación que puedan examinarse

Para la aritmética, se deben ejecutar los cálculos y comprobar las unidades; para el código, utilizar pruebas aisladas y el comportamiento esperado; para los hechos de la literatura, comprobar las fuentes y las versiones. Los verificadores también deben someterse a una evaluación de sus propios juicios erróneos. Si el verificador sigue siendo, en esencia, un evaluador subjetivo basado en el mismo tipo de modelo, debe declararse esa dependencia, sin presentarla como una confirmación obtenida mediante experimentos externos. Lo que se expone aquí son principios de diseño; este sitio no afirma haber realizado nuevos experimentos con modelos basándose en ellos.作者分析与复核建议 / Author analysis

Las capacidades del verificador también están condicionadas por el presupuesto

La comprobación del proceso añade otra clase de inversión computacional. Si el verificador puede acceder a respuestas de referencia, herramientas especiales o más contexto, estos recursos deben distinguirse de la información disponible para el modelo que genera los candidatos. Si se elige la mejor respuesta entre cien candidatos, la exactitud final debe mostrarse junto con el coste de generar esos cien candidatos. Comparar directamente este resultado con una sola generación puede servir como comparación a nivel de sistema, pero no se pueden omitir las diferencias de recursos para afirmar que la capacidad de razonamiento del modelo base ha aumentado en la misma medida.作者分析与复核建议 / Author analysis

8. La intuición de pass@k y su estimando

Si cada intento tiene una probabilidad de éxito p y los intentos son mutuamente independientes, la probabilidad de al menos un éxito es 1−(1−p)^k. Esto permite explicar los posibles beneficios de aumentar el presupuesto, pero no implica que el conjunto real de candidatos satisfaga la independencia. Al muestrear sin reemplazo de un mismo conjunto fijo de muestras, un estimador habitual utiliza coeficientes binomiales, y su estimando no coincide exactamente con el del modelo de Bernoulli independiente. Los artículos deben especificar el número de muestras, la temperatura, el conjunto de muestras y la estrategia de selección, distinguiendo entre «se generó una respuesta correcta» y «el sistema puede seleccionar la respuesta correcta»; lo segundo requiere además una etapa de selección o verificación.[2] Self-Consistency Improves Chain of Thought Reasoning in[3] Let's Verify Step by Step

9. El acuerdo mayoritario puede proceder de un mecanismo de error compartido

Cuando los candidatos utilizan los mismos conocimientos del entrenamiento, las mismas instrucciones y el mismo material recuperado, pueden compartir una premisa errónea. Aunque difieran en su formulación, no necesariamente aportan evidencia independiente. La correlación de los errores puede estudiarse variando la forma superficial de la pregunta, las fuentes de evidencia, las herramientas de resolución y los métodos de verificación, pero estos cambios también pueden modificar la tasa de éxito de un intento individual y deben registrarse por separado. Para tareas matemáticas o de código, las comprobaciones capaces de recalcular o ejecutar de manera independiente se aproximan más a la evidencia externa que el mero acuerdo lingüístico mutuo. En las tareas factuales abiertas, las versiones y las fuentes del material de verificación son igualmente importantes.[1] Chain-of-Thought Prompting Elicits Reasoning in Large L[2] Self-Consistency Improves Chain of Thought Reasoning in[3] Let's Verify Step by Step

10. El verificador debe evaluarse sobre la distribución posterior a la selección

Supóngase que la proporción de candidatos correctos producidos por el generador es p, que la tasa de aceptación de candidatos correctos por el verificador es t y que su tasa de aceptación de candidatos incorrectos es f. Entonces, la proporción de respuestas correctas en el conjunto aceptado es pt/[pt+(1−p)f]. Aunque f parezca pequeña, los errores pueden constituir una proporción considerable del conjunto aceptado cuando los candidatos correctos son extremadamente escasos. Deben comunicarse la tasa base de corrección y el umbral de aceptación, y la evaluación debe realizarse sobre candidatos producidos por búsquedas reales, en lugar de limitar las pruebas a ejemplos elegidos manualmente que sean manifiestamente correctos o incorrectos.[3] Let's Verify Step by Step

11. Los efectos del presupuesto de inferencia y de la optimización del sistema deben atribuirse por separado

Aumentar los nodos de búsqueda, los tokens de salida o las llamadas a herramientas suele incrementar el presupuesto computacional; en cambio, los métodos de sistema, como la decodificación especulativa, pueden reducir el tiempo de espera manteniendo la misma distribución objetivo de muestreo. Ambos pueden permitir que el usuario obtenga antes una respuesta correcta, pero su explicación científica es distinta. Un estudio justo debe informar conjuntamente del cómputo total, el tiempo de reloj, el número de candidatos y la tasa de éxito, y comparar las fronteras de rendimiento con presupuestos fijos. No debe atribuirse íntegramente la mayor tasa de éxito obtenida mediante más intentos a que el modelo base «razona mejor».[1] Chain-of-Thought Prompting Elicits Reasoning in Large L[2] Self-Consistency Improves Chain of Thought Reasoning in[4] Fast Inference from Transformers via Speculative Decodi

Fórmulas y derivaciones fundamentales

Flujo de métodos y evidencia

Gráficos analíticos y ejemplos numéricos

Ejemplo resuelto reproducible

Con una probabilidad de éxito independiente de 0.25, la probabilidad de al menos un éxito en 8 intentos es aproximadamente 0.900; sin embargo, si la sensibilidad del verificador es 0.9, la tasa de falsos positivos es 0.1 y la tasa de corrección de los candidatos es 0.1, su valor predictivo positivo es solo 0.5. La existencia de un candidato correcto no equivale a su selección final.

Comparación de métodos

Protocolo de revisión y experimentación

1. Elegir un conjunto de tareas cuyas respuestas puedan evaluarse con claridad y conservar los criterios de respuesta, las versiones de los datos y las comprobaciones de contaminación; establecer reglas independientes de fuentes y anotación para las preguntas abiertas.
2. Fijar el presupuesto total de candidatos y comparar por separado la generación única, el muestreo, la votación, las herramientas externas y la selección mediante verificador, conservando todos los fallos.
3. Informar de pass@k, la exactitud de las respuestas seleccionadas por el sistema y la proporción que no puede evaluarse; no mostrar únicamente la mejor salida.
4. Medir la correlación de los errores entre candidatos y comprobar si las distintas formulaciones siguen dependiendo de las mismas premisas erróneas o de las mismas fuentes.
5. Realizar un barrido de umbrales del verificador, registrar las tasas de aceptación verdadera, aceptación falsa y rechazo, y validar sobre la distribución de búsqueda real.
6. Contabilizar por separado los tokens, las llamadas a herramientas, el cómputo real y el tiempo de reloj en el presupuesto; repetir la evaluación sobre un conjunto reservado independiente después de modificar el entrenamiento o las instrucciones.

Ámbito de aplicación y limitaciones

• El muestreo independiente es solo un supuesto analítico.
• Las preguntas abiertas suelen carecer de un verificador completo capaz de decidir la corrección.
• Las explicaciones generadas no pueden sustituir la verificación externa.
• No se introducen nuevas pruebas de referencia de razonamiento ni clasificaciones de modelos.

Fuentes primarias y afirmaciones correspondientes

1. Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsWei et al. · 2022-01-28v6; method and limitations
2. Self-Consistency Improves Chain of Thought Reasoning in Language ModelsWang et al. · 2022-03-21v4 abstract
3. Let's Verify Step by StepLightman et al. · 2023-05-31v1 abstract; process vs outcome supervision
4. Fast Inference from Transformers via Speculative Decoding, , · 2022-11-30Abstract; 原文方法、理论和实验章节见作者原始论文链接