Resumen
La predicción conforme permite construir conjuntos de predicción con garantías de cobertura marginal bajo condiciones como la intercambiabilidad, pero no puede garantizar incondicionalmente la misma cobertura para cada individuo o subgrupo. Este artículo deriva el cuantil para muestras finitas de la calibración por partición, explica el carácter discreto de los rangos en muestras pequeñas y analiza el cambio de distribución, la selección de modelos y el tamaño del conjunto. Las ilustraciones solo calculan umbrales de rango para distintos tamaños de muestra de calibración; no afirman haber realizado la calibración de ninguna tarea real.[1] A Gentle Introduction to Conformal Prediction and Distr[2] Conformalized Quantile Regression[3] Holistic Evaluation of Language Models
Traducción del resumen original en inglés
La predicción conforme por partición calibra una puntuación mediante rangos bajo intercambiabilidad. Derivamos el cuantil para muestras finitas y explicamos la diferencia entre cobertura marginal y condicional. Las curvas de rango son cálculos deterministas, no mediciones de cobertura sobre un conjunto de datos. El cambio de distribución, los fallos en subgrupos y el tamaño del conjunto deben evaluarse independientemente de la garantía nominal.
1. Los conjuntos de predicción abordan la cobertura, no la calidad de la predicción puntual
Primero se entrena y se fija un predictor; después se calculan puntuaciones de no conformidad con un conjunto de calibración independiente y, por último, se selecciona un umbral para formar un conjunto. En regresión pueden utilizarse residuos absolutos y, en clasificación, puntuaciones dependientes de la etiqueta; el diseño de la puntuación determina la forma y la eficiencia del conjunto. Una cobertura elevada puede deberse a conjuntos muy grandes, por lo que también debe informarse del tamaño del conjunto o de la anchura del intervalo. Los métodos conformes calibran la cobertura del procedimiento bajo supuestos especificados; no convierten automáticamente un modelo impreciso en un predictor altamente informativo.[1] A Gentle Introduction to Conformal Prediction and Distr
2. La corrección para muestras finitas se deriva de la simetría de los rangos
Si las puntuaciones de calibración y la puntuación de la nueva observación son intercambiables, el rango de la nueva observación presenta simetría. Utilizar el estadístico de orden de calibración correspondiente a ceil((n+1)(1−α)) permite obtener una garantía de cobertura marginal de al menos 1−α. Si el rango requerido supera n, una implementación conservadora debe utilizar un umbral infinito o el conjunto completo, en lugar de seleccionar silenciosamente la última puntuación. El tratamiento de los empates y las reglas de aleatorización afectan a la exactitud y deben documentarse. Las 19, 99 y 999 observaciones de calibración de la figura ilustran la granularidad de los rangos, no mediciones reales de cobertura.[1] A Gentle Introduction to Conformal Prediction and Distr
3. Una garantía marginal no es una garantía para cada grupo o individuo
Aunque la cobertura global alcance el objetivo, un grupo poco frecuente, una región del espacio de entrada o una observación de alto riesgo pueden seguir teniendo cobertura insuficiente. La calibración por grupos puede proporcionar garantías más detalladas cuando cada grupo cumple las condiciones pertinentes y dispone de suficientes observaciones, pero los grupos pequeños afrontan cuantiles menos precisos y conjuntos más amplios. La cobertura condicional detallada y completamente independiente de la distribución tiene limitaciones fundamentales. Debe informarse del rendimiento de los subgrupos predefinidos y del peor grupo, en lugar de reinterpretar la garantía global como si cada predicción tuviera una «probabilidad de ser correcta del 95%».[1] A Gentle Introduction to Conformal Prediction and Distr
4. El cambio de distribución puede invalidar el fundamento de la calibración
Si cambian las entradas durante el despliegue, el mecanismo de etiquetado o la forma de recopilar los datos, la intercambiabilidad puede dejar de cumplirse. Los métodos ponderados o en línea tienen condiciones adicionales propias y no permiten reutilizar sin más la formulación de la garantía de la calibración por partición original. Deben vigilarse la distribución de las puntuaciones, el tamaño del conjunto y la cobertura en observaciones etiquetadas, y registrarse los retrasos y los datos faltantes. Las actualizaciones del modelo, el ajuste del umbral y la selección repetida del conjunto de calibración también modifican el procedimiento; por ello, deben separarse de nuevo el entrenamiento, el desarrollo, la calibración y la prueba, evitando reutilizar reiteradamente la información de calibración para seleccionar modelos.[1] A Gentle Introduction to Conformal Prediction and Distr[3] Holistic Evaluation of Language Models
5. La calibración de probabilidades y la cobertura conforme no tienen el mismo objetivo
La calibración de probabilidades, como el escalado de temperatura, se ocupa de la relación entre las probabilidades predichas y las frecuencias empíricas; la predicción conforme construye conjuntos mediante los rangos de las puntuaciones. Un modelo puede producir probabilidades deficientes y aun así lograr una cobertura conservadora si se cumplen las condiciones, mientras que otro modelo con probabilidades bien calibradas sigue necesitando una regla adecuada para construir los conjuntos. La dificultad de clasificación también varía según el número de clases y las entradas. Deben presentarse por separado la calidad de las probabilidades, la cobertura de los conjuntos y su tamaño, evitando utilizar una única métrica como representación completa de la confiabilidad.[2] Conformalized Quantile Regression[1] A Gentle Introduction to Conformal Prediction and Distr
6. La aceptación técnica exige conservar el procedimiento de calibración completo
Deben registrarse el hash del modelo, la función de puntuación, las particiones de la muestra, α, la implementación del cuantil y el tratamiento de los empates. Tras fijar el procedimiento, deben estimarse la cobertura y su intervalo de confianza en un conjunto de prueba independiente, estratificar por grupo y tiempo, y simular cambios de distribución. En aplicaciones de alto riesgo, los conjuntos de predicción son solo parte de la información para decidir; siguen siendo necesarias reglas de decisión independientes y procedimientos de rendición de cuentas. Este artículo únicamente deriva umbrales de rango y no constituye una prueba de que un modelo concreto ya haya obtenido una garantía de cobertura.[1] A Gentle Introduction to Conformal Prediction and Distr[3] Holistic Evaluation of Language Models
Ecuaciones fundamentales y derivaciones
(1) s representa las puntuaciones de calibración ordenadas; cuando k=n+1, se requiere un tratamiento conservador, como un umbral infinito o el conjunto completo.
LaTeX
k=\lceil(n+1)(1-\alpha)\rceil,\qquad q=s_{(k)}(2) Intervalo de regresión correspondiente a puntuaciones de residuo absoluto; otras puntuaciones producen conjuntos distintos.
LaTeX
C(x)=[\hat f(x)-q,\hat f(x)+q](3) Garantía marginal bajo condiciones como la intercambiabilidad y una partición correcta; no es una garantía condicional ante cambios arbitrarios de distribución ni para cada subgrupo.
LaTeX
P\{Y_{n+1}\in C(X_{n+1})\}\ge1-\alphaFlujo metodológico y de evidencia
Gráficos analíticos y ejemplos numéricos
Ejemplo resuelto reproducible
Cuando α=0.05, para n=19 se utiliza el rango 19, y para n=99 se utiliza el rango 95. Si n=19 y α=0.01, k=20 supera el tamaño de la muestra, por lo que debe aplicarse un tratamiento conservador, como un umbral infinito o el conjunto completo.
Comparación de métodos
| Método o valoración | Variables controladas y mediciones | Condiciones de fallo e interpretación |
|---|---|---|
| Cobertura marginal | Fijar el procedimiento y comprobar la intercambiabilidad | No equivale a una garantía para cada individuo o grupo |
| Eficiencia del conjunto | Informar también de la anchura o del número de etiquetas | El conjunto completo también puede tener cobertura alta, pero aporta poca información |
| Rangos con muestras finitas | Utilizar la corrección n+1 y tratar los rangos fuera de los límites | Los conjuntos de calibración pequeños limitan la precisión del cuantil |
| Cambio de distribución | Vigilar las puntuaciones y la cobertura de las etiquetas verdaderas | La garantía original no puede trasladarse incondicionalmente |
Plan de verificación y experimentación
- Separar entrenamiento, desarrollo, calibración y prueba, y fijar el modelo y la función de puntuación.
- Registrar α, el redondeo del cuantil y el tratamiento de empates y de rangos fuera de los límites; verificar primero mediante cálculos manuales con una muestra pequeña.
- Informar del intervalo de confianza de la cobertura y del tamaño del conjunto en un conjunto de prueba independiente.
- Estratificar por subgrupos predefinidos, dificultad y tiempo, y examinar el peor grupo en lugar de limitarse al rendimiento global.
- Simular cambios en las covariables o en el mecanismo de etiquetado e indicar claramente qué garantías dejan de ser aplicables.
- Recalibrar tras actualizar el modelo o el procedimiento y conservar las versiones; prohibir la selección reiterada del conjunto de calibración más favorable.
Ámbito de aplicación y limitaciones
- La intercambiabilidad es una condición clave.
- La cobertura marginal no puede reinterpretarse como una probabilidad individual.
- Un gráfico de rangos no es una medición empírica de cobertura sobre un conjunto de datos.
- El cambio de distribución y el ajuste reiterado pueden invalidar la garantía.
Fuentes primarias y su correspondencia con las afirmaciones
- A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification, · 2021-07-15Abstract; 原文方法、理论和实验章节见作者原始论文链接
- Conformalized Quantile Regression, , · 2019-05-08Abstract; 原文方法、理论和实验章节见作者原始论文链接
- Holistic Evaluation of Language ModelsLiang et al. · 2022-11-16v2 abstract; seven dimensions and evaluation coverage
Cita y exportación del manuscrito
BibTeXRISCSL JSONTXTArtículo en JSON
Autor, versión y fuentes
Revisión de investigación asistida por IA; Codex (IA) redactó el artículo y realizó las derivaciones analíticas a partir de la bibliografía primaria enumerada. Este sitio no dispone de registros de revisión por pares independiente ni de experimentos originales con modelos para este artículo.
Revisión del rendimiento del lector: también se reutilizan las páginas ya leídas cuando una solicitud HEAD reciente devuelve 200 y el ETag no cambia. El texto, las ecuaciones, las fuentes y los datos de las figuras científicas conservan el contenido de la versión anterior.
La portada conceptual se mantiene separada de las ilustraciones científicas; las figuras científicas se calculan a partir de ecuaciones públicas y supuestos explícitos, y todos los resultados de los artículos originales se atribuyen a sus fuentes.
Historial de autoría, versiones y correcciones · /guides/conformal-uncertainty/v1/
Fuentes de la portada y las figuras científicas · Datos, fuentes y supuestos · Historial de publicación y versiones
Revisión de la fuente: 6251a250b27bb8b449f59b392f81abd355383770