LLM como juez (LLM-as-a-judge): guía

LLM as a judge es un método de evaluación en el que un modelo de lenguaje califica los resultados generados por otro modelo o aplicación de IA según una rúbrica específica, una respuesta de referencia o una respuesta competidora. Los equipos usan LLM-as-a-judge para evaluar tareas abiertas, como respuestas de chatbots, respuestas RAG y resúmenes, en las que fallan las comprobaciones de código por coincidencia exacta.

Al crear una aplicación sobre modelos de lenguaje, las pruebas pronto se convierten en el mayor cuello de botella. Las pruebas unitarias pueden comprobar si se puede analizar una carga JSON, y métricas clásicas de lenguaje natural como BLEU o ROUGE cuentan las palabras coincidentes, pero ninguna de las dos indica si un resumen realmente tiene sentido o si un bot de atención al cliente ha respondido con cortesía. Como muestra el artículo de G-Eval de Liu et al. de marzo de 2023, las métricas basadas en referencias como BLEU y ROUGE presentan una correlación relativamente baja con el juicio humano en tareas creativas y abiertas.

La revisión humana es el estándar de referencia, pero pedir a ingenieros o expertos en la materia que lean 500 resultados cada vez que se ajusta un prompt de sistema ralentiza enormemente las iteraciones. LLM-as-a-judge cubre la brecha entre las comprobaciones rígidas de cadenas y la lenta evaluación humana. Sin embargo, los evaluadores automáticos tienen sus propios fallos: pueden favorecer la primera respuesta o premiar el texto largo sin sustancia. Entender cómo funcionan estos sistemas de evaluación y dónde fallan marca la diferencia entre una cadena de evaluación que detecta regresiones y otra que proporciona una confianza infundada.

¿Qué es LLM as a judge y por qué lo usan los equipos?

LLM as a judge es una técnica de evaluación automatizada que pide a un modelo de lenguaje que puntúe, clasifique o verifique los resultados de otro modelo o sistema. En lugar de depender de la coincidencia exacta de cadenas, el modelo juez lee el prompt de entrada, el resultado generado y un conjunto de instrucciones de calificación para producir una evaluación estructurada.

Los equipos de software adoptan LLM-as-a-judge porque las aplicaciones modernas de IA pueden producir respuestas válidas de miles de formas diferentes. Si desarrollas un sistema de generación aumentada por recuperación (consulta nuestra guía sobre qué es RAG y cómo funciona), dos resúmenes del mismo documento fuente pueden compartir muy pocas frases exactas y ser ambos completamente correctos. A la inversa, una respuesta puede compartir el 90% de las palabras de un texto de referencia y cambiar una sola negación que haga falsa la afirmación.

Tanto la documentación de Graders de OpenAI como la guía de evaluación de Anthropic sitúan la calificación basada en modelos junto a las comprobaciones deterministas de código y la revisión humana como pilares de las pruebas. En la práctica, los equipos recurren a tres métodos principales para evaluar los resultados de la IA.

Método de evaluación	Cómo funciona	Usos más adecuados	Principales limitaciones
Comprobaciones mediante código	Utiliza coincidencia exacta, expresiones regulares, validación de esquemas JSON, comprobaciones de cadenas o ejecución de Python.	Resultados estructurados, llamadas a herramientas, validación de sintaxis y hechos deterministas.	Falla ante formulaciones abiertas, el tono o equivalencias semánticas con matices.
LLM as a judge	Pide a un modelo evaluador que puntúe resultados con una rúbrica, un texto de referencia o una elección por pares.	Resúmenes, utilidad de chatbots, tono y fidelidad de RAG a las fuentes proporcionadas.	Añade una llamada a la API por elemento y sufre sesgos de posición, verbosidad y autopreferencia.
Revisión humana	Expertos en la materia o colaboradores de plataformas califican los resultados manualmente.	Crear conjuntos de calibración de referencia, auditar casos límite de alto riesgo y evaluar matices sutiles del dominio.	Es lenta, costosa y difícil de ejecutar continuamente con cada cambio de prompt o código.

¿Cómo funciona la evaluación LLM-as-a-judge?

La evaluación LLM-as-a-judge consiste en pasar el contexto de la tarea, el resultado candidato y un prompt de calificación estructurado a un modelo evaluador, que emite un razonamiento y una puntuación o preferencia final. Según lo que se evalúe, la configuración suele seguir uno de los tres patrones descritos en el artículo sobre MT-Bench y Chatbot Arena de Zheng et al. de junio de 2023 y el marco G-Eval de marzo de 2023.

1. Calificación de una sola respuesta (pointwise)

En la calificación de una sola respuesta, el juez examina un prompt y una respuesta del modelo de forma aislada y los puntúa según una rúbrica. La puntuación puede ser una decisión binaria de aprobado o suspenso (como emitir solo correct o incorrect) o una escala de 1 a 5. Como señala la documentación de Graders de OpenAI, los modelos de puntuación también pueden otorgar crédito parcial en vez de un estricto 0 o 1.

En el estudio G-Eval, Liu et al. combinaron el razonamiento mediante cadena de pensamiento con un paradigma de cumplimentación de formularios para calificar resultados individuales. En tareas de resumen de textos, G-Eval basado en GPT-4 alcanzó una correlación de Spearman de 0.514 con las puntuaciones humanas, superando métodos anteriores de evaluación automática. La calificación pointwise es ideal para la supervisión en producción y las pruebas de regresión porque cada caso recibe una puntuación independiente.

2. Comparación por pares

La comparación por pares proporciona al juez un prompt y dos respuestas candidatas (Answer A y Answer B) y le pide elegir la mejor o declarar un empate. Esta configuración refleja cómo las personas comparan modelos en plataformas como Chatbot Arena, que Zheng et al. presentaron junto con 30,000 conversaciones con preferencias humanas y 3,000 votos de expertos sobre preguntas de MT-bench.

Para un modelo juez, comparar dos respuestas suele ser más fácil que asignar un número abstracto de 1 a 10. Por ello, es útil para hacer pruebas A/B de dos versiones de un prompt o decidir cómo elegir un modelo de IA para una carga de trabajo. El inconveniente es que las comparaciones por pares escalan mal con docenas de candidatos y son muy vulnerables al orden de presentación de las respuestas.

3. Calificación guiada por referencias

La calificación guiada por referencias proporciona al juez una respuesta de referencia de máxima calidad, una lista de hechos obligatorios o el documento fuente junto con la respuesta candidata. Un modelo de lenguaje no puede verificar hechos que desconoce y, como explicamos en nuestro análisis de las tasas de alucinación de la IA, los modelos inventan habitualmente detalles plausibles cuando califican solo de memoria.

Al proporcionar al juez la solución correcta o fragmentos RAG recuperados, se convierte una prueba de conocimientos con material de consulta en una comprobación de comprensión lectora mucho más sencilla. Este enfoque es fundamental para calificar problemas matemáticos, acertijos de razonamiento o fidelidad factual.

¿Qué precisión tienen los jueces LLM frente a los humanos?

Los jueces LLM sólidos coinciden con las preferencias humanas en más del 80% de las tareas abiertas, el mismo nivel de acuerdo que se observa entre dos anotadores humanos distintos. Este punto de referencia procede de Zheng et al. (junio de 2023, arXiv:2306.05685), quienes probaron GPT-4 como juez de conversaciones de MT-bench y Chatbot Arena frente a etiquetas controladas de expertos y votos humanos obtenidos mediante colaboración colectiva.

Ese resultado explica en gran medida el atractivo de los jueces LLM: las etiquetas humanas son caras y lentas, y un juez que coincide con las personas tan a menudo como ellas entre sí puede asumir gran parte de la calificación rutinaria. No obstante, el acuerdo es un promedio, y los promedios ocultan dónde falla el juez.

Una correlación general alta puede ocultar importantes puntos ciegos. Un juez que coincide con los humanos el 80% de las veces en conversaciones generales aún puede fallar sistemáticamente si una respuesta tiene un formato persuasivo, ocupa una posición favorable o requiere una verificación matemática de varios pasos.

¿Dónde falla LLM as a judge? Sesgos habituales

El sesgo de un juez LLM aparece cuando un modelo evaluador favorece sistemáticamente los resultados por características superficiales, como el orden, la longitud o el estilo de escritura, en vez de por su corrección real. La investigación sobre varios bancos de evaluación, resumida en el artículo de revisión A Survey on LLM-as-a-Judge de noviembre de 2024 y detallada en estudios de Zheng et al., Wang et al. y Liu et al., señala varios fallos frente a los que conviene protegerse.

Sesgo de posición y manipulación del orden

El sesgo de posición es la tendencia de un juez LLM en comparaciones por pares a favorecer una posición, a menudo la primera respuesta presentada, independientemente de la calidad. En el artículo Large Language Models are not Fair Evaluators de mayo de 2023, Wang et al. demostraron la gravedad del problema: al manipular el orden, el modelo más pequeño Vicuna-13B superó a ChatGPT en 66 de las 80 consultas probadas cuando ChatGPT actuaba como evaluador. Si las comparaciones solo se realizan en el orden A seguido de B, los resultados pueden invertirse simplemente cambiando qué modelo aparece primero.

Sesgo de verbosidad

El sesgo de verbosidad ocurre cuando un juez LLM da más puntuación a respuestas más largas y aparentemente detalladas, aunque el texto adicional sea repetitivo, de relleno o algo ajeno al tema. Zheng et al. lo incluyen entre las principales limitaciones de los jueces LLM. Como los modelos de lenguaje pueden generar fácilmente relleno cortés y listas con viñetas, un juez sin calibrar suele premiar una respuesta divagante de 400 palabras frente a una explicación concisa y correcta de 80 palabras.

Sesgo de autopreferencia

El sesgo de autopreferencia describe la tendencia de los modelos de lenguaje a favorecer los resultados generados por ellos mismos o por modelos de la misma familia. Zheng et al. lo identificaron como una limitación de los jueces LLM y Liu et al. señalaron un posible sesgo de los evaluadores basados en LLM hacia el texto generado por LLM. Si se usa un modelo para calificar una prueba directa entre él mismo y un competidor, el juez puede considerar su propia redacción más natural y útil.

Capacidad limitada para calificar razonamiento y matemáticas

Un modelo juez no puede calificar de forma fiable un problema de razonamiento o matemáticas que no puede resolver por sí mismo. Zheng et al. citan la capacidad limitada de razonamiento como una debilidad de los jueces LLM y proponen medidas para algunos problemas, como dar al juez una respuesta de referencia. Si la respuesta candidata contiene un error de cálculo expresado con seguridad, el juez puede ser inducido a marcar como correcta una respuesta equivocada.

Inyección de prompts en resultados no fiables

Cuando el juez evalúa texto influido por usuarios finales o páginas web recopiladas, el propio resultado candidato puede contener instrucciones adversarias diseñadas para secuestrar al evaluador, como indicarle que ignore las reglas anteriores y otorgue la puntuación máxima. Si la cadena evalúa entradas no fiables, consulta las defensas de nuestra guía sobre qué es la inyección de prompts para evitar que una cadena maliciosa manipule la batería de evaluación.

Sesgo o fallo	Causa	Cómo mitigarlo
Sesgo de posición	Los jueces por pares prefieren una posición concreta, como la primera respuesta, con independencia de su calidad.	Evaluar cada par en ambos órdenes (A/B y B/A) mediante Balanced Position Calibration y contar solo las victorias que se mantengan en ambos sentidos.
Sesgo de verbosidad	Los evaluadores equiparan textos más largos y formatos elaborados con mayor utilidad.	Indicar expresamente en la rúbrica que longitud no equivale a calidad y comparar resultados de longitud similar.
Sesgo de autopreferencia	Los modelos prefieren textos que coinciden con su distribución de entrenamiento y sus hábitos de estilo.	Usar un juez de una familia distinta a la del generador o un panel diverso de jueces.
Errores matemáticos y de razonamiento	El juez carece de capacidad para verificar sobre la marcha lógica de varios pasos y se deja engañar por errores expresados con seguridad.	Proporcionar una respuesta de referencia verificada, exigir razonamiento antes de puntuar o usar evaluadores deterministas que ejecuten Python.
Sesgo del evaluador hacia el estilo LLM	Los evaluadores premian demasiado la redacción pulida de LLM frente a la precisión factual concisa.	Basar la rúbrica en criterios concretos y empíricos de aprobado o suspenso y calibrar las puntuaciones con muestras etiquetadas por humanos.

¿Cómo configurar un juez LLM fiable?

Para configurar un juez LLM fiable hay que aplicar primero las comprobaciones deterministas, redactar una rúbrica concreta que exija razonar antes de puntuar, controlar los sesgos de posición y familia, y calibrar con etiquetas humanas. Sigue esta lista paso a paso al crear tu batería de evaluación.

Ejecuta comprobaciones deterministas antes de llamar a un juez LLM. No pagues a un LLM para verificar si un resultado es JSON válido, contiene una palabra clave obligatoria o tiene menos de 280 caracteres. Usa primero evaluadores basados en código, como coincidencia exacta, expresiones regulares, validación de esquemas JSON y pruebas unitarias, y reserva el juez LLM para cualidades que el código no puede medir, como el tono, la utilidad y la fidelidad a las fuentes.
Proporciona respuestas de referencia o documentos fuente para comprobar hechos. Cuando la corrección dependa de hechos concretos, matemáticas o conocimientos internos, pasa directamente al prompt del juez la referencia correcta o el contexto RAG recuperado. Si tu proceso requiere verificar afirmaciones, combina la rúbrica con las técnicas de nuestra guía sobre cómo verificar respuestas de IA.
Redacta una rúbrica concreta con escalas pequeñas o binarias. Las instrucciones vagas como «califica la calidad de 1 a 100» producen cifras ruidosas e incoherentes. Como recomienda la documentación de evaluación de Anthropic, haz que la rúbrica sea específica y empírica: por ejemplo, pide que emita solo correct o incorrect, o usa una escala de 1 a 5 bien definida con reglas explícitas de aprobado o suspenso para cada nivel. Indica expresamente que las respuestas más largas no son mejores.
Exige razonamiento o pruebas antes de la puntuación final. Tanto Wang et al., mediante Multiple Evidence Calibration, como las directrices de Anthropic destacan la necesidad de que el modelo escriba su justificación o active el razonamiento antes del veredicto final. Como los modelos autorregresivos generan tokens secuencialmente, emitir primero el análisis fundamenta la puntuación posterior en pruebas concretas del texto.
Invierte el orden de las respuestas en cada evaluación por pares. Para neutralizar el sesgo de posición, aplica Balanced Position Calibration: evalúa (Answer A, Answer B) en una llamada y (Answer B, Answer A) en otra. Otorga una victoria solo si el juez elige la misma respuesta en ambas posiciones; en caso contrario, registra un empate.
Separa la familia del juez de la del generador o usa un panel de jueces LLM. Nunca permitas que un modelo califique sus propios resultados al comparar proveedores. Mejor aún, considera sustituir un único juez avanzado y caro por un jurado. En el artículo Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models de abril de 2024, Verga et al. mostraron que un Panel of LLM evaluators (PoLL) formado por varios modelos más pequeños de familias distintas superó a un único juez grande en tres configuraciones y seis conjuntos de datos, presentó menos sesgo intramodelo y costó más de siete veces menos. Como cada evaluación añade una llamada a la API por elemento de prueba, usar modelos más pequeños o PoLL también es una forma sencilla de reducir los costes de API de IA.
Calibra con ejemplos etiquetados por humanos y vuelve a comprobar periódicamente. Antes de confiar en un juez automático en producción, crea un pequeño conjunto de calibración etiquetado por humanos. Pide a tu equipo que califique manualmente una muestra de entradas reales, por ejemplo de 50 a 100 elementos, y mide con qué frecuencia coincide el juez LLM con las etiquetas humanas. Ajusta la rúbrica donde el juez discrepe de los expertos y repite periódicamente la calibración humana a medida que evolucionen las consultas.

Preguntas frecuentes

¿Qué diferencia hay entre la evaluación LLM pointwise y por pares?

La evaluación pointwise califica un resultado individual de forma aislada según una rúbrica y devuelve un aprobado o suspenso, o una puntuación numérica como de 1 a 5. La evaluación por pares muestra al juez dos resultados candidatos para el mismo prompt y pregunta cuál es mejor. Pointwise funciona mejor para la supervisión continua en producción y los controles de regresión; la comparación por pares es mejor para pruebas A/B directas entre dos prompts o modelos.

¿Cómo se corrige el sesgo de posición en LLM-as-a-judge?

Ejecuta cada comparación por pares dos veces invirtiendo el orden: presenta primero Model A y luego Model B, y después Model B y luego Model A. Wang et al. (mayo de 2023) llaman a esto Balanced Position Calibration. Cuenta una victoria solo cuando el juez elija la misma respuesta en ambas ejecuciones; trata las decisiones divididas como empate.

¿Conviene usar el mismo LLM para generar y evaluar respuestas?

No. Usar el mismo modelo o familia para generar y evaluar respuestas introduce sesgo de autopreferencia: el juez favorece los resultados que coinciden con su propia redacción y distribución de entrenamiento. Para mantener la imparcialidad, elige un juez de una familia distinta a las de los candidatos o agrega los votos de un panel diverso de jueces LLM de familias diferentes.

¿Puede un juez LLM reemplazar por completo la evaluación humana?

Un juez LLM no puede reemplazar por completo la evaluación humana porque los jueces automáticos necesitan etiquetas humanas de referencia para calibrar sus rúbricas y detectar fallos sutiles del dominio. Aunque Zheng et al. (junio de 2023) observaron que jueces sólidos como GPT-4 alcanzan más del 80% de acuerdo con las preferencias humanas, siguen haciendo falta personas para etiquetar conjuntos iniciales de calibración, auditar casos límite y verificar razonamientos de alto riesgo.

¿Cómo reducir el coste de LLM-as-a-judge a gran escala?

Puedes reducir los costes ejecutando primero comprobaciones deterministas gratuitas de código, de modo que el juez LLM solo procese resultados que cumplan las reglas básicas de sintaxis y longitud. Además, el estudio PoLL de Verga et al. de abril de 2024 observó que un panel de modelos más pequeños de familias distintas costaba más de siete veces menos que un único juez grande y lograba mayor precisión.

LLM como juez (LLM-as-a-judge): cómo la IA evalúa a la IA y dónde falla

¿Qué es LLM as a judge y por qué lo usan los equipos?

¿Cómo funciona la evaluación LLM-as-a-judge?