Cómo registrar puntuaciones de benchmarks de IA para que las comparaciones de modelos sobrevivan a un cambio de índice

Estás eligiendo un modelo a partir de una tabla de puntuaciones, y el número cambiará cuando cambie el índice del benchmark. GPT-6 Astra se lanzó el 3 de septiembre bajo Intelligence Index v4.1.1 con 61 puntos, igualando a GPT-5.6 Sol y quedando a cinco puntos de los 66 de Claude Fable 5.1. Tras la v4.2, Claude Fable 5.1 obtuvo 57 y GPT-6 Astra obtuvo 55. Intelligence Index v4.3, publicado el 7 de septiembre, otorgó a GPT-6 Astra de OpenAI y Claude Fable 5.1 de Anthropic la misma puntuación de 53 puntos.

Artificial Analysis publicó Intelligence Index v4.2 el 4 de septiembre, retirando GPQA-Diamond tras su saturación. La publicación añadió AA-Briefcase y GDP.pdf, este último cubriendo razonamiento de contexto largo a lo largo de 4.592 páginas de PDF. Los conjuntos de pruebas privados representaban el 20 por ciento del Intelligence Index en v4.1, el 40 por ciento en v4.2 y el 45 por ciento en v4.3. Intelligence Index v4.3 actualizó Terminal-Bench de v2.1 a v4.0 y reemplazó τ³-Banking con AutomationBench-AA, un benchmark de flujos de trabajo empresariales de 657 tareas.

La puntuación cambió porque la regla cambió. Un modelo puede parecer mejor, peor o empatado porque el índice cambió, y una regresión real puede esconderse dentro de ese cambio. Una tabla solo con números no puede decir cuál historia es la verdadera.

Fija la regla antes de comparar los modelos

La versionado de benchmarks es el campo que falta en la mayoría de las evaluaciones de selección de modelos. La puntuación es la lectura; la versión del índice es la regla. Trata la regla como parte de la medición. Las reglas también cambian cuando los benchmarks se saturan. Claude 2 resolvió apenas el 1,96 % de los problemas reales de GitHub de SWE-bench a finales de 2023, mientras que los sistemas de investigación y agentes líderes alcanzaron el 71,7 % para 2024; la comunidad de benchmarks añadió entonces versiones más exigentes, incluyendo un subconjunto verificado por humanos y un nivel Pro.

Registra la puntuación con su procedencia

La solución es sencilla: almacena la puntuación como una tupla, no como un escalar. Una tupla obliga a registrar la procedencia.

• Registra la versión del índice con cada puntuación. La fila indica la versión del índice antes del número.
• Congela la versión del modelo y la fecha. La fila identifica la compilación y la fecha de la prueba.
• Anota los cambios en la mezcla de pruebas. El campo lista lo que se añadió, eliminó o reponderó.
• Compara solo puntuaciones del mismo índice. Las filas de otras versiones del índice permanecen ocultas.
• Etiqueta las diferencias entre versiones como cambios de índice.

Mantén los campos juntos en la misma fila. Cuando la puntuación pasa a una nueva diapositiva, la procedencia se mueve con ella, no se queda atrás. Los equipos a menudo pegan un número del ranking en una diapositiva sin la versión del índice. Eso convierte una comparación de modelos en una comparación de reglas. Pon la versión en la misma celda que la puntuación, o en el encabezado de la fila, para que no se pierda en la revisión. Cuando un interesado pregunta por qué cambió el número, la respuesta debe nombrar la causa antes de que alguien discuta sobre calidad: el modelo cambió, el índice cambió o la mezcla de pruebas cambió.

Cuando el índice cambia, dilo

No expliques una caída de puntuación como deterioro del modelo hasta que hayas descartado el índice. Las nuevas versiones que añaden pruebas más difíciles, eliminan pruebas saturadas o cambian el peso de las pruebas privadas mueven el número por una razón estructural. Dilo en la misma frase donde citas la puntuación. Buenas notas nombran la dirección y la causa, no una vaga mejora del modelo.

TruthInsightBench utiliza un juez fijo basado en LLM para puntuar seis dimensiones mediante 29 elementos fundamentados en artefactos, y su agregación automatizada y determinista, sin calificación humana por instancia, permite reejecutar la evaluación a medida que los agentes evolucionan. En la línea base de TruthInsightBench, Claude Code v2.1.220, Codex CLI v0.149.0, OpenScience v2.0.1 y DeepSeek Harness v0.1.0rc7 se ejecutaron sobre un modelo base congelado a través de las mismas 40 tareas y protocolo, y sus puntuaciones totales oscilaron entre 58,4 y 60,3 sobre 100 sin diferencias fiables por pares. Los protocolos fijos hacen que las puntuaciones sean auditables. Sin capacidad de reejecución, trata la puntuación como una instantánea. Marca una comparación como provisional en el documento de lanzamiento y fíjale una fecha clara cuando el cambio no pueda nombrarse.