Reancla tu elección de modelo de IA tras un cambio en las reglas del ranking

Un cambio en las reglas del ranking es un evento de producto. Puede alterar el nivel de esfuerzo y las tareas detrás de la puntuación, por lo que la selección de modelo de ayer ya no puede describir tu producto. Si tu producto depende de un modelo que ahora se posiciona de forma diferente, reancla antes de cambiar.

La nueva escala no es la escala anterior

Cuando un benchmark cambia su método, el mismo modelo puede moverse porque cambió la prueba, no porque cambió el modelo. El riesgo es comparar instrumentos distintos y llamar a la brecha un cambio de capacidad.

El Intelligence Index v5 de Artificial Analysis asignó el 60% de su ponderación a evaluaciones que utilizan preguntas de prueba no públicas o respuestas reservadas. Las preguntas privadas reducen la contaminación del benchmark, por lo que el nuevo índice se acerca más al trabajo no visto.

En los resultados de v5 del 27 de octubre, Claude Opus 5.5 obtuvo la puntuación más alta con 58, GPT-6 Astra obtuvo 57 y GPT-6.1 Sol obtuvo 55, utilizando el máximo esfuerzo de razonamiento en los tres casos. La brecha entre los tres primeros es pequeña, pero la configuración es parte del resultado. Si tu producto no puede costear el nivel de esfuerzo más alto, el ranking puede no describir tu entorno de ejecución.

La puntuación de v5 de Kimi K3.1 Pro fue de 46, 12 puntos por debajo del modelo líder, mientras que la misma brecha con el líder en v4.3 era de 3 puntos. Ese salto refleja un cambio de escala, no un fallo del modelo. La pregunta es cuánta capacidad exige el nuevo método para mantenerse cerca de la cabeza.

Artificial Analysis también introdujo el Progress Index v1 como una escala única de capacidad para modelos de lenguaje que aparecieron a partir de noviembre de 2022. Puede mostrar si una familia de modelos está mejorando, pero no puede sustituir la evidencia a nivel de tarea que tu equipo necesita para un cambio. Mantén la tendencia visible en la revisión del cambio, junto a los resultados que justifican una modificación.

Un gráfico público no es el instrumento de tu producto

Un ranking público puede mostrar dónde se sitúa un modelo entre otros. No puede mostrar si tus usuarios confiarán en la salida, ni si el nuevo modelo supera tu tarea central a tu nivel de esfuerzo y costo.

FrontierCode 2.0 evaluó modelos en 132 tareas reales de repositorios de código abierto, utilizando una decisión de integración del mantenedor como criterio de puntuación. Ese es el estándar que un equipo de producto puede replicar para sus propias evaluaciones con datos retenidos.

En los resultados del 27 de octubre, GPT-6.1 Sol con esfuerzo máximo requirió $1.27 de gasto en benchmark por tarea del Intelligence Index, mientras que Claude Opus 5.5 con esfuerzo máximo requirió $10.04. Esa brecha de costo debe estar en la misma revisión que la brecha de puntuación.

Una lista de verificación previa al cambio mantiene la decisión auditable

El error común es dejar que una puntuación pública anule un resultado de regresión privado. Si tu conjunto de datos retenidos muestra que el nuevo modelo es peor en tu tarea central, el ranking no ha demostrado que sea mejor para ti.

• Confirma la comparabilidad de las puntuaciones. Anota qué cambió en el benchmark, qué enfatiza la nueva ponderación y si la puntuación antigua de tu modelo actual puede compararse con la nueva. La salida es una nota breve que explica si los números antiguos y nuevos son comparables.
• Reconstruye la línea base en tareas privadas retenidas. Ejecuta tu modelo actual con tus propios ejemplos no vistos y almacena las salidas. Detente cuando un resultado reproducible pueda ejecutarse con un solo comando.
• Define la aceptación de integración del mantenedor. Elige una decisión humana que signifique que la salida es suficientemente buena para publicar. La rúbrica debe nombrar aprobar, reprobar y la evidencia necesaria para cada caso.
• Compara el costo por tarea. Calcula el gasto del candidato al nivel de esfuerzo que tu producto usará realmente. La tabla debe mostrar modelo, esfuerzo, costo por tarea y gasto mensual esperado.
• Registra la regresión en una escala continua. Anota el cambio en tu puntuación privada, no solo aprobar o reprobar. El resultado debe ser un número que pueda seguirse como tendencia a lo largo del tiempo y mostrarse en una revisión.