Puntúa las evaluaciones de agentes para que las violaciones de guardrail no se oculten

Si tu panel de evaluación muestra un promedio aprobatorio mientras un guardrail se activó, ese promedio está ocultando un riesgo de lanzamiento. La solución es una tarjeta de evaluación de tres cifras: Finalización, Finalización Limpia y Costo por Tarea, donde cualquier violación de guardrail anula la puntuación de la tarea. En automatización de flujos de trabajo, esa tarjeta hace visible la regla antes de que la elección del modelo se convierta en un debate entre partes interesadas.

Anota cero la tarea antes de promediarla

Escribe la lista de guardrails antes de ejecutar la suite. El resultado debería parecer un breve reglamento: sin datos de clientes fabricados, sin pagos no autorizados, sin prompts filtrados, sin promesas fuera de marca. La lista debe ser lo suficientemente específica para que dos ingenieros califiquen la misma ejecución de la misma manera. Un guardrail vago convierte la puntuación en un debate sobre interpretación.

Cuando un guardrail se activa, anota cero la tarea. La ejecución final muestra una marca de tarea fallida, no crédito parcial. En AutomationBench-AA, una tarea recibe puntuación cero cuando el agente viola un guardrail. No dejes que una puntuación parcial de objetivo sobreviva a la violación. Una tarea que completa el flujo de trabajo pero rompe una regla debe marcarse como tarea fallida para la tarjeta.

Un promedio puede verse saludable mientras el producto está haciendo algo que no debería. Promediar violaciones en el total le da al modelo crédito por un comportamiento que no pasaría una revisión de lanzamiento.

Reporta la finalización y la finalización limpia como líneas separadas

La tarjeta final necesita dos líneas de calidad. Finalización puede contar cada flujo de trabajo que alcanza sus objetivos. Finalización limpia solo cuenta los flujos de trabajo que alcanzan todos los objetivos sin violación de guardrail. Finalización pregunta si el agente puede hacer el trabajo. Finalización limpia pregunta si puede hacerlo de una manera que puedas lanzar.

La separación ya es visible en un ranking de modelos. El v4.3 Intelligence Index reemplazó τ³-Banking por AutomationBench-AA y movió Terminal-Bench de la versión 2.1 a la versión 4.0. La evaluación de AutomationBench-AA ejecuta un conjunto retenido de 657 tareas con Zapier, usando la versión 1.0.6 del benchmark. En AutomationBench-AA, Score promedia las puntuaciones de tareas sobre el conjunto completo de 657 flujos de trabajo, mientras que Tasks Completed solo cuenta los flujos de trabajo en los que se cumplieron todos los objetivos sin violación de guardrail.

El v4.3 Intelligence Index otorgó a las evaluaciones con conjuntos de prueba privados un 45% del índice compuesto, un aumento desde el 40%. Usa ese peso cuando tus usuarios están en un flujo de trabajo regulado o de alto riesgo.

Coloca el costo por tarea en la misma tarjeta que la calidad

Agrega el costo por tarea a la misma tarjeta. Una decisión de cambio de modelo necesita conocer el gasto antes de convertirse en una decisión de calidad. Cuando los modelos empatan en el índice compuesto, la opción más barata puede ser la elección de negocio más segura. El costo por tarea también revela cuándo un modelo más potente está pagando por una capacidad que tu flujo de trabajo no utiliza.

En el v4.3 Intelligence Index, GPT-6 Astra (max) y Claude Fable 5.1 (max con fallback) recibieron cada uno una puntuación de 53 en el Intelligence Index, pero el costo promedio por tarea del Intelligence Index de Astra fue de $3.26 frente a $7.63 de Fable, lo que hace a Astra un 57% más barato por tarea. Esa brecha es el tipo de recibo que una parte interesada puede usar. Convierte una comparación de modelos en una pregunta de economía unitaria.

Los números hacen la separación concreta. En AutomationBench-AA, GPT-6 Astra (max) tuvo un Score del 68.5% y una tasa de finalización limpia del 41.6%, frente al 32.1% de Claude Fable 5.1 (max con fallback) y el 28.3% de Claude Opus 5 (max). Mantén la tarjeta pequeña. Un diseñador, un socio financiero y un revisor de seguridad pueden leerla todos. Ese es el número que te dice si el flujo de trabajo puede sobrevivir a un cliente real, no solo a una ejecución de benchmark.

Haz que la tarjeta forme parte de la revisión de lanzamiento

Coloca la tarjeta en la revisión de lanzamiento antes de la decisión de cambio de modelo. La tabla de lanzamiento tiene columnas para finalización, finalización limpia y costo por tarea. Debe estar junto a la historia de usuario, no detrás de un apéndice de benchmark. Una violación de guardrail en la línea de finalización limpia cambia la pregunta de lanzamiento de si el agente es inteligente a si el agente está autorizado a lanzarse.

Usa la tarjeta para comparar opciones, no para decorar una diapositiva. Cuando una opción tiene mayor finalización pero menor finalización limpia, di lo que vería el usuario. Cuando una opción es más barata pero activa el guardrail con más frecuencia, di lo que la empresa tendría que asumir. Mantén la tarjeta junto a la decisión de lanzamiento hasta que se elija el modelo. La tarjeta debe sobrevivir a la reunión, no solo a la presentación.