Evaluaciones tipo bifurcación para agentes de IA de larga duración

El éxito final oculta el mal giro

Tu agente de larga duración puede completar una tarea y aun así generar desconfianza en el usuario. El artefacto final parece correcto. El camino fue feo: omitió una confirmación, reescribió un archivo propiedad del usuario o eligió un atajo frágil que fallaría con una restricción más. Si tu evaluación solo verifica el estado final, estás certificando el destino mientras ignoras la ruta.

Los equipos miden la tasa de éxito, la latencia y el costo, y luego publican. Los usuarios perciben la diferencia antes. Notan cuando el agente pide permiso en el momento equivocado o cuando se compromete con un plan que no se puede deshacer. La solución es evaluar la decisión, no solo el resultado.

Un recurso útil es Taste-Bench, un conjunto de datos construido a partir de la versión v3. El artículo 'The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks' tiene a Wenbo Pan y ocho autores más. El artículo de arXiv 2609.25804 tuvo la versión 1 enviada el 22 sep 2026 y la versión 2 el 23 sep 2026. El subconjunto de ingeniería tiene 390 elementos. El subconjunto de investigación tiene 112 elementos. El método es la parte que hay que robar: las preguntas tipo bifurcación piden al modelo elegir entre dos movimientos siguientes plausibles en una trayectoria real, y luego prueban si la elección sobrevive a un orden de opciones invertido. Taste-Bench puntúa una pregunta de bifurcación como correcta solo si el modelo elige la opción correcta tanto en el orden original como en el invertido, por lo que el rendimiento por azar es del 25%.

Una tarjeta de bifurcación convierte una traza en una prueba

La tarjeta es lo suficientemente pequeña para revisarla en una pull request y lo suficientemente específica para detectar una regresión. Incluye una bifurcación de trayectoria, el contexto mostrado, dos opciones, la opción correcta, la evidencia que la decide y la regla de puntuación con orden invertido.

• Extrae una trayectoria. Elige una ejecución completada donde la salida final pasó pero el usuario habría sentido fricción. Conserva la traza guardada con marcas de tiempo, llamadas a herramientas, mensajes visibles para el usuario y el estado antes del movimiento arriesgado.
• Corta la bifurcación en el punto de decisión. Detén la traza en el momento en que el agente pudo haber elegido de otra manera. Conserva solo el contexto que el agente realmente tenía: solicitud del usuario, resultados previos de herramientas, restricciones y estado visible. Recorta el prompt a un tamaño que tu arnés de evaluación pueda ejecutar; las solicitudes de evaluación de Taste-Bench están limitadas a 65,536 tokens de entrada.
• Escribe las dos opciones como elecciones visibles para el usuario. Haz que ambas sean plausibles. Una debe ser el movimiento mejor; la otra, el error tentador. No hagas que la opción correcta sea siempre la más larga y cautelosa. Los usuarios no premian la verbosidad; premian el progreso recuperable. Las opciones deben ser lo suficientemente cortas para que un diseñador de producto pueda leerlas sin la traza.
• Registra la evidencia que lo decide. Nombra el hecho que hace que una opción sea correcta: un límite de permisos, un costo de reversión, una preferencia del usuario, una limitación de herramienta o una restricción de seguridad. La justificación debe ser una oración que un compañero de equipo pueda verificar contra la traza.
• Añade la regla de puntuación con orden invertido. Adjunta la regla a la tarjeta para que la prueba falle cuando el modelo simplemente prefiere la primera opción, la segunda opción o la opción más larga.
• Ejecútala como evaluación de regresión antes de desplegar. Añade la tarjeta al conjunto que se ejecuta con cada cambio de modelo, prompt o herramienta. Debe aparecer un build en rojo cuando una elección a mitad de ejecución se invierta, incluso si la tarea final sigue teniendo éxito.

Extrae las tarjetas de la fricción del usuario

Las mejores tarjetas provienen de momentos donde los usuarios se habrían detenido, no de casos extremos sintéticos inventados en una reunión. Si una trayectoria muestra al agente eligiendo un camino que ahorra tiempo pero destruye la confianza, esa es la bifurcación que necesitas.

Mantén el conjunto pequeño y afilado. Un puñado de tarjetas de alta señal supera a un gran montón de comprobaciones vagas de éxito. Cuando una tarjeta falla, no parchees el prompt a ciegas. Lee la traza, encuentra la restricción faltante y actualiza el contexto que ve el agente. Luego vuelve a ejecutar la tarjeta de bifurcación y publica solo cuando la elección a mitad de ejecución se mantenga estable.