Evalúa cada hilo de agente sin romper el presupuesto de evaluación

Tu panel de evaluación probablemente te muestra una muestra, no el producto. Deja de muestrear conversaciones de agentes; evalúa cada hilo con un juez especializado. Cuando un juez especializado es más preciso y más barato en tu carga de trabajo, la cobertura total es la opción predeterminada, no una muestra de auditoría mínima.

Lo habitual es muestrear trazas de producción y ejecutar un LLM de frontera como juez sobre lo que sobra. Ese patrón parece responsable. Por lo general, es incorrecto para agentes críticos en confianza. Estás midiendo el subconjunto que sobrevivió a tu filtro.

La cobertura total es una decisión de diseño, no un accidente de facturación

Los usuarios experimentan el hilo donde el agente pasó por alto la regla de reembolso, inventó una política o repitió una negativa. Si tus evaluaciones solo ven unos pocos de esos hilos, tu panel es un tablero de estado de ánimo, no un instrumento de confianza. El rediseño es simple: que la unidad de evaluación sea el hilo, no el subconjunto afortunado.

Un juez especializado puede hacer ese trabajo. LangChain lanzó LangSmith Tuned Evaluators el 18 de agosto de 2026. El primer Tuned Evaluator de LangChain fue Perceived Error. Ese juez post-entrenado superó a todos los modelos de frontera en su benchmark y redujo el costo de evaluación en un 82 por ciento. Algunas cargas de trabajo de socios iniciales alcanzaron hasta un 98 por ciento de ahorro, con variación ligada a la composición de los hilos.

Perceived Error está disponible en Estados Unidos para los planes LangSmith Plus y Cloud Enterprise. Perceived Error espera a que un hilo tenga al menos dos intercambios humano-IA y haya estado inactivo durante el tiempo configurado, y luego finaliza en un plazo de 12 horas desde que se vuelve elegible. LangSmith cobra 0.01 LCU por una ejecución exitosa de evaluación de Perceived Error.

La regla de costo-cobertura es una sola multiplicación

Aplica esta regla antes de comprar, no después de la compra.

• Multiplica el costo del juez por hilo por tu volumen de hilos.
• Compáralo con el costo del LLM de frontera muestreado como juez para el mismo hueco de cobertura.
• Exige que la taxonomía de errores coincida con tus fallos de confianza, no solo con etiquetas genéricas de calidad.

No compares un juez especializado con un modelo de frontera en un solo hilo de demostración. Compáralos en tu mezcla de producción, porque la composición de los hilos cambia la factura. Empieza por los hilos que más importan. Algunos hilos son cortos y seguros. Otros son largos, emocionales y llenos de casos límite. Tu juez debe verlos todos, pero tu cola de revisión debe priorizar los de alto riesgo. El muestreo decide lo que nunca verás. La priorización decide lo que verás primero.

Mantén el hilo crudo adjunto a la puntuación. Cuando un juez marca un hilo, tu equipo debe poder leer los mismos mensajes que envió el usuario, no una versión resumida.

La objeción más fuerte es que la evaluación completa romperá el presupuesto. Lo hará si sigues pagando tarifas de modelo de frontera por cada mensaje. La solución es dejar de usar el modelo caro como juez predeterminado y permitir que un juez especializado asuma la carga de producción. El modelo de frontera aún puede usarse para verificaciones puntuales, casos difíciles o para construir el siguiente juez. No debería ser el costo predeterminado en cada conversación.

El juez debe coincidir con el fallo de confianza

Una puntuación de utilidad pasa por alto los fallos por los que te disculparías: una promesa falsa, una transferencia omitida o una fuga de privacidad. La taxonomía debe nombrar esos fallos. La evaluación debe detectar reglas de reembolso omitidas en un agente de reembolsos, confianza insegura en preguntas médicas y cambios no autorizados en acciones de cuenta.

La taxonomía también debe ser lo suficientemente estable para hacer seguimiento en el tiempo. Si el juez puede etiquetar el mismo fallo de varias maneras, tu equipo gastará el ciclo de lanzamiento discutiendo etiquetas en lugar de corregir el agente. Revisa las etiquetas con el mismo cuidado que le darías a un estado de interfaz, porque la etiqueta es en lo que tu equipo actuará. Mantén las categorías estrechas. Haz que los ejemplos sean concretos. Vincula cada categoría a una consecuencia visible para el usuario.

Un juez especializado gestionado es la primera compra, no el último recurso. Cómpralo a menos que tus modos de fallo sean demasiado específicos para entrenar o comprar. Si lo son, construye la evaluación y mantén el hilo como unidad de medida.