Despliega cambios de prompts como código con una suite de evaluación mínima

Cambia un prompt en una función de recuperación ya desplegada, la demo se siente más afilada, y un usuario reporta una cita que no estaba en la fuente. Una suite de evaluación pequeña puede decir si la edición ayudó a la tarea que te importa o rompió la tarea que olvidaste.

Una Suite de Evaluación Mínima Viable (MVES) es un marco orientado a auditoría para evaluar aplicaciones de LLM. Para el trabajo con prompts, es un conjunto versionado de casos específicos por tarea con puntuaciones por tarea. La suite es la puerta de fusión. Le da a un cambio de prompt el mismo camino de revisión que a un cambio de código: un diff, una prueba y un resultado de aprobado/rechazado. Si un cambio mejora una tarea y perjudica a otra, el movimiento de la puntuación es el argumento.

Una edición de prompt es una solicitud de fusión

La calidad subjetiva cambia con la demo, el modelo, el día y la persona que lee la salida. Una demo puede halagar al cambio. Un prompt establece los requisitos del modelo: qué incluir, qué omitir, cómo manejar información faltante y cuándo detenerse. Un pequeño cambio puede sonar más confiado y aun así perder la cita, el formato o el comportamiento de rechazo en el que los usuarios confían. Haz del prompt un artefacto de código: difúrelo, pruébalo y bloquéalo cuando la suite diga que no.

Una ablación local evaluó cinco condiciones de prompt usando Ollama con Llama 3 8B Instruct y Qwen 2.5 7B Instruct, con 30 casos por suite. Los experimentos usaron las etiquetas exactas de Ollama llama3:8b y qwen2.5:7b. El arnés de evaluación del repositorio soporta experimentos locales de LLM reproducibles a través de Ollama.

Construye la suite más pequeña que pueda capturar el fallo

• Nombra la tarea y el fallo que te importa. Escribe la tarea del usuario en lenguaje llano: extraer un campo, responder a partir de texto recuperado, rechazar una solicitud insegura, mantener una forma legible por máquina. El resultado es una etiqueta de tarea que un compañero puede repetir sin preguntar qué querías decir.
• Recoge casos que representen trabajo real de usuarios. Incluye el caso fácil, el caso desordenado y el caso que ya falló en producción. Tienes un archivo versionado donde cada caso tiene una entrada, una tarea y una propiedad esperada a verificar.
• Puntúa cada caso contra una propiedad específica de la tarea. Para extracción, verifica el campo. Para respuestas de recuperación, verifica si la afirmación está respaldada por la fuente. La salida es una puntuación por tarea, no una sensación general.
• Ejecuta las condiciones de prompt contra la misma suite. Mantén los casos fijos mientras cambias el prompt. Obtienes una tabla donde cada condición tiene una puntuación por tarea, de modo que una ganancia en una columna no puede ocultar una pérdida en otra.
• Controla la fusión según el movimiento de puntuaciones por tarea. Decide antes de la ejecución qué caída es inaceptable. La regla es simple: si la puntuación de una tarea cae por debajo del umbral acordado, el cambio no se despliega.

Las reglas genéricas no son gratis. En las condiciones locales probadas, prompts con contratos de salida más estrictos mejoraron la extracción estricta para Llama 3 8B Instruct y Qwen 2.5 7B Instruct, mientras que algunas condiciones de reglas genéricas redujeron la conformidad de citas/contenido RAG. La puntuación RAG de Qwen 2.5 cayó de 26 de 30 a 9 de 30 cuando se añadieron reglas genéricas al prompt del usuario. Cada línea añadida es un cambio de comportamiento. Si una regla no se mapea a un caso en la suite, es una suposición. Si se mapea a un caso, ejecútalo y deja que la puntuación decida.

Controla la fusión según puntuaciones de tarea

No preguntes si el nuevo prompt es mejor. Pregunta si la suite dice que la tarea que te toca empeoró. La decisión de fusión debe ser aburrida: la suite se ejecutó, las puntuaciones se movieron y la regla se aplicó.

Mantén la suite junto al prompt. Cuando el prompt cambia, los casos y la regla de puntuación cambian en la misma revisión. Ejecútala en cada cambio de prompt, incluso un pequeño ajuste de redacción. Si la suite es demasiado lenta, redúcela hasta que quepa en el proceso de revisión.