Un equipo afina cada agente de su pipeline hasta dejarlo excelente por separado. El agente investigador recupera mejor. El escritor produce prosa más limpia. El verificador atrapa más errores. Cada cambio se mide y cada cambio es una mejora. Sale a producción y la tasa de éxito de punta a punta baja. Nadie sabe decir qué mejora causó la regresión, porque todas, medidas por su cuenta, mejoraban algo.
No es una paradoja. Es lo que pasa cuando optimizas las piezas de un sistema cuyo valor vive en cómo encajan.
La victoria local que no lo es
En una tarea de un solo prompt, «mejorar este prompt» está bien definido: mejor output en el eval. En un sistema multiagente, el output de un agente no es el producto: es el input del siguiente agente. Un prompt que vuelve más exhaustivo al investigador puede enterrar el único campo que el escritor necesitaba bajo tres párrafos de contexto. Subiste la nota del investigador y degradaste el handoff. El sistema empeoró justamente por mejorar cada agente.
Hay trabajo reciente que le pone nombre. MASPO lo plantea como la desalineación entre los objetivos locales de cada agente y las metas globales del sistema, y su respuesta es dejar de evaluar prompts en aislamiento: cada prompt se mide por cuánto facilita el éxito de los agentes que lo consumen río abajo —optimización conjunta sobre el sistema entero, no afinado agente por agente. MAPRO replantea lo mismo como inferencia sobre el grafo completo de agentes, en lugar de una pila de búsquedas independientes. Matemáticas distintas, premisa idéntica: el trabajo de un prompt es el handoff, no su propio output.
Es el problema de depuración, disfrazado
Si te suena, con razón. Es la misma propiedad que vuelve difíciles de depurar los sistemas multiagente: los fallos viven en el espacio entre los agentes, no dentro de ninguno. Una vista plana, agente por agente —un log, o una nota de eval por agente—, te deja quince afirmaciones verdaderas que no explican el comportamiento del sistema.
Las victorias viven donde viven los fallos. Y de ahí sale un corolario que no se puede esquivar: si no puedes ver el handoff, no puedes optimizarlo. Necesitas el trace de la trayectoria completa, no un scorecard por nodo.
Qué implica esto a la hora de construir
- Evalúa el sistema de punta a punta. El eval que bloquea es el del éxito de la tarea, el que tiene permiso de detener un release, no el de la calidad de los componentes. Una nota por agente más alta que hunde el éxito global es una regresión, y punto.
- Trata el cambio de prompt de un agente como un cambio de sistema. El radio de impacto es el grafo, no el nodo. Vuelve a ejecutar el eval del sistema, porque una edición local puede romper una suposición río abajo que nunca escribiste.
- Desconfía de «optimizamos los prompts». Pregunta qué se midió. El afinado agente por agente que nunca miró el handoff está puliendo cada pieza mientras crea costuras nuevas entre ellas.
La unidad de calidad en un sistema de agentes es la trayectoria, no el paso. Si optimizas el paso, puedes acabar afilando un cuchillo que apunta en la dirección equivocada. Si optimizas la trayectoria —midiendo cada prompt por cómo deja al siguiente agente—, las mejoras por fin se suman en vez de anularse.