ztzoff.tech

5 nov 2026

¿Cuándo está terminado un agente? Cinco cosas que reviso antes de dar por cerrada una construcción

Que la demo funcione no es estar terminado. Terminado es un eval que corre con cada cambio, un beneficio medido contra un grupo de control, un runbook, un costo por ejecución y un dueño con nombre.

"Terminado" es la palabra más cara de un proyecto de agentes. Dila demasiado pronto y el agente vive meses como una demo que alguien tiene que cuidar. Dila demasiado tarde y el presupuesto se va en pulido que nadie pidió. Este ensayo es la prueba de salida que uso para la etapa Construir de Descubrir, diseñar, construir, escalar, y la razón por la que Escalar nunca arranca en la mayoría de los pilotos es que esta prueba nunca se escribió.

Que la demo funcione no es estar terminado

La demo funciona para la gente que la construyó, en los casos que probaron, el día que los probaron. Es una condición necesaria y débil. El tráfico de producción no es el de la demo. Los modelos se actualizan debajo de ti. La persona que entendía el prompt se va. "Funciona" es una afirmación sobre el pasado, y el negocio necesita una afirmación sobre el próximo trimestre.

Así que defino terminado como cinco cosas, cada una de las cuales se puede señalar con el dedo.

Una lista de las cinco cosas que significan que un agente está terminado, cada una con la pregunta que la comprueba. Un eval que corre con cada cambio: muéstrame el último cambio que rechazó. Un beneficio medido contra un grupo de control: ayuda, perjudica o no hay evidencia todavía, con qué intervalo. Un runbook para la noche en que falle: elige una falla, cuánto tardarías hoy en detectarla. Un costo por ejecución conocido: el número, no un rango, y cuándo se midió. Un dueño con nombre y acceso: a quién le llega la alerta. El grupo de control y el dueño aparecen marcados como los que suelen faltar.

1. Un eval que corre con cada cambio

No un cuaderno que alguien corrió una vez. Un conjunto versionado de casos reales con resultados esperados y un umbral, conectado al pipeline, capaz de bloquear un despliegue. Si un cambio de prompt baja la tasa de aciertos, nadie tiene que darse cuenta: el pipeline rechaza la integración. Un arnés de evaluación es un producto, y le pertenece al cliente.

La comprobación: pide ver el último cambio que el eval rechazó. Si nunca hubo uno, o el agente es perfecto o el eval en realidad no está frenando nada.

2. Un beneficio medido contra un grupo de control

Una parte de las ejecuciones, al azar, fue por el camino viejo, o por el agente sin la cosa que se está probando. Los dos grupos se juzgaron con la comprobación del propio cliente: las pruebas pasaron, el ticket se cerró, una persona aprobó. El resultado es una diferencia con intervalo y uno de tres veredictos: ayuda, perjudica o todavía no hay evidencia.

Me someto a esto con mi propio trabajo. En nuestra librería de código abierto para memoria de agentes, el veredicto del grupo de control en tareas realistas sigue siendo "todavía sin beneficio global", y en una corrida una lección equivocada rindió peor que ninguna. Lo publico porque una medición que no puede decir "no" no es una medición. Una construcción que no puede mostrar este número no está terminada; está desplegada. El diseño está en un grupo de control para pilotos de IA.

3. Un runbook para la noche en que falle

La IA en producción falla de formas que un runbook común no cubre: la recuperación no devuelve nada relevante, el proveedor del modelo se degrada, la calidad cae sin ningún despliegue detrás, una herramienta empieza a devolver errores con otra forma. El runbook de las 3 de la mañana nombra cada fallo, cómo lo notarías y qué hacer. Terminado significa que existe y que la persona de guardia lo leyó.

La comprobación: elige un fallo del runbook y pregunta cuánto tardarían hoy en detectarlo. Si la respuesta incluye a un cliente quejándose, la observabilidad no está, y ese es el tema de qué debería ver un directivo de cada ejecución.

4. Un costo por ejecución conocido al volumen de producción

El gasto en tokens de un agente de varios pasos se acumula. Una construcción que eligió el modelo por preferencia y no por el más barato que pasa el eval, o que ignoró el diseño consciente del caché, puede costar varias veces lo que debería, cada mes, para siempre. Terminado significa que alguien puede decir el costo por ejecución, el gasto mensual proyectado al volumen esperado, y la razón respaldada por el eval por la que se eligió ese modelo.

La comprobación: pide el número. No un rango. El número, y la fecha en que se midió por última vez.

5. Un dueño con nombre y con acceso para cambiar cosas

No un equipo. Una persona dentro del cliente que tiene el acceso, la línea de presupuesto y la autoridad para cambiar un prompt el martes y saber el miércoles si ayudó. Sin esto, cada cambio se convierte en un ticket al proveedor, y el agente se congela en el estado en que quedó cuando terminó el contrato. Quién es dueño del agente en el mes seis explica qué hace de verdad ese rol.

La comprobación: pregunta a quién le llega la alerta. Si la respuesta es el correo de un proveedor, la entrega no ocurrió.

Lo que deliberadamente no está en la lista

Una precisión por encima de algún número redondo. El umbral del eval lo fija el negocio durante Diseñar, y un noventa por ciento es excelente para un flujo y peligroso para otro. Una interfaz pulida. El usuario real de la semana dos decide qué interfaz hace falta, y suele ser menos de lo planeado. Cualquier cosa multiagente. Un agente terminado le gana a tres que no lo están, y el segundo agente es su propio problema.

Por qué esta lista es la puerta a Escalar

Cada uno de los cinco es algo que la etapa Escalar consume. El eval es cómo cambias el agente sin romperlo. El grupo de control es cómo justificas el segundo. El runbook y el dueño son cómo sobrevive al mes seis. El costo es cómo consigue una línea de presupuesto en lugar de un código de experimento. Si falta uno, Escalar no arranca tarde; no arranca.

Si quieres pasar esta prueba sobre un agente que ya tienes, es un ejercicio corto, y es uno de los que hago dentro de una evaluación de preparación para IA sin costo. La respuesta suele ser dos de cinco, y los dos que faltan suelen ser el grupo de control y el dueño.

Agenda una llamada