ztzoff.tech

5 nov 2026

Cómo es de verdad la construcción de un agente, semana a semana

Ocho semanas desde un eval escrito hasta un agente del que depende una persona real: la especificación, el usuario real en la semana dos, el grupo de control, la revisión independiente y la entrega.

Cuando un prospecto me pregunta cómo es una construcción, suele esperar un diagrama de Gantt. Lo que necesita es saber qué va a tener en la mano al final de cada semana, y por qué cosas puede frenar el proyecto. Esta es la etapa Construir del método Descubrir, diseñar, construir, escalar tal como la llevo en la práctica, en una construcción pequeña de seis a ocho semanas. Una mediana estira la misma forma a lo largo de diez a catorce.

Un cronograma semana a semana de una construcción pequeña. Antes de la semana uno, el eval existe. La semana uno produce la especificación y el esqueleto. Para la semana dos, un operador real está dentro. Las semanas tres a cinco son el ciclo, donde cada cambio se propone, se construye aislado, lo revisa alguien que no lo hizo y lo aprueba el eval, y el grupo de control corre desde la semana tres hasta el final. La semana seis es la decisión del modelo. Las semanas siete y ocho son la entrega del arnés de evaluación, el runbook, el resultado del grupo de control y un dueño con nombre. Una línea verde que cruza todas las semanas muestra el eval corriendo con cada cambio.

Antes de la semana uno: el eval existe

Una construcción no empieza hasta que Diseñar produjo una evaluación: casos reales del flujo del cliente, el resultado esperado para cada uno, un umbral, y la comprobación que decide si pasó o falló sin preguntarle al modelo. Si eso no existe, la primera semana se dedica a escribirlo, y lo facturo como descubrimiento, porque eso es. Empezar una construcción sin eval es la forma de terminar con una demo que funciona para la gente que la construyó.

Semana uno: la especificación y los límites

Cada construcción arranca con una especificación corta: la intención, qué puede leer, escribir y cambiar el agente por su cuenta, qué necesita a una persona, qué no debe tocar nunca, y cómo se va a verificar cada punto. Es el mapa de permisos convertido en algo que un equipo de seguridad puede aprobar y un ingeniero puede probar.

En la misma semana se levanta el esqueleto: el framework del agente, la trazabilidad, el arnés de evaluación conectado al pipeline para que corra con cada cambio. Todavía nada de prompts ingeniosos. El cliente recibe la especificación y una primera corrida del eval contra una línea base, que suele ser una persona haciendo el trabajo a mano.

Semana dos: una persona real está dentro

Al cierre de la semana dos, una persona que va a convivir con este sistema lo usa en trabajo real, con datos reales, bajo supervisión. No el patrocinador. Un operador. Ya escribí sobre por qué un usuario real tiene que estar dentro para el día doce: obliga a sacar a la luz las decisiones de arquitectura mientras cambiarlas sigue siendo barato. Y encuentra la pregunta que la especificación olvidó hacer, siempre.

El cliente recibe la primera lista de cosas que la especificación tenía mal. Esa lista es buena señal. Una construcción sin nada en ella todavía no se encontró con la realidad.

Semanas tres a cinco: el ciclo

Aquí es donde el agente se vuelve bueno, y la disciplina es que cada cambio pasa por el mismo ciclo. Se propone un cambio contra la especificación. Se construye en un espacio aislado. Alguien que no lo construyó revisa la diferencia contra la especificación. Corre el eval. Si baja, el cambio no se integra.

La parte del revisor importa más de lo que suena. En nuestra librería de código abierto, AgentExperience.NET, la última ronda de trabajo tuvo diez piezas, cada una revisada de forma independiente, y cada revisión encontró algo real: una medición que trataba distinto a sus dos grupos, un bloqueo que cruzaba de un tenant a otro, datos borrados que sobrevivían en un índice de búsqueda. Ninguno habría aparecido en una demo. La construcción de un cliente recibe la misma revisión, y el cliente ve las especificaciones.

Desde la semana tres el grupo de control está activo. Una parte de las ejecuciones, al azar, va por el camino viejo, o por el agente sin la funcionalidad que se está probando. Los dos grupos se juzgan con la comprobación del propio cliente. Al final de la construcción esto da un beneficio con intervalo, no una anécdota. El diseño lo explico en un grupo de control para pilotos de IA.

Semana seis: la decisión del modelo

Con un eval que funciona, elegir el modelo se vuelve aritmética. Se corre el eval sobre los candidatos, se toma el más barato que pasa, y se registra el resultado. En mi experiencia, el modelo frontier favorito del equipo pierde este concurso más veces de las que nadie espera, y el costo por ejecución baja en un múltiplo que se acumula cada mes.

El cliente recibe la tabla comparativa de modelos y el costo por ejecución proyectado al volumen de producción.

Semanas siete y ocho: la entrega

Las últimas dos semanas no son pulido. Son las cosas que convierten un proyecto en una operación:

  • El arnés de evaluación como producto. Versionado, con dueño, capaz de frenar un despliegue. Es del cliente, no mío. Entregar frameworks de evaluación describe el estándar.
  • El runbook. Qué hacer cuando la recuperación no devuelve nada, cuando el proveedor del modelo está caído, cuando la calidad se degrada sin ningún despliegue detrás. El runbook de las 3 de la mañana es la plantilla.
  • El resultado del grupo de control. Ayuda, perjudica o todavía no hay evidencia, con su intervalo, juzgado por la comprobación del propio cliente.
  • Un dueño con nombre. Una persona dentro del cliente, con el acceso y la línea de presupuesto, que puede cambiar un prompt el martes y saber el miércoles si ayudó.

El cliente recibe las cuatro. Entonces la construcción está terminada, en el sentido que defino en cuándo está terminado un agente.

Qué cuesta esto y qué no

Una construcción pequeña como la de arriba va de 40.000 a 80.000 dólares en seis a ocho semanas; una mediana, de 80.000 a 160.000 en diez a catorce. Los números son públicos porque los precios opacos hacen perder el tiempo a todos. Lo que esta forma de trabajar no cuesta es una sorpresa en el mes tres, porque el eval, el runbook y el grupo de control existen desde el primer día de operación en lugar de escribirse después del primer incidente.

Si tu construcción actual no tiene ninguno de los cuatro elementos de la entrega, o no tiene un eval que corra con cada cambio, vale la pena averiguar por qué antes de que se acabe el presupuesto. Esa es una conversación que tengo con gusto en una evaluación de preparación para IA sin costo.

Agenda una llamada