ztzoff.tech

3 nov 2026

Casi ningún piloto de IA puede decir si el agente ayuda. Un grupo de control sí.

Si activas el agente para todos, la única línea base es la memoria de la gente. Reserva al azar una parte de las ejecuciones y juzga ambos grupos con una comprobación ajena al modelo.

La mayoría de los pilotos de agentes de IA que nos piden revisar comparten un defecto. Nadie puede decir si el agente está ayudando.

Hay una demo. Hay anécdotas, casi siempre buenas, de la gente que quería el piloto. Hay un tablero con cuántas veces corrió el agente. Lo que no hay es una comparación, porque el agente se activó para todos al mismo tiempo, y el único "antes" es lo que la gente recuerda. Ya escribimos sobre por qué las horas ahorradas son un número que miente. Este ensayo es sobre el diseño que lo reemplaza, y sobre por qué cuesta menos de lo que suena.

El diseño

Reserva una parte pequeña de las ejecuciones, elegida al azar. Esas ejecuciones reciben el agente tal cual: sin memoria, sin el prompt nuevo, sin la herramienta nueva, sin lo que sea que estés probando. Todas las demás reciben el cambio.

Juzga cada ejecución con una comprobación que no sea el modelo. Las pruebas pasan. El ticket se cerró y no se reabrió. Una persona aprobó el resultado. La opinión del modelo sobre su propio trabajo no es una comprobación, por las razones que explicamos en un modelo no puede corregir su propio examen.

Con suficientes ejecuciones de cada lado, tienes una diferencia entre los dos grupos, con su intervalo, por modelo, y uno de tres veredictos: ayuda, perjudica o todavía no hay evidencia. La regla para leer ese número se escribió antes de que llegaran los datos.

Construimos este diseño dentro de AgentExperience.NET, nuestra librería de código abierto para memoria de agentes, para que cualquiera pueda revisarlo: el grupo de control viene activado por defecto, compara resultados verificados y no emite veredicto hasta que cada brazo tiene suficientes ejecuciones. El mismo diseño, con tus comprobaciones y tus ejecuciones, es el que montamos para el agente de un cliente.

Tres cosas que un grupo de control le da a la dirección y una demo nunca le dará

Te enteras cuando algo perjudica. En nuestras propias mediciones sobre una tarea realista, las lecciones tomadas de otras roturas rindieron peor que no tener memoria: 0,303 de los intentos verificados, contra 0,455 sin ellas. Sin el grupo de control eso habría parecido un éxito, porque el agente seguía terminando su trabajo la mayoría de las veces. Nadie habría notado que terminaba menos.

Puedes apagar cosas con evidencia. Una lección medida como perjudicial deja de mostrarse sola. La misma lógica vale para un cambio de prompt, una herramienta nueva o un modelo nuevo: lo que perjudicó se apaga porque un número lo dijo, no porque alguien perdió una discusión.

Dejas de discutir. El número es el mismo lo lea quien lo lea. Quien defiende al proveedor y quien desconfía de él ven el mismo intervalo. Cuando la regla para declarar un resultado se fijó de antemano, no queda nada que negociar después, y la reunión sobre si el piloto funcionó se vuelve corta.

Qué cuesta

Poco. Un porcentaje pequeño de ejecuciones sigue por el camino viejo, que es un costo que hoy ya pagas por todas. El verificador suele ser algo que ya tienes: tu suite de pruebas, tu paso de aprobación, el estado "cerrado sin reabrir" de tu sistema de tickets. Lo que de verdad cuesta un grupo de control es la voluntad de enterarse, y esa es la parte que la mayoría de los pilotos se salta.

Dos cosas sí piden cuidado. La asignación tiene que ser aleatoria y hecha por el sistema, no por una persona eligiendo qué ejecuciones parecen seguras. Y los dos grupos tienen que tratarse igual en todo salvo en lo que se está probando. Una revisión independiente de nuestra propia librería encontró una medición que asignaba sus dos grupos de forma distinta, algo que habría sesgado cada resultado sin hacer ruido. Ese es el tipo de error que un grupo de control invita, y el tipo de error para el que existe la revisión.

Qué dice nuestro propio grupo de control hasta ahora

Nos sometemos al mismo diseño, así que estos son los números que ha producido, ninguno redondeado hacia arriba.

  • En una tarea sintética, las lecciones ayudaron, de forma acotada: una corrida por modelo, 12 instancias, y la estrategia llega al agente textualmente. Muestra que un modelo actúa sobre una lección inyectada, no que la memoria ayude en trabajo real.
  • En tareas realistas, la única corrida evaluable no mostró beneficio global contra no tener memoria (p = 0,50). Contra un bloque placebo, las lecciones reales usaron menos llamadas a herramientas en 7 de los 8 servicios que difirieron (p = 0,035). Todas las demás corridas fueron inconclusas o se detuvieron antes de tiempo.
  • En el triaje de CI, 1 acierto de 7 con lecciones y 3 de 9 sin ellas. El veredicto es "sin evidencia", por falta de corridas.
  • En trabajo real, la corrida está pre-registrada y todavía no se activó. No hay resultado.

Una librería cuya propia medición dice "todavía sin beneficio global" es, creemos, mejor publicidad del método que una que proclama una victoria. Es la misma honestidad que recibe un cliente sobre su propio sistema.

Por dónde empezar

Si tu agente ya está activo para todos, igual puedes abrir un grupo de control: desvía al azar una parte de las ejecuciones nuevas al camino viejo, empieza a juzgar ambas con la comprobación que ya tienes y espera a que los brazos se llenen. Si el agente todavía no salió, construye el grupo de control antes del lanzamiento, junto con la evaluación que deberías estar corriendo de todos modos.

En cualquiera de los dos casos, el primer paso es nombrar la comprobación. Eso es lo que hacemos en una evaluación de preparación para IA sin costo: identificar el verificador que ya tienes, dimensionar el grupo de control y dejar por escrito la regla para leer el resultado antes de que nadie lo vea.

Agenda una llamada