ztzoff.tech

3 nov 2026

El martes tu agente volvió a tropezar con la piedra que esquivó el lunes

Cada ejecución arranca de cero, así que la solución del lunes se pierde el martes. Una memoria verificada indexa lecciones por cómo falló una herramienta y guarda solo lo que tu comprobación aprobó.

El lunes, un agente toma un build roto. Prueba la solución obvia, falla, prueba una segunda, descubre que el contenedor de pruebas necesita una imagen base más nueva, y la suite pasa. El martes llega un trabajo casi idéntico y el agente vuelve a probar la solución obvia. Nada de lo que aprendió el lunes sobrevivió a la noche.

El problema no es el modelo. Cada ejecución arranca de cero. El historial termina con la sesión, y las capas de memoria que traen la mayoría de los frameworks guardan lo que se dijo, o lo que el modelo decidió anotar, no lo que de verdad funcionó. Casi ningún equipo sabe cuántas veces al día le pasa esto a su propia automatización, porque nadie cuenta los fallos repetidos. Y el costo es concreto: las mismas llamadas a herramientas, los mismos tokens, los mismos minutos, gastados en redescubrir una solución que el sistema ya pagó una vez.

Pasamos los últimos dos meses construyendo la pieza que falta, con el código a la vista: AgentExperience.NET, una librería en preview que le da al agente una memoria de sus propias ejecuciones verificadas. Es el mismo criterio que aplicamos en cada sistema que entregamos a un cliente, y se apoya en tres reglas. La primera la contamos en un ensayo anterior. Este trata de la segunda, que es donde se atrapa el error del martes.

Regla uno: una lección existe solo si tu comprobación dice que la ejecución funcionó

Que pasen las pruebas, que el proceso termine con código cero, que una persona lo apruebe. Nunca el relato del modelo sobre su propio trabajo. Una ejecución cuya comprobación falló queda en cuarentena y no se reutiliza. Esto importa más de lo que parece: una memoria que guarda las afirmaciones del modelo solo recuerda sus errores con mucha seguridad, y eso es peor que no tener memoria. Ya escribimos sobre por qué un modelo no puede corregir su propio examen; una capa de memoria es justo el lugar donde ese principio se sostiene o se rompe sin que nadie lo note.

Regla dos: la ayuda llega en el momento del error

La forma habitual de usar memoria en un agente es pegarle un bloque de notas al inicio de la tarea. Es el momento equivocado y la clave equivocada. Al empezar, el agente todavía no sabe cuál de sus herramientas está a punto de fallar, y el texto del pedido predice muy mal qué lección aplica. Dos tickets pueden leerse igual y romperse distinto, o leerse distinto y romperse igual.

Por eso la librería indexa las lecciones por cómo falló una herramienta: el nombre de la herramienta, la clase de error y una huella de la línea de error normalizada. Cuando una herramienta falla igual que en una ejecución anterior que sí se verificó, la siguiente llamada al modelo recibe una sola línea con lo que lo arregló aquella vez. Ni antes, cuando sería ruido, ni al final, cuando el agente ya se perdió por el camino. La pista tiene un tamaño máximo, viene etiquetada como material de referencia no confiable y no como instrucción, y respeta las mismas reglas de tenant y alcance que todo lo demás en el almacén.

En el benchmark de recuperación de la librería, el emparejamiento exacto sobre esa firma de fallo encuentra 13 de 15 con cero falsos positivos. De todo el diseño, esta es la parte en la que más confiamos: el fallo en el que está parado el agente es una clave mucho mejor que las palabras de su tarea.

Regla tres: se mide a sí misma

Una parte de las ejecuciones, elegida al azar, no recibe ninguna lección. Se comparan los resultados verificados de los dos grupos y el veredicto es uno de tres: ayuda, perjudica o todavía no hay evidencia, siempre con su intervalo. Creemos que esta es la regla por la que vale la pena pelear, y el siguiente ensayo explica por qué todo piloto de IA debería tener una.

Qué dice la medición hoy

Publicamos todos los resultados, incluidos los que nos salieron en contra.

  • Tarea sintética: positivo y acotado. Una corrida por modelo, 12 instancias, y la estrategia que funciona llega al bloque textualmente. Muestra que un modelo actúa sobre una lección inyectada. No muestra que la librería ayude en tareas reales.
  • Tareas realistas: todavía sin beneficio global, y una lección equivocada perjudica. En la única corrida que se pudo evaluar, lecciones aprendidas por Claude Haiku 4.5 fueron usadas por gpt-oss-120b en 11 servicios. Contra no tener memoria, sin beneficio global (p = 0,50). Contra un bloque placebo, las lecciones reales usaron menos llamadas a herramientas en 7 de los 8 servicios que difirieron (p = 0,035), así que el contenido de la lección sí importa. Las lecciones de otras roturas rindieron peor que no tener memoria: 0,303 de los intentos verificados, contra 0,455. Todas las demás corridas con tareas reales fueron inconclusas o se detuvieron antes de tiempo.
  • Trabajo real: sin resultado todavía. La corrida sobre sesiones de desarrollo reales está pre-registrada y no se ha activado.

Que una lección equivocada cueste más que ninguna es exactamente lo que la tercera regla existe para atrapar. Sin el grupo de control, esa corrida habría parecido un éxito, porque el agente igual terminaba.

Qué significa esto para tus agentes

Si tus agentes repiten errores, la primera pregunta no es qué producto de memoria comprar. Es si puedes decir, de una forma que tu propio código pueda comprobar, qué significa que una ejecución "funcionó". Cuando puedes, una memoria que solo guarda ejecuciones verificadas y solo habla cuando se repite el mismo fallo pasa a ser una pieza pequeña de ingeniería, no un acto de fe. Cuando no puedes, ninguna capa de memoria te va a ayudar, y lo más probable es que te perjudique.

Eso es lo primero que resolvemos en una evaluación de preparación para IA sin costo: cuál es la comprobación de tu agente, cuántas veces se repite hoy, y si una memoria valdría la pena medirse.

La librería es gratuita y de código abierto. El adaptador para Microsoft Agent Framework ya está en NuGet como preview. La herramienta de línea de comandos y el servidor MCP que llevan el mismo ciclo a cualquier otro agente se publican a partir de la próxima preview; mientras tanto, el repositorio tiene todo, incluido cada informe de experimento.

Agenda una llamada