ztzoff.tech

25 oct 2026

Agentes que recuerdan lo que funcionó, no solo lo que se dijo

La mayoría de la memoria de agentes guarda conversaciones. La verificada guarda solo lo que su propia comprobación confirmó: cómo funciona en Microsoft Agent Framework y qué muestra la evidencia.

Un agente atiende un reembolso atascado, prueba la solución obvia, falla, prueba un segundo enfoque y lo logra. Mañana llega un ticket casi idéntico, y el agente empieza de cero y vuelve a probar la solución obvia. Nada en su memoria dice qué enfoque funcionó.

Ese es el vacío que construimos AgentExperience.NET para cerrar: una librería de código abierto en preview que da a los agentes de Microsoft Agent Framework memoria de lo que funcionó.

Por qué la memoria de conversación no alcanza

Microsoft Agent Framework ya incluye varias opciones de memoria: historial de chat de la sesión, un proveedor de memoria de chat con vectores, búsqueda de texto sobre su conocimiento y memoria en archivos que el propio modelo administra. Recuerdan lo que se dijo, o lo que el modelo decidió anotar. Ninguna comprueba que lo guardado sea verdad. Si un agente "aprende" con total seguridad una solución equivocada, esa solución entra a la memoria como cualquier otra.

La regla: decide su comprobación, nunca el modelo

La librería guarda una lección solo cuando algo ajeno al modelo confirma que la ejecución funcionó: una corrida de tests, un código de salida, la aprobación de una persona. Usted aporta esa comprobación como Verify. Una ejecución fallida se guarda en cuarentena y nunca se reutiliza. La siguiente ejecución de una tarea similar recibe un único bloque etiquetado con lo que las ejecuciones anteriores intentaron, qué falló y qué funcionó. El bloque está marcado explícitamente como material de referencia no confiable, no como instrucciones.

services.AddAgentExperience(options =>
{
    options.Verify = ExperienceVerifiers.ToolSucceeded("run_tests");   // decide su propia comprobación
}).UseInMemoryStorageForDevelopment();

AIAgent agent = new ChatClientAgent(chatClient, name: "triage-ticket", tools: [...])
    .AsBuilder().UseAgentExperience(provider).Build();

El repositorio incluye un ejemplo ejecutable que no necesita API key y una comparación factual con los tipos de memoria de MAF.

Qué muestra la evidencia, y qué no

Pre-registramos los experimentos antes de correrlos, por eso podemos decirle dónde se quedan cortos.

  • Resultado positivo y acotado. En una tarea sintética con 12 instancias, el promedio de intentos fallidos por tarea bajó de 2,17 a 0,00 con Gemini (gemini-3.1-flash-lite) y de 2,75 a 0,83 con Claude (claude-haiku-4-5). Un bloque placebo sin la estrategia no produjo la mejora (2,42 intentos fallidos por tarea con ambos modelos). Una corrida por modelo, una sola familia de tareas, y la estrategia que funciona llega al bloque textualmente, así que esto muestra que un modelo actúa sobre una lección inyectada. No muestra que la librería ayude en tareas reales en general.
  • Tareas realistas: todavía sin beneficio global, pero el contenido de la lección importa. En el experimento con tareas reales, un modelo repara servicios pequeños rotos por una actualización de dependencias, y las lecciones le llegan mediante la recuperación de la propia librería. La única corrida que se pudo evaluar usó lecciones aprendidas por Claude Haiku 4.5 y aplicadas por gpt-oss-120b en 11 servicios. Contra no tener memoria, no hubo beneficio global (p = 0,50). Contra un bloque placebo, las lecciones reales usaron menos llamadas a herramientas en 7 de los 8 servicios que difirieron (p = 0,035), así que el contenido de la lección sí importa. Las lecciones de otras roturas rindieron peor que no tener memoria: 0,303 de los intentos verificados, contra 0,455. Todas las demás corridas con tareas reales fueron inconclusas o se detuvieron antes de tiempo.
  • Transferencia: sin beneficio demostrado. En la única corrida evaluada, donde una lección tiene que ayudar en un sistema distinto que comparte un solo rasgo, el resultado fue p = 0,0625, y un bloque placebo y un bloque de otro cluster rindieron casi igual, así que ni siquiera la dirección puede atribuirse a lo que decían las lecciones.
  • Triaje de CI: sin evidencia todavía. Sobre las corridas de CI fallidas de la propia librería, 1 de 7 se clasificó correctamente con lecciones, contra 3 de 9 sin ellas. El veredicto es NoEvidence por falta de corridas.
  • Trabajo real: sin resultado todavía. La corrida sobre las sesiones de desarrollo que construyen la librería está pre-registrada y no se ha activado.

El estado honesto es entonces una preview: prometedora en una tarea controlada, sin beneficio global demostrado en tareas realistas, y una lección equivocada cuesta más que ninguna, que es justo lo que el grupo de control incorporado existe para atrapar. No está lista para producción y las APIs públicas pueden cambiar entre previews.

Qué significa si usted construye agentes

La librería es un buen ejemplo de un principio que aplicamos a cada agente que entregamos: definir qué significa "funcionó" antes de construir el agente. La memoria, los evals y la trazabilidad dependen de una comprobación que no confíe en el modelo. Si no puede decir qué cuenta como éxito de una forma que su propio código pueda probar, ninguna capa de memoria lo arreglará. Es también lo primero que resolvemos en una evaluación de preparación para IA. Para profundizar, vea cómo evaluar un agente antes de producción.

Para probarla: dotnet add package AgentExperience.MicrosoftAgentFramework --prerelease, o lea el código en GitHub.

Agenda una llamada