Cuando un agente se equivoca una y otra vez en lo mismo, la solución depende de qué tipo de conocimiento le falta. Nos resulta útil ordenar el conocimiento en tres lugares, porque cada lugar tiene una herramienta distinta, un costo distinto y una forma distinta de quedar desactualizado.
En los pesos
El estilo, el formato de salida, cómo llamar a tus herramientas, el vocabulario de tu dominio: todo lo que debería sostenerse en cada ejecución, para cada usuario, sin importar la tarea. Eso va dentro del modelo, mediante fine-tuning, LoRA o aprendizaje por refuerzo.
Cuesta una corrida de entrenamiento y acceso al modelo, lo que lo descarta para la mayoría de los modelos frontier alojados. Y es difícil de deshacer. Si un ejemplo le enseñó al modelo un mal hábito, no puedes borrar ese ejemplo: reentrenas. Ya argumentamos que esta es la herramienta equivocada para los hechos del negocio, y nada de lo que sigue cambia eso. Los pesos son para el comportamiento.
En documentos
APIs, políticas, manuales, contratos, la lista de precios: cosas que una persona escribió. Eso va en recuperación. El modelo lee el pasaje relevante en el momento de la consulta, puede citarlo, y el conocimiento está tan actualizado como el documento. El control de acceso pasa por los permisos que ya tienes. Esta es la capa que la mayoría de los equipos ya tiene, y para el conocimiento escrito es la correcta.
Su límite está en su propia definición. La recuperación devuelve lo que alguien escribió. No sabe qué intentó tu agente ayer, porque nadie lo anotó.
En experiencia
Esta prueba falla con este error en este repositorio, y este comando lo arregló. Esa actualización de dependencias rompe el health check, y la solución es una línea de configuración que nadie documentó. Cosas que pasaron, en tus sistemas, que cambian cada semana y que ningún documento contiene porque el único testigo fue el agente.
Esta es la capa que le falta a la mayoría de los agentes. Tiene que ganarse con ejecuciones en lugar de escribirse, y para valer algo tiene que ser confiable. Para eso construimos AgentExperience.NET, y esto es lo que distingue a la experiencia de las otras dos capas:
- Se gana, no se redacta. Una lección existe solo si pasó una comprobación ajena al modelo: una corrida de pruebas, un código de salida, la firma de una persona. El modelo no puede dar fe de sí mismo. Una ejecución que falló queda en cuarentena y no se reutiliza.
- Está indexada por la situación. Las lecciones se indexan por cómo falló una herramienta, no por el texto del pedido. Lo que predice si una lección aplica es el fallo en el que está el agente. Lo explicamos en por qué los agentes repiten el mismo error.
- Llega en el momento del fallo. Una pista acotada se agrega a la siguiente llamada al modelo dentro de la misma ejecución, etiquetada como material de referencia no confiable, no como instrucción.
- Es reversible. Borra un registro, o elimina a un usuario entero, y el efecto es inmediato y comprobable. Eso no se puede decir de una actualización de pesos.
- Se mide. Un grupo de control aleatorio deja sin lecciones a una parte de las ejecuciones, y el resultado es ayuda, perjudica o todavía no hay evidencia, con su intervalo. Todo piloto debería tener uno.
Las capas se combinan
Un modelo ajustado que conoce tus herramientas. Documentos que establecen tus políticas. Una memoria que sabe qué se rompió ayer. No compiten entre sí, y la pregunta "¿RAG, fine-tuning o memoria?" es señal de que el problema todavía no se ordenó. La pregunta útil es: ¿en qué se equivoca el agente, y el conocimiento que le falta es un hábito, un hecho que alguien escribió, o algo que pasó?
No decimos que la memoria le gane a un fine-tune. Decimos que cubre algo que las otras dos no pueden: aprender de una sola ejecución, de inmediato, sobre un modelo que no puedes entrenar, en una forma que puedes borrar.
El estado honesto de la tercera capa
El ciclo y la medición están construidos y revisados, y la evidencia es mixta. En una tarea sintética las lecciones ayudan, con un resultado acotado: una corrida por modelo, 12 instancias, la estrategia llega al agente textualmente. En tareas realistas, la única corrida evaluable no mostró beneficio global contra no tener memoria (p = 0,50), aunque el contenido de la lección sí importó: las lecciones reales le ganaron a un bloque placebo en 7 de los 8 servicios que difirieron (p = 0,035). Las lecciones de la rotura equivocada rindieron peor que no tener memoria. Un experimento de transferencia no mostró beneficio demostrado (p = 0,0625). La corrida sobre trabajo de desarrollo real está pre-registrada y todavía no se activó.
Lo contamos porque el sentido de la tercera capa es que se puede medir, y una capa que se puede medir a veces va a medir mal. Los pesos y los documentos rara vez reciben ese escrutinio. Deberían.
Qué hacer con esto
Si tu agente se equivoca en el formato, mira los pesos o el prompt. Si se equivoca en los hechos, mira los documentos y la recuperación que tiene delante. Si redescubre la misma solución cada martes, eso es experiencia, y el primer paso es decidir qué comprobación puede correr tu propio código para decir que una ejecución funcionó. Sin esa comprobación no hay tercera capa, solo un cuaderno con las opiniones del modelo.
Ordenar los fallos de un cliente en estos tres lugares, y nombrar la comprobación, es lo que hacemos en una evaluación de preparación para IA sin costo. Suele tomar una tarde, y termina la mayoría de las discusiones sobre qué herramienta comprar.
La librería es de código abierto y está en preview. El adaptador para Microsoft Agent Framework está en NuGet; la herramienta de línea de comandos y el servidor MCP para otros agentes se publican a partir de la próxima preview, y el repositorio tiene cada experimento, incluidos los negativos.