Construimos una funcionalidad, la medimos y la entregamos apagada. Un cliente debería esperar lo mismo de cualquiera que contrate para construir IA.
La funcionalidad era un piso de precisión para AgentExperience.NET, nuestra librería de código abierto que les da a los agentes una memoria de sus propias ejecuciones verificadas. El piso es un umbral: una lección solo llega al contexto del agente si coincide con la situación actual con suficiente fuerza. Las coincidencias débiles se quedan afuera. Sobre el papel, tiene todo el sentido. En un experimento anterior, las lecciones equivocadas habían perjudicado de forma medible, peor que no tener memoria, así que filtrar las débiles parecía el siguiente paso evidente.
La regla vino antes que los números
Antes de correr nada, dejamos por escrito cómo se elegiría el umbral. Barrer un conjunto fijo de valores candidatos. Conservar los que mantuvieran los falsos positivos por debajo de un techo declarado en los dos motores de almacenamiento y no inyectaran nada inesperado en un conjunto de consultas distractoras puestas a propósito. De esos, tomar el de mayor cobertura. Si ninguno califica, el piso queda apagado y sin valor por defecto.
Esa última cláusula es toda la disciplina. La regla tenía que decir qué pasaría si la respuesta era no, y tenía que decirlo antes de que nadie viera una tabla.
Ningún valor calificó
Después corrimos el barrido. Ningún valor pasó. Cada umbral que quitaba ruido quitaba también la lección correcta en los pedidos largos y realistas, donde un puñado de palabras coincidentes es una parte pequeña del texto. El ruido que quedaba no se movía al subir el piso, porque los distractores que sobrevivían contenían todas las palabras de una consulta corta, y ningún umbral de cobertura puede distinguirlos de la respuesta correcta. El piso quitaba la señal antes que el ruido.
Así que se entrega apagado, con la tabla que explica por qué y con la regla que fijamos de antemano, para que nadie pueda acusarnos de mover el arco después de ver el resultado. Quien quiera el piso puede encenderlo y ver exactamente qué está cediendo a cambio.
Por qué le contamos esto a un público de negocio
Esta es la historia de un umbral en un sistema de recuperación, algo que la mayoría de quienes compran IA nunca va a tocar. Pero la forma de la historia es una que todo comprador debería reconocer, porque es la forma que le falta a la mayoría de los pilotos.
Decide cómo vas a juzgar una funcionalidad antes de construirla. Después, cualquier umbral parece razonable y la demo de cualquier proveedor parece un éxito. La única defensa es una regla escrita mientras todavía no sabes la respuesta. Nosotros cometimos el error contrario en público: un ingeniero de la casa documentó un resultado de benchmark y escribió una explicación convincente antes de notar que el margen de error era tan ancho como el efecto. Una buena historia es lo más peligroso que puedes tener al lado de un número sin examinar.
Un resultado negativo por escrito vale más que uno positivo sin escribir. La próxima persona que mire el piso de precisión parte de una tabla y una regla, no de una esperanza. No va a gastar una semana reconstruyéndolo con la misma intuición que tuvimos nosotros, porque la intuición quedó registrada junto con la razón por la que estaba equivocada.
Entregar un "no" medido es un entregable. Les ahorró a los futuros usuarios de la funcionalidad un valor por defecto que los habría perjudicado, en silencio, justo en los pedidos largos y realistas donde más necesitaban la lección correcta. Pensamos lo mismo sobre los proyectos: a veces el eval mata el build, y decirlo temprano es lo más valioso que una firma puede hacer por un cliente.
La revisión que mantiene honesta la medición
Una medición es tan confiable como la revisión del código que la produce. El piso de precisión fue una de diez piezas de trabajo en la última ronda de la librería, cada una revisada por alguien independiente de quien la construyó, y cada revisión encontró algo real: una medición que trataba distinto a sus dos grupos, un bloqueo que cruzaba de un tenant a otro, datos borrados que sobrevivían en un índice de búsqueda. Ninguno de esos habría aparecido en una demo. Todos habrían cambiado lo que significaban los números.
Ese es el estándar al que nos sometemos, y el que recomendamos a los clientes exigirles a sus proveedores. Pide ver la regla que se fijó antes de correr el piloto. Pregunta qué encontró el piloto que fuera en contra. Un proveedor que no tenga nada en esa columna ha tenido mucha suerte o no ha estado mirando.
Si quieres que tu piloto de IA actual se mida con ese estándar, empieza por una evaluación de preparación para IA sin costo. Te diremos cuál debería ser la comprobación, qué debería decir la regla para leerla y, si la respuesta resulta ser no, también lo pondremos por escrito.