La promesa de un modelo auto-mejorable es seductora: genera problemas más difíciles, los resuelve, aprende de sus propias soluciones y repite. Sin etiquetado humano, datos efectivamente infinitos, ganancias que se componen sobre sí mismas. El modo de falla es igual de limpio. Un modelo que genera sus propios datos de entrenamiento y los juzga reforzará con confianza sus propios errores. El loop no mejora — deriva, rápido, en una dirección que nadie eligió.
La diferencia entre esos dos resultados es un solo componente: un verificador al que el modelo no puede convencer con palabras.
La generación nunca fue el cuello de botella
La línea de trabajo de Evol-Instruct — MMEvol y sus parientes — evoluciona un pequeño conjunto semilla de instrucciones hacia un dataset más grande, más difícil y más diverso. Funciona, y es genuinamente útil. Pero fíjate en lo que produce: más datos. Y más datos nunca fue la restricción. La restricción es saber cuáles de ellos son correctos. Una pila de problemas evolucionados con respuestas confiadamente equivocadas no le enseña nada a un modelo, excepto a equivocarse con confianza a escala.
El verificador es lo que hace que el loop funcione
Las versiones que de verdad mejoran un modelo agregan una señal externa de corrección. WizardMath usa aprendizaje por refuerzo a partir del feedback de Evol-Instruct — premiando al modelo contra una señal de si el razonamiento estuvo bien, no de si al modelo le gustó su propia respuesta. El resultado reportado es notable: un modelo WizardMath de 70B superando a GPT-3.5-Turbo, Claude 2 y Gemini Pro en matemáticas. No porque generara más, sino porque algo distinto del modelo decidió qué contaba.
El punto estructural sobrevive incluso si ignoras el leaderboard: la generación y la verificación tienen que ser cosas distintas. En el momento en que el generador también es el juez, la compuerta es decorativa — siempre va a aprobar, porque fue él quien produjo el candidato en primer lugar. Auto-corregirse no es un control de calidad; es un amplificador de confianza.
La lección de producción, disfrazada de loop de entrenamiento
Esta es la misma forma a la que seguimos llegando, solo que en tiempo de entrenamiento en lugar de tiempo de servicio. El slop de IA es lo que parece publicar sin una compuerta; un loop auto-mejorable sin un verificador independiente es la misma falla con un ciclo de feedback atornillado encima — se vuelve más confiado, no más correcto. Los sistemas de agentes más fuertes ponen la misma disciplina en el runtime: un verificador que comprueba la acción antes de que se le permita contar.
Ya sean datos de entrenamiento o salida en vivo, la regla no cambia: el modelo produce candidatos infinitos, y el valor vive enteramente en aquello que decide cuáles conservar. Esa decisión es también lo que convierte "generamos un montón" en "el modelo más barato que pasa" — una evaluación, no una intuición.
La generación es barata y cada vez más barata. El juicio es la parte escasa — y no puede venir de aquello que está siendo juzgado. Construye el verificador por separado, o tu loop de auto-mejora es solo una forma más rápida de memorizar tus propios errores.