Casi todos los equipos entran al build con el modelo ya elegido. Suele ser el modelo frontier del vendor que vendió el proyecto anterior. Al eval —la suite de casos que decide si el sistema pasa— le da igual qué vendor estuvo en la sala: solo le importa qué modelo pasa.
La matriz que ejecutamos, no la que se lee
Para cada ruta de producción evaluamos contra una matriz de candidatos. Suele incluir tres modelos frontier de vendors distintos, dos o tres de gama media, uno pequeño y rápido, y al menos una opción open-weights desplegada en nuestra propia infraestructura. El resultado no es un número: son cuatro columnas —calidad contra el eval, latencia p95, dólares por millón de tokens y comportamiento ante input mal formado o adversarial.
Un modelo no «gana» por sacar la nota de calidad más alta. Gana por ser el más barato de los que pasan los umbrales que el negocio dejó por escrito.
Qué gana en la práctica
En las matrices que ejecutamos, el modelo frontier gana en calidad más veces de las que pierde. En el scorecard completo gana bastante menos de lo que los equipos esperan.
El patrón que se repite: un modelo de gama media, con un prompt más ajustado y un retry estructurado, pasa el mismo umbral que el frontier, responde en un tercio de la latencia y deja la ruta de producción por debajo de 0,50 USD por millón de tokens. El frontier deja esa misma ruta a un costo cuatro o cinco veces mayor. Impresionar en aislamiento no puntúa; gana el más barato que cruza los umbrales, porque esa es la regla.
Por qué esto importa más allá del costo
La factura del modelo es la victoria visible. No es la más importante.
La más importante es la portabilidad. Cuando aparece un modelo nuevo —y hoy aparece uno cada seis a diez semanas— volver a ejecutar la matriz es un miércoles por la tarde, no un proyecto de migración. El arnés de evaluación es del equipo. El arnés elige el modelo. No hay vendor lock-in que negociar, porque el sistema se construyó contra el eval, no contra el modelo.
La segunda es la honestidad bajo estrés. La carga de producción no se parece a la carga con la que corrió la demo. Los modelos más pequeños suelen degradarse de forma más predecible cuando sube la carga, se disparan los retries o el input se pone raro. La matriz lo enseña en la semana tres, no en el primer incidente.
Lo que esto no es
Esto no es un alegato contra los modelos frontier. Frontier cuando haga falta —y cuando lo sea, muchas veces puedes comprimirlo en vez de reemplazarlo. Los agentes que necesitan razonar a largo horizonte, los flujos donde una respuesta equivocada es catastrófica, las tareas donde los modelos baratos sencillamente no pasan el eval: eso va en el frontier. La decisión la toma el scorecard, no el comercial que llegó primero a la sala.
La regla es simple: decide el scorecard, y gana el modelo más barato que lo cruza. Quién te vendió la idea no tiene voto.