Cuando llega la factura de inferencia, el consejo de siempre es «usa un modelo más pequeño». Pero un modelo más pequeño es un modelo distinto: otro entrenamiento, otros modos de fallo y un eval entero por rehacer para saber si sigue haciendo el trabajo. Hay una segunda opción que casi nadie considera: quedarte con el modelo que ya pasa y hacerlo físicamente más pequeño.
Sustituir y comprimir bajan la factura. Solo una de las dos parte del artefacto en el que ya confías.
Comprimir frente a sustituir
Sustituir cambia tu modelo por un hermano menor y confía en que la capacidad se transfiera. Comprimir toma el modelo exacto que cruza tu eval y le quita la capacidad que no está usando. La compresión basada en SVD —SVD-LLM— factoriza cada matriz de pesos y descarta los valores singulares menos importantes, las direcciones que cargan menos señal. El mismo modelo, menos parámetros y un comportamiento que puedes medir contra la versión que ya validaste.
La versión ingenua degrada la calidad muy rápido, y ahí es donde la mayoría abandona. Lo que la vuelve utilizable es hacer el truncamiento consciente de la pérdida: SVD-LLM traduce cada corte a su efecto directo sobre la salida, y SVD-LLM V2 asigna un ratio de compresión distinto a cada capa en vez de un único ajuste grueso para toda la red. El corte deja de ser una corazonada y pasa a ser un intercambio medido.
El eval es lo que convierte un corte en una decisión
Aquí está lo que importa si vas a poner esto en producción. Todo método de compresión tiene un dial: cuánto cortar. Si lo giras de más, el modelo se rompe; si te quedas corto, dejaste dinero sobre la mesa. Sin un eval, «lo comprimimos un 30 %» es un número sin significado: ¿un 30 % de qué, y a cambio de qué?
Con un eval, ese dial se vuelve la misma decisión de ingeniería que la elección de modelo: encontrar la versión más comprimida que aún cruza el umbral en tu tarea, no en el benchmark del vendor. Y ahí es donde está el dinero: el costo de inferencia es la línea que se acumula en cada llamada, y un artefacto más pequeño que sigue pasando es la ganancia de costo que dura, no un descuento de una sola vez.
Lo que no vamos a hacer
No vamos a comprimir un modelo y llevarlo a producción apoyados en las cifras de perplejidad del vendor. El único ratio de compresión que significa algo es el más agresivo que sigue pasando tu eval, con tu carga de trabajo.
Tampoco vamos a tratar «más pequeño y más barato» como si fuera gratis. La compresión se paga en calidad; el eval es el instrumento que le pone precio, para que cortes con un número delante en lugar de una esperanza.
«Usa un modelo más pequeño» es un consejo. «Comprime el modelo que pasa hasta que el eval diga basta» es ingeniería. Lo más barato que hace el trabajo rara vez es otro modelo: es el correcto sin la grasa, y con un número que demuestra que sigue funcionando.