Cuando llega la factura de inferencia, el consejo estándar es "usa un modelo más pequeño". Pero un modelo más pequeño es un modelo distinto — distinto entrenamiento, distintos modos de falla, una nueva corrida de evaluación para averiguar si todavía hace el trabajo. Hay otra opción que se suele saltar: conservar el modelo que ya pasa, y hacerlo físicamente más pequeño.
La sustitución y la compresión bajan la factura. Solo una de las dos parte del artefacto en el que ya confías.
Compresión versus sustitución
La sustitución intercambia tu modelo por un hermano más pequeño y espera que la capacidad se transfiera. La compresión toma el modelo exacto que cruza tu evaluación y elimina la capacidad que no está usando. La compresión basada en SVD — SVD-LLM — factoriza cada matriz de pesos y descarta los valores singulares menos importantes, las direcciones que cargan menos señal. El mismo modelo, menos parámetros, un comportamiento que puedes medir contra la versión que ya validaste.
La versión ingenua de esto degrada la calidad rápido, y ahí es donde la mayoría se detiene. La parte que lo hace usable es volver la truncación consciente de la pérdida: SVD-LLM mapea cada corte directamente a su efecto en la salida, y SVD-LLM V2 asigna una proporción de compresión distinta a cada capa en lugar de un único ajuste burdo en toda la red. El corte deja de ser una conjetura y se vuelve un intercambio medido.
La evaluación es lo que convierte un corte en una decisión
Aquí está la parte que importa para cualquiera que esté shippeando. Todo método de compresión tiene una perilla: cuánto cortar. Gírala demasiado y el modelo se rompe; muy poco y dejaste dinero sobre la mesa. Sin una evaluación, "lo comprimimos 30%" es un número sin significado — ¿30% de qué, a costa de qué?
Con una evaluación, la perilla se vuelve la misma decisión de ingeniería que la selección de modelo: encontrar la versión más comprimida que todavía cruza el umbral en tu tarea, no en el benchmark del vendor. Y aquí es exactamente donde está el dinero — el costo de inferencia es la línea que se compone en cada llamada, y un artefacto más pequeño que todavía pasa es la victoria de costo duradera, no un descuento de una sola vez.
Lo que no haremos
No comprimiremos un modelo y lo shippearemos sobre los números de perplejidad del vendor. La única proporción de compresión que significa algo es la más grande que todavía pasa tu evaluación, en tu carga de trabajo.
No trataremos "más pequeño y más barato" como gratis. La compresión tiene un costo en calidad; la evaluación es el instrumento que lo cotiza, para que cortes con un número delante en lugar de una esperanza.
"Usa un modelo más pequeño" es un consejo. "Comprime el modelo que pasa hasta que la evaluación diga basta" es ingeniería. Lo más barato que hace el trabajo rara vez es un modelo distinto — es el correcto con la grasa recortada, y un número que prueba que todavía funciona.