Para 7.000 millones de parámetros a 4 bits, el tamaño teórico de los pesos es de 3,5 GB decimales. El archivo real incluye escalas, metadatos y posibles tensores a mayor precisión. Runtime y caché necesitan memoria adicional: el archivo no representa todo el requisito de RAM o VRAM.

Las tres partidas que ocupan memoria

Los pesos. Los parámetros del modelo en el formato elegido. La cuantización puede reducir su tamaño, pero el efecto sobre las respuestas depende del modelo, el método y la tarea.

El runtime. Bibliotecas, búferes, estructuras de soporte y otra memoria utilizada por la aplicación que aloja el modelo.

La caché KV. En los modelos autorregresivos con atención, la caché conserva estados intermedios de los tokens ya procesados para no recalcularlos en cada paso ( Hugging Face ). El crecimiento depende de la longitud, la concurrencia y la estrategia; también hay ventanas limitadas, asignación estática, offload y cachés cuantizadas.

Por qué no existe un número único

La caché KV depende del número de capas, de la configuración de las cabezas de atención, de la longitud de secuencia, del lote y de la precisión. Dos implementaciones del mismo modelo pueden usar estrategias de caché distintas, con compromisos diferentes entre memoria y velocidad ( Hugging Face ).

Así que la pregunta correcta no es «cuánta RAM necesita este modelo», sino «cuánta RAM necesita este modelo, con este contexto, en esta aplicación».

Medir tu carga de trabajo

PartidaQué registrar
Identidadmodelo, revisión, formato, cuantización
Contextoentrada y salida máximas previstas, no el máximo teórico
Runtimeversión, backend, ajustes de offload
Memoriapico observado y memoria libre con el modelo aún cargado
Experienciatiempo hasta el primer token (TTFT) y hasta completar la respuesta

Mide en tres momentos: en reposo, durante la carga y en el caso de uso más exigente que preveas de verdad. El pico es lo que cuenta.

El offload no es una solución gratuita

Repartir los pesos entre RAM y memoria de la GPU puede hacer posible una carga que de otro modo fallaría. Mide la velocidad resultante: las transferencias de datos, el acceso a memoria y el cálculo en CPU pueden añadir sobrecarga, cuyo efecto depende del runtime y de la carga. El offload no cambia intencionadamente los pesos, pero las diferencias de backend y precisión numérica pueden alterar la salida.

Si la memoria está casi llena, deja margen para entradas más largas y otras aplicaciones. Comprueba estabilidad y tiempos con la carga prevista antes de depender de esa configuración a diario.

Guarda las medidas junto al modelo, la longitud de contexto y el número de peticiones: te servirán cuando cambie la carga. Usa el cálculo de los pesos como estimación inicial y mide después el consumo en la aplicación que vayas a utilizar. Para valorar el servicio completo, consulta la comparación entre IA local y nube .

Fuentes

Señalar una corrección ↗