Para 7.000 millones de parámetros a 4 bits, el tamaño teórico de los pesos es de 3,5 GB decimales. El archivo real incluye escalas, metadatos y posibles tensores a mayor precisión. Runtime y caché necesitan memoria adicional: el archivo no representa todo el requisito de RAM o VRAM.
Las tres partidas que ocupan memoria
Los pesos. Los parámetros del modelo en el formato elegido. La cuantización puede reducir su tamaño, pero el efecto sobre las respuestas depende del modelo, el método y la tarea.
El runtime. Bibliotecas, búferes, estructuras de soporte y otra memoria utilizada por la aplicación que aloja el modelo.
La caché KV. En los modelos autorregresivos con atención, la caché conserva estados intermedios de los tokens ya procesados para no recalcularlos en cada paso ( Hugging Face ). El crecimiento depende de la longitud, la concurrencia y la estrategia; también hay ventanas limitadas, asignación estática, offload y cachés cuantizadas.
Por qué no existe un número único
La caché KV depende del número de capas, de la configuración de las cabezas de atención, de la longitud de secuencia, del lote y de la precisión. Dos implementaciones del mismo modelo pueden usar estrategias de caché distintas, con compromisos diferentes entre memoria y velocidad ( Hugging Face ).
Así que la pregunta correcta no es «cuánta RAM necesita este modelo», sino «cuánta RAM necesita este modelo, con este contexto, en esta aplicación».
Medir tu carga de trabajo
| Partida | Qué registrar |
|---|---|
| Identidad | modelo, revisión, formato, cuantización |
| Contexto | entrada y salida máximas previstas, no el máximo teórico |
| Runtime | versión, backend, ajustes de offload |
| Memoria | pico observado y memoria libre con el modelo aún cargado |
| Experiencia | tiempo hasta el primer token (TTFT) y hasta completar la respuesta |
Mide en tres momentos: en reposo, durante la carga y en el caso de uso más exigente que preveas de verdad. El pico es lo que cuenta.
El offload no es una solución gratuita
Repartir los pesos entre RAM y memoria de la GPU puede hacer posible una carga que de otro modo fallaría. Mide la velocidad resultante: las transferencias de datos, el acceso a memoria y el cálculo en CPU pueden añadir sobrecarga, cuyo efecto depende del runtime y de la carga. El offload no cambia intencionadamente los pesos, pero las diferencias de backend y precisión numérica pueden alterar la salida.
Si la memoria está casi llena, deja margen para entradas más largas y otras aplicaciones. Comprueba estabilidad y tiempos con la carga prevista antes de depender de esa configuración a diario.
Guarda las medidas junto al modelo, la longitud de contexto y el número de peticiones: te servirán cuando cambie la carga. Usa el cálculo de los pesos como estimación inicial y mide después el consumo en la aplicación que vayas a utilizar. Para valorar el servicio completo, consulta la comparación entre IA local y nube .
Fuentes
- Cache strategies ↗ — Hugging Face · consultado 2026-11-01
- Loading models ↗ — Hugging Face · consultado 2026-11-01


