Per un modello da 7 miliardi di parametri quantizzato a 4 bit (mezzo byte per parametro), il calcolo teorico dei soli pesi porta a circa 3,5 GB decimali. Il file reale richiede normalmente più spazio perché include i fattori di scala della quantizzazione, i metadati e alcuni tensori mantenuti a precisione superiore. Quando poi si avvia l’inferenza entrano in gioco anche il motore di esecuzione e la cache del contesto: le dimensioni del file non bastano per stimare la RAM o la VRAM necessarie.
Le tre voci che occupano memoria
Durante l’uso effettivo, il budget di memoria disponibile viene suddiviso tra tre componenti principali:
- I pesi del modello: raccolgono i parametri nella precisione scelta, come illustrato nella documentazione di Hugging Face sul caricamento dei modelli . La quantizzazione riduce sensibilmente questa voce, ma il suo impatto sulla qualità delle risposte e sull’ingombro effettivo non è lineare.
- Il runtime: comprende le librerie di calcolo, i buffer temporanei di attivazione, le strutture di supporto del motore di inferenza e l’applicazione che ospita il modello.
- La cache KV (Key-Value): nei modelli autoregressivi basati sull’attenzione conserva i vettori key e value dei token già elaborati, evitando di doverli ricalcolare a ogni nuovo token generato.
L’ingombro della cache KV può crescere rapidamente quando si lavora con contesti lunghi o si gestiscono più richieste in parallelo. Sia la quantità di memoria richiesta sia l’andamento della crescita dipendono dall’architettura del modello e dalla configurazione scelta: cache statiche, a finestra scorrevole (sliding window), quantizzate o parzialmente spostate sulla memoria di sistema si comportano in modo molto diverso tra loro.
Il contesto cambia il budget
Il peso della cache KV varia in funzione del numero di livelli (layer), della struttura delle teste di attenzione, della lunghezza della sequenza, della dimensione del batch e della precisione numerica adottata. Come mostrano le diverse strategie di gestione della cache documentate da Hugging Face , due ambienti di esecuzione che fanno girare lo stesso identico modello possono applicare politiche di allocazione differenti, con compromessi diversi fra consumo di memoria e velocità di generazione.
Proprio per questo motivo la domanda corretta da porsi non è «quanta RAM serve per far girare questo modello?», ma «quanta memoria serve per questo specifico modello, con questa lunghezza di contesto e dentro questa applicazione?».
Misurare il proprio carico
| Voce | Cosa registrare |
|---|---|
| Identità del modello | Nome, revisione, formato del file e schema di quantizzazione |
| Contesto operativo | Lunghezza massima di input e output realmente prevista, non il limite teorico |
| Runtime | Versione del motore, backend di calcolo (es. CUDA, Metal, Vulkan) e opzioni di offload |
| Memoria | Picco osservato durante la generazione e memoria libera con il modello ancora caricato |
| Esperienza d’uso | Tempo di attesa al primo token (TTFT) e tempo totale di completamento |
Per ottenere un dato attendibile conviene rilevare il consumo di memoria in tre momenti distinti: a sistema fermo prima di aprire il programma, durante il caricamento dei pesi e durante il caso d’uso più impegnativo previsto nel lavoro reale. Il picco serve a verificare se la memoria disponibile è sufficiente per quel carico.
L’offload non è una soluzione gratuita
Suddividere i livelli del modello tra la VRAM della scheda video e la RAM di sistema (offloading) permette spesso di avviare modelli che altrimenti supererebbero la memoria della GPU e fallirebbero il caricamento. Questa flessibilità ha però un prezzo prestazionale che va misurato sul campo: spostare dati e calcoli verso la CPU attraverso il bus di sistema introduce colli di bottiglia che possono aumentare l’attesa al primo token e ridurre la velocità di generazione. Il solo offload non cambia intenzionalmente i pesi, ma backend, precisioni e kernel differenti non garantiscono un output numericamente identico.
Se durante le prove la memoria risulta occupata quasi al limite, è buona norma lasciare un margine di sicurezza per assorbire prompt più lunghi del previsto e il consumo delle altre applicazioni aperte. Annotare i valori misurati insieme alla versione del modello, all’ampiezza del contesto e al numero di richieste simultanee offre una base concreta per dimensionare gli aggiornamenti futuri: il calcolo teorico dei pesi serve solo come stima iniziale, mentre per valutare la tenuta complessiva del flusso di lavoro puoi seguire il nostro protocollo di confronto fra IA locale e cloud .
Fonti
- Cache strategies ↗ — Hugging Face · consultato 2026-11-01
- Loading models ↗ — Hugging Face · consultato 2026-11-01


