Q4 y Q8 describen familias de representaciones cuantizadas, no niveles de calidad garantizados. Reducir los bits de los pesos puede permitir cargar un modelo en memoria, pero el efecto sobre las respuestas debe comprobarse para cada modelo, método y tarea ( Hugging Face ).
¿Cuánto espacio se ahorra?
El cálculo teórico de los pesos de 7.000 millones de parámetros da 14 GB a 16 bits, 7 GB a 8 bits y 3,5 GB a 4 bits, en GB decimales. Son tamaños calculados, no medidas de archivos ni de memoria durante el uso. Escalas, metadatos, tensores a mayor precisión, caché y runtime añaden espacio.
En una representación uniforme, 4 bits distinguen 16 códigos y 8 bits, 256. En formatos reales también cuentan los bloques, las escalas y el método: la etiqueta no describe todo el modelo.
| Aspecto | Qué comparar |
|---|---|
| Memoria | archivo, RAM/VRAM y pico bajo carga por separado |
| Calidad | errores en las tareas y los idiomas que usarás |
| Contexto | longitudes realistas y casos exigentes |
| Velocidad | tiempo hasta el primer token y velocidad de generación en el backend elegido |
| Formato | variante exacta y compatibilidad del runtime |
Por qué importa el método
Los métodos pueden exigir calibración, tratar las capas de forma distinta o mantener parte del modelo a mayor precisión. Dos archivos Q4 no son necesariamente equivalentes. La documentación de GGUF ayuda a identificar el formato, pero no certifica sus resultados en tu trabajo.
Comprueba también cómo carga el formato el runtime: puede conservar los pesos cuantizados o descuantizarlos a mayor precisión. Un archivo pequeño no garantiza la misma reducción de memoria durante la inferencia.
Cómo plantear una comparación útil
Usa la misma revisión del modelo, entradas, ajustes de generación y límites de contexto. Registra formato y backend. Prepara casos con criterios explícitos y repite cuando el muestreo introduzca variabilidad. No existe un mínimo universal de ejemplos que haga fiable un resultado.
Evalúa por separado la extracción de números, el seguimiento de instrucciones, la generación de código y el uso de distintos idiomas. Incluye contextos largos sin dar por hecho que la diferencia siempre aumentará. Si Q4 cumple los criterios y ahorra suficiente memoria, puede servir; comprimir más no garantiza mejores respuestas.
La velocidad no sigue una proporción fija
Leer menos datos puede ayudar cuando el límite está en el ancho de banda de la memoria. Los kernels, el hardware y el coste de descuantizar pueden cambiar o anular la ventaja. Pasar de Q8 a Q4 no garantiza duplicar la velocidad.
Elige la variante que conserve la calidad necesaria en tu trabajo y comprueba su presupuesto de memoria . Si cambias también de modelo o servicio, el protocolo de comparación ayuda a separar las variables.
Fuentes
- Quantization overview ↗ — Hugging Face · consultado 2026-11-01
- GGUF / GGML (llama.cpp) ↗ — Hugging Face · consultado 2026-11-01


