¿Qué es la cuantización en modelos de IA?

La cuantización es la técnica que reduce la precisión numérica de un modelo de IA — de 32 bits a 8, 4 o incluso menos — para que ocupe menos memoria, consuma menos ancho de banda y genere tokens más rápido. En español también se habla de cuantificación; en inglés es quantization. Es la razón por la que puedes ejecutar un Llama 70B en una GPU de 24 GB en lugar de necesitar 140 GB de VRAM.

Si has probado Ollama, LM Studio o descargado un modelo en formato GGUF, ya has usado cuantización sin saberlo: esos archivos Q4_K_M, Q8_0 o FP16 son distintos niveles de precisión del mismo modelo.

Navegación rápida

Salta directamente a lo que buscas:

Qué es cuantización | Alta precisión vs cuantizado | Cómo funciona | Formatos habituales | Ventajas y límites | Cuándo usarla | FAQ

Qué es la cuantización

Un modelo de lenguaje grande (LLM) no es más que millones o miles de millones de números — los pesos de la red neuronal — que se multiplican y suman en cada token que genera. Esos números se guardan en memoria con un formato concreto:

Cuantizar un modelo significa convertir esos pesos de alta precisión a un formato más compacto, agrupándolos en rangos discretos en lugar de guardar cada decimal con exactitud total. El modelo sigue siendo el mismo en arquitectura; cambia cómo se representan sus números internos.

Piénsalo como comprimir una foto: pierdes algo de detalle, pero el archivo pesa una fracción y se carga mucho más rápido. En IA, ese «detalle» son decimales que el modelo casi nunca necesita para responder bien.

Relacionado: en nuestro glosario de IA el concepto de modelo y LLM encajan aquí como base.

Alta precisión vs cuantización

La imagen siguiente resume el intercambio en una sola mirada: a la izquierda, un modelo en alta precisión; a la derecha, el mismo tras cuantizar.

No es binario «bueno vs malo». Es qué sacrificas y qué ganas. En la práctica, un Llama 3 8B en Q4 suele ser indistinguible del FP16 para chat general; en tareas de razonamiento matemático fino o código crítico, la diferencia puede notarse.

Cómo funciona (sin fórmulas)

El proceso típico tiene tres fases:

1. Entrenamiento — El modelo se entrena en alta precisión (FP32 o BF16). Esa es la «fuente de verdad».
2. Calibración — Se pasa un conjunto de datos de ejemplo por el modelo y se mide el rango de valores que toman los pesos en cada capa.
3. Cuantización — Cada peso se mapea al valor discreto más cercano dentro de ese rango (p. ej. 16 niveles en 4-bit). Opcionalmente se ajustan escalas por capa para minimizar el error.

Hay dos enfoques principales:

• Post-training quantization (PTQ): se cuantiza un modelo ya entrenado. Rápido, sin reentrenar. Es lo que hace llama.cpp al convertir a GGUF.
• Quantization-aware training (QAT): el modelo «aprende» a tolerar baja precisión durante el entrenamiento. Más caro, pero mejor calidad en 4-bit extremo.

Para el 95 % de quienes descargan modelos de Hugging Face o Ollama, solo importa PTQ: eliges el archivo Q4_K_M y listo.

Formatos habituales

Si ves estos nombres al elegir un modelo, ya sabes qué significan:

Regla práctica: empieza con Q4_K_M. Si tu GPU aguanta, prueba Q8; si te quedas corto de VRAM, baja a Q4_K_S o Q3.

En AirLLM el enfoque es distinto: no cuantiza por defecto, sino que carga el modelo capa a capa. La cuantización y la inferencia por capas son dos palancas distintas para el mismo problema — memoria insuficiente.

Ventajas y límites

Ventajas

• Menos VRAM: un 70B en FP16 puede pedir ~140 GB; en Q4, ~40 GB o menos según implementación.
• Más velocidad: menos bytes por operación = más tokens por segundo en la misma GPU.
• Menor coste en nube: instancias más baratas o más usuarios por servidor.
• IA local viable: es lo que hace posible correr modelos serios en una RTX 3060 o 4070.

Límites

• Pérdida de precisión: en tareas sensibles (código, matemáticas, extracción de datos estructurados) un Q2 puede alucinar más que un Q8.
• No arregla un mal modelo: cuantizar no mejora el entrenamiento; solo comprime.
• Compatibilidad: no todos los frameworks soportan todos los formatos; GGUF va con llama.cpp/Ollama; GPTQ/AWQ con otros runtimes.

Cuándo tiene sentido (y cuándo no)

Sí cuantiza si:

• Quieres inferencia local y tu VRAM es limitada.
• Despliegas en producción y el coste por token importa.
• Haces chat, resumen, clasificación o RAG donde la calidad «buena» basta.

Piénsalo dos veces si:

• Necesitas máxima fidelidad en código o finanzas sin revisión humana.
• Estás evaluando benchmarks oficiales del modelo (compara siempre en la precisión de referencia).
• El modelo ya es pequeño (3B–7B) y tu hardware lo carga en FP16 sin problemas.

Alternativas a la cuantización para ahorrar memoria:

• Modelos más pequeños o destilados.
• Inferencia por capas (AirLLM).
• APIs en nube en lugar de local.

Preguntas frecuentes

¿Cuantización y cuantificación es lo mismo?

En el contexto de modelos de IA, sí. Quantization en inglés se traduce habitualmente como cuantización; cuantificación aparece en algunos textos en español con el mismo sentido. No confundir con «cuantificar» en sentido estadístico (medir magnitudes).

¿Cuánta calidad pierdo con 4-bit?

Depende del modelo y la tarea. Para conversación general y RAG, muchos equipos usan Q4 como estándar sin quejas. Para código o razonamiento complejo, Q8 o FP16 suelen compensar.

¿Puedo cuantizar yo mismo un modelo?

Sí. Herramientas como llama.cpp (convert_hf_to_gguf.py), AutoGPTQ o scripts de Hugging Face permiten convertir modelos descargados. Ollama y LM Studio lo hacen al elegir el nivel de cuantización en la descarga.

¿La cuantización afecta al prompt o al contexto?

No al texto del prompt. Afecta a cómo se almacenan y calculan los pesos del modelo. El límite de contexto (tokens de ventana) lo define la arquitectura, no la cuantización.

¿Qué formato elijo para mi GPU?

Consulta nuestra guía de GPUs para LLM locales: con 8 GB de VRAM, modelos 7B–8B en Q4; con 12–16 GB, 13B–14B en Q4 o 8B en Q8; con 24 GB+, modelos mayores o menos cuantización.

---

Siguiente lectura: AirLLM: LLM de 70B con 4 GB de VRAM · Vocabulario de IA: 20 conceptos · Mejores GPUs para IA local