GuíasEntender la IA

La cuantización: hacer que un modelo de IA quepa en menos memoria

Por el equipo de Banzai LabsActualizado el 2 min de lectura

16 bits8 bits4 bitsMemoria necesariaPrecisión de cada pesoMenos bits por peso: un modelo más ligero, algo menos preciso
Menos bits por peso: el modelo ocupa menos memoria, a cambio de algo de precisión.

El cálculo de la memoria

  1. 1Número de parámetrosPor ejemplo 8000 millones.
  2. 2× bits por peso ÷ 8Para obtener bytes.
  3. 3+ un margenPara el contexto y el cálculo.
Precisión Modelo de 8000 millones de parámetros (solo pesos)
16 bits unos 16 GB
8 bits unos 8 GB
4 bits unos 4 GB

El compromiso

Menos bits por peso
Lo que se gana
  • Memoria dividida entre dos y cuatro
  • Funciona en hardware más modesto
  • A menudo más rápido
Lo que se pierde
  • Algo de precisión
  • Más sensible por debajo de 4 bits
  • A comprobar en tus tareas

El buen reflejo

Un modelo más grande cuantizado a 4 bits suele funcionar mejor que uno más pequeño en 16 bits, con la misma memoria. Compara ambos con tus casos antes de elegir.

El uso: un modelo de IA local para datos sensibles. La elección: modelo open source o API.

Preguntas frecuentes

¿Cuánta calidad se pierde?
A 8 bits, la diferencia suele ser difícil de ver. A 4 bits sigue siendo pequeña en la mayoría de tareas, más visible en razonamientos largos o código. Por debajo, la calidad cae claramente.
¿Qué formato elegir?
GGUF para llama.cpp y Ollama, en CPU o GPU pequeña. GPTQ o AWQ para servir en GPU con herramientas como vLLM.
¿La cuantización afecta a las API?
No, el proveedor gestiona sus modelos. Sirve cuando ejecutas un modelo tú mismo.

Para leer después

Todas las guías