GuíasEntender la IA
La cuantización: hacer que un modelo de IA quepa en menos memoria
El cálculo de la memoria
- 1Número de parámetrosPor ejemplo 8000 millones.
- 2× bits por peso ÷ 8Para obtener bytes.
- 3+ un margenPara el contexto y el cálculo.
| Precisión | Modelo de 8000 millones de parámetros (solo pesos) |
|---|---|
| 16 bits | unos 16 GB |
| 8 bits | unos 8 GB |
| 4 bits | unos 4 GB |
El compromiso
Lo que se gana
Lo que se pierde
El buen reflejo
Un modelo más grande cuantizado a 4 bits suele funcionar mejor que uno más pequeño en 16 bits, con la misma memoria. Compara ambos con tus casos antes de elegir.
El uso: un modelo de IA local para datos sensibles. La elección: modelo open source o API.
Preguntas frecuentes
- ¿Cuánta calidad se pierde?
- A 8 bits, la diferencia suele ser difícil de ver. A 4 bits sigue siendo pequeña en la mayoría de tareas, más visible en razonamientos largos o código. Por debajo, la calidad cae claramente.
- ¿Qué formato elegir?
- GGUF para llama.cpp y Ollama, en CPU o GPU pequeña. GPTQ o AWQ para servir en GPU con herramientas como vLLM.
- ¿La cuantización afecta a las API?
- No, el proveedor gestiona sus modelos. Sirve cuando ejecutas un modelo tú mismo.