GuidesComprendre l’IA
La quantification : faire tenir un modèle d’IA dans moins de mémoire
Le calcul de la mémoire
- 1Nombre de paramètresPar exemple 8 milliards.
- 2× bits par poids ÷ 8Pour obtenir des octets.
- 3+ une margePour le contexte et le calcul.
| Précision | Modèle de 8 milliards de paramètres (poids seuls) |
|---|---|
| 16 bits | environ 16 Go |
| 8 bits | environ 8 Go |
| 4 bits | environ 4 Go |
Le compromis
Ce qu’on gagne
Ce qu’on perd
Le bon réflexe
Un modèle plus gros quantifié à 4 bits fait souvent mieux qu’un modèle plus petit en 16 bits, pour la même mémoire. Comparez les deux sur vos cas avant de choisir.
L’usage : un modèle local pour les données sensibles. Le choix : modèle open source ou API.
Questions fréquentes
- Combien de qualité perd-on ?
- À 8 bits, la différence est en général difficile à voir. À 4 bits, elle reste faible sur la plupart des tâches, plus visible sur le raisonnement long ou le code. En dessous, la qualité baisse nettement.
- Quel format choisir ?
- GGUF pour llama.cpp et Ollama, sur processeur ou petit GPU. GPTQ ou AWQ pour servir sur GPU avec des outils comme vLLM.
- La quantification concerne-t-elle les API ?
- Non, c’est le fournisseur qui gère ses modèles. Elle sert quand vous faites tourner un modèle vous-même.