GuidesComprendre l’IA

La quantification : faire tenir un modèle d’IA dans moins de mémoire

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

16 bits8 bits4 bitsMémoire nécessairePrécision de chaque poidsMoins de bits par poids : un modèle plus léger, un peu moins précis
Moins de bits par poids : le modèle prend moins de mémoire, au prix d’un peu de précision.

Le calcul de la mémoire

  1. 1Nombre de paramètresPar exemple 8 milliards.
  2. 2× bits par poids ÷ 8Pour obtenir des octets.
  3. 3+ une margePour le contexte et le calcul.
Précision Modèle de 8 milliards de paramètres (poids seuls)
16 bits environ 16 Go
8 bits environ 8 Go
4 bits environ 4 Go

Le compromis

Moins de bits par poids
Ce qu’on gagne
  • Mémoire divisée par deux à quatre
  • Tourne sur du matériel plus modeste
  • Souvent plus rapide
Ce qu’on perd
  • Un peu de précision
  • Plus sensible sous 4 bits
  • À vérifier sur vos tâches

Le bon réflexe

Un modèle plus gros quantifié à 4 bits fait souvent mieux qu’un modèle plus petit en 16 bits, pour la même mémoire. Comparez les deux sur vos cas avant de choisir.

L’usage : un modèle local pour les données sensibles. Le choix : modèle open source ou API.

Questions fréquentes

Combien de qualité perd-on ?
À 8 bits, la différence est en général difficile à voir. À 4 bits, elle reste faible sur la plupart des tâches, plus visible sur le raisonnement long ou le code. En dessous, la qualité baisse nettement.
Quel format choisir ?
GGUF pour llama.cpp et Ollama, sur processeur ou petit GPU. GPTQ ou AWQ pour servir sur GPU avec des outils comme vLLM.
La quantification concerne-t-elle les API ?
Non, c’est le fournisseur qui gère ses modèles. Elle sert quand vous faites tourner un modèle vous-même.

À lire ensuite

Tous les guides