GuidesComprendre l’IA

LoRA : adapter un modèle d’IA sans le réentraîner entièrement

Par l’équipe Banzai LabsMis à jour le 3 min de lecture

Modèle figé+A×BQuelques millions de poidsOn n’entraîne que deux petites matrices ajoutées au modèle
Le modèle reste figé ; on entraîne seulement deux petites matrices ajoutées à ses couches.

Le principe

  1. 1Figer le modèleSes milliards de poids ne bougent pas.
  2. 2Ajouter deux petites matricesÀ côté de certaines couches.
  3. 3N’entraîner qu’ellesUne fraction des paramètres.

Complet ou LoRA

Deux façons d’adapter un modèle
Réentraînement complet
  • Tous les poids modifiés
  • Beaucoup de mémoire et de calcul
  • Une copie entière du modèle par version
LoRA
  • Une petite partie entraînée
  • Possible sur une seule carte graphique
  • Un petit fichier par adaptation

Les bons usages

Cas Pourquoi LoRA
Ton et style d’une marque Le comportement change, pas les connaissances
Format de sortie très précis Moins de consignes à répéter
Classement sur vos catégories Une tâche étroite, bien définie
Plusieurs clients, un modèle Une adaptation chargée par client

Avant de se lancer

Il faut des exemples de qualité, souvent quelques centaines à quelques milliers, et un jeu de test pour vérifier le gain. Un bon prompt avec des exemples suffit souvent : testez-le d’abord.

Le choix : RAG ou fine-tuning. Les modèles : modèle open source ou API et la quantification.

Questions fréquentes

LoRA apprend-il de nouvelles connaissances au modèle ?
Peu. Il sert surtout à adapter un style, un format ou une tâche précise. Pour des connaissances qui changent (catalogue, documentation), le RAG reste plus adapté.
Qu’est-ce que QLoRA ?
LoRA appliqué à un modèle chargé en version quantifiée (4 bits). On peut ainsi adapter un modèle assez gros sur une seule carte graphique.
Peut-on faire du LoRA sur n’importe quel modèle ?
Sur les modèles à poids ouverts, oui. Pour les modèles accessibles seulement par API, c’est le fournisseur qui décide s’il propose une adaptation, et sous quelle forme.

À lire ensuite

Tous les guides