GuidesComprendre l’IA
LoRA : adapter un modèle d’IA sans le réentraîner entièrement
Le principe
- 1Figer le modèleSes milliards de poids ne bougent pas.
- 2Ajouter deux petites matricesÀ côté de certaines couches.
- 3N’entraîner qu’ellesUne fraction des paramètres.
Complet ou LoRA
Réentraînement complet
LoRA
Les bons usages
| Cas | Pourquoi LoRA |
|---|---|
| Ton et style d’une marque | Le comportement change, pas les connaissances |
| Format de sortie très précis | Moins de consignes à répéter |
| Classement sur vos catégories | Une tâche étroite, bien définie |
| Plusieurs clients, un modèle | Une adaptation chargée par client |
Avant de se lancer
Il faut des exemples de qualité, souvent quelques centaines à quelques milliers, et un jeu de test pour vérifier le gain. Un bon prompt avec des exemples suffit souvent : testez-le d’abord.
Le choix : RAG ou fine-tuning. Les modèles : modèle open source ou API et la quantification.
Questions fréquentes
- LoRA apprend-il de nouvelles connaissances au modèle ?
- Peu. Il sert surtout à adapter un style, un format ou une tâche précise. Pour des connaissances qui changent (catalogue, documentation), le RAG reste plus adapté.
- Qu’est-ce que QLoRA ?
- LoRA appliqué à un modèle chargé en version quantifiée (4 bits). On peut ainsi adapter un modèle assez gros sur une seule carte graphique.
- Peut-on faire du LoRA sur n’importe quel modèle ?
- Sur les modèles à poids ouverts, oui. Pour les modèles accessibles seulement par API, c’est le fournisseur qui décide s’il propose une adaptation, et sous quelle forme.