GuidesChoix techniques IA
Un modèle d’IA local pour les données sensibles
Local ou API
Modèle local
API d’un grand modèle
Les outils
| Outil | Pour |
|---|---|
| Ollama | Essayer un modèle en une commande |
| llama.cpp | Faire tourner un modèle quantifié sur peu de ressources |
| vLLM | Servir un modèle à plusieurs utilisateurs, sur GPU |
ollama run mistral
# puis une API locale sur http://localhost:11434
La mise en place
- 1Définir la tâcheClasser, résumer, extraire.
- 2TesterDeux ou trois modèles sur vos cas.
- 3DimensionnerMémoire, nombre d’utilisateurs.
- 4SécuriserAccès réseau fermé, journaux, mises à jour.
L’approche mixte
Le modèle local traite les données sensibles (extraction, pseudonymisation), puis un grand modèle reçoit seulement ce qui peut sortir.
Le choix : modèle open source ou API. La technique : la quantification. L’alternative : pseudonymiser avant d’envoyer.
Questions fréquentes
- Quel matériel faut-il ?
- Tout dépend de la taille du modèle. Un petit modèle quantifié tourne sur un poste avec une bonne carte graphique ; un modèle plus gros demande un ou plusieurs GPU de serveur. La mémoire de la carte est la première contrainte.
- La qualité est-elle comparable ?
- Pas sur les tâches complexes. Sur des tâches ciblées (classement, extraction, résumé court), un bon modèle open source bien guidé donne souvent des résultats suffisants. Testez sur vos cas.
- Quels modèles choisir ?
- Des familles à poids ouverts comme Llama, Mistral, Qwen ou Gemma existent en plusieurs tailles. Vérifiez la licence avant un usage commercial.