GuidesRéférencement IA
Autoriser ou bloquer les robots IA dans le robots.txt
Deux familles de robots
Entraînement
Recherche
Le robots.txt le plus courant
# Entraînement : fermé
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Recherche : ouverte
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Trois stratégies
| Stratégie | Pour qui |
|---|---|
| Tout ouvrir | Visibilité maximale, contenus pensés pour être repris |
| Fermer l’entraînement, ouvrir la recherche | Le compromis le plus fréquent |
| Tout fermer | Contenus payants ou sensibles |
Les limites
- Les visites déclenchées par un utilisateur (ChatGPT-User, Claude-User) suivent des règles propres à chaque éditeur : lisez leur documentation.
- Un blocage ne retire pas ce qui a déjà été collecté.
- Vérifiez l’effet dans vos journaux : repérer les robots IA dans ses logs.
La syntaxe de base : écrire un robots.txt.
Questions fréquentes
- Bloquer GPTBot retire-t-il mon site de ChatGPT ?
- Non. GPTBot sert à l’entraînement ; la recherche de ChatGPT passe par OAI-SearchBot. Bloquer le premier et autoriser le second est un choix fréquent.
- Google-Extended bloque-t-il les réponses IA de Google ?
- Non. Google-Extended concerne l’usage des pages par Gemini et ses modèles ; le référencement et les aperçus IA de la recherche Google dépendent de Googlebot.
- Le robots.txt est-il respecté ?
- Les grands éditeurs déclarent le respecter. Ce n’est qu’une consigne : un robot malveillant peut l’ignorer, il faut alors bloquer au niveau du serveur ou du CDN.