GuidesRéférencement IA

Autoriser ou bloquer les robots IA dans le robots.txt

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

robots.txtUser-agent: GPTBotDisallow: /User-agent: OAI-SearchBotAllow: /EntraînementDonnées d’apprentissageRechercheCitations et liensUn choix par robot, selon ce qu’il fait de vos pages
Dans le robots.txt, on peut fermer l’entraînement et laisser ouverte la recherche.

Deux familles de robots

Entraîner, ou citer
Entraînement
  • GPTBot, ClaudeBot, CCBot
  • Google-Extended, Applebot-Extended
  • Vos textes nourrissent les modèles, sans lien retour
Recherche
  • OAI-SearchBot, Claude-SearchBot, PerplexityBot
  • Vos pages peuvent être citées avec un lien
  • Les bloquer, c’est disparaître de ces réponses

Le robots.txt le plus courant

# Entraînement : fermé
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Recherche : ouverte
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Trois stratégies

Stratégie Pour qui
Tout ouvrir Visibilité maximale, contenus pensés pour être repris
Fermer l’entraînement, ouvrir la recherche Le compromis le plus fréquent
Tout fermer Contenus payants ou sensibles

Les limites

  • Les visites déclenchées par un utilisateur (ChatGPT-User, Claude-User) suivent des règles propres à chaque éditeur : lisez leur documentation.
  • Un blocage ne retire pas ce qui a déjà été collecté.
  • Vérifiez l’effet dans vos journaux : repérer les robots IA dans ses logs.

La syntaxe de base : écrire un robots.txt.

Questions fréquentes

Bloquer GPTBot retire-t-il mon site de ChatGPT ?
Non. GPTBot sert à l’entraînement ; la recherche de ChatGPT passe par OAI-SearchBot. Bloquer le premier et autoriser le second est un choix fréquent.
Google-Extended bloque-t-il les réponses IA de Google ?
Non. Google-Extended concerne l’usage des pages par Gemini et ses modèles ; le référencement et les aperçus IA de la recherche Google dépendent de Googlebot.
Le robots.txt est-il respecté ?
Les grands éditeurs déclarent le respecter. Ce n’est qu’une consigne : un robot malveillant peut l’ignorer, il faut alors bloquer au niveau du serveur ou du CDN.

À lire ensuite

Tous les guides