GuidesRéférencement IA

Tuto : repérer GPTBot, ClaudeBot et les robots IA dans ses logs

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

GET /guides/… GPTBotGET /tarifs MozillaGET /blog/… ClaudeBotGET / MozillaGET /faq PerplexityBotGET /guides/… OAI-SearchBotGPTBotClaudeBotOAI-SearchBotPerplexityBotQui passe, sur quelles pages, et combien de fois
Dans les journaux du serveur, les visites des robots IA se repèrent à leur user-agent.

1. Les noms à chercher

User-agent Éditeur Rôle
GPTBot OpenAI Entraînement
OAI-SearchBot OpenAI Recherche de ChatGPT
ChatGPT-User OpenAI Page ouverte à la demande d’un utilisateur
ClaudeBot Anthropic Entraînement
Claude-SearchBot Anthropic Recherche
Claude-User Anthropic Page ouverte à la demande d’un utilisateur
PerplexityBot Perplexity Recherche
CCBot Common Crawl Corpus ouvert, réutilisé pour l’entraînement

2. Compter les visites

grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|CCBot" access.log \
  | sort | uniq -c | sort -rn

3. Les pages lues par un robot

Pour un journal au format « combined » (Nginx, Apache) :

grep "OAI-SearchBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Caddy écrit ses journaux en JSON : jq extrait l’adresse et le user-agent.

4. Lire le résultat

  • Robots de rechercheLeurs pages favorites sont vos candidates aux citations.
  • Pages jamais vuesLiens internes, sitemap, vitesse : à revoir.
  • Robots d’entraînementÀ autoriser ou non, selon votre choix.

La suite : autoriser ou bloquer les robots IA. Le contexte : comment ChatGPT choisit ses sources.

Questions fréquentes

GA4 voit-il ces robots ?
Non : les robots n’exécutent en général pas le JavaScript d’analyse. Seuls les journaux du serveur ou du CDN les montrent.
Un user-agent peut-il mentir ?
Oui, n’importe qui peut écrire « GPTBot ». Certains éditeurs, comme OpenAI et Perplexity, publient leurs plages d’adresses IP pour vérifier.
Que faire de ces chiffres ?
Repérer les pages lues par les robots de recherche IA, celles qui ne le sont jamais, et décider des accès dans le robots.txt.

À lire ensuite

Tous les guides