GuidesRéférencement IA
Tuto : repérer GPTBot, ClaudeBot et les robots IA dans ses logs
1. Les noms à chercher
| User-agent | Éditeur | Rôle |
|---|---|---|
| GPTBot | OpenAI | Entraînement |
| OAI-SearchBot | OpenAI | Recherche de ChatGPT |
| ChatGPT-User | OpenAI | Page ouverte à la demande d’un utilisateur |
| ClaudeBot | Anthropic | Entraînement |
| Claude-SearchBot | Anthropic | Recherche |
| Claude-User | Anthropic | Page ouverte à la demande d’un utilisateur |
| PerplexityBot | Perplexity | Recherche |
| CCBot | Common Crawl | Corpus ouvert, réutilisé pour l’entraînement |
2. Compter les visites
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|CCBot" access.log \
| sort | uniq -c | sort -rn
3. Les pages lues par un robot
Pour un journal au format « combined » (Nginx, Apache) :
grep "OAI-SearchBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
Caddy écrit ses journaux en JSON : jq extrait l’adresse et le user-agent.
4. Lire le résultat
- Robots de rechercheLeurs pages favorites sont vos candidates aux citations.
- Pages jamais vuesLiens internes, sitemap, vitesse : à revoir.
- Robots d’entraînementÀ autoriser ou non, selon votre choix.
La suite : autoriser ou bloquer les robots IA. Le contexte : comment ChatGPT choisit ses sources.
Questions fréquentes
- GA4 voit-il ces robots ?
- Non : les robots n’exécutent en général pas le JavaScript d’analyse. Seuls les journaux du serveur ou du CDN les montrent.
- Un user-agent peut-il mentir ?
- Oui, n’importe qui peut écrire « GPTBot ». Certains éditeurs, comme OpenAI et Perplexity, publient leurs plages d’adresses IP pour vérifier.
- Que faire de ces chiffres ?
- Repérer les pages lues par les robots de recherche IA, celles qui ne le sont jamais, et décider des accès dans le robots.txt.