GuíasPosicionamiento en IA
Tutorial: detectar GPTBot, ClaudeBot y los bots de IA en los logs
1. Los nombres que buscar
| User agent | Editor | Función |
|---|---|---|
| GPTBot | OpenAI | Entrenamiento |
| OAI-SearchBot | OpenAI | Búsqueda de ChatGPT |
| ChatGPT-User | OpenAI | Página abierta a petición de un usuario |
| ClaudeBot | Anthropic | Entrenamiento |
| Claude-SearchBot | Anthropic | Búsqueda |
| Claude-User | Anthropic | Página abierta a petición de un usuario |
| PerplexityBot | Perplexity | Búsqueda |
| CCBot | Common Crawl | Corpus abierto, reutilizado para entrenar |
2. Contar las visitas
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|CCBot" access.log \
| sort | uniq -c | sort -rn
3. Las páginas que lee un bot
Para un registro en formato «combined» (Nginx, Apache):
grep "OAI-SearchBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
Caddy escribe sus registros en JSON: jq extrae la ruta y el user agent.
4. Leer el resultado
- Bots de búsquedaSus páginas favoritas son tus candidatas a citas.
- Páginas nunca vistasEnlaces internos, sitemap, velocidad: a revisar.
- Bots de entrenamientoPermitirlos o no, según tu elección.
Lo siguiente: permitir o bloquear los bots de IA. El contexto: cómo elige ChatGPT sus fuentes.
Preguntas frecuentes
- ¿Ve GA4 estos bots?
- No: los bots no suelen ejecutar el JavaScript de analítica. Solo los registros del servidor o del CDN los muestran.
- ¿Puede mentir un user agent?
- Sí, cualquiera puede escribir «GPTBot». Algunos editores, como OpenAI y Perplexity, publican sus rangos de IP para verificarlo.
- ¿Qué hacer con estas cifras?
- Detectar las páginas que leen los bots de búsqueda de IA, las que nunca leen, y decidir los accesos en el robots.txt.