GuíasPosicionamiento en IA

Tutorial: detectar GPTBot, ClaudeBot y los bots de IA en los logs

Por el equipo de Banzai LabsActualizado el 2 min de lectura

GET /guides/… GPTBotGET /tarifs MozillaGET /blog/… ClaudeBotGET / MozillaGET /faq PerplexityBotGET /guides/… OAI-SearchBotGPTBotClaudeBotOAI-SearchBotPerplexityBotQuién pasa, por qué páginas y cuántas veces
En los registros del servidor, las visitas de los robots de IA se reconocen por su user-agent.

1. Los nombres que buscar

User agent Editor Función
GPTBot OpenAI Entrenamiento
OAI-SearchBot OpenAI Búsqueda de ChatGPT
ChatGPT-User OpenAI Página abierta a petición de un usuario
ClaudeBot Anthropic Entrenamiento
Claude-SearchBot Anthropic Búsqueda
Claude-User Anthropic Página abierta a petición de un usuario
PerplexityBot Perplexity Búsqueda
CCBot Common Crawl Corpus abierto, reutilizado para entrenar

2. Contar las visitas

grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|CCBot" access.log \
  | sort | uniq -c | sort -rn

3. Las páginas que lee un bot

Para un registro en formato «combined» (Nginx, Apache):

grep "OAI-SearchBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Caddy escribe sus registros en JSON: jq extrae la ruta y el user agent.

4. Leer el resultado

  • Bots de búsquedaSus páginas favoritas son tus candidatas a citas.
  • Páginas nunca vistasEnlaces internos, sitemap, velocidad: a revisar.
  • Bots de entrenamientoPermitirlos o no, según tu elección.

Lo siguiente: permitir o bloquear los bots de IA. El contexto: cómo elige ChatGPT sus fuentes.

Preguntas frecuentes

¿Ve GA4 estos bots?
No: los bots no suelen ejecutar el JavaScript de analítica. Solo los registros del servidor o del CDN los muestran.
¿Puede mentir un user agent?
Sí, cualquiera puede escribir «GPTBot». Algunos editores, como OpenAI y Perplexity, publican sus rangos de IP para verificarlo.
¿Qué hacer con estas cifras?
Detectar las páginas que leen los bots de búsqueda de IA, las que nunca leen, y decidir los accesos en el robots.txt.

Para leer después

Todas las guías