GuíasPosicionamiento en IA

Permitir o bloquear los bots de IA en el robots.txt

Por el equipo de Banzai LabsActualizado el 2 min de lectura

robots.txtUser-agent: GPTBotDisallow: /User-agent: OAI-SearchBotAllow: /EntrenamientoDatos de entrenamientoBúsquedaCitas y enlacesUna decisión por robot, según lo que hace con tus páginas
En el robots.txt se puede cerrar el entrenamiento y dejar abierta la búsqueda.

Dos familias de bots

Entrenar, o citar
Entrenamiento
  • GPTBot, ClaudeBot, CCBot
  • Google-Extended, Applebot-Extended
  • Tus textos alimentan los modelos, sin enlace de vuelta
Búsqueda
  • OAI-SearchBot, Claude-SearchBot, PerplexityBot
  • Tus páginas pueden citarse con un enlace
  • Bloquearlos es desaparecer de esas respuestas

El robots.txt más habitual

# Entrenamiento: cerrado
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Búsqueda: abierta
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Tres estrategias

Estrategia Para quién
Abrirlo todo Visibilidad máxima, contenidos pensados para reutilizarse
Cerrar el entrenamiento, abrir la búsqueda El compromiso más frecuente
Cerrarlo todo Contenidos de pago o sensibles

Los límites

  • Las visitas lanzadas por un usuario (ChatGPT-User, Claude-User) siguen reglas propias de cada editor: lee su documentación.
  • Un bloqueo no retira lo que ya se ha recopilado.
  • Comprueba el efecto en tus registros: detectar los bots de IA en los logs.

La sintaxis básica: escribir un robots.txt.

Preguntas frecuentes

¿Bloquear GPTBot saca mi sitio de ChatGPT?
No. GPTBot sirve para el entrenamiento; la búsqueda de ChatGPT pasa por OAI-SearchBot. Bloquear el primero y permitir el segundo es una elección frecuente.
¿Google-Extended bloquea las respuestas de IA de Google?
No. Google-Extended se refiere al uso de las páginas por Gemini y sus modelos; el posicionamiento y las vistas creadas con IA de la búsqueda de Google dependen de Googlebot.
¿Se respeta el robots.txt?
Los grandes editores declaran respetarlo. Es solo una indicación: un bot malicioso puede ignorarla, y entonces hay que bloquear en el servidor o en el CDN.

Para leer después

Todas las guías