GuíasPosicionamiento en IA
Permitir o bloquear los bots de IA en el robots.txt
Dos familias de bots
Entrenamiento
Búsqueda
El robots.txt más habitual
# Entrenamiento: cerrado
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Búsqueda: abierta
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Tres estrategias
| Estrategia | Para quién |
|---|---|
| Abrirlo todo | Visibilidad máxima, contenidos pensados para reutilizarse |
| Cerrar el entrenamiento, abrir la búsqueda | El compromiso más frecuente |
| Cerrarlo todo | Contenidos de pago o sensibles |
Los límites
- Las visitas lanzadas por un usuario (ChatGPT-User, Claude-User) siguen reglas propias de cada editor: lee su documentación.
- Un bloqueo no retira lo que ya se ha recopilado.
- Comprueba el efecto en tus registros: detectar los bots de IA en los logs.
La sintaxis básica: escribir un robots.txt.
Preguntas frecuentes
- ¿Bloquear GPTBot saca mi sitio de ChatGPT?
- No. GPTBot sirve para el entrenamiento; la búsqueda de ChatGPT pasa por OAI-SearchBot. Bloquear el primero y permitir el segundo es una elección frecuente.
- ¿Google-Extended bloquea las respuestas de IA de Google?
- No. Google-Extended se refiere al uso de las páginas por Gemini y sus modelos; el posicionamiento y las vistas creadas con IA de la búsqueda de Google dependen de Googlebot.
- ¿Se respeta el robots.txt?
- Los grandes editores declaran respetarlo. Es solo una indicación: un bot malicioso puede ignorarla, y entonces hay que bloquear en el servidor o en el CDN.