GuíasSEO técnico

Tutorial: escribir un robots.txt y un sitemap

Por el equipo de Banzai LabsActualizado el 2 min de lectura

Qué hace cada archivo

  • El robots.txt dice a los robots qué partes del sitio no deben explorar.
  • El sitemap les da la lista de páginas que quieres que exploren.

1. Escribir el robots.txt

Crea un archivo de texto llamado robots.txt, servido en la raíz: https://ejemplo.es/robots.txt.

User-agent: *
Disallow: /admin/
Disallow: /carrito/

Sitemap: https://ejemplo.es/sitemap.xml

User-agent: * se dirige a todos los robots. Cada línea Disallow cierra una carpeta. Sin ninguna línea Disallow, todo queda abierto.

2. Escribir el sitemap

La mayoría de las herramientas lo generan solas: un plugin en WordPress, una integración en Astro o Next.js, y Shopify lo hace de serie. A mano, tiene este aspecto:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://ejemplo.es/</loc>
    <lastmod>2026-11-11</lastmod>
  </url>
</urlset>

Incluye solo direcciones definitivas: sin redirecciones, sin páginas de error y sin páginas en noindex.

3. Enlazar los dos

La línea Sitemap: del robots.txt basta para que los robots lo encuentren. Envíalo también en Google Search Console, para ver cuántas páginas se leen: se explica en el tutorial de Search Console.

4. Comprobar

Abre las dos direcciones en un navegador. Deben mostrarse, sin redirección ni error.

El error que hace desaparecer un sitio

Disallow: / cierra todo el sitio a los robots. Esa línea se usa durante el desarrollo y a veces se queda en el lanzamiento. Compruébala el día de la puesta en línea.

Retirar una página de Google

El robots.txt no retira nada. Para retirar una página, déjala legible para los robots y añade esta etiqueta en su <head>:

<meta name="robots" content="noindex">

Para un sitio en varios idiomas, lee el SEO multilingüe.

Preguntas frecuentes

¿El robots.txt impide que una página aparezca en Google?
No. Impide que el robot lea la página, no que la indexe: una página bloqueada puede seguir apareciendo si otros sitios la enlazan. Para retirarla se usa la etiqueta noindex y se deja la página legible.
¿Es obligatorio un sitemap?
No. Un sitio pequeño y bien enlazado se descubre sin él. Resulta útil en cuanto el sitio crece o cambia a menudo.
¿Dónde se colocan estos archivos?
El robots.txt va siempre en la raíz del dominio. El sitemap también por lo general, y su dirección se indica en el robots.txt.

Para leer después

Todas las guías