GuíasSEO técnico
Tutorial: escribir un robots.txt y un sitemap
Qué hace cada archivo
- El
robots.txtdice a los robots qué partes del sitio no deben explorar. - El sitemap les da la lista de páginas que quieres que exploren.
1. Escribir el robots.txt
Crea un archivo de texto llamado robots.txt, servido en la raíz: https://ejemplo.es/robots.txt.
User-agent: *
Disallow: /admin/
Disallow: /carrito/
Sitemap: https://ejemplo.es/sitemap.xml
User-agent: * se dirige a todos los robots. Cada línea Disallow cierra una carpeta. Sin ninguna línea Disallow, todo queda abierto.
2. Escribir el sitemap
La mayoría de las herramientas lo generan solas: un plugin en WordPress, una integración en Astro o Next.js, y Shopify lo hace de serie. A mano, tiene este aspecto:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://ejemplo.es/</loc>
<lastmod>2026-11-11</lastmod>
</url>
</urlset>
Incluye solo direcciones definitivas: sin redirecciones, sin páginas de error y sin páginas en noindex.
3. Enlazar los dos
La línea Sitemap: del robots.txt basta para que los robots lo encuentren. Envíalo también en Google Search Console, para ver cuántas páginas se leen: se explica en el tutorial de Search Console.
4. Comprobar
Abre las dos direcciones en un navegador. Deben mostrarse, sin redirección ni error.
El error que hace desaparecer un sitio
Disallow: / cierra todo el sitio a los robots. Esa línea se usa durante el desarrollo y a veces se queda en el lanzamiento. Compruébala el día de la puesta en línea.
Retirar una página de Google
El robots.txt no retira nada. Para retirar una página, déjala legible para los robots y añade esta etiqueta en su <head>:
<meta name="robots" content="noindex">
Para un sitio en varios idiomas, lee el SEO multilingüe.
Preguntas frecuentes
- ¿El robots.txt impide que una página aparezca en Google?
- No. Impide que el robot lea la página, no que la indexe: una página bloqueada puede seguir apareciendo si otros sitios la enlazan. Para retirarla se usa la etiqueta noindex y se deja la página legible.
- ¿Es obligatorio un sitemap?
- No. Un sitio pequeño y bien enlazado se descubre sin él. Resulta útil en cuanto el sitio crece o cambia a menudo.
- ¿Dónde se colocan estos archivos?
- El robots.txt va siempre en la raíz del dominio. El sitemap también por lo general, y su dirección se indica en el robots.txt.