GuidesSEO technique
Tuto : écrire un robots.txt et un sitemap
Ce que fait chaque fichier
- Le
robots.txtdit aux robots quelles parties du site ne pas explorer. - Le sitemap leur donne la liste des pages que vous voulez voir explorées.
1. Écrire le robots.txt
Créez un fichier texte nommé robots.txt, servi à la racine : https://exemple.fr/robots.txt.
User-agent: *
Disallow: /admin/
Disallow: /panier/
Sitemap: https://exemple.fr/sitemap.xml
User-agent: * s’adresse à tous les robots. Chaque ligne Disallow ferme un dossier. Sans aucune ligne Disallow, tout est ouvert.
2. Écrire le sitemap
La plupart des outils le génèrent seuls : une extension sur WordPress, une intégration sur Astro ou Next.js, et Shopify le fait d’office. À la main, il ressemble à ceci :
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://exemple.fr/</loc>
<lastmod>2026-11-11</lastmod>
</url>
</urlset>
N’y mettez que les adresses définitives : pas de redirections, pas de pages en erreur, pas de pages en noindex.
3. Relier les deux
La ligne Sitemap: du robots.txt suffit pour que les robots le trouvent. Déclarez-le aussi dans Google Search Console, pour voir combien de pages sont lues : c’est expliqué dans le tuto Search Console.
4. Vérifier
Ouvrez les deux adresses dans un navigateur. Elles doivent s’afficher, sans redirection ni erreur.
L’erreur qui fait disparaître un site
Disallow: / ferme tout le site aux robots. Cette ligne sert pendant le développement et reste parfois à la mise en ligne. Vérifiez-la le jour du lancement.
Retirer une page de Google
Le robots.txt ne retire rien. Pour retirer une page, laissez-la lisible par les robots et ajoutez cette balise dans son <head> :
<meta name="robots" content="noindex">
Pour un site en plusieurs langues, lisez le SEO multilingue.
Questions fréquentes
- Le robots.txt empêche-t-il une page d’apparaître dans Google ?
- Non. Il empêche le robot de lire la page, pas de l’indexer : une page bloquée peut encore apparaître si d’autres sites y renvoient. Pour la retirer, on utilise la balise noindex et on laisse la page lisible.
- Un sitemap est-il obligatoire ?
- Non. Un petit site bien relié par ses liens est découvert sans lui. Il devient utile dès que le site grandit ou change souvent.
- Où placer ces fichiers ?
- Le robots.txt se place toujours à la racine du domaine. Le sitemap aussi en général, et son adresse est indiquée dans le robots.txt.