GuidesSEO technique

Tuto : écrire un robots.txt et un sitemap

Par l’équipe Banzai LabsMis à jour le 2 min de lecture

Ce que fait chaque fichier

  • Le robots.txt dit aux robots quelles parties du site ne pas explorer.
  • Le sitemap leur donne la liste des pages que vous voulez voir explorées.

1. Écrire le robots.txt

Créez un fichier texte nommé robots.txt, servi à la racine : https://exemple.fr/robots.txt.

User-agent: *
Disallow: /admin/
Disallow: /panier/

Sitemap: https://exemple.fr/sitemap.xml

User-agent: * s’adresse à tous les robots. Chaque ligne Disallow ferme un dossier. Sans aucune ligne Disallow, tout est ouvert.

2. Écrire le sitemap

La plupart des outils le génèrent seuls : une extension sur WordPress, une intégration sur Astro ou Next.js, et Shopify le fait d’office. À la main, il ressemble à ceci :

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://exemple.fr/</loc>
    <lastmod>2026-11-11</lastmod>
  </url>
</urlset>

N’y mettez que les adresses définitives : pas de redirections, pas de pages en erreur, pas de pages en noindex.

3. Relier les deux

La ligne Sitemap: du robots.txt suffit pour que les robots le trouvent. Déclarez-le aussi dans Google Search Console, pour voir combien de pages sont lues : c’est expliqué dans le tuto Search Console.

4. Vérifier

Ouvrez les deux adresses dans un navigateur. Elles doivent s’afficher, sans redirection ni erreur.

L’erreur qui fait disparaître un site

Disallow: / ferme tout le site aux robots. Cette ligne sert pendant le développement et reste parfois à la mise en ligne. Vérifiez-la le jour du lancement.

Retirer une page de Google

Le robots.txt ne retire rien. Pour retirer une page, laissez-la lisible par les robots et ajoutez cette balise dans son <head> :

<meta name="robots" content="noindex">

Pour un site en plusieurs langues, lisez le SEO multilingue.

Questions fréquentes

Le robots.txt empêche-t-il une page d’apparaître dans Google ?
Non. Il empêche le robot de lire la page, pas de l’indexer : une page bloquée peut encore apparaître si d’autres sites y renvoient. Pour la retirer, on utilise la balise noindex et on laisse la page lisible.
Un sitemap est-il obligatoire ?
Non. Un petit site bien relié par ses liens est découvert sans lui. Il devient utile dès que le site grandit ou change souvent.
Où placer ces fichiers ?
Le robots.txt se place toujours à la racine du domaine. Le sitemap aussi en général, et son adresse est indiquée dans le robots.txt.

À lire ensuite

Tous les guides