Guide SEO

robots.txt : dire aux moteurs de recherche où ils peuvent aller

Le fichier robots.txt est un petit fichier texte placé à la racine de votre site. Il indique aux robots des moteurs de recherche les parties du site qu’ils peuvent explorer et celles qu’ils doivent ignorer.

Où le trouver ?

Toujours à la même adresse : https://votresite.fr/robots.txt. S’il n’existe pas, les robots explorent tout le site, ce qui n’est pas grave pour un petit site.

Un modèle simple

User-agent: *
Disallow: /admin/
Disallow: /panier/

Sitemap: https://votresite.fr/sitemap.xml

• User-agent: * : la règle s’applique à tous les robots.
• Disallow: /admin/ : ne pas explorer ce dossier.
• Sitemap: : l’adresse complète de votre plan de site, pour aider Google à trouver vos pages.

L’erreur qui peut tout casser

User-agent: *
Disallow: /

Ces deux lignes interdisent l’exploration de tout le site. On les met souvent pendant la construction d’un site… et on oublie de les retirer à la mise en ligne. Si votre site n’apparaît pas du tout dans Google, vérifiez ce point en premier.

Ce que robots.txt ne fait pas

• Il ne cache pas une page : une page bloquée peut quand même apparaître dans Google si d’autres sites font un lien vers elle. Pour retirer une page des résultats, utilisez plutôt la balise <meta name="robots" content="noindex"> (et laissez la page explorable pour que Google la voie).
• Il ne protège rien : le fichier est public. N’y listez jamais l’adresse d’une page secrète, vous la signaleriez à tout le monde.

Les bonnes habitudes

• Un seul fichier, à la racine, nommé exactement robots.txt en minuscules.
• Ne bloquez pas vos fichiers CSS et JavaScript : Google en a besoin pour voir la page comme un visiteur.
• Ajoutez toujours la ligne Sitemap:.
• Après chaque modification, testez le fichier.

Autres guides : Balise title : écrire un titre de page qui donne envie de cliquer · Meta description : le petit texte qui fait cliquer sur votre site · Sitemap XML : donner à Google la liste de vos pages · H1, H2, H3 : organiser une page comme un bon sommaire · Accélérer son site web : 8 actions concrètes, de la plus simple à la plus technique