Outil gratuit

Vérificateur de robots.txt

Cet outil télécharge votre robots.txt, l’interprète comme les robots des moteurs de recherche (RFC 9309 : la règle la plus précise l’emporte, Allow l’emporte en cas d’égalité) et le teste sur les pages liées depuis votre page d’accueil.

Contrôles effectués

Ce que fait robots.txt (et ce qu’il ne fait pas)

robots.txt indique aux robots quelles URL ils peuvent demander. Il ne cache pas une page des résultats : une URL bloquée peut quand même être indexée si d’autres sites pointent vers elle. Pour retirer une page de Google, utilisez une balise noindex et laissez-la explorable.

L’erreur qui coûte le plus cher

Un « User-agent: * / Disallow: / » copié depuis un serveur de développement bloque tout le site. Le classement chute alors dans les jours et semaines qui suivent. Cet outil le signale comme critique.

Bonnes pratiques

Gardez un robots.txt court, ne bloquez que les zones vraiment inutiles (administration, panier, résultats de recherche interne) et ajoutez une ligne Sitemap pour que chaque robot trouve votre sitemap.

Questions fréquentes

Où doit se trouver le fichier robots.txt ?

À la racine du domaine : https://www.exemple.fr/robots.txt. Un fichier placé dans un sous-dossier est ignoré, et chaque sous-domaine a besoin du sien.

Une ligne Disallow vide pose-t-elle problème ?

Non. « Disallow: » sans valeur signifie « tout est autorisé ».

Faut-il bloquer le CSS et le JavaScript ?

Non. Google affiche les pages comme un navigateur et a besoin de ces fichiers pour comprendre la mise en page et la compatibilité mobile.

Tout vérifier d’un coup

L’audit complet explore jusqu’à 10 pages et exécute 63 contrôles : SEO, performance, accessibilité et santé technique.

Lancer un audit complet gratuit

Autres outils : Vérificateur de balises meta · Vérificateur de sitemap · Vérificateur de titres H1-H6 · Vérificateur Open Graph · Vérificateur d’attributs alt · Vérificateur de liens cassés · Test de vitesse de site