Comprendre et utiliser le fichier robots.txt avancé

Le fichier robots.txt est souvent considéré comme un simple fichier de configuration basique. En réalité, bien maîtrisé, il devient un outil puissant pour optimiser votre budget de crawl et guider les moteurs de recherche vers vos pages les plus importantes.

Les bases du robots.txt

Le fichier robots.txt se place à la racine de votre site (monsite.fr/robots.txt). Il indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent ou ne peuvent pas explorer. C'est un protocole d'exclusion — il dit ce qu'il ne faut PAS explorer.

La syntaxe de base utilise deux directives principales :

• User-agent : identifie le robot concerné
• Disallow : interdit l'accès à un chemin spécifique
• Allow : autorise l'accès à un chemin (utile pour créer des exceptions)

Les directives avancées à connaître

Le wildcard (*) : le caractère étoile correspond à n'importe quelle séquence de caractères. Par exemple, Disallow: /*?sort= bloque toutes les URL contenant le paramètre de tri, quelle que soit la page.

Le dollar ($) : indique la fin de l'URL. Disallow: /*.pdf$ bloque l'accès aux fichiers PDF mais pas aux pages dont l'URL contient ".pdf" suivi d'autres caractères.

La directive Sitemap : déclarez l'emplacement de votre sitemap XML directement dans le robots.txt avec Sitemap: https://monsite.fr/sitemap.xml. C'est une bonne pratique même si vous avez aussi déclaré votre sitemap dans la Search Console.

Le Crawl-delay : cette directive (non supportée par Google mais utilisée par Bing et d'autres) définit un délai entre deux requêtes du robot. Utile si votre serveur est limité en ressources.

Stratégies avancées de gestion du crawl budget

Le crawl budget est le nombre de pages que Google explore sur votre site dans un temps donné. Sur un petit site, ce n'est pas un problème. Sur un site de plus de 10 000 pages, la gestion du crawl budget devient stratégique.

Bloquer les pages à faible valeur : les pages de résultats de recherche interne, les pages de filtres, les pages de pagination profonde — ces pages consomment du crawl budget sans apporter de valeur SEO.

Protéger les ressources serveur : bloquez l'accès des robots aux pages qui génèrent une charge serveur importante (exports, rapports dynamiques, zones d'administration).

Segmenter par robot : vous pouvez définir des règles différentes pour chaque moteur de recherche. Googlebot, Bingbot et d'autres ont des sections dédiées.

Les erreurs courantes à éviter

Bloquer les fichiers CSS et JavaScript : Google a besoin d'accéder aux fichiers CSS et JS pour rendre vos pages correctement. Les bloquer empêche Google de comprendre votre mise en page et peut nuire à votre classement.

Confondre robots.txt et noindex : le robots.txt empêche l'exploration, pas l'indexation. Si une page est bloquée par robots.txt mais que des liens pointent vers elle, Google peut quand même l'indexer (sans en voir le contenu). Pour empêcher l'indexation, utilisez la balise meta noindex.

Oublier le protocole dans l'URL du sitemap : la directive Sitemap doit inclure l'URL complète avec le protocole (https://). Une URL relative ne fonctionnera pas.

Un robots.txt trop restrictif : vérifiez régulièrement que vos règles ne bloquent pas accidentellement des pages importantes. Un simple slash mal placé peut exclure des sections entières de votre site.

Tester votre robots.txt

Google Search Console propose un outil de test de robots.txt. Testez chaque URL importante pour vérifier qu'elle n'est pas bloquée. Testez aussi les URL que vous souhaitez bloquer pour confirmer que les règles fonctionnent.

Après chaque modification, surveillez le rapport de couverture dans la Search Console pendant les semaines suivantes pour détecter d'éventuels effets indésirables.

Robots.txt et sécurité

Le robots.txt n'est pas un outil de sécurité. Il est publiquement accessible et n'importe qui peut le lire. Ne l'utilisez jamais pour cacher des sections sensibles de votre site — utilisez plutôt l'authentification et les restrictions d'accès côté serveur.

Un robots.txt bien configuré optimise l'exploration de votre site et concentre l'attention de Google sur vos pages stratégiques. Demandez votre audit SEO gratuit pour vérifier la configuration de votre robots.txt et l'ensemble de vos paramètres d'exploration.