Testeur robots.txt
Vérifiez si votre fichier robots.txt est correctement configuré.
Questions fréquentes sur le fichier robots.txt
Comprendre comment les moteurs de recherche et les IA explorent votre site.
C'est un fichier à la racine de votre domaine (monsite.fr/robots.txt) qui indique aux crawlers (Googlebot, Bingbot) quelles URL ils peuvent ou ne peuvent pas explorer. Il n'empêche pas l'indexation : utilisez meta robots noindex pour ça.