Question 1

À quoi sert le fichier robots.txt ?

Accepted Answer

C'est un fichier à la racine de votre domaine (monsite.fr/robots.txt) qui indique aux crawlers (Googlebot, Bingbot) quelles URL ils peuvent ou ne peuvent pas explorer. Il n'empêche pas l'indexation : utilisez meta robots noindex pour ça.

Question 2

Dois-je bloquer mon /admin dans robots.txt ?

Accepted Answer

Non, surtout pas ! Mettre Disallow: /admin signale publiquement (le fichier est public) qu'il existe une interface d'admin. Utilisez plutôt une authentification HTTP, et laissez robots.txt neutre sur ces URLs.

Question 3

Comment bloquer l'IA (ChatGPT, Claude, Perplexity) de mon site ?

Accepted Answer

Ajoutez dans robots.txt : User-agent: GPTBot, Disallow: / pour OpenAI. Pour Anthropic : User-agent: ClaudeBot. Pour Perplexity : User-agent: PerplexityBot. Attention : bloquer l'IA peut aussi vous exclure des AI Overviews Google.

Question 4

Puis-je avoir plusieurs fichiers robots.txt ?

Accepted Answer

Non, un seul fichier à la racine du domaine. Il ne fonctionne pas sur les sous-dossiers. Si vous avez plusieurs sous-domaines (blog.monsite.fr, shop.monsite.fr), chacun doit avoir son propre robots.txt.

Question 5

Le robots.txt peut-il bloquer des fichiers CSS/JS ?

Accepted Answer

Techniquement oui, mais c'est une erreur SEO critique. Google doit pouvoir charger votre CSS et JS pour comprendre le rendu et évaluer l'expérience utilisateur. Les sites avec CSS/JS bloqués sont déclassés en SERP.

Testeur robots.txt

Questions fréquentes sur le fichier robots.txt

Autres outils gratuits