Générateur de robots.txt
Le générateur de robots.txt construit un seul bloc de règles de crawl pour un unique user-agent — une étoile, Googlebot, Bingbot ou un nom personnalisé.
robots.txt demande uniquement aux robots respectueux de ne pas explorer un chemin. Il ne garantit pas l’absence d’une page dans les résultats de recherche et ne constitue pas un mécanisme de sécurité ou de contrôle d’accès.
Comment l'utiliser
- Choisissez un user-agent et ajoutez des règles Allow ou Disallow
- Définissez éventuellement un délai de crawl ou une URL de sitemap
- Copiez le robots.txt généré et publiez-le à la racine de votre site
Ajoutez des règles Allow et Disallow (chaque chemin doit commencer par une barre oblique), un Crawl-delay optionnel et une ligne Sitemap optionnelle, et il assemble un fichier texte pour la racine du site. Il ne produit pas plusieurs groupes user-agent en une fois, et il ne vérifie pas la syntaxe des jokers : tout ce que vous tapez après la barre oblique, y compris une étoile ou un dollar, est écrit tel quel et n'est respecté que si le robot le prend en charge. Le Crawl-delay est émis tel quel mais sa prise en charge est inégale et Google l'ignore. Les caractères de contrôle et sauts de ligne sont refusés pour éviter les injections. Rappel : robots.txt demande seulement aux robots respectueux de ne pas explorer un chemin — il ne garde pas une page hors des résultats de recherche et n'est pas un contrôle d'accès ; un chemin listé reste lisible publiquement dans le fichier lui-même.
FAQ
Non. Chaque génération produit un seul groupe User-agent. Relancez avec un autre user-agent pour un second bloc et combinez les sorties vous-même.
Non. Le chemin doit seulement commencer par une barre oblique. Tout ce qui suit, y compris des motifs joker, est écrit tel quel et ne fonctionne que si le robot cible prend en charge cette syntaxe.
Non. robots.txt demande aux robots respectueux de ne pas explorer un chemin ; une URL peut quand même être indexée via d'autres signaux. Ce n'est pas non plus de la sécurité — le fichier, et chaque chemin qu'il contient, est public.