Aller au contenu principal

Générateur de robots.txt

Le générateur de robots.txt construit un seul bloc de règles de crawl pour un unique user-agent — une étoile, Googlebot, Bingbot ou un nom personnalisé.

Règles
robots.txt

robots.txt demande uniquement aux robots respectueux de ne pas explorer un chemin. Il ne garantit pas l’absence d’une page dans les résultats de recherche et ne constitue pas un mécanisme de sécurité ou de contrôle d’accès.

Comment l'utiliser

  1. Choisissez un user-agent et ajoutez des règles Allow ou Disallow
  2. Définissez éventuellement un délai de crawl ou une URL de sitemap
  3. Copiez le robots.txt généré et publiez-le à la racine de votre site

Ajoutez des règles Allow et Disallow (chaque chemin doit commencer par une barre oblique), un Crawl-delay optionnel et une ligne Sitemap optionnelle, et il assemble un fichier texte pour la racine du site. Il ne produit pas plusieurs groupes user-agent en une fois, et il ne vérifie pas la syntaxe des jokers : tout ce que vous tapez après la barre oblique, y compris une étoile ou un dollar, est écrit tel quel et n'est respecté que si le robot le prend en charge. Le Crawl-delay est émis tel quel mais sa prise en charge est inégale et Google l'ignore. Les caractères de contrôle et sauts de ligne sont refusés pour éviter les injections. Rappel : robots.txt demande seulement aux robots respectueux de ne pas explorer un chemin — il ne garde pas une page hors des résultats de recherche et n'est pas un contrôle d'accès ; un chemin listé reste lisible publiquement dans le fichier lui-même.

FAQ

Nous utilisons des cookies pour faire fonctionner ce site et, avec votre accord, pour comprendre son usage et personnaliser les publicités. Vous pouvez modifier votre choix à tout moment.