Robots.txt

Le robots.txt est un simple fichier texte placé à la racine d’un site (exemple.fr/robots.txt), que les robots consultent avant d’explorer vos pages. Il indique, robot par robot, les chemins qu’ils ne doivent pas parcourir. Sa portée est souvent surestimée : il règle le crawl, c’est-à-dire l’exploration, pas l’indexation. Une URL bloquée peut tout de même apparaître dans Google si d’autres pages font des liens vers elle, avec un résultat dépourvu de description.

C’est aussi une convention, pas une protection. Les robots des grands moteurs la respectent, d’autres l’ignorent, et le fichier est lisible par n’importe qui : y lister vos répertoires sensibles revient à les signaler.

Comment fonctionne un fichier robots.txt

Le fichier aligne des groupes de règles, dont la syntaxe a été standardisée en 2022 par l’IETF (RFC 9309) :

• User-agent désigne le robot visé (Googlebot, Bingbot, GPTBot), ou tous les robots avec un astérisque ;
• Disallow interdit un chemin, Allow rouvre une exception à l’intérieur d’une zone interdite ;
• Sitemap indique l’adresse de votre sitemap XML.

Quelques règles de fonctionnement chez Google : le fichier ne vaut que pour l’hôte où il se trouve (un sous-domaine comme blog.exemple.fr a besoin du sien), seuls les 500 premiers Kio sont lus, et son contenu est généralement gardé en cache jusqu’à 24 heures. Une modification n’est donc pas prise en compte instantanément. Si le fichier renvoie une erreur 404, Google considère qu’aucune restriction ne s’applique.

Exemple concret : fermer les impasses d’un e-commerce

Prenons une boutique de 8 000 produits dont le moteur de recherche interne crée une URL par requête tapée, et dont le panier et l’espace client sont accessibles aux robots. Les logs montrent que Googlebot consacre une part importante de ses passages à ces pages sans intérêt pour la recherche. Sous « User-agent: * », trois lignes règlent l’essentiel : « Disallow: /recherche », « Disallow: /panier » et « Disallow: /mon-compte ». Le budget de crawl ainsi libéré peut se reporter sur les catégories et les fiches produits.

Attention à l’ordre des opérations : si des pages de recherche interne sont déjà dans l’index de Google, passez-les d’abord en noindex, attendez qu’elles en sortent, et bloquez-les seulement ensuite. Dans l’ordre inverse, Google ne verrait jamais la balise noindex.

Les erreurs de robots.txt les plus coûteuses

• Le « Disallow: / » de la préproduction conservé après la mise en ligne : tout le site devient inexplorable.
• Bloquer les fichiers CSS et JavaScript : Google ne peut plus afficher les pages comme un internaute.
• Créer un groupe dédié à Googlebot en pensant qu’il s’ajoute aux règles générales : un robot ne suit que le groupe qui le désigne le plus précisément, et ignore alors les règles écrites pour tous.
• Bloquer les robots IA sans distinguer leurs rôles. Chez OpenAI, GPTBot collecte des données pour l’entraînement des modèles, tandis qu’OAI-SearchBot alimente la recherche de ChatGPT : bloquer le second revient à demander à ne pas apparaître dans ses réponses sourcées.

Comment auditer votre robots.txt

Ouvrez votre fichier à l’adresse /robots.txt et vérifiez qu’aucune règle ne bloque une zone stratégique. Le rapport robots.txt de la Search Console, dans les paramètres, montre la version récupérée par Google, sa date et les erreurs éventuelles ; l’outil d’inspection d’URL indique si une page précise est bloquée. Avant toute modification, testez les nouvelles règles sur une liste d’URL avec Screaming Frog, qui accepte un robots.txt personnalisé. Côté IA, le robots.txt peut être complété par un fichier llms.txt : le premier dit où ne pas aller, le second propose aux modèles une présentation structurée de vos contenus essentiels.