Budget de crawl

Le budget de crawl désigne le volume d’URL que Googlebot peut et veut explorer sur votre site sur une période donnée. Google le décrit comme la rencontre de deux limites : la capacité, c’est-à-dire ce que votre serveur supporte sans ralentir, et la demande, qui dépend de la popularité de vos pages et de la fréquence à laquelle elles changent. Le crawl n’est donc pas illimité : chaque URL inutile explorée est une visite de moins pour une page qui compte.

Nuance importante : le sujet ne concerne qu’une minorité de sites. Google cible lui-même les sites de plus d’un million de pages mises à jour chaque semaine, ceux de plus de 10 000 pages qui changent chaque jour, et ceux dont une grande partie des URL restent « détectées, actuellement non indexées ». Sur un site vitrine de 200 pages, un problème d’indexation vient presque toujours d’ailleurs : qualité des contenus, doublons, maillage.

Ce qui gaspille le budget de crawl

Googlebot ne sait pas d’avance qu’une URL est inutile : il le découvre en l’explorant. Les grands consommateurs de crawl perdu sont bien identifiés :

• les filtres à facettes et les paramètres combinables, capables de créer des millions d’adresses à partir de quelques milliers de produits ;
• les chaînes de redirections et les liens internes vers des pages en erreur ;
• les pages quasi vides ou dupliquées : variantes de tri, résultats de recherche interne, calendriers sans fin ;
• un serveur lent ou qui renvoie des erreurs 5xx, auquel Googlebot répond en réduisant son rythme.

Cas réel : 90 % du crawl sur des URL fantômes

Sur un e-commerce accompagné par Skyseo depuis plus de trois ans, en forte croissance, des dizaines de milliers de pages ont soudain quitté l’index. L’analyse des logs serveur a révélé qu’une modification de développement générait des URL sans valeur qui absorbaient 90 % du crawl. Il ne restait donc qu’un passage de Googlebot sur dix pour les pages réelles du catalogue. Remettre le site en ordre a demandé un mois de travail.

Ce cas illustre la répartition des rôles entre les outils : la Search Console affiche le symptôme, des pages qui sortent de l’index, tandis que les logs montrent, URL par URL, où Googlebot passe réellement son temps.

Les fausses bonnes idées pour économiser le crawl

• Bloquer dans le robots.txt des pages que l’on veut désindexer : Google ne peut plus lire leur balise noindex, et elles peuvent rester dans l’index.
• Soumettre un sitemap XML rempli d’URL redirigées, canonisées ou en erreur, qui envoie Googlebot au mauvais endroit.
• Ouvrir d’un coup des milliers de pages nouvelles (filtres, pages villes) sans maillage ni priorité : Googlebot les découvre lentement et n’en retient qu’une partie.
• Poser des nofollow sur les liens internes pour « économiser » du crawl : Google les traite comme une simple indication. Mieux vaut ne pas générer de liens vers les URL inutiles.

Comment suivre votre budget de crawl

Le rapport « Statistiques sur l’exploration » de la Search Console, accessible depuis les paramètres, donne le nombre de requêtes de Googlebot par jour, le temps de réponse moyen du serveur et la répartition par code de réponse et par type de fichier. L’analyse de logs (Screaming Frog Log File Analyser, Oncrawl, Botify) va plus loin. Trois indicateurs suffisent pour piloter : la part du crawl consacrée aux pages indexables et stratégiques, le délai entre la publication d’une page et le premier passage de Googlebot, et le volume d’URL « détectées, actuellement non indexées ».