Crawl

Le crawl, ou exploration, est le travail des robots des moteurs de recherche qui parcourent le web en suivant les liens. Chez Google, ce robot s’appelle Googlebot et explore aujourd’hui les sites principalement dans leur version mobile, conséquence de l’index mobile-first. À chaque passage, il récupère le code de la page, relève les liens qu’elle contient et ajoute les nouvelles adresses à sa file d’attente.

Une confusion revient souvent : une page explorée n’est pas pour autant une page indexée. Le crawl est la première étape, l’indexation une décision prise ensuite, et Google peut très bien explorer une page sans jamais la retenir. Les moteurs IA ont par ailleurs leurs propres robots, comme GPTBot et OAI-SearchBot chez OpenAI ou PerplexityBot, qui se règlent séparément de Googlebot.

Ce qui se passe quand Googlebot explore une page

1. Découverte : l’URL est trouvée via un lien interne, un lien externe ou un sitemap XML.
2. Autorisation : Googlebot consulte le fichier robots.txt pour vérifier qu’il a le droit d’explorer l’adresse.
3. Récupération : il télécharge le HTML et note le code de réponse du serveur (200, 301, 404, 500…).
4. Rendu : la page est ensuite affichée par une version de Chrome sans interface, ce qui permet de lire le contenu généré en JavaScript, avec un délai possible.
5. Extraction : les liens trouvés alimentent la suite de l’exploration.

Un détail technique aux conséquences lourdes : Googlebot ne suit que les vrais liens HTML, ceux qui portent une adresse. Un bouton qui déclenche une action JavaScript sans URL est une impasse. Le rythme de passage dépend de la popularité des pages, de leur fréquence de mise à jour et de la santé du serveur, ce qu’on appelle le budget de crawl.

Exemple concret : un réseau d’agences invisible

Prenons un réseau de 40 agences immobilières dont chaque agence dispose d’une page locale. Ces pages ne sont accessibles qu’à travers une carte interactive et un champ « saisissez votre ville ». Pour Googlebot, elles n’existent pas : il ne remplit pas ce type de champ et ne clique pas sur une carte. Six mois après le lancement, aucune page agence n’apparaît sur les recherches « agence immobilière + ville ».

La correction tient en deux actions : une page « Nos agences » qui liste les 40 villes avec de vrais liens, et l’ajout des 40 URL au sitemap. Les pages deviennent alors explorables et peuvent entrer dans l’index en quelques jours à quelques semaines, selon l’autorité du site.

Les erreurs qui bloquent l’exploration

• Des menus ou des filtres générés en JavaScript sans attribut href : Googlebot ne les suit pas.
• Des pages orphelines, qu’aucun lien interne ne rejoint : le sitemap les signale, mais sans leur donner de poids.
• Un robots.txt qui bloque les fichiers CSS ou JavaScript : Google ne peut plus afficher la page comme un internaute et évalue mal son contenu.
• Un serveur lent ou instable : face aux erreurs 5xx ou aux temps de réponse élevés, Googlebot ralentit son exploration.

Comment vérifier le crawl de votre site

L’outil d’inspection d’URL de la Search Console indique si Google a exploré une page, à quelle date, avec quel robot, et montre le HTML obtenu après rendu. Le rapport « Statistiques sur l’exploration » donne la vue d’ensemble : volume de requêtes, temps de réponse, codes renvoyés. Pour voir votre site comme un robot, lancez un crawl Screaming Frog, avec le rendu JavaScript activé si votre site en dépend : il fait ressortir les liens cassés, la profondeur de clic et, croisé avec le sitemap, les pages orphelines. Une page stratégique située à plus de quatre ou cinq clics de l’accueil mérite d’être remontée dans le maillage.