Définir le budget de crawl sans fantasme SEO
Le budget de crawl correspond, dans une approche simplifiée, au volume d’URLs qu’un moteur comme Google peut et veut explorer sur un site pendant une période donnée. La nuance est importante : il ne s’agit pas seulement d’une limite technique côté serveur, mais aussi d’une question de demande d’exploration.
Google explique que le crawl budget résulte de deux dimensions : la limite de fréquence de crawl, qui évite de surcharger un serveur, et la demande de crawl, qui dépend notamment de l’intérêt des URLs, de leur fraîcheur et des événements importants comme une migration. Pour un petit site vitrine de quelques dizaines de pages, ce sujet est rarement bloquant. Pour un site e-commerce, un gros blog, un site à facettes ou un site avec beaucoup d’URLs faibles, il peut devenir stratégique.
Le travail technique permet aussi de réduire les URLs inutiles qui consomment du crawl, sans bloquer les pages réellement importantes.
Comment Googlebot répartit ses ressources
Googlebot ne crawle pas toutes les URLs d’un site avec la même fréquence. Les pages populaires, fréquemment mises à jour, bien maillées ou considérées comme importantes ont plus de chances d’être revisitées. À l’inverse, les pages dupliquées, pauvres, lentes, instables ou très profondes peuvent être explorées moins souvent.
Il faut aussi distinguer trois étapes : découverte, crawl et indexation. Une URL peut être découverte via un lien ou un sitemap, crawlée par Googlebot, puis finalement non indexée si Google estime qu’elle n’apporte pas assez de valeur ou qu’une autre URL canonique est préférable.
Les signaux qui dégradent le crawl utile
Le problème n’est pas uniquement le nombre d’URLs. Le vrai sujet est le ratio entre URLs utiles et URLs faibles. Un site de 10 000 pages peut très bien se comporter si son architecture est propre. Un site de 800 URLs peut gaspiller le crawl si les filtres, paramètres, doublons ou pages zombies se multiplient.
- URLs de filtres ou facettes sans intérêt SEO ;
- paramètres de tri, session ou tracking indexables ;
- contenus dupliqués accessibles sous plusieurs chemins ;
- pages très pauvres, anciennes, orphelines ou jamais mises à jour ;
- soft 404, redirections chaînées, erreurs 5xx ou lenteurs serveur ;
- maillage interne qui pousse trop de pages secondaires au détriment des pages business.
Sur un audit SEO, ces signaux doivent être croisés : crawl Screaming Frog, données Search Console, sitemap, logs serveur et observation du maillage interne. Aucun outil seul ne donne la vérité complète.
Auditer le crawl : la méthode terrain
L’audit commence par une cartographie des URLs connues. Il faut comparer les URLs présentes dans le sitemap, les URLs crawlables depuis la page d’accueil, les URLs indexées, les URLs recevant des clics et les URLs réellement demandées par Googlebot dans les logs serveur.
Une grille simple permet de prioriser :
- URL stratégique : page service, catégorie, page locale, article pilier, fiche produit rentable ;
- URL support : contenu utile au hub, FAQ, guide, article intermédiaire ;
- URL faible : doublon, tag vide, archive inutile, paramètre ou page sans demande ;
- URL toxique : erreur, soft 404, page hackée, contenu généré automatiquement ou espace infini.
Cette classification évite de corriger “au hasard”. Le but est de renforcer l’accès aux pages stratégiques, conserver les supports utiles et neutraliser les zones qui consomment du crawl sans créer de valeur.
Optimiser le budget de crawl sans casser l’indexation
L’optimisation se joue d’abord dans l’architecture. Les pages importantes doivent être proches de la page d’accueil, intégrées dans les menus ou hubs pertinents, et reliées par des liens contextuels avec des ancres descriptives. Les pages faibles doivent être fusionnées, supprimées, redirigées ou sorties du chemin de crawl selon leur cas.
Les leviers les plus efficaces sont souvent les plus simples :
- nettoyer les pages zombies et consolider les contenus redondants ;
- réduire les redirections inutiles et corriger les erreurs serveur ;
- créer un sitemap XML limité aux URLs canoniques importantes ;
- renforcer le maillage interne vers les pages business et articles piliers ;
- éviter les liens crawlables vers des combinaisons de filtres sans intérêt ;
- améliorer la rapidité serveur pour permettre plus de récupération à ressources égales.
Robots.txt, noindex, canonical : ne pas mélanger les rôles
Le fichier robots.txt sert à gérer l’accès au
crawl. Il peut éviter que Googlebot explore des zones sans
intérêt, mais il ne doit pas être utilisé comme unique outil
pour empêcher une URL d’être indexée. Si une URL bloquée par
robots.txt est connue par des liens externes, Google peut
encore la connaître sans avoir accès à son contenu.
Le noindex demande de retirer une page de
l’index, mais il doit être vu par le robot : bloquer la page
dans robots.txt peut donc empêcher Google de lire la
directive. Le rel="canonical", lui, indique une
version préférée lorsque plusieurs URLs représentent un
contenu similaire ou dupliqué.
Lire les logs pour voir ce que Googlebot fait vraiment
Les logs serveur montrent les requêtes réelles des robots : URLs demandées, dates, codes HTTP, poids, user agents et fréquence. C’est le seul moyen de vérifier si Googlebot visite vos pages stratégiques ou s’il passe son temps sur des zones secondaires.
L’analyse doit répondre à quelques questions : quelles sections reçoivent le plus de hits Googlebot ? Les pages business sont-elles revisitées ? Les erreurs 404 ou 5xx consomment-elles beaucoup de crawl ? Les paramètres inutiles sont-ils trop demandés ? Les pages fraîchement publiées sont-elles découvertes rapidement ?
Checklist budget de crawl
Questions fréquemment posées sur le sujet
Qu’est-ce que le budget de crawl en SEO technique ?
Le budget de crawl correspond aux ressources que Googlebot peut et veut consacrer à l’exploration d’un site. Il dépend de la capacité du serveur, de la qualité des URLs et de l’intérêt que Google porte aux pages.
Un petit site vitrine doit-il se soucier du budget de crawl ?
Oui, mais à une échelle différente. Même sur un petit site, les URLs inutiles, doublons, redirections et pages faibles peuvent ralentir la découverte des contenus importants.
Quelles URLs gaspillent le plus souvent le crawl ?
Les pages de filtres, paramètres, archives pauvres, résultats internes, duplications, anciennes URLs et redirections en chaîne gaspillent souvent du crawl. Elles doivent être contrôlées par l’architecture, le canonical, le noindex ou le nettoyage.
Le fichier robots.txt optimise-t-il le budget de crawl ?
Il peut empêcher le crawl de zones inutiles, mais il doit être utilisé avec prudence. Bloquer une URL empêche Google de lire ses signaux internes, ses canonicals ou son contenu.
Un sitemap XML améliore-t-il le crawl ?
Un sitemap XML propre aide Google à découvrir les URLs importantes, surtout après une refonte ou une publication massive. Il ne corrige pas une mauvaise architecture, mais il donne une liste claire des pages à explorer.
Comment les logs serveur aident-ils à analyser le crawl ?
Les logs montrent les passages réels de Googlebot : pages visitées, fréquence, codes HTTP et zones ignorées. Ils permettent de comparer ce que l’on veut faire crawler avec ce que Google crawl réellement.
Quel lien entre budget de crawl et maillage interne ?
Le maillage interne oriente Googlebot vers les pages prioritaires. Des liens contextuels bien placés renforcent les pages utiles, tandis que des liens répétés vers des pages faibles peuvent disperser le crawl.
Les pages noindex consomment-elles du crawl ?
Oui, une page noindex doit être crawlée pour que Google voie la directive. Si un site contient beaucoup de pages noindex inutiles, il faut se demander pourquoi elles sont accessibles et liées en interne.
Comment prioriser une optimisation du budget de crawl ?
Il faut commencer par les erreurs serveur, les redirections, les URLs inutiles, les duplications et le sitemap. Ensuite, on affine l’architecture, les liens internes et la profondeur de clic.
Le budget de crawl a-t-il un impact sur le GEO ?
Indirectement oui. Si les pages expertes sont mal crawlées ou mal reliées, elles ont moins de chances d’être indexées, comprises et exploitées dans des réponses enrichies ou génératives.