Un client m'appelle un jour, paniqué : sur ses 180 000 pages produits, seules 4 000 étaient indexées. Pas de pénalité. Pas de contenu dupliqué flagrant. Juste un Googlebot qui passait, explorait trois cents URL sans intérêt, et repartait avant d'avoir touché ses pages catégories. Le crawl budget, dans sa version la plus brutale.
Le crawl budget, c'est simplement le volume d'URL que Googlebot explore sur votre site pendant une période donnée. Ce n'est pas une ressource que Google vous alloue gentiment. C'est le résultat d'un arbitrage : combien votre serveur peut encaisser, et combien Google a envie de venir. Si vous n'avez jamais entendu ce terme avant de tomber sur cet article, tant mieux pour vous — c'est probablement le signe que votre site est assez petit pour que le problème ne se pose jamais.
Pour les autres, voici ce que j'ai appris à la dure sur des sites qui dépassent quelques milliers d'URL.
Points clés à retenir
- Le crawl budget résulte de deux forces distinctes : la capacité serveur (combien de requêtes il encaisse sans broncher) et la demande d'exploration (ce que Google juge digne d'être visité).
- Sous 1 000 pages, le sujet est largement théorique. Au-delà de 10 000 URL, il devient un vrai levier de croissance.
- Le diagnostic passe par trois outils : Search Console (rapport d'exploration), logs serveur, et corrélation avec l'indexation réelle.
- Les fuites les plus fréquentes ne sont pas techniques au sens noble : paramètres d'URL, recherche interne, facettes de filtres, redirections en chaîne.
- Optimiser, ce n'est pas « demander plus à Google ». C'est rendre chaque visite du bot plus rentable.
Crawl budget : ce qui se joue vraiment derrière ce terme
La plupart des articles sur le sujet répètent la même définition sans jamais expliquer pourquoi Google limite le crawl. La raison est pourtant simple : explorer coûte cher, à Google comme à vous. Chaque requête du bot consomme de la bande passante serveur, du CPU, de la mémoire. Si Googlebot martelait un site sans retenue, il ferait tomber la moitié des serveurs de PME de la planète.
Deux facteurs, pas un
Google lui-même décrit le crawl budget comme la rencontre de deux contraintes. D'un côté, le crawl rate limit : c'est le plafond que votre infrastructure impose. Un serveur qui répond en 200 ms tolère beaucoup plus qu'un serveur qui met 3 secondes. De l'autre, le crawl demand : c'est l'appétit de Google, nourri par la popularité perçue et la fraîcheur du contenu. Ces deux paramètres se multiplient. Si l'un des deux est à zéro, le budget l'est aussi.
J'ai longtemps cru qu'il suffisait d'accélérer le serveur pour tout régler. Erreur. Sur un site que je suivais, on est passés d'un TTFB de 1,8 s à 400 ms — le crawl a augmenté de 30 % en trois semaines, puis s'est stabilisé. Pourquoi ? Parce que la demande, elle, n'avait pas bougé. Google ne voyait toujours aucune raison de revenir plus souvent.
À partir de quand faut-il s'en préoccuper ?
Franchement, si votre site fait 300 pages, arrêtez de lire. Le crawl budget n'est pas votre problème, et chercher à l'optimiser vous fera perdre du temps sur des chantiers qui comptent réellement.
La question se pose à partir du moment où :
- vous dépassez plusieurs milliers d'URL, souvent par effet de génération automatique (fiches produits, annuaires, catalogues)
- vos pages bougent souvent, ce qui force Google à revenir
- vous constatez que des pages stratégiques restent « Découverte, non indexée » pendant des semaines
- ou, plus sournois, que des pages sans intérêt se retrouvent indexées pendant que vos catégories dorment
Le seuil exact n'existe pas. J'ai vu des sites de 8 000 pages parfaitement crawlés, et des sites de 40 000 pages en souffrance chronique. Tout dépend de la qualité de la structure.
Comment mesurer son crawl budget réellement
Voici la partie que je n'ai jamais trouvée expliquée correctement ailleurs. Savoir que le crawl budget existe ne sert à rien si vous ne savez pas le mesurer. Voici la méthode que j'utilise systématiquement.
Étape 1 — Le rapport d'exploration de la Search Console
Dans l'ancienne interface, c'était un rapport dédié. Il existe toujours sous une forme ou une autre dans les paramètres de propriété. Ce rapport vous donne le nombre de requêtes moyennes par jour, la répartition des codes de réponse, et l'évolution dans le temps. C'est le point de départ obligatoire, mais insuffisant : Google ne vous dit pas quelles URL il explore.
Étape 2 — Les logs serveur
C'est là que tout se joue. Les logs bruts de votre serveur web contiennent chaque requête de Googlebot, avec l'URL, le timestamp, le code HTTP et le user-agent. En filtrant sur ce user-agent et en analysant la répartition, vous obtenez la vérité terrain.
Concrètement, je sors trois chiffres :
- Le nombre d'URL uniques visitées sur 30 jours — c'est votre crawl budget réel
- La répartition par type de page — combien de visites sur vos pages produits, catégories, tags, paramètres
- Le taux de recrawl — combien de fois la même URL a été visitée par rapport au total
Sur le site à 180 000 pages dont je parlais en ouverture, le diagnostic a pris dix minutes une fois les logs parsés. Résultat : 62 % des visites de Googlebot atterrissaient sur des URL avec paramètres de tri. Des pages que personne n'aurait jamais voulu voir indexées.
Étape 3 — Corréler exploration et indexation
Explorer n'est pas indexer. Une page peut être visitée vingt fois et rester en dehors de l'index. Ce qui compte, c'est le ratio. Si Googlebot visite 10 000 URL par jour mais n'en indexe que 200, il y a un problème de qualité ou de structure. Si le ratio est correct mais que les pages visitées ne sont jamais les bonnes, c'est un problème de pilotage.
| Indicateur | Situation saine | Situation problématique |
|---|---|---|
| Part des URL visitées / URL totales | Progressive, croissante sur 90 jours | Stagnante ou en baisse malgré un site qui grossit |
| Répartition par type de page | Produits + catégories majoritaires | Paramètres, recherche interne, pagination sans fin majoritaires |
| Taux de recrawl | Modéré, ciblé sur les pages qui bougent | Élevé sur des pages statiques, faible sur les pages d'actualité |
| Codes de réponse vus par le bot | Majoritairement 200 et 304 | Beaucoup de 301 en chaîne, 404, 5xx |
Les leviers qui font vraiment la différence
Il y a une vérité inconfortable dans l'optimisation du crawl budget : 90 % des gains viennent de la suppression du bruit, pas de l'ajout de fonctionnalités.
Robots.txt : à manier avec précision
Bloquer des répertoires entiers paraît tentant. Mauvais réflexe quand on ne sait pas ce qu'on fait : une URL bloquée dans robots.txt peut rester dans l'index si Google a déjà vu les liens externes qui pointent vers elle. Je l'ai appris à mes dépens — j'ai bloqué un répertoire de filtres, et les pages concernées sont restées visibles dans les SERP pendant deux mois.
La bonne pratique : noindex côté HTML pour les pages à retirer de l'index, robots.txt uniquement pour les ressources que vous voulez vraiment rendre inaccessibles (fichiers d'admin, exports, scripts).
Paramètres d'URL et facettes
C'est le poste de gaspillage numéro un sur les sites e-commerce. Chaque filtre, chaque tri, chaque pagination profonde génère une nouvelle URL. Multipliez par le nombre de combinaisons possibles et vous obtenez un budget crawl anéanti.
Trois solutions, à choisir selon le contexte :
- Rel="canonical" vers la version canonique quand les variations sont sémantiquement équivalentes
- Robots.txt sur les paramètres de tri quand aucune valeur SEO n'est en jeu
- Paramètres d'URL figés dans la Search Console quand vous ne pouvez pas toucher au code (solution de secours, à éviter)
Maillage interne : le levier que tout le monde sous-estime
Le maillage interne agit sur deux tableaux. Il aide Google à comprendre quelles pages sont importantes (celles vers lesquelles vous pointez le plus), et il distribue le crawl vers ces mêmes pages. Une page orpheline sera explorée par hasard. Une page liée depuis votre navigation principale sera explorée à chaque passage.
Sur un site média que j'ai accompagné, on a réorganisé le maillage pour pointer systématiquement vers les 200 articles les plus stratégiques. En six semaines, ces articles ont vu leur fréquence de recrawl augmenter de 180 %. Aucun autre changement n'avait été fait.
Temps de réponse serveur
Le crawl rate limit existe parce que Google ne veut pas faire tomber votre serveur. Si votre TTFB dépasse régulièrement la seconde, Googlebot ralentit. Automatiquement. Et si votre serveur renvoie des erreurs 5xx, il ralentit encore plus — c'est un signal explicite de « je ne peux pas suivre ».
Je ne parle pas d'atteindre 50 ms sur une page WordPress sans cache. Je parle d'éviter les catastrophes : un serveur qui met 4 secondes à répondre à une requête de bot, ce n'est pas un site sous-optimisé, c'est un signal d'arrêt.
Trois erreurs que j'ai commises et que vous pouvez éviter
J'ai eu ma période « j'optimise le crawl budget » où j'ai fait n'importe quoi. Voici ce que j'en retire.
- Bloquer trop large dans robots.txt. J'ai voulu nettoyer un répertoire, j'ai bloqué tout un silo. Résultat : Google a mis un mois à revenir dessus après correction. Le crawl, ça ne se force pas, ça s'invite.
- Ignorer la pagination profonde. Les pages 10, 15, 20 d'un listing sont rarement utiles à vos visiteurs et presque jamais utiles à Google. Les laisser ouvertes au crawl est un gaspillage silencieux.
- Confondre crawl et indexation. Pendant longtemps, j'ai optimisé pour que Google explore plus. Alors qu'il fallait optimiser pour qu'il explore mieux. Ce n'est pas la même chose — et la seconde approche donne de bien meilleurs résultats sur les classements.
Et pour les petits sites, on fait quoi ?
Rien. Ou plutôt : vous avez mieux à faire. Si vous gérez un site de 500 pages, votre crawl budget est déjà plus que suffisant. Le temps que vous passeriez à l'optimiser sera mieux investi dans la qualité éditoriale, la vitesse pour vos visiteurs réels, ou la réduction du nombre d'URL inutiles — ce qui, au passage, est une forme indirecte de soin du crawl budget.
La seule question qui vaille pour un site modeste : est-ce que vos pages importantes sont indexées ? Si oui, vous avez gagné. Si non, le problème n'est presque jamais le crawl. C'est la qualité, la pertinence ou la structure du contenu.
Le crawl budget est une contrainte d'échelle. Avant l'échelle, il n'existe pas.
Ce qu'il faut vraiment retenir
Optimiser son crawl budget, ce n'est pas magouiller avec un algorithme. C'est faire le ménage chez soi pour que le visiteur — qu'il soit humain ou robot — trouve rapidement ce qui compte. Googlebot ne récompense pas les sites qui le supplient. Il récompense les sites où chaque visite apporte quelque chose. Si vous devez retenir une seule chose : réduisez les URL inutiles avant d'en ajouter des utiles. Le reste suivra.
Et la prochaine fois que vous verrez « Découverte, non indexée » sur une page à laquelle vous tenez, posez-vous une question simple. Est-ce que Googlebot a déjà visité cette page cette semaine ? Si la réponse est non, vous savez où creuser.
