Indexation et crawl budget : s’assurer que Google explore tout votre site

Avoir un site web ne suffit pas : encore faut-il que Google le trouve, l’explore et l’indexe correctement. Selon une étude d’Ahrefs, 66 % des pages web ne reçoivent aucune visite depuis Google, souvent parce qu’elles ne sont tout simplement pas indexées. Comprendre le fonctionnement de l’indexation et optimiser votre crawl budget est essentiel pour maximiser votre visibilité dans les résultats de recherche.

Comprendre le crawl et l’indexation

Le processus par lequel Google découvre et référence vos pages comporte trois étapes distinctes : la découverte, le crawl et l’indexation.

Les trois étapes

1. Découverte : Google trouve l’URL de votre page via un lien depuis un autre site, un lien interne, votre sitemap XML ou une soumission manuelle dans Google Search Console
2. Crawl (exploration) : Googlebot (le robot de Google) accède à la page, télécharge son contenu HTML, CSS et JavaScript, et l’analyse
3. Indexation : Google décide d’ajouter (ou non) la page à son index. Une page indexée peut apparaître dans les résultats de recherche. Une page crawlée mais non indexée ne sera jamais visible

Crawl vs indexation : la différence cruciale

Google peut crawler une page sans l’indexer. Les raisons de non-indexation incluent : contenu de faible qualité, contenu dupliqué, balise noindex, page trop lente à charger, ou décision algorithmique de Google. À l’inverse, Google peut indexer une page sans la crawler récemment si le contenu est jugé stable.

Qu’est-ce que le crawl budget

Le crawl budget représente le nombre de pages que Googlebot est disposé à explorer sur votre site pendant une période donnée. Il dépend de deux facteurs.

Crawl rate limit (taux de crawl)

C’est la fréquence maximale à laquelle Googlebot peut explorer votre site sans surcharger votre serveur. Si votre serveur est lent ou instable, Google réduit automatiquement son taux de crawl pour ne pas dégrader l’expérience des visiteurs réels.

Crawl demand (demande de crawl)

C’est l’intérêt que Google porte à vos pages. Les facteurs qui augmentent la demande de crawl :

• Pages populaires (beaucoup de backlinks et de trafic)
• Contenu mis à jour fréquemment
• Nouvelles pages ajoutées régulièrement
• Site à forte autorité

Le crawl budget est-il un problème pour les PME ?

Pour les sites de moins de 1 000 pages, le crawl budget est rarement un problème. Google a largement la capacité d’explorer tous les sites de petite et moyenne taille. Cependant, certaines erreurs techniques peuvent gaspiller le crawl budget même sur un petit site, retardant l’indexation de vos nouvelles pages.

Optimiser le crawl de votre site

Le sitemap XML

Le sitemap XML est la carte de votre site pour Google. Il liste toutes les pages que vous souhaitez voir indexées avec leur date de dernière modification et leur priorité relative.

Bonnes pratiques :

• Incluez uniquement les pages que vous voulez voir apparaître dans Google (pas les pages de connexion, les pages d’erreur, les pages d’administration)
• Mettez à jour la date de dernière modification quand le contenu change réellement (pas à chaque rechargement)
• Limitez chaque fichier sitemap à 50 000 URL ou 50 Mo
• Soumettez votre sitemap dans Google Search Console
• Référencez votre sitemap dans le fichier robots.txt

Le fichier robots.txt

Le fichier robots.txt donne des instructions aux robots d’exploration. Il permet de bloquer l’accès à certaines parties du site (administration, fichiers internes, doublons).

Précautions essentielles :

• Ne bloquez jamais les fichiers CSS et JavaScript (Google en a besoin pour le rendu)
• Ne bloquez pas accidentellement des pages importantes
• Vérifiez votre robots.txt avec l’outil de test dans Google Search Console
• Un robots.txt vide ou absent autorise le crawl de tout le site

Architecture et liens internes

Une bonne architecture de site facilite le crawl :

• Toute page importante accessible en 3 clics maximum depuis la page d’accueil
• Pas de pages orphelines (sans aucun lien interne)
• Maillage interne solide entre les pages thématiquement liées
• Navigation claire et cohérente

Vitesse du serveur

Un serveur rapide permet à Googlebot d’explorer plus de pages en moins de temps. Optimisez le temps de réponse de votre serveur (TTFB) pour maximiser le crawl. Les hébergeurs de qualité avec un bon temps de réponse (OVH, o2switch, Scaleway) font la différence.

Diagnostiquer les problèmes d’indexation

Pages non indexées : les causes principales

1. Balise noindex : la page contient une balise meta robots avec la directive noindex. Vérifiez que cette balise n’est pas ajoutée par erreur par votre CMS ou un plugin
2. Bloquée par robots.txt : le fichier robots.txt empêche Googlebot d’accéder à la page
3. Contenu dupliqué : Google considère la page comme un doublon d’une autre page et choisit de n’indexer qu’une seule version
4. Canonique vers une autre page : la balise canonical pointe vers une autre URL, indiquant à Google de préférer cette autre version
5. Qualité insuffisante : Google juge le contenu trop mince, trop similaire à d’autres contenus ou non pertinent pour les utilisateurs
6. Page orpheline : aucun lien interne ne pointe vers la page, Google ne la découvre jamais

Utiliser Google Search Console pour le diagnostic

Le rapport « Pages » de Google Search Console est votre outil principal de diagnostic. Il classe vos URL en quatre catégories :

• Pages non indexées : avec la raison spécifique de la non-indexation
• Pages indexées sans les améliorations : indexées mais avec des avertissements
• Pages indexées : correctement indexées et prêtes à apparaître dans les résultats

L’outil « Inspection d’URL » permet un diagnostic page par page : vous voyez exactement comment Google a crawlé et indexé (ou non) une page spécifique.

Erreurs fréquentes à corriger

• Erreurs 404 sur des pages recevant des backlinks : mettez en place des redirections 301
• Redirections en chaîne (301 → 301 → 301) : chaque URL doit pointer directement vers la destination finale
• Pages de pagination infinies : les pages de listing sans fin gaspillent le crawl budget
• Paramètres d’URL générant des doublons : les filtres, les tris et les sessions créent des URL en double

Outils de surveillance et maintenance

Outils gratuits

• Google Search Console : l’outil indispensable pour surveiller l’indexation, les erreurs et les performances de votre site dans Google
• Screaming Frog (version gratuite) : crawle jusqu’à 500 URL et identifie les problèmes techniques (liens cassés, redirections, balises manquantes)
• Google Lighthouse : audit technique accessible depuis les outils de développement de Chrome

Outils professionnels

• Semrush / Ahrefs : audit technique complet avec suivi dans le temps et comparaison concurrentielle
• Screaming Frog (version payante) : crawl illimité avec fonctionnalités avancées (JavaScript rendering, intégration API)
• Sitebulb : audit technique visuel avec des visualisations claires de l’architecture et des problèmes

Actions de maintenance régulières

• Hebdomadaire : vérifier les nouvelles erreurs d’indexation dans Google Search Console
• Mensuelle : crawler le site avec Screaming Frog pour détecter les problèmes émergents
• Trimestrielle : audit technique complet (liens cassés, redirections, contenu dupliqué, performances)
• À chaque modification : vérifier l’impact sur l’indexation après tout changement de structure, de contenu ou technique