Crawl (Exploration)
Le crawl est le processus par lequel les robots de Google (Googlebot) parcourent les pages d'un site web en suivant les liens. Le crawl budget est le nombre de pages que Google explore sur votre site dans un temps donné. Un bon maillage interne optimise le crawl.
Crawl : définition complète
Googlebot découvre les pages via les liens internes, le sitemap XML et les liens externes. Le crawl budget est limité : les gros sites (100K+ pages) doivent l'optimiser. Leviers : supprimer les pages inutiles, éviter les chaînes de redirections, bloquer les pages non importantes dans robots.txt.
Vérifiez la couverture de crawl dans Google Search Console > Paramètres > Statistiques d'exploration.
Exemple concret
Un site de 1 665 pages avec un maillage interne structuré en cocon : Googlebot explore 100 % des pages en < 72h. Un site de 500 pages mal maillé : 60 % crawlées en 2 semaines.
Concepts associés
SEO
Le SEO (Search Engine Optimization) désigne l'ensemble des techniques d'optimisation d'un site web pour améliorer sa visibilité dans les résultats organiques des moteurs de recherche comme Google.
SEOMaillage Interne
Le maillage interne désigne l'ensemble des liens hypertextes reliant les pages d'un même site entre elles.
SEOSitemap XML
Un sitemap XML est un fichier qui liste toutes les URLs d'un site web pour faciliter le crawl par Google.
SEOrobots.txt
Le fichier robots.
SEOIndexation
L'indexation est le processus par lequel Google ajoute une page web à sa base de données (index).
Besoin d’aide pour votre stratégie digitale ?
Audit offert. Recommandations en 48h. Zéro engagement.