Comment augmenter le budget de crawl avec l’élagage SEO

L’un des concepts les plus sous-estimés en matière de référencement est celui du budget de crawl. Cet article examine ce qu’il est et pourquoi il s’agit d’un sujet si important, en particulier pour les très grands sites Web comportant des dizaines de milliers de pages.

En résumé, le budget d’exploration est le nombre de pages Web que les robots de Google explorent sur votre site Web, un jour donné. Il dépend de la taille d’un site Web, du nombre d’erreurs que Google rencontre sur un site Web et du nombre de liens vers le site Web.

Les robots de Google sont généralement occupés à essayer d’accéder à des millions de pages Web. En fait, tout le domaine du référencement est sur les dents pour attirer l’attention des robots. Les spécialistes du référencement veulent que les robots explorent le plus grand nombre possible de leurs pages Web, afin que de plus en plus de pages soient indexées et classées.

A propos de l’auteur

Julia Nesterets est la fondatrice de SEO crawler Jetoctopus.

Mais le web est un univers vaste et massif de pages et d’autres actifs en ligne comme les fichiers JavaScript et CSS, les variantes de pages mobiles, etc. Il est donc pratiquement impossible pour les robots des moteurs de recherche de tout explorer et indexer. Par conséquent, il est pratiquement impossible pour les robots des moteurs de recherche d’explorer et d’indexer tout le contenu. En même temps, les moteurs de recherche doivent maintenir leurs index à jour pour inclure tout le contenu important.

Les moteurs de recherche ne disposent pas de ressources illimitées ; ils doivent donc hiérarchiser leurs efforts d’exploration. Ils doivent déterminer :

– Comment prioriser les pages web par rapport aux autres
– Le contenu à explorer (et ce qu’il faut ignorer)
– Recréer certaines pages souvent ou ne jamais y retourner ?

Ces facteurs définissent la manière dont les moteurs de recherche accèdent au contenu en ligne et l’indexent. C’est là que le budget d’exploration et son optimisation entrent en jeu.

Le budget d’exploration est le nombre de pages que les robots explorent et indexent dans un laps de temps donné. Si les moteurs de recherche ne parviennent pas à explorer votre page, elle ne sera pas classée dans les SERPs. En d’autres termes, si le nombre de pages Web dépasse votre budget d’exploration, vous aurez plus de pages qui ne seront pas explorées et indexées.

L’attribution d’un budget d’exploration aide les robots de recherche à explorer votre site Web de manière efficace et, par conséquent, à stimuler vos efforts de référencement. C’est la façon dont le moteur de recherche répartit son attention entre les millions de pages disponibles sur le Web.

Ainsi, l’optimisation du budget d’exploration peut garantir que le contenu le plus important de votre site est exploré et indexé.

(Crédit image : Pixabay)

Google explique que la plupart des sites Web n’ont pas à se soucier du budget d’exploration. Toutefois, si un site Web est assez important, les robots d’indexation doivent établir des priorités quant à ce qu’ils doivent explorer et quand. De plus, ils doivent déterminer combien de ressources le serveur hébergeant le site Web peut allouer à l’exploration.

Plusieurs facteurs tels que les URL de faible valeur, les liens cassés ou redirigés, le contenu dupliqué, les problèmes de gestion de l’indexation, les pages cassées, les problèmes de vitesse du site, les problèmes de balises hreflang et l’utilisation excessive des pages AMP, entre autres, peuvent affecter votre budget d’exploration. La gestion de ces facteurs aidera les utilisateurs et les robots d’indexation à accéder facilement à votre contenu le plus critique et évitera de gaspiller le budget d’indexation.

En outre, il est essentiel de surveiller la façon dont les robots d’exploration visitent votre site et accèdent à son contenu. Google Search Console peut vous fournir des informations utiles sur la position de votre site dans l’index et les performances de recherche. Vous trouverez également un rapport Crawl Stats dans la section Legacy tools qui montre l’activité du robot sur votre site au cours des 90 derniers jours.

De plus, l’analyse du fichier journal du serveur peut vous indiquer exactement quand les robots visitent votre site et les pages qu’ils visitent souvent. Les robots d’indexation et les analyseurs de journaux automatisés peuvent passer au peigne fin vos fichiers journaux pour trouver les liens brisés et les erreurs que les robots ont rencontrés lors de l’indexation de votre site. En outre, l’outil peut vérifier vos redirections et optimiser votre budget d’exploration afin de garantir que les robots explorent et indexent autant de pages importantes que possible.

Le fait de gaspiller ou de ne pas optimiser votre budget d’exploration équivaut à nuire à vos performances de référencement. Portez une attention particulière au budget de crawl si :

  • Vous possédez un énorme site Web (en particulier un ecommerce (site de plus de 10 000 pages)
  • Vous venez d’ajouter du nouveau contenu ou des pages Web
  • Votre site a beaucoup de redirections et de chaînes de redirections (car elles consomment le budget de crawl)
  • Votre hébergement web est lent

Qu’en est-il de l’élagage SEO ?

Les algorithmes de Google sont formés pour privilégier la qualité à la quantité. Il est donc judicieux d’élaguer ou de supprimer les pages Web peu performantes, ce qui permet d’optimiser le budget d’exploration et d’améliorer le score de qualité et l’interface utilisateur de votre domaine.

Le processus de suppression des pages Web ou du contenu obsolètes et peu performants de l’indexation de Google est appelé élagage SEO. Cependant, il ne s’agit pas nécessairement de supprimer ces pages d’un site Web (même si parfois, cela peut sembler être la meilleure option !).