Pourquoi l’indexation de certaines pages n’est pas automatique ?

En matière d’indexation, le moteur de recherche Google devient de plus en plus astreignant. Beaucoup de webmasters se demandent d’ailleurs pourquoi Google est aussi exigeant en la matière. Ils constatent en effet que certaines pages de leurs sites ne sont pas automatiquement indexées. Or, l’indexation Google représente l’un des principaux fondements du référencement SEO. Qu’est-ce qui peut expliquer le fait qu’une page ne s’indexe pas automatiquement après sa publication ?

Indexation Google : qu’est-ce que c’est ?

Traditionnellement, l’indexation désignait l’inscription d’un site web dans les « index » des différents moteurs de recherche. Bien que cette définition soit toujours actuelle, le sens réel de ce terme a un peu évolué. Aujourd’hui, l’indexation désigne le processus et les différentes actions pouvant amener les moteurs de recherches à prendre en considération les différentes pages d’un site internet. En ce qui concerne l’indexation Google, il s’agit spécifiquement du processus par lequel le robot Googlebot parcourt (crawl), analyse et traite les pages d’un site web. Normalement, ce n’est qu’après ces différentes étapes que le moteur les affiche dans les pages de résultats. Une page indexée, c’est donc une page qu’un robot d’indexation a étudiée minutieusement afin de déterminer si elle peut apparaître dans les résultats.

Lorsqu’une page est indexée par Google, le moteur de recherche présente son contenu sur la SERP si celui-ci est pertinent. C’est ce qui justifie que les pages se trouvent ou non parmi les premiers résultats de recherche. On peut donc déduire que sans l’indexation Google, certains sites web ne pourront pas être affichés lorsque l’internaute lance une recherche.

L’indexation Google mobile-first

Depuis plus d’une quinzaine d’années, l’utilisation du téléphone portable pour se connecter à internet est très récurrente. Les smartphones y ont d’ailleurs joué un grand rôle. La progression de l’utilisation des smartphones et des tablettes pour naviguer sur la toile a sans doute incité Google à modifier ses algorithmes. La firme de Mountain View adopte désormais une indexation Google first mobile. En 2020, elle annonçait déjà qu’elle allait se tourner vers l’indexation mobile-first. Au départ, beaucoup de webmasters et de développeurs de site web ont rencontré quelques difficultés pour s’adapter aux changements. Mais tous, les plus expérimentés en tout cas, savent désormais qu’il faut accorder une importance particulière au mobile-first.

La M.A.J Caffeine

En plus du Mobile-First, il y a quelques années, Google a déployé sa mise à jour Caffeine afin de faciliter l’indexation google des pages web. Par le passé, le robot d’exploration Googlebot analysait directement un groupe de pages en fonction d’un certain nombre de critères jugés pertinents. C’est après cette analyse qu’il indexe les pages. Avec la mise à jour Caffeine, l’analyse ne se fait plus en groupe. Elle se fait désormais page par page.

Raisons pour lesquelles l’indexation Google de certaines pages n’est pas automatique

Plusieurs raisons peuvent être à la base de la non-indexation de vos pages web sur Google. Les méthodes diversement variées utilisées par le référenceur seo peuvent être mises en cause. Mais avant de les aborder, il convient de rappeler l’importance de l’index first mobile et de la mise à jour Caffeine.

La mauvaise application des critères d’indexation mobile-first

L’optimisation mobile-first est indispensable depuis quelques années. Elle se présente comme une stratégie plus ou moins efficace à long terme. Depuis 2019 Google a invité les développeurs de sites internet à s’intéresser particulièrement à certains éléments afin de booster le référencement des pages. Premièrement, il faudra faire concorder les balises « Meta » des versions bureau et mobile de vos pages. Si le robot d’exploration de Google constate que les deux versions sont différentes, l’indexation peut être difficile.

Deuxièmement, les images (mises en avant ou insérées dans les articles) que vous utilisez dans vos contenus doivent être de bonne qualité. Si la qualité est mauvaise, ou si elle ne peut pas s’adapter aux petits écrans, l’indexation google peut aussi prendre du temps. En outre, si la petite image adaptable aux petits écrans est de mauvaise qualité, Google ne l’indexera jamais. À ce propos, Google suggère d’ailleurs qu’il faut intégrer un texte alternatif assez significatif pour chaque image.

Par ailleurs, notez que tout contenu en version mobile doit nécessairement correspondre à celui de la version bureau (desktop). Google indexe prioritairement la version mobile, mais si cette dernière ne correspond pas au contenu en version desktop, il n’y aura pas d’indexation.

Vous l’aurez compris, lorsqu’on n’applique pas correctement les critères d’optimisation mobile-first, l’indexation Google d’une page récente peut prendre du temps.

Ne pas prendre en compte la mise à jour Caffeine

Avec la mise à jour Caffeine de Google, les différentes pages des sites web sont analysées de façon indépendante. Beaucoup de développeurs web n’ont malheureusement pas encore intégré ces modifications. Ils continuent en effet de créer des pages quasi-identiques structurellement, sans faire attention aux mises à jour importantes de Google. Le moteur est censé crawler les pages singulièrement. Si vous publiez simultanément plusieurs pages sur votre site, il est fort probable que certaines ne s’indexent que quelques jours, voire quelques semaines ou mois plus tard.

Comment accélérer l’indexation Google des pages web ?

Comme on peut le constater, une page n’atterrit pas toujours immédiatement dans l’index de Google. Mais heureusement, il existe plusieurs astuces pour que l’indexation Google se produise rapidement. Nous vous proposons ici quelques techniques seo pour que vos pages soient indexées le plus tôt possible.

Mettre en ligne un plan de site et un fichier sitemap

Techniquement, le plan de site se différencie du sitemap. Vous avez certainement déjà vu la mention « plan de site » en parcourant les pages d’une plateforme web. Il s’agit d’une page où sont répertoriées toutes les pages que l’on juge importantes. Alors, si vous estimez qu’un contenu a une certaine valeur pour les internautes, intégrez-la à votre plan de site. Aujourd’hui, Google a tendance à s’intéresser aux plans de site. Le moteur considère en effet que c’est l’une des pages les plus visitées par les utilisateurs.

Le fichier « sitemap » est un élément que le webmaster place souvent au niveau du pied de page. En principe, ce fichier n’est pas destiné aux utilisateurs. Par contre, les internautes avertis peuvent s’en servir à des fins diverses. Normalement, le sitemap pointe vers un fichier à extension XML. Il a vocation à aider les robots de crawl à trouver plus facilement les pages à indexer. Lorsque vous mettez une nouvelle page en ligne, vérifiez toujours s’il n’y a pas une instruction dans le fichier sitemap qui empêche Google de l’explorer. Parfois, des instructions d’ordre général peuvent empêcher l’indexation de certaines pages. En outre, si votre site web comporte plusieurs milliers de pages, il vaut peut-être mieux créer plusieurs fichiers sitemap. Cela augmentera les chances de chaque page d’être crawlée le plus rapidement possible par les robots.

Adopter une architecture interne pour l’ensemble du site

Les robots explorateurs de Google utilisent généralement les liens internes contenus dans les pages pour passer d’une page à l’autre. Les professionnels du référencement naturel suggèrent donc qu’il faut éviter à tout prix d’avoir des pages orphelines. Les pages sont « orphelines » lorsqu’elles ne contiennent pas de liens internes, rendant impossible leur exploration. Les internautes ne peuvent évidemment pas y accéder de façon naturelle. À ces pages, Google n’accorde que très peu d’importance. D’ailleurs, puisqu’elles n’ont pas de lien direct avec d’autres pages, les robots d’exploration peinent à les trouver. Ce sont des pages qui vont inévitablement être pénalisées.

Pour créer une bonne architecture interne de votre site internet, vous devez également considérer d’autres éléments. Il vous faut par exemple tenir compte de la DFI (Distance From Index). Il s’agit de la distance de clics à partir de l’index. En d’autres termes, c’est le nombre de clics que l’utilisateur et les robots devront faire depuis la Homepage pour atteindre une page importante du site. Si le nombre de clics est réduit, les robots d’indexation google considéreront que la page est importante, donc prioritaire. En revanche, si on doit faire beaucoup de clics avant d’atterrir sur la page, Google ne l’indexera peut-être pas. Idéalement, il ne faut pas excéder 3 clics depuis la Homepage pour atteindre une page importante que l’on souhaite voir indexée le plus rapidement possible.

Pour accélérer l’indexation Google d’une page nouvellement créée, il faut simplement la placer le plus près possible de l’accueil dans les liens internes. Si la page vous paraît très importante pour votre site, n’hésitez pas à placer un lien directement sur la Homepage.

Soumettre les pages dans la Google Search Console

Google a prévu une fonctionnalité spécifique pour permettre aux développeurs de sites web de lui indiquer qu’un contenu est important. Grâce à cette fonctionnalité, les webmasters peuvent donc demander à Google de l’indexer. On ne peut pas dire qu’elle est efficace à 100%, mais elle a tout de même le mérite d’exister. Pour utiliser cette fonctionnalité, vous devez vous rendre sur votre Search Console. Au niveau de la rubrique « Inspection de l’URL », accédez à la barre de « Soumission d’URLs ». Arrivé à cette étape, il ne vous restera qu’à taper l’URL de la page à indexer et à lancer l’inspection. Il faut bien comprendre que l’outil ne procède pas directement à une indexation de la page en question. Il permet simplement de demander au robot Googlebot de crawler une page non encore indexée et d’observer comment l’indexation avance. L’outil vous permettra aussi d’identifier les erreurs d’exploration qui retardent l’indexation de la page.

Booster l’indexation de la page à l’aide de backlinks

Si votre site manque d’autorité, il est probable que Google n’indexe pas assez vite les nouvelles pages. C’est pour cela qu’il faut avoir une bonne stratégie de netlinking pour booster votre plateforme web. Pour augmenter l’autorité naturelle de votre site, l’utilisation des backlinks semble indispensable. Ces URLs présentes sur d’autres sites et pointant vers le vôtre vous feront gagner en autorité. Dans l’idéal, c’est que vous obteniez des backlinks sur des sites ayant une forte autorité. Vous aspirerez ainsi un peu de leur autorité et rendrez visible votre propre site. Aux yeux des robots d’indexation Google, les pages vers lesquelles les backlinks pointent sont pertinentes. L’exploration de ces pages est plus rapide, l’indexation aussi.

Passer par des services de Ping

Les experts SEO ont l’habitude d’utiliser les services de Ping. Aujourd’hui, leur usage dans le référencement semble anecdotique, mais ils peuvent encore contribuer à indexer rapidement les nouvelles pages. Comment donc utiliser les services de Ping ? De façon simple, les Pings sont des systèmes qui signalent aux moteurs de recherche qu’une nouvelle page a été créée ou mise à jour. On peut « pinger » les URLs manuellement ou de manière automatisée. Idéalement, utilisez un outil d’automatisation pour le faire. Si votre site a été « fièrement propulsé par WordPress », les Pings se feront automatiquement. Le CMS intègre un outil qui automatise les pings. Insérez votre liste de sites et les URLs des nouvelles pages seront automatiquement pingées au moment de leur publication ou de leur mise à jour.

Partager la page sur les plateformes sociales

Il y a une quinzaine d’années, on aurait suggéré de partager les liens des pages nouvellement créées sur les annuaires pour les rendre visibles. Aujourd’hui, même si les annuaires existent toujours, ils ne sont plus aussi importants qu’avant. Les réseaux sociaux les ont largement supplantés. Dans le milieu du SEO, il faut reconnaître que les plateformes sociales n’ont pas une bonne réputation. En effet, les backlinks qu’elles contiennent sont en « nofollow ». Aux yeux des robots d’indexation Google, ce sont des backlinks qui ne transmettent pas d’autorité. Ils auraient donc très peu d’intérêt en référencement naturel. Les backlinks présents sur les réseaux sociaux n’ont pas directement la capacité de positionner les pages de votre site sur les moteurs de recherche.

En revanche, Google suit de très près les plateformes sociales, car elles regroupent une kyrielle d’utilisateurs actifs. Ainsi, un lien social qui pointe vers une nouvelle page de votre site peut être un signal positif aux yeux du robot d’exploration de Google. Ce lien indique à Googlebot que la page a de fortes chances d’attirer des utilisateurs pertinents. Le robot aura donc tout intérêt à l’indexer rapidement. N’hésitez donc plus à partager les pages récentes de vos sites sur vos réseaux sociaux. Leur indexation pourra ainsi s’accélérée.

Faire le recyclage d’anciennes pages déjà indexées

C’est une méthode que très peu de professionnels utilisent. Et pourtant, elle est très utile pour rendre visible un contenu récent sur Google. Généralement, quand on souhaite accélérer le référencement d’un nouveau contenu, c’est principalement à cause de la saisonnalité. Il peut en effet arriver qu’un contenu ne soit intéressant qu’à un moment précis. Après quelques temps, l’intérêt que les utilisateurs peuvent avoir pour ce contenu peut baisser. L’astuce que nous vous proposons ici est un peu originale. Vous pouvez profiter des URLs des pages déjà indexées, mais qui sont devenues obsolètes pour promouvoir de nouveaux contenus. Autrement dit, vous utilisez une page indexée qui n’a plus de valeur actuelle pour présenter de nouveaux contenus.

Par exemple, tous les ans, certains sites e-commerce publient une page pour présenter les différentes réductions du Black Friday. Le problème, c’est que ces pages ne sont pas très visibles sur Google parce qu’elles n’ont pas été indexées. Or, le Black Friday est une période très courte et il serait immature de compter uniquement sur l’indexation. Pour aller vite, vous pouvez tout simplement recycler la page déjà indexée de Black Friday de l’année passée. C’est une technique qui certes n’est pas toujours valide, mais la plupart du temps, l’est vraiment.

Vous savez désormais comment accélérer l’indexation Google de vos nouvelles pages. Il est donc inutile de rester figé devant la commande « site:urldelapage » en espérant que la page apparaisse dans les résultats Google. Si vous avez besoin d’assistance pour indexer vos pages sur la Google Search Console, contacter une agence SEO pour vous y aider.