Comment (et pourquoi) les moteurs de recherche rendent les pages

Il y a un tournant intéressant dans notre façon de penser à l’indexation – et c’est le rendu.

Quand on pense au classement des pages, on pense généralement à l’indexation. C’est-à-dire que nous pensons généralement au moment où un moteur de recherche l’a fait :

• A découvert une page par le biais de plans de site ou en rampant et a ensuite visité la page pour l’indexer.
• Rassemblement de tout le contenu de la page.
• Début du classement de la page pour les requêtes.

On peut dire que c’est l’étape la plus importante du processus étant donné qu’elle est le déclencheur des classements, mais ce n’est pas l’étape finale du processus de découverte et je dirais que son poids va diminuer avec le temps tandis que l’étape finale – l’équarrissage – gagne en importance.

Quelle est la différence entre l’indexation et le rendu ?

Ces deux images permettent essentiellement d’illustrer la différence entre l’indexation et le rendu :

Indexation

Rendu

Il s’agit essentiellement du même contenu, vu comme il le serait lors de l’indexation (HTML) et du rendu (Chrome).

Pourquoi est-ce important ?

Maintenant, vous vous demandez peut-être pourquoi cela est important.

Si c’est le cas, je suppose que vous n’avez pas de site JavaScript, mais même si c’est vrai, c’est plus important que vous ne le pensez. Le fait que les moteurs de recherche aient rendu des pages avant la récente poussée vers l’utilisation de JavaScript pour les sites web est une bonne confirmation.

La raison essentielle pour laquelle elle est importante est que la restitution fournit la vérité.

Grâce à ce code, un moteur de recherche peut comprendre le sujet d’une page et en gros ce qui s’y passe.

Avec le rendu, ils peuvent comprendre l’expérience de l’utilisateur et bien plus sur le contenu qui doit être prioritaire.

• Le contenu est-il caché derrière un clic ?
• Une annonce remplit-elle la page ?
• Le contenu qui apparaît vers le bas du code est-il en fait affiché vers le haut ou dans la navigation ?
• Une page est-elle lente à charger ?

Toutes ces questions, et bien d’autres encore, trouvent leur réponse lors du rendu, et sont importantes pour bien comprendre une page et la façon dont elle doit être classée.

Quand le rendu se produit-il ?

Le rendu se fait après l’indexation. Le délai n’est pas figé, mais selon Gary Illyes de Google, il peut prendre plusieurs semaines.

Google renders 98%+ of pages that they crawl. It can be slow, it can take weeks sometimes. via @methode #pubcon

— Barry Schwartz (@rustybrick) October 17, 2018

Lorsque j’ai demandé à John Mueller de Google si cette chronologie était encore exacte aujourd’hui, la réponse a été oui :

Nous travaillons à l’amélioration de la latence depuis plus d’une semaine maintenant.

– John (@JohnMu) 2 septembre 2019

C’est donc quelque chose sur lequel ils travaillent activement.

Bing fonctionne bien sûr différemment, mais d’après leur chef de projet « Web Ranking & Quality », Frédéric Dubut, le calendrier est à peu près le même.

Je dirais la même chose – parfois, c’est des jours, parfois des semaines et dans des cas extrêmes, cela peut aussi ne jamais être. En fin de compte, il s’agit d’un compromis entre le coût du rendu de la page et la valeur que nous trouvons dans le rendu.

– Frédéric Dubut (@CoperniX) 3 septembre 2019

Ainsi, la réponse courte est « après l’indexation » et le délai est variable, ce qui signifie essentiellement que les moteurs de recherche comprendront le contenu et le contexte d’une page avant de comprendre pleinement la façon dont elle doit être priorisée.

Cela ne veut pas dire qu’ils sont complètement ignorants jusqu’au rendu.

Les moteurs ont tous acquis au fil des ans des règles et des connaissances solides qui leur permettent de faire des hypothèses rapides :

• Ce que font les éléments.
• Où ils sont positionnés.
• L’importance qu’ils sont censés avoir pour l’utilisateur.

Mais ce n’est que lorsque les pages sont rendues que les moteurs sauront que leurs hypothèses sont correctes et qu’ils pourront comprendre pleinement une page et sa forme.

Le problème du rendu

L’essentiel est que les moteurs de recherche envoient un crawler au site qui rendra la page comme le ferait un navigateur.

En fonction de sa popularité, nous utiliserons ici Google comme exemple.

Googlebot dispose d’une composante de service de rendu Web (WRS). Heureusement, ce composant a été mis à jour en mai 2019.

Jusqu’alors, le service de rendu Web utilisait la version 41 de Chrome. Si cette version était excellente pour la compatibilité, elle était un cauchemar pour les sites qui s’appuyaient sur des fonctionnalités modernes comme celles du JavaScript moderne.

En mai 2019, le service de rendu Web a été mis à jour pour devenir permanent, ce qui signifie qu’il utilise la version la plus récente de Chrome pour le rendu (dans un délai de deux semaines en tout cas).

Essentiellement, maintenant que votre page est rendue par Googlebot, elle est rendue plus ou moins comme vous la verriez dans votre navigateur.

C’est bien, non ? Maintenant, le seul test que vous devez faire est d’ouvrir un navigateur et s’il fonctionne là, c’est parfait pour Google, non ? N’est-ce pas ?

Vous pouvez probablement deviner la réponse. Faux.

Et Bing n’est pas beaucoup mieux (bien qu’ils semblent être un peu meilleurs pour le rendu, ce qui est intéressant).

Si vous avez un site de base avec un HTML prévisible et peu ou pas de contenu dynamique, alors vous n’avez vraiment rien à craindre et il n’y avait probablement rien à craindre non plus avec l’ancienne configuration du Web Rendering Service.

Mais pour ceux dont le contenu dynamique est servi via JavaScript, il y a une très grande mise en garde et elle est ancrée dans cette lacune.

En d’autres termes, tant que la page n’est pas rendue, le moteur ne sait pas ce qu’elle contient. Contrairement à un site avec une simple sortie HTML où le moteur peut manquer un peu du contexte mais possède le contenu, avec un site construit sur quelque chose comme JavaScript qui repose sur le rendu, le moteur ne saura pas quel est le contenu de la page tant que le service de rendu Web n’aura pas fait son travail.

Soudain, ces « semaines » ont un impact considérable. C’est aussi pour cette raison que les moteurs travaillent à réduire la latence.

D’ici là, les développeurs JavaScript devront se fier au pré-rendu (création d’une version statique de chaque page pour les moteurs), ce qui n’est pas du tout idéal.

Que fait un service de rendu Web ?

J’ai voulu répondre rapidement à une question qui ne m’a pas vraiment traversé l’esprit jusqu’à ce que je me rende compte que j’y pensais de façon totalement erronée. Vous pouvez vous moquer de moi pour l’évidence du hoquet dans mon cerveau.

Tout d’abord, voyons où et comment un service de rendu Web reçoit ses instructions.

Voici en gros le cycle de vie du rendu :

• Une page est découverte via le plan du site, le crawler, etc.
• La page est ajoutée à la liste des pages à explorer sur un site lorsque le budget d’exploration est disponible.
• Le contenu de la page est parcouru et indexé.
• La page est ajoutée à la liste des pages à rendre sur un site lorsque le budget de rendu est disponible.
• La page en rendu.

Ainsi, un élément critique et inexprimé du processus est la file d’attente de rendu. Googlebot peut arriver à une page des semaines avant de la rendre et jusque-là, certains contenus (sites JavaScript) ou contextes (tous les sites) peuvent être manquants.

Lorsqu’une page arrive en haut de la file d’attente pour le rendu, le moteur lui envoie ce que l’on appelle un navigateur sans tête.

C’est l’étape qui m’a posé problème. Un navigateur sans tête est un navigateur sans interface utilisateur graphique.

Pour une raison quelconque, j’ai eu du mal à comprendre comment cela fonctionnait. Par exemple, comment Google peut-il savoir ce qu’il y a si ce n’est pas affiché graphiquement ?

La réponse est évidemment évidente :

« Le bot n’a pas d’yeux non plus, donc… hum… ouais. »

Après ce contretemps mental, j’ai compris qu’il s’agissait d’un « browser light » qui permet au moteur de recherche de comprendre ce qui apparaît où et comment sur une page – même s’il n’a pas d’yeux pour le voir.

Lorsque tout va bien, la version rendue apparaîtra à Googlebot de la même manière que pour les navigateurs graphiques et si ce n’est pas le cas, c’est probablement parce que la page repose sur une fonctionnalité non prise en charge, comme une demande de permission de l’utilisateur.

Au total…

Je pense que nous verrons le temps de latence entre l’indexation et le rendu se réduire considérablement, surtout sur les sites qui en dépendent.

Cela n’aura pas un impact dramatique sur la plupart des sites mais pour ceux qui doivent être rendus pour être compris … le monde peut s’ouvrir.

Bien que cela soit plus probable, une nouvelle série de problèmes et de hoquets se produira.

Car d’après mon expérience, nous pouvons compter sur les compétences d’indexation des moteurs, mais le côté rendu a encore beaucoup de chemin à faire pour combler le fossé entre ce que voient les moteurs de recherche et ce que fait le navigateur de l’utilisateur.

Crédits image

Image en vedette : Paulo Bobita
Toutes les captures d’écran prises par l’auteur
Image du cavalier : Adobe Stock, édité par l’auteur