Ceci est un billet sponsorisé écrit par OnCrawl. Les opinions exprimées dans cet article sont celles du sponsor.
Qu’est-ce que la R&D et pourquoi est-elle importante ?
La recherche et le développement (R&D) utilisent des ressources – temps, énergie, créativité – pour trouver des solutions nouvelles à des problèmes difficiles. Elle est essentielle à l’étude scientifique, à l’innovation et au développement de nouvelles technologies.
Dans le domaine de l’optimisation pour les moteurs de recherche (SEO), un secteur du marketing où la popularité de la programmation et de l’apprentissage machine est croissante, il s’agit là de changements clés nécessaires pour uniformiser les règles du jeu.
Du BERT à l’analyse AI des pages SERP, en passant par la mise à jour des algorithmes de base sans instructions concrètes aux webmasters, la technologie des moteurs de recherche devient de plus en plus complexe.
Aujourd’hui, pour suivre les changements d’algorithme et le traitement des requêtes de recherche dans le domaine du référencement, il faut le type d’innovation offert par la R&D.
Qui effectue les recherches en matière de référencement ?
Une grande partie de la R&D en matière d’OSE technique est effectuée par des individus sur leur propre temps. Il est facile de citer des pionniers du référencement comme Hamlet Batista, dont les articles ont été publiés dans le Search Engine Journal, ou JR Oakes, dont les expériences d’analyse des moteurs de recherche ont retenu l’attention de TechSEO Boost l’année dernière.
Quelques entreprises de référencement effectuent également des travaux de R&D. La R&D peut être difficile à mettre en œuvre car elle n’apporte pas de revenus directs.
Ce qu’il apporte est souvent lié à la croissance à long terme par l’innovation :
- Exploration d’un sujet sans la contrainte de devoir livrer un élément commercialisable dans un délai donné.
- Tester de nouvelles façons de faire les choses, qui peuvent contourner ce que nous pensions être des limites strictes.
- Expérimentation créative et test de solutions multiples à un problème général.
OnCrawl, une plateforme technique de référencement primée, est un exemple de l’un des rares crawlers et plateformes de données de référencement sur le marché actuel qui investit fortement dans la R&D.
En partie grâce à la présence de grands innovateurs, tels que le directeur de produit, Vincent Terrassi, qui a remporté la deuxième place au TechSEO Boost cette année, OnCrawl a pu présenter les résultats de l’innovation et de la recherche, depuis l’exemple précoce de sa détection de quasi-doublons jusqu’à l’incorporation de la technologie des grandes données.
Mais que se passe-t-il en coulisses ?
Ce que OnCrawl Labs révèle sur la R&D pour l’optimisation des moteurs de recherche
En prenant comme exemple les nouveaux laboratoires OnCrawl, voici un aperçu sous le capot d’un laboratoire de recherche en R&D.
OnCrawl Labs est une plateforme qui met à disposition les travaux de R&D en matière d’OMR technique sous la forme de Jupyter Notebooks, un format texte et code utilisé pour présenter les algorithmes basés sur Python et leurs explications.
La plateforme fournit un portefeuille de solutions basées sur des travaux de R&D, ainsi que l’explication de chaque étape pour prédire les performances en ligne.
Alimenter une feuille de route de produits par une diversité de sujets
Les différentes solutions disponibles sur OnCrawl Labs montrent l’ampleur et la richesse de la recherche dans tout département de R&D.
Un département de R&D a généralement de nombreux sujets en cours en même temps : des structures de liens internes à la prédiction, et de l’indexation à la génération de textes de haute qualité, le laboratoire d’OnCrawl couvre un large éventail de sujets et de techniques techniques de référencement.
Cela alimente les feuilles de route des produits OnCrawl et utilise l’innovation pour améliorer la qualité des produits.
Développer le savoir-faire technique par la recherche de fond
Presque toutes les solutions disponibles proposent des lectures de fond approfondies, y compris des ressources GitHub, des articles scientifiques et des documents universitaires, ainsi que des cours – payants ou gratuits – sur les sujets ou les techniques traités par la solution.
En fait, une part importante de la R&D est consacrée à la documentation de l’état actuel de la technique. Sans une compréhension approfondie de sujets tels que les techniques d’apprentissage automatique, la génération de textes en langage naturel ou le calcul de valeurs normales dans un système, il est impossible d’adapter ces techniques au référencement.
Adaptation aux besoins en matière de référencement par la preuve de concept, les tests et les exemples
Les solutions commencent toutes par un exemple, ou vous proposent de faire un test (sur un volume limité de données, ou en utilisant un temps de calcul plus court). Cela permet non seulement d’illustrer le fonctionnement de la solution, mais aussi de prouver qu’elle est viable avec des données de référencement.
La R&D implique une quantité importante d’essais ; ce qui semble bon sur le papier peut ne pas fonctionner comme prévu une fois mis en œuvre. Même les études scientifiques ne visent souvent qu’à prouver que leur solution peut théoriquement fonctionner, mais il se peut qu’elles n’aient pas été testées sur le type de données que l’OMR peut offrir.
Comment la R&D fait progresser l’OSE technique
En examinant deux des solutions actuellement disponibles dans OnCrawl Labs, « Détection d’anomalies » et « Indexation en temps réel », nous pouvons voir différentes stratégies de R&D à l’œuvre.
Détection des anomalies : Ce qui est anormal, c’est la performance d’un site web ?
Certaines solutions sont le résultat de l’expérimentation d’un algorithme intéressant que les ingénieurs de la R&D ont voulu utiliser à des fins d’optimisation pour les moteurs de recherche. Comprendre le fonctionnement d’un algorithme peut donner des idées quant au type d’entrée qu’il est capable de traiter, ce qui peut à son tour inspirer une façon de produire cette information à partir des travaux de référencement.
C’est le cas de la solution de « détection des anomalies » dans OnCrawl Labs.
En partant d’un algorithme d’apprentissage machine utilisé pour détecter des anomalies dans un ensemble de données complexe, OnCrawl l’a appliqué au référencement. La solution « apprend » à quoi ressemble la performance normale d’un site web à partir d’une série de données. La base de référence des fluctuations qu’il a apprise au cours de cette formation lui permet de décider si certaines données sont inhabituelles.
En utilisant les résultats de l’audit technique d’OnCrawl sur plusieurs crawls en entrée, l’algorithme peut indiquer les crawls dans lesquels le site web est sur- ou sous-performant. Cette entrée peut être trop compliquée pour être analysée facilement à la main.
Le classement, tel que rapporté par la console de recherche Google, est un bon exemple de mesure utile pour ce genre d’analyse.
Lorsque nous demandons « comment le classement d’un site varie-t-il dans le temps », la plupart des professionnels du référencement sont conscients que certaines pages perdent des positions dans les pages de résultats des moteurs de recherche, tandis que d’autres en gagnent. Cette fluctuation est normale.
- Quel est le degré de fluctuation anormal ?
- Quand devons-nous nous inquiéter ?
Le résultat est une solution proposée par OnCrawl Labs qui peut identifier les audits qui révèlent quand la performance de classement d’un site web a chuté en dessous de ce qui devrait être considéré comme des variations normales de classement.
Indexation en temps réel : Prévenir les retards d’indexation des nouvelles pages
Une autre stratégie de R&D commence par un problème stratégique de référencement, comme l’indexation rapide de nouvelles URL, et tente de trouver une ou plusieurs solutions.
L’indexation de nouvelles URL peut être essentielle pour les sites web dont les pages sont très fluctuantes : éditeurs en ligne avec de nouveaux articles par jour, sites de commerce électronique avec des variations de stock, etc.
- Que se passe-t-il si vous ne pouvez pas obtenir une liste des nouvelles pages ?
- Que faire si cette liste est trop longue pour demander manuellement un crawl pour chaque nouvelle page ?
- Que faire si vous pensez que les moteurs de recherche mettent trop de temps à découvrir vos nouvelles pages ?
Dans ce cas, l’indexation des pages pose un problème technique : l’identification et la soumission de nouvelles pages sont trop complexes pour être effectuées par les méthodes habituelles.
Un ingénieur en R&D va décomposer ce problème en petits morceaux :
- Tout d’abord, comment puis-je créer automatiquement une liste de nouvelles pages ?
- Alors, comment puis-je les soumettre à un moteur de recherche ? Tous les moteurs de recherche fonctionnent-ils de la même manière ?
Une réponse de la R&D tentera de couvrir le plus grand nombre possible de pièces individuelles de ce puzzle, comme dans l' »Indexation en temps réel » d’OnCrawl Lab.
Grâce à la fonction de comparaison des crawl d’OnCrawl, la solution est capable de construire une liste de nouvelles URL dès que le site web est analysé.
Il utilise ensuite différentes méthodes de soumission d’URL pour chaque moteur de recherche : la nouvelle API de soumission d’URL de Bing, et une combinaison de l’API d’indexation et des mises à jour de sitemap pour Google.
En programmant les analyses de sites web et ce script pour qu’ils s’exécutent régulièrement, il est possible d’automatiser les demandes d’exploration de nouvelles URL, même si vous ne savez pas quelles sont les nouvelles URL.
OnCrawl Labs : La R&D ouverte pour les fonctionnalités de référencement n’est pas encore accessible au public
Toutes les solutions de R&D ne peuvent pas être intégrées dans des outils ou des fonctionnalités à part entière, mais cela ne signifie pas qu’elles n’ont aucune valeur pour les professionnels de l’optimisation des moteurs de recherche.
Cependant, les travaux de R&D ne sont généralement pas rendus publics pour de multiples raisons.
Premièrement, il est souvent « inachevé » : il peut ne fonctionner que dans certaines circonstances, ou se casser facilement, ou encore ne pas être entièrement documenté. Les utilisateurs publics peuvent avoir besoin de fournir des finitions afin de pouvoir appliquer la R&D à leur propre situation.
En outre, les travaux de R&D exigent souvent des utilisateurs une connaissance avancée des éléments techniques, des algorithmes et des techniques, que le grand public ne possède peut-être pas.
Enfin, les travaux de R&D ont une valeur immense sur le plan de l’innovation, mais peuvent être très difficiles et coûteux à commercialiser pour les utilisateurs habitués aux solutions « plug-and-play ».
C’est pourquoi la R&D est rarement visible pour le public avant d’être devenue un produit ou une caractéristique commercialisable.
C’est ce qui est si inhabituel dans les laboratoires OnCrawl : OnCrawl a choisi de mettre ses travaux de R&D à la disposition des utilisateurs de sa plateforme qui ont déjà accès à l’API OnCrawl.
Il donne accès à des solutions d’optimisation des moteurs de recherche qui ne sont pas encore disponibles sur le marché – y compris certaines qui pourraient ne jamais être disponibles, commercialement parlant.
Crédits image
Image en vedette : Image par OnCrawl. Utilisée avec permission.
Photos en poste : Images par OnCrawl. Utilisées avec permission.
Auteur/autrice
