La plateforme d'IA émotionnelle révèle que les sourires ont diminué de 32% grâce à COVID-19

Basée à Londres, Realeyes est une plateforme de suivi du regard et de mesure des émotions qui utilise l’IA et l’apprentissage automatique pour obtenir un aperçu du comportement et de l’expression humaine. Parmi ses clients, on compte Buzzfeed, Coca-Cola, Conde Nast, eBay, Mars et Publicis Groupe, entre autres.

Realeyes utilise des caméras frontales, la vision par ordinateur et les technologies d’apprentissage par machine pour détecter l’attention et l’émotion des spectateurs qui choisissent de regarder un contenu vidéo.

ClickZ s’est récemment entretenu avec Max Kalehoff, vice-président du marketing et de la croissance pour Realeyes, afin de discuter de la technologie innovante de la société et des capacités qu’elle apporte aux spécialistes du marketing et aux éditeurs.

Un historique de la mesure numérique

M. Kalehoff a découvert Realeyes après avoir co-dirigé une présentation avec le PDG de Realeyes lors de la Sustainable Brands Conference en 2017. Il a commencé à travailler avec l’entreprise en novembre dernier.

Kalehoff a commencé sa carrière dans des start-ups spécialisées dans l’analyse et les nouveaux renseignements dans le domaine du marketing, notamment Media Metrix qui a été rachetée par comScore au début.

Il a fait partie de l’équipe de direction fondatrice de BuzzMetrics, qui a été rachetée par Nielsen et est devenue Nielsen Digital. M. Kalehoff a également fait partie de l’équipe fondatrice de Clickable, une société de technologie de recherche.

« Je suis vraiment passionné par l’espace marketing », dit Kalehoff, « je pense que c’est intéressant, en particulier l’analyse qui est la colle qui fait que tout fonctionne ».

Kalehoff a reconnu qu’une grande partie de ce qui manquait à l’analyse était la notion de mesure de l’attention. Il a lancé un blog à ce sujet avec l’Advertising Research Foundation (ARF) en 2006, l’un des premiers blogs de marketing qui a examiné l’attention par rapport à l’engagement.

« Je pense que l’attention est une grande opportunité inexploitée », explique M. Kalehoff. « Realeyes apporte une nouvelle perspective à la mesure de l’attention en appliquant l’IA des émotions et la vision par ordinateur pour aider à comprendre l’attention, en particulier avec la vidéo et les espaces interactifs ».

La technologie de l’IA pour mesurer l’émotion

Realeyes utilise les caméras de face sur des appareils tels que les ordinateurs portables, les téléphones mobiles et les tablettes. Avec l’autorisation de l’utilisateur, Realeyes active un algorithme léger qui applique des coordonnées de base sur le visage de l’utilisateur et le système utilise ces coordonnées pour mesurer les repères faciaux.

Exemple du système de Realeyes qui a permis de cartographier le visage de Kalehoff

Le système Realeyes peut détecter des émotions majeures telles que le bonheur, la confusion, le mépris, le dégoût, l’empathie, la peur et la surprise.

Cette technologie est basée sur une branche de la psychologie dont Paul Ekman a été le pionnier dans les années 70 et 80. Ekman a créé le codage facial, une technique que les psychologues utilisent pour détecter les émotions par l’observation passive du visage d’une personne.

C’est une école de psychologie bien établie », dit Kalehoff. Nous utilisons des psychologues et des annotateurs humains formés pour examiner les médias comme les vidéos ou les mèmes et d’autres expériences qui se produisent numériquement. Nous faisons en sorte que ces utilisateurs humains marquent les émotions qui se produisent à certains moments. Avec le temps, les machines apprennent et deviennent très précises dans la compréhension de l’émotion ».

Il y a environ un an, Realeyes a été le pionnier de la surveillance de l’attention en tant que percée fondamentale de sa technologie. La surveillance de l’attention mesure l’engagement d’un utilisateur avec le contenu qu’il regarde et applique différents niveaux d’intensité en fonction de son interaction avec les stimuli qu’il reçoit.

L’attention peut être fortifiée ou dégradée en fonction du niveau de distraction des utilisateurs – regardent-ils ailleurs, boivent-ils quelque chose, mâchent-ils du chewing-gum, etc.

« Dans le marketing et la publicité, l’élément fondamental est l’attention », explique M. Kalehoff. « C’est ce que les gens achètent et vendent. Si vous êtes un éditeur, vous vendez de l’attention. Si vous êtes un spécialiste du marketing ou un acheteur de médias, vous achetez de l’attention ».

Realeyes utilise les mêmes plateformes de panel responder que celles utilisées par Nielsen, Kantar et Ipsos. Les spécialistes du marketing peuvent télécharger une vidéo sur le site web de Realeyes, qui est ensuite visionnée par les répondants du panel qui ont intégré le logiciel de Realeyes à leur appareil.

« Nous diffusons une vidéo à exposition forcée et les panélistes passent par un processus de consentement afin qu’ils comprennent que nous allons allumer leur caméra, le but de ce que nous faisons, et que nous cherchons à comprendre leur réaction aux publicités et aux autres médias ».

Appliquer l’IA émotionnelle au marketing

Aujourd’hui, Realeyes utilise sa technologie d’IA émotionnelle pour aider les spécialistes du marketing à mesurer l’attention. La compréhension de l’attention dans une création publicitaire permet aux spécialistes du marketing de prévoir quel contenu ou quelle création leur attirera le plus d’attention une fois qu’ils l’auront mis en ligne.

Les classificateurs d’émotions permettent au système de faire des prédictions sur le niveau d’attention que recevra un créatif avant qu’il n’entre sur le marché ou ne soit poussé par des médias payants.

« C’est un avantage très direct des progrès réalisés dans la précision de la détection des émotions », déclare M. Kalehoff. « Un autre avantage important est que nous avons perfectionné notre ensemble de formation en utilisant de nouveaux classificateurs pour détecter avec précision l’émotion des personnes asiatiques qui représentent une grande partie de notre monde. La capacité à être pertinent et à appliquer la technologie dans d’autres pays, y compris les pays asiatiques, est une part importante de l’avancement des classificateurs d’émotions ».

Pour l’avenir, Realeyes s’appuie sur l’intelligence artificielle pour transmettre ses émotions en direct. Ils ont des produits bêta avec diverses grandes sociétés de plateformes vidéo et de jeux où nous sommes ; ils utilisent la détection d’attention sur les expériences de streaming in-app, de jeux et de mobile en direct.

Selon Kalehoff, « Pensez à votre plateforme vidéo préférée capable de comprendre l’attention des utilisateurs grâce à un codage facial réel ou imaginez que vous êtes une société de streaming de jeux vidéo capable de comprendre si les utilisateurs sont attentifs au streaming de Ninja, la célébrité des jeux vidéo, ou s’ils sont concentrés sur le jeu qu’ils ont dans une autre fenêtre ».

Les classificateurs de Realeyes leur permettent d’utiliser l’attention pour prédire les résultats de la création publicitaire. Les classificateurs d’émotions permettent aux utilisateurs de se lancer sur de nouveaux marchés et dans de nouvelles cultures. L’avenir de cette technologie réside dans la mesure de l’expérience en direct.

Mesurer le succès par le sourire

Realeyes a récemment publié une étude de cas portant sur le contrôle des normes. Kalehoff explique.

Lorsque COVID-19 s’est imposé, nous avons analysé la « part de sourires » ou de bonheur que les consommateurs éprouvent en regardant la vidéo », explique M. Kalehoff. « Nous avons constaté une diminution de 32 % des sourires à la suite de l’expérience COVID-19. La diminution du nombre de sourires est due à certains secteurs, comme le voyage, l’hôtellerie, l’électronique grand public et les produits de luxe. C’est significatif car cela donne un contexte au fait que le sentiment des consommateurs est en train de changer et peut-être à grande échelle ».

Realeyes a également réalisé une étude de cas avec la société de publicité numérique mobile Teads, qui propose des expériences de publicité mobile interactive à travers des éditeurs premium à l’échelle mondiale.

Teads a travaillé avec Realeyes pour utiliser la classification des émotions et la mesure de l’attention afin de construire son modèle de prédiction de l’attention. Ce modèle permet au système d’examiner les créations ou le contenu existants, de tester ces créations sur un test d’exposition forcée et de prédire l’attention que ces publicités susciteront à l’avenir.

« C’est un renseignement très puissant pour le commercialisateur et l’éditeur », dit Kalehoff. « Teads est un éditeur de technologie et utilise directement ces informations pour améliorer les performances et les résultats de ses annonceurs ».