L’analyse automatique des sentiments : un pari difficile
Comme nous le mentionnions en introduction, l’analyse automatique des sentiments n’est pas un phénomène nouveau chez les éditeurs d’outils de veille mais, pendant des années, cette fonctionnalité a traîné une mauvaise réputation en raison de la faible efficacité des résultats.
Longtemps, l’analyse automatique des sentiments a reposé sur une technique de « keyword scoring », c’est à dire par l’attribution automatique d’un score positif, négatif ou neutre associé à chaque mot-clé. Seul problème : les mots sortent ainsi de leur contexte et la tonalité détectée par l’algorithme est souvent erronée.
On notera d’ailleurs que les solutions d’analyse automatique de sentiments ont souvent été créées et testées à partir de corpus anglo-saxons. Or chaque langue dispose de ses propres particularités. D’autre part, il est extrêmement difficile pour un algorithme de prendre en compte les spécificités culturelles ainsi que l’ironie ou le sarcasme.
C’est pour cette raison que de nombreuses entreprises ont finalement choisi d’en rester à une analyse humaine ou en partie humaine, jugée beaucoup plus fiable.
On notera qu’il peut tout de même y avoir quelques différences d’un individu à l’autre sur l’évaluation de la tonalité d’un message mais la principale difficulté réside dans le fait qu’un analyste ne peut traiter en moyenne qu’une centaine de messages par heure, ce qui est finalement assez peu au regard du volume d’informations publié en continu sur les médias sociaux.
Le développement du NLP (Natural Langage Processing)
L’intelligence artificielle est un concept qui existe depuis les années 60, le machine learning depuis les années 80 et le deep learning depuis moins de 10 ans.
Mais l’intelligence artificielle appliquée à la veille, notamment sur les réseaux sociaux, est un phénomène beaucoup plus récent. On la retrouve dans l’analyse des images, l’analyse des sentiments ou encore dans la création de chatbots pour la veille.
Lors de nos recherches, nous avons pu constater que le sujet du NLP (en français traitement automatique du langage naturel) appliqué à la veille a commencé à émerger il y a trois ou quatre ans.
Le traitement du langage naturel est un composant de l’intelligence artificielle qui étudie les interactions entre les ordinateurs et les langages humains. Les algorithmes deviennent capables de comprendre des phrases plutôt que des mots-isolés, à appréhender le contexte et arrivent même à détecter certaines formes d’ironie ou de sarcasme.
Et en quelques années, cette technologie n’a cessé de s’améliorer.
Nous avons ainsi pu constater que plusieurs acteurs de la veille indiquaient recourir à cette technologie pour l’analyse de sentiment : c’est le cas de Crimson Hexagon, Netbase, Cision ou encore Synthesio.
Globalement, nous avons pu constater que la plupart des acteurs engagés dans l’analyse automatique de sentiment à base d’intelligence artificielle revendiquaient un taux de pertinence de plus ou moins 90 %.
Seule une société Sud-africaine, Newsclip, revendique 100% de pertinence grâce à l’introduction de l’intelligence artificielle dans son système d’analyse automatique de sentiment. On est plus que sceptique a priori sur le pourcentage !
De façon générale, il est impossible de vérifier si le taux de pertinence annoncé par les éditeurs n’est pas surévalué.
Nous avons également pu faire ce constat avec l’analyse de sentiment proposé par Talkwalker que nous avons eu l’occasion de tester et qui annonce également un taux de pertinence de 90%.
L’analyse de sentiment proposée par Talkwalker
La technologie développée en interne par Talkwalker permet à l’algorithme de comprendre des phrases dans leur ensemble plutôt que des termes isolés et certains degrés d’ironie et de sarcasme.
Contrairement aux solutions ne reposant pas sur l’intelligence artificielle, l’algorithme se base sur un très grand training set, c’est-à-dire un ensemble de données sur lequel il se base pour apprendre et améliorer son degré de pertinence, en l’occurrence plusieurs dizaines de millions de messages.
Nous avons ainsi pu constater de nos propres yeux que le système attribuait bien la bonne tonalité à certains messages recourant à l’ironie et au sarcasme (voir figure 1.). Cela n’aurait clairement pas été possible il y a quelques années.
Figure 1. Dans ce cas précis, Talkwalker arrive à percevoir le sarcasme dans le message Twitter et lui attribue bien une tonalité négative
D’autres messages, au contraire, n’étaient clairement pas indexés avec la bonne tonalité.
Albane Flamant, Digital Communication Officer chez Talkwalker nous indiquait d’ailleurs, qu’avec l’utilisation de cette nouvelle technologie, ils avaient pu noter une augmentation du nombre de messages jugés « neutres ». Ce qui est parfaitement logique quand on sait qu’une grande partie des messages proviennent de sources médias censés être objectifs et impartiaux.
Cette technologie n’est évidemment pas parfaite mais l’introduction de l’intelligence artificielle dans l’analyse automatique de sentiment va dans le bon sens et cela devrait continuer à s’améliorer dans les années à venir.
Pour autant, la disparition complète de l’intervention humaine pour l’analyse des sentiments n’est pas encore pour demain.
On apprenait ainsi il y a quelques jours que des chercheurs de l’université de Cornell avaient fait passer un test de QI à plusieurs intelligences artificielles dont celle de Google, d’Apple (Siri) et de Microsoft (Bing). Google serait le meilleur mais son QI ne dépasserait pas celui d’un enfant de 6 ans ! Cependant, il y a un an, un test similaire avait été mené et estimait le QI d’une intelligence artificielle à celle d’un enfant de 4 ans. On en reparlera donc dans quelques années !