Intelligence artificielle : la veille dans un monde sans sources

Figure 1. Une réponse de ChatGPT

Reste la possibilité de demander à ChatGPT ou à Bard de citer leurs sources. Mais même quand une source est donnée (sur demande !), il faut la vérifier :

• Soit car elle a été inventée, car là encore il arrive souvent que l’IA « hallucine » (voir notre article, « Revue des moteurs de recherche à l’heure de ChatGPT », Bases N° 413 - avril 2023).
• Soit car elle a été mal interprétée. À titre d’exemple, en demandant à GPT-4 de citer la source et le lien sur le chiffre qu’il nous donnait en réponse à une question sur le montant de l’investissement d’une startup (120 millions d’euros), non seulement le lien fourni ne dirigeait pas vers la source de la réponse qu’il nous donnait, mais en fouillant dans le site, nous en avons conclu que l’information qu’il nous avait donnée, introuvable dans tout le site ou même sur le web, était fausse. Il avait pris très certainement pris le chiffre de 120 dans le label French Tech120 auquel appartient la startup…

Les moteurs de recherche dopés à l’IA comme Perplexity (Perplexity AI), Bing Chat (Microsoft) ou FastGPT (Kagi Search, citent quant à eux quelques sources. Mais elles ne sont pas au centre de la « conversation » (puisque ces moteurs sont interrogés sous forme conversationnelle). Elles sont minimisées, peu visibles car référencées en exergue et éditées en bas de page sous forme de référence. Elles sont aussi peu nombreuses (souvent quatre maximum) et peu fiables.

Seule exception : FastGPT qui fait l’effort de mettre une dizaine de liens récents et pertinents.

Le veilleur doit-il dans ce cas rester sur les moteurs de recherche classiques et les médias pour effectuer ses recherches ? Pas sûr, car ce paysage est aussi en train de changer.

Les moteurs classiques dopés à l’IA vont aussi brouiller la visibilité des sources

Figure 2. Résultats de recherche avec Google SGE, qui devrait profondément modifier les habitudes de recherche.

Dans sa dernière version, Google adopte ainsi le mode conversationnel des IA, tout en remettant l’humain en avant. Premièrement, Google a adopté le mode conversationnel dans sa nouvelle version de recherche (accessible uniquement aux États-Unis pour l’instant - Cf. figure 2.) : la SGE (Search Generative Experience). Les résultats fournis par l’IA apparaissent en haut de page.

Des liens vers trois sources principales apparaîtront à gauche. Ce qui confirme une tendance à délivrer de moins en moins de liens, et donc de sources à consulter, demandant toujours davantage d’efforts pour obtenir un maximum d’informations.

À noter, toutes les recherches ne déclencheront pas une réponse de l’IA, notamment sur des sujets sensibles comme la santé et les finances. De plus, un nouveau filtre de recherche, appelé « Perspectives » met en évidence le contenu produit par des individus, producteurs de contenu et utilisateurs de plateformes et de forums (les Américains recherchent de plus en plus d’informations auprès des influenceurs sur les réseaux sociaux, et non d’institutions).

Les sources vont aussi être profondément transformées par l’IA

Que peut-on attendre des éditeurs, dont le contenu est utilisé de façon opaque par les IA génératives et de moins en moins visible par les nouveaux intermédiaires ? Pour l’heure, les médias tentent de tirer leur épingle du jeu en testant eux-mêmes des algorithmes de recommandation pour personnaliser des contenus, mais aussi des formats et des interactions. Il est trop tôt pour identifier l’impact à la fois sur la recherche et sur la veille, mais entendre parler de « personnalisation » n’est pas vraiment de bon augure pour le veilleur qui aime sélectionner lui-même l’information. De plus, que deviendraient les flux RSS dans cette configuration ?  

Et face à ces médias, on note l’arrivée massive de nouveaux arrivants peu scrupuleux qui se présentent comme des « médias ». À titre d’exemple, l’ONG de lutte contre la mésinformation NewsGuard a ainsi identifié plus de 350 sites - générés en quelques minutes par IA - qui diffusent des fausses infos. Parmi ces sites, 49 dits d’actualités, dont certains publiant plus de 1200 articles par jour, signés par des personnes qui n’existent pas.

Avec l’algorithmie de l’information et l’automatisation de la mésinformation, le veilleur est donc non seulement exposé à davantage d’erreurs, mais il ne peut plus se fier à son analyse de la source, qui tend à disparaître des outils de recherche.

Peut-il s’aider des outils de fact-checking pour vérifier la véracité des faits (et de leur interprétation) ?

Peut-on «fact-checker» une IA ?

Aujourd’hui, le nombre d’outils de fact-checking stagne autour de 400 dans le monde, dans environ 70 langues. De nouveaux venus profitent de l’IA pour pousser l’automatisation des procédures. Le veilleur peut-il tirer son épingle du jeu avec ces nouveaux outils ?

Traditionnellement, les outils de vérification identifient eux-mêmes les sujets à vérifier, puis utilisent une base de données riche de dizaines de milliers de discours qu’ils comparent à l’affirmation à vérifier, alimentant une autre base de données d’informations vérifiées.

Voici l’ensemble du processus :

1. 1. Identifier les affirmations à vérifier (Il existe de nombreux types d’affirmations différentes : sur les quantités («le PIB a augmenté de x %»), sur la cause et l’effet («cette politique mène à y»), prédictives sur l’avenir (« l’économie va croître par z »), etc.). L’étiquetage des allégations permet de réduire le volume de données à traiter de centaines à des dizaines… de milliers ;
   2. Filtrer ces affirmations par sujet (comme la santé et l’économie) ;
   3. Trouver des preuves ;
   4. Produire - prédire ? - des verdicts ;
   5. Et les justifier. 

Mais si nous interrogeons par exemple ChatGPT sur un sujet comme « qu’est-ce que la « destruction créatrice », formulée par Joseph Schumpeter ? » et que nous voulons vérifier sa réponse dans Politifact, Full Fact, ou même le moteur Fact-Check Explorer de Google, ces derniers ne connaissent même pas Joseph Schumpeter. Leur mode de fonctionnement initial est inopérant face aux inventions aléatoires d’une IA. 

Pour profiter de la vérification de ces outils, le mieux est de les passer sous surveillance en fonction de son ou ses thèmes de prédilection.

Toutefois, une nouvelle génération d’outil de fact-checking apparaît. Leur base de données n’est plus constituée de discours écrits ou audiovisuels, mais de sources fiables. Et leur IA va chercher l’information dans ce corpus.

En France, Buster.Ai et Newsback s’appuient sur un ensemble de sources fiables et référencées pour vérifier une infor­mation. Le système, en quasi-temps réel, pioche dans les bases de données (Aday pour Newsback, et agences de presse, médias, ressources scientifiques, données statistiques pour Buster.ai).

Chez Buster.ai, l’IA est entraînée pour comprendre le sens de ce qu’elle lit, selon l’un des co-fondateurs.

D’un côté, Buster.ai compare le passage d’un article à sa base de données pour présenter les sources qui soutiennent et celles qui réfutent le passage marqué par un code couleur (le lecteur est seul juge même si l’outil génère un indice de fiabilité), alors que Newsback permet de retracer la source d’origine d’une affirmation grâce au taggage des articles du corpus, à l’instar de Wiztrust qui certifie les articles, elle, sur la blockchain.

En revanche, signe des temps, ces logiciels, qui sont destinées aux médias et aux grandes entreprises, sont payants et sur devis. Pour avoir une idée, l’abonnement de Newsback est à environ 200 EUR/mois minimum.  

Un autre outil (autrichien), gratuit cette fois-ci, FactInsect utilise également l’AI pour comparer les informations à vérifier au contenu de sites fiables. C’est prometteur mais pas sans faille. Nous lui avons demandé de confirmer une information fausse fournie par ChatGPT à la question du New York Times « Quand le New York a-t-il cité le terme « intelligence artificielle » pour la première fois ? ». ChatGPT cite alors un article de 1956 qui n’existe pas, qui aurait été rédigé dans le cadre d’une conférence qui, elle, a existé. FactInsect nous a confirmé l’information fausse de ChatGPT, mais a eu le mérite de nous donner accès à l’article du New York Times qui dément l’information. Et surtout, l’outil dispose derrière d’une équipe chargée de vérifier manuellement cette information… mais pas en temps réel.

La dernière solution qui reste au veilleur est alors de vérifier les résultats de ChatGPT, par exemple, avec ceux de Google. Dans ce cas, il est possible d’installer une extension Chrome qui affiche la réponse de ChatGPT en même temps que les liens de Google, comme les extensions ChatGPT Assistant ou Rio.

Figure 3. Les résultats de Google face à la réponse de ChatGPT (à droite), avec l’extension RIO.

À contrario, aussi surprenant cela soit-il, peut-on utiliser ChatGPT pour vérifier des informations ?  Des tests ont été effectués avec le modèle de langage de ChatGPT, notamment par Politifact. Le résultat a été plutôt positif, avec une précision à hauteur de 80 % pour repérer les vraies déclarations (et de façon instantanée !), mais seulement 72% pour repérer les fausses informations. Verdict : seul, ChatGPT ne peut pas servir à vérifier des informations pour un fact-checker, tout au plus il est utilisé pour des transcriptions, quoiqu’imparfaites, avant vérification par les humains (comme chez Fullfact). Car dans la mesure où ChatGPT sait quelque chose, c’est parce que quelqu’un l’a trouvé et l’a signalé. 

Notre avis

L’irruption fulgurante de l’IA dans le quotidien du professionnel de l’information vient indéniablement modifier notre rapport à la fiabilité de l’information et aux sources.

On pourrait choisir d’occulter l’IA et s’en tenir à ses sources et outils traditionnels mais ce n’est sans doute pas la bonne solution, car l’IA est aujourd’hui partout. Il faut plutôt embrasser le changement et adapter ses pratiques.

Les sources que nous utilisons d’une part (presse, blog, sites institutionnels) peuvent avoir recours à l’IA pour les aider à rédiger leurs contenus. Et vouloir distinguer les contenus produits par des humains de ceux des IA pour ensuite exclure ces derniers est une entreprise vaine. Plusieurs études récentes montrent que les multiples outils de détection de contenus produits par l’IA qui ont émergé ces derniers mois fonctionnent mal. Ils passent à côté de nombreux contenus générés par des IA et à l’inverse sont capables d’indiquer faussement qu’un contenu généré par un humain est généré par une IA. Même OpenAI vient récemment de retirer son détecteur du marché pour manque de fiabilité.

D’ailleurs, un article qui a été en partie rédigé grâce à l’IA n’est pas forcément à exclure tant qu’il y a eu un humain qui a vérifié les informations, retravaillé le contenu pour lui donner plus de perspectives et intégré ses propres réflexions. L’usage de l’IA pour la création de contenus que ce soit dans les médias ou les entreprises va progressivement se réguler et les organisations consciencieuses ne laisseront pas n’importe quoi être publié via leurs différents médias. Notre rapport aux sources classiques ne devrait finalement pas tant changer.

Par contre, là où notre vigilance doit s’accroître, c’est au niveau des outils qui ont recours à l’IA et qui invisibilisent la source d’origine comme c’est le cas avec ChatGPT, Bard, Bing Chat ou les outils classiques qui intègrent des briques d’IA générative. Sur ces outils, la recherche et la réponse sont obtenus rapidement mais il faut passer un temps conséquent pour vérifier toutes les informations fournies et identifier les sources de chaque information. Il ne faut pas les exclure pour autant de son processus de veille ou de recherche mais ne surtout pas les considérer comme des sources comme les autres.