Méthode
Nous avons réalisé un panorama des nouveaux outils aussi exhaustif que possible. Nous avons repéré nombre d’outils via notre veille sur la veille et nous avons complété avec quelques recherches sur le Web et la consultation de plusieurs annuaires spécialisés sur les outils à base d’IA.
Nous avons testé ces outils sur des pages Web essentiellement, des articles de presse plutôt longs (cinq articles en français et anglais) mais aussi avec des PDFs, deux en français (un numéro de BASES et un guide réalisé par Business France sur les aides publiques en France à destination des investisseurs) et deux en anglais (un article académique sur ChatGPT et un guide d’utilisation de Factiva).
Les différents types d’outils
Les outils IA permettant de faire du résumé automatique se décomposent en plusieurs catégories.
- On pourra tout d’abord citer ChatGPT surtout dans sa version payante. Nous n’avons pas jugé que les concurrents directs de ChatGPT comme Claude, Perplexity, etc. étaient adaptés pour les tâches liées aux résumés et à l’interrogation de documents, soit en raison de leurs limitations de taille et nombre de questions, soit en raison de la qualité des résumés fournis.
- On a ensuite des outils généraux qui se présentent comme des assistants IA permettant d’écrire des contenus, de créer des images, corriger la grammaire et l’orthographe, faire de la traduction et qui incluent une fonctionnalité de résumé automatique. Le résumé n’est ici qu’une fonctionnalité parmi d’autres.
- On citera ensuite des outils qui existent depuis des années et qui sont spécialisés dans la gestion et la création de contenus textuels comme les éditeurs de PDF comme PDF Gear ou WonderShare. Avec le développement de l’IA, ces outils commencent à intégrer de nouvelles fonctionnalités.
Enfin, c’est là le gros des acteurs, il y a une multitude de petits outils spécialisés sur le résumé automatique et/ou l’interrogation de documents.
À noter que les outils d’interrogation de document permettent tous de faire du résumé automatique alors que l’inverse n’est pas vrai. Certains de ces outils vont se présenter sous la forme d’extensions, certains prennent en charge tout type de document et texte, qu’ils soient disponibles en ligne ou sur son ordinateur, d’autres se focalisent uniquement sur les pages Web ou les PDFs par exemple. Certains permettent d’interroger plusieurs documents en même temps. Enfin certains sont gratuits, d’autres freemiums ou payants.
Que valent tous ces outils ? Nos constats
Si ces outils sont très alléchants sur le papier, beaucoup s’avèrent en réalité très décevants soit parce que la qualité n’est clairement pas au rendez-vous, soit parce que l’outil a été créé à la va-vite et ne fonctionne pas voire pas du tout. Mais heureusement, quelques très rares outils sortent vraiment du lot.
Premier constat : sur ces 40 outils, avec les mêmes documents à résumer et les mêmes questions à poser, nous n’avons jamais eu deux fois de résumés ou réponses identiques. Même si la grande majorité de ces outils indiquent utiliser ChatGPT ou les algorithmes GPT3.5 ou 4, ils intègrent tous leur propre touche personnelle avec plus ou moins de succès.
La question de la fiabilité
Un des questionnements majeurs pour les veilleurs est la question de la fiabilité des résumés et des réponses fournis par ces outils car on sait que les outils à base d’IA générative ont un problème non négligeable d’« hallucinations ». Les outils de résumés hallucinent finalement assez peu mais ne sont pas pour autant complètement fiables.
Voir notre article, Revue des moteurs de recherche à l'heure de ChatGPT, Bases N°413 - avril 2023
On ne peut donc pas avoir 100 % confiance dans les résumés et réponses fournis par ces outils et il y a nécessairement une phase de vérification à réaliser. On pourra ainsi effectuer un « Ctrl F » pour aller trouver l’endroit où il est question de ce dont l’IA nous parle, demander aux outils de nous indiquer à quel endroit du document se trouve l’information (mais parfois ces outils se trompent de page), et encore mieux, certains outils agrémentent leurs résumés et réponses de références menant directement à la bonne page, voir le bon paragraphe dans le document initial (mais aussi peuvent se tromper parfois…).
La question de la pérennité
Ces outils sont très instables et il ne va pas y avoir d’autre choix que de rester en veille constante pour en détecter de nouveaux dès que celui qu’on utilise arrêtera de fonctionner ou sera devenu beaucoup trop cher.
On constate ainsi que de nombreux plugins Chrome n’ont pas eu de mise à jour depuis mars/avril, ce qui n’est pas de très bon augure pour le futur. Et d’autres outils qui ont pourtant fonctionné il y a quelques mois sont aujourd’hui inutilisables et s’avèrent incapables d’analyser le moindre document (c’est le cas de ChaturGPT ou de Humata par exemple).
La question des prompts
Comme sur ChatGPT, un bon prompt peut améliorer la qualité du résumé ou des réponses (Cf. notre article dans ce même numéro sur l'art du prompt). Les outils qui permettent d’écrire ou optimiser les prompts (mais ils sont rares) étaient souvent meilleurs que les autres lors de nos tests.
La question de la langue
Si la plupart sont capables de prendre en compte plusieurs langues dont le français, l’anglais reste quand même la langue dans laquelle cela fonctionne le mieux. Il n’est d’ailleurs pas rare que les outils répondent à nos questions en français puis se mettent soudainement à parler anglais quand elles ne savent pas ou ne trouvent pas la réponse. Quand les réponses ne sont pas satisfaisantes, on peut avoir intérêt à basculer en anglais pour mieux se faire comprendre.
La question du format de réponse/résumé
La majorité des outils testés avaient des restrictions importantes quant au format du résumé et surtout la longueur. En général, les outils proposaient un résumé textuel classique ou un résumé sous la forme d’une liste à puces avec les points-clés. Et ce dernier format était souvent meilleur que le résumé classique. Les outils permettant d’obtenir des résumés avec une taille plus longue et la possibilité de personnaliser les prompts s’avéraient souvent meilleurs.
Les meilleurs outils de résumé et d’interrogation de contenus
Notre top 3
Commençons par les trois outils que nous avons trouvé les plus performants à l’issue de nos tests. Aucun n’est parfait (ils font tous des erreurs en ne trouvant pas des informations pourtant présentes par exemple ou citent parfois les mauvaises pages quand ils incluent des références) mais ils ont tous trois des avantages qu’ils ne partagent pas avec la concurrence.
Très clairement, les outils les plus intéressants sont ceux qui ont la capacité de faire des résumés automatiques de qualité mais aussi de pouvoir interroger un ou plusieurs documents pour pouvoir obtenir des réponses à ses questions.
1 - ChatGPT
ChatGPT a l’avantage d’être le plus visible et celui qui a le moins de risque de disparaître rapidement. Dans la version gratuite, on peut copier-coller des contenus textuels et lui demander dans un prompt de résumer le contenu (sous forme de liste avec les points-clés par exemple) ou poser des questions sur le contenu. C’est chronophage mais le résultat est très correct et avec les prompts, on a la possibilité de vraiment personnaliser les résumés et conduire ChatGPT dans la direction qui nous intéresse.
Dans la version payante, on pourra utiliser l’intégration Bing pour demander des résumés sur des contenus Web. On pourra même lui demander de travailler sur plusieurs contenus en même temps en lui donnant les différentes URLs. On évitera en revanche de le faire travailler sur un site entier car il a alors tendance à inventer. Bref, cela confirme que les IA génératives ont aujourd’hui surtout vocation à travailler sur des corpus et des tâches très restreintes et bien délimitées.
Pour les documents PDFs notamment ceux qu’on peut avoir sur son PC, on pourra utiliser le plugin ChatPDF disponible sur ChatGPT en version payante. Les autres plugins disponibles sur ce thème ne fonctionnaient pas correctement (ChatwithWebsite, ChatwithPDF). L’outil va charger le document en ligne sur ses serveurs puis l’analyser, fournir un résumé ou répondre à nos questions. On évitera tout de même les documents confidentiels ou internes aux entreprises car on ne sait pas vraiment ce qui est fait des données ! Les résumés et informations fournis sont corrects mais il est impossible d’interroger plusieurs documents en même temps.
2 - PDF AI
En termes de qualité de résumé et capacité à trouver les réponses dans les documents, PDF AI a été très bon lors de nos tests. Et quand on lui pose des questions sur un document, il indique automatiquement à quel endroit il a trouvé l’information, ce qui est très précieux. C’est d’ailleurs le seul outil que nous ayons testé à le faire automatiquement mais il lui arrive tout de même de se tromper de page.
Son principal défaut, c’est sa pérennité. Rien ne garantit qu’il sera encore là dans quelques mois. Il fonctionne sur un modèle freemium et pour pouvoir entrer des documents très longs ou plus volumineux et ne pas avoir de limite dans le nombre de documents, il faut payer 10 euros par mois. On ne peut pas non plus faire des résumés ou interroger plusieurs documents en même temps. Et il se limite aux documents PDF (on peut toujours convertir des documents Word ou des contenus html en PDF et ça fonctionne).
Figure 1. Interrogation de document PDF avec PDF.ai
3 - Kagi Summarizer
On citera enfin Kagi, qui est connu surtout pour son moteur de recherche freemium mais qui a une approche intéressante vis-à-vis de l’IA et développe régulièrement des fonctionnalités bien ciblées et efficaces. Celles qui nous intéressent ici s’appelle Kagi Summarizer et Kagi Discuss Further. Les deux fonctionnalités sont liées et peuvent être utilisées ensemble même dans la version gratuite du moteur. Et contrairement à la très grande majorité des outils, Kagi n’utilise pas ChatGPT ou les modèles GPT3.5 ou 4 mais GPT-J, un modèle développé par EleutherAI.
On commence par entrer l’URL du contenu que l’on souhaite résumer, on choisit ensuite si l’on souhaite un résumé ou une liste avec les moments-clés puis la langue de sortie. On clique sur « Discuss further » pour poser des questions sur le document ou le contenu.
Cela fonctionne sur une grande diversité de documents : page Web, PDF, document, contenu audio, vidéo à condition que tout cela soit hébergé en ligne. La qualité est correcte mais la longueur du résumé est un peu courte et l’outil est parfois un peu lent avec quelques bugs.
On notera que Kagi propose un outil de résumé appelé Muriel destiné aux entreprises, censé être plus performant mais payant. Il faut les contacter pour en savoir plus.
Figure 2. Résumé des moments-clés avec Kagi
Trois autres outils de résumés automatiques à garder sous le coude
● ReaderGPT - offre de très bons résumés et permet de personnaliser ses prompts. En revanche, il faut se connecter avec son compte ChatGPT ;
● Summarize - produit de très bons résumés mais sans possibilité de personnalisation. La langue est un peu instable et l’outil peut facilement basculer du français à l’anglais ;
● Résumez tout - propose des résumés corrects bien qu’un peu courts mais il permet de personnaliser les prompts. Il permet également de poser des questions sur le document mais cela ne fonctionnait pas lors de nos tests.
Trois autres outils d’interrogation de documents à garder sous le coude
● Dante - permet d’interroger plusieurs documents de différents formats en même temps. Il fonctionne bien mais ne trouve pas toujours les réponses aux questions ;
● Chatbase - permet d’interroger plusieurs documents de différents formats en même temps. Il fonctionne bien mais est meilleur en anglais qu’en français et fait parfois des erreurs en mélangeant des données ;
● ChatPDF - permet d’interroger des PDFs uniquement et un à la fois. Les réponses restent un peu superficielles et l’outil n’arrive pas toujours à répondre aux questions.