Il faut donc lui poser des questions en langage naturel en anglais principalement. Le moteur semble comprendre les questions en français (mais moins bien qu’en anglais) et surtout cela ramène peu de résultats, car la grande majorité de la littérature scientifique est en anglais.
On pourra par exemple l’interroger de la manière suivante : What are the latest innovations in information retrieval ?
Le moteur va ensuite rechercher dans son corpus de plus de 175 millions d’articles académiques et scientifiques pour identifier des articles qui répondent à la question. Quand c’est possible, il analyse les articles en texte intégral (environ 30 à 40 % des articles de son corpus sont en open access et donc accessibles et analysables en texte intégral) sinon, il se fonde sur le titre et l’abstract.
Les résultats se présentent ensuite sous la forme d’un tableau (ce qui n’est pas sans rappeler le moteur sémantique Wolfram Alpha lancé il y a une dizaine d’années et qui existe toujours ) avec :
- le titre des articles pertinents ;
- un extrait de l’abstract ou du texte intégral répondant à la question posée ;
- l’année de publication ;
- le nombre de citations ;
- la présence ou non d’un PDF en libre accès sur le Web.
On peut également demander à ajouter d’autres éléments à ce tableau qu’il va aller extraire automatiquement dans l’abstract ou le texte intégral des articles.
Il peut s’agir de :
- Métadonnées complémentaires (auteur, revue, DOI) ;
- Données sur la population étudiée (nombre de participants, nombre d’études, caractéristiques de la population étudiée, âge des participants, organisme, région) ;
- Données sur l’intervention étudiée (intervention, dosage, durée) ;
- Données sur les résultats de l’étude ;
- Données sur la méthodologie (type d’étude, comparaisons multiples, etc.).
Il est aussi possible de rajouter des champs personnalisés. L’outil ira chercher le terme ou la question dans le document (ainsi que les termes et concepts associés) et extraira les informations qu’il ajoutera au tableau.
Par exemple, nous avions ajouté le champ « grant » pour détecter les financements associés à un article/recherche. L’outil a été capable d’extraire pour certains articles ces éléments et notre tableau a été complété avec des informations comme « project which was funded by the European Commission », « from the Quatar National Reasearch Fund », etc.
Cela fonctionne également avec une question en langage naturel comme par exemple « Where was the study done ? » et Elicit va alors extraire dans le tableau les pays concernés par l’étude.
On peut ensuite filtrer les résultats :
- Pour ne voir que les résultats contenant tel ou tel mot-clé ;
- Pour limiter aux résultats publiés depuis une certaine date ;
- Pour limiter aux RCT (Randomized Controlled Trial), Review, Systematic Review et Meta-Analysis.
- On visualise les résultats par pertinence, mais on peut également choisir de les classer par colonne (année de la plus récente à la plus ancienne, nombre de citations, etc.)
Les résultats se visualisent 8 par 8 et il faut cliquer sur « Show more » pour en visualiser 8 de plus et ainsi de suite.
L’outil n’indique pas le nombre total de résultats donc ce processus peut prendre beaucoup de temps.
- Les résultats peuvent être téléchargés au format .bib ou .csv.
Attention seuls les résultats visibles sur l’écran sont téléchargés donc si vous avez visualisé les 8 premiers résultats seulement, le fichier se composera uniquement de 8 résultats.
À l’avenir Elicit prévoit d’ajouter plusieurs fonctionnalités comme :
- La possibilité de rechercher dans ses articles/documents personnels ;
- La possibilité de donner plus ou moins de poids à certains termes dans la recherche.
Astuce : Utiliser un article pertinent pour trouver d’autres articles pertinents sur le même thème
En plus de l’usage classique d’Elicit qui consiste à poser une question en langage naturel, Elicit permet de rechercher des articles scientifiques à partir d’un article déjà identifié comme pertinent.
Pour cela, il suffit d’entrer le titre de l’article pertinent dans le moteur d’Elicit (au lieu de la question en langage naturel).
Le premier résultat du tableau est en principe l’article pertinent lui-même.
On cliquera alors sur l’étoile à gauche du résultat pour le mettre en favoris. Puis on cliquera sur « Clear Unstarred » pour retirer les autres résultats.
Elicit propose alors un bouton « more like starred » qui va proposer des recommandations d’articles similaires à celui mis en favoris (cf. Figure 2. Méthode pour obtenir des recommandations d’articles similaires).
Figure 2. Méthode pour obtenir des recommandations d’articles similaires
Notre avis
Elicit est indéniablement un outil intéressant par son positionnement et ses fonctionnalités. En termes de pertinence, Elicit n’a rien à envier à Google Scholar et autres moteurs académiques. Cependant, il faut impérativement l’interroger en langage naturel (ce qui est peu habituel dans le monde de la recherche en IST), car il n’est absolument pas adapté pour des requêtes booléennes.
On appréciera la possibilité d’extraire automatiquement des informations issues des articles et de les ajouter directement aux résultats ou la possibilité d’obtenir des articles similaires à partir d’un article initial.
Mais tout n’est évidemment pas parfait. Nos tests ont pu mettre en évidence qu’il réussissait très bien à comprendre certaines de nos questions, mais pouvait être nettement moins à l’aise sur d’autres.
On voit bien que, comme tout outil, il lui manque certains éléments de contexte. Par exemple, à notre question « What are the latest innovations in information retrieval ? », les résultats proposés sont sur le fond tout à fait pertinents, mais en y regardant de plus près, on constate qu’une grande partie de résultats sont en réalité un peu anciens, donc loin des dernières innovations…
En ce qui concerne les éléments qu’il est capable d’extraire automatiquement, l’outil n’extrait pas toutes les données, mais seulement une partie et n’accède que dans certains cas au texte intégral. Et pour les recommandations d’article, si dans certains cas, cela s’avère très pertinent, il y a d’autres cas où les recommandations sont complètement hors sujet.
Certains internautes pointent également les biais liés aux outils sémantiques. En analysant et en interprétant le contenu textuel, ces outils ont tendance à mettre en avant les articles écrits par des anglophones natifs qui utiliseront les bons termes et la bonne syntaxe là où les autres chercheurs seront plus approximatifs. Ils peuvent mal interpréter les résultats extraits ce qui peut conduire à des contresens et il y a de nombreux éléments pertinents qui ne seront pas extraits alors qu’ils auraient dû l’être.
Bref, ce n’est pas une science exacte. Et il manque toute la rigueur et la méthodologie explicable et reproductible que doit normalement procurer une revue de littérature.
Comme toujours avec les outils à base d’IA, il y a un côté « boîte noire » qui ne permet jamais de savoir véritablement comment et où l’on a recherché.
Alors quand on voit les réactions très enthousiastes de certains chercheurs sur les réseaux sociaux qui voient en Elicit l’outil ultime pour automatiser leur revue de littérature, il y a de quoi s’inquiéter…
Elicit a indéniablement de nombreux atouts et permet d’avoir des résultats très différents de ce que l’on peut avoir sur tous les outils qui utilisent la recherche par mot-clé classique. De ce point de vue, c’est un excellent complément pour certaines questions et besoins informationnels. Mais il ne faut absolument pas troquer tous ses outils de recherche classiques contre Elicit. Comme de nouveaux moteurs apparaissent régulièrement, nous testerons et analyserons ces nouveaux outils dans de futurs numéros de BASES. Dans le prochain numéro, nous nous intéresserons ainsi au moteur Zendy.