Naissance des « altmetrics »
Le 29 septembre 2010, Jason Priem, alors doctorant à la School of Information and Library Science de l’Université de Caroline du Nord (USA), propose le terme « altmetrics » dans un tweet, le préférant à celui d’« articlelevelmetrics » qui, selon lui, ne rend pas suffisamment compte de la diversité des mesures possibles. Peu de temps après, Jason Priem co-signe avec trois autres collègues (issus des neurosciences, sciences biomédicales et informatique) un manifeste, Altmetrics : a manifesto, dans lequel ils pointent les limites des filtres utilisés pour sélectionner les éléments pertinents de la littérature scientifique :
- la validation par les pairs ne suffit plus au regard du volume de la recherche produite ;
- les mesures basées sur le décompte des citations sont trop lentes et trop restreintes : elles ne prennent en compte ni l’impact en dehors de la communauté scientifique ni le contexte de la citation ;
- le facteur d’impact est insuffisamment transparent et trop souvent utilisé à tort pour mesurer l’impact d’articles individuels.
Selon les signataires du manifeste, c’est la diversité des altmetrics qui les rend pertinents pour mesurer la diversité que le numérique apporte à la science. En effet, aux articles scientifiques viennent s’ajouter diverses autres formes de production :
- la science « brute » avec des ensembles de données, du code ou des protocoles expérimentaux ;
- la publication sémantique ou la « nanopublication » rendant citables des petites unités de documents ;
- l’auto-publication via les plateformes de blogs, les commentaires ou les annotations.
L’intérêt des altmetrics à leurs yeux est la rapidité de leur mise à disposition ainsi que leur ouverture, à la fois dans leur fonctionnement et dans leur collecte des données mesurées. Cependant, n’étant qu’à leurs débuts, la recherche et l’expérimentation doivent permettre de les rendre plus robustes et plus fiables, de les comparer avec d’autres types de mesures et l’évaluation par les experts ainsi que de développer des outils et des méthodes.
Les altmetrics et la bibliométrie « traditionnelle »
Si les analyses bibliométriques permettent de produire différents types de métriques pour caractériser et analyser la production scientifique, l’évaluation de la recherche et la mesure de la productivité scientifique sont devenus des enjeux majeurs pour les institutions de recherche, et les indicateurs de l’impact scientifique utilisés sont principalement basés sur deux grands fournisseurs de données bibliométriques :
- Thomson Reuters via sa plateforme Web of Science, développée à partir de l’Institute for Scientific Information créé dans les années 60 pour analyser les réseaux de citations de chercheurs, et à partir de laquelle sont produits les Journal Citation Reports et le fameux Facteur d’Impact (Journal Impact Factor) ;
- Elsevier et sa plateforme Scopus mise en place en 2004.
Ces deux bases, dont l’accès est payant, recensent chacune plusieurs milliers de titres de revues scientifiques mais leur couverture n’est pas équivalente et elles proposent différents types d’indicateurs. Si la plupart d’entre eux permettent d’évaluer la productivité d’une revue (et d’opérer des comparaisons entre titres, pour des domaines ou des aires géographiques spécifiques), d’autres permettent aussi des mesures de la productivité des auteurs, comme c’est le cas pour le h-index notamment, créé en 2005 et devenu rapidement populaire auprès de nombreux chercheurs. Les enjeux ainsi que les biais et les limites de l’utilisation de ces indicateurs ont été très largement documentés.
Un rapport de l’Académie des sciences publié en 2011 fait le point sur ces outils et recommande notamment la plus grande prudence dans l’utilisation de la bibliométrie pour l’évaluation individuelle des chercheurs1.
A l’heure de la science numérique, ces métriques sont pour certains bien trop limitées : elles ne prennent en compte qu’une partie de la science produite (même si Thomson Reuters met en place en 2012, un Data Citation Index permettant de prendre en compte les données de la recherche, les sciences humaines et sociales, entre autres, restent trop partiellement recensées dans les deux bases de référence), qu’une forme de production (celle mesurée par les citations et donc basée sur les formes « légitimées » par les instances d’évaluation, principalement les articles), et qu’un seul type d’usage (celui de la citation académique, qui exclut d’autres formes et d’autres lieux d’impact, notamment le web social).
Lorsque le Manifeste pour les altmetrics est publié, cela fait déjà plusieurs années que des chercheurs travaillent sur le développement de nouvelles formes de mesures d’impact de la science, à la fois plus larges et plus fines que les métriques traditionnellement utilisées jusque-là, dans le but justement de prendre en compte cette nouvelle diversité des formes produites par la recherche et de leurs usages.
Fonctionnement et acteurs des métriques alternatives
Afin de suivre et de collecter les traces d’usage des différents produits ou artefacts de la recherche sur le web, les outils altmetrics se basent sur les identifiants pérennes associés à ces produits : il peut s’agir des DOI (Digital Object Identifier) pour les articles, les posters, les ensembles de données, des identifiants spécifiques à certaines bases de données comme le PubMed ID, l’arXiv ID, le RePEc handle, le US Patent Publication ID ou encore l’ISBN ou l’OCLC number. Il peut également s’agir d’URL pour les présentations sur Slideshare, les vidéos sur Youtube, mais ces URL doivent alors être permanentes et accessibles.
De la même manière, les identifiants doivent être associés à des bases de référence comme Worldcat pour les ISBN ou CrossRef pour les DOI.
Grâce à ces identifiants, différents types de métriques correspondant à des usages et des formes d’attention sont collectées et agrégées par les API (Application Programming Interface) des outils altmetrics à partir de toutes les sources possibles : pour les usages, il s’agit généralement des vues, téléchargements, mentions, captures (signets, favoris ou autre forme de suivi) ou citations, et pour les sources, il s’agit des bases et plateformes où les artefacts sont visibles, cités ou référencés, des blogs, médias sociaux et média de presse où ils sont mentionnés et partagés.
Parmi les principaux acteurs à proposer de nouveaux types de métriques, le pionnier est l’éditeur de revues en libre accès, la Public Library of Science (PLoS), qui a lancé son service Article-Level-Metrics (ALM) en 2009. Très vite, d’autres applications voient le jour. Certaines ne semblent pas aller au-delà de l’expérimentation, comme ReaderMeter, CitedIn, ScienceCard, PaperCritic ou encore Crowdometer, tandis que d’autres s’installent dans le paysage des métriques alternatives : c’est le cas pour Altmetric, Plum Analytics et ImpactStory, trois acteurs apparus en 2011.
Ces plateformes et les services qu’elles offrent ne sont pas directement comparables car chacune se base sur un ensemble spécifique de sources de données et propose des orientations de services qui s’adressent à des publics différents. Leurs modèles économiques sont également différents : PLoS ALM et ImpactStory sont des organismes à but non lucratif, tandis qu’Altmetric et Plum Analytics proposent des services commerciaux aux éditeurs ou aux institutions de recherche.
PLoS, l’éditeur de revues
Parmi cette panoplie d’acteurs, PLoS a la particularité d’être le seul éditeur et s’il est également le premier à expérimenter les métriques alternatives c’est justement afin de placer l’impact scientifique au niveau de l’article plutôt qu’à celui de la revue : chaque article est donc accompagné d’un onglet « Metrics » qui recense le nombre de fois où il a été vu (visualisé et téléchargé sur PLoS, PubMed Central et Figshare), cité (sur Scopus, CrossRef, PubMed Central, ou le Web of Science), sauvegardé (sur CiteULike ou Mendeley), discuté (sur Twitter, Facebook, Wikipédia, etc.) ou recommandé (via F1000Prime). En cliquant sur chaque nombre ainsi recensé, on obtient normalement la liste mise à jour des références qui citent l’article dans Scopus, celle des tweets qui le mentionnent ou encore l’accès direct à la page sur Mendeley.
Par ailleurs, PLoS met également ses données à disposition sous une licence Creative Commons Zero (régime du domaine public) ainsi que son application ALM renommée Lagotto en 2014 et publié librement sur Github, permettant ainsi sa réutilisation effective par des éditeurs comme Copernicus, Pensoft, Ubiquity Press ou son implémentation dans des plateformes comme Open Journal System du Public Knowledge Project.
ImpactStory, le CV du chercheur
A l’origine d’ImpactStory, on retrouve Jason Priem. Ce projet offre la possibilité aux chercheurs d’associer à l’ensemble de leurs productions scientifiques (pas uniquement les articles donc) l’impact en ligne sur tous les canaux (sources) recensés, la liste des travaux et l’analyse de leur impact étant visualisables sur le profil du chercheur ainsi constitué.
La mise en place, gratuite, de ce profil est obligatoirement associée à l’enregistrement du chercheur auprès de l’organisme international Orcid (Open Researcher and Contributor Identifier) pour l’obtention d’un identifiant chercheur, également gratuit pour le chercheur. Si les publications du chercheur ont déjà été recensées via Orcid (automatiquement ou manuellement), celles-ci sont automatiquement intégrées dans le profil d’ImpactStory puis alimentées par les métriques associées et automatiquement mises à jour à chaque nouvelle mention ou à chaque ajout d’artefact.
Altmetric.com, l’impact de la recherche au sens large
Exemple : donut proposé par altmetrics.com appliqué à un article indexé sur Scopus
Un des symboles les plus emblématiques et les plus connus des altmetrics est sans doute le « donut » d’Altmetric : ce petit badge coloré avec un nombre au centre permet la visualisation du « score » mesuré par Altmetric, c’est-à-dire l’attention reçue par un article dans différents types de sources. Les différentes couleurs du « donut » représentent chaque type de sources (Twitter, blogs scientifiques Facebook, sites d’actualités etc.) et le nombre au centre indique la somme pondérée de toutes les mentions reçues. Avec le badge, une synthèse des différentes sources s’affiche et, à partir de là, une page complète permet de naviguer et de suivre le détail des différentes mentions sur chaque source, ainsi qu’une visualisation graphique de l’origine géographique de ces mentions.
Exemple : donut proposé par altmetrics.com appliqué à un article indexé sur Scopus
Altmetric offre des services payants aux éditeurs ou aux institutions : le badge intégré sur les pages des articles individuels ou l’Explorer qui permet de suivre via un tableau de bord l’impact de la recherche produite par un ensemble de revues, une université, un laboratoire ou un projet de recherche. Les grandes maisons d’édition internationales sont en train d’intégrer ces nouvelles métriques : expérimenté dès 2012 par Nature Publishing Group, puis en 2013 par Wiley pour six de ses revues en libre accès et la totalité en 2014, année où Elsevier, Springer, HighWire Press ou les Proceedings of the National Academy of Science (PNAS), entre autres, l’adoptent également, ou encore en 2015 pour Taylor & Francis (avec des données qui remontent jusqu’à 2012).
Non seulement on voit apparaître le donut coloré sur les pages des articles, mais des listes des articles ayant reçu le plus d’attention sont également disponibles sur les plateformes (« last week’s top articles » sur la plateforme Taylor & Francis Online ou les « Top Rated Articles » pour les revues d’Elsevier). Altmetric propose également depuis 2013 une liste annuelle des « Top 100 articles ».
D’autres outils sont disponibles gratuitement : il est possible d’intégrer le « bookmarklet » (le mini-signet) dans sa barre de navigation, ce qui permet d’afficher le « donut » pour chaque page/article comportant un DOI ; les archives institutionnelles peuvent implémenter le badge de manière personnalisée sur leurs pages ; l’Explorer est également accessible via des comptes individuels (et avec des fonctionnalités limitées) aux bibliothécaires des institutions de recherche ; enfin, l’API d’Altmetric peut être gracieusement mise à disposition pour des projets de recherche.
PlumX, le couteau suisse de la gestion de la recherche
PlumX est l’outil développé par Plum Analytics, une société américaine rachetée par EBSCO en 2014. Dans la même veine que l’Explorer d’Altmetric, mais de manière plus large encore, il offre tout un éventail de services de suivi et de gestion de la recherche, principalement à l’intention des institutions de recherche ou des organismes financeurs de la recherche.
La marque reconnaissable de PlumX est son empreinte (Plum Print), sorte de graphe à cinq branches colorées, avec une couleur pour chaque type d’usage recensé et une taille de branche plus ou moins grande selon le volume de mentions. A l’empreinte est associée une synthèse des métriques recensées et un lien vers un tableau de bord avec le détail des données. Son tableau de bord permet, comme pour l’Explorer d’Altmetric de visualiser l’impact de la recherche produite à l’échelle d’une institution, d’un laboratoire, ou d’un projet de recherche.
Celui du Library System de l’Université de Pittsburgh (ULS), première institution à adopter l’application en 2012, en est une bonne illustration. Le site permet de visualiser l’impact et de naviguer à travers la totalité de la production hébergée par l’archive institutionnelle, D-Scholarship@Pitt ou d’autres sites de dépôt associés. Il est possible de naviguer directement dans l’ensemble de cette production par type d’artefact ou par type de métrique ou bien d’accéder directement à des profils individuels de chercheurs ou de filtrer par des ensembles prédéfinis comme des collections numériques, des revues publiées par l’institution, les départements et les écoles ou encore les centres et instituts.
Pour chaque ensemble, on peut descendre jusqu’à l’affichage détaillé de chaque source pour chaque élément. A partir d’un profil de chercheur, par exemple, on obtiendra la liste de toutes ses productions recensées, avec la possibilité d’obtenir le détail des téléchargements, captures, mentions, partages sur les médias sociaux ou citations. Il est ainsi possible de naviguer jusqu’à la liste des tweets concernant un article ou bien jusqu’à l’ensemble des commentaires sur les plateformes Amazon ou Goodreads pour un ouvrage, ou même d’obtenir la liste des bibliothèques ayant un exemplaire de tel ouvrage via Worldcat.
Outre le tableau de bord, Plum Analytics propose également l’intégration d’un widget sur les pages des archives institutionnelles, et des outils de veille stratégique pour les institutions : PlumX +Grants pour les projets financés, PlumX Funding Opportunities (basés sur les possibilités de financements aux Etats-Unis) ou PlumX Benchmarks (qui permet de comparer l’impact de la recherche produite par les financements des National Institutes of Health entre 2012 et 2014).
Intérêts et limites des altmetrics
Les altmetrics et leurs applications sont certainement encore trop récentes pour permettre d’avoir suffisamment de recul.
Une chose est certaine, elles n’ont pas pour objectif de supplanter les métriques traditionnelles ni de permettre à elles seules l’évaluation de la recherche. Il faut les voir plutôt comme de nouvelles opportunités liées à l’univers numérique et à l’évolution des formes de production et de diffusion scientifiques permettant de venir enrichir l’analyse de cette production et de son impact.
Il faut reconnaître qu’à l’heure actuelle, malgré le potentiel que ces applications laissent entrevoir, les métriques sur lesquelles elles se basent ainsi que leurs modes de collecte sont encore très limités. Tout d’abord, l’usage des médias sociaux est loin d’être répandu chez les chercheurs : si certaines communautés ou certains individus sont particulièrement actifs, ce n’est pas du tout le cas pour d’autres. Il est d’ailleurs significatif que ceux qui travaillent sur les applications actuelles proviennent des sciences de l’information, de l’informatique, des sciences biomédicales ou d’autres communautés parmi les plus au fait des technologies liées au web.
Ensuite, les canaux dont sont issues les métriques sont également récents et très fluctuants : certains, comme Connotea ou Bloglines, ont déjà été abandonnés, d’autres sont intégrés en cours de route. Leurs usages sont également fluctuants : un outil peut être très populaire à un moment donné ou pour une communauté et moins ensuite.
L’intégration des données à partir des différentes applications n’est pas non plus faite de manière homogène : Taylor & Francis intègre les données depuis 2012 tandis qu’Elsevier ne remonte qu’aux six derniers mois. Les différentes applications elles-mêmes n’intègrent pas les mêmes sources ou avec des niveaux de détails différents (une seule mention Facebook sans plus de précision ou un commentaire différencié d’un « like »).
Au niveau technique, cette intégration n’est pas simple non plus : les sources ont différents formats et les artefacts peuvent avoir plusieurs versions (comme c’est souvent le cas pour un article scientifique), ou plusieurs identifiants. D’ailleurs, la collecte ne fonctionne actuellement que pour les artefacts référencés par des identifiants pérennes et standardisés sur les grandes bases de données internationales. En effet, si un profil sur ImpactStory est immédiatement alimenté pour un chercheur dont les publications sont référencées par exemple sur la base Scopus d’Elsevier ou les algorithmes enregistrés sur Github, le résultat n’est pas le même pour un chercheur en sciences humaines et sociales ayant principalement publié des ouvrages et des articles dans la sphère francophone pour laquelle il n’existe pas de base de référencement ni d’implémentation systématique des DOI.
L’accès aux données lui-même est également limité en fonction des accès disponibles aux sources : si un grand nombre de ces données proviennent de sources publiques et ouvertes, ce n’est pas le cas pour celles provenant de tiers qui ne souhaitent pas les rendre accessibles librement. De ce fait, la navigation jusqu’à la source peut être possible pour les tweets ou pour des articles en libre accès, mais pas pour les mentions sur Facebook ou pour le texte intégral à partir des listes de citations du Wos ou de Scopus en l’absence d’abonnements adéquats.
La question de ce que mesurent ces données n’a pas non plus de réponse simple : l’impact ou l’attention n’est pas synonyme de qualité ni même d’intérêt scientifique. A propos de la liste de 2015 des « Top 100 articles » listés par Altmetric, Science relate que le numéro 20 ne devait pas son succès médiatique à l’intérêt des médias sociaux pour l’étude concernée (qui portait sur la découverte d’un spécimen particulier de dinosaure) mais uniquement en raison d’une demande en mariage discrètement insérée dans les remerciements ! Et l’impact n’a pas le même sens pour tous. Déterminer le contexte et la signification de l’attention portée aux artefacts de la recherche constitue une piste d’évolution particulièrement intéressante de ces nouvelles métriques.
Actuellement, il n’est pas possible de faire la distinction entre un intérêt médiatique large et celui de la communauté scientifique. Comme le mentionne le « Manifeste », la richesse des données sémantiques des altmetrics devrait permettre de répondre non seulement à la question du « combien » mais également à celles du « comment » et du « pourquoi ».
Malgré ces nombreuses limites, dont la plupart sont plutôt liées à leur immaturité, les altmetrics se multiplient rapidement et les techniques utilisées se développent également très vite. Certains acteurs se demandent déjà s’il ne serait pas temps d’abandonner le préfixe « alt », d’autant plus que cela renforce l’impression qu’elles se positionnent comme une alternative aux métriques traditionnelles.
Si ces mêmes limites rendent encore leur intérêt quantitatif relativement faible (le premier des articles de la liste des « Top 100 articles » d’Altmetric en 2015 indique un score de 2854 c’est-à-dire qu’il a été cité 2 854 fois), les possibilités de navigation, de suivi et de filtrage qu’offrent ces outils leur donnent une dimension qualitative intéressante : il devient ainsi non seulement possible de naviguer jusqu’à la mention elle-même (le tweet ou le commentaire), mais aussi d’identifier la répartition géographique ou thématique de l’impact pour un artefact individuel ou pour un ensemble défini (un projet, une équipe, etc.).
Les professionnels de l’information ont certainement un rôle à jouer dans ce paysage émergent. Dans la version préliminaire d’un guide de bonnes pratiques récemment publiée par la National Information Standards Organization (NISO), trois rôles sont définis pour les altmetrics : mise en valeur de la production scientifique, évaluation de la recherche, découverte ou mise en avant de produits de la recherche ou de chercheurs. Et dans la liste des actions potentielles des bibliothécaires qui sont décrites, on constate que leur apport se situe clairement au niveau de la mise en valeur de la production scientifique et que cela rejoint les services qu’ils développent déjà pour les chercheurs :
- en ajoutant de la valeur à l’archive institutionnelle en encourageant les chercheurs à y déposer leurs travaux,
- en mettant en valeur la performance des produits de la recherche de l’institution (ou les productions d’un auteur),
- en permettant aux auteurs et à l’institution de prendre conscience de l’impact scientifique et sociétal de leur production,
- en offrant des services pour aider les chercheurs et les instances administratives de l’institution à l’élaboration de rapports d’impact (qui est aussi un rôle pour l’évaluation de la recherche),
- en conseillant les chercheurs sur les moyens d’améliorer l’attention donnée à leurs travaux et d’étendre leur portée.
Dans un premier temps, s’informer et comprendre le fonctionnement ainsi que les limites et les intérêts de ces nouvelles métriques leur permettront déjà de les expliciter aux chercheurs qui, pour la plupart, n’en ont encore jamais entendu parler et n’ont peut-être pas encore porté une grande attention aux « donuts » qui fleurissent sur les pages des revues qu’ils consultent.
- 1 NDLR : BASES a publié un article concernant ce rapport dans son numéro 278 (janvier 2011).