La bibliométrie pour évaluer les publications scientifiques en biologie et santé

SIGAPS ? SAMPRA ? Deux logiciels de bibliométrie conçus par Patrick Devos du CHRU de Lille et de l’équipe de recherche EA2694 de l’Université de Lille 2. Deux outils pour recenser, analyser, évaluer le plus finement possible les publications scientifiques : SIGAPS dans le domaine de la santé, SAMPRA dans tous les domaines couverts par la base Web of Science de Thomson Reuters. Alors que SIGAPS est utilisé dans les Centres Hospitaliers Universitaires sous tutelle du ministère de la santé, SAMPRA peut l’être par tout établissement de recherche. Et quand SIGAPS se fonde sur les données de Pubmed pour produire des indicateurs, SAMPRA interroge Pubmed et le Web of Science Core Collection, une base de données bibliométrique pluridisciplinaire, qui fournit également des informations complémentaires, comme l’adresse de tous les auteurs et le nombre de citations.[1]

Nous nous pencherons donc d’abord sur les fonctionnalités de SIGAPS et son utilisation pour le pilotage de la recherche médicale et la répartition des crédits attribués aux équipes de chercheurs hospitaliers, pour ensuite faire le point sur SAMPRA et l’usage qui en est fait pour l’évaluation de la recherche à l’Université Lille 2. SAMPRA, mis en production très récemment, est un dispositif très innovant en termes de services aux chercheurs.

SIGAPS (Système d’Interrogation, de Gestion et d’Analyse des Publications Scientifiques )

A partir d’une initiative locale – la création du logiciel SIGAPS en 2002 au CHRU de Lille – le projet SIGAPS est devenu un outil national d’évaluation de la recherche commun à l’ensemble des CHU.

Le logiciel, expérimenté et évalué par plusieurs CHU entre 2003 et 2006, a fait l’objet d’un tel succès qu’en mai 2006, Xavier Bertrand – alors ministre de la Santé – a confié au CHRU du Lille la mission d’assurer la diffusion et l’utilisation du logiciel SIGAPS au sein de l’ensemble des établissements hospitalo-universitaires, puis progressivement dans de nombreux établissements de Santé.

Les CHU de France étant dotés d’un même outil et de grilles d’évaluation communes, il apparaissait ainsi plus aisé de mettre en œuvre la réforme des modalités de financement des missions d’enseignement, de recherche, de référence et d’innovation (MERRI) à partir d’un indicateur acceptable de la production scientifique.

Le bénéfice du logiciel SIGAPS réside dans sa fonctionnalité majeure : recenser, analyser, évaluer la production scientifique d’un chercheur, d’un service ou d’un établissement sur une période donnée.

Cet outil tire le meilleur parti de l’interrogation via PubMed de la base de données Medline, qui contient l’ensemble des références bibliographiques des articles édités dans le domaine de la santé.

Pour extraire l’ensemble des références bibliographiques d’un groupe de chercheurs, SIGAPS interroge PubMed à partir de leur nom, puis utilise les données de l’annuaire de l’établissement, pour agréger les données selon différents niveaux de structure (service, clinique, pôle, …).

Les chercheurs sont ensuite invités à se connecter à l’application, pour vérifier que l’outil a bien pris en compte leurs publications, et pour valider la liste de leurs publications et ainsi éviter tout risque de confusion lié aux homonymies.

Quant à l’analyse qualitative des publications, elle s’établit à partir d’une classification des revues (A, B, C, D, E, NC)[2] selon leur facteur d’impact pondéré par discipline.

Ainsi, pour chaque discipline, s’échelonnent 10% de revues en catégories A, 15% en B, 25% en C, 25% en D et 25% en E, ce qui rend les disciplines comparables.

L’analyse de la production scientifique d’un chercheur, ou d’un groupe de chercheurs peut s’effectuer au travers d’un panel de tableaux et graphiques indiquant notamment le nombre de publications par revue ou par année, la catégorie des revues, la position des auteurs, l’évolution ou la répartition par année ou par catégorie, le détail des collaborations par auteur, la liste des termes MESH recensés ou la répartition par langues, ces données pouvant se croiser entre elles. Les références bibliographiques peuvent être exportées aux formats Excel, RIS ou aux normes de Vancouver.

Ainsi, chaque établissement hospitalier peut constituer des rapports bibliométriques sur les publications menées en interne.

L’outil SIGAPS est aujourd’hui généralisé, si bien qu’il apparaît comme un véritable levier pour augmenter et améliorer la production scientifique des chercheurs hospitaliers. De fait, le score SIGAPS conditionne directement la part modulable des Missions d’Enseignement, Recherche, Référence, Innovation MERRI.

Plus récemment, à l’échelle individuelle, les scores SIGAPS obtenus en cumulant sur plusieurs années les publications en langue anglaise dans les revues à haut facteur d’impact, et les collaborations avec différents laboratoires extérieurs peuvent déterminer l’évolution d’une carrière. Ainsi, précise Patrick Lacarin, responsable de la Délégation à la Recherche Clinique et à l’Innovation (DRCI) du Centre d’Investigation Clinique des CHU de Clermont-Ferrand, pour devenir PUPH, il faut au moins 500 points SIGAPS lors des dix dernières années, comme le confirment les recommandations de la sous-section CNU Santé 53.02 (chirurgie générale).

L’outil permet également de  « cartographier les thèmes de recherche et de cerner les thèmes qui montent et les sites pilotes » explique Patrick Devos. Ce qui permet de définir des objectifs stratégiques à court et moyen terme. Ainsi, la mise en œuvre du plan Alzheimer a favorisé l’augmentation du nombre d’articles sur la maladie d’Alzheimer dans des revues à haut facteur d’impact, comme en témoigne l’augmentation de 62% du score SIGAPS dans cette spécialité (Devos, Cortot, & Ménard, 2016)[3].

SAMPRA (Software for Analysis and Management of Publications & Research Assessment)

Sampra est en production à l’Université de Lille depuis février 2016.

Genèse d’un logiciel d’analyse des publications à haute valeur ajoutée pour les chercheurs.

SAMPRA est d’abord né de la demande des Instituts hospitalo-universitaires, qui, évalués par l’ANR, cherchaient à produire des indicateurs fiables pour rendre compte de leur production scientifique. Certains chercheurs des IHU étaient déjà familiers de SIGAPS et souhaitaient utiliser un outil reprenant les concepts de SIGAPS mais intégrant les données pluridisciplinaires du Web of Science et les indices de citation des articles. SAMPRA interroge donc ces deux bases de données bibliométriques pour produire des indicateurs plus performants.

À partir d’une requête sur les noms des chercheurs de l’institution sur les deux bases de données bibliographiques que sont PubMed et le WOS, est extrait  l’ensemble des publications des chercheurs de l’institution. Ces derniers sont invités ensuite à se connecter sur l’application pour vérifier et valider leurs publications, et peuvent générer un rapport d’analyse contenant les principaux indicateurs bibliométriques permettant d’évaluer leurs publications.

L’enjeu de SAMPRA est également d’accroître la visibilité de l’établissement dans les bases de données internationales. L’outil récupère toutes les variantes d’adresses associées aux publications et ces données sont transmises à Thomson Reuters pour une identification unique dans le Web of Science (Organization Enhanced).

En utilisant l’outil d’analyse InCites et les données du WOS, Sampra offre aux chercheurs, aux responsables d’équipe de laboratoires, et à la Direction de la recherche la possibilité d’extraire des listes de corpus par thématique disciplinaire ou par unité de recherche et de les positionner en terme d’excellence au niveau national ou international.  Une analyse complète des publications réalisées en cancérologie au CHRU de Lille a ainsi pu être réalisée, précise Patrick Devos,  l’outil fournit des corpus sur mesure.

À l’Université Lille 2, le besoin d’un outil permettant de rendre visible les publications de toutes les UMR aux multiples tutelles d’une université composée à 80% de chercheurs en biologie et santé se faisait grièvement ressentir. SIGAPS ne recensant que la production du CHU, les autres chercheurs de l’Université qui n’y étaient pas affiliés n’avaient aucune visibilité bibliométrique au sein de l’institution. SAMPRA devait donc essentiellement répondre à ce besoin de visibilité des chercheurs. Pari tenu ?

Oui, apparemment, comme nous l’a montré Solenn Bihan, responsable des services aux chercheurs et administratrice de SAMPRA à l’Université Lille 2.

À l’Université Lille 2, SAMPRA a d’abord fait l’objet de tests par cinq unités de recherche pilotes au printemps 2015, et le logiciel a très vite été adopté. Le temps d’ajouter des développements supplémentaires, et SAMPRA a été mis en production au mois de février dernier.

Il faut croire qu’il répondait à un vrai besoin des chercheurs, précise Solenn Bihan, car dès la première semaine, après réception d’un message les invitant à se connecter à cet outil, 25% des chercheurs y validaient leurs publications. Les données de SAMPRA sont en effet automatiquement liées à celles de l’annuaire de l’établissement. Le profil des chercheurs sur l’application est donc pré-rempli. Le succès de l’outil est sans doute lié aussi à la simplicité de son interface, proche de celles des réseaux sociaux de chercheurs, où les intéressés n’ont qu’à cliquer sur oui ou non pour valider leurs publications.

Suite à la campagne générale de validation prévue en mai-juin, l’université sera en mesure d’avoir une vision globale de sa production scientifique dans les domaines concernés. À l’Université Lille 2, les données de SAMPRA sont directement exploitées par tous (les chercheurs, les responsables d’équipes et d’unités de recherche la direction de la recherche) pour le montage de projets, la stratégie de publication, les évaluations INSERM, HCERES….

Sampra est-il utilisé pour évaluer l’ensemble des disciplines de l’Université ? Apriori oui, explique Patrick Devos, car le Web of science est une base multidisciplinaire. Cependant, tempère Solenn Bihan, toutes les disciplines ne sont pas représentées dans le Web of Science. A l’Université Lille 2, par exemple, si l’outil est pertinent pour évaluer les disciplines proches de la santé, comme la physiologie du sport, il l’est beaucoup moins pour évaluer la production scientifique des juristes ou des économistes.

Un bilan après deux mois ? SAMPRA a donné une excellente visibilité aux publications scientifiques de l’Université Lille 2, et a permis de mieux identifier Lille 2 dans les bases de données internationales. Les chercheurs se sont vraiment approprié l’outil. Cette validation par les chercheurs de leur propre production scientifique apparaît comme la principale valeur ajoutée de SAMPRA. Les chercheurs ont la main sur leur recherche, et les laboratoires peuvent dresser des bilans concluants. Accessoirement, précise Solenn Bihan, l’outil fournit un socle solide pour le pilotage de la recherche de l’établissement. Dans le cadre de la fusion annoncée des 3 universités lilloises, cet outil serait sans nul doute un atout pour la visibilité de la recherche à plus grande échelle.

Pour en savoir plus sur SAMPRA, je vous invite à visionner ce tutoriel vidéo réalisé par l’Université Lille 2.

Pour lire cette vidéo veuillez activer le Javascript et utilisez un navigateur moderne compatible HTML5 supports HTML5 video

 

 

Nota Bene : J’adresse mes remerciements les plus vifs à Patrick Devos, Solenn Bohan et Patrick Lacarin, qui ont eu l’amabilité de répondre à mes questions et de relire ce billet avec attention.

[1] Sur les différences entre SIGAPS et SAMPRA, voir le billet de blog de la BIU Santé intitulé 8 questions sur SIGAPS et SAMPRA http://www2.biusante.parisdescartes.fr/wordpress/index.php/sigaps-sampra/

[2] A : niveau excellent ; B : très bon niveau ; C : niveau moyen ; D : niveau faible ; E : niveau très faible ; NC : revue nationale ou acte de congrès.

[3] Devos, P., Cortot, A., & Ménard, J. (2016). Utilisation des données SIGAPS pour mesurer l’impact du plan Alzheimer sur la production d’articles des CHU. La Presse Médicale, 45(2), e1‑e10. http://doi.org/10.1016/j.lpm.2015.07.023

Gérer les données de la recherche, de la création à l’interopérabilité. Compte-rendu de la formation ANF d’Huma-Num, 21-25 septembre, Fréjus

Organisée par la TGIR Huma-Num, cette formation avait pour objectif de permettre aux porteurs de projets de recherche en SHS, d’anticiper et de prendre en compte la gestion des données numérisées, qu’il s’agisse du stockage, de l’archivage, de la description, de la diffusion, de l’éditorialisation des corpus de données, dans un souci constant d’interopérabilité, afin de rendre possible leur partage et leur réutilisation.

La formation a naturellement commencé par une présentation de la Très Grande Infrastructrure Huma-Num, qui a pour objectif de proposer à la communauté scientifique de l’ESR en SHS des outils, comme le moteur de recherche en SHS Isidore ou la plate-forme Nakala pour déposer, documenter et diffuser les données de la recherche, mais aussi des formations, et des conseils pour gérer et valoriser les corpus de données, à travers ses 11 consortiums thématiques.

Frédéric Glorieux #interop2015 de retour à mon scanner, Fréjus, Villa Clythia, chambre 803, le matin  https://twitter.com/GlorieuxF/status/647543112018083841
Frédéric Glorieux
#interop2015 de retour à mon scanner, Fréjus, Villa Clythia, chambre 803, le matin
https://twitter.com/GlorieuxF/status/647543112018083841

La conférence inaugurale de Valérie Tesnière, directrice de la BDIC, a fait ressurgir l’impératif de l’interopérabilité en brossant l’évolution des acteurs impliqués dans la gestion des données, qu’il s’agisse de chercheurs, de bibliothécaires, d’informaticiens, ou d’archivistes. S’ils sont issus de cultures professionnelles différentes, ayant un rapport distinct au document, à la norme, et aux publics, force est de constater qu’aujourd’hui un langage commun est en train de se construire au croisement de plusieurs révolutions, le temps du numérique et le temps du web de données. Au cœur de ce dispositif, le W3C, qui favorise la publication de données structurées, impose aux professionnels de recueillir les données, les lier, et les structurer, pour permettre le dialogue et l’interopérabilité entre des objets hétérogènes.

Au deuxième jour de cette formation, nous avons bénéficié en matinée d’un rappel générique sur les métadonnées par Catherine Morel-Pair. Après une typologie fonctionnelle, nous avons passé en revue les standards (DC, MODS, LOM, IPTC, RDF…) et les usages variés des métadonnées pour garantir l’interopérabilité via les moissonnage OAI-PMH ou la transformation des données d’un format à l’autre via XSLT. L’après-midi a été consacré aux retours d’expériences. La démonstration de la version mobile d’Isidore par Adrien Desseigne nous a permis de comprendre les fonctionnalités heuristiques du web sémantique permettant une recherche et une lecture augmentée des données avec plusieurs points de vue sur un concept, un auteur, une discipline ou une collection_ pluralité des points de vue rendue possible par des croisements de graphes de données passant d’Isidore à ceux de DBPedia ou de la BNF pour obtenir autant d’enrichissements sémantiques.

Le retour d’expériences de Vincent Jolivet du labex OBVIL nous a donné un aperçu des problématiques posées par l’encodage TEI des textes en termes d’interopérabilité et de qualité des métadonnées. Si la diversité des usages et des logiciels utilisés pour l’encodage peut rendre caduque l’homogénéité des métadonnées, le cadre du consortium CAHIER a permis d’établir de bonnes pratiques pour envoyer des notices normalisées au moteur de recherche Isidore à partir de métadonnées TEI. La mise en correspondance des balises TEI et des 15 champs du Dublin Core a ainsi permis, au sein du consortium, une meilleure définition des pratiques éditoriales et une meilleure structuration des données.

Auteur de l’application Web-OAI, Frédéric Glorieux du labex OBVIL a mis en perspective les données de data.bnf pour établir une « coupe du relief de la chronologie » des auteurs à partir des données démographiques fournies par les notices de la BNF : une mine d’informations sur la vie littéraire à explorer sur son carnet de recherche.

Enfin, Véronique Ginouvès de la phonothèque de la MMSH est retournée sur les choix qu’elle a mis en œuvre pour rendre de plus en plus accessibles et interopérables avec d’autres fonds d’archives sonores les enregistrements de son institution, d’abord sur le portail du patrimoine oral, puis sur Isidore, sur Calames, et enfin sur Europeana Sounds.

Le mercredi au matin, Alexandre Granier du CINES nous a présenté les formats requis pour l’interopérabilité. Si le Référentiel Général d’Interopérabilité donne des préconisations en matière de protocoles, formats et sémantique, il nous est rappelé qu’un format de données est interopérable, si sa spécification est ouverte et accessible, s’il est indépendant, largement diffusé, si plusieurs logiciels permettent de le lire, et enfin, si sa migration vers d’autres formats est envisageable. L’exigence première, pour ne pas perdre de données, est donc d’identifier et de bien valider ses formats de données au niveau de la syntaxe et de la sémantique. Plusieurs outils, comme DROID, JHOVE, Mkvalidator ou FACILE sont utilisés à cette fin.

La projection du film intitulé L’usine en perspective en fin d’après-midi nous a permis de réaliser à quel point l’interopérabilité des formats et des données était requise lors de l’élaboration d’un projet de recherche comme celui d’Usines 3D.

Le jeudi, l’intervention de Thomas Francart de la société SPARNA sur les technologies de l’interopérabilité pour le partage et l’échange de données nous a permis d’entrer dans le fonctionnement concret du protocole OAI-PMH et du web de données, qui sont les sésames de l’interopérabilité. Nous avons pu expérimenter la grammaire du protocole OAI-PMH avec les six verbes permettant de moissonner les données d’un flux OAI.

Nous avons pu ainsi comprendre concrètement quel est le fonctionnement des outils d’Huma-Num. Nakala expose les données, Isidore les moissonne, reste à les éditorialiser. C’est ce que permet notamment un CMS comme Omeka. L’intuition d’Huma-Num consiste à articuler ces outils. A cette fin, nous avons bénéficié en avant-première de la démonstration du pack Nakalomeka, qui utilise la puissance d’Omeka pour éditorialiser les données contenues dans Nakala. Il fallait y penser. Huma-Num l’a fait. Et Omeka communique en OAI-PMH avec Isidore. Les données sont stockées, documentées, éditorialisées, et moissonnées. La boucle est bouclée.

Revenons au web sémantique, qui repose sur la grammaire intangible « sujet-verbe-complément », dont l’enjeu est de faire s’exprimer les données de façon non-ambiguëe. Inscrit dans le corps des pages web, ce langage pour humains et machines structure l’information et permet autant d’enrichissements sémantiques. Il est ainsi possible de relier des sources différentes dans une même application, ce qui fait toute la valeur ajoutée du web de données. Faire communiquer des URIs avec le langage RDF permet ainsi d’exploiter pleinement les données et d’en faire surgir des gisements d’informations structurées, mais aussi de mieux hiérarchiser l’information en bâtissant des ponts entre différents domaines de connaissance, comme le permet notamment le modèle de données SKOS (Simple Knowledge Organisation System) utilisé pour publier des systèmes d’organisation de connaissances sur le web de données. Tout un système de règles pour ne pas mélanger les concepts, et atteindre la plus grande précision dans le vocabulaire de description des données. Les concepts de thesaurus, réutilisés pour l’indexation, la recherche, la réalisation de graphes de connaissances, sont ainsi devenus des biens communs rendus, par l’interopérabilité, réutilisables par tous.

Au terme de la formation, nous sommes à même de préserver, indexer, diffuser et rééditorialiser les données. Nous avons toutes les clés pour construire ensemble l’interopérabilité des données en SHS.