SIGAPS ? SAMPRA ? Deux logiciels de bibliométrie conçus par Patrick Devos du CHRU de Lille et de l’équipe de recherche EA2694 de l’Université de Lille 2. Deux outils pour recenser, analyser, évaluer le plus finement possible les publications scientifiques : SIGAPS dans le domaine de la santé, SAMPRA dans tous les domaines couverts par la base Web of Science de Thomson Reuters. Alors que SIGAPS est utilisé dans les Centres Hospitaliers Universitaires sous tutelle du ministère de la santé, SAMPRA peut l’être par tout établissement de recherche. Et quand SIGAPS se fonde sur les données de Pubmed pour produire des indicateurs, SAMPRA interroge Pubmed et le Web of Science Core Collection, une base de données bibliométrique pluridisciplinaire, qui fournit également des informations complémentaires, comme l’adresse de tous les auteurs et le nombre de citations.[1]
Nous nous pencherons donc d’abord sur les fonctionnalités de SIGAPS et son utilisation pour le pilotage de la recherche médicale et la répartition des crédits attribués aux équipes de chercheurs hospitaliers, pour ensuite faire le point sur SAMPRA et l’usage qui en est fait pour l’évaluation de la recherche à l’Université Lille 2. SAMPRA, mis en production très récemment, est un dispositif très innovant en termes de services aux chercheurs.
SIGAPS (Système d’Interrogation, de Gestion et d’Analyse des Publications Scientifiques )
A partir d’une initiative locale – la création du logiciel SIGAPS en 2002 au CHRU de Lille – le projet SIGAPS est devenu un outil national d’évaluation de la recherche commun à l’ensemble des CHU.
Le logiciel, expérimenté et évalué par plusieurs CHU entre 2003 et 2006, a fait l’objet d’un tel succès qu’en mai 2006, Xavier Bertrand – alors ministre de la Santé – a confié au CHRU du Lille la mission d’assurer la diffusion et l’utilisation du logiciel SIGAPS au sein de l’ensemble des établissements hospitalo-universitaires, puis progressivement dans de nombreux établissements de Santé.
Les CHU de France étant dotés d’un même outil et de grilles d’évaluation communes, il apparaissait ainsi plus aisé de mettre en œuvre la réforme des modalités de financement des missions d’enseignement, de recherche, de référence et d’innovation (MERRI) à partir d’un indicateur acceptable de la production scientifique.
Le bénéfice du logiciel SIGAPS réside dans sa fonctionnalité majeure : recenser, analyser, évaluer la production scientifique d’un chercheur, d’un service ou d’un établissement sur une période donnée.
Cet outil tire le meilleur parti de l’interrogation via PubMed de la base de données Medline, qui contient l’ensemble des références bibliographiques des articles édités dans le domaine de la santé.
Pour extraire l’ensemble des références bibliographiques d’un groupe de chercheurs, SIGAPS interroge PubMed à partir de leur nom, puis utilise les données de l’annuaire de l’établissement, pour agréger les données selon différents niveaux de structure (service, clinique, pôle, …).
Les chercheurs sont ensuite invités à se connecter à l’application, pour vérifier que l’outil a bien pris en compte leurs publications, et pour valider la liste de leurs publications et ainsi éviter tout risque de confusion lié aux homonymies.
Quant à l’analyse qualitative des publications, elle s’établit à partir d’une classification des revues (A, B, C, D, E, NC)[2] selon leur facteur d’impact pondéré par discipline.
Ainsi, pour chaque discipline, s’échelonnent 10% de revues en catégories A, 15% en B, 25% en C, 25% en D et 25% en E, ce qui rend les disciplines comparables.
L’analyse de la production scientifique d’un chercheur, ou d’un groupe de chercheurs peut s’effectuer au travers d’un panel de tableaux et graphiques indiquant notamment le nombre de publications par revue ou par année, la catégorie des revues, la position des auteurs, l’évolution ou la répartition par année ou par catégorie, le détail des collaborations par auteur, la liste des termes MESH recensés ou la répartition par langues, ces données pouvant se croiser entre elles. Les références bibliographiques peuvent être exportées aux formats Excel, RIS ou aux normes de Vancouver.
Ainsi, chaque établissement hospitalier peut constituer des rapports bibliométriques sur les publications menées en interne.
L’outil SIGAPS est aujourd’hui généralisé, si bien qu’il apparaît comme un véritable levier pour augmenter et améliorer la production scientifique des chercheurs hospitaliers. De fait, le score SIGAPS conditionne directement la part modulable des Missions d’Enseignement, Recherche, Référence, Innovation MERRI.
Plus récemment, à l’échelle individuelle, les scores SIGAPS obtenus en cumulant sur plusieurs années les publications en langue anglaise dans les revues à haut facteur d’impact, et les collaborations avec différents laboratoires extérieurs peuvent déterminer l’évolution d’une carrière. Ainsi, précise Patrick Lacarin, responsable de la Délégation à la Recherche Clinique et à l’Innovation (DRCI) du Centre d’Investigation Clinique des CHU de Clermont-Ferrand, pour devenir PUPH, il faut au moins 500 points SIGAPS lors des dix dernières années, comme le confirment les recommandations de la sous-section CNU Santé 53.02 (chirurgie générale).
L’outil permet également de « cartographier les thèmes de recherche et de cerner les thèmes qui montent et les sites pilotes » explique Patrick Devos. Ce qui permet de définir des objectifs stratégiques à court et moyen terme. Ainsi, la mise en œuvre du plan Alzheimer a favorisé l’augmentation du nombre d’articles sur la maladie d’Alzheimer dans des revues à haut facteur d’impact, comme en témoigne l’augmentation de 62% du score SIGAPS dans cette spécialité (Devos, Cortot, & Ménard, 2016)[3].
SAMPRA (Software for Analysis and Management of Publications & Research Assessment)
Sampra est en production à l’Université de Lille depuis février 2016.
Genèse d’un logiciel d’analyse des publications à haute valeur ajoutée pour les chercheurs.
SAMPRA est d’abord né de la demande des Instituts hospitalo-universitaires, qui, évalués par l’ANR, cherchaient à produire des indicateurs fiables pour rendre compte de leur production scientifique. Certains chercheurs des IHU étaient déjà familiers de SIGAPS et souhaitaient utiliser un outil reprenant les concepts de SIGAPS mais intégrant les données pluridisciplinaires du Web of Science et les indices de citation des articles. SAMPRA interroge donc ces deux bases de données bibliométriques pour produire des indicateurs plus performants.
À partir d’une requête sur les noms des chercheurs de l’institution sur les deux bases de données bibliographiques que sont PubMed et le WOS, est extrait l’ensemble des publications des chercheurs de l’institution. Ces derniers sont invités ensuite à se connecter sur l’application pour vérifier et valider leurs publications, et peuvent générer un rapport d’analyse contenant les principaux indicateurs bibliométriques permettant d’évaluer leurs publications.
L’enjeu de SAMPRA est également d’accroître la visibilité de l’établissement dans les bases de données internationales. L’outil récupère toutes les variantes d’adresses associées aux publications et ces données sont transmises à Thomson Reuters pour une identification unique dans le Web of Science (Organization Enhanced).
En utilisant l’outil d’analyse InCites et les données du WOS, Sampra offre aux chercheurs, aux responsables d’équipe de laboratoires, et à la Direction de la recherche la possibilité d’extraire des listes de corpus par thématique disciplinaire ou par unité de recherche et de les positionner en terme d’excellence au niveau national ou international. Une analyse complète des publications réalisées en cancérologie au CHRU de Lille a ainsi pu être réalisée, précise Patrick Devos, l’outil fournit des corpus sur mesure.
À l’Université Lille 2, le besoin d’un outil permettant de rendre visible les publications de toutes les UMR aux multiples tutelles d’une université composée à 80% de chercheurs en biologie et santé se faisait grièvement ressentir. SIGAPS ne recensant que la production du CHU, les autres chercheurs de l’Université qui n’y étaient pas affiliés n’avaient aucune visibilité bibliométrique au sein de l’institution. SAMPRA devait donc essentiellement répondre à ce besoin de visibilité des chercheurs. Pari tenu ?
Oui, apparemment, comme nous l’a montré Solenn Bihan, responsable des services aux chercheurs et administratrice de SAMPRA à l’Université Lille 2.
À l’Université Lille 2, SAMPRA a d’abord fait l’objet de tests par cinq unités de recherche pilotes au printemps 2015, et le logiciel a très vite été adopté. Le temps d’ajouter des développements supplémentaires, et SAMPRA a été mis en production au mois de février dernier.
Il faut croire qu’il répondait à un vrai besoin des chercheurs, précise Solenn Bihan, car dès la première semaine, après réception d’un message les invitant à se connecter à cet outil, 25% des chercheurs y validaient leurs publications. Les données de SAMPRA sont en effet automatiquement liées à celles de l’annuaire de l’établissement. Le profil des chercheurs sur l’application est donc pré-rempli. Le succès de l’outil est sans doute lié aussi à la simplicité de son interface, proche de celles des réseaux sociaux de chercheurs, où les intéressés n’ont qu’à cliquer sur oui ou non pour valider leurs publications.
Suite à la campagne générale de validation prévue en mai-juin, l’université sera en mesure d’avoir une vision globale de sa production scientifique dans les domaines concernés. À l’Université Lille 2, les données de SAMPRA sont directement exploitées par tous (les chercheurs, les responsables d’équipes et d’unités de recherche la direction de la recherche) pour le montage de projets, la stratégie de publication, les évaluations INSERM, HCERES….
Sampra est-il utilisé pour évaluer l’ensemble des disciplines de l’Université ? Apriori oui, explique Patrick Devos, car le Web of science est une base multidisciplinaire. Cependant, tempère Solenn Bihan, toutes les disciplines ne sont pas représentées dans le Web of Science. A l’Université Lille 2, par exemple, si l’outil est pertinent pour évaluer les disciplines proches de la santé, comme la physiologie du sport, il l’est beaucoup moins pour évaluer la production scientifique des juristes ou des économistes.
Un bilan après deux mois ? SAMPRA a donné une excellente visibilité aux publications scientifiques de l’Université Lille 2, et a permis de mieux identifier Lille 2 dans les bases de données internationales. Les chercheurs se sont vraiment approprié l’outil. Cette validation par les chercheurs de leur propre production scientifique apparaît comme la principale valeur ajoutée de SAMPRA. Les chercheurs ont la main sur leur recherche, et les laboratoires peuvent dresser des bilans concluants. Accessoirement, précise Solenn Bihan, l’outil fournit un socle solide pour le pilotage de la recherche de l’établissement. Dans le cadre de la fusion annoncée des 3 universités lilloises, cet outil serait sans nul doute un atout pour la visibilité de la recherche à plus grande échelle.
Pour en savoir plus sur SAMPRA, je vous invite à visionner ce tutoriel vidéo réalisé par l’Université Lille 2.
Pour lire cette vidéo veuillez activer le Javascript et utilisez un navigateur moderne compatible HTML5 supports HTML5 video
Nota Bene : J’adresse mes remerciements les plus vifs à Patrick Devos, Solenn Bohan et Patrick Lacarin, qui ont eu l’amabilité de répondre à mes questions et de relire ce billet avec attention.
[1] Sur les différences entre SIGAPS et SAMPRA, voir le billet de blog de la BIU Santé intitulé 8 questions sur SIGAPS et SAMPRA http://www2.biusante.parisdescartes.fr/wordpress/index.php/sigaps-sampra/
[2] A : niveau excellent ; B : très bon niveau ; C : niveau moyen ; D : niveau faible ; E : niveau très faible ; NC : revue nationale ou acte de congrès.
[3] Devos, P., Cortot, A., & Ménard, J. (2016). Utilisation des données SIGAPS pour mesurer l’impact du plan Alzheimer sur la production d’articles des CHU. La Presse Médicale, 45(2), e1‑e10. http://doi.org/10.1016/j.lpm.2015.07.023