[Mise à jour du 20/07/2016 : après discussion via la liste de diffusion des carnetiers, pour plus de commodité le tableur de données a finalement été déposé sur Zenodo : http://dx.doi.org/10.5281/zenodo.58282]
Mon avis (je l’ai développé amplement sur l’Alambic) est que dans l’idéal, semblable tableau devrait exister pour l’ensemble des dépenses documentaires des universités et organismes de recherche français. Notre culture de la centralisation rend ce travail réalisable : des données précises sont collectées depuis longtemps, partout. Soyons justes, d’ailleurs, les données ouvertes françaises sont loin d’être inexistantes et les jeux de données déjà mis à disposition sur le site qui leur est dédié sont précieux et abondants.
En attendant une publication globale, faisons notre part du travail :
à titre d’échantillon, pour qui s’intéresse aux coûts de la documentation : Clermont est un exemple de site universitaire de taille moyenne (35 000 étudiants environ : les effectifs sont publiquement disponibles sur le site susdit) ;
par souci de cohérence : depuis longtemps, je défends la nécessité de ce genre de divulgation ; j’ai assez tardé à la pratiquer.
à titre expérimental, pour vérifier l’innocuité et éventuellement l’utilité de l’entreprise.
dans l’espoir que d’autres fassent de même, sait-on jamais ?
Peut-être, d’ailleurs, vais-je découvrir que bien des collègues ont déjà publié leurs chiffres. Si d’autres collectent ou diffusent des données similaires, cela permettra d’engager une discussion, par exemple sur la façon dont elles peuvent être rendues comparables les unes aux autres (HT ou TTC, monnaie d’origine ou euros, etc.). Si certains trouvent difficiles d’utiliser celles-ci, cela permettra d’identifier les informations dont il faut les accompagner. Au pire, ces données resteront là, inutiles mais disponibles, et raisonnablement encombrantes.
Il faut bien les commencer un jour et par quelque part, ces données ouvertes.
Illustration en tête du billet : Open Data, par Descrier (descrier.co.uk) ; sous licence Creative Commons, Attribution
If you publish a journal that trumpets its impact factor in adverts or emails, you are statistically illiterate. If you trumpet that impact factor to three decimal places, there is little hope for you.” –Stephen Curry on Nature Magazine and others. Photographie publiée sur FlickR sous le pseudonyme de DullHunk, sous licence Creative Commons Attribution.
L’impact factor, on en a plein la bouche et plein les oreilles. Pourtant, sa définition exacte, que j’avais apprise un jour d’égarement, m’était sortie de l’esprit. Elle m’a été remise en mémoire à la lecture d’un article dont j’ai déjà parlé ici, et qui lui consacre un paragraphe au titre assez percutant : “Impact factor, negociated, irreproductible and unsound.” (le facteur d’impact : négocié, irreproductible et malsain). La rédaction de ce billet m’a aussi permis de tomber sur un site assez original qui résume en français les enjeux et controverses sur le sujet.
En travaillant quelques années parmi les historiens (lesquels ne sont pas moins sensibles aux chiffres que les autres), j’ai appris que l’imperfection des mesures ne les rend pas inutilisables, tant qu’elle reste dans le champ de conscience des utilisateurs. Ainsi, au lieu d’utiliser les chiffres comme des résultats fermes, les scientifiques s’appuient dessus avec prudence pour proposer des interprétations, en restant lucides sur la discussion qui doit les entourer. Les problèmes commencent lorsque les chiffres ne sont plus discutés. C’est ce qui peut arriver lorsqu’ils sont mis au service d’une démarche de type publicitaire1, mais aussi par simple effet de répétition, lorsque les précautions oratoires tendent à s’estomper et que les chiffres sont implicitement considérés comme fiables.
Il est à craindre que l’Impact factor ne soit une parfaite illustration de ce phénomène.
Qu’est-ce que le facteur d’impact ?
C’est la division du nombre de citations constatées l’année N, renvoyant aux articles parus dans un journal pendant les années N-1 et N-2, par le nombre d’articles parus dans ce journal les mêmes années.
Un exemple ?
Soit une revue appelée l’International Journal of Bogus and Plagiarized Studies (IJBPS)2.
Supposons qu’en 2010-1011, 100 articles soient paru dansl’IJBPS.
Qu’en 2012 ces articles parus 2011-2010 dans l’ IJBPS aient été cités 1200 fois.
Dans ce cas, l’Impact factor de l’IJBPS sera de 12.
Bref, le facteur d’impact mesure la notoriété d’une revue (ou d’un auteur, si on lui applique le même mode de calcul).
La simplicité de cet indicateur vous donne l’impression qu’il est peu ambigu ? Détrompez-vous. L’article de Brembs et Munafò cité plus haut démontre, après de nombreux autres, combien il est facile de truquer le facteur d’impact. Par exemple, selon que vous signalez les articles parus dans toutes les sections ou seulement certaines d’entre elles, vous pouvez agir rétrospectivement sur le diviseur ! L’exemple donné par Björn Brembs and Marcus Munafò, celui de Current Biology, est très parlant : Le facteur d’Impact est passé de 7,007 à 11,910 en 2003, soit une augmentation de 70 %. Or, de 2002 à 2003, le compteur de citations a grimpé de 4,4 % seulement. Mais le nombre d’articles décomptés, lui, a diminué de 43 %. D’où le spectaculaire « progrès » enregistré, qui n’est dû qu’à une correction des chiffres, nullement à une augmentation de l’audience du titre. Bien sûr, pareille manœuvre ne peut pas être répétée à l’infini. Mais sachant que le facteur d’impact conditionne directement le rang de classement, donc la valeur scientifique perçue (pesez le mot, il est essentiel) des revues qu’il qualifie, ce genre de flottement est très pernicieux. Plus encore si l’on songe que l’élévation de l’IF peut être un argument d’augmentation tarifaire. Le monde scientifique est parfaitement conscient du problème : il y a quatre ans déjà, l’éditorial du Journal of Child Neurology,3 dans un morceau de bravoure anti-facteur d’impact, résumait les stratégies d’auto-citation utilisées pour faire grimper l’IF des revues et concluait en citant la magnifique définition du facteur d’impact personnel donnée sur le blog PHD Comics (je traduis) :
Votre facteur d’impact corrigé c’est :
Le nombre de citations de votre travail moins le nombre de ces citations qui en fait ont saccagé votre travail moins le nombre de fois où vous vous êtes cité vous-même (bien essayé !) moins le nombre de fois où vous avez été cité seulement pour gonfler une introduction moins le nombre de fois où vous avez été cité incorrectement (on a aimé le titre et ignoré le reste) moins le nombre de citations que l’éditeur a poussé les auteurs à inclure pour augmenter le facteur d’impact du journal
DIVISÉ PAR
Le nombre d’articles originaux que vous avez écrits moins le nombre d’articles qu’on vous a fait cosigner par pitié ou par calcul plus le nombre d’articles pas totalement originaux que vous avez écrits copiés-collés.
On a vu se développer peu à peu des gammes de produits alimentaires sans OGM, sans pesticides, sans traces de fruits à coques, sans parabène et sans bisphénol… J’attends avec impatience de voir se développer des revues sans facteur d’impact (IFF, impact factor free). Car l’effet de l’impact factor est, par certains côtés, assimilable à celui d’un produit dopant. Amélioration superficielle et quantitative dans le court terme. Appauvrissement, perte de qualité et dégradation en profondeur et dans le long terme. Je ne doute pas (pour l’instant) de la valeur scientifique du BMJ. Mais que penser d’un discours publicitaire tel quel celui-ci, reçu par courriel le 29 juillet dernier et relayé sous une forme à peine plus pudique sur le site de l’éditeur ? (je traduis, je souligne, et je me demande dans quelle cour de récré nous sommes en train de jouer)4.
Cher collègue,
Le British Medical Journal est fier de vous présenter les cinq articles les plus cités, qui ont contribué à ce que notre facteur d’impact atteigne 17,125 en 2012. Faites suivre ces articles (à lire absolument) aux professionnels de santé de votre institution ou de votre hôpital. Désormais classé 4e sur 155, le BMJ, l’un des meilleurs journaux de médecine du monde, est maintenant le journal en Open Access le mieux classé. Nous avons aussi dépassé deux titres américains de poids – PLOS Medicine et The Annals of Internal Medicine – dans les classements.
Quand vous ôtez de la science le désintéressement et la gratuité, que vous reste-t-il ?
Le facteur d’impact.
Cf. un de mes précédents billets sur la base UpToDate, qui relevait le contraste saisissant entre la prudence de l’article scientifique et la suffisance des slogans commerciaux ; je ne mets pas de lien pour échapper à l’accusation d’auto-citation… [↩]
Ce titre n’existe pas encore, mais j’ai pour projet de le créer, d’en faire une revue en Open Access ; avec ce titre, je suis assuré de ne pas manquer de matière ; je compte aussi facturer des frais de traitement de l’ordre de 1000 € la page qui permettront de renflouer les finances publiques. Pour ce tarif modique, je proposerai aux auteurs pressés de dissimuler les emprunts les plus grossiers par des reformulations périphrastiques et de remanier les références pour les rendre invérifiables. [↩]
Journal of Child Neurology, vol. 24, n° 3, mars 2009 [↩]
Dear Colleague, The BMJ is pleased to present the top-cited research articles that contributed to our 2012 increased impact factor of 17.215. Please forward these must-read articles to medical professionals at your institution or hospital. Now ranked 4/155*, The BMJ is one of the world’s leading general medicine journals and is now the highest ranking open access journal. We’ve also overtaken two heavyweight US titles — PLOS Medicine and the Annals of Internal Medicine in the rankings [↩]
Il m’arrive couramment (à la pause café, il est vrai) de militer pour la suppression des revues scientifiques. Leur contribution à l’excès d’information blesse mon goût de la synthèse ; leur coût agresse mon sens de l’économie ; du point de vue de la gestion bibliographique, elles constituent un casse-tête qui justifierait en lui-même leur abolition1.
Bien entendu, les revues restent utiles, et même indispensables, pour un très grand nombre d’autres raisons. Mais tout de même, c’est avec un intérêt amusé que je lis, émanant du monde scientifique, des remises en cause qui dépassent de très loin la boutade. Je doute qu’elles aboutissent à la suppression effective des revues scientifiques, mais elles produiront tôt ou tard leur effet, et s’accompagnent de propositions qui concernent directement les bibliothèques. Elles méritent donc que l’on s’y arrête ici.
Sailors with demolition charges on HMAS AUSTRALIA (Image du domaine public, source : FlickR ; original conservé à l’Australia National Maritime Museum).
Il est impressionnant de voir à quel point ces critiques se font radicales. Bien au-delà des récriminations rituelles contre les dérapages tarifaires des grands éditeurs, elles s’attaquent à la structure du système : classement des revues, Impact factor, comptage des publications à des fins d’évaluation, effets pervers de la notoriété… pour finir c’est l’existence même des revues qui est accusée de faire obstacle au sain exercice de l’activité scientifique. Un article signé de Björn Brembs et Marcus Munafò, paru en 20122, s’attache à caractériser précisément les symptômes du mal :
1- Croissance rapide du taux de rétractation des articles qui « stable depuis les années 1970, s’est mis à augmenter graduellement à partir des années 2000 de 0,001 % à 0,02 % ». Soit un article sur 5000, et un taux multiplié par 20 en une dizaine d’années3.
2- Plus grave, la proportion de rétractations dues à une fraude scientifique a elle-même augmenté et concernerait, ces toutes dernières années, la majorité des articles rétractés. L’article signale en passant le site http://retractionwatch.com, créé en 2010, qui n’est pas sans rappeler, par son propos et son ton, le blog français « archéologie du copie coller ». La naissance de ce type de site est un symptôme en soi.
3- Autre élément mesuré par les deux auteurs pour évaluer le problème, le decline effect4, soit la tendance pour une découverte à être infirmée plutôt que confirmée au fil du temps par des expérimentations successives, avec des tentatives de réplication de moins en moins concluantes.
Les deux auteurs établissent que ces problèmes sont corrélés avec le rang des revues : mais à l’inverse de ce que l’on attendrait, les revues les mieux classées présentent une probabilité plus élevée de contenir des articles rétractés, frauduleux et des découvertes sujettes au decline effect (p. 16, je traduis) :
Le classement des revues est corrélé de façon modérée à forte avec le manque de fiabilité scientifique, à la fois intentionnelle et non-intentionnelle.
D’où ils infèrent (p. 18, je traduis) que Faute d’une réforme de notre système de publication, les incitations et la pression qui poussent à publier dans les journaux de haut rang continueront d’inciter les scientifiques à moins de précautions dans leurs conclusions (ou pire), dans le but de promouvoir leurs recherches auprès des plus grandes revues5.
En résumant, mais sans forcer le trait, les revues dans leur forme actuelle sont devenues un frein au progrès scientifique.
Mais en quoi une refonte du circuit de publication concerne-t-elle les bibliothèques ?
Tout ce qui a rapport aux revues scientifiques concerne désormais les bibliothèques, tant elles se sont impliquées dans ce dossier ces dernières années. Ainsi, la question de la transition vers l’accès ouvert est très souvent posée en termes économiques. Elle l’est, on les comprend, par les éditeurs, inquiets à la perspective d’une fusion de leur fonds de commerce. Mais elle pourrait aussi inquiéter les bibliothèques :
1- Économiquement, si la production de revues se déporte vers un modèle Gold (“auteur-payeur”), les coûts se retrouveront émiettés entre des entités en nombre infini (laboratoires ou individus), alors qu’ils sont en voie de centralisation aujourd’hui via les big deals, négociés en grande partie, à grand peine et à grand frais par les bibliothèques.
2- Dans le modèle Green (archives ouvertes), c’est plus simple encore : il n’y a plus ni coût, ni négociation, ni abonnement : à quoi allons-nous bien pouvoir servir ?
3- Enfin ce sont les barrières à l’accès qui rendent indispensables les outils que nous déployons pour donner accès à des ressources chèrement acquises (outils de découverte, résolveurs de liens). À quoi bon ces outils le jour où tout sera disponible gratuitement sur le web ?
Oui, tout cela est très préoccupant, et il y a quelque chose de piquant dans l’enthousiasme avec lequel les bibliothèques militent pour l’accès ouvert, alors que négocier, cataloguer, signaler des revues achetées à prix d’or est notre gagne-pain. La transition des revues entre papier et numérique a été une première révolution professionnelle ; ses répercussions n’étaient rien auprès de celles qu’aura le basculement vers l’Open Access. Dans cette perspective, je m’en vais sacrifier une fois de plus à ma passion pour les scénarios en proposant trois possibilités pour les bibliothèques dans un monde où l’accès ouvert deviendrait la règle (et en indiquant ma préférence entre elles, jouons fair play).
Les bibliothèques pourraient se désintéresser des revues ou de ce qui en tiendra lieu, se recentrer sur les fonctions d’accueil, de gestion des stocks imprimés, une prestation minimale en traitement des données pour toute la partie qui ne serait pas déjà effectuée par les fournisseurs commerciaux, et une relation résiduelle avec les éditeurs survivants de l’ancien système. On aura compris à mi-mot en lisant ce qui précède que personnellement, je ne suis pas pour.
Les bibliothèques pourraient devenir un opérateur financier de l’accès ouvert, voie dorée (Gold open access) pour les établissements qu’elles desservent, en centralisant la gestion des frais de publication. Cela reviendrait peu ou prou à perpétuer le fonctionnement actuel en l’adaptant à l’évolution économique en cours. Personnellement, je trouverais cela intéressant, mais pas très ambitieux. Et du point de vue scientifique la “voie dorée” est loin d’offrir toutes les conditions nécessaires à la suppression des effets indésirables dénoncés plus haut.
Les bibliothèques pourraient devenir un des acteurs du circuit de publication des résultats scientifiques. Martin Paul Eve9, dans un article paru l’an dernier imaginait ainsi de faire des bibliothèques le pivot d’un système rénové. Il propose que la publication scientifique, sous quelque forme que ce soit, soit traitée localement par les bibliothèques universitaires dans des entités baptisées research output team, « équipe de publication scientifique ». Ces équipes auraient pour activité de faire fonctionner des plates-formes informatiques permettant le traitement des soumissions d’articles ou d’ouvrage (échanges avec les relecteurs, corrections), le traitement éditorial (balisage, mise en forme) et finalement leur publication dans une instance locale qui servirait à la fois de vitrine de publication et de dépôt d’archives. Il voit dans ce scénario une sorte de “fusion de la bibliothèque et de l’éditeur” (Elvire, veux-tu m’épouser ?) ; et conclut modestement : “In many ways this is a return to the idea of a University Press.”
Cette troisième possibilité m’intéresse davantage que les autres, d’abord parce qu’elle répond aux objections scientifiques formulées contre les revues en première partie de ce billet. Secondairement, cela n’étonnera pas l’avisé lecteur, parce qu’une solution qui s’appuie sur les bibliothèques et les maintient en lien étroit avec la recherche me paraît a priori préférable à tout autre. Troisièmement parce que de façon embryonnaire nous sommes en train de l’expérimenter à Clermont. C’est la demande des chercheurs qui nous a poussés dans cette voie, et nous ne l’avons pas théorisée, mais je m’aperçois avec joie que d’autres l’ont fait.
C’est compliqué à concevoir et à mettre en place, cela implique de réfléchir à l’articulation avec les presses universitaires, avec les dépôts d’archives ouvertes, avec les nouveaux systèmes de signalement, avec les éditeurs gold et avec ceux qui resteront dans le modèle de l’abonnement. Bref, cela demandera du temps, du travail et de l’intelligence. Je suis pour.
Distinction du volume et du fascicule, changements de titre, fusion et scissions de revues, numéros spéciaux, titres à périodicité irrégulière, collections à numéros thématiques, sont quelques-uns de ces défis au bon sens qu’il faut faire entrer vaille que vaille, au chausse-pied, dans les cases étroites des catalogues informatisés ; à mon avis, le seul objet bibliographique susceptible d’égaler la revue en perversité est le volume de mélanges. [↩]
« Deep impact : Unintended consequences of journal rank », [http://arxiv.org/abs/1301.3748] [↩]
P. 3 : The retraction rate of articles published in scientific journals, which had remained stable since the 1970’s, began to increase rapidly in the early 2000’s from 0.001 % of the total to about 0.02 % [↩]
Je suis preneur d’une proposition d’équivalent français pour cet intéressant concept ; notons qu’il porte à controverse et contestation depuis sa popularisation par J. Lehrer dans le New Yorker [↩]
P. 16 : Journal rank is a moderate to strong predictor of both intentional and unitentional scientific unreliability. P 18 : Without reform of our publication system, the incentives associated with increased pressure to publish in high-ranking journals will continue to encourage scientists to be less cautious in their conclusions (or worse) in an attempt to market their research to the top-journals [↩]
Littéralement “Qu’est-ce que ça peut nous faire?” ou autre formule plus familière à votre convenance. [↩]
Litt. “Changeons un peu mais pas trop”, mais vous l’aviez compris. [↩]
Litt. “Du neuf avec du vieux”. Je m’insurge contre la connotation négative de cette expression : à mes yeux prétendre faire du neuf autrement qu’avec du vieux, c’est négliger ses dettes [↩]
La Bibliothèque Numérique travaille depuis le début de l’année sur des projets de revues électroniques en libre accès. Durant l’année 2012, plusieurs enseignants chercheurs se sont adressés à la BCU pour obtenir des informations sur la création de revues en ligne. La Bibnum a alors compris qu’il y avait dans ces demandes une opportunité de service à rendre, de quelque chose à créer pour accroître la diffusion de la recherche clermontoise.
Les projets sur lesquels nous accompagnons les chercheurs sont divers en termes de disciplines, d’objectifs, d’état d’avancement… Certaines revues existent depuis longtemps sous forme papier et souhaitent être disponibles en version électronique, d’autres n’ont encore aucun numéro et sont en recherche d’informations, d’autres sont publiées sur des sites locaux mais souhaitent une meilleure visibilité.
La bibnum a d’abord cherché à savoir quelle aide elle peut apporter à ces équipes de revues. Plusieurs aides possibles sont apparues :
Structure ressource : Un travail de veille et de comparaison sur les outils et les plateformes existantes a été mené. La bibnum est à présent à même de proposer aux chercheurs les outils les plus adaptés à leur projets.
Rôle d’accompagnement dans l’instruction des dossiers de candidature, dans la relation avec les plateformes de diffusion.
Aide technique : La Bibnum possède un numériseur, elle peut se charger de la numérisation et de l’océrisation pour les revues qui souhaitent rétroconvertir leurs anciens numéros. Elle peut également aider au stylage (mise en forme des documents aux normes Revues.org), à la mise en ligne des articles et au référencement web.
A présent, petit tour d’horizon des outils existants et retenus pour les projets actuels :
Afin de faire figurer une revue sur ce site, le dossier d’accession est étudié par divers experts.
Episciences.org http://episciences.org/: projet porté par le CCSD. Création de revues thématiques à partir d’articles versés dans HAL validés par un comité éditorial.
(OJS) Open Journal Systems http://pkp.sfu.ca/ojs-journals Système de gestion éditorial et de mise en ligne initié par le Public Knowledge Project. Cet outil permet une totale autonomie aux équipes de revues sans validation de la plateforme. Il prend en charge le processus de relectures, de validation par les pairs jusqu’à l’édition en ligne et permet la création d’une maquette personnalisée.
Après le travail de veille et de présentation des outils aux chercheurs, certaines candidatures sont en cours auprès de Revues.org, des sites de revues ont été créés à l’aide du logiciel OJS (installé sur le serveur de la BCU)…
La création de revues électroniques demande du temps mais elles verront le jour dans les mois à venir pour certaines, en 2014 pour d’autres. Et vous en entendrez parler ici…
