Les fauteurs d’impact

If you publish a journal that trumpets its impact factor in adverts or emails, you are statistically illiterate. If you trumpet that impact factor to three decimal places, there is little hope for you.” --Stephen Curry on Nature Magazine and others. Photographie publiée sur FlickR sous le pseudonyme de DullHunk, sous licence Creative Commons Attribution.
If you publish a journal that trumpets its impact factor in adverts or emails, you are statistically illiterate. If you trumpet that impact factor to three decimal places, there is little hope for you.” –Stephen Curry on Nature Magazine and others. Photographie publiée sur FlickR sous le pseudonyme de DullHunk, sous licence Creative Commons Attribution.

L’impact factor, on en a plein la bouche et plein les oreilles. Pourtant, sa définition exacte, que j’avais apprise un jour d’égarement, m’était sortie de l’esprit. Elle m’a été remise en mémoire à la lecture d’un article dont j’ai déjà parlé ici, et qui lui consacre un paragraphe au titre assez percutant : « Impact factor, negociated, irreproductible and unsound. » (le facteur d’impact : négocié, irreproductible et malsain). La rédaction de ce billet m’a aussi permis de tomber sur un site assez original qui résume en français les enjeux et controverses sur le sujet.

En travaillant quelques années parmi les historiens (lesquels ne sont pas moins sensibles aux chiffres que les autres), j’ai appris que l’imperfection des mesures ne les rend pas inutilisables, tant qu’elle reste dans le champ de conscience des utilisateurs. Ainsi, au lieu d’utiliser les chiffres comme des résultats fermes, les scientifiques s’appuient dessus avec prudence pour proposer des interprétations, en restant lucides sur la discussion qui doit les entourer. Les problèmes commencent lorsque les chiffres ne sont plus discutés. C’est ce qui peut arriver lorsqu’ils sont mis au service d’une démarche de type publicitaire1, mais aussi par simple effet de répétition, lorsque les précautions oratoires tendent à s’estomper et que les chiffres sont implicitement considérés comme fiables.

Il est à craindre que l’Impact factor ne soit une parfaite illustration de ce phénomène.

Qu’est-ce que le facteur d’impact ?

C’est la division du nombre de citations constatées l’année N, renvoyant aux articles parus dans un journal pendant les années N-1 et N-2, par le nombre d’articles parus dans ce journal les mêmes années.
Un exemple ?

Soit une revue appelée l’International Journal of Bogus and Plagiarized Studies (IJBPS)2.
Supposons qu’en 2010-1011, 100 articles soient paru dansl’IJBPS.
Qu’en 2012 ces articles parus 2011-2010 dans l’ IJBPS aient été cités 1200 fois.
Dans ce cas, l’Impact factor de l’IJBPS sera de 12.
Bref, le facteur d’impact mesure la notoriété d’une revue (ou d’un auteur, si on lui applique le même mode de calcul).

La simplicité de cet indicateur vous donne l’impression qu’il est peu ambigu ? Détrompez-vous. L’article de Brembs et Munafò cité plus haut démontre, après de nombreux autres, combien il est facile de truquer le facteur d’impact. Par exemple, selon que vous signalez les articles parus dans toutes les sections ou seulement certaines d’entre elles, vous pouvez agir rétrospectivement sur le diviseur ! L’exemple donné par Björn Brembs and Marcus Munafò, celui de Current Biology, est très parlant : Le facteur d’Impact est passé de 7,007 à 11,910 en 2003, soit une augmentation de 70 %. Or, de 2002 à 2003, le compteur de citations a  grimpé de 4,4 % seulement. Mais le nombre d’articles décomptés, lui, a diminué de 43 %. D’où le spectaculaire « progrès » enregistré, qui n’est dû qu’à une correction des chiffres, nullement à une augmentation de l’audience du titre. Bien sûr, pareille manœuvre ne peut pas être répétée à l’infini. Mais sachant que le facteur d’impact conditionne directement le rang de classement, donc la valeur scientifique perçue (pesez le mot, il est essentiel) des revues qu’il qualifie, ce genre de flottement est très pernicieux. Plus encore si l’on songe que l’élévation de l’IF peut être un argument d’augmentation tarifaire. Le monde scientifique est parfaitement conscient du problème : il y a quatre ans déjà, l’éditorial du Journal of Child Neurology,3 dans un morceau de bravoure anti-facteur d’impact, résumait les stratégies d’auto-citation utilisées pour faire grimper l’IF des revues et concluait en citant la magnifique définition du facteur d’impact personnel donnée sur le blog PHD Comics (je traduis) :

Votre facteur d’impact corrigé c’est :

Le nombre de citations de votre travail
moins le nombre de ces citations qui en fait ont saccagé votre travail
moins le nombre de fois où vous vous êtes cité vous-même (bien essayé !)
moins le nombre de fois où vous avez été cité seulement pour gonfler une introduction
moins le nombre de fois où vous avez été cité incorrectement (on a aimé le titre et ignoré le reste)
moins le nombre de citations que l’éditeur a poussé les auteurs à inclure pour augmenter le facteur d’impact du journal

DIVISÉ PAR

Le nombre d’articles originaux que vous avez écrits
moins le nombre d’articles qu’on vous a fait cosigner par pitié ou par calcul
plus le nombre d’articles pas totalement originaux que vous avez écrits copiés-collés.

On a vu se développer peu à peu des gammes de produits alimentaires sans OGM, sans pesticides, sans traces de fruits à coques, sans parabène et sans bisphénol… J’attends avec impatience de voir se développer des revues sans facteur d’impact (IFF, impact factor free). Car l’effet de l’impact factor est, par certains côtés, assimilable à celui d’un produit dopant. Amélioration superficielle et quantitative dans le court terme. Appauvrissement, perte de qualité et dégradation en profondeur et dans le long terme. Je ne doute pas (pour l’instant) de la valeur scientifique du BMJ. Mais que penser d’un discours publicitaire tel quel celui-ci, reçu par courriel le 29 juillet dernier et relayé sous une forme à peine plus pudique sur le site de l’éditeur ? (je traduis, je souligne, et je me demande dans quelle cour de récré nous sommes en train de jouer)4.

Cher collègue,
Le  
British Medical Journal est fier de vous présenter les cinq articles les plus cités, qui ont contribué à ce que notre facteur d’impact atteigne 17,125 en 2012. Faites suivre ces articles (à lire absolument) aux professionnels de santé de votre institution ou de votre hôpital. Désormais classé 4e sur 155, le BMJ, l’un des meilleurs journaux de médecine du monde, est maintenant le journal en Open Access le mieux classé. Nous avons aussi dépassé deux titres américains de poids – PLOS Medicine et The Annals of Internal Medicine – dans les classements. 

Quand vous ôtez de la science le désintéressement et la gratuité, que vous reste-t-il ?
Le facteur d’impact.

  1. Cf. un de mes précédents billets sur la base UpToDate, qui relevait le contraste saisissant entre la prudence de l’article scientifique et la suffisance des slogans commerciaux ; je ne mets pas de lien pour échapper à l’accusation d’auto-citation… []
  2. Ce titre n’existe pas encore, mais j’ai pour projet de le créer, d’en faire une revue en Open Access ; avec ce titre, je suis assuré de ne pas manquer de matière ; je compte aussi facturer des frais de traitement de l’ordre de 1000 € la page qui permettront de renflouer les finances publiques. Pour ce tarif modique, je proposerai aux auteurs pressés de dissimuler les emprunts les plus grossiers par des reformulations périphrastiques et de remanier les références pour les rendre invérifiables. []
  3. Journal of Child Neurology, vol. 24, n° 3, mars 2009 []
  4. Dear Colleague,
    The BMJ is pleased to present the top-cited research articles that contributed to our 2012 increased impact factor of 17.215. Please forward these must-read articles to medical professionals at your institution or hospital. Now ranked 4/155*, The BMJ is one of the world’s leading general medicine journals and is now the highest ranking open access journal. We’ve also overtaken two heavyweight US titles — PLOS Medicine and the Annals of Internal Medicine in the rankings []

4 réflexions au sujet de « Les fauteurs d’impact »

  1. Il me semble qu’il y a un biais encore plus fort que ceux évoqués dans cet excellent billet. C’est le protectionnisme du Web of science à l’entrée de titres considérés comme locaux ou régionaux (ils entendent « régionaux » au sens où nous entendons « nationaux », car ils pensent que les EU sont le centre du monde et que les autres pays sont des régions de ce monde).
    Le Facteur d’impact comporte beaucoup de défauts, mais son principal défaut est ne considérer que la température d’un bocal à poisson dans un vaste océan de publications. Le WOS ne signale pas plus de 35 revues en SHS françaises, alors que nous savons qu’il y en a au moins 1000, peut-être 2000. Ils refusent les revues françaises car ils pensent qu’il n’y a pas de raison scientifique d’écrire en français. Ce comportement est inacceptable et nous avons besoin d’alternatives rapidement.
    On y travaille, heureusement, notamment grâce aux « métriques alternatives ». A OpenEdition, nous annoncerons prochainement des solutions dans ce sens, sans réinventer la roue et sans jouer des solutions localo-locales.

    1. Merci beaucoup pour ce commentaire : je confesse que j’ignorais tout des méthodes de sélection en vigueur dans les outils bibliométriques, cela vient effectivement aggraver le cas de l’IF. J’attends avec impatience les métriques alternatives. Cela dit, même si j’imagine qu’elles sont autre chose qu’un décalque de l’IF dans le milieu français, j’ai du mal à espérer qu’elles introduisent du qualitatif dans le palmarès grossier qui se construit à travers l’impact factor. « Métrique alternative », bien sûr, mais « Métrique qualitative » me semble une oxymore, et la contradiction me paraît difficile à résoudre. Non ?

      1. Il me semble difficile de s’interdire de mesurer et donc d’avoir une approche quantitative pour les secteurs dans lesquels cela est possible. Cela n’invalide pas une approche qualitative. De toutes façons, nous sommes face à un écosystème complexe, avec beaucoup d’acteurs, de documents et de facteurs.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *