Accueil / Documentation / Bibliométrie : quand les mathématiciens s’en mêlent

Résumé de CITATION STATISTICS, article écrit par R. Adler, J. Erwing et P. Taylor pour l’Union internationale de Mathématiques

Ce rapport propose une analyse de l’usage des indices de citations pour évaluer la recherche scientifique. L’évaluation n’est pas nouvelle, la nouveauté aujourd’hui est que certains pensent que l’utilisation d’indicateurs bibliométriques simples est plus objective que des jugements complexes car ces derniers dépendent de la subjectivité du juge. Le rapport montre que les outils statistiques utilisés pour classer les journaux, articles, scientifiques, programmes, disciplines sont souvent mal compris et mal utilisés.

Classement des journaux : Impact Factor (IF)

Cet facteur, créé en 1965, est calculé chaque année par Thompson Scientific.

Pour calculer l’IF d’un journal J en 2007, on analyse tous les articles de toutes les revues indexées. On compte le nombre de fois où les articles du journal J publiés en 2005-2006 sont cités durant l’année \bf 2007 par tous les journaux indexés. Pour chaque article du journal J, on a alors son nombre de citations. On peut donc calculer le nombre d’articles ayant 0 citation, 1 citation, 2 citations... L’IF résume cette répartition (distribution) par sa moyenne. Evidemment la moyenne ne résume pas la distribution mais indique une tendance centrale.

Remarques :
 La proportion de revues indexées par discipline influe donc sur l’IF. Ce facteur explique en partie les variations des valeurs des IF entre disciplines. Ainsi en mathématiques la moitié des revues n’est pas indexée.
 La période de 2 ans a été définie pour donner un indicateur récent et semble appropriée dans certaines disciplines. Cependant cela peut être inadapté comme en Mathématiques, où 90% des articles cités sont en dehors de cette période de 2 ans. Ce facteur explique aussi les variations des valeurs des IF entre disciplines.

A titre d’exemple, le nombre moyen de citations vaut 1 en Mathématique et en Sciences Sociales, 3 en Physique et en Pharmacologie et plus de 6 en Sciences du Vivant.

Classement des articles

L’IF ainsi que des mesures similaires peuvent être utilisés à mauvais escient pour classer des journaux. Ces mesures sont fondamentalement inappropriées pour classer des articles, des individus et des disciplines. C’est un problème croissant qui se retrouve dans beaucoup de pays et de disciplines.

Ainsi, le raisonnement erroné suivant est courant : l’IF du journal A est plus grand que l’IF du journal B, alors un article de A est sûrement supérieur à un article de B et un auteur dans A est meilleur qu’un auteur dans B.\\ L’article présente un exemple simple qui compare 2 articles appartenant à 2 revues différentes ayant des IF différents, l’un étant le double de l’autre. En fonction de la distribution du nombre de citations, les auteurs montrent que la probabilité d’avoir un article de la revue A (la moins cotée) ayant plus de citations que la revue B la plus cotée vaut 0.62. Cela veut dire que dans 62% des cas un article de A sélectionné au hasard aura plus de citations qu’un article de la revue B sélectionné au hasard.

Classement des individus

L’utilisation des IF semblant un peu simple, de nouvelles statistiques apparaissent :

 l’index h, qui correspond au nombre $N$ d’articles écrits par l’auteur qui sont tous cités au moins $N$ fois ;
 l’index m, qui correspond à l’index h divisé par le nombre d’années écoulées depuis la publication du premier article, cela permet de classer les jeunes scientifiques sans trop les pénaliser ;
 l’index g, qui correspond au nombre $N$ d’articles que l’auteur a écrit et dont le nombre cumulé de citations vaut au moins $N2$. Cela permet de prendre en compte un (ou des) articles qui sont très souvent cités.

Exemple : Considérons un auteur ayant écrit 10 articles dont le nombre de citations vaut 20, 11, 10, 10, 9, 4, 4, 3, 2 et 2. Son h-index vaut 5, car il a 5 articles ayant plus de 5 citations Son g-index vaut 8, la somme des citations de ses 8 meilleurs articles vaut 71 et est donc supérieure à 64 (82).

Malgré l’importance de plus en plus grande accordée à ces indicateurs, il n’existe pas d’études sérieuses mettant en doute les affirmations de leurs promoteurs (Hirsch par exemple) ou des utilisateurs. Ainsi, par exemple, Hirsch affirme que "2 scientifiques ayant un même index h sont comparables en terme d’impact scientifique". Imaginons seulement qu’un individu A ayant 10 articles tous cités 10 fois et un individu B ayant 10 articles cités 10 fois et 90 articles cités 9 fois. Les 2 individus ont le même index h (10), ont-ils le même impact scientifique ?

Quelle est la signification des citations ?

Les adeptes des citations comme mesure de la qualité de la recherche ne répondent pas à cette question essentielle. Pourtant il est intéressant de savoir pourquoi l’auteur de l’article effectue telle citation plutôt que telle autre. Une citation peut être faite pour rendre hommage intellectuel à la source mais elle peut aussi être purement rhétorique. En Mathématiques 30% des citations sont des livres et donc seraient selon les auteurs purement rhétorique. Alors pourquoi choisir tel auteur plutôt que tel autre : son prestige, son cercle, l’accessibilité de la source, son impact dans la revue...

Utilisation des Statistiques

La tendance générale consistant à créer des indicateurs n’est pas nouvelle. Aucun travail statistique ne transformera des données inadéquates ou incorrectes en indicateur pertinent. Les données à collecter sont très difficiles à obtenir car, par exemple, les auteurs peuvent ne pas être identifiés de façon unique. Dans certaines disciplines ou (et) certains pays, il peut être illusoire de collecter toutes les informations indispensables.

Résumé fait le 14 juin par Eric Matzner-Lober. Toutes les erreurs et mauvaises interprétations sont de mon unique responsabilité.