Que vaut le classement de Shanghaï des universités ?

On trouvera ci-dessous un article d’Yves Gingras, professeur à l’Université du Québec à Montréal, directeur scientifique de l’Observatoire des sciences et des technologies (OST-UQAM). Cet article a été publié dans Le Figaro du 5 septembre 2008. Une version plus complète de ce texte, qui traite aussi de l’évaluation des individus (facteur h, etc…) est ci-jointe. C’est une note de recherche du Cirst, 2008-05 ; www.cirst.uqam.ca.

La France semble aujourd’hui atteinte d’une véritable fièvre d’évaluation de la recherche. La loi sur l’autonomie des universités et la réforme de l’organisation de la recherche ont créé un climat qui a exacerbé la sensibilité aux questions d’évaluation, peu discutées jusque-là entre universitaires. Un des effets les plus alarmants du manque de réflexion sérieuse sur les méthodes fiables d’évaluation de la recherche est la réaction de désarroi devant le classement de Shanghaï des universités françaises. Ainsi, la ministre de l’Enseignement supérieur et de la Recherche, Mme Valérie Pécresse, déclarait récemment dans Le Figaro que sa politique vise la présence de dix universités françaises dans le Top 100 de ce classement.

Il serait périlleux de fonder une réforme sur un seul chiffre sans s’assurer qu’il mesure bien les caractéristiques réelles de la recherche universitaire. Aux critiques méthodiques de ce classement qui montrent clairement qu’il n’est pas fiable, la ministre répond simplement : « Ce classement a des défauts mais il existe. Les chercheurs et les étudiants du monde entier le lisent attentivement. Nous devons le prendre en compte et faire en sorte de donner plus de visibilité aux universités françaises. » Et si les chercheurs et les étudiants à travers le monde se mettaient à lire attentivement leur horoscope chinois pour choisir leur métier ou leur université ? Faudrait-il emboîter le pas et « réformer » les institutions en conséquence ?

Résultat d’une addition de plusieurs facteurs hétérogènes, le classement de Shanghaï est en fait un fort mauvais indicateur de la recherche qu’il faut abandonner au plus tôt. Il est affligeant de voir des universitaires improviser des « explications » à des variations de quelques rangs qui ne sont en fait qu’un simple effet aléatoire (statistiquement non significatif) d’une année à l’autre, dû à la variance naturelle des mesures ! Combien de navires échoués en raison d’une mauvaise boussole !

Sa faiblesse rédhibitoire réside dans sa construction même. Que penser de la validité d’un indice qui fait varier la position d’une université de plus de 100 rangs dans le palmarès par le seul fait d’attribuer à l’université de Berlin ou à l’université Humboldt le prix Nobel d’Einstein obtenu en 1922 ? En quoi la qualité d’une université en 2006 aurait encore quelque chose à voir avec des travaux effectués plus de quatre-vingt ans auparavant ?

Et à ceux qui voient dans ce classement la preuve de la nécessité de construire de gros regroupements pour être plus « compétitifs à l’échelle internationale », rappelons seulement que le California Institute of Technologie (Caltech), une institution de très petite taille (environ 300 professeurs et un peu plus de 2 000 étudiants), se classe au 6e rang dans le classement de Shanghaï… L’université de Princeton, quant à elle, aussi de taille relativement réduite avec environ 5 000 étudiants, se classe en 8e position. Voilà qui ne conforte sûrement pas l’idée des grands regroupements et pourrait plutôt inciter à conclure que « small is beautiful »…

Il ne s’agit nullement ici de vouloir protéger les universités d’une évaluation comparée. Au contraire, et il est d’usage parmi les experts en évaluation de la recherche de mesurer l’impact de la recherche d’un pays ou d’une institution dans un domaine donné à partir des citations mondialement reçues (et convenablement normalisées sur une période donnée) par les publications scientifiques qui en émanent. Appliqués à de grands ensembles (et non à des individus), de tels indicateurs, qui sont homogènes au plan de la mesure, sont en effet aussi pertinents que l’indicateur d’inflation couramment utilisé. En fait, des données sur les citations pour la période 2000 à 2005 ne suggèrent aucun déclin de la France ; elles montrent plutôt une position relativement stable dans toutes les disciplines : parmi les huit pays qui produisent le plus grand nombre d’articles scientifiques dans le monde, la France est en 4e position en biologie en termes de citations relatives et, en mathématiques, sa position oscille (entre 2000 et 2005) entre la 2e et la 3e position, ce qui confirme la forte tradition des mathématiques en France.

Ces données, mieux construites et mieux validées que celles du classement de Shanghaï, n’ont peut-être pas la même valeur stratégique dans le contexte actuel. Cependant, si la France veut réellement redonner vie à ses universités, elle devrait prendre le temps de se doter d’indicateurs crédibles et validés par des experts, au lieu de se tourner dans la panique, et de façon opportuniste, vers le premier venu.

Les médailles de pacotille offertes par le classement de Shanghaï ne devraient pas servir de fondement à une réforme nécessaire et qui engagera les décennies à venir. L’université et la recherche françaises valent mieux et méritent mieux que cela.