réactions à l'article «2. Ne transmettons pas les questionnaires bibliométriques»

Ne transmettons pas les questionnaires bibliométriques

1er octobre 2008, par Denis

Sur la liste internationale des 18ièmistes, le débat aussi se développe sur les listes de revues et sur l’ERIH. J’ai informé hier sur cette liste que l’AERES renonçait au classement des revues en littérature (9e et 10e sections). Cela provoque les réactions ci-après qui sont en gros pourquoi il y aurait des décisions différentes selon des lieux différents... ce qui n’est pas sans intérêt. La volonté de l’AERES d’établir des listes par discipline au niveau national français a t-elle un sens au-delà même du principe même des listes. Soit on refuse le principe, soit il ne peut y avoir que des choix internationaux par discipline et non pas la "littérature anglaise" ayant telle liste en Allemagne et telle liste en Inde, etc.
— 

Gilles DENIS

UMR 8163 Savoirs, Textes, Langage

CNRS, Universités de Lille 3 et 1

Sujet :
Re : ERIH
De :
"Joel S. Berson" <berson@att.net>
Date :
Wed, 1 Oct 2008 08:47:10 -0400
Pour :
C18-L@LISTS.PSU.EDU

At 10/1/2008 04:05 AM, Julia Gasper wrote :
> So this is yet another attempt on the part of the EU to dictate and interfere with the workings of every aspect of our lives, in disregard of our wishes and democratic rights.
> If I understand the last message correctly, may I ask Gilles DENIS, Pierre Glaudes and William Marx how they have obtained some sort of exemption from the process of numerical evaluation, and what academics of other disciplines should do to resist being put into a sort of football-style league ?

Perhaps "fantasy league" is an appropriate analogy, where (if I correctly understand what I occasionally pick up from the sports news) the results of (simulated) games is based on the statistics garnered on players and other conditions of the game.

Joel

Ne transmettons pas les questionnaires bibliométriques

29 septembre 2008, par AB

En complément des informations ci-dessus :
il s’agit d’un fichier Excel(TM) contenant plusieurs onglets, dont 2 (les onglets 3 et 4) sont dédiés à une évaluation bibliométrique.
L’onglet 3 "Données bibliométriques (ISI web of knowledge)" est facultatif et repose sur un outil développé par Thomson Corporation, une entreprise privée.
L’onglet 4, lui, est obligatoire, il repose entièrement sur le logiciel "Publish or Perish" (à télécharger sur http://www.harzing.com/resources.htm) développé et distribué par Mme A-W. Harzing, professeure en gestion internationale à l’université de Melbourne (Australie). Ce logiciel se connecte à Google Scholar(TM) pour récupérer les informations suivantes (pour une requête sur un auteur par ex.) : nombre de publications, nombre de citations, moyenne des citations par auteur/année, données bibliographiques : auteurs associés, date de publication, titre des ouvrages etc. et propose de nombreux scores bibliométriques (h, g, etc.). D’après l’auteure du logiciel, il s’agit d’un outil destiné à aider les chercheurs (dans le système anglo-saxon) à se présenter sous leur meilleur jour lors d’une audition pour un poste. En aucun cas ce logiciel ne semble avoir été pensé pour une "caractérisation" (comprendre évaluation) à grande échelle de groupes de recherche (i.e. des UMR).

Au-delà de l’intérêt d’un tel protocole d’évaluation pour des domaines comme la philosophie, la linguistique ou les lettres, on peut se poser la question du danger -tant pour l’évaluateur que pour l’évalué- d’une évaluation bibliométrique reposant essentiellement sur des produits commerciaux mis au point par des groupes privés : Thomson Corporation pour ISI Web of Knowledge, et Google inc. pour Google Scholar(TM) ("Publish or Perish" calcule les scores bibliométriques à partir des résultats fournis par Google Scholar(TM)). La remarque vaut également pour "Publish or Perish", bien qu’il s’agisse d’un logiciel gratuit : le logiciel n’est distribué que sous la forme d’exécutables (sans le code source), ce qui interdit toute traçabilité.
En définitive, l’utilisateur ne sait rien du fonctionnement interne de ces produits, ce qui rend, à mes yeux, vide de sens tout calcul bibliométrique à grande échelle puisque les paramètres ne sont pas maîtrisés et ne peuvent pas l’être : ainsi, si Google inc. décide de modifier son moteur de recherche de citations (Google Scholar(TM) est en version "beta", i.e. en test), les résultats des calculs en seront modifiés, sans aucune traçabilité pour l’évaluateur, qui pourrait être amené à penser que l’évalué a chercher à se soustraire à l’évaluation en falsifiant les données. L’évalué pourrait se trouver d’emblée en position d’accusé chargé d’apporter la preuve de son innocence, ce qui est la pire situation pour un accusé. Dans le meilleur des cas, l’évaluateur-accusateur ne pourrait de toute façon pas apporter la preuve de la culpabilité de l’évalué-accusé...

N’y a-t-il pas là un piège, tant pour l’évaluateur que pour l’évalué ?

bibliométrie pour en savoir plus

26 septembre 2008, par CK

Révolution numérique et évaluation bibliométrique dans les sciences humaines et sociales

Christine Kosmopoulos 1, Denise Pumain 1
(septembre 2008) :