L’Association "Sauvons la Recherche" Groupes de travail Comités loc. et transv. Université de printemps 2011 EUROPE
Accès thématique Emploi et précarité Communiqués de SLR Actualités communiqués partenaires
Médiathèque Les archives Documentation revue de presse Tribunes et Contributions
accueil contact plan du site admin
caractères +caractères -
article
réactions (17)

Et l’évaluation ...

Par Michel Vert, le 7 février 2004

Oui, il faut des moyens matériels et humains et vite, mais ce ne sera pas suffisant si les acteurs et les instances qui les gèrent continuent à ?uvrer comme par le passé. Par rapport à bon nombre de collègues étrangers, les chercheurs du secteur public ont souvent « les pieds dans le béton ». Quelques exemples passés ou présents suffisent à illustrer cette remarque :
-  double ou multi-tutelles pour les UMR avec pour corollaire l’exploitation du même travail dans les rapports d’activités de divers établissements,
-  marchés publics certes modifiés mais toujours inadaptés à la diversité de la recherche,
-  empilements de structures administratives avec parfois des mois pour mettre en place un contrat ou un brevet,
-  multi-financements pour lesquels des crédits issus du Ministère des Finances sont dispatchés puis regroupés sans pouvoir être exploités car il manque alors une contribution souvent modique mais source de retards impressionnants parfois,
-  absence de préparation du passage de témoins entre anciens et nouveaux,
-  recrutements sans la vision à long terme qu’impose la permanence des emplois,
-  et surtout (ou peut être seulement pour toutes ces situations ubuesques) l’insuffisance des procédures d’évaluation,
-  etc.

Et pourtant ?. . Quels que soient les choix futurs (personnels fonctionnaires ou contractuels, moyens récurrents ou occasionnels, établissements publics ou fondations, que sais-je encore tant nos structures sont productives d’intermédiaires pesants), l’évaluation des divers acteurs restera indispensable, inévitable et capitale.

En 1997, Isabelle Rico-Lattes écrivait « Les fantassins sont fatigués » dans la Tribune Libre de la Lettre de la Chimie n° 59 du Département des Sciences Chimiques du CNRS. La même année, le Rapport du Comité d’Ethique, bien peu relayé, soulignait en termes moins percutants, certains dysfonctionnements en matière d’évaluation au niveau des institutions scientifiques, sans aller jusqu’à proposer des solutions. Ce n’était d’ailleurs pas son rôle. Dans un autre numéro de la Lettre de la Chimie, le Directeur du Département Sciences Chimiques du CNRS, Jean-Claude Bernier, revenait sur l’évaluation de la Recherche sous une forme aux allures de plaidoyer dans un éditorial où des problèmes similaires apparaissaient bien en arrière plan. Dans un numéro de Bio, la Lettre du Département Sciences de la Vie du CNRS, des chercheurs commentaient le besoin d’améliorer les procédures d’examen des réponses aux appels d’offres. En particulier, ils souhaitaient que les juges (membres de comités et de conseils d’évaluation ou de distribution de moyens) ne soient pas juges et parties et prennent comme modèle le système américain. Que dire de tous les commentaires et critiques formulés dans le présent forum ?

Il doit y avoir un réel malaise pour que les plumes se soient ainsi activées et s’activent de nouveau, après que le soufflé soit retombé entre-temps.

Le fonctionnement de la plupart de nos instances d’évaluation est perçu comme peu sélectif et peu efficace, la perception variant d’un Département à l’autre, d’une discipline à l’autre, d’un établissement à l’autre ou d’une Université à l’autre. Les critiques minoritaires s’évanouissent derrière le vote majoritaire qui s’impose ensuite à tout le monde pour satisfaire la sacro-sainte confidentialité par ailleurs souvent violée. Le « pas de vague » ou encore le « retour d’assiette » sont monnaies plus ou moins courantes. Le self-service au sein des commissions et comités est fréquent ou du moins ressenti comme tel. Celui-ci n’est pas toujours volontaire mais il ne fait aucun doute qu’un membre de commission ou de comité bénéficie toujours plus ou moins d’un avantage, ne serait-ce que par sa simple présence. Cet effet est inévitable. Nous ne sommes pas aux Etats-Unis. Nous manquons d’évaluateurs (spécialistes) indépendants et peut être d’un peu de déontologie face au besoin criant de moyens ou au déroulement des carrières.

L’existence de groupes majoritaires au sein de certaines instances d’évaluation est parfois la source d’effets regrettables :
-  ce ne sont pas toujours les meilleurs candidats qui sont recrutés,
-  les moyens vont souvent chez les majoritaires ce qui favorise le conservatisme dans la mesure où la pénurie ne permet pas de financer simultanément les nouveautés scientifiques, la compétition internationale, ou encore l’intérêt économique du pays.

Il est difficile de donner sa chance à un jeune talentueux et de le rendre autonome. La tendance est plutôt à l’immersion dans l’existant, au nom d’une gestion plus rationnelle pas toujours évidente. Le pire est chez les enseignants-chercheurs. Quel membre de commission de spécialistes ou du CNU n’a pas été questionné sur l’existence handicapante d’un candidat local ou encore d’un profil de poste sur mesure lors d’un recrutement ?

Pourquoi de tels dysfonctionnements ? Parce que les évaluateurs ou les décideurs n’encourent pratiquement aucun risque suite à leurs recommandations ou leurs décisions au sein des comités, commissions et conseils.

Si tel est bien le mal, comment faire pour introduire une dose de risque ?

Adopter le système américain. C’est difficile chez nous. Ce système facilite la sélection et le redéploiement mais il pénalise la recherche à long terme et la continuité des programmes, contrairement à notre organisation en équipes structurées enviées par nos collègues étrangers. Jean-Claude Bernier n’y faisait d’ailleurs pas allusion dans son analyse. Il souhaitait plutôt, à juste titre, des améliorations au niveau du fonctionnement du Comité National pour ce qui concerne le CNRS. Il ne faut rien attendre de décisions technocratiques fondées sur des indicateurs et qui ignorent l’importance des hommes en matière de recherche et d’innovation ainsi que les différences structurelles entre la recherche aux USA où les entreprises contribuent fortement à la recherche, y compris au niveau du développement des connaissances, ce qui est bien moins le cas en France et en Europe.

Maintenir le principe d’une évaluation par les pairs via des instances paritaires paraît indispensable en France mais c’est insuffisant, l’expérience le montre. La participation de personnalités extérieures dans les comités et conseils est une bonne idée mais elle est en pratique peu profitable actuellement car ces personnalités sont souvent inhibées face à la complexité de nos modes de fonctionnement, à notre savoir et au charisme de certains d’entre nous. Demander des comptes aux évaluateurs et aux instances évaluatrices est une solution séduisante, mais la quadrature du cercle n’est pas loin.

Pourtant, imaginons un système dans lequel la qualité de l’appréciation des évaluateurs est évaluée et même portée au crédit ou au débit de leur activité. Imaginons qu’en plus les évalués savent que les jugements des évaluateurs sont évalués. Imaginons qu’enfin tous les niveaux (exécutants, encadrement, institutions) sont soumis à évaluation selon un principe analogue. Sommes-nous dans l’utopie ? Peut être pas.

Pourquoi ne pas adopter la notion de bicamérisme chère à Montesquieu ?

Ayant siégé comme élu au Comité National et dans les Conseils de plusieurs établissements universitaires, et comme expert nommé à la MST ou dans divers organismes étrangers, j’ai pu voir des méthodes de travail différentes dont l’analyse sélective pourrait être à la base d’une évaluation concurrentielle à la française.

La notion d’évaluation concurrentielle repose sur la mise en compétition des évaluateurs entre eux. Par exemple, organisons des évaluations indépendantes et parallèles. Mettons en compétition directe une évaluation par la voie de la représentation démocratique et paritaire d’experts élus contre une évaluation par des experts nommés pouvant comprendre des personnels de tous niveaux ainsi que des représentants du monde socio-économique voire des étrangers. Certains diront : mais c’est « instances d’évaluation contre directions des établissements » ou encore « CNU contre Ministère ».

Ne cédons pas à la critique habituelle et au rejet immédiat par principe.

Le concept d’évaluation concurrentielle exige que deux comités examinent les mêmes dossiers indépendamment mais surtout strictement en même temps pour garantir l’indépendance.

Dans ces conditions, les dossiers recevant une appréciation positive des deux parties peuvent être traités rapidement et le double avis positif est un signal d’encouragement fort et donc motivant.

A l’opposé, des critiques concordantes émises par les deux comités deviennent quasiment incontestables et dotées d’une force qui devrait rapidement être redoutée (radars flasheurs !!!).

Enfin, les dossiers accrochés par une seule des parties sont réexaminés en session commune mais non plénière, chacune des parties pouvant maintenir des appréciations différentes et garder la responsabilité de sa position finale. Là est la clef du bénéfice. Si des évaluateurs font une erreur d’appréciation ou ne jouent pas le jeu, les contre-évaluateurs peuvent le souligner sans possibilité d’effacement par le biais d’un vote final unique. Chacun des deux comités est alors l’évaluateur de l’autre. C’est la concurrence et la source de risque. C’est aussi une source d’éclairage plus fort pour les décideurs et les distributeurs de moyens.

Bon nombre de défauts soulignés par le Comité d’éthique de 1997 trouveraient alors une solution. Les silences complices et les interventions des ténors et des majorités devraient être minimisés. La connivence et le self-service devraient être moins fréquents si un comité équivalent aux intérêts différents peut, dans le pire des cas, les dénoncer. L’émergence des talents, de l’originalité et des compétences devrait être favorisée.

L’évaluation concurrentielle ne devrait pas être plus coûteuse que l’évaluation actuelle. En effet, il ne s’agit surtout pas de multiplier les instances d’évaluation mais seulement, dans la plupart des cas, de les dédoubler à effectif global constant ou presque. De toutes façons, un surcoût serait largement compensé par les améliorations.

Le principe est clair. Son application mérite, me semble-t-il, d’être expérimentée sur quelques conseils et en pleine concertation afin de faire ressortir les inconvénients plus difficiles à imaginer. Ces derniers devraient être en grande partie liés à la psychologie de l’évalué. Des sections du Comité National ou du CNU pourraient servir à l’expérimentation. En cas de succès, le principe pourrait être étendu à tous les niveaux et notamment aux diverses instances que nous connaissons bien et dont nous connaissons bien aussi les mérites et les dysfonctionnements (CNU, Comité National, Conseils d’Université, Comités régionaux, etc.).

Pour les comités de distribution de moyens (contrats de recherche sur appel d’offres, équipements, fondations, associations, etc.), l’évaluation concurrentielle devrait créer un climat moins imprégné de suspicion.

Si le fonctionnement des directions et/ou des instances d’évaluation actuelles et l’absence de responsabilité ont à voir avec le manque d’innovation, la faiblesse de nos transferts technologiques ou, encore, la prolifération de la paperasserie qui alourdit nos métiers, l’évaluation concurrentielle devrait permettre, là aussi, une amélioration en le dénonçant doublement.

Que ce soit pour un exécutant, un cadre, une instance ou un établissement, la double évaluation simultanée pourrait aboutir à l’efficacité sans que l’on ait recours au modèle américain.

Les chercheurs sont habitués à l’évaluation. Les enseignants-chercheurs le sont moins mais, dans l’ensemble, nombreux sont ceux qui la souhaitent (ceux qui font leur travail). En échange, ils veulent des orientations à suivre consistantes, clairement définies et bien expliquées. Il ne faut rien attendre de décisions technocratiques qui ignorent l’importance des hommes en matière de recherche et d’innovation.

Que ceux qui sont d’accord avec l’idée d’évaluation concurrentielle le fassent savoir. Que ceux qui sont contre le clament et fassent des contre-propositions. Il faut absolument éviter les solutions technocratiques, notamment l’évaluation par l’ordinateur. "Citation index" et "Impact factor" doivent restés des accessoires d’une évaluation ferme, juste et transparente fondée sur l’ensemble des activités d’un chercheur ou d’un enseignant-chercheur et non sur le nombre de publications ou de brevets, en particulier lorsque les journaux scientifiques poussent à « faire du chiffre » et donc se multiplient et favorisent la publication, parfois au profit d’une certaine redondance et aux dépends de la qualité. C’est au prix d’une évaluation ferme et transparente que la confiance régnera au sein des établissements comme à l’extérieur. L’attentisme ou la privation de crédits ne peut que nous laisser sur la pente descendante sur laquelle glissent certains pans de la recherche et de l’enseignement supérieur actuellement.

Ces réflexions ont été soumises à Claude Allègre, alors Ministre, à un président de Région, à un Prix Nobel, au président et au directeur général du CNRS, au département ces Sciences Chimiques via la Tribune Libre de la Lettre de la Chimie, et à quelques collègues. En aparté l’analyse est partagée par bon nombre. Et puis ! Rien. Cette idée serait-elle idiote ? Serait-elle trop dangereuse ? Mérite-t-elle d’être testée ? Peut-on imaginer mieux ? Les évaluateurs sont-ils trop souvent occupés à défendre leurs propres intérêts pour oublier les intérêts collectifs ? Y a-t-il trop de membres de commissions, comités et conseils arrivés là insuffisamment préparés et formés à l’évaluation ?

La balle est lancée. Ne visons surtout pas la touche. C’est dans les buts que l’on marque des points.