LA BIBLIOMETRIE SELON JOURDE

Pierre Jourde parviendra-il à vous faire sourire de la bibliométrie?

Les facéties de la bibliométrie. Comment devenir le chercheur du mois

Par Pierre Jourde, vendredi 12 décembre 2008 à 09:34 (575 vues, permalink, rss co) :: Invités

Article publié par Le Monde Diplomatique, décembre 2008.
La scène se déroule loin de la lumière du jour, dans les profondeurs inquiétantes d’un bunker. Berlin en 1945? Moscou en 1952? Non, Paris, 2008, 3e arrondissement. Dans la salle, non pas des apparatchiks, des bureaucrates couleur de muraille, mais quelques-uns des plus brillants représentants de l’université et des organismes de recherche français: membres du Conseil national des universités (CNU), du comité national du Centre national de la recherche scientifique (CNRS) et des laboratoires de Paris et d’Ile-de-France. L’élite des intellectuels.
On a du mal à se défendre de l’idée que les lieux affectés à la recherche et à l’enseignement, en France, ceux où l’on réfléchit, cherche, transmet le savoir, et qui évoquent généralement plus un commissariat dans la Roumanie de Nicolae Ceausescu que les universités italiennes, britanniques ou américaines, participent d’un mépris généralisé de la pensée et d’un bizutage des universitaires. Mais on écarte vite ces frivolités, l’affaire est autrement sérieuse. Les graves personnages assis à la tribune, face à cet aréopage de grands esprits, l’annoncent d’emblée : «Nous sommes là pour le pilotage de la recherche.» En effet.
Miracle de PowerPoint, un grand écran s’allume et affiche l’image d’un tableau de bord d’Airbus. Ah, mais oui, bien sûr, le pilotage de la recherche, c’est tout à fait clair. La lumière se fait dans le cerveau des chercheurs présents, ils sont très intelligents, pas besoin de plus d’une image pour leur faire comprendre.
Tout de même, ce sont des penseurs, on connaît ça, il faut les remuer. Bougeons. «Il faut maintenant empoigner le taureau par les cornes», déclare, impérieux, l’orateur. L’écran affiche à présent, non pas une tête de veau vinaigrette, non pas un parapluie, mais, incroyable, une splendide silhouette de taureau. L’image juste sur le mot juste. De quoi motiver un peu cette bande d’intellos. De quoi s’agit-il au juste? De proposer des stages découverte dans les cuisines d’un McDo? Des reconversions dans la vente d’appareils électroménagers? Pas du tout. L’Agence d’évaluation de la recherche et de l’enseignement supérieur ([Aeres|http://www.aeres-evaluation.fr/), avec son bunker, ses images d’Airbus et de cornes de taureau, est l’organisme chargé par le gouvernement d’évaluer la recherche en France. C’est-à-dire de mettre au point des systèmes de mesure permettant de classer, donc de doter, les centres de recherche, et de déterminer la carrière des chercheurs suivant la valeur estimée de leurs travaux.
Tout de suite, on est en confiance. Des gens capables d’une telle finesse (Airbus, taureau) ne peuvent qu’effectuer un fin travail d’évaluation. Quant aux chercheurs présents, ils sont censés classer les revues scientifiques (A, B, C). En gros, plus on publie dans de bonnes revues (A), plus on est un bon chercheur. Si vous publiez un article dans une petite revue de Varsovie, peu citée (C), pas bon. Si vous publiez dans une revue américaine à forte diffusion (A), vous êtes nettement plus intelligent et c’est excellent pour votre carrière.
Ajoutons le «facteur d’impact», qui mesure le rapport entre le nombre d’articles citant un chercheur et le nombre d’articles que ce chercheur a publiés, sans compter le facteur H, le facteur G et autres affriolants machins que l’universitaire désormais s’amusera à bricoler pour mesurer sa propre importance. Ça l’occupera. La «bibliométrie», c’est ça.
Evidemment, il fallait s’y attendre avec ces intellectuels frileux, conservateurs, repliés sur leurs privilèges catégoriels, ça se passe mal. Depuis des semaines, les pétitions se multiplient, parmi les chercheurs, pour dénoncer le système d’évaluation. Le mouvement est parti des pays anglo-saxons, où l’on a mis au point ces systèmes, et sur le modèle desquels se calque la France. Les directeurs de dizaines de prestigieuses revues internationales d’histoire des sciences ont publié un communiqué commun pour refuser que leurs publications soient utilisées dans l’évaluation bibliométrique. Ils dénoncent les critères de l’European Reference Index for the Humanities (ERIH), dont s’inspirent largement ceux de l’Aeres, en ces termes peu amènes: «L’ERIH repose sur une incompréhension fondamentale des modes de développement et de publication de la recherche dans nos disciplines et dans les sciences humaines en général. La qualité des revues ne peut être séparée de leur contenu et de leurs méthodes éditoriales. Une recherche importante peut être publiée n’importe où, dans quelque langue que ce soit. Un travail révolutionnaire a plus de chances de surgir sur des supports marginaux, dissidents ou inattendus que dans des lieux institutionnels bien établis (1).»
Des associations internationales de mathématiciens (et, parmi elles, l’Union mathématique internationale, qui décerne la médaille Fields (2)) ont publié un rapport qui dénonce les gros sabots et la rusticité des outils statistiques sur lesquels se fondent les classements de revues de l’ERIH. Pour Peter Lawrence, professeur à Cambridge, le principal résultat de la bibliométrie, c’est que «l’objectif principal des savants n’est plus de faire des découvertes mais de publier autant que possible », de sorte que « l’utilité, la qualité et l’objectivité des articles se sont dégradées (3)». Même l’une des grandes théoriciennes de l’«impact», Anne-Wil Harzing, professeure à l’université de Melbourne, vient de publier, avec Nancy Adler, professeure à McGill (Montréal), un long article dans lequel elle remet sérieusement en question les effets de la bibliométrie (4).
En France, plusieurs pétitions et textes circulent pour s’opposer au classement des revues (5). Des chercheurs chargés de cette opération quittent l’Aeres. Certaines commissions (arts, langues, sciences du langage notamment) refusent tout bonnement d’y procéder. Cela a donné lieu à des séances houleuses et à des tentatives de repli plutôt burlesques, comme celle qui consiste à proposer de dresser la liste des revues sans les hiérarchiser (autant publier une bibliographie).
Quels sont les arguments de ces ennemis de la modernité bibliométrique, qui ont récemment contraint l’Aeres à renoncer pour l’instant à classer les revues en littérature française et littérature comparée? Ils prétendent que les revues anglo-saxonnes sont surévaluées par ces estimations, sans rapport avec leurs qualités réelles; que cette surévaluation provoquera la fuite des textes européens dans ces revues et qu’ainsi la bibliométrie provoque ce qu’elle prétend mesurer; que des revues roumaines ou libanaises en français tombent dans les profondeurs du classement, excellente façon de défendre la culture française à l’étranger; que c’est offrir une rente de situation à certaines revues qui n’ont plus qu’à dormir sur leurs lauriers pour l’éternité; que le critère principal de publication dans un titre prestigieux n’est pas nécessairement la qualité scientifique; que la recherche audacieuse est souvent diffusée dans de jeunes revues méconnues; que ces critères sont en réalité quantitatifs et n’ont pas de sens pour mesurer la qualité d’un travail; que c’est souvent le temps qui fait apparaître l’importance des recherches; que la qualité d’une revue ne se mesure pas à sa diffusion, ni la qualité d’un texte au renom de qui l’accueille; qu’il y a, notamment en sciences humaines, abondance de documents fondamentaux sur des supports rares et confidentiels; que ce «fichage» condamne d’avance les créations de revues novatrices et audacieuses; que les bouleversements de la connaissance se sont faits souvent en dehors ou à l’encontre des institutions bien établies auxquelles l’Aeres décerne ses satisfecit; que la quantité des citations mesure les modes intellectuelles, les positions de pouvoir et l’audience d’un auteur plus que la qualité de l’article cité; que tout cela ne peut produire qu’un aplatissement et une servilité de la pensée.
Certains vétilleux, comme Olivier Boulnois, médiéviste, philosophe, directeur d’études de l’Ecole pratique des hautes études (EPHE), vont même jusqu’à examiner en détail les listes de l’Aeres. Ils y remarquent des revues essentielles classées B, des revues inexistantes dûment répertoriées, des périodiques classés deux fois, A ou B.
D’autres s’amusent à calculer la cote d’Aristote et de Platon selon les critères bibliométriques. Très médiocre : ces piètres chercheurs grecs végéteront toute leur vie à des postes subalternes. Emmanuel Kant est mieux noté, mais nettement moins que Dov Gabbay. Albert Einstein ou Mikhaïl Bakhtine auraient du mal à obtenir une augmentation et des crédits de recherche. Le facteur d’impact de Laurent Lafforgue était nul lorsqu’il a obtenu la médaille Fields. Bref, n’importe quoi.
Tout cela ne doit pas arrêter le progrès. Pilotons la recherche, prenons le taureau par les cornes. Un bon pilotage se doit d’être automatisé, standardisé, mécanisé. Surtout ne pensons pas, comptons. Au moins, cela aura toute l’apparence de l’objectivité. Comptons, c’est ainsi qu’on encouragera la recherche, l’audace, l’originalité.
On pourrait, d’ailleurs, encore améliorer le système de classement, et, outre les séances de motivation avec PowerPoint, s’inspirer utilement des pratiques de management de McDo. Le meilleur vendeur de cheeseburgers est classé employé du mois. Il serait souhaitable, à l’astrophysicien ou à l’archéologue méritant, d’accorder le titre de chercheur du mois. Un chef de cabinet l’embrasserait sur les deux joues, on accrocherait sa photographie à l’Aeres, tout au fond du bunker, et là, enfin, on aurait pris le taureau par les cornes.

(1) Texte complet (en anglais) sur le blog de Medical Museon.

(2) Du nom d’un mathématicien canadien, John Fields (1863-1932). Ce prix, équivalent du Nobel, est attribué tous les quatre ans à un mathématicien de moins de 40 ans.

(3) Cité par Nancy Adler et Anne-Wil Harzing, «When knowledge wins: Transcending the sense and nonsense of academic rankings», Academy of Management Learning & Education, vol. 8, nº 1, New York, 2008.

(4) «When knowledge wins...», op. cit.

(5) Cf. entre autres "Sauvons l’université !", par P. Jourde