Navigation – Plan du site
Politique de la recherche
L'évaluation de la recherche en Angleterre et en France

Du Research Assessment Exercise au système metrics

Nathan Schlanger
p. 57-59

Texte intégral

  • 1  Cet exercice est complété par un autre, avec ses propres critères et échéances, portant sur l’ense (...)

1Jusqu’au coup de théâtre du chancelier Gordon Brown dans son budget du 22 mars 2006, la recherche anglaise semblait s’accommoder relativement bien du mode d’évaluation de ses institutions académiques – le célèbre Research Assessment Exercise1. Inauguré en 1986, le Rae a instauré une procédure explicite et formalisée d’évaluation collégiale (peer-review) de la recherche à l’échelle institutionnelle, principalement celle des départements, des instituts ou des facultés d’université. Méritant pleinement son nom, l’exercise s’installa vite dans les mœurs et les psychés collectives. Comme l’atteste l’ampleur de sa précédente édition en 2001 – pas moins de 50 000 chercheurs évalués dans le cadre de 2 598 soumissions provenant de 173 instituions d’enseignement supérieur –, il s’agit là d’une campagne complexe et savamment orchestrée à l’échelle nationale, mobilisant des semestres et des années durant, experts, administrateurs, recruteurs, rédacteurs, lecteurs, maisons d’éditions et autres imprimeurs, tous frénétiquement à l’œuvre jusqu’à la fatidique date de soumission. Et jusqu’à l’attente des résultats, dont l’importance est loin de se réduire au prestige ou au symbolique. Une bonne note à l’exercice promet d’augmenter sensiblement la quantité et la qualité des étudiants inscrits (qui sont eux-mêmes sources de revenus) mais aussi, et surtout, de mieux se positionner dans la quête de divers fonds structuraux et crédits de fonctionnement, laboratoires, équipements etc. pour la recherche. Le lien entre ranking (ou plutôt rating) et funding est d’autant plus indéniable que c’est – de façon qui peut nous sembler surprenante – le Higher Education Funding Council for England (Hefce) qui est l’instigateur et le maître d’œuvre de l’exercice. C’est d’ailleurs ce lien, comme nous le verrons, qui s’avère être le talon d’Achille de l’exercice.

Le Rae 2008

2Le prochain exercice (et sans doute le dernier) aura lieu en 2008, avec comme date butoir le 30 novembre 2007. Dans ce cadre, soixante-sept disciplines académiques (Units of Assessment ; Uoa) ont été identifiées, chacune dotée d’un comité d’évaluation dont les membres, près d’un millier au total, sont nommés par les organismes financeurs, comme le Hefce, sur recommandation des associations et corps professionnels. Les Uoa sont regroupées en quinze niveaux supérieurs (main panels) de disciplines avoisinantes partageant des démarches de recherche similaires, ce qui permet d’assurer une certaine cohérence dans le choix des critères d’évaluation et dans leur application, mais aussi, de faire place à des évaluateurs internationaux.

3À la suite d’une démarche préliminaire d’identification et d’inscription, chaque département désirant être évalué soumet au Rae un dossier comprenant les éléments suivants :

  • un résumé général des activités académiques et de recherche de l’institution ;

  • un profil détaillé des personnes sélectionnées par l’institution comme étant « en activité de recherche » (reserach-active) à la date butoir du 31 octobre 2007 ;

  • quatre items de « production de recherche » (livres ou articles), publiés par les précédents durant la période d’évaluation (1erjanvier 2001-31 décembre 2007) ;

  • le nombre d’étudiants de recherche (master, doctorat) ;

  • le nombre et l’origine des bourses qui leur sont attribuées ;

  • les sources et le nombre de financements externes (appels d’offres) ;

  • une description de l’environnement de recherche et les indicateurs d’estime (voir plus bas).

4Pour le Rae 2008, l’archéologie (Uoa 33) a été positionnée dans le main panel H, avec comme disciplines connexes l’architecture, l’environnement bâti, la planification urbaine et rurale, la géographie et les études environnementales. Ce voisinage surprenant, reflet sans doute des rapports « post-convention de Malte » entre patrimoine et aménagement, ne semble pas avoir ébranlé l’identité de la discipline. Au contraire, les onze membres du comité d’évaluation de l’archéologie sont tous d’éminents professeurs : son président, Graeme Barker, a été récemment nommé Disney Professor à l’université de Cambridge, Stephen Shennan est le nouveau directeur de l’institut d’Archéologie à Londres, et Chris Gosden vient d’obtenir le poste de professeur d’archéologie européenne à l’université d’Oxford. C’est dire le sérieux de l’exercice, qui mobilise des sommités scientifiques, toutes de grandes figures institutionnelles, pour la plupart bien en phase avec l’establishment hégémonique. Admettons que cette somme d’expertise et d’expérience n’est pas démesurée ou hors de propos étant donné que l’archéologie ainsi évaluée comprend, dans l’ordre énoncé : théorie et historiographie, archéologie des origines humaines, sociétés préhistoriques et historiques du monde, anciennes civilisations, égyptologie, archéologie classique, archéologie médiévale et post-médiévale, archéologie coloniale et industrielle, archéologie environnementale et du paysage, sciences archéologiques, archéologie et public, gestion du patrimoine et muséologie, archéologie et éducation, archéologie et conservation.

L’évaluation

5La trentaine de départements d’archéologie qui se plieront à l’exercice 2008 feront l’objet d’une expertise peer-review par les membres du comité, qui rassembleront leurs meilleures connaissances et jugement pour apprécier collectivement la qualité de chaque soumission. L’évaluation n’est pas un classement relatif du premier au dernier, mais bien une note attribuée sur une échelle de une à quatre étoiles selon des critères voulus absolus et, en tout cas, clairement affichés. La note totale accordée traduit trois éléments :

  • les « indicateurs d’estime » (10 %), établis sur la base de la contribution de l’institution et de ses membres évalués, leur impact, leurs politiques académiques et/ ou leur engagement vis-à-vis de la communauté, etc. ;

  • « l’environnement de recherche » (15 %), comprenant les infrastructures et les stratégies de recherches, les plans de recrutement, le nombre et la qualité des étudiants et de leurs bourses, et les sources de financements (externes, concours) ;

  • les « productions de recherche » (75 %) – livres, articles – qui feront l’objet d’un examen et d’une lecture partielle ou totale et seront chacun noté de une à quatre étoiles (voir articles 19, 21, 35, du Uoa Archaeology statement, Panel H). Le comité accordera un poids maximal aux productions de recherche qui (i) montrent de l’originalité, (ii) font l’objet d’une méthodologie de recherche rigoureuse, et (iii) ont apporté ou sont susceptibles d’apporter une contribution significative à la discipline. Chacun des produits de recherche fait l’objet d’une évaluation et d’une notation séparées.

Spécificités actuelles

6Dans son format actuel, l’exercice mobilise des énergies administratives et intellectuelles importantes autant de la part des évaluateurs que des évalués.

7Pour les premiers, il s’agit d’une surcharge de travail évidente qui les détourne de leurs propres obligations ou vocations (par exemple la recherche !) mais qui leur offre, du coup, une perspective panoramique et détaillée inégalée sur l’état de la recherche archéologique anglaise dans chaque département et dans le pays dans son ensemble. Quant aux institutions évaluées, elles veulent s’assurer de « l’estime » qu’elles reçoivent et de « l’environnement de recherche » qu’elles offrent, et avant tout de l’abondance et de la qualité de la production de recherche de leurs membres. Un des syndromes du Rae est donc la course à la publication (avec accélérations parfois intempestives de la rédaction, de la correction et de l’impression) avant la date limite du 31 décembre 2007. Un autre syndrome, tout aussi caractéristique, est la mobilité à travers le pays des chercheurs arrivant avec, comme bagages convoités, leurs champs d’expertise, leur renommée et, bien sûr, leurs meilleures publications des six dernières années qui seront portées au crédit de leur nouvelle institution si leur contrat est signé avant le 1er octobre 2007. Ainsi, les archéologues anglais reconnus comme research-active (sans parler des autres, dévalorisés) participent à un grand jeu de chaises musicales à travers le paysage de la recherche, en fonction des besoins des institutions et des compétences des individus. Autant d’un point de vue scientifique que social ou économique, ce brassage peut s’avérer fort enrichissant : dans un contexte où on aspire plus à la permanence du travail que du poste, le Rae est une bonne occasion pour les chercheurs impliqués – qu’ils soient en partance ou, au contraire, retenus – de revoir leurs rémunérations, avancements, conditions de travail, charge d’enseignement, choix de doctorants, crédits de recherche, de fouilles, de publications, etc.

8Vu son contexte et ses conditions d’application, le Rae semble dans l’ensemble satisfaire la communauté scientifique anglaise. Les critères et les procédures d’évaluation voulues explicites et transparentes, sont, en tout cas, clairement affichées et accessibles à tous2. Il en va de même pour les évaluateurs, connus nominalement mais aussi reconnus par leurs pairs pour leurs compétences archéologiques indéniables.

Un futur incertain

9Seulement voilà, ce vaste exercice coûte manifestement très cher en temps et en argent. C’est bien pour cela que le chancelier Gordon Brown, dans son budget speech du 22 mars 2006, proposa astucieusement d’abolir purement et simplement l’exercice en cours. Astucieusement car, si comme on pouvait s’y attendre, Brown et ses conseillers ont dû faire marche arrière sur ce point précis à la suite des protestations outragées du monde académique – le Rae 2008 aura bien lieu –, ils ont cependant réussi à imposer que cet exercice soit le dernier, et qu’on procède dorénavant de façon radicalement différente pour l’évaluation de la recherche en Angleterre.

10Bien qu’encore imprécis, le nouveau système sera fondé sur l’évaluation par des metrics, indicateurs statistiques qui ont – du moins pour les fonctionnaires tout-puissants des finances – le mérite d’être à la fois objectifs et peux coûteux. Mis à part des mesures relativement anodines telles que les ratios de chercheurs, d’enseignants et d’étudiants en master et en doctorat, le système repose sur deux piliers fondamentaux : d’une part, le nombre de citations de la recherche publiées (citation index) et, d’autre part, les revenus obtenus par des contrats de recherche (concours, brevets, projets). À l’évidence, ce système a été principalement conçu pour les disciplines telles que science, technology, engineering and medicine, communément dénommées (Stem). Avec leurs méthodologies, rythmes et pratiques de diffusions spécifiques, une évaluation « bibliométrique » semble apte à mesurer la valorisation ou la reconnaissance de la recherche, d’autant plus que les citation index d’aujourd’hui, moins primitives que par le passé, peuvent gérer des aspects perturbateurs tels que l’auto-citation, les multiples auteurs ou le rang des revues.

11Les disciplines non Stem, c’est-à-dire les sciences humaines et sociales – qui, ne l’oublions pas, constituent la moitié du volume de l’activité universitaire anglaise – feront l’objet d’un « light touch » peer review qui, on l’espère, distinguera la quantité de la qualité, les productions novatrices des marginales, celles qui ont un impact à long terme, celles publiées dans des revues moins cotées ou encore rédigées dans des langues étrangères. Parmi les sciences humaines, l’archéologie affronte un défi supplémentaire du fait de son recours important aux sciences naturalistes et dites dures (paléo-environnements, datations, archéométrie) – comment évaluer ces productions-là par rapport aux autres, comment maîtriser une dérive vers les programmes et les financements « scientifiques » ? En effet, même s’il est difficile à l’heure actuelle de pronostiquer, il est fort probable les disciplines non ou moins scientifiques, dont l’archéologie, soient reléguées au second plan des préoccupations des bailleurs de fonds qui préfèrent privilégier la recherche « appliquée » et « utile » à celle dite « fondamentale » ou « blue sky ».

12En dehors du citation index et ses limitations inhérentes, il est probable que l’autre volet du système metrics, les revenus de la recherche, fera aussi des victimes. La distinction entre les financements de recherche « structuraux » ou « globaux » et ceux qui sont obtenus par appel d’offres ou pour projets spécifiques est en soi assez courante. Cependant, le nouveau système franchit un palier, en souhaitant faire dépendre l’attribution des uns du succès dans l’obtention des autres. Seront de fait pénalisées les disciplines qui par nature et disposition ne sont pas fortement impliquées dans la course aux grants – c’est-à-dire celles dont les contributions et les découvertes inestimables ne demandent souvent pas beaucoup plus qu’une bonne bibliothèque libre d’accès, quelques salaires peu exorbitants, et… du temps pour la réflexion et la rédaction, à moins qu’elles ne s’enlisent, elles aussi, dans la course aux appels d’offres souvent trop gonflés et cyniques, simplement pour pouvoir payer des missions ou des taille-crayons.

13Au-delà de l’alarmisme manifeste des collègues et des médias d’outre-Manche, le constat est plutôt sombre. Ne pouvant faire valoir pléthores de citations ni moins encore des revenus propres de recherche, des disciplines comme la philosophie, la philologie, l’histoire et, pour l’essentiel, l’archéologie verront leurs budgets de fonctionnement drastiquement réduits, avec, pour conséquences, des réductions d’activités et d’effectifs, des fermetures de modules d’enseignement et de recherche, voire, des licenciements et des plans sociaux. Y a-t-il, là encore, une leçon anglaise pour l’archéologie française ?

Haut de page

Notes

1  Cet exercice est complété par un autre, avec ses propres critères et échéances, portant sur l’enseignement supérieur.

2  Voir http://www.rae.ac.uk/ et spécifiquement pour l’archéologie, www.rae.ac.uk/panels/main/h/archaeology d’où sont tirées la plupart des données présentés ici.]

Haut de page

Pour citer cet article

Référence papier

Nathan Schlanger, « Du Research Assessment Exercise au système metrics », Les nouvelles de l'archéologie, 107 | 2007, 57-59.

Référence électronique

Nathan Schlanger, « Du Research Assessment Exercise au système metrics », Les nouvelles de l'archéologie [En ligne], 107 | 2007, mis en ligne le 22 avril 2011, consulté le 27 mars 2017. URL : http://nda.revues.org/504 ; DOI : 10.4000/nda.504

Haut de page

Auteur

Nathan Schlanger

Inrap, Parisnathan.schlanger@inrap.fr.

Articles du même auteur

Haut de page

Droits d’auteur

© FMSH

Haut de page
  • Logo Éditions de la Maison des sciences de l'homme
  • Revues.org