S’il est une route couvertes de roses, celle
de l’évaluation des politiques publiques d’éducation doit, elle, chercher sa
voie au milieu de ronces, d'orties et de chardons, parfois se perdre dans
les sables du désert et surtout se noyer dans l’hypocrisie générale. Quelles
questions taboues lui font obstacles ?
Une
histoire de l’évaluation relativement récente
S’inspirant de modèles étrangers (Suède, Grande-Bretagne,
USA…), le Parlement français récemment élu s’apprête à prendre des mesures pour
renforcer son efficacité en matière d’évaluation de politiques publiques. En
particulier, il envisage de créer en son sein, en trois étapes, un « office
d’évaluation des lois ». Il marquera cela en organisant en 2019 un « Printemps
de l’évaluation ».
À n’en pas douter, à terme, cela impactera
le secteur de l’éducation car rien ne dit qu’il en aille différemment pour lui que
pour d'autres domaines de l’action publique comme, par exemple, la
santé.
Dans notre pays, la politique publique
d’éducation relève du gouvernement et du Parlement. Son évaluation également, avec pour le Parlement un appui éclairé de la Cour des comptes qui s'est nettement accentué
depuis la réforme constitutionnelle de 2008 (article 24).
Somme toute, en France, l’histoire de
l’évaluation des politiques publiques d’éducation, bien que relativement récente,
connait déjà plusieurs étapes.
La
Direction de l’évaluation, de la prospective et de la performance
Si l’on met à part les inspections
générales qui, de tradition, ont longtemps fait plutôt de l’audit, le point de
départ majeur remonte à René Monory lorsqu’il découvrit avec stupéfaction que
le ministre ne disposait pas d’instrument pour le pilotage de son action. Pour y remédier, il créa en 1987 la Direction de l’évaluation et de la prospective (DEP),
devenue plus tard la Direction de l’évaluation, de la prospective et de la
performance (DEPP) sous l’influence de la culture de la LOLF, une loi
longuement préparée, votée en 2001 et appliquée à partir de 2006[1].
Dirigée par des personnes de grand talent
comme Jean-Pierre Boisivon, Claude Thélot, Jean-Richard Cytermann ou Catherine
Moisan, cette direction est devenue un robuste outil largement reconnu, fournissant
régulièrement au ministre et à son administration, aux pouvoirs publics, aux
élus, aux médias, à la société civile, aux chercheurs et à tous les acteurs concernés, de solides
données statistiques sur les sujets d’importance.
Que
fallait-il de plus ?
À
l’instar de nombreux pays développés, le nôtre avait à gagner de disposer d’une
instance d’évaluation indépendante du politique (mais redoutée de tout ministre) et de la technostructure, pour
éclairer la société dans son ensemble sur les questions scolaires, idée qui fit
son chemin dans les années 1990. Une telle instance doit faire parler les
données existantes, les analyser, les critiquer, mais aussi en chercher
d’autres sur les points restés dans l’ombre des statistiques officielles. Elle
peut aussi mettre en doute les méthodologies employées par les uns et par les autres pour leurs divers travaux.
Ainsi fut créé, par un décret en 2000, le premier Haut conseil de l’évaluation de l’école (HCEE), d’abord présidé par Claude
Thélot, puis par Christian Forestier.
Alors qu'il avait rapidement et bien rempli
sa mission (nous le verrons), le mal français allait le frapper ! Au fil
des changements de majorité politique il sera, à deux reprises, remplacé par une
autre instance en 2005, puis en 2013, suite au vote de deux lois.
Aujourd’hui, le Parlement, insatisfait, nous verrons pourquoi, repose la question de l’instance d’évaluation de politique publique d’éducation
nécessaire pour la Nation.
Faisons
un pas de côté
Pour prendre un peu de recul tout en
restant en France, on peut regarder l’enseignement supérieur où des évolutions
parallèles se sont faites, mais en lien avec les pratiques des grands pays
développés.
Les universités françaises attendent des
évaluations externes qu’elles leur permettent de se situer par rapport à leurs prestigieuses homologues étrangères, principalement en termes de recherche
et de plus en plus d’accès des étudiants aux emplois hautement qualifiés. Elles
articulent les évaluations externes internationales et nationales avec leurs
autoévaluations et leurs démarches qualité, au moins pour celles, en nombre croissant,
qui en pratiquent.
Les évaluations doivent aussi éclairer les
pouvoirs publics et la Conférence des présidents d’universités pour leur
permettre de faire de la prospective et arrêter des stratégies de développement
collectif.
Lors de la négociation des contrats des
universités, les évaluations doivent être crédibles aux yeux des puissants
lobbies disciplinaires (médecine, droit…), ainsi que de la société civile, des
médias, des conseils régionaux, du monde économique et des étudiants. Ces
derniers font leurs choix d’établissements en croisant différents paramètres trouvés
sur des sites, intégrant la facilité d’accès à des emplois (avec un vif intérêt
pour l’international, l’innovation, le numérique, le monde de l’entreprise…) et
surtout les niveaux de rémunération auxquels ils conduisent. Les métiers les
plus attractifs aujourd’hui ne sont plus ceux qui l’étaient il y a quinze ans.
Pour l’enseignement supérieur, les deux
récents Hauts conseils[2] qui se sont succédé ont renforcé
leur réseau d’experts français et étrangers et surtout raffiné leur
méthodologie (formalisée et publique), ainsi que leurs outils. Leur
indépendance est patente et ils disposent d’un code de déontologie qu’ils
respectent. La Conférence des présidents d’université exerce une grande vigilance sur ces sujets sensibles.
La situation de l’enseignement supérieur est
particulière : en plus des écoles d’ingénieurs et des institutions de
recherche, il n’existe qu’un petit nombre d’universités (75), autonomes et souvent
puissantes. Rien de tel pour l’enseignement scolaire avec ses près de 60 000 micro unités que sont les écoles et les établissements secondaires. La comparaison s’arrête donc là.
Un
patchwork d’évaluations dans
l’enseignement scolaire
L’enseignement scolaire ne souffre pas du manque d’évaluations, mais de leurs liens à l’exécutif, ainsi que de
la pesanteur des processus de décision de l’action publique, freinée par la rigidité
de la lourde technostructure.
Les rapports des inspections générales
répondent à une commande du ministre. Ils lui sont destinés et ne sont publiés
qu’avec son autorisation. Cela explique que ces textes soient souvent compassés et peu percutants car leurs rédacteurs ne veulent pas courir le risque
fréquent de les voir rester dans un placard, au moins jusqu’à l’arrivée d’un
nouveau ministre qui se fait un plaisir de rendre publiques les études
placardisées par son prédécesseur. Dans mon dernier livre[3], j’ai donné des chiffres sur
quatre décennies.
Plus redoutable encore, l’autocensure
fonctionne à plein régime, chaque ministre sachant comment l’entretenir, et
cela marche parfaitement !
S’ajoutent aux rapports des inspections
générales, les nombreuses productions de la DEPP. Elles sont publiques, mais
leur ampleur[4] tient elle aussi à la volonté du ministre : rien de plus naturel puisque c’est
une direction ministérielle…
De plus, leur technicité et l’abondance
des données fournies les rendent lisibles des seuls spécialistes, difficilement
des médias et encore moins de la société civile. Ce ne sont pas des outils de communication
grand public, sauf pour quelques documents qui mettent en évidence des données
nouvelles allant à parfois l’encontre d’idées reçues, ce que repèrent les journalistes
friands de telles informations.
Observons encore une curiosité française : une direction, la DGESCO, fait ses propres évaluations ! Il est surprenant de voir un
donneur d’ordres opérationnel évaluer lui-même les actions qu’il a décidées et
mises en place, attitude typiquement bureaucratique et centralisatrice. Question d'éthique, ce serait inenvisageable dans la majorité des pays démocratiques.
Non seulement il manquait de la cohérence dans
ce paysage bigarré, fait de bric et de broc, mais les analyses étayées faisaient défaut et surtout les nécessaires
jugements de valeurs, essence de
l’évaluation à proprement parler.
Évidemment, ce n’est pas à une direction
ministérielle de le faire puisque, de classiques raisons déontologiques exigent de ne pas être juge et partie. Une direction ministérielle peut y contribuer,
mais seulement à la demande expresse, transparente et bien cadrée des
évaluateurs patentés.
Le
premier Haut conseil à l’évaluation pour l’enseignement scolaire
Un changement d’importance s’est produit
en 2000. Faut-il y voir une conséquence de la première publication des
résultats de l’enquête internationale PISA qui arrivait alors ? Oui, sans
doute. De timides et lentes évolutions culturelles allaient alors s’amorcer en France.
En moins de 20 ans, il y aura trois instances
successives chargées officiellement de l’évaluation du système éducatif et déjà
une nouvelle mouture pourrait s’annoncer ; nous saurons dans quelques semaines ce
qu’il adviendra.
Ainsi, le Haut conseil d’évaluation de
l’école (HCEE) créé en 2000 le fut à une époque où, sans disposer du moindre
élément de preuve à l’appui, beaucoup de Français croyaient encore naïvement en
un mythe. Ils répétaient à satiété que nous avions le meilleur système éducatif
au monde et qu’il était attentivement observé par les autres pays rêvant de
nous imiter.
Le choc allait être rude à l’annonce des
résultats de la première enquête PISA ! Il nécessitera deux décennies pour
être digéré. Et encore : l’est-il vraiment aujourd’hui ? La publication
des enquêtes internationales, les unes après les autres[5], ajoute de nouvelles
secousses… pas nécessairement suivies d’effets en France. Bureaucratie, quand tu nous tiens !
Pendant 5 ans, sujet après sujet, le HCEE
allait présenter, commenter, analyser les résultats d’un système qui, jusque-là
ne s’interrogeait pas sur son impact, ses résultats, ses forces et surtout sur ses
faiblesses régulièrement mises sous le tapis ! Les questions étaient
taboues et certains aujourd’hui encore voudraient qu’elles le demeurent. Leur technique est simple : ne pas répondre aux questions sensibles qui se
posent et pour occuper le terrain, se préoccuper d’autres. Seule importait une
vue idéologique de l’éducation, souvent encore présente et poussant au statu quo.
Après le remplacement en 2005 du HCEE, ses
deux anciens présidents successifs, Claude Thélot et Christian Forestier
publièrent en collaboration avec Jean-Claude Emin, en 2007, un livre[6], récapitulant ce que l’on
savait alors de la valeur du système éducatif français. Pour piloter par les
résultats, dans l’esprit de la LOLF, il faut d’abord les connaître. Dans leur
ouvrage, les auteurs s’employèrent à livrer au grand public, aux acteurs et,
bien sûr, à tous les décideurs, des résultats tangibles, finement
analysés.
Le
second Haut conseil à l’évaluation
À la suite de la loi Fillon en 2005, le Haut conseil de l’éducation (HCE) succéda au HCEE. Il travaillera jusqu’en 2013
(loi Peillon). La Cour des comptes, dans son récent rapport, évoque positivement
ce qu’il fit alors.
Par des modalités différentes, mais dans
un esprit proche du premier Haut conseil, cette quasi autorité administrative
indépendante, prolongea les travaux[7] de son prédécesseur et mit
à profit son indépendance pour éclairer chacun des segments du système éducatif
(enseignement primaire, enseignement professionnel, collège…). Il voulait montrer, sans
concession, en termes simples et précis, compréhensibles du grand public, ce
que disent les résultats du système éducatif mesurés de différentes manières. Il s’employait aussi à
faire connaître ses constats et ses analyses à la société civile, intéressée et souvent très
surprise.
En 2013, son indépendance inhabituelle,
notamment par rapport aux syndicats, provoqua, son remplacement par le Conseil
national d’évaluation du système scolaire (CNESCO) qui fut inscrit dans la loi Peillon.
Ainsi, par ses liens au ministre, à la technostructure et à ses diverses composantes, le
législateur faisait entrer ce nouveau conseil dans un moule plus habituel.
Les
avis de Comité parlementaire de suivi de la loi Peillon
De par son origine, le CNESCO figurait
dans le champ des investigations du Comité parlementaire de suivi de la loi de
Refondation, institué par la loi elle-même et dont les travaux d’évaluation étaient
destinés au Parlement avant d’être rendus publics.
Le premier des rapports[8] de ce comité reconnut que
le CNESCO menait de nombreuses activités, notamment en communication et
animation (conférences de consensus), mais que celles-ci n’étaient pas inscrites
dans la loi.
En revanche, les missions prévues par le
législateur en termes d’évaluations de politiques publiques n’étaient que partiellement
assurées, notamment celles concernant les méthodologies des divers évaluateurs.
Un an plus tard, ces appréciations furent précisées et confirmées par le second rapport du Comité, puis, récemment, par la Cour des
comptes.
Dans le rapport d’activité du
CNESCO en 2017, on trouve la liste des 12 chantiers qu’il envisage de mener
dans les deux ans qui viennent. En les examinant un à un, chacun peut se
demander combien d’entre eux relèvent d’évaluation de politique publique
d’éducation.
Enfin, pour dire vrai, je n’arrive pas à distinguer
ce que l’on sait de réellement nouveau en 2018 sur la valeur du système éducatif français par
rapport aux travaux conduits par les deux précédents Hauts conseils. Les 16 évaluations résumées en deux pages et publiées par le CNESCO en cette fin de mois de juin ne font qu'illustrer mes propos et renforcer mon sentiment.
Une
curieuse et inhabituelle auto proclamation de scientificité
Le rapport du CNESCO sur les inégalités
sociales et migratoires illustre ses pratiques. Son opération de communication
de grande envergure soulève de légitimes questions épistémologiques par le discours insistant sur la « scientificité » du travail
accompli, brandie comme un fanion.
La présence de chercheurs, même de renommée internationale, ne garantit rien, à elle seule, en matière de
scientificité, ni a fortiori la simple
juxtaposition de leurs travaux.
La science exige des débats entre pairs, sur
des travaux différents mais menés sur un même objet, à travers la mise en question des
hypothèses, des méthodologies et des études conduites. Cette étape fut amorcée,
empiriquement, indépendamment du CNESCO, il y a quelques mois, dans des médias grand public par Denis
Meuret, Jean-Michel Blanquer (qui n’était pas encore ministre), François Dubet,
Pierre Merle…
Se pose aussi la question de
l’ensemble des travaux regroupés : peut-on « scientifiquement »
fonder une compilation ? Pourquoi tel ou tel aspect n’est-il pas pris en
compte ? N’existe-t-il pas des données d’une autre nature ?
Sur quelle base les choix sont-ils faits ? Par qui ?
Étrange et plus délicat : l’ensemble présenté
s’achève par des recommandations, parfois déjà connues et formulées ailleurs. On n’est donc pas
dans le registre scientifique sans cesse évoqué. Qui propose ces
recommandations ? Comment chacune s’articule-t-elle aux constats ? On
le sait : sur la base de tels éléments, des groupes d’experts différents ne formuleraient
pas les mêmes. Quelle est la légitimité de celles présentées ici ? Catherine Moisan le rappelait récemment : « les chercheurs sont
là pour éclairer, pas pour prescrire ».
Enfin, plus curieux encore, ces
recommandations n’avaient-elles pas déjà été citées, 3 ans avant, lors des
groupes de travail préparatoire à la loi Peillon ?
Sciences
et communication : la confusion
Les spécialistes en évaluation de
politiques publiques ne se prévalent pas de scientificité (même si des associations internationales de chercheurs comme l'ADMEE-Europe organisent de riches colloques et que la Cour des
comptes fait de très intéressants séminaires auxquels j’ai quelques fois plaisir à
participer). Ils se préoccupent de rigueur :
la méthodologie employée doit être préalablement présentée et chacun doit pouvoir s’assurer
que celle utilisée est bien celle annoncée. Rien de tel pour le CNESCO dont la
méthodologie est invisible et surtout qui n’a pas interrogé celles des autres instances
d’évaluation, contrairement à ce que la loi attendait de lui.
À faire comme si sciences et communication
pouvaient se mêler dans un même paradigme, crée de la confusion. Et pour dire
vrai, est-ce le travail que le Parlement attendait ?
Quelle
instance indépendante faudrait-il ?
Sauf souvent par le ministre en exercice, l’intérêt de l’existence d’une instance d’évaluation
indépendante est assez largement partagé, mais par ceux qui, par idéologie,
rejettent pour les questions d’éducation, toute idée d’évaluation de politique
publique. Et il y en a, surtout chez les pédagogues français, allez savoir
pourquoi ?
L’indépendance est un croisement subtil de
deux paramètres différents : l’indépendance de la structure en tant que telle, et
celle des personnes désignées en son sein et investies de la mission
d’évaluation.
La structure est, ou pas, rattachée au
ministre ; la différence est essentielle. Que ferait la Cour des comptes
si elle était dépendante du Premier ministre ?
La structure est, ou pas, tributaire de différentes façons des
services ministériels. Elle est, ou pas, autonome pour recruter ses experts,
français et étrangers, et pour gérer librement un budget suffisant. Clairement,
celui du CNESCO ne l'est pas compte tenu de l’ampleur des missions que la
loi lui confère.
Pour renforcer sa force de frappe de façon
conséquente on pourrait imaginer que le tiers (ou la moitié) des inspecteurs
généraux soient, à tour de rôle, détachés pour trois ans en son sein. Ils lui
apporteraient des forces vives, de l’expertise, et ils pourraient se former à
l’évaluation de politique publique, ce qui, à leur retour dans leurs fonctions
habituelles enrichirait le groupe des inspecteurs.
Les autorités administratives
indépendantes comme le CSA, le HCERES ou la CNIL savent faire preuve
d’indépendance lorsque cela leur semble nécessaire, pas seulement au niveau du
verbe, ce que les médias ne manquent pas de noter.
Une telle structure n’est pas la seule
solution envisageable. Et même, rien ne dit qu’elle soit pertinente pour
l’enseignement scolaire en raison de ses spécificités.
D’autres pistes sont à explorer. Cette
instance pourrait être liée soit à la Cour des comptes et présidée par un
conseiller maître, soit à l’office d’évaluation en préparation au niveau du
Parlement, et présidée par un parlementaire.
Certains évoquent l’idée d’une simple
plateforme, en fait une agence qui passerait des commandes d’évaluations à différents centres
d’experts dont le CNESCO, la DEPP, Sciences Po... puis évaluerait les productions fournies avant de les faire parvenir
à qui de droit. Elle mériterait d'être présidée par un grand commis de l'Etat
L’indépendance
de ses membres
Quelle que soit la formule retenue, l’indépendance
des personnes nommées pour assurer les missions fixées par la loi est encore
plus fondamentale.
Comment peuvent-elles disposer d’une
réelle autonomie lorsqu’elles sont désignées par le ministre ou au nom de
certains organismes qui vont s’ériger en lobbies
et tenter, par ces intermédiaires, de peser sur les débats internes, même si,
comme il se doit, ils ne sont pas publics.
Comment assurer une distance suffisante
avec le ministre et son cabinet ? Quelles règles déontologiques fixer pour
les relations entre le ministère et cette instance ? Un code éthique est nécessaire, comme il en existe pour plusieurs Hauts conseils d’évaluation.
Vue leur importance, les règles
déontologiques devraient être fixées par le Parlement et inscirtes dans le marbre.
Après tout, qui désire que se fasse, en
France, de l’évaluation de politique publique d’éducation ? Veut-on vraiment savoir ce que vaut le système éducatif
français et en quel sens il évolue ? Selon une célèbre publicité, en
matière d’évaluation, doit-on seulement se contenter de Canada dry ?
[1]
Notons que l’un de ses deux rédacteurs, Didier Migaud, est depuis 2010 le
Premier président de la Cour des comptes.
[2]
L’agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) créée
en 2006, et le Haut conseil de l’évaluation de la recherche et de
l’enseignement supérieur (sous la forme d’une AAI), qui lui a succédé en 2014.
[3] Bouvier
A. (2017) : Pour le management
pédagogique : un socle indispensable Connaître – Éclairer
– Évaluer – Agir, collection
les Indispensables, Paris, Berger-Levrault.
[4] On
trouve des données précises dans Bouvier A. (2017).
[5] Cf sur
ce Blog notre billet consacré à ce sujet
[6] Que vaut l’enseignement en France ?
Paris, Stock
[7] Ses
rapports étaient destinés au Président de la République, transmis au
Parlement et rendus publics.
[8]
Approuvé, page à page, à l’unanimité de ses membres : 4 députés (dont le
rapporteur de la loi), 4 sénateurs et 4 experts (je suis l'un d'eux).
