« L’évaluation n’est pas l’alpha et l’oméga des politiques publiques »

La rédaction : L’évaluation des politiques publiques est à l’ordre du jour au moins depuis le rapport Viveret, en 1989. Pourquoi le Conseil d’État a-t-il estimé que ce sujet méritait une nouvelle analyse en 2020 ?

Martine de Boisdeffre : Il est vrai que c’est un sujet qui a été beaucoup étudié, ce qui rend d’ailleurs la tâche d’autant plus difficile. Mais il nous a semblé que le moment était très opportun pour le réexaminer du fait de différents phénomènes. Tout d’abord, il y a des éléments nouveaux comme l’open data, l’intelligence artificielle, la massification des données. Or les données sont indispensables pour évaluer les politiques publiques et il y a aujourd’hui une démultiplication des données mais aussi des méthodes pour les exploiter. Il y a également des champs de plus en plus complexes qui s’offrent à l’évaluation : la bioéthique, l’environnement. Il y a aussi des domaines plus classiques mais qui suscitent de la part de nos concitoyens une demande d’évaluation de plus en plus forte, comme la politique fiscale. Au-delà, il y a une exigence nouvelle de nos concitoyens, liée à la défiance qui les caractérise vis-à-vis des pouvoirs publics et des autorités. L’évaluation peut être un outil pour contrebattre cette défiance.

L’évaluation des politiques publiques est un atout pour la démocratie. D’une part, parce qu’elle éclaire la décision publique en permettant de mieux la prendre et de mieux la comprendre en y associant les citoyens. D’autre part, elle alimente le débat public et donne une nouvelle actualité à la reddition des comptes, vis-à-vis de citoyens qui demandent de plus en plus, et légitimement, à être pleinement informés.

La rédaction : Vous dites qu’il faut se garder de l’évaluation par l’administration sans aboutir toutefois à l’évaluation par l’administration. Qu’entendez-vous par là ?

Frédéric Pacoud : Cette phrase se trouve dans le passage de l’étude consacré à l’examen de la tension entre recherche de fiabilité, de crédibilité de l’évaluation et nécessité d’asseoir l’évaluation des politiques publiques sur des exigences de compétence et de rigueur. Et ceci dans un contexte particulier à la France qui est celui d’un cloisonnement entre la sphère administrative et le monde académique en matière d’évaluation. En France, l’évaluation s’appuie beaucoup sur des corps de contrôle et est moins en symbiose avec la sphère universitaire que ce peut être le cas aux États-Unis ou en Grande-Bretagne. Pour bien évaluer, il faut que les acteurs puissent s’approprier l’évaluation et qu’elle soit appropriée au contexte. Il faut éviter l’auto-évaluation parce qu’on en connaît très vite les limites. L’un des enjeux est le croisement des regards entre la recherche et l’action publique. Donc on a besoin de personnes intervenant dans d’autres secteurs, bénéficiant de connaissances économiques, sociologiques, économétriques, statistiques, historiques, etc., qui contribuent à un regard très riche sur l’action publique. Néanmoins, nous disons qu’il faut éviter l’évaluation sans l’administration. Car si l’on regarde seulement les effets sans prendre en compte les moyens de mise en œuvre de la politique, on peut se dire qu’une politique n’a donné aucun résultat. Mais ce n’est peut-être pas la politique qui était mauvaise mais l’administration qui n’avait pas les moyens de la mettre en œuvre ou n’a pas suivi la bonne méthode. D’où la nécessité d’une évaluation qui fait intervenir une multiplicité de regards administratifs, techniques, scientifiques, etc.

La rédaction : Vous déplorez que la France soit un des pays qui fait le moins appel aux compétences des universitaires pour évaluer les politiques publiques. À quoi cela est-il dû, que pourraient-ils apporter et comment faire en sorte qu’ils s’impliquent davantage ?

François Séners : C’est le produit d’une histoire qui est très centrée, chez nous, sur les ressources internes à la sphère publique. Par ailleurs, le tropisme de l’université ne la porte pas à s’intéresser à ces travaux aussi souvent qu’on pourrait le souhaiter. Il y a des laboratoires de très haut niveau qui sont très impliqués dans l’évaluation des politiques publiques mais ils ne sont pas si nombreux que cela.

Ils pourraient apporter le regard extérieur qu’évoquait Frédéric Pacoud, qui n’est pas seul légitime mais qui est un enrichissement, d’abord sur le plan des méthodes. Il y a des évaluations qui requièrent des méthodologies sophistiquées que les administrations ne maîtrisent pas toujours, alors que les équipes universitaires spécialisées ont fréquemment ce savoir-faire. Et puis il y a bien sûr ce regard indépendant, parfaitement libre, qui est extérieur à la politique publique et qui apporte une fiabilité dans l’analyse que les services administratifs n’ont pas toujours.

La grande difficulté est que cela n’est possible que lorsque le temps est laissé à l’évaluation de permettre le développement de méthodes auxquelles les universitaires sont rompus. Lorsque l’on est pressé d’avoir les résultats d’une évaluation, on ne trouve en général pas d’universitaire disposé à la mettre en œuvre parce que la méthodologie scientifique, le recueil des données, l’analyse de celles-ci, les enquêtes qualitatives qui peuvent être nécessaires prennent du temps.

Martine de Boisdeffre : Il y a des évaluations sur le long terme menées par des universitaires, notamment en matière d’emploi, qui sont absolument remarquables. Cela existe déjà et doit sans doute se développer, dans le souci de systématiser des évaluations de grande ampleur sur des sujets d’intérêt majeur, soit qui coûtent très cher, soit qui concernent une grande partie de la population. Le second moyen pourrait être de favoriser les allers-retours entre le monde universitaire et l’administration, par des contrats, des détachements. Par ailleurs, il y a des choix à faire, en admettant que l’évaluation ne sera peut-être pas toujours au même niveau d’approfondissement, pas toujours aussi longue, pas toujours aussi intégratrice de multiples points de vue.

La rédaction : Vous insistez sur l’importance des données mais vous dites aussi dans le rapport que l’évaluation n’est pas qu’une addition d’indicateurs. Comment trouver l’équilibre en la matière ?

Martine de Boisdeffre : Il est important, quand on lance une politique publique, de prévoir en amont le traitement des données et le financement de l’évaluation. Mais si les aspects quantitatifs sont nécessaires, ils ne sont pas suffisants. Il faut avoir toute une approche qualitative qui va intégrer aussi bien la façon dont la politique a été mise en œuvre que les réactions des usagers ou des aspects sociologiques. Nous évoquons la question des indicateurs à propos de la loi organique relative aux lois de finances (LOLF). La LOLF a été une ambition formidable mais qui n’a peut-être pas apporté tous les résultats espérés et cela justement à cause de la constitution des indicateurs.

François Séners : Nous ne sommes pas les premiers à dire que la LOLF a été victime du succès de l’intérêt pour les indicateurs. Il y en a à peu près 700 aujourd’hui ; on est monté jusqu’à près de 900. Ces indicateurs ont vocation à être scindés en deux grandes catégories : ceux qu’on pourrait qualifier de stratégiques, qui traduisent les grandes orientations des politiques publiques et ont vocation à être suivis par les responsables politiques ; et des indicateurs de second rang, de gestion, qui relèvent des responsables plus opérationnels. Mais cette distinction n’est guère appliquée dans la pratique. Lors de l’examen des projets de loi de finances, le Parlement passe très vite sur eux. Et l’aspect quantitatif, mécanique de l’examen des indicateurs dans les discussions entre budgétaires et gestionnaires n’est pas du tout en phase avec l’ambition initiale d’un outil de pilotage des politiques publiques. Nous appelons de nos vœux une focalisation sur les indicateurs les plus stratégiques qui peuvent servir à l’évaluation des politiques publiques.

Martine de Boisdeffre : Il ne faut pas penser que nous jetons les indicateurs par la fenêtre. Nous nous félicitons ainsi du fait que, depuis une circulaire d’avril 2019, des indicateurs doivent être posés dans l’étude d’impact des projets de loi. C’est assurément un plus.

Frédéric Pacoud : L’indicateur est plus tourné vers l’appréciation du résultat que des effets. C’est là toute sa limite. Regarder les résultats d’une politique peut conduire à ignorer ses effets. Un exemple bien connu est celui des aides au logement qui ont pour objectif d’aider les plus modestes à se loger mais qui, selon la plupart des évaluations, ont bénéficié essentiellement aux bailleurs qui ont augmenté les loyers. Si on ne se fie qu’à des indicateurs, on peut passer complètement à côté d’effets de ce type et d’une question fondamentale qui est celle des limites de l’évaluation.

Nous sommes assez attentifs à ne pas faire de l’évaluation l’alpha et l’oméga des politiques publiques. Pour bien évaluer, il faut avoir conscience de ses limites. C’est parce que l’évaluation comporte des limites qu’il faut avoir des regards multiples et pluridisciplinaires et des méthodes qui se combinent. Les indicateurs sont des outils très frustes : ils donnent des indications mais ne sauraient en elles-mêmes constituer une évaluation.

La rédaction : Vous évoquez les limites de la pratique. Celles-ci sont-elles liées aux méthodes ou au principe même de l’évaluation ?

Frédéric Pacoud : Aujourd’hui, les politiques publiques s’inscrivent dans un univers tellement compliqué ; il y a tellement d’interdépendances et d’effets que considérer qu’une seule évaluation pourrait donner la réponse qu’on attend n’est pas réaliste. Il faut favoriser la multiplicité des évaluations et des évaluateurs. Par ailleurs, l’évaluation permet de porter une appréciation sur la politique conduite mais elle n’est pas là pour dicter la solution et la politique à conduire. Cela reste le champ des responsables politiques. Ceux-ci doivent disposer des résultats mais ensuite, il leur appartient – et aux citoyens aussi – de faire les choix.

La rédaction : Ceci posé, tient-on suffisamment compte en France des résultats des évaluations ?

Martine de Boisdeffre : En effet, on n’utilise pas suffisamment les résultats. Peut-être parce qu’ils ne sont pas suffisamment connus, pas suffisamment publics. Il faudrait, le plus souvent possible, rendre publics les résultats des évaluations, éventuellement avec un certain délai si les commanditaires le jugent nécessaire. Parfois, aussi, les résultats d’une évaluation peuvent être techniques, complexes et il faut les traduire en langage courant.

La question se pose particulièrement pour l’évaluation des expérimentations. L’idée commence à rentrer dans les esprits qu’une expérimentation ne vaut que par son évaluation. Les propositions les plus importantes que nous avons faites en matière d’expérimentation ont été reprises par le projet de loi organique qui vise à refonder l’expérimentation pour les collectivités territoriales. Par ailleurs, la commission des lois de l’Assemblée nationale a mis en place deux missions d’évaluation d’expérimentations qui sont en cours. C’est une démarche très importante qui va permettre d’ajuster des réformes grâce à une évaluation in itinere. Tout n’est pas parfait mais je pense qu’on est en marche vers une amélioration. Et nous faisons des propositions pour accentuer la vitesse de la marche.

La rédaction : Comment peut-on faire participer les citoyens dans l’évaluation des politiques publiques ?

François Séners : Il y a deux ans déjà, l’étude sur la citoyenneté (v. Dalloz actualité, 28 sept. 2018, interview de François Séners et Timothée Paris, par M.-C. de Montecler et J.-M. Pastor) suggérait d’associer les citoyens à l’évaluation des politiques publiques. Depuis, il y a un consensus sur l’idée qu’une bonne évaluation doit, d’une façon ou d’une autre, en amont ou en aval, associer des citoyens. En amont, cela porte sur la définition des objectifs d’évaluation. Nous insistons beaucoup sur le fait que la bonne évaluation commence par définir ce qui est recherché. Que souhaite-t-on évaluer, avec quel prisme et, le cas échéant, quelle ouverture de champ ? Les citoyens peuvent évidemment aussi être légitimes dans la phase plus en aval du processus qui est la conduite de l’évaluation. Enfin, ils peuvent être associés à la restitution des travaux de l’évaluation. Pour être un outil efficace de débat démocratique, l’évaluation ne peut en aucune façon être une affaire de technocrates, d’universitaires, d’experts, aussi compétents soient-ils. Cela doit être un processus impliquant les citoyens.

Propos recueillis par Marie-Christine de Montecler et Léa Zaoui, pour l’AJDA