1. Quelle définition pour l’évaluation à l’IWEPS ?
Quoi ?
L’évaluation est une démarche de collecte et d’analyse d’informations relatives à l’action publique, en vue de construire un jugement sur la valeur de cette action.
Une évaluation objective et systématique spécifie sa base de jugement et repose sur des standards, portant tant sur des impératifs de scientificité que sur la qualité du processus social d’élaboration du jugement.
Dans la pratique, l’évaluation peut prendre de multiples formes (Owen et Rogers, 1999; Owen, 2020). Elle peut étudier une situation problématique – et les actions publiques existantes – et aider à construire une action publique pour y répondre (évaluation proactive). L’évaluation peut aussi décrire la rationalité de l’action publique, permettant de lier la problématique initiale aux objectifs visés par l’action (évaluation clarificatrice). L’évaluation est en mesure d’accompagner et d’améliorer la mise en œuvre d’une action publique (évaluation interactive). L’évaluation est également susceptible de fournir des données brutes sur l’atteinte des objectifs de l’action (pilotage ou suivi). Enfin, l’évaluation peut déterminer les effets, recherchés ou involontaires, d’une action (évaluation d’impact).
Pourquoi ?
L’évaluation promeut la transparence et renforce la lisibilité de l’action publique. Au travers des conclusions et recommandations qu’elle formule, l’évaluation favorise également le changement en vue d’une amélioration continue de l’action publique. Elle constitue ainsi un outil d’aide à la décision et d’alimentation du débat démocratique.
Le processus d’évaluation peut assurer tout à la fois une fonction d’apprentissage en vue d’améliorer l’action publique (évaluation formative) et une fonction de reddition de comptes, questionnant la légitimité de l’action publique (évaluation sommative)?
Quand ?
Une évaluation peut être mise en œuvre à différents moments du cycle de l’action publique : une évaluation ex ante se déroule lors de la programmation, une évaluation in itinere accompagne le processus de mise en œuvre et une évaluation ex post intervient lorsque des effets de l’application de l’action publique peuvent être observés.
Qui ?
Une évaluation peut être est réalisée pour le compte d’un gouvernement, d’une administration, d’un parlement?ou d’un acteur de la société civile. Quant à l’évaluateur, il peut appartenir à une entité en charge de l’action (autoévaluation ou évaluation interne). Il est également possible de mandater un évaluateur externe (institut public, centre de recherche universitaire ou bureau de consultance, notamment). Au-delà du commanditaire et de l’évaluateur, différentes parties prenantes peuvent être associées à la démarche d’évaluation.
2. Missions de l’IWEPS dans le domaine de l’évaluation
Lors de sa création en 2003, l’IWEPS s’est vu confié un rôle de conseil stratégique dans ses divers domaines de compétences : la statistique, la prospective et l’évaluation. L’IWEPS poursuit ainsi deux objectifs : alimenter le débat démocratique et soutenir la prise de décision en Wallonie, dans les matières économiques, sociales et environnementales. Dans le domaine de l’évaluation, l’institut exerce deux missions : la production et la mise à disposition d’évaluations de politiques publiques (cf. Section 1) et la promotion d’une culture de l’évaluation en Wallonie (cf. Section 2).
- Réaliser des évaluations de politiques publiques
La première mission de l’IWEPS en termes d’évaluation est la production de travaux évaluatifs qui répondent aux deux objectifs d’alimentation du débat démocratique et de soutien à la prise de décision.
L’évaluation est un concept large (cf. Définition supra) qui recouvre des travaux de nature différente car ils répondent à des besoins spécifiques aux différents moments du cycle de vie des actions publiques, de leur conception jusqu’à leur adaptation ou réforme. L’évaluation en tient compte en s’inscrivant dans trois temporalités différentes (cf. définition) :
- Ex ante ;
- In itinere ;
- Ex post.
Au sein même de ces différentes temporalités, les besoins des décideurs et opérateurs de mise en œuvre varient et les travaux évaluatifs s’adaptent pour y répondre. Chaque évaluation est unique mais il est possible d’identifier cinq grandes formes d’évaluations (cf. définition) :
- Évaluation proactive ;
- Évaluation clarificatrice ;
- Évaluation interactive ;
- Suivi ;
- Évaluation d’impact.
Le schéma 1 illustre la mission de l’IWEPS « réaliser des évaluations ». Il reprend, en son centre, les différentes phases du cycle de vie d’une politique. Ce cycle, qui se veut une vision simplifiée de la vie d’une politique, positionne « l’évaluation » uniquement en fin de cycle à des fins de révision ou d’adaptation de la politique (définition de l’évaluation « au sens étroit »). Le Schéma 1 qui intègre les trois temporalités possibles renverse cette idée et ouvre la possibilité d’une évaluation tout au long du cycle de vie d’une politique (définition de l’évaluation « au sens large »). L’IWEPS travaille plus spécifiquement sur deux de ces trois temporalités, à savoir ex ante et ex post. Dans ces deux temporalités, l’IWEPS, par son positionnement institutionnel, ses compétences et ses outils, réalise des évaluations proactives, des évaluations clarificatrices et des évaluations d’impact.
La suite de la note décrit les différentes formes d’évaluation.
Schéma 1 – Mission “Réaliser des évaluations”
Note : En encadré, les 5 formes d’évaluation. Celles menées par l’IWEPS sont en rouge.
Une action publique1 s’initie pour répondre à un problème (ou à un besoin) qui touche la société et dont les acteurs publics choisissent de se saisir (mise à l’agenda). Les décideurs souhaitent, à ce moment, cerner au mieux le problème (définition du problème) et en identifier les causes (diagnostic). L’évaluation proactive prend place à ce stade. Son objectif principal est de contribuer à la prise de décisions sur la meilleure façon de développer un programme avant la phase de programmation. L’évaluateur adopte un rôle de conseiller, fournissant des informations sur l’ampleur du problème que la politique doit aborder, ou sur les modalités possibles d’action publique. C’est la posture la plus proche de celle du chercheur. Les méthodes mobilisées sont, par exemple, l’analyse des besoins, la revue de littérature et le benchmarking.
- L’IWEPS, par ses activités statistiques et de recherche et sa pratique de l’évaluation, dispose des compétences nécessaires et mène ce type d’évaluations.
- Exemples : Territoire-Mobilité2
La définition des actions à entreprendre (programmation) va s’appuyer sur les connaissances disponibles, sur les valeurs et représentations des différents acteurs, tout en tenant compte des contraintes organisationnelles. Différentes alternatives seront examinées et un filtrage sera opéré : certains instruments (réglementation, incitation financière, etc.) vont être privilégiés, des groupes cibles vont être précisés ou écartés, les acteurs de mise en œuvre vont être choisis, des modalités de fonctionnement vont être définies, etc. Les évaluations clarificatrices peuvent prendre place à ce stade pour aider les parties prenantes à conceptualiser leur intervention et à améliorer sa cohérence, augmentant ainsi les chances que sa mise en œuvre aboutisse aux résultats souhaités. L’essence de ce type d’évaluation est de rendre explicite la logique de l’intervention : “quelle est sa raison d’être ?”, “quels en sont les résultats escomptés et comment entend-elle les atteindre ?”, “est-ce plausible ?”.
Différentes approches existent, tels que le développement de la logique du programme ou l’étude d’évaluabilité3. Dans ce type d’évaluations, l’évaluateur peut adopter différentes postures, tantôt il travaille avec le personnel qui aura la charge de la politique pour être au plus proche de l’intervention, tantôt il joue le rôle d’un analyste qui va porter un jugement sur la faisabilité ou la validité d’une intervention en s’appuyant sur des preuves scientifiques.
- L’IWEPS réalise des évaluations clarificatrices mais, généralement, en aval de la programmation, au stade d’adoption de la décision4. L’objectif est de fournir des informations sur les effets qui peuvent être attendus (positifs/négatifs, à plus ou moins long terme) de l’intervention, sur les éventuelles failles identifiées dans la logique d’intervention5, ou sur les facteurs à même de soutenir ou d’entraver l’obtention des effets escomptés.
- Exemples : Evaluation ex ante du PRW au regard des ODD6; Evaluation ex ante de l’impact macroéconomique de court et de moyen terme du PRW7; Evaluation ex ante de l’impact macroéconomique de long terme du PRW8; Etude d’évaluabilité « la commande publique responsable comme levier pour l’économie locale » (synthèse à paraître).
Lors de la phase de mise en œuvre, la politique va encore s’adapter pour faire face aux situations concrètes et à la diversité des terrains sur lesquels elle s’applique. Deux types de besoins d’informations peuvent se distinguer à ce stade, d’une part, ceux des responsables politiques et des mandataires de l’administration, et d’autre part, ceux des directeurs et des agents en charge de la mise en œuvre des activités. Deux formes d’évaluation, respectivement le suivi et l’évaluation interactive, répondent à ces deux types de besoins.
Le suivi (ou le pilotage) vise à donner des indications sur le degré de réussite de la politique. Institué le plus souvent dans une perspective de gestion de la performance, il a pour objectif de fournir des informations opportunes aux décideurs pour permettre des actions correctives rapides. Les évaluateurs sont soit des agents en interne qui ont accès aux systèmes d’informations de gestion, soit des agents au sein d’un service externe qui fournit une structure d’évaluation à laquelle toutes les entités doivent se conformer. Le suivi s’appuie essentiellement sur des indicateurs de performance quantitatifs mais ceux-ci ne peuvent pas, en eux-mêmes, fournir un verdict sur la valeur de la politique.
L’évaluation interactive met l’accent sur le processus et la gestion opérationnelle en vue d’améliorer la coordination entre acteurs et d’optimiser la mise en œuvre des activités. Ce type d’évaluation repose sur l’hypothèse que les acteurs impliqués dans la gestion opérationnelle doivent avoir un pouvoir décisionnel important dans l’évaluation de leurs activités. L’évaluateur peut être tant interne qu’externe. Dans ce type d’évaluation, l’évaluateur peut, à la suite de l’évaluation proprement dite, endosser le rôle de facilitateur pour opérer les changements identifiés par les résultats de cette évaluation. Les méthodes utilisées sont, par exemple, la recherche-action ou le Cadre d’Auto-évaluation des Fonctions publiques (CAF).
- Ces deux types d’évaluation in itinere (suivi et évaluation interactive) ne constituent pas le cœur de métier de l’IWEPS. L’institut peut éventuellement y participer mais ce sera dans le cadre de sa seconde mission de promotion de la culture d’évaluation (cf. infra).
Après une certaine période de mise en œuvre, les acteurs politico-administratifs souhaitent faire un bilan de l’action et connaître ses effets sur les groupes cibles et sur le besoin identifié au départ de l’action (évaluation9). A ce stade, lorsque a minima certains effets de l’action peuvent être observés, il est opportun de réaliser une évaluation d’impact qui vise à déterminer ce qui fonctionne et pourquoi. L’évaluation apporte ainsi un ensemble d’informations sur la base desquelles il sera plus aisé de décider s’il convient de réviser, d’adapter ou de mettre fin à l’action (révision, adaptation). Dans le cas d’un projet pilote, il peut être également question de l’adopter à une plus grande échelle.
Bien que centrée sur les effets de l’action (Ce qui fonctionne), l’évaluation d’impact inclut généralement un examen de la logique de l’action et des caractéristiques de sa mise en œuvre afin de mieux comprendre les mécanismes à l’œuvre dans l’obtention (ou non) des effets (Pourquoi et Comment). L’évaluation d’impact peut également aborder d’autres questions telles que l’impact du contexte et des différences de mise en œuvre sur les effets de l’action (Dans quelles circonstances), l’impact différencié de l’action pour certains participants (Pour qui), la mise en balance des coûts en regard des bénéfices de l’action, ou encore, elle peut s’intéresser à l’impact de l’ensemble des effets de l’action, etc. Les informations recueillies permettent donc également d’aider les décideurs sur la manière de réviser ou d’adapter la politique.
Une grande diversité d’approches et de méthodes peuvent être mobilisées pour répondre au mieux aux questions prioritaires de l’évaluation. A titre d’exemple peuvent être citées : l’évaluation réaliste, l’évaluations expérimentale ou quasi-expérimentale, l’analyse coûts-bénéfices, etc.
Bien que ces évaluations puissent être réalisées en interne, elles sont le plus souvent confiées à des évaluateurs externes pour bénéficier d’un certain recul, d’une expertise technique, d’outils spécifiques, ou encore, d’un regard indépendant.
- L’IWEPS a acquis, depuis sa création, une expérience reconnue pour mener des évaluations d’impact en s’appuyant sur une connaissance de cadres théoriques dans diverses disciplines et en mobilisant des approches tant quantitatives que qualitatives mais le plus souvent mixtes.
- Promouvoir une culture d’évaluation
La seconde mission de l’IWEPS dans le domaine de l’évaluation est de promouvoir une culture d’évaluation. La Belgique et ses régions sont des “entrants tardifs” (fin des années 1990) dans la pratique évaluative par rapport aux autres pays de l’OCDE. L’IWEPS joue un rôle prédominant dans l’institutionnalisation de l’évaluation en Wallonie. L’Institut promeut une vision de l’évaluation où les travaux évaluatifs sont diversifiés afin de répondre aux besoins des acteurs tout au long du cycle de vie des politiques (cf. supra – définition de l’évaluation “au sens large” ) et où une multitude d’acteurs, dont l’IWEPS, gèrent et réalisent des évaluations. Depuis sa création, l’IWEPS stimule et joue le rôle d’entrepreneur dans le développement d’une culture d’évaluation : il soutient l’ensemble des professionnels de l’évaluation afin que leurs travaux améliorent l’action publique et nourrissent le débat démocratique. Pour ce faire, l’Institut initie et réalise divers travaux (cf. Schéma 2 ci-dessous), dans une logique de collaboration avec les parties prenantes à l’évaluation, qu’elles soient dans la sphère politico-administrative, chez les partenaires sociaux et environnementaux ou autres associations représentatives, dans des bureaux d’étude privés, mais aussi au sein d’instituts scientifiques publiques, d’universités et de centres de recherches y associés. Ces initiatives sont détaillées ci-dessous.
Schéma 2 – Mission “Promouvoir une culture d’évaluation”
Pour assurer la crédibilité des travaux d’évaluations, nécessaire à leur utilisation, la formation de l’ensemble des acteurs de l’évaluation10 est indispensable. C’est pourquoi, depuis une dizaine d’années, l’IWEPS assure des formations introductives à l’évaluation (depuis 2015, à l’École d’Administration Publique (EAP)) et intervient régulièrement auprès d’institutions ou dans des cours universitaires sur des thématiques spécifiques à l’évaluation. L’institut développe aussi pour l’EAP des ateliers qui sont l’occasion d’analyser des processus évaluatifs wallons ou communautaires en regard des standards professionnels (méta-évaluation), d’aborder différents aspects du processus évaluatif ou des questions méthodologiques. Outre l’objectif de formation proprement dit, ces ateliers ont pour vocation de faire se rencontrer les différents professionnels de l’évaluation en Fédération Wallonie-Bruxelles. L’IWEPS contribue également au Certificat Interuniversitaire en Évaluation de Politiques Publiques. Cette formation de plus longue durée (une vingtaine de jours de formation étalés sur une année) s’adresse à des acteurs investis dans des domaines couverts par les pouvoirs publics et le secteur non marchand ou marchand et qui exercent ou souhaitent exercer des fonctions dans le cadre de la préparation, de la commande, de l’organisation, du suivi et de la réalisation d’évaluations. Il est également fait appel aux experts de l’IWEPS pour former les futurs mandataires dans le cadre du Certificat Inter-universitaire en Management Public. Afin de favoriser la mobilisation d’évaluations par les parlementaires, l’IWEPS entend proposer une formation ad hoc en début de législature pour les élus intéressés NEW.
Depuis de nombreuses années, l’IWEPS répond à des demandes des cabinets ministériels, d’administrations ou d’associations représentatives pour accompagner des évaluations qu’ils commanditent. Cet accompagnement peut prendre la forme d’une mission ponctuelle (aide à la rédaction des clauses techniques d’un cahier des charges ou à l’analyse des offres reçues, réalisation de l’analyse de la politique pour identifier les questions évaluatives, etc.) ou d’un soutien tout au long du processus d’évaluation (participation au comité d’accompagnement ou aide directe au gestionnaire de l’évaluation). Depuis peu, l’IWEPS répond aussi à des demandes d’accompagnement de type coaching auprès d’évaluateurs émergents.
En tant qu’institut scientifique, l’IWEPS assure un travail de veille de la littérature en évaluation et de formation continue de ses experts. L’IWEPS dispose ainsi d’une base de connaissances large, qui couplée à une pratique évaluative adaptée et innovante, lui permet de créer des ressources en phase avec la pratique évaluative en Wallonie. Ces ressources sont mobilisées et diffusées lors de formations, de missions d’accompagnement ou encore pour répondre à des questions spécifiques d’acteurs. Ces acteurs de l’évaluation demandent également l’accès à des ressources dont ils pourraient s’inspirer tout au long de leur travail évaluatif. C’est pourquoi la page Évaluation11 sur le site de l’IWEPS reprend également les livrables liés aux différentes étapes de la démarche évaluative : fiche synthétique d’évaluation, mandat d’évaluation, étude d’évaluabilité, projet d’évaluation, rapport d’évaluation, synthèse de rapport et – depuis peu – vidéo pédagogique et podcast.
Cette activité scientifique dans le domaine de l’évaluation au sein de l’Institut lui permet également d’expérimenter des évaluations in itinere (par exemple, la conception et la mise en œuvre d’un système de suivi et d’évaluation de la politique des pôles de compétitivité) ou des évaluations qui font appel à des designs non encore mobilisés jusqu’ici en Wallonie (par exemple, l’analyse de contribution, la méthode d’analyse quanti-quali comparée ou l’évaluation ex ante qualitative au regard des ODD); le tout afin de s’adapter au mieux au contexte, aux nouveaux enjeux et aux besoins des parties prenantes.
L’IWEPS promeut également une culture d’évaluation, par l’exemple, via la réalisation d’évaluations (cf. Section 1) en veillant à l’application des standards professionnels d’évaluation (Faisabilité, Déontologie, Fiabilité et Utilisation).
Enfin, l’IWEPS assure la publication et la diffusion des évaluations (et les supports informationnels y afférents, cf. supra) réalisées en interne mais également par d’autres entités si celles-ci le souhaitent (par exemple, les évaluations réalisées dans le cadre du FEDER) via le portail Évaluation de son site Internet. Au-delà de la question du partage de ressources, cette fonction de diffusion est essentielle pour alimenter le débat démocratique et assurer l’archivage des connaissances produites par les travaux évaluatifs.
1 Les termes “action publique”, “politique publique” et “intervention” sont utilisés de manière indifférenciée.
2 Charlier J. et Reginster I., 2021. Les polarités de base – Des balises pour identifier des centralités résidentielles en Wallonie, Working Paper de l’IWEPS n°32, Namur, 54p. https://www.iweps.be/publication/les-polarites-de-base-des-balises-pour-identifier-des-centralites-urbaines-et-ruralesen-wallonie/
Charlier J. et Reginster I. (2022) Typologie des polarités résidentielles selon leur degré d’équipement en services et leur accessibilité bas carbone/basse énergie, Working Paper de l’IWEPS n°36, Namur, 70p. https://www.iweps.be/publication/typologie-des-polarites-residentiellesselon-leur-degre-dequipement-en-services-etleur-accessibilite-bas-carbone-basse-energie/
Charlier J. et Juprelle J. (2022) Interaction mobilité/aménagement du territoire en Wallonie dans une perspective de transition juste, Working Paper de l’IWEPS n°34, Mars 2022, Namur, 110p.
3 L’Étude d’Évaluabilité (EE) peut également soutenir la mise en place d’un système de suivi ou être mobilisée plus tardivement, pour définir la faisabilité et l’utilité de mener une évaluation d’impact à un moment donné.
4 Dans le cas où l’évaluation demandée porte sur l’estimation quantitative des effets économiques de l’une ou l’autre variante d’une intervention (via le modèle Hermreg), l’IWEPS peut intervenir avant l’adoption de la politique.
5 Certains défauts de l’intervention peuvent être corrigés au stade de la mise en œuvre.
8 https://www.iweps.be/projet/evaluation-ex-ante-de-limpact-macroeconomique-de-long-terme-du-prw/
9 Pendant longtemps, dans la littérature, ce type d’évaluation réalisée à la fin du cycle de vie d’une action a été considérée comme la seule relevant de l’évaluation. Il faut donc distinguer cette évaluation “au sens étroit” de l’évaluation “au sens large” (cf. supra).
10 L’évaluateur, mais aussi le commanditaire, le responsable de l’encadrement d’une évaluation externe, un membre d’un comité d’accompagnement, un participant à une évaluation, ou un acteur en charge d’utiliser les enseignements des travaux.
11 https://www.iweps.be/projets/?fwp_proj_categories=evaluation