Shermaine Barrett
Université de technologie
Jamaïque
Abstract – Cet article se penche sur des facteurs, questions et recommandations à prendre en compte lorsque l’on mesure l’impact des politiques d’éducation des adultes. Il se base sur une étude qui recense les points de vue de praticiens de l’éducation des adultes, d’universitaires et de décideurs politiques au sujet des principes décisifs et des mesures adéquates nécessaires pour déterminer l’impact des politiques d’éducation des adultes.
L’éducation des adultes est richement représentée dans les documents politiques régionaux, nationaux et internationaux qui en décrivent grossièrement les objectifs et qui fixent des cibles. Le Cadre d’action de Belém, l’agenda Éducation 20130 et les différentes politiques nationales d’éducation des adultes et/ou d’apprentissage tout au long de la vie en font partie. Toutefois, comme Heck (2004) le faisait remarquer, « les politiques peuvent définir des orientations et fournir un cadre pour produire un changement mais elle ne déterminent pas directement les résultats ». Par conséquent la phase d’évaluation des politiques est un aspect décisif de leur mise en œuvre. Étudier l’impact des politiques d’éducation des adultes consiste à les évaluer au moyen d’une solide méthode systématique pour déterminer la mesure dans laquelle elles ont obtenu les résultats escomptés, identifier leurs défauts notables et déterminer si elles peuvent être maintenues.
Le présent article s’appuie sur les réflexions de huit spécialistes européens, africains, latino-américains et caribéens de l’éducation des adultes et sur leur façon d’évaluer l’impact de l’éducation des adultes.
Le Cadre d’action de Belém (2010) définit l’éducation des adultes comme « l’ensemble des processus d’apprentissage, formels ou autres, grâce auxquels les individus considérés comme adultes dans la société à laquelle ils appartiennent développent leurs aptitudes, enrichissent leurs connaissances et améliorent leurs qualifications techniques ou professionnelles, ou les réorientent en fonction de leurs propres besoins et de ceux de la société » (p. 1). Cette définition révèle l’ampleur et la portée de l’éducation des adultes, et par conséquent sa complexité. Donc, il n’existe pas de cadre conceptuel ni d’hypothèses ou principes de base à partir desquels tous les éducateurs d’adultes portent un regard sur ce domaine. L’UNESCO et nombre d’organisations de la société civile comme le Conseil international pour l’éducation des adultes (CIEA) envisagent l’éducation des adultes du point de vue des droits alors que d’autres entités, y compris des organismes internationaux de financement, la voient sous un angle plus économique.
Le but de l’éducation des adultes se caractérise par un vaste ensemble de réflexions et d’idées. Alors que les pays cherchent à répondre à un nombre de demandes croissants en satisfaisant à un ensemble d’objectifs souvent contradictoires, motivés par les besoins des personnes, des entreprises et de la société en général, des tensions surgissent en ce qui concerne le but de l’éducation des adultes (Alfred, Robinson et Alfred 2011). Les débats sur le but de l’éducation des adultes se heurtent à un certain nombre de questions comme : i) le souci économique de doter les adultes des compétences et connaissances professionnelles adéquates permettant aux nations de concourir sur les marchés mondiaux ; ii) le souci civique d’avoir d’un agenda de l’éducation qui préparerait les adultes à participer plus pleinement à la vie publique et iii) le souci individuel de développement personnel grâce à l’éducation tout au long de la vie (Kubow et Fossum 2007). Malgré ces préoccupations diverses, nous sommes majoritairement d’accord pour dire que l’éducation [y compris l’éducation des adultes] produit de meilleurs citoyens et qu’en tant que telle, elle aide à améliorer le niveau de vie d’une société en général (Olaniyan et Okemakinde 2008 ; McGrath 2010).
Selon une publication en ligne de l’UNESCO (2018) : « Des politiques et des plans robustes et cohérents forment une base permettant de bâtir des systèmes éducatifs durables, d’atteindre les objectifs de développement en matière d’éducation et de contribuer efficacement à l’apprentissage tout au long de la vie. » Fitzpatrick, Sanders et Worthen (2012) définissent la politique comme un acte plus vaste d’organisation publique ou une branche du gouvernement conçue pour produire certains résultats ou changements. Une politique peut être articulée comme une loi ou une réglementation fournissant directives et règles permettant au changement de survenir.
L’évaluation d’un impact correspond à la collecte, à l’analyse et à l’interprétation d’informations qui éclairent les effets d’un changement politique sur un ensemble de résultats présentant un intérêt, y compris de résultats fortuits. Il est important d’évaluer un impact pour démontrer la pertinence, l’efficacité, la qualité et la tangibilité de la politique examinée. Une personne interrogée a fait remarquer que : « Les politiques sont mises en place afin de créer un environnement favorable pour répondre à des besoins, notamment de populations insuffisamment desservies. Par conséquent, évaluer les politiques d’éducation des adultes devient essentiel pour définir la mesure dans laquelle : i) elles ont répondu aux besoins de la population ; ii) les buts, objectifs et résultats fixés pour cette politique ont été atteints ; iii) la politique a fidèlement été mise en œuvre ; iv) des ressources adéquates étaient déployées et v) on a procédé aux ajustements nécessaires de la politique » (personne interrogée no 1). À un autre niveau, l’évaluation de l’impact d’une politique est important du fait que – comme les gouvernements luttent avec de maigres ressources et dans de nombreux cas avec des déficits budgétaires au milieu de problèmes sociaux qui se font concurrence – il est nécessaire de disposer d’informations concernant l’efficacité des programmes et politiques afin de pouvoir faire des choix judicieux et de prendre des décisions intelligentes (Fitzpatrick et coll. 2012). L’une des personnes interrogées a fait observer que « l’impact est important pour la légitimation des dépenses publiques (personne interrogée no 7). C’est grâce aux études d’impact des politiques que les gouvernements peuvent déterminer les politiques fructueuses et celles qui ne fonctionnent pas. Des questions telles que : i) qu’est-ce qui fonctionne bien ? ii) qu’est-ce qui échoue ? et iii) que peut-on faire pour améliorer la situation ? sont des moteurs essentiels pour une évaluation de ce type. Ceci soulève en outre la question de la transparence dont les personnes interrogées dans le cadre de cette enquête avaient le sentiment qu’elle livrait une raison essentielle pour mener des études d’impact sur l’éducation des adultes.
Autre raison importante d’évaluer une politique, quoique moins souvent abordée, révélée dans cette étude : la possibilité de faire des résultats des outils de plaidoyer. L’une des personnes interrogées a indiqué que « la preuve de l’impact est primordiale pour le plaidoyer, en particulier parce que l’apprentissage et l’éducation des adultes se trouvent confrontés à la difficulté que nombre de décideurs politiques pensent qu’il est « bon de les avoir » mais qu’ils ont un impact limité par rapport à la scolarité » (personne interrogée no 7).
Autre question essentielle de cet article : comment faut-il mener une évaluation d’impact ? Ceci comprend : i) les types de résultats à évaluer ; ii) comment déduire un impact ; iii) les méthodes de collecte des données ; iv) les types de preuves à utiliser et v) comment financer l’évaluation.
Les praticiens interrogés pour cet article ont fait état de trois thèmes qui influent sur les résultats d’une politique : le contexte dans lequel se situe la politique, le type de politique et l’objectif de cette politique. En ce qui concerne le contexte, ils pensent qu’une politique sociale, une politique d’éducation des adultes, ne peut pas être envisagée séparément de son contexte social. L’une des personnes interrogées a fait remarquer que les types de résultats dépendent du contexte. Il n’y a pas de solutions toute faites » (personne interrogée no 3). Ils admettent globalement en ce qui concerne le type de politique que tout dépend si la politique est menée à l’échelle du secteur de l’éducation tout entier ou si elle est limitée à l’une de ses parties. L’une des personnes interrogées a déclaré que les résultats à évaluer dépendent largement du type de politique et de l’étendue de « l’intervention » politique : s’étend-elle à tous les secteurs de l’éducation des adultes ou juste à quelques-uns de ses segments ? S’adresse-t-elle à certains groupes cibles, aborde-t-elle certaines questions ou concerne-t-elle un ensemble de principes à mettre en place (personne interrogée no 2). Une autre personne interrogée a déclaré que l’impact « dépend clairement des objectifs fixés pour la politique. Ceux-ci devraient générer des impacts » (personne interrogée no 6).
Si l’on tient compte des trois éléments dont il a été question ci-dessus, les résultats identifiés sont d’ordre éducatif, économique et social, et concernent aussi le bien-être. L’une des personnes interrogées a fait observer que les résultats devraient entre autres être obtenus dans les domaines mentionnés ci-dessous.
En nous penchant sur notre façon de déduire un impact, une personne interrogée a argumenté que « l’impact indiquerait clairement les mesures qui révèlent un changement du problème reposant sur les acquis du début et sur ceux venus plus tard, au moment où l’on a entrepris de procéder à ces mesures » (personne interrogée no 4). Ceci laisse supposer que pour pouvoir déduire un impact, il faut disposer d’un ensemble d’indicateurs de réussite ou n’en avoir aucun. Les indicateurs de résultats sont des variables quantitatives ou qualitatives qui fournissent des moyens simples et fiables de mesurer des accomplissements et prendre en compte des changements liés à une intervention (Kusek et Rist 2004).
En ce qui concerne les mesures d’éléments indiquant des changements, le Cadre d’action de Belém (2010) fournit un ensemble d’indicateurs de performances fiables : i) un environnement politique favorable et une politique dotée des moyens qui conviennent ; ii) des structures de bonne gouvernance ; iii) des dispositions pour fournir de la qualité ; iv) une participation, une inclusion et une équité accrues pour la population insuffisamment desservie et v) un financement adéquat. Cependant, l’emploi de ces indicateurs dépend du point de vue de leur utilisateur en ce qui concerne le but de l’éducation des adultes. Ceci est dû au fait que les convictions au sujet du but, du rôle et de la fonction de l’éducation des adultes affectent sans aucun doute la perception de ce qui indique un impact. Une des personnes interrogées a très bien résumé l’importance du point de vue sur les décisions concernant les indicateurs en faisant observer qu’il « est très important d’être conscient du paradigme derrière notre approche de l’évaluation (ce qui inclut la méthode, les indicateurs…) étant donné que celle-ci déterminera les résultats. L’utilisation exclusive d’une approche (par exemple celle du capital humain) peut réduire notre perception des effets et de l’impact d’une politique, voire créer une image erronée de celle-ci. L’analyse critique du discours est utile pour préparer l’évaluation d’impact, et lors de la collecte des données, nous devrions être conscients des objectifs, méthodes et indicateurs qui reposent sur certains paradigmes (positiviste, interprétatif, transformateur ou critique-émancipateur). Ceci peut également faire la lumière sur différents types de préjugés susceptibles d’influer sur l’analyse » (personne interrogée no 2).
En ce qui concerne le type de preuves qui démontreraient l’impact, les personnes interrogées pensaient qu’elles englobaient tant des mesures statistiques que des données qualitatives. L’une des personnes interrogées l’a exprimé ainsi : « Les preuves obtenues à partir de données quantitatives (statistiques dans le domaine de l’éducation, mais aussi d’autres secteurs, en fonction de l’étendue de l’évaluation), les différentes mesures statistiques et les données qualitatives devraient servir d’indicateurs pour renseigner au sujet des changements positifs provoqués par l’intervention politique et pour prouver qu’ils sont survenus grâce à elle… Les indicateurs devraient être choisis avant la mise en œuvre de la politique, quoique l’on puisse inclure un certain nombre de nouveaux indicateurs non planifiés et fortuits » (personne interrogée no 2).
© Shira Bentley
Un autre participant à l’enquête a exprimé une mise en garde en déclarant qu’il « est important de rester attentif au fait que l’impact peut être favorable comme défavorable » (personne interrogée no 3). En accord avec cette idée, un autre a fait remarquer qu’il « est nécessaire de disposer de preuves concernant tous les aspects des réactions positives et négatives pour démontrer un impact » (personne interrogée no 8).
Choisir le moment pour mener une évaluation d’impact est une question importante à prendre en compte lorsque l’on réfléchit à la façon de mesurer l’impact d’une politique. Les personnes interrogées se sont accordées sur le fait qu’une évaluation devrait être réalisée pendant et après la période durant laquelle une politique est en vigueur. En d’autres termes, cette évaluation devrait être menée en permanence. L’une des personnes interrogées a fait observer que « le suivi et l’évaluation d’une politique basés sur ses résultats incitent à réaliser l’évaluation ‘d’impact’ au terme du cycle de mise en œuvre de la politique ; cependant, il conviendrait de recourir à une évaluation formative durant la phase de mise en œuvre de la politique » (personne interrogée no 1). L’idée d’une évaluation en continu a été soutenue par Heck (2004) qui recommandait de rendre les études efficaces en adoptant une approche longitudinale par la collecte de données à différents stades de la mise en œuvre des politiques et des effets que celles-ci produisent.
La façon de recueillir des données d’évaluation d’impact et auprès de qui on les collecte sont deux points qu’il convient d’aborder lors de la planification. D’ordinaire, les politiques publiques ciblent les citoyens, dans leur totalité ou en partie, en fonction de leur portée. Par conséquent, toute évaluation de ces politiques devrait englober leurs cibles. Les apprenants ciblés par des politiques d’éducation des adultes doivent être inclus. Ce sont eux qui sont concernés directement ou indirectement par ces interventions politiques.
En outre, les différents acteurs « tels que les gouvernements, les ministères, les organismes de financement, les instituts qui promeuvent et assurent les programmes d’éducation des adultes, les administrateurs de programmes et les facilitateurs… » devraient être inclus (personne interrogée no 8). En outre, selon la nature de la politique, le groupe des parties prenantes peut inclure des acteurs du secteur privé et différents organismes de la société civile.
Ainsi que les personnes interrogées pour cette étude l’ont admis, recueillir des données auprès d’un échantillon aussi vaste de personnes exige sans aucun doute des méthodes dépassant la quantification numérique et les statistiques. Toutes ont suggéré pour cela l’emploi d’une approche mixte. Allant dans ce sens, l’une d’elles a déclaré : « Je pense que pour fournir une analyse complète, il faut disposer de données quantitatives (ex. : obtenues par le biais d’enquêtes, en ligne et autres) ainsi que de données plus qualitatives (ex. : recueillies lors d’interviews) en effectuant des mesures discrètes (personne interrogée no 3). Un autre participant à l’enquête s’est exprimé plus en détail : « Différentes approches peuvent être adoptées : observations, interviews, questionnaires, enquêtes, comparaisons (entre les groupes concernés par l’intervention politique et ceux qui ne le sont pas ; points de données multiples : les mêmes groupes avant et après l’intervention ; entre les régions, les secteurs…), expérimentations, tests, analyses de rapports, groupes thématiques, visites d’étude, réunions ciblées, narrations, histoires personnelles, études de cas, etc. » (personne interrogée no 2).
Ces points sont étayés par l’avis de Streatfield (2009) qui plaidait en faveur des méthodes tant quantitative que qualitative. Les informations qualitatives sont utiles pour recueillir des données liées à l’efficacité, tandis que les informations quantitatives sont nécessaires pour évaluer l’efficience.
La question du financement de l’évaluation d’impact est cruciale étant donné qu’elle est susceptible d’influer sur les personnes participant à l’étude, sur la façon de la réaliser, sur les domaines politiques ciblés et, ce qui est particulièrement important, sur la façon d’utiliser les résultats. À ce sujet, les personnes interrogées se sont accordées à dire que les gouvernements devraient être une source de financement essentielle puisque les résultats devraient les intéresser. L’une des personnes interrogées a indiqué que la réalisation d’une « étude d’impact des politiques de l’éducation est très importante pour le développement d’un pays, quel qu’il soit. Par conséquent, [...] une telle étude devrait être financée par le gouvernement/le ministère de l’Éducation » (personne interrogée no 8).
En plus des gouvernements, les participants pensaient également que le secteur privé et des partenaires internationaux en matière de développement pourraient de même fournir des financements et que le type de politique et son étendue devraient influer sur la source de financement. À ce sujet, une personne interrogée a déclaré que : « tout dépend du type de l’intervention politique et de sa portée : un organe gouvernemental (étant donné qu’il s’agit probablement du principal acteur en matière de planification et de mise en œuvre de la politique) pourrait assumer les coûts, mais en ce qui concerne certains aspects de l’impact, les groupes participants ou concernés pourraient participer à son évaluation (par exemple le secteur privé qui participe à la création et la mise en œuvre de politiques d’éducation et de formation professionnelle). Les agences de développement à l’étranger pourraient (également) faire partie des sources de financement » (personne interrogée no 2).
Les autres réflexions incluaient l’idée selon laquelle « dans un monde idéal, quand une politique est promulguée, les responsables de sa promulgation devraient déterminer des financements… » (personne interrogée no 5). De même, un autre participant a fait remarquer que l’évaluation d’une politique devrait représenter « un pourcentage du budget de cette politique [et] devrait être prévue dans le budget du projet initial » (personne interrogée no 6).
L’une des personnes interrogées a souligné que : « Globalement, mesurer l’impact des politiques, en particulier dans le domaine de l’éducation, pouvait se révéler compliqué. Dans la mesure du possible, il serait utile de rester attentif au fait que tout ne peut pas être mesuré. Par exemple, des observations peuvent être tout aussi importantes pour permettre de comprendre. De telles informations peuvent se présenter sous forme de récits des changements survenus, relatés par des acteurs clés. Les influences politiques, la façon dont la politique a été comprise, communiquée, mise en œuvre, etc. font aussi partie des considérations pertinentes. Il est également utile d’identifier des informateurs clés bien renseignés, susceptibles de fournir des regards sur des dynamiques potentielles passées inaperçues comme, par exemple, des comportements ou relations qui auraient pu influencer l’impact » (personne interrogée no 3).
Une autre personne interrogée attire notre attention sur un défi peut-être plus visible dans certaines juridictions que dans d’autres, à savoir que « les chercheurs peuvent rencontrer des difficultés étant donné l’absence possible de politiques écrites spécifiques concernant l’apprentissage et l’éducation des adultes, et qu’il est possible qu’il n’existe aucun registre officiel dans lequel sont consignées les activités menées réellement en matière d’apprentissage et d’éducation des adultes » (personne interrogée no 8).
Pour conclure, je souhaite revenir sur deux points soulevés dans cet article. Premièrement : « Des politiques et des plans robustes et cohérents forment une base permettant de bâtir des systèmes éducatifs durables, d’atteindre les objectifs de développement en matière d’éducation et de contribuer efficacement à l’apprentissage tout au long de la vie » (UNESCO 2018). Toutefois, « les politiques peuvent définir des orientations et fournir un cadre pour produire un changement mais elles ne déterminent pas directement les résultats » (Heck 2004). Par conséquent, l’étude périodique de l’efficacité de ce type de politiques est cruciale pour assurer qu’elles accomplissent ce pour quoi elles ont été prévues. Lorsque l’on mène de telles études, il est toutefois absolument essentiel d’accorder de l’attention à la façon de procéder, au moment de les réaliser et à leurs participants. Il conviendrait d’articuler minutieusement nos objectifs, d’examiner les indicateurs d’impact, de choisir les preuves à recueillir et, ensuite, la façon de les utiliser pour déterminer l’impact et en dernière analyse la valeur de la politique.
Alfred, M. V. ; Robinson, P. E. et Alfred, M. C. (2011) : Adult education and lifelong learning in the Caribbean and Latin America. https://bit.ly/2KliUMW
Barrett, S. (2014) : Adult education, social change and development in Post-Colonial Jamaica: Investing in human capital. Allemagne : Lambert Academic Publishing.
Fitzpatrick, J. L. ; Sanders, J. R. et Worthen, B. R. (2012) : Program evaluation: Alternative approaches and practical guidelines (4e éd.). New Jersey, NJ : Pearson Education.
Heck, R. H. (2004) : Studying educational and social policy: Theoretical concepts and research methods. Londres : Lawrence Erlbaum Associates.
Institut de l’UNESCO pour l’apprentissage tout au long de la vie (UIL) (2010) : Cadre d’action de Belém. https://bit.ly/2wzvuDy
Kubow, P. et Fossum, P. (2007) : Comparative and international education. Exploring issues in international context. New Jersey : Pearson Education, Inc.
Kusek, J. Z. et Rist, R. C. (2004) : Ten steps to a results-based monitoring and evaluation system. Washington, DC : Banque mondiale.
McGrath, S. (2010) : The role of education in development: An educationalist’s response to some recent work in development economics. Comparative Education, 46(2), 237-253.
Olaniyan, D. A. et Okemakinde, T. (2008) : Human capital theory: Implications for educational development. European Journal of Scientific Research, 24(2), 157-162.
Streatfield, D. (2009) : What is impact assessment and why is it important? https://bit.ly/2vviHl7
UNESCO (2018) : Politique et planification de l’éducation. https://bit.ly/2NzsT3J
Shermaine Barrett est maître de conférences à l’université de technologie de Jamaïque. Actuellement, elle est vice-présidente du Conseil international pour l’éducation des adultes (CIEA) pour la région caribéenne et présidente du Conseil jamaïcain pour l’éducation des adultes (JACAE). Ses recherches portent, entre autres, sur l’enseignement destiné aux adultes, l’apprentissage des adultes, l’éducation de la main-d’œuvre et le développement professionnel des enseignants.
Contact :
shermainebarrett@gmail.com