Shermaine Barrett
Universidad de Tecnología
Jamaica
Resumen – En este artículo se exploran factores, dificultades y recomendaciones que deben tenerse en cuenta cuando se mide el impacto de las políticas de educación de adultos. Se basa en un estudio en el que se entrevistó a profesionales, académicos y responsables de formulación de políticas en el ámbito de la educación de adultos para conocer sus posturas con respecto a principios fundamentales y medidas adecuadas que habría que considerar cuando se procura medir el impacto de las políticas aplicadas en esta área.
En el ámbito de la educación de adultos abundan los documentos de política de carácter nacional, regional e internacional en los que se esbozan objetivos y se fijan metas. Entre ellos pueden mencionarse el Marco de Acción de Belém, el Marco de Acción Educación 2030, y las diversas políticas de educación de adultos y de aprendizaje a lo largo de toda la vida aplicadas en determinados países. Sin embargo, como señala Heck (2004), “las políticas pueden fijar rumbos o proporcionar un marco de referencia para producir cambios, pero no determinan directamente los resultados”. Por tanto, la etapa de evaluación constituye un elemento decisivo en el proceso de implementación de políticas. Al estudiar el impacto de las políticas de educación de adultos se las evalúa mediante un proceso sólido y sistemático para determinar en qué medida han alcanzado los resultados esperados, y también para identificar las deficiencias más notorias y verificar si las políticas son sostenibles.
Este artículo se basa en reflexiones sobre cómo evaluar el impacto, formuladas por ocho especialistas en educación de adultos de Europa, África, América Latina y el Caribe.
El Marco de Acción de Belém (2010) define la educación de adultos como “el conjunto de procesos de aprendizaje, formal o no, gracias al cual las personas cuyo entorno social considera adultos desarrollan sus capacidades, enriquecen sus conocimientos y mejoran sus competencias técnicas o profesionales o las reorientan a fin de atender sus propias necesidades y las de la sociedad” (p.1). Esta definición permite apreciar la amplitud y el alcance de la educación de adultos y, por ende, su complejidad. De manera que no existe una perspectiva única —en cuanto a marcos conceptuales, supuestos básicos o principios— desde la cual todos los educadores perciben este ámbito. La UNESCO y diversas organizaciones de la sociedad civil, como el Consejo Internacional de Educación de Adultos, abordan la educación de adultos haciendo hincapié en los derechos, mientras que otras entidades, entre ellas los organismos financiadores, adoptan frente al tema una postura más cercana al terreno económico.
El objetivo de la educación de adultos abarca una amplia gama de reflexiones e ideas. A medida que los países procuran satisfacer crecientes exigencias tratando de alcanzar numerosos objetivos —a menudo incompatibles y determinados por las necesidades de las personas, el empresariado y la sociedad— surgen desacuerdos en torno a la finalidad de la educación de adultos (Alfred, Robinson y Alfred 2011). En los debates sobre el propósito de la educación de adultos entran en juego temas como: i) inquietudes económicas con respecto a la posibilidad de dotar a los adultos de habilidades y aptitudes laborales apropiadas que les permitirían a las naciones competir en los mercados mundiales; ii) inquietudes cívicas con respecto a una agenda educativa que prepare a los adultos para participar más plenamente en la vida pública; y iii) inquietudes individuales con respecto al desarrollo personal mediante la educación a lo largo de toda la vida (Kubow y Fossum, 2007). Pese a esta amplia variedad de inquietudes, la mayoría coincide en que la educación (incluida la educación de adultos) permite formar mejores ciudadanos, y como tal contribuye a mejorar el nivel de vida general de una sociedad (Olaniyan y Okemakinde 2008; McGrath 2010).
Según una publicación en línea de la UNESCO (2018) “la existencia de políticas y planes sólidos y coherentes constituye la base para construir sistemas educativos sostenibles, alcanzar objetivos de desarrollo educativo y contribuir eficazmente al aprendizaje a lo largo de toda la vida”. Para Fitzpatrick, Sanders y Worthen (2012), una política es una medida de mayor alcance adoptada por un organismo público o un poder del Estado, cuyo fin es producir un determinado resultado o cambio. Una política puede adoptar la forma de una ley o de una normativa que contiene las directrices y las disposiciones que propician el cambio.
La evaluación del impacto es la recopilación, el análisis y la interpretación de información que permite apreciar con claridad los efectos de un cambio de política, que acarrea una serie de consecuencias de interés, incluso algunos resultados imprevistos. La evaluación del impacto es importante para demostrar la pertinencia, la eficacia y la calidad de una política. Uno de los entrevistados señaló que “las políticas se diseñan con el fin de crear un ambiente propicio para satisfacer una necesidad, en especial de poblaciones subatendidas. Por tanto, la evaluación de las políticas de educación de adultos cobra importancia cuando se trata de determinar en qué medida: i) se han satisfecho las necesidades de la población; ii) se han alcanzado las metas, los objetivos y los resultados previstos en la política; iii) se ha cumplido fielmente lo dispuesto en la política; iv) se han provisto recursos suficientes; y v) se han realizado los necesarios ajustes a la política” (Entrevistado 1).
En otro nivel, es importante evaluar el impacto de las políticas porque, puesto que los gobiernos deben lidiar con la escasez de recursos —y en muchos casos, con déficits presupuestarios— para resolver diversos problemas sociales —cuál de todos más urgente—, necesitan información sobre la relativa eficacia de los programas y las políticas para así adoptar decisiones e iniciativas inteligentes (Fitzpatrick y otros 2012). Otro entrevistado observó que “el impacto es importante para legitimar el gasto público” (Entrevistado 7). Es gracias a los estudios sobre el impacto de las políticas que los gobiernos pueden decidir cuáles de ellas están funcionando y cuáles no. Preguntas como: i) ¿Qué está funcionando bien?; ii) ¿Qué está fallando?; y iii) ¿Qué se puede hacer para mejorar la situación?, son factores clave en esa evaluación. Otro aspecto que es preciso considerar es la rendición de cuentas, que a juicio de los entrevistados es una razón fundamental para llevar a cabo estudios de impacto en el área de la educación de adultos.
Otro motivo importante, pero menos analizado, para evaluar políticas que fue mencionado en el estudio es que los resultados pueden emplearse como herramienta de promoción. Uno de los entrevistados observó que “la evidencia del impacto resulta fundamental para las iniciativas de promoción, en especial si se tiene en cuenta que el aprendizaje y la educación de adultos se enfrenta con el obstáculo de que muchos responsables de la toma de decisiones la consideran un área ‚opcional‘, ya que su impacto es limitado en comparación con el de la escolarización” (Entrevistado 7).
Otra pregunta clave que se plantea en este artículo es: ¿Cómo debería realizarse la evaluación del impacto? Ello incluye: i) los tipos de resultados que se evaluarán; ii) cómo inferir el impacto; iii) métodos para recopilar datos; iv) tipos de evidencia que se emplearán; y v) cómo debería financiarse la evaluación.
Los profesionales entrevistados para este artículo mencionaron tres factores que influyen en los resultados de las políticas. Ellos son: el contexto, el tipo de política y el objetivo de la política. En cuanto al contexto, la idea es que la política social, por ejemplo una política de educación de adultos, no puede disociarse de su contexto social. Otro entrevistado sostuvo que “los tipos de resultados dependerán del contexto. Un enfoque genérico aplicable a todos los casos tal vez no sea el adecuado” (Entrevistado 3). En lo referente al tipo de política, la tendencia general es que lo evaluado depende de si la política es sectorial o propia de un segmento del sector educativo. Un entrevistado consideró que los resultados que se evalúan dependerán en gran medida del tipo de política y del alcance de la iniciativa en que se la ha aplicado: ¿Se refiere a todos los sectores educativos o solo a alguno de sus segmentos? ¿Se refiere a determinados grupos destinatarios, a ciertos aspectos, o a un conjunto de principios que hay que establecer? (Entrevistado 2). Otro entrevistado opinó que el impacto “dependerá sin duda de los objetivos fijados para la política. Los objetivos deberían generar impactos” (Entrevistado 6).
Teniendo en cuenta los tres elementos que acaban de analizarse, entre los resultados identificados se incluyen los educativos, los económicos, los asociados al bienestar, los sociales y los ambientales. Un entrevistado indicó que entre los resultados deberían incluirse los siguientes:
Resultados educativos: ¿Qué porcentaje de la población adulta ha adquirido aptitudes de alfabetización básicas, tales como nociones de lectura, escritura, aritmética e informática? ¿Qué porcentaje de adultos ha logrado mejorar su nivel de instrucción?
En lo concerniente a la manera en que inferimos el impacto, uno de los entrevistados sostuvo que “el impacto sería una clara indicación de las medidas que reflejan un cambio en el problema sobre la base de lo que se obtuvo al inicio y luego en el punto de medición” (Entrevistado 4). Lo anterior sugiere que para poder inferir el impacto es preciso contar con un conjunto de indicadores convenidos que permitan determinar si se ha logrado o no el objetivo. Los indicadores de resultados son las variables cuantitativas o cualitativas que ofrecen un método sencillo y confiable para medir los logros y para reflejar los cambios producidos por una intervención (Kusek y Rist 2004).
En lo que respecta a los parámetros para medir los cambios, el Marco de Acción de Belém (2010) proporciona un conjunto de indicadores confiables de desempeño: i) crear un marco favorable para aplicar las políticas y aportar los fondos necesarios para aplicarlas; ii) crear estructuras de gobernanza apropiadas; iii) establecer criterios de calidad; iv) aumentar la participación, la inclusión y la equidad para la población subatendida; y v) aportar recursos suficientes. Con todo, el uso de estos indicadores depende de lo que consideremos que es la finalidad de la educación de adultos. Ello porque nuestra postura respecto del objetivo, el papel y la función de la educación de adultos influirá indudablemente en la percepción de lo que indica el impacto. Uno de los entrevistados resumió acertadamente la importancia de la perspectiva en las decisiones sobre los indicadores al señalar que: “Es muy importante tener presente el paradigma en que se basa nuestro enfoque de evaluación (el cual incluye la metodología, los indicadores, etc.), ya que va a determinar los resultados. El uso exclusivo de un solo enfoque (centrado, por ejemplo, en el capital humano) puede limitar nuestra percepción de los efectos y del impacto, e incluso crear una falsa imagen de la política. El análisis crítico del discurso es una herramienta útil para preparar la evaluación del impacto, y al recopilar los datos deberemos tener en cuenta los objetivos, las metodologías y los indicadores basados en determinados paradigmas (positivistas, interpretativos, transformativos o críticos-emancipadores). Ello también permitiría advertir los distintos tipos de sesgo que podrían influir en el análisis” (Entrevistado 2).
© Shira Bentley
En lo relativo a los tipos de evidencia que podrían demostrar el impacto, los entrevistados señalaron que entre ellos se incluyen los indicadores estadísticos y los datos cualitativos. Uno de los entrevistados lo expresa de la siguiente manera: “La evidencia debería ser recopilada a partir de datos cuantitativos (estadísticas sobre educación, pero también sobre otros sectores, dependiendo del alcance de la evaluación), de diversos indicadores estadísticos y datos cualitativos, ya que los indicadores deberían reflejar los cambios positivos provocados por la aplicación de las políticas y demostrar que ellos ocurrieron gracias a esa intervención (…) los indicadores deberían ser escogidos antes de la implementación, pero no habría que descartar la inclusión de algunos indicadores nuevos y no planificados, al igual que consecuencias imprevistas” (Entrevistado 2).
Otro participante advirtió que: “es importante tener presente que el impacto puede ser favorable y desfavorable” (Entrevistado 3). En esta misma línea, otro entrevistado observó que “para demostrar el impacto es preciso contar con evidencia sobre todos los aspectos de la retroinformación positiva y negativa” (Entrevistado 8).
Al momento de determinar el impacto de las políticas es importante que nos preguntemos cuál es el momento adecuado para hacerlo. Todos los entrevistados coinciden en señalar que esa evaluación debe realizarse durante la implementación de la política y en el período posterior. Dicho de otro modo, debe efectuarse permanentemente. Uno de los entrevistados aseveró que “en el seguimiento y la evaluación de las políticas sobre la base de los resultados se recomienda que la evaluación del ‘impacto’ se realice al final del ciclo de implementación de la política; sin embargo, es recomendable aplicar un proceso de evaluación formativa durante la implementación de la política” (Entrevistado 1). La idea de una evaluación continua fue respaldada por Heck (2004), quien recomienda que se lleven a cabo estudios de eficacia de la política mediante un enfoque longitudinal, recopilando datos en diversos puntos durante las etapas de implementación y de efectos.
Otros aspectos que deberíamos tener en cuenta al momento de planificar son cómo y de qué fuentes recopilaremos los datos de la evaluación del impacto. Dependiendo de su alcance, por lo general las políticas públicas se focalizan en la ciudadanía o en parte de ella. Por tanto, cualquier evaluación de esas políticas debería incluir a sus destinatarios. Así pues, los alumnos, que son los destinatarios de las políticas de educación de adultos, tendrían que ser incluidos, ya que son las personas que se ven directa o indirectamente afectadas por la aplicación de las políticas.
Por otra parte, también deberían incluirse los diversos actores involucrados, “como los gobiernos, los ministerios y departamentos de educación, los organismos de financiación, las instituciones que promueven e imparten programas de educación de adultos, los administradores y los instructores de los programas…” (Entrevistado 8). Asimismo, según sea la naturaleza de la política, en el grupo de actores involucrados se podría incluir al sector privado y a diversas entidades de la sociedad civil.
Los entrevistados coincidieron en que para recopilar datos de un espectro tan amplio de personas sin duda será necesario recurrir a métodos que van más allá de las cifras y estadísticas. Todos ellos recomendaron aplicar un enfoque de métodos combinados para recopilar los datos. Para apoyar esta postura, uno de ellos expresó: “Me parece que para llevar a cabo un análisis exhaustivo hay que emplear datos de tipo cuantitativo (como las encuestas, ya sean en línea o de otro tipo) o más cualitativo (como las entrevistas), al igual que mediciones no intrusivas” (Entrevistado 3). En una respuesta más detallada, otro entrevistado manifestó: “Se pueden emplear diversos enfoques: observación, entrevistas, cuestionarios, encuestas, comparación (entre los grupos afectados y no afectados por la aplicación de las políticas; puntos de datos múltiples: los mismos grupos antes y después de la aplicación de las políticas; entre regiones, sectores, etc.), experimentos, ensayos, análisis de informes, grupos focales, visitas de estudio, reuniones focalizadas, datos descriptivos, testimonios personales, estudios de casos, etc.” (Entrevistado 2).
Estas opiniones se ven respaldadas por la postura de Streatfield (2009), quien recomienda emplear métodos cuantitativos y cualitativos. Los datos cualitativos son útiles para recopilar datos asociados a la eficacia, mientras que los cuantitativos son necesarios para evaluar la eficiencia.
La financiación de la evaluación del impacto es un factor primordial, ya que puede influir en diversas variables: quién interviene, cómo se lleva a cabo el estudio, qué áreas de la política se focalizan y, lo más importante, cómo se emplean los resultados. Al abordar este aspecto, los entrevistados coincidieron en que los gobiernos deben transformarse en una fuente esencial de financiación, ya que deben tener un interés particular por los resultados. Uno de los entrevistados observó que “el hecho de llevar a cabo un estudio sobre el impacto de las políticas de educación de adultos reviste enorme importancia para el desarrollo de cualquier país. De modo que (…) dicho estudio debería ser financiado por el Gobierno o el Ministerio de Educación” (Entrevistado 8).
También se consideró que, aparte de los gobiernos, el sector privado y los socios internacionales para el desarrollo podrían convertirse en otras fuentes de financiación, y que el tipo de política, al igual que su alcance, podrían determinar el origen de los fondos. A este respecto, uno de los entrevistados consideró que “Dependiendo del tipo y del alcance de la iniciativa en que se aplica la política, el encargado de sufragar los costos puede ser un organismo gubernamental (ya es probablemente el principal responsable de planificar e implementar las políticas), pero los grupos involucrados o afectados (por ejemplo, los organismos del sector privado que intervienen en el diseño y la implementación de políticas de educación y formación profesional) podrían participar en la evaluación de determinados aspectos del impacto. Las organizaciones de ayuda internacional [también] podrían transformarse en una de las fuentes de financiación” (Entrevistado 2).
Entre las demás opiniones expresadas cabe mencionar la siguiente reflexión: “Lo ideal sería que, cuando se promulgue una política, quienquiera que sea el responsable de hacerlo reserve los fondos necesarios” (Entrevistado 5). Asimismo, otro entrevistado consideró que la evaluación de políticas debería recibir “un porcentaje de los fondos destinados a las políticas [y] debería ser presupuestada en el proyecto original” (Entrevistado 6).
Uno de los entrevistados recalcó que “medir el impacto de las políticas en general, y particularmente en la educación de adultos, puede revelarse como un proceso engorroso. Sería recomendable que, en la medida de lo posible, tengamos presente que no todo es mensurable. Por ejemplo, las reflexiones personales también pueden ser importantes como guía para mejorar la comprensión. Esa información puede comunicarse a través de testimonios de cambio aportados por actores clave. Otros factores relevantes que podrían mencionarse son: las influencias políticas, la manera en que la política fue comprendida, comunicada, implementada, etc. También resulta importante identificar a informantes conocedores de la materia que puedan contribuir con perspectivas sobre dinámicas potenciales que pasan inadvertidas, como las actitudes o relaciones que podrían haber influido en el impacto” (Entrevistado 3).
Otro entrevistado nos alerta de un obstáculo que puede advertirse con mayor claridad en algunas jurisdicciones que en otras: “los investigadores pueden tropezar con dificultades, ya que tal vez no existan políticas escritas sobre aprendizaje y educación de adultos, y probablemente se carezca de registros oficiales sobre iniciativas que se hayan llevado a cabo efectivamente en esa área” (Entrevistado 8).
En conclusión, quisiera retomar dos argumentos planteados anteriormente en este artículo. En primer lugar, “la existencia de políticas y planes sólidos y coherentes constituye la base para construir sistemas educativos sostenibles, alcanzar objetivos de desarrollo educativo y contribuir eficazmente al aprendizaje a lo largo de toda la vida” (UNESCO 2018). Sin embargo, las políticas pueden fijar rumbos y proporcionar un marco para el cambio, pero no determinan directamente los resultados (Heck 2004). De manera que el estudio periódico de la eficacia de esas políticas es vital para garantizar que están consiguiendo su propósito original. Aun así, resulta de suma importancia que al efectuarse esos estudios se preste atención a cómo y cuándo hay que emprenderlos y quién debe participar. Tenemos que formular claramente nuestros objetivos, considerar los indicadores de impacto, identificar el tipo de evidencia que se va a recopilar, y posteriormente determinar cómo se utilizará dicha evidencia para evaluar el impacto y, en último término, la utilidad de la política
Alfred, M. V.; Robinson, P. E. y Alfred, M. C. (2011): Adult education and lifelong learning in the Caribbean and Latin America. https://bit.ly/2KliUMW
Barrett, S. (2014): Adult education, social change and development in Post-Colonial Jamaica: Investing in human capital. Alemania: Lambert Academic Publishing.
Fitzpatrick, J. L., Sanders, J. R. y Worthen, B. R. (2012): Program evaluation: Alternative approaches and practical guidelines (cuarta edición). Nueva Jersey, NJ: Pearson Education.
Heck, R. H. (2004): Studying educational and social policy: Theoretical concepts and research methods. Londres: Lawrence Erlbaum Associates.
Instituto de la UNESCO para el Aprendizaje a lo Largo de Toda la Vida (2010): Marco de Acción de Belém. https://bit.ly/2wzs83o
Kubow, P. y Fossum, P. (2007): Comparative and international education. Exploring issues in international context. Nueva Jersey: Pearson Education, Inc.
Kusek, J. Z. y Rist, R. C. (2004): Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados: manual para gestores del desarrollo. Washington, D.C.: Banco Mundial.
McGrath, S. (2010): The role of education in development: An educationalist’s response to some recent work in development economics. Comparative Education, 46(2), 237-253.
Olaniyan, D. A. y Okemakinde, T. (2008): Human capital theory: Implications for educational development. European Journal of Scientific Research, 24(2), 157-162.
Streatfield, D. (2009): What is impact assessment and why is it important? https://bit.ly/2vviHl7
UNESCO (2018): Education policy review. https://bit.ly/2vpbxi6
Shermaine Barrett (PhD) es profesora titular en la Universidad de Tecnología de Jamaica. En la actualidad ocupa el cargo de vicepresidenta para la región del Caribe del Consejo Internacional de Educación de Adultos (International Council for Adult Education, ICAE) y de presidenta del Consejo Jamaicano de Educación de Adultos (Jamaican Council for Adult Education, JACAE). Entre sus áreas de interés para la investigación se incluyen la enseñanza y el aprendizaje de adultos, la educación del personal y el perfeccionamiento profesional de los docentes.
Contact0
shermainebarrett@gmail.com