Los desafíos que plantea la generación de datos

César Guadalupe
Universidad del Pacífico
Perú

 

 

 

 

Resumen –  En este artículo se identifican algunos de los principales obstáculos que se afrontan en la generación y disponibilidad de datos sobre educación de jóvenes y adultos. Se analiza la generación de datos sobre programas y matrícula, al igual que sobre financiación y problemas que surgen cuando se trata de identificar las poblaciones destinatarias. Se hace especial hincapié en la evaluación mediante test de las habilidades y competencias, teniendo en cuenta la complejidad, el destacado perfil y la importancia que han adquirido estos test durante los últimos años. En el artículo se destaca el hecho de que los atributos técnicos de los procesos de generación de datos dependen de los objetivos que se persiguen. Se sugiere basar la generación de datos en un enfoque no tecnocrático y de mayor sensibilidad política. 


Los datos sistemáticos sobre la educación de jóvenes y adultos son escasos, y por lo general no se tiene información sobre su calidad o ésta no ha sido debidamente documentada. Se trata de un fenómeno habitual en un campo que es ignorado con demasiada frecuencia, también en las políticas educativas.

Fuera de esa actitud de desinterés puede haber otros factores que entorpecen el desarrollo de un conjunto de evidencias que no solo pueda influir en el análisis y los debates en torno a la educación de jóvenes y adultos, sino que además le permita a ésta adquirir mayor notoriedad.

En este artículo se exploran cuatro áreas en las que los datos son escasos o no son sistemáticos: (i) datos sobre programas y matrícula; (ii) resultados de aprendizaje; (iii) población destinataria; (iv) financiación.

Cada una de estas áreas afronta dificultades específicas. Una vez que los actores involucrados logren comprenderlas, y cuenten con un marco de referencia estructurado, serán capaces de coordinar más eficazmente sus actividades de gestión de datos.

Programas educativos y matrícula

Los programas de educación de jóvenes y adultos son sumamente diversos en cuanto a la manera de organizarlos e impartirlos, y en cuanto a las entidades encargadas de esas tareas. Igualmente variados son los objetivos que pretenden alcanzar. En comparación con los programas escolares tradicionales destinados a niños y niñas, la educación de jóvenes y adultos se presenta como un ámbito mucho más difícil de abordar.

Así y todo, es posible clasificar los programas de educación de jóvenes y adultos en tres categorías principales: (i) programas equivalentes a aquellos que gozan de acreditación “oficial” en el país, es decir, que conducen a la obtención de certificados oficiales que permiten realizar estudios superiores en el sistema de educación formal; (ii) programas para fines específicos que satisfacen determinadas necesidades y no conducen a la obtención de certificados formales; y (iii) una combinación de las dos modalidades anteriores.

El primer grupo de programas puede incluirse en la estructura nacional de cualificaciones y en la Clasificación Internacional Normalizada de la Educación (UNESCO/UIS 2013). Las organizaciones encargadas de los registros de matrícula y graduación deberían facilitar la transferencia. El segundo grupo de programas plantea una dificultad distinta, ya que no es necesario insertarlos en trayectorias formales, a menos que se requiera una compilación normalizada de datos para un determinado fin. En tal caso, será preciso recurrir a un sistema de clasificación flexible en el que se reconozca la naturaleza de estos programas (iniciativas de educación continua que no conducen a la obtención de certificados formales).

En ambos casos (y también cuando se combinan las dos alternativas) es menester que las partes involucradas lleguen a un acuerdo. Es probable que algunas de estas partes deban aceptar que, si bien la generación de datos no adoptará la forma exacta que habían deseado, se obtendrá un beneficio más general gracias a la posibilidad de trazar un mapa integral y confiable de los programas de educación para jóvenes y adultos en general.

“La medición de los resultados de aprendizaje es quizás el área más compleja y polémica de la generación de datos sobre educación.”

Una vez superado el escollo anterior, debemos concentrarnos en el registro de información sobre matrícula. En este caso hay que establecer una diferencia entre dos elementos de observación claramente distinguibles: (i) las personas y (ii) las unidades beneficiarias (las personas a las que está destinado un determinado programa). Uno de los problemas más comunes es el que surge cuando se confunden ambos componentes: una persona puede ser inscrita en más de un programa, y por tanto debe ser contabilizada como una sola (si el énfasis se pone en la cantidad total de personas), pero puede haber muchas unidades beneficiarias. El hecho de sumar los participantes de distintos programas no necesariamente arroja una cantidad total de participantes como individuos. La única excepción se da cuando la matrícula en un determinado programa impide la matrícula en otro programa durante un período determinado.

Ahora bien, el registro de unidades beneficiarias entraña el riesgo de considerar programas que son sumamente diversos como si fueran equivalentes. Por ejemplo, un programa de seis horas no debería considerarse equivalente a un programa de jornada parcial que dura un semestre. Lo anterior es especialmente relevante cuando lo que nos interesa es obtener información sobre financiación y asignación de recursos. Una de las maneras de sortear este obstáculo consiste en emplear alguna unidad equivalente, como las horas de crédito.

Por consiguiente, en último término sería posible dar a conocer el número de participantes (como cantidad total de personas) y las unidades beneficiarias empleando equivalentes de horas/días/créditos de participación.

Resultados de aprendizaje

La medición de los resultados de aprendizaje es quizás el área más compleja y polémica de la generación de datos sobre educación. Tal como ocurre en toda iniciativa de generación de información, la pregunta clave es cómo identificar desde un comienzo el (los) objetivo (s) que se pretende alcanzar. Si la comparación (a lo largo de un período o entre distintos grupos) es un aspecto importante (para medir el progreso realizado o detectar lagunas de información), el logro de ese objetivo debería ser asegurado en cada etapa sucesiva del proceso. Ello incluye la manera en que se diseñan y gestionan los instrumentos de medición.

Por lo general, los programas se planifican con el fin de ayudar a los maestros o instructores a proporcionar una evaluación integral del progreso y los logros de los participantes. En esa labor de evaluación es preciso concentrarse en cada entorno particular y, por tanto, aplicar diferentes criterios. Por ello no resulta fácil generar datos agregados que sean significativos y vayan más allá de un mero (y no muy específico) recuento de los alumnos que concluyen exitosamente o no logran completar un programa. Carecemos de toda evidencia respecto de las competencias que efectivamente han adquirido los participantes. También es difícil hacer un seguimiento del progreso a lo largo del tiempo si los criterios reales de evaluación utilizados cambian (cuando uno desea medir los impactos, es importante mantener invariable el criterio de medición).

De estos últimos razonamientos surge la eventual necesidad de emplear parámetros estandarizados para medir las aptitudes y competencias. Con todo, medir las competencias a través de test es una tarea compleja que plantea dificultades en distintos aspectos, incluidos la validez y la fiabilidad. En este contexto, es importante prestar debida atención a la dificultad de llevar a cabo los test (American Educational Research Association y otros 2014) y considerar con cautela las propuestas que ofrecen una solución barata y rápida a un problema complejo.

Por ejemplo, un test puede ser diseñado de tal manera que clasifique a los participantes (diferenciándolos entre los que obtienen mejor o peor puntaje que los demás, independientemente del nivel de rendimiento que lleguen a alcanzar; es lo que se conoce comúnmente como test normalizado) o evalúe su desempeño con referencia a una cifra esperada expresada de manera explícita como norma o nivel de rendimiento (lo que se conoce como test referidos a criterios), o una combinación de ambos (Glaser 1963). Ello influye poderosamente en las decisiones sobre las preguntas (ítems que contienen un estímulo y una pregunta o tarea) que son incluidas en un determinado test.

© Shira Bentley

Un test debería describir adecuadamente lo que pretende medir (“validez de constructo”). Debería incluir los principales componentes de ese constructo (“validez del contenido”). También debería ser aplicable en relación con un determinado comportamiento observado que se pretende describir (“validez concurrente”) o predecir (“validez predictiva”). Por último, es importante que al momento de diseñar un mecanismo de medición se preste atención a las consecuencias (“validez consecuencial”) que puede tener en el entorno social en que opera (Zumbo y Hubley 2016).

Este último elemento también apunta a la consideración del contexto y las condiciones institucionales generales en que se diseña, aplica y emplea un determinado test. Los datos pueden ser manejados para alcanzar distintos objetivos, entre ellos algunos fines políticos polémicos (Gorur 2015, 2017; Grek 2009, 2015; Guadalupe 2017; Hamilton 2012).

También debemos considerar la manera en que los datos serán procesados y analizados. Las actuales prácticas para aplicar test tienden a basarse en modelos matemáticos agrupados bajo la denominación de teoría de respuesta al ítem (Baker 2001; Hambleton y Jones 1993; Hambleton y otros 1991). Este enfoque incluye un método más preciso para abordar los atributos de determinadas preguntas (ítems) cuando se aplican a una determinada población y, por tanto, permite identificar aspectos relativos a la manera en que diferentes poblaciones responden a distintas preguntas que podrían influir en la posibilidad de usar algunos ítems para obtener datos comparables que sean confiables (Zumbo 1999, 2007).

Por último, si un determinado test va a ser aplicado a personas de distintos ambientes culturales y lingüísticos, surgen algunos problemas específicos respecto de la traducción y adaptación de los test (Hambleton 2005; Hambleton y otros 2005).

La población destinataria

Los programas de educación de jóvenes y adultos cobran cada vez más importancia en un mundo que está adquiriendo progresivamente conciencia de que la educación y el aprendizaje se realizan durante toda la vida. Así pues, definir la población destinataria es por lo general una tarea difícil, por lo que resulta imposible determinar adecuadamente la cobertura de estos programas más allá de un simple cálculo del “número de participantes”.

Un primer método para abordar este tema requiere hacer una diferenciación según la intencionalidad de los programas: (i) programas que tienen un componente de recuperación en relación con el hecho de no haber concluido la educación obligatoria, y (ii) programas que van más allá de los fines de recuperación.

Resulta evidente que el primer grupo de programas debería contar con una población destinataria claramente definida: las personas que no completaron (o ni siquiera comenzaron) la educación obligatoria cuando se esperaba que lo hicieran. Se pueden utilizar los datos de encuestas domiciliarias para realizar estimaciones en este segmento de la población (Guadalupe y otros 2016; Guadalupe y Taccari 2004; UNESCO Santiago 2004). Esas cifras son de enorme importancia para evitar la tendencia a adoptar prácticas autocomplacientes que se concentran demasiado en lo que hacemos y no prestan atención a lo que debemos hacer. Al mismo tiempo, las estimaciones del número de personas que no completaron la enseñanza obligatoria podrían llevar a subestimar la necesidad de contar con programas de recuperación ya que, desgraciadamente, muchos alumnos terminan la etapa escolar sin haber desarrollado las competencias y las aptitudes esperadas. Para determinar la necesidad de programas de recuperación, se podría analizar la distribución de competencias entre los adultos.

En el caso de los programas sin carácter recuperativo no existe una manera clara o precisa de identificar una población destinataria, por lo que la cobertura solo puede determinarse como una proporción de la población total de jóvenes y adultos.

Recopilación de datos sobre financiación

Esta es tal vez el área más problemática debido a la enorme variedad de métodos con que se registra la información en las oficinas gubernamentales, y además a la enorme dificultad práctica que supone el intento de obtener datos estructurados y sistemáticos de fuentes no gubernamentales. No siempre resulta fácil establecer definiciones normalizadas de los componentes principales (gastos corrientes como algo diferente de las inversiones; sueldos como algo distinto de otros gastos corrientes, gastos generales o costos administrativos).

Por otra parte, la información sobre las finanzas debería ser interpretada con referencia a algún tipo de parámetro que proporcione un indicador del grado de disponibilidad de los recursos invertidos. Es difícil establecer un parámetro (UNESCO Santiago 2007), ya que se necesita contar con una estimación clara de las necesidades (las cuales son múltiples, por lo que para abordarlas hay que afrontar diversos costos). También debemos desechar las simplificaciones excesivas que han circulado durante décadas en el ámbito educativo, como la de establecer un porcentaje fijo ideal (imposible de sostener) de algo (producción, gasto público, etc.) que parece ser aplicable durante períodos prolongados (como si no existiera el cambio) en cualquier ámbito (como si no existiera la diversidad) en un mundo donde la diversidad y el cambio son la norma.

El próximo paso lo tienen que dar ustedes

Este artículo constituye un breve resumen de las principales dificultades que se afrontan en la tarea de generar datos sobre educación de jóvenes y adultos. La generación de datos (no la recopilación, ya que los datos no son un elemento natural que pueda ser recolectado como los frutos rojos, sino que corresponden a construcciones sociales basadas en conceptos, intereses, ideas, etc.) no puede ser considerada una tarea sencilla o una actividad meramente técnica, desprovista de una dimensión política o ideológica. Por el contrario, las decisiones sobre qué datos hay que producir, cómo deben generarse, compilarse, analizarse y darse a conocer, se basan fundamentalmente en los objetivos y en las agendas que un determinado actor procura promover (Guadalupe 2015). Por consiguiente, una definición sustantiva y explícita de los objetivos constituye la piedra angular de cualquier iniciativa de generación de datos.

Al mismo tiempo, el argumento anterior no debería emplearse como pretexto para justificar cualquier decisión relativa a los datos: existen complejidades y atributos específicos que hay que tener debidamente en cuenta en cualquier proceso de generación de datos si se pretende producir y dar a conocer datos fiables y útiles. En las soluciones “de parche” baratas y rápidas por lo general se desestiman las propiedades científicas de datos fidedignos y, por tanto, su facilidad de uso. Con frecuencia resulta preferible no contar con ningún dato y ser consciente de esta falta de evidencias que disponer de datos insuficientes y suponer que son una fuente de información confiable. La primera situación conduce a adoptar medidas precautorias (entre ellas, tratar de corregir los déficits de información), en tanto que la segunda lleva a cometer errores que afectan la vida de las personas.


Referencias

American Educational Research Association, American Psychological Association y National Council on Measurement in Education (2014): Standards for educational & psychological test. Washington, DC: AERA.

Baker, F. B. (2001): The basics of item response theory (2nd ed.). USA: ERIC Clearinghouse on Assessment and Evaluation.

Glaser, R. (1963): Instructional technology and the measurement of learning outcomes: Some questions. En: American Psychologist, 18(8), 519–521. https://bit.ly/2vgo7Bd.

Gorur, R. (2015): Assembling a Sociology of Numbers. En: Hamilton, M.; Maddox, B. y Addey, C. (eds.): Literacy as Numbers: Researching the Politics and Practices of International Literacy Assessment Regimes, 1–16. Cambridge: Cambridge University Press.

Gorur, R. (2017): Towards productive critique of large-scale comparisons in education. En: Critical Studies in Education, 58(3), 1–15. https://bit.ly/2Mbw1Ce.

Grek, S. (2009): Governing by Numbers: The PISA “Effect” in Europe. En: Journal of Education Policy, 24(1), 23–37.

Grek, S. (2015): Transnational education policy-making: international assessments and the formation of a new institutional order. En: Hamilton, M.; Maddox, B. y Addey, C. (eds.): Literacy as numbers: researching the politics and practices of international literacy assessment, 35–52. Cambridge: Cambridge University Press.

Guadalupe, C. y Taccari, D. (2004): Conclusión Universal de la Educación Primaria: ¿cómo evaluar el progreso hacia esta meta? Santiago de Chile: UNESCO. https://bit.ly/2M9UmIl

Guadalupe, C. (2015): Contar para que cuente: una introducción general a los sistemas de información educativa. Lima: Universidad del Pacífico. https://bit.ly/2n5LFUU

Guadalupe, C.; Castillo, L. E.; Castro, M. P.; Villanueva, A. y Urquizo, C. (2016): Conclusión de estudios primarios y secundarios en el Perú: progreso, cierre de brechas y poblaciones rezagadas (Documentos de Discusión No. DD1615). https://bit.ly/2OEy8zQ

Guadalupe, C. (2017): Standardisation and diversity in international assessments: barking up the wrong tree? En: Critical Studies in Education, 58(3), 326–340. https://bit.ly/2vpWhRW

Hambleton, R. K. et al. (1991): Fundamentals of Item Response Theory. Newbury Park, Londres, Nueva Delhi: Sage.

Hambleton, R. K. y Jones, R. W. (1993): An NCME Instructional Modul on Comparison of Classical Test Theory and Item Response Theory and their Applications To Test Development. En: Educational Measurement: Issues and Practice, 12(3), 38–47. https://bit.ly/2J6bmi7

Hambleton, R. K. (2005): Issues, Designs and Technical Guidelines for Adapting Test Into Multiple Languages and Cultures. En: Hambleton, R. K.; Merenda, P. y Spielberger, C. (eds.): Adapting Psychological and Educational Test for Cross-Cultural Assessment, 38(3). Mahwah, Nueva Jersey: Lawrence Erlbaum Associates.

Hambleton, R. K.; Merenda, P. y Spielberger, C. (eds.) (2005): Adapting educational and psychological test for cross-cultural assessment. Mahwah, Nueva Jersey: Lawrence Erlbaum Associates.

Hamilton, M. (2012): Literacy and the Politics of Representation. Oxford: Routledge.

UNESCO Santiago (2004): La conclusión universal de la educación primaria en América Latina: ¿Estamos realmente tan cerca? Santiago de Chile: UNESCO. https://bit.ly/2vvmPBt

UNESCO Santiago (2007): Educación de calidad para todos: un asunto de Derechos Humanos. Santiago de Chile: UNESCO. https://bit.ly/2f0VWOK

UNESCO/UIS (2013): International Standard Classification of Education. ISCED 2011. Montreal: UNESCO/UIS.

Zumbo, B. (1999): A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-type (Ordinal) Item Scores. Ottawa: ­Directorate of Human Resources Research and Evaluation, Department of National Defense.

Zumbo, B. (2007): Three Generations of DIF Analyses: Considering Where It Has Been, Where It Is Now, and Where It Is Going. En: Language Assessment Quarterly, 4(2), 223–233. https://bit.ly/2LO0OsE

Zumbo, B. y Hubley, A. M. (2016): Bringing consequences and side effects of testing and assessment to the foreground. En: Assessment in Education: Principles, Policy & Practice, 23(2), 299–303. https://bit.ly/2vbhJuZ


Sobre el autor

César Guadalupe  arts en pensamiento social y político (Sussex) y sociólogo (PUCP). Es profesor-investigador en la Universidad del Pacífico (Perú). Anteriormente trabajó durante once años en el Instituto de Estadística de la UNESCO y en UNESCO Santiago. Es miembro (2014-2020) y actual presidente (2017-2020) del Consejo Nacional de Educación de Perú.

Contacto
ca.guadalupem@up.edu.pe