INEE. Una década de evaluación 2002-2012*

SEMINARIO INTERNACIONAL SOBRE MONITOREO, EVALUACIÓN Y GESTIÓN POR RESULTADOS

SHCP, CIDE, CLEAR, Coneval y G2012 Ciudad de México 4 de septiembre de 2012

Héctor V. Robles Vásquez**

* El título proviene del nombre del último informe del INEE (disponible en www.inee.edu.mx ) ** Director de Indicadores Educativos. El autor agradece a los directores del Instituto por su colaboración. Se les exime de responsabilidad en caso de errores.

Contenido • Dimensión de los subsistemas de educación básica y

de media superior

• La Misión del INEE en el periodo 2002-2012

• Evaluaciones de alumnos nacionales e internacionales.

• Evaluaciones de recursos y procesos de las Escuelas.

• Desarrollo y actualización de sistemas de indicadores educativos.

• Difusión y uso de los resultados para la mejora de la educación.

• Conclusiones

DIMENSIÓN DE LOS SUBSISTEMAS DE EDUCACIÓN BÁSICA Y DE MEDIA SUPERIOR

Dimensión de los subsistemas de educación básica y de media superior en México

Dimensiones del SEB y SEMS

Alumnos Maestros Escuelas

SEB 25 666 451 1 175 535 226 374

Preescolar

Primaria

Secundaria

18% (4.6 millones)

58% (14.9 millones)

24% (6.1 millones)

19% (222 mil)

49% (571 mil)

33% (382 mil)

40% (91 mil)

44% (99 mil)

16% (36 mil)

SEMS 4 187 528 278 269 15 110

La educación básica y la media superior son obligatorias. Esta última a partir del ciclo escolar 2012/2013 y con un horizonte gradual hasta el ciclo 2021/2022. El sistema educativo mexicano se compone de 31 subsistemas educativos estatales y uno correspondiente al Distrito Federal.

EL INEE Y SU MISIÓN

Sección basada en Martínez R. F. El Proyecto del INEE y sus primeros años en INEE (2012). El INEE una década de evaluación 2000-2012.

La situación previa a la creación del INEE

• La Secretaría de Educación Pública (SEP) contaba con información y mediciones para evaluar algunos aspectos de la calidad del sistema educativo.

• Se contaba con datos, indicadores escolares y resultados de evaluación de los aprendizajes pero adolecían de limitaciones técnicas, no se integraban para arribar a evaluaciones de la calidad del sistema educativo; tampoco se utilizaban los resultados para sustentar decisiones de mejora ni se difundían.

• La alternancia en el gobierno federal alentó la demanda social por transparentar y poder consultar y usar la información gubernamental.

La creación del INEE y su misión

• El 8 de agosto de 2002 se funda el Instituto Nacional para la Evaluación de la Educación.

Misión – Contribuir al mejoramiento de la educación en México a

través de la realización de evaluaciones integrales de la calidad del sistema educativo y de los factores que la determinan, así como de la difusión transparente y oportuna de resultados para apoyar la toma de decisiones, la mejora pedagógica y la rendición de cuentas.

• Dependencia orgánica de la SEP pero con independencia técnica.

• El INEE adoptó una noción de calidad compatible con la perspectiva del derecho a la educación.

Líneas sustantivas 1. Evaluación de la calidad del sistema educativo,

incluyendo evaluación de resultados de aprendizaje; evaluación de recursos y procesos; integración de indicadores y recolección y sistematización de datos.

2. Difusión de resultados de la evaluación y fomento de su uso para formular políticas, para mejorar la gestión escolar y los procesos de enseñanza y de aprendizaje, para avanzar en el conocimiento sobre la calidad de la educación y para promover la cultura de la evaluación.

3. Investigación y formación de recursos humanos.

EVALUACIONES DE ALUMNOS NACIONALES E INTERNACIONALES

Evaluaciones nacionales de alumnos: las pruebas Excale • El INEE se hizo cargo de las pruebas de estándares nacionales pero el

análisis de sus resultados mostró limitaciones técnicas. Por ello desarrolló los Exámenes de la Calidad y el Logro Educativo (Excale). – En 1995 aplicó por vez primera Excale a 6º de primaria y 3º de

secundaria. • Los Excale no evalúan a estudiantes, ni a escuelas, sino al Sistema

Educativo Nacional en su conjunto, con respecto al logro escolar que se alcanza.

• Están alineadas al currículo nacional y lo evalúan extensamente a través de un diseño matricial.

• Se aplica a muestras representativas, lo que permite que se controlen muchos factores durante la aplicación.

• Siguen un plan que permite hacer comparaciones en el tiempo y analizar el logro en diferentes grados escolares. Además no satura de evaluaciones a las escuelas.

• Brinda información del sistema nacional y de los sistemas educativos estatales además de los tipos de servicio en educación básica.

• Excale sigue los estándares y mejores prácticas internacionales.

Plan de pruebas Excale

Evaluaciones internacionales de alumnos: PISA y pruebas del LLECE

• Aunque México había incursionado en proyectos internacionales (1995, TIMSS; 1997, PERCE-LLECE; 2000, PISA), los beneficios fueron magros por la insuficiente capacidad técnica de los equipos, poca experiencia en áreas psicométricas y falta de visión en el potencial de los resultados para la mejora de la calidad educativa.

• El INEE dedicó un área sustantiva a la aplicación de PISA y a la participación en el LLECE. Ha realizado esfuerzos para intervenir activamente en el diseño de estas evaluaciones; participar en grupos de expertos de países similares al nuestro; elaborar informes nacionales, análisis de resultados y materiales para docentes; así como difundir resultados a distintas audiencias.

• Junto con los países miembros del Grupo Iberoamericano de PISA, el INEE ha podido incidir en la mejora de PISA para que ésta describa con mayor precisión las competencias de los jóvenes que no alcanzan el nivel dos de rendimiento en esta prueba.

• El INEE ha cuidado de describir los resultados contextualizándolos para evitar una interpretación parcial de los mismos.

El INEE y PISA • PISA es un estudio comparativo organizado por la OCDE, pretende

conocer en qué medida los alumnos de 15 años cuentan con los conocimientos y habilidades relevantes para participar activa y plenamente en la sociedad moderna. Inicia en 2000. – Se aplica cada tres años a muestras de alumnos; evalúan ciencias, matemáticas

y lectura; sólo un dominio se evalúa exhaustivamente en cada implementación; su diseño es matricial; desde 2003 el INEE se responsabiliza del piloto y la aplicación definitiva: elabora el informe nacional que brinda resultados por entidad federativa.

• El INEE ha tenido un importante intercambio de información técnica vía la interacción con especialistas internacionales lo que ha propiciado la actualización y formación de su equipo.

• Se cuenta ahora con una mejor y mayor capacidad local en aspectos metodológicos, psicométricos, de procesamiento y análisis de datos.

• Se han propuesto innovaciones en PISA, profundizado su aplicación a las entidades federativas y promovido su uso a distintas audiencias.

EVALUACIÓN DE RECURSOS Y PROCESOS EN LAS ESCUELAS

Diseño de metodologías de evaluación de escuelas y programas

• Se trabajó sobre todo en los primeros años (2004-2005), para lo que se elaboraron instrumentos para evaluar diversos aspectos de los centros escolares y se empezó a integrar un marco conceptual de referencia, basado principalmente en el enfoque de escuelas eficaces.

• Se elaboraron baterías de instrumentos para la autoevaluación o evaluación de aspectos como:

• Desempeño de agentes educativos; uso de materiales didácticos; organización y funcionamiento de las escuelas; evaluación del proyecto escolar; clima escolar (trabajo colaborativo, nivel de conflictividad, mecanismos de comunicación, reconocimientos y estímulos, satisfacción con los logros de la escuela); autoevaluación de la práctica docente; participación de los padres de familia en la escuela; funciones del director de la escuela

Estudios sobre recursos y procesos

Se han desarrollado estudios y propuestas de evaluación con un enfoque más bien diagnóstico y utilizando metodologías tanto cuantitativas como cualitativas; algunos han pretendido ser de “amplio espectro” (integrales, abordando diversos aspectos) y otros han sido temáticos.

Estos estudios se empezaron a realizar de manera sistemática a partir de 2005, y han abordado temas como los siguientes: • Disciplina, violencia y consumo de sustancias nocivas a la salud • Infraestructura física educativa • Implementación de reformas en educación básica (preescolar y

secundaria) • Función directiva y participación social • Prácticas docentes para la comprensión lectora • Concepciones y prácticas sobre evaluación de aprendizajes • Asesoría, trabajo colegiado y prácticas pedagógicas en preescolar • Implementación del espacio curricular de tutoría en secundaria

En curso A 10 años de la fundación del INEE, la DEE está diseñando un plan de evaluaciones de mediano plazo centrado en las condiciones para la enseñanza y el aprendizaje, utilizando como marco de referencia el derecho a la educación como los derechos en la educación, siendo la unidad de análisis la escuela. Desde esta perspectiva, se han delimitado los siguientes ámbitos de evaluación: • Infraestructura para el bienestar y aprendizaje de los niños, niñas y jóvenes • Mobiliario y equipo básico para la enseñanza y el aprendizaje • Material didáctico • Personal docente y de apoyo • Oportunidades de aprendizaje para los niños, niñas y jóvenes • Gestión y organización escolar

La expectativa es poner en marcha este plan de evaluación a partir del año 2013, con levantamiento de datos cada tres años, con la finalidad de orientar tanto la toma de decisiones como la rendición de cuentas.

DESARROLLO Y ACTUALIZACIÓN DE SISTEMAS DE INDICADORES EDUCATIVOS

Desarrollo de sistemas de indicadores para Educación Básica y Media Superior • La construcción de indicadores educativos

aislados no es una actividad nueva en nuestro país; si lo es la tarea de desarrollar un sistema de indicadores educativos en los ámbitos nacional y con un desglose por entidad federativa. Esa fue la tarea del INEE cuyo decreto de creación le demandó: «Desarrollar y mantener un sistema de indicadores que permita valorar en forma objetiva la calidad del Sistema Educativo Nacional en lo concerniente a la educación básica y media superior» (Decreto de Creación, 8/08/2002, DOF)

APARTADOS

2007

EB

2008

EB

2009

EB

2009

EMS

2010

EB+EMS

2011

EB+EMS

2012

EB+EMS

IMPRESO IMPRESO IMPRESO IMPRESO IMPRESO DIGITAL IMPRESO

Contexto Social 12 10 7 13 10 16* 11

Agentes y

Recursos en el

Sistema

9 6 7 4 11 10 16

Acceso y

Trayectoria

9 10 8 7 10 10 11

Procesos

Educativos y

Gestión

0 5 3 0 3 5 2

Resultados

Educativos

6 6 5 5 5 12 14

TOTALES 36 37 30 29 39 53 54

Anexo 25 22 20 6 30 22 25

* Preliminar

SISTEMA DE INDICADORES SIE-INEE PANORAMA EDUCATIVO DE MÉXICO

Desarrollo y actualización de Sistemas de Indicadores

21

Bases de datos y estadísticas

Estudios

SIE+O*

Encuestas de Hogares; Censos; Proyecciones de Población; F911; RNAME; Excale; Enlace; Censo de Infraestructura Tecnológica; Carrera Magisterial; PISA

Estudios para sustentar indicadores; para evaluar la calidad de las estadísticas educativas y de otras fuentes de información.

Sistemas de Indicadores Educativos del INEE; indicadores de interés nacional (CTEIE de SEP-INEE) + Sistema Nacional de Indicadores Educativos SEP-INEE. En red Banco de Indicadores Educativos y estadísticas educativas.

DIFUSIÓN Y FOMENTO DEL USO DE LOS RESULTADOS PARA LA TOMA DE DECISIONES

Difusión para la mejora de la educación • Para la formulación de políticas: durante los primeros años el INEE pudo

presentar sus resultados a autoridades educativas, al Conaedu y a los titulares de las 32 Áreas Estatales de Evaluación. Sin embargo, esta relación no se profundizó en el sexenio que recién termina aunque se iniciaron colaboraciones sólidas con áreas de la SEP.

• Para mejorar la gestión escolar y los procesos de enseñanza y aprendizaje – PISA en el aula; – Explorador EXCALE (www.inee.edu.mx/explorador) – Corpus EXCALE (www.inee.edu.mx/index.php/corpus) – Materiales para apoyar la práctica educativa (MAPE, www.inee.edu.mx/index.php/servicios/mape)

• Para fomentar la cultura de la evaluación – Presentaciones de resultados a distintas organizaciones de padres de familia,

organizaciones de la sociedad civil, medios de comunicación electrónicos e impresos.

– Más de 236 publicaciones disponibles en la página del INEE; – Mesas públicas: 42 – Se espera que en 2012 se descarguen de la página del INEE: más de 756 GB; haya

más de 550 mil visitantes únicos; se consulten más de 4.4 millones de páginas; se recuperen más de 730 mil documentos pdf (más de 2000 documentos diarios)

CONCLUSIONES

Conclusión y lo que viene • En general el INEE ha cumplido lo establecido en su decreto de

creación y en su Plan Maestro de Desarrollo. Particularmente: – Ha desarrollado instrumentos con rigor técnico y metodológico; – En la difusión ha tenido avances continuos que es necesario profundizar; – En la articulación de los esfuerzos de evaluación de las autoridades federales y

estatales hubo avances parciales; – Su quehacer tuvo impacto pero no puede considerarse satisfactorio; – Se promovió activamente la transparencia de la información y se fomentó la

cultura de la evaluación; – Se consolidaron equipos técnicos y se apoyó la formación de personal de las

AEE de las entidades federativas. – Se ha desarrollado una infraestructura tecnológica para apoyar la evaluación .

• El INEE enfrenta una nueva etapa con el decreto de reforma del 15 de mayo de 2012. – Se le dota de autonomía de la SEP con nuevas estructuras orgánica y de

asesoría técnica; se le amplían las posibilidades de emprender más tareas de evaluación que habrá de realizar en convenio con las autoridades educativas.

¡GRACIAS POR SU ATENCIÓN!

www.inee.edu.mx