View
1.486
Download
4
Embed Size (px)
DESCRIPTION
PISA OCDE. Jornada "PISA más allá de los datos" 24 de julio de 2014. Marco Teórico
Citation preview
SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES
DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN TERRITORIAL
http://www.mecd.gob.es/inee
David CerveraConsejero Técnico del Área Internacional del INEE@dcerverao
Instituto Nacional de Evaluación Educativa
MECD
PISA, más allá de los datos
¿QUÉ ES INEE?
● El Instituto Nacional de Evaluación Educativa es el organismo responsable de la evaluación del sistema educativo en el Ministerio de Educación, Cultura y Deporte.
● Sus funciones son: Evaluación general del sistema educativo y realización, en
colaboración con las Administraciones educativas, de las evaluaciones generales de diagnóstico.
Coordinación de la participación del Estado español en las evaluaciones internacionales.
Elaboración del Sistema Estatal de Indicadores de la Educación. Participación en la elaboración de los indicadores internacionales de
la educación Revista de Educación: publicación científica del MECD para la difusión
de los avances en la investigación y en la innovación educativa. Boletín de Educación: resumen informativo de los temas de mayor
relevancia de los últimos informes publicados por el INEE.
¿Has visto que prueba han hecho?¿A quién se le habrá
ocurrido?
Mira este ítem.¡Qué barbaridad!
LO DESEABLE DE UN SISTEMA EDUCATIVO
Currículum
Competencias y habilidades para la vida
Evaluación
LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN EXTERNA
Currículum
Competencias yhabilidades para la vida
Evaluación
Video: Finalidad objetivos y diseño de una prueba http://www.youtube.com/watch?v=QHzpPflDiMY
Evaluaciones externas internacionales
Curso de formación INEE-INTEFVideo: Evaluaciones Externas Internacionaleshttp://www.youtube.com/watch?v=mKTpCsvYJus
Video Aplicación y trabajo de campo http://www.youtube.com/watch?v=VL5dl_clJqk
Video: Análisis de resultados http://www.youtube.com/watch?v=imTfIyeX7_8
Todas las preguntas PISA liberadas en http://recursostic.educacion.es/inee/pisa
MAPA DE EVALUACIONES
INTERNACIONALESEvaluación Externa Internacional Competencias Destinatarios Periodicidad Última
realizada
OCDE
PISA Programa para la Evaluación Internacional de Estudiantes
Programme for International Student Assessment
LectoraMatemáticaCientífica
Alumnos que cumplen 16
años en el año de realización
3 años2012
Siguiente 2015
TALIS
Estudio Internacional de Enseñanza y Aprendizaje Teaching and Learning International Survey
Encuesta al profesorado
Profesores y directores de
Educación Secundaria
5 años 2013
IEA
PIRLS
Estudio Internacional de Progreso en Comprensión Lectora
Progress in International Reading Literacy StudyLectora 4º EP 5 años
2011Siguiente
2016
TIMSS
Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study
MatemáticaCientífica
4º EP 4 años2011
Siguiente 2015
TIMS
S ADVANCED
Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study
Matemáticas y Física avanzadas
2º BachilleratoNo
definida
2008 Siguiente
2015
EVALUACIONES EXTERNAS
INTERNACIONALES
http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5http://www.youtube.com/watch?v=QHzpPflDiMY
PONGÁMONOS A PRUEBA
PONGÁMONOS A PRUEBA
PONGÁMONOS A PRUEBA
Evaluaciones muestrales, cíclicas, a gran escala Cuadernillo de prueba + cuestionarios de contexto Rigor metodológico:
• Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos…
• Selección de la muestra• Traducción de materiales, aplicación, corrección,
limpieza de datos…• Análisis TRI de las respuestas Dificultad de los
ítems y puntuación lograda por los alumnos Informes internacionales comparativos
RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN
EJEMPLO DE CONSTRUCCIÓN DE
PRUEBAS
ítems
Prepilotaje
Pilotaje
Estudio principal
Análisis de resultados
Elaboración de una prueba
Respuesta de elección múltiple
Respuesta cerrada
Respuesta abierta construida
Respuestas abiertas
Matriz de especificaciones
¿ ¿ ¿ ¿ Pruebas por ordenador ? ? ? ?¿ ¿ ¿ ¿ Azar ? ? ? ?
EJEMPLO DE
CONSTRUCCIÓN DE PRUEBAS
estímulo
UN
IDAD
DESCRIPTOR
BLOQUES DE CONTENIDOS• Números• Álgebra• Geometría• Funciones y Gráficas• Estadística y Probabilidad• Contenidos comunes
Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO
EJEMPLO DE
CONSTRUCCIÓN DE PRUEBAS
NIVEL 1
NIVEL 2
NIVEL 3
NIVEL 4
NIVEL 5
NIVEL 6
May
or d
ificu
ltad
dent
ro d
el p
roce
so
CONSTRUCCIÓN DE PRUEBAS
Bajo Medio Alto
Nivel de dificultad
CONSTRUCCIÓN DE PRUEBAS
Marcos Teóricos
Evaluaciones internacionales¿Qué es un marco teórico?
• Explica lo que trata de medir la evaluación• Objetivos del marco teórico:
Servir de guía para la elaboración de unidades y preguntasCompartir un lenguaje sobre el que los implicados puedan
discutir el temaAsegurar una continuidad en un estudio a largo plazoEstablecer y hacer públicas las características del programa
de evaluación
El Estudio PISA: Marco Teórico
Definición de LECTURA en PISA
Lectura (competencia lectora) es la comprensión, el uso, la reflexión y el interés por los textos escritos, para conseguir los propios objetivos, desarrollar el conocimiento y el potencial individuales, y participar en la sociedad
El Estudio PISA: Marco Teórico
Para elaborar las preguntas, PISA atiende a 4 características de los textos:
– Contexto (escolar, personal, profesional, etc)– Tipo (continuo, discontinuo, mixto, múltiple)– Aspecto (acceder y recabar, integrar e interpretar,
reflexionar y valorar)– Formato (impreso o digital)
El Estudio PISA: Marco Teórico
Tipos de textoContinuoDiscontinuoMixtoMúltiple Aspecto
Acceder y recabar información Integrar e interpretar Reflexionar y valorar
El Estudio PISA: Marco Teórico
Tipos de textoContinuoLa información se presenta en frases y párrafos
– Argumentativo– Descriptivo– Expositivo– Narrativo
Mixto
DiscontinuoLa información se presenta en otros formatos
- Tablas - Gráficos- Diagramas- Mapas
El Estudio PISA: Marco Teórico
Ejemplo de texto mixto
Formado por textos continuosy discontinuos
El Estudio PISA: Marco Teórico
Aspectos:
Acceder y recabar información Integrar e interpretar Reflexionar y valorar
El Estudio PISA: Marco TeóricoEjemplo de “acceder y recabar información”
MACONDODeslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.
¿Cuánto costaba ir al cine en Macondo?
o Un centavoo Dos centavoso Tres centavoso Cuatro centavos
El Estudio PISA: Marco TeóricoEjemplo de “integrar e interpretar ”
MACONDODeslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.
Al final del pasaje, ¿por qué la gente de Macondo decide no volver al cine?
El Estudio PISA: Marco TeóricoEjemplo de “reflexionar y valorar”
MACONDODeslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.
¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu propia actitud hacia el cine con la de ellos.
La LECTURA en PISA
Sí, estoy de acuerdo, ya hay bastante sufrimiento en el mundo sin que haya que inventárselo.
No, la gente no entiende que cuando vas al cine lo que ocurre en la pantalla no es de verdad.
Depende. Si la peli es “aburrida” me dan ganas de irme, pero si es buena te enganchas y no me importa si no es de verdad.
Ejemplo de respuestas de alumnos a la pregunta de “reflexionar y valorar”
¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu actitud hacia el cine con la de ellos.
La LECTURA en PISA
Educación Secundaria: PISA digital
¿Qué es la lectura digital?En el siglo XXI, la competencia lectora incluye saber
leer en los formatos impreso y digital (o electrónico) La lectura digital no es sólo leer texto impreso en una
pantalla de ordenador
La lectura digital añade al proceso de textos una faceta específica: la navegación
CBA en PISA
Educación Secundaria: PISA digitalPreguntas liberadas CBA (Computer-Based Assessment)(navegador: Firefox)Lectura http://erasq.acer.edu.au/index.php?cmd=homeMatemáticashttp://erasq.acer.edu.au/index.php?cmd=toMathsResolución de Problemashttp://erasq.acer.edu.au/index.php?cmd=toProblemSolving
La Lectura en PISA: Ejemplo de unidad
La Lectura en PISA: Ejemplo de unidad
La Lectura en PISA: Ejemplo de unidad
La Lectura en PISA: Ejemplo de unidad
La Lectura en PISA: Ejemplo de unidad
La Lectura en PISA: Ejemplo de unidad
La Lectura en PISA: Ejemplo de unidad
La Lectura en PISA: Ejemplo de unidad
La Lectura en PISA: Ejemplo de unidad
Elaboración de unidades y preguntas
La elección de textos y la elaboración de preguntas para evaluar la comprensión lectora
¿Cómo hacer?
Elaboración de preguntas para un estudio a gran escala
Redacción preliminar de
preguntas
Revisión de preguntas
Laboratorios cognitivos (Cog Labs)
Revisiones de preguntas
Revisión externa (países) Pregunta aceptada o rechazada (después
de Cog Labs))
Estudio PilotoAnálisis
psicométrico y revisión
Elaboración del marco teórico
Pregunta para el Estudio Principal
Elaboración de unidades y preguntas
Textos que no sirven: lo que tenemos que evitarOfender o molestar:
• Trauma (accidentes de tráfico, violencia)• Sexo, religión, política u otros temas polémicos o
delicados• Mal comportamiento, agresividad, racismo,
inmoralidad o irresponsabilidad• Modelos indeseables (drogas, alcohol, inducción a
diversos posibles peligros)• Palabrotas
Esperar demasiado o demasiado poco de los alumnos:• Textos con lenguaje enrevesado • Textos que ofrecen un conocimiento que los alumnos
ya deberían saber• Textos aburridos!!
Elaboración de unidades y preguntas
Lo importante es saber elegir un texto
Un buen texto…
• es interesante y motivador• plantea retos – no es muy fácil ni muy difícil • no plantea retos artificiales (lenguaje retorcido,
p.e.)• es (más o menos) igualmente accesible para
diferente tipo de alumnos• ofrece oportunidades para plantear cuestiones
inquisitivas, cuya respuesta no sea obvia
Elaboración de unidades y preguntas
MACONDODeslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.
Una frase inicial que nos intriga...
¿¿Qué invenciones??
¿De qué va esto? ... Algo familiar desde una perspectiva
extraña
Esto es de locos... ¿Pero hay algo de cierto en ello?
Elaboración de unidades y preguntas
Y, por último, lo importante es redactar unidades
Una unidad es un grupo de preguntas construidas a partir de un texto / estímulo o parte del mismo
Elaboración de unidades y preguntas
¿Qué caracteriza a una buena unidad?
• Las preguntas cubren un amplio espectro de dificultad
• Las preguntas responden a distintos aspectos del marco teórico
• Cada pregunta es independiente de las demás• El grupo de preguntas consigue llegar al “corazón”
del texto
MARCO TEÓRICO DEL ESTUDIO PISA
Cam
bio
y re
laci
ones
Expresiones algebraicas, ecuaciones e inecuaciones, representaciones tabulares y gráficas.Representar datos y relaciones utilizando estadísticas.Medidas geométricas.Relaciones entre longitudes de los lados de triángulos.
Espa
cio
y fo
rma
Reconocer las formas en diferentes representaciones y diferentes dimensiones.Comprender las propiedades de los objetos y sus posiciones relativas.Orientarnos por el espacio y a través de las construcciones y formas.Relación entre formas e imágenes.Representación en dos dimensiones de objetos tridimensionales.La formación de las sombras y cómo interpretarlas.Qué es la perspectiva y cómo funciona.
Canti
dad
Comprensión del tamaño relativo.Reconocimiento de las regularidades numéricas.Utilización de los números para representar cantidades y atributos cuantificables de los objetos del mundo real.Procesamiento y comprensión de los números.Representación de los números de diferentes maneras.Comprensión del significado de las operaciones.Percepción de la magnitud de los números.Cálculos matemáticamente elegantes.La estimación y el cálculo mental
Ince
rtidu
mbr
e y
dato
s
Estadística y probabilidad.Recogida de datos y error en la medida.Análisis y presentación de datos.Deducción.Crear, interpretar y evaluar conclusiones extraídas de situaciones donde se presenta incertidumbre.
PISA. PROCESOS COGNITIVOS
FORMULACIÓN matemática
EMPLEO de conceptos, datos, procedimientos y
razonamientos matemáticos
INTERPRETACIÓN, aplicación y
valoración de los resultados
PISA. PROCESOS COGNITIVOS
FORMULACIÓN EMPLEO INTERPRETACIÓN
Comunicación Leer, descodificar e interpretar enunciados, preguntas, tareas, objetos, imágenes o animaciones (en la evaluación electrónica) para crear un modelo mental de la situación
Articular una solución, mostrar el trabajo asociado a la obtención de la misma y/o resumir y presentar los resultados matemáticos intermedios
Elaborar y presentar explicaciones y argumentos en el contexto del problema
Matematización Identificar las variables y estructuras matemáticas subyacentes al problema del mundo real y formular supuestos de modo que puedan utilizarse
Utilizar la comprensión del contexto para guiar o acelerar el proceso de resolución matemático, p. ej., trabajando a un nivel de precisión apropiado al contexto
Comprender el alcance y los límites de una solución matemática que son el resultado del modelo matemático empleado
Representación Crear una representación matemática de información del mundo real
Interpretar, relacionar y utilizar distintas representaciones cuando se interactúa con un problema
Interpretar los resultados matemáticos en distintos formatos con relación a una situación o uso; comparar o valorar dos o más representaciones con relación a una situación
Razonamiento y argumentación
Explicar, defender o facilitar una justificación de la representación identificada o elaborada de una situación del mundo real
Explicar, defender o facilitar una justificación de los procesos y procedimientos utilizados para determinar un resultado o solución matemática.Relacionar datos para llegar a una solución matemática, hacer generalizaciones o elaborar un argumento de varios pasos
Reflexionar sobre la soluciones matemáticas y elaborar explicaciones y argumentos que apoyen, refuten o proporcionen una solución matemática a un problema contextualizado
Diseño de estrategias para resolver problemas
Seleccionar o diseñar un plan o estrategia para reformular matemáticamente problemas contextualizados
Activar mecanismos de control eficaces y sostenidos en un procedimiento con múltiples pasos conducente a una solución, conclusión o generalización matemática
Diseñar e implementar una estrategia para interpretar, valorar y validar una solución matemática a un problema contextualizado
Utilización de operaciones y un lenguaje simbólico, formal y técnico
Utilizar variables, símbolos, diagramas y modelos estándar apropiados para representar un problema del mundo real empleando un lenguaje simbólico/formal
Comprender y utilizar constructos formales basándose en definiciones, reglas y sistemas formales, así como mediante el empleo de algoritmos
Comprender la relación entre el contexto del problema y la representación de la solución matemática. Utilizar esta comprensión para favorecer la interpretación de la solución en su contexto y valorar la viabilidad y posibles limitaciones de la misma
Utilización de herramientas matemáticas
Utilizar herramientas matemáticas para reconocer estructuras matemáticas o describir relaciones matemáticas
Conocer y ser capaz de utilizar adecuadamente distintas herramientas que puedan favorecer la implementación de procesos y procedimientos para determinar soluciones matemáticas
Utilizar herramientas matemáticas para determinar la razonabilidad de una solución matemática y los límites y restricciones de la misma, dado el contexto del problema
MATEMÁTICAS
MARCO TEÓRICO DEL ESTUDIO PISA
Cambio y relaciones
25 %
Espacio y forma25%
Cantidad25%
Incertidumbre y datos25%
Formulación 25% 6,25% 6,25% 6,25% 6,25%Empleo 50% 12,5% 12,5% 12,5% 12,5%Interpretación 25% 6,25% 6,25% 6,25% 6,25%
CIE
NC
IAS
MARCO TEÓRICO DEL ESTUDIO PISA
Versión on line de PIAAC, Education and Skills on line, modelo de prueba por medios informáticos.http://www.starttest.com/templates/StartTest/esol/demo-launch.htm
MÉTODO DE CORRECCIÓNEECL
Comparación de las producciones de los alumnos con pruebas de referencia (exemplars, copies-étalon). Comparación en relación a dos criterios: comunicación y lenguaje.Ventaja de este método: Neutraliza en gran medida la subjetividad del corrector (severidad-benevolencia) ya que los juicios son comparativos y no absolutos.
Corrección de las tareas de nivel B1-B2 Corrección de las tareas de nivel A1-A2
Producción escrita
http://www.mecd.gob.es/inee
WEB INEE
1º http://www.mecd.gob.es/inee
2º Ítems liberados de pruebas de evaluación y otros recursos
RECURSOS PARA EL PROFESORADO
http://www.oecd.org/pisa/test/
BOLETINES DE EDUCACIÓN
PROGRAMA DE VISITAS
Síguenos en Twitter:@educaINEE
@sanz_ismael@dcerverao
En nuestro blog:http://blog.educalab.es/inee/
Y en slideshare:http://www.slideshare.net/INEE_MECD
http://www.mecd.gob.es/inee/
GRACIAS