View
28.886
Download
2
Category
Preview:
DESCRIPTION
Presentación Felipe Martínez Rizo
Citation preview
SOBRE LA DIFUSIÓN Y EL USO DE RESULTADOS DE
PRUEBAS
Felipe Martínez Rizo
Bogotá, marzo de 2010
¨ Las pruebas estandarizadas son instrumentos que se usan para valorar el nivel de aprendizaje que alcanzan grandes grupos de alumnos.
¨ En AL y educación básica, ese tipo de pruebas comenzó a usarse a partir de 1990.
¨ Hay pruebas nacionales e internacionales cuyos resultados se difunden ampliamente; si se usan bien, pueden ayudar a mejorar la educación, pero también pueden tener efectos negativos.
¨ Presentaré usos adecuados o no de resultados de pruebas, justificando mis opiniones.
Introducción
La combinación de las fallas técnicas y las de difusión
Difusión y usoCalidad técnica
Buena Mala
Adecuados a las características
técnicas de la prueba
Posibilidad de impacto en la mejora del rendimiento en
las áreas evaluadas.
Efectos perversos, interpretaciones y decisiones erradas.
No adecuados a las características
técnicas de la prueba
Efectos perversos, interpretaciones y decisiones erradas.
Efectos perversos, interpretaciones y decisiones erradas.
Escasa o nulaDesperdicio de
recursos y oportunidades.
Desperdicio de recursos.
Evaluación del sistema y de individuos
Evaluar integralmente es muy complejo:Un alumno: todo el currículo; lo cognitivo y no; al
final del ciclo, al inicio… Sólo puede el maestro.Un maestro: evidencias de todo su trabajo diario.
Sólo puede el director o el supervisor. Una escuela: evidencias de múltiples facetas de la
calidad. Sólo puede hacerlo el supervisor. No confundir dos tipos de evaluación: Del sistema educativo como tal, con acercamientos
en gran escala a cargo de órganos especializados;
De alumnos, maestros y escuelas, con enfoques intensivos por maestro, director, supervisor.
Sobre la evaluación del sistema
Las pruebas pueden servir para conocer: El nivel medio de aprendizaje de un grupo; Cómo se compara con otros (países,
regiones…); Como se distribuyen los resultados
internamente; Cuántos alumnos tiene cierto nivel; Qué factores de la familia y/o la escuela se
asocian con los resultados… No todo lo anterior es igualmente útil
Sobre la evaluación del sistema
Diferentes formas de dar resultados:
Ordenamientos (rankings)
Porcentajes por nivel de rendimiento.
Relaciones:
o Entre resultados y factores sociales
o Entre resultados y factores escolares;
o Entre factores sociales y escolares
Gradientes y perfiles escolares
En todo ordenamiento hay alguien delante y detrás, y no siempre los primeros están bien y los últimos mal.Por ello un ordenamiento sólo permite hacer juicios relativos, en términos de mejor o peor, que no es lo mismo que bueno o malo.
Si la distancia que separa un puntaje de otros es menor que el margen de error que tienen los resultados, la diferencia no es significativa.La impresión de claridad de los ordenamientos simples es engañosa y hay que tener en cuenta las distancias que separan los resultados.
Los ordenamientos y sus limitaciones
Medias de desempeño en la escala global de Ciencias, por país
Los niveles de desempeño permiten juicios en relación con los niveles deseables, en términos de adecuado o inadecuado, y no de mejor o peor. Su análisis permite identificar dos tipos de problemas:
Tener altas proporciones abajo del Nivel 2 implica que muchos jóvenes no están siendo preparados para una vida fructífera en la sociedad actual.
Tener pocos estudiantes en niveles altos (5-6) quiere decir que no se prepara a los mejores para que puedan ocupar puestos de alto nivel en el terreno científico, académico, gerencial…
Los niveles de desempeño y sus ventajas
24
28
10
14
24
27
26
31
30
30
28
29
24
29
23
27
21
19
14
14
27
28
31
33
34
28
33
25
27
18
19
17
17
15
15
9
8
4
5
18
58
48
28
26
28
18
17
13
7
6
8
7
7
5
3
2
1
27
19
3
5
11
11
14
15
20
20
27
29
24
29
27
30
32
29
29
20
8
1
2
3
2
4
3
7
8
15
15
18
14
21
18
25
28
32
8
2
0
0
1
0
0
0
1
2
4
3
8
3
7
5
9
12
17
1
0
0
0
0
0
0
0
0
0
0
0
2
0
1
0
1
2
4
100 80 60 40 20 0 20 40 60 80 100
Promedio OCDE
Promedio GIP
Kirguistán
Qatar
Brasil
Colombia
Argentina
México
Uruguay
Chile
Italia
Portugal
EE.UU.
Grecia
Francia
España
Corea
Canadá
Finlandia
%
Paí
ses
GIP
y d
e re
fere
ncia
% en cada nivel de rendimiento PISA 2006 Ciencias, países GIP y referentes
2529
2224272729293232323331
363436
312829
2626252726
232426
1424
31333030
3331
3332302927
2928
2316141413131110101098
516
3730
2524
222316
151515
151111
65
4453333231
2820
811
13131313
1417181820
1921
2730
3233
3532
323235
3635
35
208
22
4434
44
556
55
81517
1619
212322212323
22
72
00
1101
01
00
101
13
4346655666
10
0
0000
00
00
000
00
0000111001
100 80 60 40 20 0 20 40 60 80 100
Promedio OCDE Promedio GIP
Bra. NordesteBra. Norte
BrasilBra. Centro Oeste
Méx. SudoesteBra. Sudeste
Méx. SudesteMéx. Oeste
Méx. Centro SurMéxico
Bra. SurMéx. Norte
Méx. Centro NorteMéx. D.F.
AndalucíaEspaña
País VascoCataluñaNavarraAragónGalicia
CantabriaAsturiasLa Rioja
Castilla y León
%
Paíse
s, co
mun
idade
s o
regio
nes
GIP
% en cada nivel de rendimiento PISA 2006 Países y regiones GIP
Excale niveles de desempeño 6º primaria, Español (2006).
25
52
56
46
56
51
44
28
16
6
11
25
29
7
718
32
47
26
14
2
2
0.5
0.4
Por debajo del básico Básico Medio Avanzado
Porcentajes de estudiantes
25.4
51.9
56
46
56.3
50.8
43.7
51.9
16.1
6.3
10.9
24.6
29
6.6
6.6
2
13.2
25.8
47.3
32.5
18
0.4
0.5
2.2
Por debajo del básico Básico Medio Avanzado
Urbanas privadas
Rurales públicas
Urbanas públicas
Escuelas indígenas
Cursos comunitarios
Nacional
Po
r d
ebaj
o d
el n
ivel
bás
ico
Nivel avanzado
Capital cultural escolar de los estudiantes por entidad federativa
Relación entre CCE y aprendizaje: Ciencias Naturales, 3º de primaria
Condiciones de Infraestructura Escolar por entidad
Relación entre IE y aprendizaje: Ciencias Naturales, 3º de primaria
La combinación de factores entorno-escuelaRelación IE-CCE por entidad y servicio
Perfil escolar, Colombia, PISA 2006
Perfil escolar, México, PISA 2006
Perfil escolar, Chile, PISA 2006
Sobre la evaluación de individuos
Las pruebas dan elementos sobre alumnos, maestros o escuelas, pero no bastan para evaluar íntegramente a individuos porque: No pueden evaluar unos aspectos del currículo,
incluidos los mas importantes; No se pueden aplicar con la frecuencia que sería
necesaria para dar retroalimentación oportuna; Difícilmente pueden tener en cuenta elementos
del entorno familiar-escolar para contextualizar.Una evaluación de individuos que no tome en
cuenta lo anterior no es adecuada
El trabajo del maestro es insustituible para que los alumnos aprendan y para evaluar si ello ocurre. Evaluar en integralmente es complejo; debe incluir:
Todas las áreas del currículo;
Todos los niveles cognitivos;
El avance a lo largo del ciclo escolar;
Las circunstancias personales de los alumnos, a tener en cuenta al tomar decisiones importantes para el futuro de cada uno.
Uso de resultados de pruebas para evaluar alumnos individuales
¿Puede evaluarse con validez y confiabilidad comparables con pruebas en gran escala?
Con la finura que puede alcanzar la evaluación a cargo del maestro NO.
Ninguna decisión individual importante debería basarse sólo en pruebas;
En cambio, las pruebas pueden dar algo que los maestros no pueden: información comparable sobre conjuntos grandes de alumnos.
Indispensables para evaluar el sistema como tal y complementan la evaluación del maestro
Las pruebas como complemento, no como la evaluación principal
Las pruebas:
¨ Sólo cubren unos aspectos del currículo y se tiende a orientar la enseñanza sólo hacia ellos.
¨ No controlan bien factores del contexto, lo que llevaría a comparaciones injustas.
¨ Ignoran efecto acumulado de varios maestros.
Un impacto fuerte produce distorsiones graves
Uso de pruebas para evaluar maestros individuales
El aprendizaje de los alumnos es dimensión central de la calidad de una escuela, pero no la única.
¨ Se debe considerar el contexto de cada escuela, así como sus recursos y procesos.
¨ La precisión de datos no permite ordenamientos finos de escuelas o alumnos.
¨ El error de medición aumenta si se compara un año con otro, por lo que los ordenamientos son muy inconsistentes a lo largo del tiempo.
Un impacto fuerte produce distorsiones graves
Uso de resultados de pruebas para evaluar escuelas
Dos escuelas imaginarias
En las pruebas los alumnos de A sacan resultados más altos que los de B. ¿Es mejor escuela A que B?Los resultados de A pueden deberse a sus políticas selectivas y no a un funcionamiento mejor. Los de B se pueden deber a un excelente funcionamiento, focalizado en la retención, aunque los resultados promedio sean más bajos.
B: admite sin selección a todo aspirante, por lo que muchos alumnos son de origen humilde. Trata de retener hasta el fin a todos los aceptados y lo logra en gran parte, aunque no todos logren plenamente los objetivos de aprendizaje.
A: admite sólo a los mejores aspirantes, por lo que buena parte de sus alumnos proviene de medios favorecidos. Es muy exigente por lo que los alumnos de bajo rendimiento no pueden permanecer en ella, sino que la abandonan.
¿Qué es una buena escuela?
Las dos formas de definir qué es una buena escuela parecen adecuadas y, en principio, se esperaría que se presentaran en forma conjunta.El que tal coincidencia no siempre se presente se explica seguramente por diferencias del alumnado en lo que se refiere al contexto familiar y social, cuya importancia es bien conocida.
Una que tiene:Buenas instalaciones;Funcionamiento regular;Buena práctica docente;Director con liderazgo;Padres participativos…
Aquella cuyos alumnos sacan altos puntajes, en promedio, en pruebas de rendimiento como las de SABER
Una precisión importante
Algunas personas dicen que es injusto medir con la misma vara alumnos de diferente contexto social.Lo injusto no es usar la misma vara, sino culpar sin más a los evaluados por los resultados obtenidos.También la estatura de las personas depende en parte de factores genéticos, pero en parte de otros debidos al entorno: nutrición, salud, pobreza…No por eso usaremos metros de diferente tamaño para medir a los niños pobres o acomodados.Se deben aplicar pruebas iguales (evitando sesgo) para comparar con un mismo estándar, pero no culpar a los niños de bajo rendimiento por ello.
Potencial positivo y negativo de las evaluaciones
Las evaluaciones en general, y las pruebas en particular, son una herramienta poderosa.
Sus consecuencias pueden ser positivas o negativas.
Depende de cómo se hagan las evaluaciones, de cómo se interpreten sus resultados, y de qué decisiones se tomen a partir de ello.
Conclusión
Conclusión
Se dice lo que no se evalúa no se puede mejorar, y en educación evaluar se identifica con pruebas.Finlandia no aplicaba pruebas, EEUU muchas. ¿Qué pasa con esas ideas generalmente aceptadas?Frases alternativas más precisas:Lo que no se evalúa no se puede mejorar. Lo que sí se evalúa tampoco, si no se trabaja duro…Si se trabaja duro para hacer las cosas bien, se puede tener buena calidad, aunque no se evalúe, pero esto último puede ayudar. Lo que no se evalúa sistemáticamente se puede mejorar, pero no sistemáticamente.
Conclusión
En los más diversos países prevalece insatisfacción con nivel de aprendizaje, que interpretación usual de evaluaciones internacionales refuerza. Algunos tienen visión simplista de las causas de la situación, de la forma de valorarla y corregirla. Los diagnósticos simplistas no toman en cuenta
factores de escuela y contexto que influyen. Los medios simplistas de evaluar se reducen a
pruebas, sin distinguir enfoque y nivel técnico; Las estrategias para remediar la situación se
reducen a asignar recursos a las escuelas según los resultados de las pruebas.
Conclusión
Muchas personas ignoran la dificultad que implica obtener buenos resultados educativos con grupos de alumnos de medio social desfavorable. En México es frecuente que dirigentes del sector empresarial vean con simpatía las estrategias simplistas, pensando que las fallas de la escuela pública se podrían corregir fácilmente con escuelas privadas, ignorando que menos del 10% de los niños mexicanos asisten a ellas. Por eso es frecuente la opinión de que bastará con aplicar pruebas masivamente y tomar medidas correctivas simples para que la calidad mejore.
Conclusión
Una concepción distinta de los tres aspectos:Diagnóstico: la calidad no es satisfactoria, pero no necesariamente catastrófica; causas complejas y bien conocidas; los resultados no sorprenden. Los medios de evaluar: no se reducen a pruebas; debe haber indicadores de otros aspectos. Las estrategias de mejora: deberán ser complejas también, y los resultados sólo podrán observarse en el mediano y largo plazo.
Conclusión
Las estrategias simplistas de mejora parten de un supuesto falso: que hacer buena educación en cualquier contexto es fácil:
Los sistemas de rendición de cuentas basados en pruebas se basan en la creencia de que la educación pública puede mejorar gracias a una estrategia sencilla: haga que todos los alumnos presenten pruebas estandarizadas de rendimiento, y asocie consecuencias fuertes a las pruebas, en la forma de premios cuando los resultados suben y sanciones cuando no ocurra así.
Conclusión
La información que veo sobre la aplicación 2009 de las pruebas SABER y sobre la manera en que se han difundido los resultados me parece positiva.
Los resultados se han difundido ampliamente.
Se han evitado usos inadecuados como los que mencioné en mi presentación.
Las escuelas y la sociedad pueden acceder con facilidad a los resultados.
Se alienta a los diferentes actores a usar los resultados para sustentar acciones de mejora.
Sugerencias para maestros
Qué NO hacer:
Reducir su enseñanza a lo que se evalúa.
Tratar de preparar a sus niños para que salgan mejor en la siguiente aplicación.
Hacer evaluaciones parecidas a SABER.
Qué SÍ hacer:
Tomar a SABER como referente, considerando escuelas similares y diferentes.
Seguir esforzándose como siempre.
Sugerencias para rectores
Qué NO hacer: Creer que los resultados de SABER son la única
forma de saber qué tan buena es su escuela. Avergonzarse o jactarse de los resultados. Tratar de preparar a sus niños para que salgan
mejor en la siguiente aplicación.Qué SÍ hacer: Analizar con sus maestros los puntos a mejorar
en su escuela, considerando la información que da SABER y los demás elementos disponibles.
Proponerse mejoras realistas y trabajar duro.
Sugerencias para autoridades educativas
Qué NO hacer: Juzgar la calidad de las escuelas con base en los
resultados de SABER, sin tener en cuenta el contexto de cada escuela.
Presentar resultados mediante ordenamientos de escuelas basadas en SABER.
Asignar estímulos o sanciones a escuelas y/o maestros con base en los resultados de SABER.
Qué SÍ hacer: Analizar resultados con otra información sobre
las escuelas para llegar a juicios mesurados. Diseñar políticas dando prioridad a la equidad.
Conclusión
En algunos casos la forma como se interpretan los resultados en los medios no es la más acertada:
Algunas noticias enfatizan el lugar que ocupó una región u otra.
Se destaca la dimensión normativa (en sentido estadístico) de la información, y no la criterial.
Ojala se refuercen los usos positivos y se minimicen los negativos. Así la evaluación
será una valiosa herramienta para la mejora de la calidad de la educación en Colombia.
MUCHAS GRACIASPOR SU ATENCIÓN
Recommended