PRUEBA APLICADA
POBLACIÓN EVALUADA
RESULTADOS NACIONALES
COMUNICACIONES
ANEXOS1. Niveles de desempeño 19992. Ejemplos de preguntas3. Metodología
ÍNDICE
1
2
3
17
19192149
1
ASISTENCIA PROMEDIO 2005
Porcentaje de asistencia promedio a clases de todos losalumnos de 4º Básico matriculados en el sistema escolar.
ASISTENCIA EN LOS DÍAS DE LA PRUEBA SIMCE
Porcentaje de alumnos que rindió al menos una de las pruebasen relación al total de alumnos matriculados en losestablecimientos evaluados por el SIMCE.
2
NÚMERO DE ALUMNOS QUE RINDIERON LA PRUEBA
Número de alumnos que rindieron al menos una de las trespruebas. Se incluyen los alumnos integrados.
COBERTURA DE ALUMNOS
Porcentaje de alumnos que rindió la prueba, en relación altotal de alumnos matriculados en 4° Básico según base dedatos RECH.
NÚMERO DE ESTABLECIMIENTOS QUE RINDIERON LAPRUEBA
Número de establecimientos a los que pertenecen los alumnosque rindieron la prueba.
COBERTURA DE ESTABLECIMIENTOS
Porcentaje de establecimientos a los que pertenecen losalumnos que rindieron la prueba, en relación al total deestablecimientos con 4° Básico del país o de la región.
93%
93%
94%
91%
94%
93%
90%
91%
87%
85%
96%
95%
93%
91%
ALUMNOS
77%
91%
72%
61%
89%
79%
71%
70%
57%
51%
79%
88%
96%
73%
94%
97%
97%
96%
97%
97%
96%
96%
92%
95%
97%
95%
96%
96%
ALUMNOS
89%
96%
93%
85%
97%
96%
92%
89%
71%
87%
95%
93%
99%
90%
En el SIMCE 2005 aumentó considerablemente la coberturade establecimientos evaluados en todas las regiones del país.
ESTABL
COBERTURAREGIONAL 2002
REGIÓN ESTABL
COBERTURAREGIONAL 2005
I
II
III
IV
V
VI
VII
VIII
IX
X
XI
XII
RM
TOTAL
3
CÁLCULO DE PUNTAJES
La prueba SIMCE entrega resultados por curso y porestablecimiento, los que se calculan promediando directamentelos puntajes obtenidos por los alumnos.
El puntaje promedio de cada establecimiento se calcula enbase a todos los alumnos que rindieron la prueba SIMCE(alumnos presentes), descontando a los alumnos integradosy a los que, por ejemplo, tuvieron que retirarse durante laprueba. Así, el puntaje promedio de un establecimiento esindicador de lo que saben o pueden hacer el conjunto delos alumnos del nivel evaluado.
Los resultados de las diferentes categorías de análisis (región,país, grupo socioeconómico, etc.) se calculan promediandolos puntajes de los alumnos que componen cada categoría.
VARIACIÓN SIGNIFICATIVA
Tanto en el año 2002 como en 2005 se utilizó la mismaescala de puntajes. De este modo, puede considerarse quecualquier aumento significativo de puntaje entre 2002 y2005, indica que los alumnos de 2005 alcanzan mayoreslogros de aprendizaje que los de 2002. A la inversa, cualquierpuntaje de 2005 significativamente inferior al de 2002,indica lo contrario.
Es importante considerar que, al comparar dos promedioscualesquiera, la diferencia entre ambos se considerasignificativa solo cuando supera un valor mínimo establecido.Este valor mínimo depende, principalmente, del número dealumnos considerados en la comparación (ver Anexo).
Se utiliza el símbolo para indicar que un puntaje essignificativamente mayor con el que se compara; el símbolo
para señalar que los puntajes comparados sonequivalentes, y el símbolo para mostrar que essignificativamente menor.
4
Los logros de aprendizaje están determinados por múltiplesfactores internos y externos a los establecimientos. La calidaddel desempeño del profesor, un buen equipamiento o lagestión adecuada del director son variables que, de algunaforma, resultan controlables por la escuela. En cambio, lacondición socioeconómica de los alumnos o el niveleducacional de los padres no pueden ser modificados porel establecimiento.
Para establecer que una comunidad educativa se desempeñamejor que otra y afirmar que, con alta probabilidad, lasdiferencias de sus resultados en el SIMCE se producen porlo que sucede “dentro” del establecimiento y no “fuera” deeste, lo razonable es comparar escuelas que atienden aalumnos de similares características socioeconómicas.
Por ello, el Ministerio de Educación clasificó a losestablecimientos que rindieron la prueba SIMCE 2005 deacuerdo con las características socioeconómicaspredominantes de sus alumnos, las que se definieron segúnel promedio de los años de estudio del padre y de la madre,el ingreso familiar mensual y el Índice de VulnerabilidadEscolar del establecimiento (IVE).
La información sobre las tres primeras variables se recogeen los días de la prueba, mediante cuestionarios a losapoderados. Ya que los datos son autoreportados por lospadres, pueden no coincidir con estadísticas económicasoficiales.
La cuarta variable, IVE, corresponde a un índice calculadoanualmente por la Junta Nacional de Auxilio Escolar y Becas(JUNAEB).
Es importante considerar que, tal como ya se señaló, laclasificación de establecimientos en grupos socioeconómicosse realiza con información del año en que se aplica la prueba.Por ello, a pesar de que la gran mayoría de losestablecimientos mantiene su clasificación entre una medicióny otra, algunos pueden variar. Se puede producir un cambioen el grupo socioeconómico de una escuela debido a cambiosen la composición socioeconómica de su alumnado.
METODOLOGÍA DE CLASIFICACIÓN SOCIOECONÓMICA
6
Para calcular el puntaje más alto y más bajo de cada gruposocioeconómico se excluyeron a los establecimientos conmenos de 6 alumnos. Los establecimientos considerados son5.865, los que representan al 78% del total.
PUNTAJE PROMEDIO MÁS ALTO, MÁS BAJO Y PROMEDIODE LOS ESTABLECIMIENTOS DE UN MISMO GRUPOSOCIOECONÓMICO
BAJO
MEDIO BAJO
MEDIO
MEDIO ALTO
ALTO
GRUPOSOCIOECONÓMICO
231
236
253
278
300
150
164
182
173
220
PROMEDIOMÁS BAJO
PROMEDIODEL GRUPO
PROMEDIOMÁS ALTO
323
326
310
329
332
LENGUAJE
BAJO
MEDIO BAJO
MEDIO
MEDIO ALTO
ALTO
GRUPOSOCIOECONÓMICO
220
228
245
271
297
143
166
183
176
213
PROMEDIOMÁS BAJO
PROMEDIODEL GRUPO
PROMEDIOMÁS ALTO
316
315
314
322
333
MATEMÁTICA
BAJO
MEDIO BAJO
MEDIO
MEDIO ALTO
ALTO
GRUPOSOCIOECONÓMICO
227
235
256
282
306
140
166
195
190
217
PROMEDIOMÁS BAJO
PROMEDIODEL GRUPO
PROMEDIOMÁS ALTO
333
328
319
325
335
COMPRENSIÓN DEL MEDIO
7
NOTA: Las variaciones se calculan sobre la base de aquellosestablecimientos que rindieron la prueba SIMCE enambos años y que no cambiaron de dependencia nide grupo socioeconómico entre 2002 y 2005 (59%de los establecimientos y 74% de los alumnos).
8
NÚMERO Y PORCENTAJE DEALUMNOS Y DEESTABLECIMIENTOSEVALUADOS, SEGÚN GRUPOSOCIOECONÓMICO 2005 YDEPENDENCIA
MUN: Establecimientos municipales.PSUB: Establecimientos particulares subvencionados.PPAG: Establecimientos particulares pagados.– : Categorías que no tienen alumnos o que tienen a menos del 0,5% del total de alumnos.
NOTA: El ancho de las barras está en proporción al númerode alumnos de cada grupo socioeconómico ydependencia.
20.530
73.791
94.828
52.211
18.492
259.852
% %
8 %
28 %
36 %
20 %
7 %
100 %
31 %
30 %
20 %
13 %
6 %
100 %
TOTALES DEPENDENCIA
% MUN % PSUB % PPAG
6 %
23 %
18 %
2%
–
50 %
2 %
5 %
18 %
17 %
1 %
44 %
–
–
–
–
6%
6%
N
2.367
2.254
1.506
966
447
7.540
ESTABLECIMIENTOS
ALUMNOS
GRUPOSOCIOECONÓMICO 2005
BAJO
MEDIO BAJO
MEDIO
MEDIO ALTO
ALTO
TOTAL NACIONAL
N
NOTA: Todos los porcentajes están referidos a los totales dealumnos o de establecimientos. Dado que contienenaproximaciones, pueden no sumar exactamente 100%.
9
Para analizar los puntajes de los diferentes tipos dedependencia, es conveniente realizar comparaciones dentrodel mismo grupo socioeconómico. Además, es importanteconsiderar el número de alumnos atendidos por losestablecimientos de cada grupo y dependencia (verpágina 9).
BAJO
MEDIO BAJO
MEDIO
MEDIO ALTO
ALTO
PROMEDIO NACIONAL
GRUPOSOCIOECONÓMICO2005
224
228
242
267
–
235
207
226
249
272
290
255
LENGUAJE MATEMÁTICA
236
237
249
274
–
243
218
235
258
279
294
263
--
--
--
--
299
297
–
–
–
–
301
300
231
235
250
277
–
243
216
235
261
283
301
266
–
–
–
–
307
305
MUN PSUB PPAG PROM MUN PSUB PPAG PROM MUN PSUB PPAG PROM
COMPRENSIÓNDEL MEDIO
PROMEDIOS, POR GRUPOSOCIOECONÓMICO 2005 YDEPENDENCIA.
– : Categorías que no tienen alumnos o que tienen amenos del 0,5% del total de alumnos.
NOTA: El promedio nacional se calcula sobre la base detodos los alumnos de cada dependencia y gruposocioeconómico, incluidos los alumnos de categoríascon menos de 0,5% del total de alumnos. Por tal motivo,el promedio nacional de los PARTICULARES PAGADOSpuede parecer inconsistente con el promedio del gruposocioeconómico ALTO.
231
236
253
278
300
255
220
228
245
271
297
248
227
235
256
282
306
257
10
BAJO
MEDIO BAJO
MEDIO
MEDIO ALTO
ALTO
PROMEDIOS
GRUPOSOCIOECONÓMICO
224
228
242
267
–
235
207
226
249
272
290
255
LENGUAJE MATEMÁTICA
236
237
249
274
–
243
218
235
258
279
294
263
–
–
–
–
299
297
–
–
–
–
301
300
231
235
250
277
–
243
216
235
261
283
301
266
–
–
–
–
307
305
MUN PSUB PPAG MUN PSUB PPAG MUN PSUB PPAG
NOTA: El ancho de las barras está en proporción al número dealumnos de cada grupo socioeconómico y dependencia. El símbolo indica la dependencia que obtuvo un puntaje significativamente
más alto que la otra en ese grupo socioeconómico.
COMPRENSIÓNDEL MEDIO
DEPENDENCIAS CON PUNTAJESIGNIFICATIVAMENTE MÁS ALTOS,POR GRUPO SOCIOECONÓMICO 2005
*
**
*
*
**
*
*
**
*
NOTA: El promedio nacional se calcula sobre la base detodos los alumnos de cada dependencia y gruposocioeconómico, incluidos los alumnos de categoríascon menos de 0,5% del total de alumnos. Por tal motivo,el promedio nacional de los PARTICULARES PAGADOSpuede parecer inconsistente con el promedio del gruposocioeconómico ALTO.
11
BAJO
MEDIO BAJO
MEDIO
MEDIO ALTO
ALTO
TOTAL
% MUN % PSUB % PPAGGRUPOSOCIOECONÓMICO
3 %
3 %
13 %
44 %
–
5 %
4 %
15 %
50 %
74 %
85 %
43 %
–
–
–
–
88 %
84 %
PORCENTAJES DEESTABLECIMENTOSSELECTIVOS, POR GRUPOSOCIOECONÓMICO YDEPENDENCIA
SELECCIÓN ACADÉMICA DE LOS ALUMNOS
Un establecimiento se define como selectivo cuando más del50% de sus apoderados declara que su hijo tuvo comorequisito de ingreso rendir un examen escrito o prueba deingreso, asistir a una sesión de juegos o debió mostrar lasnotas del kinder y/o pre kinder.
– : Categorías que no tienen alumnos o que tienen a menosdel 0,5% del total de alumnos.
12
NOTA: Las variaciones se calculan sobre la base de aquellosestablecimientos que rindieron la prueba SIMCE enambos años y que no cambiaron de dependencia nide grupo socioeconómico entre 2002 y 2005 (59%de los establecimientos y 74% de los alumnos).
13
TERCIO DE RENDIMIENTO BAJO
Los establecimientos del tercio de RENDIMIENTO BAJO en2002 se caracterizan por ser 50% rurales, de los grupossocioeconómicos BAJO (48%) y MEDIO BAJO (41%). El99% recibe subvención estatal (el 70% es de dependenciamunicipal y el 29% particular subvencionado) y el 77%recibe, además, apoyo directo a través de los programasfocalizados del Ministerio de Educación (por ejemplo,microcentros rurales y Programa LEM). Todos losestablecimientos suvbencionados por el Estado (focalizadoso no focalizados) reciben apoyo a través de textos escolaresy programas de estudio, entre otros.
15
NOTA: Las variaciones se calculan sobre la base de aquellosestablecimientos que rindieron la prueba SIMCE 2002y 2005 (77% de los establecimientos y 92% de losalumnos).
72%
89%
78%
67%
86%
80%
76%
76%
70%
55%
82%
94%
90%
77%
87%
95%
94%
87%
93%
93%
94%
93%
91%
80%
89%
99%
94%
92%
ALUMNOSESTABLECIMIENTOSREGIÓN
I
II
III
IV
V
VI
VII
VIII
IX
X
XI
XII
RM
TOTAL NACIONAL
ESTABLECIMIENTOS Y ALUMNOSEVALUADOS EN SIMCE 2002 Y 2005
16
PROGRAMA DE ASISTENCIA TÉCNICA A ESCUELASCRÍTICAS
La Secretaría Regional Ministerial (SEREMI) de Educaciónde la Región Metropolitana contrató instituciones externas(universidades, consultoras y fundaciones) para dar asistenciapedagógica y de gestión educativa a 66 de las escuelascon más bajos puntajes en el SIMCE 1999.
En la tabla se presentan los resultados de las 64 escuelascríticas evaluadas por SIMCE 2005. Estos resultados secomparan con los de un grupo control “sin programa deescuelas críticas” constituido por establecimientos de similarcomposición socioeconómica, dependencia y rendimientoprevio, y que no participaron del programa de escuelascríticas ni de otros programas focalizados del Ministerio deEducación (LEM, P900, microcentros rurales).
20
EJEMPLO DE LENGUAJEY COMUNICACIÓN
NIVEL BÁSICO
Los alumnos son capaces de identificar diversos tipos de textos. También puedenlocalizar información literal, e identificar sinónimos de palabras de uso cotidiano.
NIVEL INTERMEDIO
Los alumnos pueden identificar datos específicos, lo que les permite usar informaciónexplícita para inferir secuencias de acciones, identificar características de personajes,seleccionar ideas e identificar datos. También pueden interpretar los significadosde palabras desconocidas en función del contexto y reconocer su función gramatical.
NIVEL ALTO
Los alumnos comprenden el sentido global de los textos. Pueden identificar al emisor,receptor y finalidad del mensaje. Pueden también determinar el tema de diferentestipos de textos, estableciendo comparaciones y relaciones. Además, interpretansignificados connotativos de palabras o expresiones. Esa profundidad les permitedistinguir matices, especialmente en textos de los medios de comunicación.
NIVELES DE DESEMPEÑO 1999
ALTO
INTERMEDIO
BÁSICO
INFERIOR
12%
25%
31%
32%
12%
24%
29%
35%
LENGUAJE YCOMUNICACIÓN
EDUCACIÓNMATEMÁTICA
25%
25%
31%
19%
28%
23%
30%
19%
13%
24%
27%
35%
31%
23%
28%
17%
11%
26%
36%
27%
13%
27%
34%
26%
16%
29%
33%
23%
1999
COMPRENSIÓNDEL MEDIO
2002 2005 1999 2002 2005 1999 2002 2005
NOTAS: Los porcentajes de respuesta están aproximados, por lo que el total decada columna puede no sumar 100%.22
: Alternativa correcta
EST: Porcentaje de alumnos delestablecimiento que seleccionócada alternativa.
GSE: Porcentaje de alumnos deestablecimientos del mismo gruposocioeconómico que seleccionócada alternativa.
NAC: Porcentaje de alumnos a nivelnacional que seleccionó cadaalternativa.
Para cada subsector se proporciona información sobre las dimensiones evaluadas,es decir, los conocimientos y habilidades del marco curricular que fueronconsideradas en la prueba. Además, se presentan ejemplos de preguntas y paracada una de estas, una tabla con los resultados de su establecimiento (EST), delos establecimientos de su mismo grupo socioeconómico (GSE) y de losestablecimientos a nivel nacional (NAC).
Para las preguntas de selección múltiple la tabla de resultados indica el porcentajeque seleccionó cada alternativa, y el porcentaje que omitió su respuesta. En elcaso de las preguntas abiertas, la tabla de resultados muestra el porcentaje dealumnos que dio una respuesta correcta, parcialmente correcta, incorrecta y elporcentaje que omitió su respuesta.
ALTERNATIVA
A
B
C
D
omisión
EST
30 %
20 %
25 %
16 %
8 %
GSE
40 %
23 %
20 %
10 %
6 %
NAC
50 %
20 %
15 %
10 %
5 %
RESULTADOS
NOTAS: Los porcentajes de respuesta están aproximados, por lo que el total decada columna puede no sumar 100%.22
: Alternativa correcta
EST: Porcentaje de alumnos delestablecimiento que seleccionócada alternativa.
GSE: Porcentaje de alumnos deestablecimientos del mismo gruposocioeconómico que seleccionócada alternativa.
NAC: Porcentaje de alumnos a nivelnacional que seleccionó cadaalternativa.
Para cada subsector se proporciona información sobre las dimensiones evaluadas,es decir, los conocimientos y habilidades del marco curricular que fueronconsideradas en la prueba. Además, se presentan ejemplos de preguntas y paracada una de estas, una tabla con los resultados de su establecimiento (EST), delos establecimientos de su mismo grupo socioeconómico (GSE) y de losestablecimientos a nivel nacional (NAC).
Para las preguntas de selección múltiple la tabla de resultados indica el porcentajeque seleccionó cada alternativa, y el porcentaje que omitió su respuesta. En elcaso de las preguntas abiertas, la tabla de resultados muestra el porcentaje dealumnos que dio una respuesta correcta, parcialmente correcta, incorrecta y elporcentaje que omitió su respuesta.
ALTERNATIVA
A
B
C
D
omisión
EST
30 %
20 %
25 %
16 %
8 %
GSE
40 %
23 %
20 %
10 %
6 %
NAC
50 %
20 %
15 %
10 %
5 %
RESULTADOS
En el modelo IRT no existen valores mínimos o máximos establecidos de antemano,ya que el cálculo se inicia asignando un puntaje al resultado promedio de todoslos alumnos del país que dieron la prueba. En el caso de 4° Básico, se asignóel valor de 250 al resultado promedio obtenido en el año 1999, que fue el añoen que se usó la escala por primera vez para ese curso.
En general, los resultados de cualquier medición tienen distinto grado de precisión.Por ello, para establecer que existe una diferencia significativa entre dos puntajescualesquiera, esta debe ser mayor a un cierto valor mínimo (llamado variacióno diferencia significativa). Solo en caso de existir una diferencia o variaciónsignificativa, se puede señalar que realmente existe una diferencia o variaciónen los logros de aprendizaje.
Para establecer si una diferencia o variación entre puntajes promedio es o nosignificativa, deben considerarse varios factores estadísticos. En la siguiente tablase señala un criterio aproximado para comparar puntajes promedio entre cursoso establecimientos. En ella se detallan los valores mínimos para considerar queuna diferencia o variación entre dos resultados es significativa.
2005-2005: diferencias significativasentre los puntajes promedio de laprueba 2005 de dos gruposcualesquiera de alumnos (curso,establecimiento, etc.).
2002-2005: variaciones significativasentre los puntajes promedio de laspruebas 2002 y 2005.
Como se puede ver en la tabla, el valor requerido para que una diferencia ovariación de puntajes sea considerada significativa, es menor cuando se comparanpuntajes de 2005 que cuando se comparan resultados entre 2005 y 2002.También se observa que mientras mayor es la cantidad de alumnos incluidos enun puntaje promedio, menor es la diferencia o variación de puntaje que puedeconsiderarse significativa.
Al comparar dos puntajes promedio cualesquiera, debe utilizarse como diferenciao variación significativa la que corresponde al grupo con menor cantidad dealumnos.
ESCALA DE PUNTAJES
VARIACIONES Y DIFERNCIASSIGNIFICATIVAS
6-9
10-25
26-50
51-100
101-200
201 o MÁS
26
19
10
8
6
5
35
28
15
12
10
8
DIFERENCIAS SIGNIFICATIVAS2005 - 2005 2002 - 2005
(puntos) (puntos)
CANTIDAD DEALUMNOS
51