2013 2014

Coordinación técnica y realización

Dirección de Programas para la Administración Pública Dra. Alejandra Zúñiga Bohigas

Coordinación del proyecto ENLACE MSMtra. Sandra Patricia Reyes Lüscher Mtra. Araceli Castillo NúñezLic. Rubén Lugo Campos

Equipo de colaboraciónAlba Cruz EscaleraLía Escobar AcostaGeorgina Elizabeth Sánchez ChávezJanette Vázquez García

Manual Técnico ENLACE Media Superior 2013-2014Manual Técnico de la prueba Evaluación Nacional de Logro Académico en Centros Escolares de Educación Media Superior (ENLACE MS)

D.R. © 2015, Centro Nacional de Evaluaciónpara la Educación Superior, A.C. (Ceneval)Av. Camino al Desierto de los Leones 19,Col. San Ángel, Deleg. Álvaro Obregón,C.P. 01000, México, D.F.www.ceneval.edu.mx

Diseño y formación: Álvaro Edel Reynoso Castañeda

Diciembre de 2015

371.271 LB2353.4.M4C46 C46

Centro Nacional de Evaluación para la Educación Superior. Dirección General Adjuntade Programas Especiales

Manual técnico ENLACE Media Superior 2013-2014. Evaluación Nacional de Logro Académico en Centros Escolares de Educación Media Superior / Dirección de Programas para la Administración Pública. -- México : Ceneval, 2015. 107p.:tablas,gráficas,diagrs.

1. Evaluación Nacional de Logro Académico (ENLACE) - Diseño y construcción - Manuales 2. Estudiantes universitarios - Evaluación - México 3. Mediciones y pruebas educativas - México - Manuales

I. CENEVAL. DGAPE. Dirección de Programas para la Administración Pública

Directorio del Ceneval

Dr. en Quím. Rafael López CastañaresDirector General

Dr. Oscar Olea CardosoSecretario Particular

L.C. Saúl Moisés López MedinaEncargado del Despacho

de la Dirección General Adjunta de Administración

Mtra. Gabriela Legorreta MosquedaAbogada General

Dra. Rocío Llarena de ThierryDirectora General Adjunta de Programas Especiales

Mtra. Lucía Monroy CazorlaDirectora General Adjunta

de los Exámenes Nacionales de Ingreso

Lic. Catalina Betancourt CorreaDirectora General Adjunta

de los Exámenes Generales para el Egreso de la Licenciatura

M. en A. Francisco Javier Apreza García MéndezDirector General Adjunto de Operación

C. Rolando Emilio Maggi YáñezDirector General Adjunto de Difusión

Act. César Chávez ÁlvarezDirector Técnico y de Investigación

Mtra. María del Socorro Martínez de LunaDirectora de Procesos Ópticos y Calificación

Ing. Oscar Miranda RoblesDirector de Tecnologías de la Información y la Comunicación

Mtro. Juan Carlos Rivera LópezDirector de Relaciones Interinstitucionales

Prefacio 11 1. Introducción 13 2. Antecedentes 15

2.1 Instrumentos y diseño de recolección de datos 172.2 Cuerpos colegiados 19

3. Características de la prueba 21

3.1 Especificaciones técnicas 213.2 Alcances y limitaciones 23

4. Adaptación y diseño de la prueba alineada a la RIEMS 25

4.1 Delimitación del objeto de medición y referentes del examen 254.1.1 Comunicación (Comprensión Lectora) 274.1.2 Matemáticas 31

4.2 Estructura global de la prueba 35 5. Elaboración de reactivos 2013-2014 37

5.1 Plan general de elaboración de reactivos 375.2 Capacitación a colaboradores 385.3 Revisión cualitativa 39

5.3.1 Revisión técnica 395.3.2 Validación con especialistas 405.3.3 Revisión de estilo 41

6. Verificación cuantitativa 43

6.1 Calibración de reactivos 44 7. Ensamble de versiones 47

7.1 Especificaciones estadísticas de ensamble 50 8. Aplicación 55

8.1 Diseño muestral 578.2 Diseño de equiparación 58

Índice

9. Calificación 619.1 Algoritmo de calificación 2008-2014 619.2 Procedimiento de equiparación 629.3 Emisión de resultados 63

9.3.1 Niveles de dominio Comunicación (Comprensión Lectora) 659.3.2 Niveles de dominio Matemáticas 65

9.4 Segundo estudio de factibilidad de mantenimiento de puntos de corte 669.5 Complementos 67

9.5.1 Cuestionario de contexto 679.5.2 Manual para docentes y directivos 68

10. Estudios adicionales 6910.1 Análisis exploratorio de Ciencias 2013 y 2014 6910.2 Estudios de ganancia educativa 2010-2013 y 2011-2014 71

10.2.1 Participantes 7310.2.2 Materiales 7310.2.3 Procedimiento 7410.2.4 Resultados 76

11. Reflexiones acerca de la prueba 79 Referencias 82 Anexo A Consejo Técnico 85Anexo B Grupos de trabajo: delimitación del objeto de medida 87Anexo C Diseño muestral. Levantamiento de datos 89Anexo D Estudios acerca de la estabilidad de la escala 97

Tablas

Tabla 1: Características técnicas de la prueba ENLACE MS 22Tabla 2: Definición de niveles de complejidad por grupo de proceso cognitivo Comunicación (Comprensión Lectora) ENLACE MS alineada a la RIEMS 30Tabla 3: Definición de niveles de complejidad por grupo de proceso cognitivo Matemáticas ENLACE MS alineada a la RIEMS 34Tabla 4: Estructura ENLACE MS alineada a la RIEMS 36Tabla 5: Productos de la elaboración de reactivos ENLACE MS 2013-2014 38Tabla 6: Reactivos validados 2012-2014 ENLACE MS alineada a la RIEMS 40Tabla 7: Número de reactivos piloto y promedio de participantes 2012 y 2013 43Tabla 8: Dictamen de reactivos de acuerdo con los parámetros estimados en el estudio piloto 46Tabla 9: Distribución de reactivos para el ensamble de la prueba operativa 48Tabla 10: Participantes aplicación ENLACE MS 2013 y 2014 56Tabla 11: Niveles de desagregación de la muestra 58Tabla 12: Rangos de habilidad (θ) utilizados en Comunicación (Comprensión Lectora) 61Tabla 13: Rangos de habilidad (θ) utilizados en Matemáticas 61Tabla 14: Resultados nacionales ENLACE MS 2013 y 2014 63Tabla 15: Estadísticos descriptivos estudio de Ciencias 2011-2014 70Tabla 16: Estructura de la prueba ancla (reactivos semejantes) 74 FigurasFigura 1. Diseño matricial del pretest 2013 49Figura 2. Diseño de ensamble del pretest 2014 50Figura 3. Funciones de información ENLACE MS Operativa 2013-2014 Comunicación 51Figura 4. Curvas características ENLACE MS Operativa 2013-2014 Comunicación 52Figura 5. Funciones de información ENLACE MS Operativa 2013-2014 Matemáticas 52Figura 6. Curvas características ENLACE MS Operativa 2013-2014 Matemáticas 53Figura 7. Ejemplo de administración de la prueba ENLACE MS por sesión y días de aplicación 55Figura 8. Aplicación de las pruebas ENLACE MS utilizando la técnica de contrabalanceo 56Figura 9. Esquema de aplicación para la equiparación de la prueba ENLACE MS 59Figura 10. Diseño de recolección de datos de las pruebas ENLACE 3º de secundaria y media superior 72Figura 11. Ganancia educativa nacional 2010-2013 Comprensión Lectora 77Figura 12. Ganancia educativa nacional 2011-2014 Comprensión Lectora 77Figura 13. Ganancia educativa nacional 2010-2013 Matemáticas 78Figura 14. Ganancia educativa nacional 2011-2014 Matemáticas 78

Índice de Tablas y Figuras

ENLA

CE M

S · 2

013

· 201

4

11

E l Centro Nacional para la Evaluación de la Educación Superior (Ceneval) es una asociación civil no lucrativa, cuya misión es contribuir a mejorar la calidad de la educa-ción media superior y superior en México mediante el diseño y aplicación de instrumen-

tosdeevaluaciónválidos,confiablesypertinentes.Estosexámenesproporcionaninformaciónacerca de conocimientos, habilidades y competencias que las personas adquieren al participar enprocesosformalesoinformalesdeaprendizaje.ParadaraconocerlosprocedimientosylasevidenciasquesustentanlaconfiabilidadyvalidezdelosinstrumentosquegeneraelCeneval,cadaunodeellosseacompañadeunmanualtécnicoqueespecificadetalladamenteloselemen-tos involucrados en su construcción y aplicación.

El presente es el tercer y último Manual Técnico que se publica en torno a la Evaluación Nacional de Logro Académico en Centros Escolares de Educación Media Superior (ENLACE MS), instrumento de diagnóstico de cobertura nacional en cuya elaboración y seguimiento participó el Ceneval a petición de la Subsecretaría de Educación Media Superior (SEMS) y de la Dirección General de Políticas Educativa (DGEP) de la Secretaría de Educación Pública (SEP). El primer Manual describió de manera sintética los procesos que se siguieron en la etapa de di-seño y de aplicación comprendida entre 2008 y 2010, mientras que en el segundo se explicaron lasactividadesrealizadasparaadaptarlapruebayevaluaralossustentantesencongruenciaconlaReformaIntegraldelaEducaciónMediaSuperior(RIEMS) durante 2011 y 2012. EnestetercerManual,ademásdelainformaciónrelacionadaconelprocesodeconstruc-

ción,aplicaciónycalificacióndelexamenen2013y2014,añoenqueseaplicóporúltimavezENLACE MS,sedescribenalgunosestudiosrealizadosaprovechandolosdatosdelaprueba.Los resultados de estos estudios pueden ser de interés para los medios de comunicación y para elpúblicoengeneralatentoalosresultadosnacionalesdeinstrumentosestandarizadosqueseaplican a los alumnos año con año.

Prefacio

ENLA

CE M

S · 2

013

· 201

4

13

De 2008 a 2014, la prueba ENLACE MS constituyó un instrumento diagnóstico para la evaluacióndelosestudiantesconelobjetivodebrindarunafuentedeinformaciónfiableparalamedicióndeindicadoresdelogrorelacionadosconelperfildeegreso

de los alumnos que cursan la Educación Media Superior (EMS).Alolargodelasdiferentesaplicaciones, la prueba se ajustó a los propósitos de las autoridades educativas en el marco de la construcción de un Sistema Nacional de Bachillerato en un contexto de diversidad que, mediantelaimplementacióngradualdelaReformaIntegraldelaEMS, atendió la necesidad de hacercambiosanivelnacionalenelcurrículo,laofertaeducativaylagestiónescolar.

El tercer eje de la RIEMS contempla, dentro de sus mecanismos de gestión y en su ámbito estratégico número seis denominado Evaluación Diagnóstica de los alumnos, la evaluación de des-empeñoyresultadosentérminosdelosaprendizajesobtenidosporlosestudiantesgraciasalatransformacióndelsistema.ParaconocerelimpactodelaRIEMS, se busca integrar los resulta-dosdepruebasestandarizadas,entreellasENLACE MS,alaevaluaciónformativa-sumativaqueserealizaenelaula.Elexamenseaplicademaneracensal,conunafrecuenciaanual,atodaslasescuelasquemanifiestensudeseodeparticipar.

De 2011 a 2014 ENLACE MS emitió un diagnóstico individual del nivel de dominio de los sustentantes del último ciclo de bachillerato en dos campos disciplinares básicos: Comunica-ción(ComprensiónLectora)yMatemáticas.Cadaalumnorecibióunreportepersonalizadoqueindicasisudesempeñofueexcelente,bueno,elementaloinsuficiente;asimismo,elreportepermiteconocersusfortalezasydebilidadesenlosdiferentestemasevaluadosconelobjetivodeestablecerestrategiasdemejora(cursosderegularización,estudiodirigido,investigación,etcétera).Porelimpactoquetienensusresultadosenlaplanificacióndecampañasalinteriordelas

escuelas y en las políticas públicas, en el presente documento se considera prioritario dar a conoceralpúblicoengeneralyaotrosevaluadoreslainformaciónrelacionadaconlacons-trucción y el mantenimiento de la prueba. Además, mediante este Manual Técnico se da cum-plimiento a los lineamientos exigidos en la Metodología Ceneval, que contempla normas y estándares de calidad para los procesos de medición y las pruebas de aprovechamiento.

Al inicio se describen algunos antecedentes del examen, las instancias que promovieron el proyecto de ENLACE MS y su adaptación al marco curricular común (MCC) de la RIEMS. Es importante mencionar que el instrumento que se aplicó de 2011 a 2014 retoma únicamente los aspectos del MCC que pueden ser evaluados mediante una prueba diagnóstica, objetiva, estan-darizada, de bajo impacto y con reactivos de opción múltiple, considerando que su aplicación es censal y serealizaensesionesde50minutos.Demaneraadicionalyconsiderandoquelasautoridadeseducativas solicitaron mantener la comparabilidad de los resultados con los de las aplicaciones de 2008 a 2010, el diseño de recolección de datos incluyó la distribución matricial de un pretest, instrumentoquepermitióigualarlaescaladecalificaciónañoconaño.

1. Introducción

ENLA

CE M

S · 2

013

· 201

4

15

ENLA

CE M

S · 2

013

· 201

4

14

En los apartados tres y cuatro del presente Manual se reseñan las características generales de la prueba ENLACE MS que se aplicó de 2011 a 2014, además de la estrategia con que se modi-ficósuestructuraparaapoyarlaevaluacióndeunamuestrarepresentativadelascompetenciasdisciplinares básicas que promueve la RIEMS. En los siguientes capítulos se pueden revisar los procedimientosespecíficosquesellevaronacabodurante2013y2014paralaconstrucción,aplicación,calificaciónymantenimientodelaprueba.Despuésdeinformaracercadelasdiversasfuentesquetienenlossustentantes,docentes,

directivosypadresdefamiliaparaconoceryutilizaradecuadamentelosresultadosdeENLACE MS,alllegaraldécimoapartadosedescribencuatroestudiosqueserealizaronenlosdosúlti-mos años de aplicación del instrumento aprovechando los datos.

Como en los manuales anteriores, se concluye el documento con una discusión de los al-cancesdelapruebaysucomparaciónconotrosexámenessimilaresconelfindemotivarlareflexiónyretroalimentaciónqueapoyeelmejoramientoyeldesarrollodelosdiversosproce-sos de evaluación.

ENLA

CE M

S · 2

013

· 201

4

15

ENLA

CE M

S · 2

013

· 201

4

14

En su origen, la prueba ENLACE MS se inscribió dentro del Programa Sectorial de Educación 2007-2012, cuyos objetivos particulares, asociados al propósito general de elevar la calidad de la educación, eran:

1. ampliarlasoportunidadeseducativas;2. impulsareldesarrollodetecnologíasdelainformaciónydelacomunicaciónenelsistemaeducativo;

3. ofrecerunaeducaciónintegralbasadaencompetencias;4. ofrecerservicioseducativosdecalidadqueformenpersonasconsentidoderesponsabilidad

social y permitan competir en el mercado laboral y5. fomentarunagestiónescolarresponsablequeasegurelatransparenciaylarendicióndecuentasalasociedadsobreelfuncionamientodelniveleducativo.

Entre otras líneas de acción, el programa sectorial incluía la necesidad de “diseñar, aplicar y consolidar los instrumentos de evaluación del desempeño académico de los estudiantes, como insumo para reorientar la acción pedagógica y para integrar los programas de nivelación acadé-mica”.1Porloanterior,enfebrerode2007laSEMS y la DGEP de la SEP solicitaron el apoyo del Ceneval para la elaboración de la prueba ENLACE MS.

El reto era elaborar una prueba criterial que permitiera emitir un diagnóstico a cada alumno sobresuniveldedesempeñoalfinalizarlaeducaciónmediasuperior;además,debíaserposibleentregar los resultados en un periodo corto de tiempo. Considerando las restricciones ante-riores,sedecidióconstruirunapruebadiagnóstica,debajoimpacto,objetiva,estandarizaday compuesta por reactivos de opción múltiple. Así, ENLACE MS se diseñó y desarrolló con elfindegenerarinformaciónparacadaestudianteacercadesucapacidadderespuestaanteexigencias de la vida cotidiana al egresar de la EMS,detalformaquesecuenteconelementosderetroalimentaciónindividual,asícomoinformaciónqueapoyealospadres,maestros,direc-tivos y autoridades para que contribuyan a la mejora del sistema educativo.

Debido a la diversidad de subsistemas que hay en el bachillerato y a la existencia de más de 200 currículos en el ámbito nacional, desde el inicio de las actividades de diseño se estableció laconvenienciadeconstruiryaplicaruninstrumentoenfocadoenlashabilidadesgeneralesquesonpartefundamentalenlaeducaciónmediasuperiorydetodoslosperfilesdeegreso:Habilidad Lectora y Habilidad Matemática. Estas habilidades son transversales, es decir, se desarrollanalolargodelahistoriaescolaryfueradeella,ademássemanifiestandemododi-ferencialenlosindividuos,loquepermiteidentificardiferentesnivelesdedominio.Así,entre2008 y 2010, ENLACE MSsignificóundiagnósticodeldesarrollodelossustentantesenesasdos áreas de habilidad.

2. Antecedentes

1 Disponible en http://www.sep.gob.mx/wb/sep1/programa_sectorial.

ENLA

CE M

S · 2

013

· 201

4

17

ENLA

CE M

S · 2

013

· 201

4

16

Posteriormente,conlaoficializacióndelaRIEMS2sehizonecesarialaadaptacióndelaprueba ENLACE MS para su aplicación a partir del 2011.

La RIEMS establece que todos los planteles deben adoptar un MCC cuya orientación peda-gógicacorrespondeconelaprendizajeporcompetencias,centradoeneldesarrollopersonalysocial de los estudiantes. Los conjuntos de competencias que promueve el MCC son de tipo:• genérico,conaplicaciónendiversoscontextosacadémicos,laboralesysociales;• disciplinar,quecorrespondendirectamenteconlosdiferentescamposdelconocimiento,y• profesional,orientadosaldesarrollodecapacidadesespecíficasparafacilitarlainserciónen

el mercado laboral.

Cuando se enseña y se aprende bajo este esquema la intención es que el estudiante adquiera autonomíapararesolverproblemas,porloquecuandoactúademaneraefectivasediceque“escompetente”. La RIEMSaprehendeyparticularizaestossignificadosparaincluirenelMCC los conocimientos, habilidades y disposiciones particulares que los alumnos de bachillerato deben ser capaces de articular para responder a situaciones académicas, personales y laborales. Para orientarelcurrículohaciaestaperspectiva,tomaladefinicióndecompetenciadePerrenoud(2004,citadoenAcuerdoSecretarial442),quienlaconcibecomolacapacidaddemovilizarrecursoscognitivosparahacerfrenteadiferentessituaciones,aloqueagregaque:

Las competencias no son en sí mismas conocimientos, habilidades o actitudes, aun-quemovilizan,integran,orquestantalesrecursos,[ademásdeque]elejerciciodelacompetencia pasa por operaciones mentales complejas, sostenidas por esquemas de pensamiento, los cuales permiten determinar (más o menos de un modo consciente y rápido)yrealizar(másomenosdeunmodoeficaz)unaacciónrelativamenteadaptadaa la situación.

Pararesponderaestecontextoy,alavez,darcontinuidadalprocesodeevaluaciónquesevenía desarrollando desde 2008, se decidió que el objetivo de la prueba ENLACE MS a partir de2011fuerabrindarundiagnósticodelniveldedominiodelossustentantesendosdeloscampos disciplinares básicos incluidos en la RIEMS: Comunicación (Comprensión Lectora) y Matemáticas.Asimismo,laevaluacióndeloscamposdisciplinaresdeCienciassecomenzóaplanificarconmirasarealizarunestudioexploratoriodeldesempeñodelosalumnosunavezque se contara con un instrumento consolidado.

2 Diario Oficial de la Federación (2008). Acuerdo 442 por el que se establece el Sistema Nacional de Bachillerato en un marco de diversidad. Disponible en: http://dof.gob.mx/nota_detalle.php?codigo=5061936&fecha= 26/09/2008/.

ENLA

CE M

S · 2

013

· 201

4

17

ENLA

CE M

S · 2

013

· 201

4

16

Unacaracterísticabásicadelaadaptaciónqueserealizóalinstrumentooriginalfuerecono-cer los indicadores concretos y medibles de que el sustentante posee o no de una competencia, tomando en cuenta los rasgos y las limitantes de una prueba diagnóstica, con reactivos de opción múltiple y de aplicación censal, como los de ENLACE MS. Por un lado, esto implicó dejarfueradelapruebalaevaluacióndecompetenciasgenéricas(yaquesunaturalezaexigede instrumentos de medición cualitativa para establecer un diagnóstico) y las competencias profesionales(yaquecadaalumnodesarrolladistintosgruposdecompetenciadeacuerdocon sus intereses laborales). Además, esto quiere decir que, del universo amplio de conceptos, conocimientos, habilidades y competencias que se promueven mediante el MCC de la RIEMS, la prueba retoma únicamente un conjunto de atributos típicos susceptibles de medición bajo lascondicionesespecíficasdelinstrumento.Porlomismo,ENLACE MS evalúa solo una mues-tra representativa de indicadores de competencias básicasquefuerondefinidosoperacionalmenteparaqueelinstrumentopermitieraseguirobteniendoinformacióndiagnósticaparalosestudiantesde la EMS.

La adaptación del examen implicó retomar algunos aspectos del primer instrumento de ENLACE MS y los combinó con atributos medibles, relacionados con las competencias disci-plinaresbásicasdefinidasporlaRIEMS en el MCC, y compatibles con las habilidades que se evaluaban anteriormente. En general, y para permitir la comparabilidad con años anteriores, los contenidos y procesos de las pruebas se conservaron aproximadamente en un 70%.Laconstruccióndelinstrumentoimplicó,endiferentesaños,diversosprocesosintegrados

ysistematizadosmediantediezfasespropiasdelaMetodologíaCeneval:diseño,delimitacióndelobjetodemedida,construcción,verificacióncuantitativa,ensamble,aplicación,calificación,emisión de resultados, mantenimiento del examen y elaboración del material complementario (Ceneval,2011).EldesarrollodecasitodaslastareasfueresponsabilidaddelCentro,conex-cepcióndeaquellasasociadasalaaplicación,calificaciónyemisióndereportes,queestuvierona cargo de la DGEP-SEP.

2.1 Instrumentos y diseño de recolección de datos

Para cumplir con los propósitos de ENLACE MS y con la obligación de transparencia guberna-mental que exige a la SEMS publicar año con año la prueba en su totalidad, como parte del plan de evaluación se contempló la elaboración de los siguientes instrumentos y un diseño particular para la recolección de los datos.

ENLA

CE M

S · 2

013

· 201

4

19

ENLA

CE M

S · 2

013

· 201

4

18

Instrumentos

• Prueba operativa: de aplicación censal a los alumnos de último año de bachillerato, con-formadaporreactivosquesehacenpúblicosdespuésdelaaplicación.Conellasecumpleelobjetivodegenerarinformación,paracadaalumno,acercadesuniveldedesempeñoenloscampos disciplinares evaluados, y se provee de elementos que pueden contribuir a la mejora delsistemaeducativomedianteinformaciónútilparalosdocentes,directores,autoridadesylospadresdefamilia.

• Versión pretest: de aplicación matricial a una muestra representativa de los alumnos que responden la prueba operativa. La muestra considera las modalidades y subsistemas de la EMS. La versión sirve de elemento para equiparar las pruebas ENLACE MS cada año y está compuestaporreactivosqueconformaránlasiguientepruebaoperativa.Elcontroldelaaplicación se asegura mediante la capacitación de personal externo a los planteles y la su-pervisión de la DGEP-SEP.

• Cuestionarios de contexto: Se administran a muestras de alumnos y docentes. Además, los directivos de las escuelas que participan en la aplicación de la prueba ENLACE MS tam-biénrespondenuncuestionariovíainternet.Supropósitoescontarconinformaciónrela-cionada con variables de contexto que permitan explicar los resultados y derivar estudios sobre la prueba.

Diseño de recolección de datos

• Diseño muestral: Para cada aplicación se selecciona una muestra representativa de la po-blación que responde el cuestionario de contexto y a la cual se distribuye, de manera matri-cial,laversiónpretestyotrosinstrumentosqueapoyanlarealizacióndeinvestigacionesdeinterés para la SEMS. La concentración de los datos de estos sustentantes recibe prioridad yaqueseutilizancomopuntodepartidaparalaestimacióndelosparámetrosdelosreac-tivos y para los procesos de equiparación año con año. Una condición muy importante en la muestra es que los cuadernillos siempre se recuperan en su totalidad para evitar la expo-sición de su contenido.

• Distribución de sesiones y reactivos: La prueba operativa se aplica en sesiones de 50 minutos, cada una integrada por reactivos de alguno de los campos que evalúa la prueba que se van intercalando para su aplicación. Este instrumento se administra de manera censal durante dos días. En cuanto a la versión pretest y el cuestionario de contexto, los partici-pantes de la muestra participan en dos sesiones adicionales, lo que implica un tercer día de aplicación. La logística respectiva considera una técnica de contrabalanceo para controlar

ENLA

CE M

S · 2

013

· 201

4

19

ENLA

CE M

S · 2

013

· 201

4

18

elefectoquepudiesegenerarelordendelapresentacióndelosdiferentescuadernilloseinstrumentos.

• Diseño matricial para la aplicación pretest: El diseño matricial implica dividir los reacti-vos que integran la estructura de una prueba en conjuntos o bloques, los cuales se ensamblan paraconformarloscuadernillosoformasquesonpresentadosalosalumnos.Serecurreaeste tipo de diseño para disminuir el tiempo de aplicación y evitar que los alumnos contesten alazaronocontestenacausadelafatigaprovocadaporrespondergrancantidaddereactivos.

• Análisis estadísticos:Paralaequiparacióndelaspruebasylacalificacióndelosalumnosseutilizaelmodelodetresparámetrosdelateoríaderespuestaalítem(TRI) considerando lanaturalezadelobjetodemedidadelaprueba,ademásdeque,deacuerdoconKolenyBrennan (1995) es uno de los más recomendables cuando las muestras son grandes y se requiere que los resultados se distribuyan a lo largo de la escala de puntuaciones.

• Método de equiparación: Para igualar las escalas de uno y otro año, el pretest se aplica junto con la prueba operativa y, dado que los alumnos que contestan ambos instrumentos son los mismos, es posible situar los parámetros de los reactivos en la misma métrica. Pos-teriormente,losreactivosdelpretestseutilizanparaconformarlapruebaoperativadelañosiguiente, por lo que ambos instrumentos se integran con los mismos reactivos, aspecto que permite colocar en una escala común los puntajes de los alumnos que contestan las versionesoperativasenlosdiferentesaños.

2.2 Cuerpos colegiados

Debidoalaimportanciadeasegurarlavalidezypertinenciadelprocesoevaluativo,deacuerdoconlametodologíainstitucional,endiferentesmomentossecuentaconlaparticipacióndecuerposcolegiadosqueavalanylegitimancadafasedeconstrucciónymantenimientodelaprueba.LoscuerposcolegiadosquetrabajanenlosdiferentesprocesosdelapruebaENLACE MSestánconformadosporexpertosenelámbitoeducativonacionaleinternacional,yenlaevaluación de los campos disciplinares que integran la prueba. Acontinuaciónsedetallanlasfuncionesdelosgruposdetrabajoque,enseguimientodela

metodología institucional, intervienen en las distintas etapas de construcción del instrumento: • Consejo técnico: asesora a las autoridades educativas y al personal encargado del diseño,

análisis y seguimiento de la prueba impulsando acciones que permitan respaldar su transpa-renciayconfiabilidad;validasuestructuraysuscontenidos;proponemodificacionesparapotenciarlautilidaddelaprueba;evalúatécnicayacadémicamentelosinformesquesepro-ducenydefinelosusosapropiados.Además,colaboraenlaelaboracióndeloscuestionariosde contexto y aprueba el esquema de aplicación.

ENLA

CE M

S · 2

013

· 201

4

21

ENLA

CE M

S · 2

013

· 201

4

20

• Comité académico de delimitación del objeto de medida:eselresponsabledeladefi-nición de los contenidos por evaluar, los grupos de procesos cognitivos y niveles de com-plejidad que explora la prueba y determinan su estructura. A partir de ello, se elaboran las especificacionesquesonrevisadasporelcomité académico validador de especificaciones y del objeto de medida.

• Comité académico de elaboración de reactivos:estáconformadopordocentesdelnivelmedio superior y especialistas en los contenidos de la prueba que elaboran los reactivos con baseenlasespecificacionesdelaprueba.

• Comité académico de validación externa:garantizaquelosreactivoselaboradoscorres-pondanconloquesedeseaevaluar,seanaccesiblesparalosdiferentesgruposdealumnosque responden la prueba y representen de manera clara y precisa los elementos necesarios paraasegurarlavalidezdelaevaluación.

• Comité académico de puntos de corte: sus miembros son expertos en las áreas de eva-luación que revisan los parámetros de los reactivos, obtenidos después de la aplicación de laprueba,identificanlaspuntuacionesdecorteydefinenlosnivelesdedominioenquesecategorizaránlosresultadosdelossustentantes.

• Asesores externos: se cuenta con la participación de especialistas reconocidos en Latino-américa, Estados Unidos y Europa, que establecen estándares técnicos, evalúan distintos indicadores de los instrumentos y hacen recomendaciones para el mejoramiento de los procesosdediseño,elaboración,calificaciónyadministracióndelaspruebas.

La decisión de integrar tantos y tan diversos cuerpos colegiados deriva de la importancia quedaelCenevalalhechodecontarcondiferentespuntosdevistaqueavalenlavalidezycalidad del instrumento de evaluación.

ENLA

CE M

S · 2

013

· 201

4

21

ENLA

CE M

S · 2

013

· 201

4

20

El objetivo de ENLACE MS es determinar el nivel de dominio que los sustentantes poseen paraponerenpráctica,ensituacionesdelavidareal,diferentescompetenciasbásicasasociadas a los campos disciplinares de Comunicación (Comprensión Lectora) y Mate-

máticas. Estas competencias están determinadas en el MCCcomopartefundamentaldelperfildeegresodebachillerato.Suevaluaciónserealizaconelpropósitode:• generarinformacióndiagnósticaparacadaalumno,• proveerelementosquecontribuyanalamejoradelsistemaeducativoy• proporcionarinformaciónútilparaelplantel,losprofesoresylospadresdefamilia.

La prueba está dirigida al alumnado del último ciclo del nivel medio superior (cuatrimestre, semestre,año,etcétera)quecursalamodalidadescolarizadadelosdiferentestiposdebachi-llerato (general, tecnológico y bivalente), ya sean de sostenimiento público o privado, en la República Mexicana.

Por su diseño y tipo de aplicación, ENLACE MS no es una prueba apta para administrarse a alumnosconnecesidadesespecialesoqueusenunalenguadiferentedelespañol.

3.1 Especificaciones técnicas

La prueba ENLACE MS se aplica cada año de manera censal, en las escuelas de todos los es-tadosdelaRepúblicaMexicanaquemanifiestensuinterésdeparticipar.Esunaevaluacióndiagnósticaindividualqueconstade110reactivosdeopciónmúltiple,cuyoresultadoseutilizaúnicamenteconfinesderetroalimentación(examendebajoimpacto)yseñalaelniveldedo-minioquealcanzaelsustentanteenrelaciónadiversosindicadoresdecompetenciaasociadosa los dos campos disciplinares que evalúa la prueba. Porsuscaracterísticasdeaplicaciónycalificación,ENLACE MS es una prueba objetiva y

estandarizada,además,porsudiseño,laevaluaciónseclasificacomocriterial,yaqueotorgaundiagnósticogeneraldelniveldedominiodelosestudiantes,deacuerdoconuncriteriofijadopreviamente por especialistas.3

3. Características de la prueba

3 La estructura y ficha técnica de la prueba fueron aprobadas por el Consejo Técnico el día 3 de septiembre de 2010.

ENLA

CE M

S · 2

013

· 201

4

23

ENLA

CE M

S · 2

013

· 201

4

22

Enlatabla1sesintetizanlosrasgosdelinstrumentodeevaluacióndeacuerdoconlascategorías establecidas en los lineamientos internos para las pruebas generadas en el Ceneval.

Tabla 1 | Características técnicas de la prueba ENLACE MS

Tipo de examen Diagnóstico

Cobertura Nacional

Periodicidad Anual

Cobertura de la población Censal

Dominio explorado Competencias disciplinares básicas de Comunicación (Comprensión Lectora) y Matemáticas

Modelo de diseño Dominio restringido, muestra de indicadores

Sensibilidad a la instrucción Media/Baja

Evidencias Reactivos de opción múltiple

Taxonomía Grupos de procesos cognitivos divididos en niveles de complejidad

Versiones de examen 1

Tipo de aplicación Lápiz y papel

Control de la aplicación Medio - Alto

Referente de calificación Criterial

Impacto Bajo

Calificación Cuatro niveles cualitativos de desempeño

Reporte de resultados Individual

ENLA

CE M

S · 2

013

· 201

4

23

ENLA

CE M

S · 2

013

· 201

4

22

Encuantoaldiseño,elaboración,aplicaciónycalificación,lapruebaENLACE MS presenta otracaracterísticaespecíficaque,aunqueseexplicadetalladamenteenlosapartadoscorres-pondientes, vale la pena reiterar desde el inicio de este Manual Técnico. Debido a que, por cuestiones de transparencia, los reactivos de la versión operativa se hacen públicos después de seraplicados,cadaaño,ademásdelaaplicacióndelapruebaoperativa,serealizalaaplicacióna una muestra representativa de una versión pretest que se ensambla y distribuye de manera matricial, tiene la misma estructura que la versión operativa y presenta los reactivos que se utilizaránparalaevaluaciónnacionaldelsiguienteaño.

El pretest es de suma importancia en el diseño de recolección de datos de ENLACE MS, ya quepermiteigualarlaescaladecalificaciónañoconañoyasegurarlacomparabilidaddelosresultados. Utilizaruninstrumentoadicionalimpacta,comoseverámásadelante,enlacalendarización

delasactividades(muchasdeellasdebenrealizarseconañosdeanticipaciónalaaplicaciónoperativa), la elaboración y validación de reactivos, así como en el piloteo, además, involucra un ensamble especial para cada una de las pruebas y un proceso de equiparación adecuado a las necesidades del instrumento.

3.2 Alcances y limitaciones

Para describir los alcances de ENLACE MS,esimportanteenfatizarqueesunapruebaconcoberturadedominiorestringidoyreferidaacriterio,esdecir,laevaluaciónseenfocaaunconjunto limitado de conocimientos y habilidades (y no a la totalidad de los que se indican en el MCC)queungrupodeexpertosconsideraindicadoressuficientesyrepresentativosdelas competencias básicas de dos campos disciplinares que deben dominar los sustentantes al egresar de bachillerato. Por lo mismo, el instrumento no incluye todas las temáticas y tareas que los estudiantes del nivel medio superior pueden y deben dominar. Este aspecto debe ser consideradoparaemitirinterpretacionesválidasyplanificaraccionesdemejoraquenodejenfueraotroselementosdeinformaciónquepuedenydebenseridentificadosmedianteotrasestrategias particulares de medición.

Además, la prueba se diseñó para brindar un diagnóstico general e individual que permita al alumnoconocerdemaneracualitativasusfortalezasydebilidadesencadacampodisciplinar.Deestemodo,losprincipalesbeneficiariossonlosestudiantesquerecibenretroalimentaciónpersonalizaday,ensegundolugar,losprofesoresylasescuelas,quepuedenidentificaráreasdeoportunidadparamejorarlasplanificacionesyactividadesenelaula.Estasáreasdemejoracorresponden únicamente a dos de los cinco campos disciplinares del MCC, todos igualmente importantesparaatenderelperfildeegresodelbachillerato.

ENLA

CE M

S · 2

013

· 201

4

25

ENLA

CE M

S · 2

013

· 201

4

24

Como ya se ha dicho, el diseño y propósitos de la prueba ENLACE MS se limitan a la emi-sióndeundiagnósticogeneralparaelsustentante,porloqueesinadecuadoutilizarlacomoinstrumento único para derivar conclusiones acerca de la EMS, los subsistemas, las escuelas oeldesempeñodelasentidadesfederativas.Esimportantehacerhincapiéenlosalcancesylimitacionesdelaprueba,yaqueutilizarlosresultadosdelaevaluaciónparafinescontrariosocasionaríainterpretacionescarentesdevalidez.LapruebaENLACE MS no sirve para hacer comparacionesentrealumnos,entreescuelasoentresubsistemas;lasúnicascomparacionesútiles son las que puede hacer un mismo plantel o una misma entidad consigo misma, conside-randoquelosresultadosdelosalumnosevaluadosendiferentesañoscorrespondenadiferen-tesgeneracionesquefueronexpuestastambiénadistintascondicionesmateriales,educativasyvariadosfactoressociales.

Las decisiones que se tomen a partir de los resultados deben considerar cuidadosamente el contexto de la evaluación y las condiciones de cada escuela, por lo que no es válido sacar conclusiones sobre el mejor o peor subsistema, plantel o plantilla docente.

ENLA

CE M

S · 2

013

· 201

4

25

ENLA

CE M

S · 2

013

· 201

4

24

DeacuerdoconlaMetodologíaCenevalycomopartedelaprimerafaseparadesarrollarpruebaseficaces(Ceneval,2011),laadaptacióndelapruebaENLACE MS implicó que elConsejoTécnicorevisaraelperfilreferencial(PR)establecidoen2008paradefinir

los aspectos que se mantendrían y aquellos que, en congruencia con la RIEMS, orientarían las actividades de medición hacia el nivel de desarrollo de los sustentantes en relación con el MCC. Los miembros del Consejo (ver Anexo A) establecieron la importancia de dar continuidad al procesoevaluativoyalasespecificacionestécnicaspropiasdelperfiloriginal,peroinstituyeroncomopropósitoprioritarioobtenerinformaciónacercadeldesarrollodelosalumnosenrela-ción con los objetivos y competencias determinadas por la RIEMS.

Considerando la necesidad de conservar la evaluación censal y objetiva de modo que se con-tinuara contando con datos nacionales e individuales de diagnóstico, y tomando en cuenta la complejidad del constructo de competencia, se optó por la perspectiva de medición de indicadores. Estaexpresiónhacereferenciaalaidentificacióndeindicadoresdelogro,quesoncomporta-mientosmanifiestos,evidenciasrepresentativas,señales,pistas,rasgosoconjuntosderasgosobservables en la respuesta que da una persona a cierta tarea (Zabala y Arnau, 2007), y que permiten emitir un diagnóstico acerca del nivel de dominio que el sustentante posee de una o variascompetencias.Dichanociónfueimportantedurantelaadaptacióndelperfildelaprue-ba, ya que se asume que, mediante reactivos de opción múltiple, no puede medirse de manera directaunacompetencia,perosíesposibletenerinformaciónsobresusindicadores.

4.1 Delimitación del objeto de medición y referentes del examen

Paradelimitaroperacionalmenteunobjetodeevaluaciónsedebenseleccionarydefinirlasáreas,loscontenidosylataxonomíaenqueestaráorganizadoelexamen;estastareasfor-man parte del segundo proceso de construcción de pruebas en la Metodología Ceneval y seidentificanpuntualmenteconlafasededelimitaciónoadaptacióndelobjetodemedida(Ceneval, 2011).

Para delimitar el objeto de medición de la prueba ENLACE MS 2011-2014, se retomaron las definicionesdelasáreas,contenidosyprocesoscognitivoscorrespondientesalaprimeraeva-luación y se adaptaron según lo que marca la RIEMS. La concepción teórico-pedagógica más importantequedistinguióeltrabajodeadaptaciónseidentificódirectamenteconlaeducaciónpor competencias y la evaluación de sus indicadores.

De acuerdo con Rosado (2007), es posible observar el nivel de competencia de un indivi-duocuandorealizaunatareadeterminadaquedependedevariosrecursos:conocimientos,creencias, habilidades en diversos campos, actitudes, valores, etcétera. Por tanto, educar con unenfoqueencompetenciasimplicaactivareficazmentedistintosdominiosdelaprendizaje,

4. Adaptación y diseño de la prueba alineada a la RIEMS

ENLA

CE M

S · 2

013

· 201

4

27

ENLA

CE M

S · 2

013

· 201

4

26

ademásdeasumirqueexistenysealcanzandistintosnivelesdecomplejidadenconcordanciadirectaconlanaturalezadelcampodisciplinarylasnecesidadesexternas.

Lascompetenciasmovilizanrecursosconlosqueelsujetocuenta,peronosereducena ellos. Además, un mismo recurso puede ser aprovechado para ejercitar distintas com-petencias.Dehecho,estassearticulanparaconformarotrasdemayorcomplejidad,conlo cual una menor puede convertirse en recurso de otra superior (Rosado, 2007, p. 9).

Como se puede ver, el constructo de competencia es muy amplio y permite su evaluación considerandodiferentesnivelesdedesempeñoodedominio.Estopermitióquelosrespon-sables del proceso de adaptación de ENLACE MSestablecieranlafactibilidaddemantenersincambio 70% de los contenidos de la prueba que estaba centrada en la medición de habilidades, asícomolacalificacióndelossustentantesencuatronivelescualitativosdedesempeño.Dicharesponsabilidadrecayóenungrupodeespecialistasqueconformaronelcomitéacadémicodiseñador(unoporcampodisciplinar),elcualfueconvocadodespuésdehacerunasolicitudde apoyo a las direcciones escolares asociadas a los tres grandes subsistemas de EMS: bachille-rato tecnológico, bachillerato general y bachillerato bivalente. Todas ellas enviaron listados de personasrecomendadasporsuexperienciaenladocencia,lainvestigaciónylaplanificacióncurricular(específicamentelosencargadosdelaadaptacióndeprogramasalaReforma).Laseleccióndelosmiembrosdelcomitésehizoprocurandoquelosgruposrepresentaranadife-rentes planteles y subsistemas de la República (ver Anexo B, tabla B1).

Los expertos estudiaron las áreas, contenidos temáticos y procesos cognitivos de la prueba ENLACE MSanterior,losreferentestécnicosyoperativosdelaRIEMS4ydiferentesmarcosteóricosdepruebasestandarizadasnacionaleseinternacionales,entreellasPISA, TIMSS, SA-BER, ACREDITA-BACH, entre otras. Cada una de estas evaluaciones tiene objetivos distintos pero en todos los casos evalúan aspectos de comprensión lectora y matemáticas y además, en mayor o menor medida, incluyen reactivos de opción múltiple. Serealizótambiénunarevisióndelosplanesyprogramasdediferentesmodalidadesy

direcciones de EMS: DGB, CONALEP, CCH, Bachilleres y Bachilleratos Tecnológicos, con la finalidaddeidentificarloscontenidoscomunesatodaslasopcionesdeEMS y establecer el contextoqueapoyaríalaredefinicióndeestosydelosprocesoscognitivosporevaluar.Deacuerdo con Frade (2008), para delimitar los indicadores de una habilidad o una competencia es necesario ubicarlos en un plan de estudios dentro de los módulos o cursos que los integran, para que así se parta de un escenario o contenido que sea el marco contextual para valorar el desempeño del estudiante.

4 Los referentes técnicos y operativos de la RIEMS se pueden consultar en http://www.reforma-iems.sems.gob.mx/.

ENLA

CE M

S · 2

013

· 201

4

27

ENLA

CE M

S · 2

013

· 201

4

26

Conestemarcodereferencia,losespecialistassesionarondeunaadossemanasparaacordarydefinirloscontenidosespecíficosdecadacampo,suorganizaciónyelpesodecadaunoenla evaluación de acuerdo con una taxonomía diseñada especialmente para ENLACE MS. Dado que la prueba pretende ser un diagnóstico general del nivel de dominio de los sustentantes, se consideró únicamente una muestra representativa de todo el universo de conocimientos y habi-lidades que pudieran establecerse como indicadores de desempeño en cada campo disciplinar. ElperfildeegresoestablecidoenelMCC determina que los alumnos deben dominar en

total 12 competencias comunicativas básicas y 8 relacionadas con las matemáticas. En el caso de Comunicación, la selección de indicadores que se miden en la prueba se limitó a aquellas competencias asociadas con la Comprensión Lectora dado que es el único atributo relacionado con las competencias comunicativas que puede evaluarse con reactivos de opción múltiple. Por ello, se seleccionaron únicamente 7 de las 12 competencias que integran el MCC. En cuanto a Matemáticas,lascompetenciasseleccionadasdependierondequesusindicadoresfueranme-diblesmedianteestetipodereactivosysinelusodecalculadora;considerandoestoscriterios,se retomaron seis de las ocho competencias que establece el MCC.

La pertinencia y relevancia de los contenidos y taxonomía establecida para cumplir con los propósitos de ENLACE MSfueronrevisadasporespecialistasreunidosencomitésacadémicosde validación (ver Anexo B, tabla B2). A continuación se presenta la descripción detallada de las áreas, los contenidos temáticos y los grupos de procesos cognitivos (taxonomía) que con-formanelexamen.

4.1.1 Comunicación (Comprensión Lectora)

De acuerdo con la RIEMS, las disciplinas que engloba el campo de Comunicación son lectura yexpresiónoralyescrita,literatura,lenguaextranjeraeinformática.Lascompetenciasbásicasrespectivasserefierenalacapacidaddelosestudiantesparacomunicarseefectivamenteenespañol en diversos contextos y, por lo menos en lo esencial en una segunda lengua, haciendo uso de distintos medios e instrumentos. Los estudiantes que hayan desarrollado estas com-petenciaspodránleercríticamente,comunicaryargumentarideasdemaneraefectivayconclaridad,oralmenteyporescrito.Además,usaránlastecnologíasdelainformaciónylaco-municación de manera crítica para diversos propósitos comunicativos (véase. Acuerdo 444).6

5 Las competencias y los productos de su operacionalización se describen detalladamente en los apartados dedicados a cada campo disciplinar en este Manual.

6 Acuerdo Secretarial 444, disponible en http://dof.gob.mx/nota_detalle. php?codigo=5064951&fecha=21/10/2008.

ENLA

CE M

S · 2

013

· 201

4

29

ENLA

CE M

S · 2

013

· 201

4

28

ParaefectosdelapruebaENLACE MS alineada a la RIEMS, el comité académico diseñador determinó los aspectos del MCC que eran susceptibles de evaluar con una prueba diagnóstica, deaplicacióncensal,estandarizadayconreactivosdeopciónmúltiple.Desdeestaperspectiva,los indicadores de competencias relacionados con la argumentación, la habilidad de escritura ydeaprovechamientodetecnologíasdeinformaciónquedaronfueradeluniversodemedi-ción. Así, la prueba ENLACE MS alineada a la RIEMSseasemejaalaevaluaciónquesehizode 2008 a 2010 ya que se aboca a la medición de habilidades, además de otros indicadores de competencias relativas a la Comprensión Lectora, pero retomando las recomendaciones del MCCencuantoaorientarlaevaluaciónylasaccionesdocenteshaciaunareflexiónacercadelanaturalezadellenguajeyasuusocomoherramientadelpensamientológico.Acontinuaciónseenuncian las 7 competencias disciplinares básicas cuyos indicadores se retoman en la prueba:• Identifica,ordenaeinterpretalasideas,datosyconceptosexplícitoseimplícitosenuntexto,

considerando el contexto en que se generó y en el que se recibe.• Evalúauntextomediantelacomparacióndesucontenido,susconocimientospreviosy

nuevos.• Identificaelusonormativodelalengua,considerandolaintenciónylasituacióncomunicativa.• Analizaunargumentopreciso,coherenteycreativo.• Relacionaideasyconceptosencomposicionescoherentesycreativas,conintroducciones,

desarrollo y conclusiones claras.• Evalúalasecuenciaorelaciónlógicaenelprocesocomunicativo.• Identificaeinterpretalaideageneralyposibledesarrollodeunmensajeescrito,recurriendo

a conocimientos previos y al contexto cultural.

Con este punto de partida, se determinó que la evaluación de la Comprensión Lectora en la prueba ENLACE MSconceptualizalalecturacomounaherramientafundamentalentodaslasformasdecrecimientointelectual,nosoloenelámbitoacadémicocomobasedelaprendizaje,sino para actividades de tipo recreativo y para el desarrollo social.

Definición del área

La Comprensión Lectora en la prueba ENLACE MSsedefinecomo“lacapacidaddeunindi-viduoparacomprender,analizar,interpretar,reflexionar,evaluaryutilizartextosescritos,me-diantelaidentificacióndesuestructura,susfuncionesysuselementos,conelfindedesarrollaruna competencia comunicativa y construir nuevos conocimientos que le permitan intervenir activamente en la sociedad”.

ENLA

CE M

S · 2

013

· 201

4

29

ENLA

CE M

S · 2

013

· 201

4

28

Contenidos (subáreas)

El contenido por evaluar está asociado con el tipo de texto del que se desprenden los reactivos que miden la Comprensión Lectora. Los cuatro tipos de texto que contiene la prueba ENLACE MSseeligieronporconsiderarserepresentativosdelniveleducativo,yporquereflejanfuncionesimportantes de la lengua. Su descripción es la siguiente:• Apelativo.Esunacartaformaldirigidaaunaovariaspersonas,institucionesuorganiza-ciones,cuyaintenciónesinformar,llegaraunacuerdo,hacerunaaclaraciónolograrqueserealice una determinada acción.

• Argumentativo.Esunartículodeopiniónqueserefiereafenómenosohechosdelareali-dadsocialdelaregión,elpaísoelmundo,desdeunpuntodevistapersonalfundamentadoenargumentosquesiguenunprocesológicoderazonamiento,conelfindepromoverenel lector juicios de valor y actitudes.

• Expositivo.Esunartículodedivulgacióncientíficaquedescribeobjetivamenteunfe-nómeno, hecho o avance tecnológico, por medio de la presentación ordenada de datos, gráficos,ejemplos,conclusionesyopinionesespecializadas,entreotrosrecursos,conlaintencióndedifundirunconocimiento.

• Narrativo. Es un cuento breve o microrrelato, escrito en prosa, con lenguaje connotativo, pocospersonajesyquedescribediferentesaccionesenunambienteespacio-temporal,conla intención de entretener y deleitar al lector.

El comité académico diseñador elaboró listas de cotejo que señalan los requerimientos de formaycontenidoparacadatextoconelfindeasegurarquehayauniformidadentreellosenlas evaluaciones anuales y que los reactivos asociados permitan cumplir con la evaluación de losprocesosnecesarios,noseanofensivosparaalgúngruposocialymanejenunlenguajeclaro,sin regionalismos ni tecnicismos.

Procesos y niveles de complejidad

La prueba ENLACE MS concibe la lectura como una actividad multidimensional, por lo que al evaluar la Comprensión Lectora se espera que los estudiantes demuestren su capacidad para obtenerinformación,comprenderlostextosdemanerageneral,interpretarlosyreflexionarsobresucontenidoysuforma.Losprocesoscognitivosqueseevalúancorrespondenconlosprocedimientoscognitivosmínimosquelossustentantescondiferentesgradosdedesarrollodebenponerenprácticaparautilizardemaneraadecuadalostextos.

ENLA

CE M

S · 2

013

· 201

4

31

ENLA

CE M

S · 2

013

· 201

4

30

1. Extracción.Implicabuscar,identificaryseleccionarinformaciónexplícitadeunfragmentoo de la totalidad del texto.

2. Interpretación.Implicaidentificareltemacentraldeltexto,asícomoinformaciónimplí-citarelacionadaconeste;atribuirsignificadoysentidoapalabras,oraciones,conceptosoala totalidad del texto, de acuerdo con su propósito comunicativo y su contexto.

3. Reflexión y evaluación.Implicavalorarlainformaciónquecontieneuntexto,relacionarlaocontrastarlaconlosconocimientosprevios;además,suponeidentificarlacorrespon-denciaentreelcontenidoylaestructuradeltexto,yjuzgarsupertinenciaconelpropósitocomunicativoconquefueescrito.

Conelfindeprecisaraúnmáslamedición,sedesagregaronlosprocesosentresnivelesdecomplejidad,deacuerdoconlascaracterísticasytareasinvolucradasencadauno.Ladefinicióndelosnivelesdecomplejidadsirviócomoreferenteparaelaborarreactivosdistintosquere-presentaranlavariabilidadeneldesarrollodelacomprensiónlectora,porestarazónyconser-vandolasubdivisióndeprocesosdelprimerperfil,losgruposdeprocesosdeInterpretaciónyReflexiónyevaluación,sedesagregaronensímismosparaoptimizarlasactividadesposterioresdeconstrucciónycalificacióndelaprueba(vertabla2).

Tabla 2 | Definición de niveles de complejidad por grupo de proceso cognitivo Comunicación (Comprensión Lectora): ENLACE MS alineada a la RIEMS

Proceso cognitivo

Niveles Extracción Interpretación Reflexión y evaluación

Desarrollo de la comprensión

Desarrollo de la interpretación de la forma del contenido

1

Identificar y selec-cionar un elemento (hecho, fenómeno, acción, tópico, con-cepto, entre otros) que se encuentre en el texto de manera explícita. Será muy evidente para el lector y se puede encontrar en cualquier parte del texto.

Identificar el tema central de un párra-fo, el cual NO está explícito e implica una inferencia local. Distinguir el carác-ter de dos o más proposiciones en un mismo párrafo.

Identificar el significado de una palabra o frase corta basándose en el contexto.

Identificar la es-tructura formal del texto. Determinar si los recursos gráficos (cursivas, viñetas, subtítulos, etcétera) utilizados por el autor contribuyen a la organización del texto a nivel local.

Identificar de manera global el propósito o la postura del autor, los cuales NO están explícitos.

ENLA

CE M

S · 2

013

· 201

4

31

ENLA

CE M

S · 2

013

· 201

4

30

Tabla 2 | Definición de niveles de complejidad por grupo de proceso cognitivo Comunicación (Comprensión Lectora): ENLACE MS alineada a la RIEMS

Proceso cognitivo

Niveles Extracción Interpretación Reflexión y evaluación

Desarrollo de la comprensión

Desarrollo de la interpretación de la forma del contenido

2

Identificar y selec-cionar dos elemen-tos relacionados (hechos, fenó-menos, acciones, tópicos, conceptos, entre otros) que se encuentran a lo largo del texto de manera explícita y que carecen de marcadores.

Integrar diferentes partes de un texto para identificar la idea central. Reco-nocer una relación (problema-solución; causa-efecto; com-paración-contraste, premisa-conclusión, concepto-ejemplo, etcétera).

Inferir relaciones entre los párrafos (problema-solución; causa-efecto; com-paración-contraste, premisa-conclusión, etcétera) y distin-guir e identificar el sentido de las ana-logías, metáforas y otro tipo de figuras retóricas.

Identificar la co-rrespondencia de la estructura del texto con el contenido. Establecer el propó-sito de los recursos gráficos (cursivas, viñetas, subtítulos, etcétera) a nivel de dos o más párrafos.

Identificar los recursos discursivos (datos, ejemplos, citas, argumentos, hechos, gráficas, metáforas, compa-raciones, hipérbo-les o adjetivación, entre otros) que utiliza el autor para lograr su propósito y/o apoyar su punto de vista. Contrastar argumentos.

3

Identificar y selec-cionar tres o más elementos relacio-nados (hechos, fe-nómenos, acciones, tópicos, conceptos, entre otros) y distinguirlos, a partir de un criterio determinado, de otros elementos semejantes que se encuentran a lo largo del texto de manera explícita.

Seleccionar un re-sumen o hacer otro tipo de inferencias que impliquen coherencia global para demostrar una comprensión com-pleta y detallada de todo el texto.

Vincular la estructu-ra, funciones y/o elementos del texto para realizar infe-rencias globales.

Identificar la correspondencia de la estructura, el léxico y los recursos gráficos utilizados, con las intenciones comunicativas del texto, el destina-tario de este y su contexto.

Establecer una comparación entre el texto o un fragmento, y su relación con información exter-na. Identificar los contraargumentos que se incluyan en el texto.

4.1.2 Matemáticas

El MCC de la RIEMS establece como propósito del campo disciplinar de Matemáticas propiciar el desarrollo de la creatividad y el pensamiento lógico-crítico en el alumnado. Entre otras ca-pacidades, un estudiante que cuente con las competencias disciplinares de matemáticas podrá argumentaryestructurarmejorsusideasyrazonamientos.Elenfoquepedagógicoporcom-petencias reconoce que a la solución de cada tipo de problema matemático corresponden di-ferentesconocimientosyhabilidades,yeldesplieguedediferentesvaloresyactitudes.Porello,losestudiantesdebenrazonarmatemáticamente,ynosimplementeresponderciertostiposde

ENLA

CE M

S · 2

013

· 201

4

33

ENLA

CE M

S · 2

013

· 201

4

32

problemas mediante la repetición de procedimientos establecidos. Esto implica que puedan llevar las aplicaciones de esta disciplina más allá del salón de clases (véase Acuerdo 444).7

Estas prescripciones generales sirvieron al comité académico que adaptó la prueba ENLACE MSencuantoasudefiniciónoperacional,loscontenidosmatemáticosylosgruposdeprocesoscognitivos que se evalúan con los reactivos de la prueba. Además, se retomaron las siguientes 6 competencias disciplinares básicas del MCC (de un total de 8), por considerar que son sus-ceptiblesdemedirsemediantereactivosdeopciónmúltipleyencondicionesestandarizadas.• Interpretamodelosmatemáticosmediantelaaplicacióndeprocedimientosaritméticos,al-

gebraicos, geométricos y variacionales, para la comprensión y análisis de situaciones reales, hipotéticasoformales.

• Resuelveproblemasmatemáticos,aplicandodiferentesenfoques.• Interpretalosdatosobtenidosmedianteprocedimientosmatemáticosyloscontrastacon

modelos establecidos o situaciones reales.• Analizalasrelacionesentredosomásvariablesdeunprocesosocialonaturalparadeter-

minar o aproximar su comportamiento.• Cuantificayrepresentamatemáticamentelasmagnitudesdelespacioylaspropiedadesfísicas

de los objetos que lo rodean.• Leetablas,gráficas,mapas,diagramasytextosconsímbolosmatemáticosycientíficos.

LaestructuradelinstrumentoparaelcampodeMatemáticasseorganizódemanerasis-temática, por un lado, a través de los contenidos matemáticos que engloban los temas o ele-mentos conceptuales en los que un estudiante debe basarse para resolver un problema y, por el otro, con los procesos matemáticos en los que se agrupan las tareas cognitivas que el estudiante utilizapararesponderuncuestionamientoosolucionarunproblema.

Definición del área

El campo de Matemáticas en la prueba ENLACE MS mide “la capacidad de un individuo para identificar,interpretar,aplicar,sintetizaryevaluarmatemáticamentesuentorno,haciendousode su creatividad y de un pensamiento lógico y crítico que le permita solucionar problemas cuantitativos,condiferentesherramientasmatemáticas”.

7 Acuerdo Secretarial 444, disponible en http://dof.gob.mx/nota_detalle. php?codigo=5064951&fecha=21/10/2008.

ENLA

CE M

S · 2

013

· 201

4

33

ENLA

CE M

S · 2

013

· 201

4

32

Contenidos matemáticos

Paraafirmarqueunsustentanteposeeundesarrollosuficientedelascompetenciasdisciplinaresbásicas de Matemáticas, independientemente del área de que haya cursado como bachiller, debe conocerymanejarporlomenostrescontenidosmatemáticosgenerales:cantidad,espacioyformay cambios y relaciones. Su descripción es la siguiente:• Cantidad.Serefierealacapacidaddecuantificarparadescribirelentorno.Incluyeaquellos

conceptos involucrados en la comprensión y el orden de tamaños relativos, uso de números pararepresentarcantidadesyatributoscuantificablesdelosobjetosdelmundorealyrealizarcálculos.

• Espacio y forma.Serefierealacapacidaddereconocerpatrones,imágenes,ubicaciones,movimientosocualidadesespacialesdelosobjetos,asícomocodificarydecodificarinfor-mación de estos en contextos concretos (imágenes) y abstractos (descripciones).

• Cambios y relaciones.Serefiereareconocer,interpretar,aplicar,sintetizaryevaluardeformanumérica,algebraicaygráficalasrelacionesentredosomásvariables.Admitelaposi-bilidaddeinferirdatosapartirdelanálisisdesituacionesreales,experimentalesohipotéticas.

Procesos cognitivos

El dominio de los contenidos matemáticos se evalúa a través de tareas que implican el desplie-guedetresgruposdeprocesoscognitivos:reproducción,conexiónyreflexión.Lasdefinicionesde los procesos describen conocimientos, actividades y tareas cognitivas progresivamente más sofisticadasyrelacionadasconlaorganizaciónjerárquicaquesueletenerelaprendizajedelasmatemáticas (Reyes et al.,2012).Laprogresiónenlacomplejidaddelastareassereflejaconmayor claridad en las descripciones cualitativas de los cuatro posibles niveles de dominio en queseubicaalossustentantesdespuésdesucalificación.

Los grupos de procesos cognitivos que se evalúan en la prueba ENLACE MS son: 1. Reproducción. Incluye tareas que permiten determinar si el sustentante conoce y aplica la

técnica matemática. Implica esencialmente aplicar conocimientos y procedimientos matemá-ticosaproblemasdirectos,reconocerequivalencias,utilizarobjetosypropiedadesmatemáti-cas,asícomoextraerinformaciónderepresentacionesnuméricas,simbólicasygráficas.

2. Conexión. Incluye problemas que se presentan a partir del planteamiento de situaciones sencillas, académicas o de la vida cotidiana. Los problemas de este tipo plantean exigencias ensuinterpretaciónyrequierenqueelsustentantereconozcalatécnicamatemáticaquehayqueutilizar,conelfindesolucionarproblemasqueimpliquenequivalencias,usodepropie-dadesmatemáticasyempleoderepresentacionesnuméricas,simbólicasygráficas.

ENLA

CE M

S · 2

013

· 201

4

35

ENLA

CE M

S · 2

013

· 201

4

34

3. Reflexión. Incluye problemas que no son directos y se presentan a partir de situaciones complejasretomadasdelavidarealenlasqueseutilicemásdeunaformaderepresenta-cióndeinformación(textual,numérica,simbólicaográfica).Losproblemasdeestetipoplanteanexigenciasensuinterpretaciónyrequierenqueelsustentantereconozcalatécnicamatemáticaquehayqueutilizar,establezcarelaciones,combineeintegreinformaciónentredistintasformasderepresentaciónoentrediferentesaspectosdeunasituaciónyutilicemásdeunpasooproceso,conelfindesolucionarunproblema.

Al igual que en el caso de Comunicación (Comprensión Lectora), el comité diseñador de Matemáticasdesglosólosprocesoscognitivosentresnivelesdecomplejidad.Lasdefinicionesoperacionales se presentan en la tabla 3.

Tabla 3 | Definición de niveles de complejidad por grupo de proceso cognitivo Matemáticas: ENLACE MS alineada a la RIEMS

Proceso cognitivo

Niveles Reproducción Conexión Reflexión

1

Resolución de tareas directas que implican identificar conceptos ma-temáticos en el mismo contexto en que se aprenden cotidianamente, y se resuelven con un solo paso o cálculo matemático.

Resolución de problemas que se desprenden de situaciones cotidia-nas en donde la tarea se precisa de forma directa y se resuelve con un cálculo o tarea matemática, selec-ción y/o relación de modelos.

Resolución de problemas que requieren de una interpretación antes de reconocer la técnica matemática que hay que utilizar; además implican transitar y discri-minar entre diferentes formas de representación de las situaciones, y aplicar un proceso matemático.

2

Resolución de tareas directas que requieren realizar dos o tres cálcu-los o tareas matemáticas básicas y/o identificación de modelos.

Resolución de problemas que se desprenden de situaciones cotidia-nas en donde la tarea se precisa de forma directa. Los problemas se resuelven con dos o tres cálculos o tareas matemáticas diferentes, decodificación, recodificación, selección y/o relación de modelos.

Resolución de problemas que requieren de una interpretación antes de reconocer la técnica matemática que hay que utili-zar; además implican codificar y transitar entre diferentes formas de representación de situaciones cotidianas complejas y exigen la aplicación de dos o tres operacio-nes diferentes y/o dos procesos matemáticos.

3

Resolución de tareas directas que requieren realizar cuatro o más cálculos o tareas matemáticas básicas diferentes y/o aplicación de modelos establecidos.

Resolución de problemas que requieren identificar y aplicar las técnicas matemáticas necesarias. Los problemas se resuelven con cuatro o más cálculos o tareas matemáticas diferentes, procesos básicos y complejos, decodificación y/o recodificación de modelos y/o identificación de sus elementos faltantes.

Resolución de problemas en contextos que impliquen diferentes variables, que requieran recono-cer diferentes estructuras antes de aplicar la técnica matemática pertinente y/o transitar entre dife-rentes formas de representación de situaciones; además, requieren de cuatro o más operaciones diferen-tes, tres o más procesos matemáti-cos similares.

ENLA

CE M

S · 2

013

· 201

4

35

ENLA

CE M

S · 2

013

· 201

4

34

4.2 Estructura global de la prueba

ParatodaslaspruebasgeneradasenelCeneval,laestructuraserefierealadistribucióndelosre-activosporáreaysubáreaencongruenciaconladefinicióndelconstructopreviamenteestable-cida. Los productos de las tareas de delimitación de contenidos constituyen la base conceptual y operacional del examen y son el insumo para determinar su estructura. Esta debe corresponder con los propósitos de la prueba y las características de los sustentantes, de modo que se trace el camino para determinar de manera clara y precisa qué se quiere medir y por qué. Así, la cantidad ydificultaddelosreactivosdeENLACE MS se distribuyó considerando la relevancia de cada contenido para el diagnóstico del nivel de dominio en el desarrollo de las competencias básicas de cada campo disciplinar.

En total, la prueba consta de 110 reactivos, 50 que evalúan Comunicación (Comprensión Lectora) y 60 Matemáticas. Además, su distribución por subárea y proceso cognitivo responde también a un cuidadoso muestreo de contenidos por parte de los comités académicos que re-visaronlosdocumentosdelaReformaymapearonlaposibilidaddeevaluarsusindicadoresatravés de temas y procesos presentes en todos los planes y programas del bachillerato.Laestructurafuevalidadaporelcomitéacadémicocorrespondienteantesdesuaprobación

porpartedelConsejoTécnico.Elcriterioprincipalfueasegurarqueconellaseobtuvieraunamuestra representativa de lo que todo bachiller debe dominar en congruencia con el MCC y el perfildeegresodelaRIEMS. Para ello, los reactivos de la prueba cubren toda la gama de proce-sos cognitivos que se indican en la estructura, por lo que evalúan contenidos que exigen un de-sarrollobásico,intermedioyavanzadodelascompetenciasdisciplinaresbásicas.Losreportesderesultadosseconstruyentomandoencuentaesteabanicodedificultadenlastareascogniti-vasylosindicadoresasociados,conlaintencióndeofreceralalumnounadescripciónclaradesu nivel de dominio al egresar de la EMS. Además, estas descripciones pueden ser aprovechadas porlosdiferentesusuariosdelapruebaparaconocerfortalezasyáreasdeoportunidad.

En la tabla 4 se presenta la distribución de reactivos por procesos y contenidos temáticos queguiólassiguientesfasesdeconstruccióndelapruebaENLACE MS alineada a la RIEMS.

ENLA

CE M

S · 2

013

· 201

4

37

ENLA

CE M

S · 2

013

· 201

4

36

Tabla 4 | Estructura ENLACE MS alineada a la RIEMS

CampoDisciplinar Contenido

Número de reactivos por Procesos Total

Extracción Interpretación Reflexióny evaluación

Comunicación (Comprensión

Lectora)

Argumentativo 4 5 6 15

Narrativo 3 7 5 15

Expositivo 5 7 3 15

Apelativo 2 2 1 5

Reactivos por proceso 14 21 15 50

Matemáticas Reproducción Conexión Reflexión

Cantidad 6 7 7 20

Espacio y Forma 6 8 6 20

Cambios y relaciones 5 8 7 20

Reactivos por proceso 17 23 20 60

Total de reactivos en la prueba 110

ENLA

CE M

S · 2

013

· 201

4

37

ENLA

CE M

S · 2

013

· 201

4

36

5. Elaboración de reactivos 2013-2014

Para la elaboración de los reactivos de una prueba, la Metodología Ceneval contempla diversas actividades, la primera tiene que ver con el establecimiento de un plan general de elaboración de reactivos que permite renovar los bancos año con año o de acuerdo

con el esquema de aplicación de un instrumento. Posteriormente, se imparten talleres de ela-boracióndereactivosdelosdiferentescamposdisciplinares,paracapacitaralosespecialistasenloslineamientosdeformaycontenidodelapruebaENLACE MS. Antesdeseraceptadosparalaconformacióndelaprueba,losreactivoselaboradospasan

porfasesderevisióntécnica,validaciónyrevisióndeestiloacargodepersonalinternodelCeneval y de otros cuerpos colegiados. Todas estas actividades se llevan a cabo en el Banco de Reactivos para Asesores Externos (e-BRAE) desarrollado por el Ceneval.

5.1 Plan general de elaboración de reactivos

El plan anual de elaboración toma en cuenta que los requerimientos del proyecto hacen nece-sarialaoperaciónymantenimientodeunbancodereactivossuficienteparaconformar,anual-mente, varias versiones de la prueba operativa con reactivos de Comunicación (Comprensión Lectora) y Matemáticas. Lo anterior responde al diseño de recolección de datos y, como se mencionó anteriormente, implica que los procesos de elaboración se inicien con por lo menos dosañosdeanticipaciónalaaplicacióndefinitivadelaprueba.Adicionalmente,serequiereelaborarreactivosextraqueseutilizanparaestudiosexperi-

mentales. Algunos de estos estudios implican la construcción de reactivos que evalúan indi-cadores de competencias básicas de los campos disciplinares de Ciencias Sociales y Ciencias ExperimentalescomolosdefinelaRIEMS. Además, con esto se pretende tener listo el banco en caso de que las autoridades de la SEMS decidan incluir alguno de estos campos en alguna evaluación de alcance nacional.

Los requerimientos de ENLACE MS implican mantener activo durante todo el año el pro-cesodeelaboracióndereactivosparapilotearunacantidadsuficientedeítemsconbuenascaracterísticas técnicas y de contenido.

En la tabla 5 se presentan los productos de elaboración anual de 2013 y 2014 que sirvieron para complementar las pruebas operativas y pretest de ambos años que ya habían sido traba-jadasenañosanteriores.Sepuedeobservarqueen2014lacantidaddereactivosnecesariafuemucho menor debido al anuncio de las autoridades gubernamentales y del INEE al respecto de la sustitución de la prueba ENLACE MS para años posteriores.

ENLA

CE M

S · 2

013

· 201

4

39

ENLA

CE M

S · 2

013

· 201

4

38

Tabla 5 | Productos de la elaboración de reactivos ENLACE MS 2013-2014

Campo disciplinar Reactivos 2013 Reactivos 2014

Comunicación (Comprensión Lectora) 172 104

Matemáticas 159 116

Ciencias Sociales 147 47

Ciencias Experimentales 136 82

Total 614 349

5.2 Capacitación a colaboradores

Con el propósito de mantener la calidad de la prueba y contar con reactivos técnicamente adecuados, el Ceneval imparte talleres de capacitación basados en la metodología institucional y en los lineamientos para la elaboración de reactivos.

En 2013 se impartieron cuatro talleres de elaboración de reactivos tipo ENLACE MS a los queasistieron27docentesyespecialistasenlaenseñanzadelasasignaturasafinesaloscuatrocamposdisciplinaresbásicosqueevalúalaprueba.En2014,serealizaroncincotalleresconlamismacantidaddeparticipantes,conlafinalidaddedarmantenimientoalbancodereactivos.Elrequisitoprincipalfuequelosprofesorescontaranconexperienciaenelaulay,deser

posible,enlaimplementacióndelaReforma.Enestostallereslosespecialistasaprendenaelaborar reactivos de opción múltiple de acuerdo con los criterios técnicos y la metodología institucional.AdicionalmenteseinformaalosasistentesdelahistoriayobjetivosdelCentroy,sobre todo, de las particularidades de la prueba ENLACE MS;estoesimportanteparaquelosítems correspondan con el propósito, estructura y modelo taxonómico de la evaluación.Paramaximizarlavalidezdelasinterpretacionesquesederivandelosreactivos,Vidalet al.

(2000)enfatizanlaimportanciadeelaborarreactivosclaros,conunformatoqueincluyasiem-prelassiguientespartes:basedelreactivo,opcionesderespuestaconjustificación,respuestacorrecta,referenciaobibliografía,fechaynombredelautor.Ademásdefacilitarelcontroldelaproduccióndereactivos,contarconlasjustificacionesdelasrespuestascorrectaseincorrec-tas reduce el riesgo de presentar opciones triviales que no aporten mucho a la interpretación delosdatosfinales,ytambiénpromueveeldiálogoentreelaboradoresycapacitadores,yaquela retroalimentación se da de manera bidireccional, en cuanto a contenidos por parte de los redactores y en cuestiones técnicas por el lado de los revisores.

Los elaboradores de ENLACE MS también son capacitados para almacenar los reactivos en el e-BRAE, que cuenta con un sistema electrónico al que se puede acceder desde ubicaciones externasyagilizalosposterioresprocesosdeverificación.

ENLA

CE M

S · 2

013

· 201

4

39

ENLA

CE M

S · 2

013

· 201

4

38

5.3 Revisión cualitativa

Si bien el Ceneval y sus pruebas han adquirido buena reputación gracias a los procedimientos decalificaciónylosestándaresdecalidadinternacionalquecaracterizanlametodologíains-titucionalenlosaspectosestadísticos,asusevaluacionesyalosanálisisqueserealizan,losprocesosdetrabajoresaltanlaimportanciadelaverificaciónyelcuidadodelcontenidoenlosperfilesreferencialesylosítemsdelaspruebas.Todoslosreactivosqueseelaboranpasanportresfasesderevisióncualitativa,laprimeray

terceraacargodelpersonaldelCeneval,mientrasquelosprotagonistasdelafaseintermediason los integrantes de los comités académicos de validación externa. A continuación se describe cada una de ellas.

5.3.1 Revisión técnica

Elprimerfiltroeslarevisióntécnica,queconsisteenverificarquelosreactivoscorrespondanaunaespecificacióndelperfilreferencial,alprocesocognitivoporevaluaryaltipodetextoasociado o al contenido matemático, dependiendo del área correspondiente del reactivo. Ade-más,elpersonalespecializadodelCenevalsupervisaquesecumplaconaspectosdeformatoyotros lineamientos como los siguientes:1. Base del reactivo.Debeincluirlainformaciónnecesariaysuficienteparasercontestado,implicarunasolatareaocuestionamiento,cumplirconalgunodelosformatosestablecidos(jerarquización,completamiento,eleccióndeelementos,relacióndecolumnas)yserinde-pendientedelosdemásítems,esdecir,lainformacióncontenidaenunreactivonohadesugerir o requerir la solución de otro.

2. Opciones de respuesta. Debe tener solo una respuesta correcta y tres distractores. La res-puestacorrectadebeserincuestionableyresolverelplanteamientodemanerasatisfactoria:asimismo, los distractores han de ser plausibles y totalmente incorrectos. Para corroborar esto,serevisanconespecialcuidadolasjustificacionesoargumentacionesqueloselabora-dores indican para cada opción de respuesta.

En caso de que algún reactivo no cumpla con los criterios del Ceneval se proporciona retroalimentaciónalelaboradorparasumodificación,ysolohastaquesecumplenlascondi-cionesdecalidadencontenidoyforma,elreactivoesregistradocomoaceptadoylistoparalasiguientefasedeverificaciónenlaplataformaelectrónicadelCentro.ElmismoprocesosesiguepararevisarlostextosqueseutilizanenlapruebadeComprensiónLectoraoenlosestudios de Ciencias. Los textos deben cubrir diversos criterios en cuanto a la cantidad de

ENLA

CE M

S · 2

013

· 201

4

41

ENLA

CE M

S · 2

013

· 201

4

40

palabras,lascaracterísticasquelosidentificanylostemasalosquehacenreferencia,loscualesseindicanenunalistadeverificaciónquelosrevisorestécnicostienenencuentaparaaceptarosolicitarmodificaciones.

5.3.2 Validación con especialistas

Los reactivos que cumplen con los lineamientos técnicos son sometidos a un proceso de vali-daciónconelfindegarantizarquecorrespondanalcontenidodefinidoenelperfilreferencialyrepresenten, de manera clara y precisa, los indicadores de las competencias disciplinares básicas evaluadasenlaprueba,yaseanconocimientos,manejodeconceptos,definiciones,relaciones,procedimientos, etcétera.Losvalidadoressoncapacitadospararevisarlosreactivosenlamismaplataformaenque

son elaborados. Un requisito para que sean parte del proceso es que participen de algún modo enlosprocesosdeplanificacióncurricular,evaluaciónoenseñanzadelasasignaturasafinesa los campos disciplinares y las directrices establecidas en la RIEMS. De manera adicional, es importante que dominen los lineamientos técnicos del Ceneval.

Cada reactivo es revisado y validado por lo menos por tres especialistas en coordinación conunrepresentantedelCeneval.Losprimerosseencargandeleeryanalizarcadareactivodemanera individual, así como de discutir colectivamente su contenido, emitir un dictamen y, en su caso, hacer propuestas de mejora. El coordinador de mesa se ocupa de resolver preguntas acercadelperfilreferencial,delprocedimiento,realizarloscambiosnecesariosalosreactivosasolicituddelosespecialistaseimprimirlosinformesdelosítemsvalidadosyaceptados.

Los productos y reactivos aceptados sirven para el ensamble de pruebas piloto que se aplican en el año de su elaboración y para el ensamble de versiones operativas y pretest que se aplican en el siguiente año. En la tabla 6 se presenta el resultado de los procesos de validación de2012y2013cuyosproductosfueronutilizadosparaensamblarlosinstrumentosde2013y2014, respectivamente. Asimismo se incluyen los productos de las validaciones de 2014, que permitieron robustecer el banco de reactivos.

Tabla 6 | Reactivos validados 2012-2014 ENLACE MS alineada a la RIEMS

2012 2013 2014 Total

963 559 318 1,840

ENLA

CE M

S · 2

013

· 201

4

41

ENLA

CE M

S · 2

013

· 201

4

40

5.3.3 Revisión de estilo

Únicamentelosreactivosaceptadosenlavalidaciónlleganalatercerafasedeverificacióncua-litativa.LarevisióndeestiloestáacargodelaDirecciónGeneralAdjuntadeDifusión(DGAD) del Ceneval y consiste en asegurar que los reactivos y los cuadernillos de la prueba cumplan conloslineamientoseditorialesdelCentro.Paraelloseverificaelempleocorrectoyuniformedellenguaje,lapuntuación,laortografía,lasabreviaturasylapresentacióndetablasyotrosapoyosgráficos,asícomodelabibliografíaylascitastextuales.Lacorreccióndeestiloprofesionalycompetentedelosreactivosaumentalaprecisiónycla-

ridaddelaspreguntas,ademásdeprevenirdefectosdecontenido,loqueincrementalavalidezdelamismaevaluación.ElprocedimientodelCenevalparalaverificacióndeestiloimplicaunaretroalimentación constante entre los revisores técnicos y el personal de la DGAD, logrando unaaltacalidadenformaycontenido.

ENLA

CE M

S · 2

013

· 201

4

43

Después del proceso de validación, se lleva a cabo el ensamble de los cuadernillos para elestudiopilotooverificacióncuantitativadelosreactivos.LosreactivosdeENLACE MS se pilotean anualmente, en el mes de noviembre en muestras de alumnos del últi-

mo ciclo de bachillerato, de modo que los reactivos que se ensamblan en las versiones pretest y operativas se prueban con 1 o 2 años de anticipación.

Para los procesos de piloteo, desde el inicio del proyecto se estableció como requisito que cadareactivofuerarespondidoporalmenos200alumnos.LaseleccióndelosCentrosdeTrabajo (CT)ydelossujetosqueconformanlamuestrapilotoestáacargodelaDGEP-SEP, que también es responsable de la distribución y aplicación de los cuadernillos. Por motivos deaccesibilidadalosgruposdeestudiantes,losestudiospilotosehanrealizadoenelDistritoFederal y en el Estado de México, entidades que cuentan con planteles representativos de todas las modalidades y tipos de bachillerato.

En general, se procura que las condiciones de ensamble y aplicación piloto sean las mismas cada año, las variaciones corresponden a la cantidad de sustentantes que responden las pruebas y al número de reactivos totales que se requiere pilotear. En 2012 se pilotearon 660 reactivos (495 para las pruebas pretest y operativas, y el resto para una prueba experimental) con la par-ticipación de 6,882 alumnos, mientras que en 2013 se probaron 720 reactivos en una población de 9,377 estudiantes. En la tabla 7 se presenta el detalle por campo disciplinar y el promedio de observaciones por reactivo.

Los bloques de contenido y los cuadernillos se distribuyen de manera matricial, balanceando el orden de presentación de los campos disciplinares, con un total de entre 26 y 30 reactivos por sesión. La impresión de los materiales, la aplicación, la lectura óptica de hojas de respuesta ylaconformacióndelabasededatosdelpiloteoestánacargodelaDGEP-SEP.

6. Verificación cuantitativa

Tabla 7 | Número de reactivos piloto y promedio de participantes 2012 y 2013

Campo Disciplinar DatosAño del piloteo de los reactivos

Aplicación 2012 Aplicación 2013

Comunicación (Comprensión Lectora)

Número de reactivos piloteados 63 245

Promedio de alumnos que respondieron las formas 313 313

MatemáticasNúmero de reactivos piloteados 178 184

Promedio de alumnos que respondieron las formas 313 312

Ciencias Experimentales

Número de reactivos piloteados 161 136

Promedio de alumnos que respondieron las formas 313 312

Ciencias SocialesNúmero de reactivos piloteados 93 155

Promedio de alumnos que respondieron las formas 313 312

ENLA

CE M

S · 2

013

· 201

4

45

ENLA

CE M

S · 2

013

· 201

4

44

6.1 Calibración de reactivos

Para conocer la calidad estadística de los reactivos que integran el banco de ENLACE MS, estos seanalizanconbaseenelmodelodetresparámetrosdelateoríaderespuestaalítem(TRI) y, de manera complementaria, con la teoría clásica (TC).Deestaformasecuentaconinforma-ciónsuficienteparadeterminarlacalidadpsicométricadelosreactivosyseleccionarlosmásadecuados para integrar las pruebas.

Los análisis de los reactivos se ejecutan mediante el programa BILOG-MG3.0eIteman;conel primero se obtienen parámetros de TC, TRI y las curvas características de los reactivos, mien-trasqueconelsegundoseobtienendatosquepermitenanalizarlasopcionesderespuesta.

A continuación se describen en detalle los parámetros que se obtienen de los análisis esta-dísticosdelosreactivosconcadaunadelasteorías.Encuantoalosanálisisrealizadosconbaseen la TRI, se valora la calidad del reactivo mediante los siguientes indicadores:• Índice de discriminación (a).Indicalacualidadquetieneelreactivodediferenciaralos

sustentantes que dominan el conocimiento de aquellos que no. En el Ceneval se considera comovaloróptimouníndicea≥0.45.

• Índice de dificultad (b). Indica la posición del reactivo en la escala de habilidad. Cuanto másgrandeeselvalordedificultad,mayoreslahabilidadoaptitudrequeridaparaqueelexaminado tenga una probabilidad alta de resolver correctamente el reactivo. El rango en queseubicanlosvaloresconsideradosóptimoses-2.5≤b≤2.5.

• Índice de pseudoadivinación (c). Permite conocer la probabilidad de que cada reactivo seacontestadocorrectamentealazar.Loidealesqueelvalorseac≤.30.

Paracomplementarlainformación,seaprovechantambiénlossiguientesparámetrosquearrojan los análisis con teoría clásica:• Grado de dificultad (GD).Serefierealporcentajedepersonasquerespondencorrecta-

mente un reactivo de una prueba. Los valores que se consideran óptimos en este parámetro son20≤GD≤80.

• Correlación punto biserial (rpbis) o coeficiente de discriminación.Serefierealacapa-cidad que tiene el reactivo para distinguir a aquellos que dominan una tarea de los que no lo hacen, además permite relacionar la tendencia de respuesta de cada reactivo con respecto alaescaladelacualformanparte.Lacorrelaciónóptimaestáindicadaporunvalormayora 0.20 aunque, de ser necesario, la DGEP-SEPautorizaelensambledereactivosconvalorpositivoparadarestabilidadalaequiparaciónylacalificación.

Aunque la determinación de criterios estadísticos para la selección de reactivos de buena calidad es importante en el ensamble de las pruebas, estos criterios son meros indicadores, ya

ENLA

CE M

S · 2

013

· 201

4

45

ENLA

CE M

S · 2

013

· 201

4

44

que la selección de reactivos para el pretest y la prueba operativa considera, además, sus carac-terísticas cualitativas y la estructura del examen. Esimportantemencionarque,despuésderealizarlosanálisis,losparámetrosestadísticos

delosreactivosseactualizanenlaplataformaelectrónicadelCeneval.Loanteriorpermitehacer un diagnóstico de la cantidad de versiones que se pueden ensamblar con reactivos cuyas características psicométricas cumplen con la normativa establecida. Además, así se cuenta con uninventarioqueapoyalamodificacióndelosplanesdeelaboración,validaciónypiloteodeacuerdo con las necesidades del proyecto y el tiempo que se tiene para la creación y renovación de los bancos.Parahacerestediagnósticoyelrespectivoinventario,sehaceunaclasificacióndelosreacti-

vosdeacuerdoconcriteriosdedepuracióndebancosquecontemplanlacategorizacióndelosreactivosenóptimos,subóptimosydeficientes.Sololosreactivosdeficientesseeliminandelbanco, los óptimos quedan listos para integrar alguna versión y los subóptimos son considera-dos para procesos de revisión y mejora de los instrumentos.

En la tabla 8 se incluye un detalle del dictamen de los reactivos que se probaron en 2012 y 2013 para preparar el ensamble de las pruebas pretest y operativas de ENLACE MS 2013 y 2014.

Para atender estos y otros procesos de calidad y mantenimiento de los bancos de reactivos, los parámetros que se obtienen en las aplicaciones piloto y operativas se registran en la plata-formadeseguridaddesarrolladaporelCenevalmedianteunarchivoenExcel(delimitadoportabulaciones) con los siguientes datos: • Clavedelreactivo• ParámetrosTC• ParámetrosTRI• Modelodecalibración• Cantidaddesustentantes

ENLA

CE M

S · 2

013

· 201

4

47

ENLA

CE M

S · 2

013

· 201

4

46

Tabla 8 | Dictamen de reactivos de acuerdo con los parámetros estimados en el estudio piloto

Campo Disciplinar Dictamen

Año del piloteo de los reactivos

Aplicación 2012 Aplicación 2013

Comunicación (Comprensión Lectora)

Óptimo 8 66

Subóptimo 7 57

Deficiente 48 122

Total 63 245

Matemáticas

Óptimo 18 15

Subóptimo 32 33

Deficiente 128 136

Total 178 184

Ciencias Experimentales

Óptimo 11 8

Subóptimo 19 14

Deficiente 131 114

Total 161 136

Ciencias Sociales

Óptimo 6 26

Subóptimo 7 30

Deficiente 80 99

Total 93 155

ENLA

CE M

S · 2

013

· 201

4

47

ENLA

CE M

S · 2

013

· 201

4

46

Enestafaseseconformancuadernillosconlosreactivosaceptadosenprocesospreviosqueintegranlaversiónoperativaylasformasdelpretest.Lapruebaoperativaseensam-blaconreactivosprovenientesdelpretest,yesteasuvezseconformaconlosreactivos

piloto. Ambas versiones se ensamblan con los reactivos que resultaron mejores en los procesos deverificación.Demaneraperiódica,deacuerdoconlassolicitudesdelaSEMS, se ensamblan versiones de prueba extra que se presentan en los manuales para docentes o en materiales de difusión.Lavalidezdelasinterpretacioneshechasapartirdelosresultadosdepende,engranparte,

de que el ensamble se realice de manera adecuada (Downing y Haladyna, 2012). Esto tiene que ver con la disposición de los reactivos, la cual debe obedecer al diseño que se estableció desde el inicio para que la evaluación sea congruente con los contenidos y niveles taxonómicos. Otro aspecto que se toma en cuenta durante el ensamble son las condiciones de aplicación de la prueba: sesiones, duración y control, entre otras.Elensambleyladisposicióndelosreactivosdebenasegurarquelainformaciónquearroja

lapruebadependeúnicamentedelarespuestadelsustentanteynodeotrosfactores.Estocon-tribuyealavalidezdelaprueba,porloqueenelensamblesecontrolanlassiguientesvariables:• Launiformidadeneltamañoyorientacióndelosreactivosenelpapel,asegurandopor

ejemplo que las tablas o los textos no queden incompletos en una página y que las imágenes sean nítidas, entre otros detalles.

• Lacalidadenlapresentación,redacciónyformatodeloscuadernillos;todossesometenaunarevisióneditorialconlafinalidaddeasegurarsucalidadydespuésseenvíanalaCo-misión Nacional de Libros de Texto Gratuito (CONALITEG), instancia responsable de su impresión.

• Elequilibrioenlaposiciónolocalizacióndelasrespuestascorrectas,estodisminuyelaprobabilidaddeacertarporazaroporelsesgonaturalaelegirlasposicionesintermedias.

• Elordendepresentacióndelosreactivos,demodoquesefacilitelalecturayseminimicecualquier carga cognitiva derivada de este aspecto. Para el ensamble de ENLACE MS se alternan los bloques de reactivos por campo disciplinar.

• Lacantidaddereactivosquesepresentanencadasesión,criterioqueseverificóduranteelpiloteoparaasegurarqueeltiempoasignadoencadasesiónfuerasuficienteparaquelosalumnos respondieran todos los reactivos.

En el caso de la prueba operativa ENLACE MS alineada a la RIEMS, los 110 reactivos que integran la estructura se ensamblan en un cuadernillo dividido en cinco bloques: tres de Co-municación (Comprensión Lectora) y dos de Matemáticas, los cuales se presentan intercalados alosalumnos.Enlatabla9semuestraladistribucióndelosreactivosdelapruebaenfuncióndel número de reactivos y los contenidos.

7. Ensamble de versiones

ENLA

CE M

S · 2

013

· 201

4

49

ENLA

CE M

S · 2

013

· 201

4

48

Tabla 9 | Distribución de reactivos para el ensamble de la prueba operativa

Bloque Área Reactivos

1 Comunicación (Apelativo y Argumentativo) 20

2 Matemáticas (Cantidad y Espacio y Forma) 30

3 Comunicación (Narrativo) 15

4 Matemáticas (Cambios y Relaciones y Espacio y Forma) 30

5 Comunicación (Expositivo) 15

El pretest comparte esta estructura con la prueba operativa para los campos de Comu-nicación (Comprensión Lectora) y Matemáticas, pero de manera adicional incluye reactivos deCienciasSocialesyCienciasExperimentalesque,en2013y2014,permitieronrealizarunestudio exploratorio del desempeño de los alumnos en estos campos disciplinares. Elpretestdifieredelapruebaoperativaporqueutilizaparasuensambleundiseñomatri-

cialquedivideeltotaldereactivosquelocomponenencuadernillosoformas,loscualessonaplicados a una muestra representativa de la población. Esto implica que cada alumno contesta únicamenteunapartedelosreactivosqueloconforman,evitandoasíquelosresultadosseveanafectadosdebidoalafatiga.Enlafigura1seejemplificaeldiseñomatricialqueseutilizópara el ensamble del pretest en 2013, año en que se replicó el diseño de ensamble de 2011 y el de2012pararealizaruncomparativodedesempeñoenCienciasalolargodelastresaplica-ciones (v. Apartado 10.1).

ENLA

CE M

S · 2

013

· 201

4

49

ENLA

CE M

S · 2

013

· 201

4

48

Campo disciplinar2011 2012

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16

Comunicación(CL)

Matemáticas(MT)

Ciencias Sociales(CS)

Ciencias Experimentales

(CE)

CLCEMT

CECSMT

MTCSCE

MTCLCE

CLMT

CSMTCE

CSMTCE

CECL

CLCEMT

CECSMT

MTCSCE

MTCLCE

CLMT

CSMTCE

CSMTCE

CECL

Reactivos por forma 30 30 30 30 30 30 30 30 31 31 31 31 30 31 31 31

Figura 1 | Diseño matricial del pretest 2013.

ENLA

CE M

S · 2

013

· 201

4

51

ENLA

CE M

S · 2

013

· 201

4

50

Campo disciplinarNúmero de Forma

01 02 03 04 05 06 07 08

Comunicación (CL)

Matemáticas (MT)

Ciencias Sociales (CS)

Ciencias Experimentales (CE)

CLMTCE

CSCEMT

CSCEMT

CLCEMT

CLMT

MTCSCE

CSCEMT

CLCE

Cantidad de reactivos por forma 30 30 30 30 30 30 30 30

Figura 2 | Diseño de ensamble del pretest 2014. Se presenta el número de reactivos por forma y los campos disciplinares que se evalúan en cada una.

Paradarcontinuidadalestudiodeldesempeñoycumplirconlasfuncionesdelpretestcomoinstrumento de equiparación año con año, en 2014 se eligieron los mejores reactivos de Cien-cias del ensamble de 2013, y se incluyeron reactivos nuevos de Comunicación y Matemáticas para atender a la estructura completa de la prueba (110 reactivos de Comunicación y Matemá-ticas, y 110 de Ciencias Sociales y Ciencias Experimentales). Lo anterior implicó el ensamble de8formas,comosemuestraenlafigura2.

7.1 Especificaciones estadísticas de ensamble

El pretest y, por tanto, la prueba operativa se ensamblan con reactivos previamente piloteados y calibrados. En un primer momento, los datos del piloteo son los que permiten integrar los cuadernillosoformasdelpretesttratandoquetenganlamismacantidaddereactivosyqueseanlomássimilaresposiblesensuniveldedificultad.Estopermitecontrolar,desdeeldiseño,ladificultaddeloscuadernillosyexponeralosalumnosaunasituacióndeevaluaciónsimilarindependientementedelcuadernillooformaquecontestan.

ENLA

CE M

S · 2

013

· 201

4

51

ENLA

CE M

S · 2

013

· 201

4

50

Figura 3 | Funciones de información ENLACE MS Operativa 2013-2014, Comunicación (Comprensión lectora).

Por otra parte, la prueba operativa se integra por los reactivos del pretest, aplicados un año antes, de los cuales se obtienen los parámetros estadísticos con el modelo de tres parámetros de la TRI y, complementariamente, los de la teoría clásica. Los reactivos del pretest que no presen-tanparámetrosóptimossonrevisadosporlosespecialistasquienesdefinensilosreactivossedeben conservar o cambiar.

Además de que la selección de los reactivos es congruente con la estructura de la prueba y seapegaalcontenidoestablecidoenlasespecificaciones,paraabonaralacalidaddelensamblede la prueba operativa también se consideran las curvas características de los reactivos y la funcióndeinformacióndelosreactivosydelinstrumentocomountodo,detalformaqueseasegure contar con ítems que se distribuyen a lo largo de toda la escala de habilidad. Enlassiguientespáginaslasfiguras3y4muestranlasfuncionesdeinformaciónylascurvas

características correspondientes al campo disciplinar de Comunicación (Comprensión lectora) de las pruebas operativas de ENLACE MSen2013y2014,mientrasquelasfiguras5y6ilustranlasfuncionesycurvasdelcampodeMatemáticas.8

8 Para procesar las curvas y funciones se utilizaron los parámetros libres de los reactivos.

Funciones de Información 2013 y 2014 | Comunicación

ENLA

CE M

S · 2

013

· 201

4

53

ENLA

CE M

S · 2

013

· 201

4

52

Figura 4 | Curvas características ENLACE MS Operativa 2013-2014, Comunicación (Comprensión lectora).

Figura 5 | Funciones de información ENLACE MS Operativa 2013-2014, Matemáticas.

Curvas Características 2013 y 2014 | Comunicación

Funciones de Información 2013 y 2014 | Matemáticas

ENLA

CE M

S · 2

013

· 201

4

53

ENLA

CE M

S · 2

013

· 201

4

52

Figura 6 | Curvas características ENLACE MS Operativa 2013-2014, Matemáticas.

Curvas Características 2013 y 2014 | Matemáticas

ENLA

CE M

S · 2

013

· 201

4

55

En todos los años de aplicación de la prueba ENLACE MS, la versión operativa se ha aplicado a los estudiantes que cursan el último grado de la EMS en instituciones educati-vasquemanifiestansuinterésenparticipar,yaseandecarácterpúblico,federalyestatal,

quecuentenconreconocimientodevalidezoficialotorgadoporlaSEPoporlasentidadesfe-derativas, o en instituciones de carácter autónomo y escuelas particulares incorporadas. Todos los sustentantes contestan la prueba operativa en cinco sesiones de 50 minutos distribuidas en 2 días, únicamente una muestra representativa de la población responde un cuadernillo del pre-test o algún cuadernillo con reactivos ensamblados para investigación, en una sesión extra de la misma duración para la que se requiere un tercer día de aplicación. Adicionalmente, los alum-nosdelamuestradedicanotrasesiónpararesponderelcuestionariodecontexto(verfigura7).

8. Aplicación

SesiónDías de aplicación

1 2 3

1 Comunicación (Comprensión Lectora) Matemáticas Forma n

2 Matemáticas Comunicación (Comprensión Lectora) Cuestionario de contexto

3 Comunicación (Comprensión Lectora)

Corresponde a las áreas evaluadas con la prueba Operativa

Corresponde a una de las formas o cuadernillos que integran el Pretest o la prueba para investigación

Figura 7 | Ejemplo de administración de la prueba ENLACE MS por sesión y días de aplicación.

Paracontrolarelefectoquepudiesegenerarelordendelapresentacióndelaspruebasseutilizalatécnicadecontrabalanceo.Lafigura8muestratresopcionesdeaplicación;enlapri-mera, la prueba operativa se administra en los dos primeros días, el tercer día se aplica una de lasformasdelapruebapretestyelcuestionariodecontexto;enlasegundaopciónlaaplicacióndelapruebaoperativaserealizalosdíasunoytres,yenlaterceraopción,losdosúltimosdías.

ENLA

CE M

S · 2

013

· 201

4

57

ENLA

CE M

S · 2

013

· 201

4

56

Opcionesde aplicación

Días de aplicación

1 2 3

1 Operativa ENLACE MS

Operativa ENLACE MS

Forma n y Cuestionario de contexto

2 Operativa ENLACE MS

Forma n y Cuestionario de contexto

Operativa ENLACE MS

3 Forma n y Cuestionario de contexto

Operativa ENLACE MS

Operativa ENLACE MS

Nota | Forma n: Es una de las formas que integran el Pretest o la prueba de investigación

Figura 8 | Aplicación de las pruebas ENLACE MS utilizando la técnica de contrabalanceo.

La aplicación de las pruebas ENLACE MS está a cargo de la DGEP-SEP y cuenta con el apoyo delostitularesdelasáreasestatalesdeevaluacióndecadaentidadfederativa.Además,partici-pan los representantes estatales de la SEMSylostitularesdelasOficinasdeServiciosFederalesde Apoyo a la Educación en las entidades supervisando la logística de la aplicación. Existen a suvezcoordinadoresregionalesyresponsablesparacadaplantelquedebenasegurarquelaspruebas se apliquen de acuerdo con la normativa. Adicionalmente, en la evaluación participan padresdefamiliainvitadospreviamenteporlosdirectoresdelosplanteles,asícomoobserva-doresexternosquenotificancualquierincidencia.

En la tabla 10 se señala el número de sustentantes y escuelas que participaron en las aplica-ciones de 2013 y 2014.

Tabla 10 | Participantes aplicación ENLACE MS 2013 y 20149

2013 2014

Sustentantes 1’012,952 1´135,422

Escuelas 13,835 14,125

9 Los datos para cada entidad federativa se encuentran disponibles en http://enlace.sep.gob.mx/ms/.

ENLA

CE M

S · 2

013

· 201

4

57

ENLA

CE M

S · 2

013

· 201

4

56

Laaplicaciónestáorganizadadetalformaqueaseguralaparticipacióndelosalumnos,sinafectarlasactividadesnormalesdelaescuela.Lapruebasoloseaplicaalosestudiantesdelúltimo grado, por lo que no se suspenden clases ni actividades escolares para el resto de los estudiantes.Debidoalascondicionescensalesdeaplicaciónyalcarácterestandarizadodelaprueba,nosecontemplalaparticipacióndesustentantesconcapacidadesdiferentes.

8.1 Diseño muestral

EldiseñomuestralqueseutilizaenlaaplicacióndeENLACE MS permite contar con los datos de un subconjunto representativo de la población que se somete a la prueba operativa, el cuestionario de contexto y, mediante un esquema matricial, al pretest. Las condiciones de seguridad y la logística son responsabilidad de evaluadores con experiencia que trabajan para la DGEP-SEP. Losdatosdelamuestraseutilizan,porunlado,pararealizarlosestudiosrelacionadoscon

variables de contexto y, por otro, para los análisis estadísticos necesarios en la equiparación delaspruebasdeunañoaotro,definirlospuntosdecorteyllevaracabodiversasinvestiga-ciones de interés para la SEMS. En 2013 la muestra a la que se aplicó la prueba operativa y el cuestionariodecontextoestuvoconformadapor304,053alumnosinscritosen2,070escuelasseleccionadas.Porsuparte,lamuestradelpretestseconformócon199,881alumnos.En2014,lamuestraestuvoconformadapor223,536estudiantesqueseencontrabancur-

sando la EMSen1,932escuelas;estosalumnosrespondieronalapruebaoperativayalcuestio-nario de contexto, mientras que 71,757 de estos respondieron la prueba pretest.

Para el diseño muestral y las posteriores interpretaciones de los resultados, es importante considerar los niveles de desagregación en los que se trabajan los resultados de ENLACE MS. En la tabla 11 se pueden observar dichos niveles, mientras que en el Anexo C se puede consultar a detalleelprocedimientoutilizado.

ENLA

CE M

S · 2

013

· 201

4

59

ENLA

CE M

S · 2

013

· 201

4

58

Tabla 11 | Niveles de desagregación de la muestra

Nivel de desagregación Tipo de resultado

1 Nacional

2

Nacional por tipo de bachillerato• General• Técnico• Tecnológico

Nacional por tipo de sostenimiento• Público• Privado

Nacional por nivel de urbanidad• Rural • Urbano

8.2 Diseño de equiparación

Desde sus orígenes, la prueba ENLACE MS tiene contemplado el uso del método de equipara-ciónhorizontalparacolocarenlasmismaescalalaspruebasañoconaño.Estemétodoimplicarealizarprocedimientosempíricosparaestablecerunarelaciónestadísticaentrelospuntajesdedosversionesdeunaprueba.Dicharelaciónpuedeutilizarseparaexpresarlospuntajesdeunapruebaentérminosdelospuntajesdeotra,paragarantizarquesecalificaconbaseenlamisma escala.

La equiparación requiere de un diseño de recolección de datos y de una regla para trans-formarlospuntajesdeunaversiónalospuntajesdeotra.Enrelaciónconelprimeraspecto,lousualenlosexámenesestandarizadosesquecadaaplicaciónoperativaincluyareactivosanclaquepermitanmantenerlasescalasmediantelosprocesosdeequiparaciónycalificaciónde los instrumentos (Downing y Haladyna, 2012). Como se ha venido señalando, en el caso de la prueba ENLACE MS no es posible incluir reactivos ancla en las versiones operativas pues-to que, por cuestiones de transparencia, la SEP solicita que cada año se hagan públicos. Para lograr que las escalas de cada año sean equiparables, se recurre a un diseño de recolección de datos que consiste en aplicar dos pruebas en el mismo periodo: la prueba operativa y el pretest. Ambaspruebassiguenlasmismascondicionesdediseñoyconstrucción;esdecirque,ademásde regirse por la Metodología del Ceneval, que implica apegarse a las normas y estándares ins-titucionales,utilizanlamismaestructurayespecificacionesparalaelaboracióndereactivos.Loanteriorbuscagarantizarquelosreactivosmidanlomismo.

ENLA

CE M

S · 2

013

· 201

4

59

ENLA

CE M

S · 2

013

· 201

4

58

Debido a que en un año los alumnos que contestan las pruebas operativa y pretest son los mismos, es posible situar los parámetros de los reactivos de ambas pruebas en la misma métri-caycomolosreactivosqueintegranelpretestconformanlaoperativadelañosiguiente,ambaspruebas comparten reactivos que constituyen los insumos para colocar en una escala común lospuntajesdelosalumnosquecontestanlaspruebasenlosdiferentesaños.

El diseño que permite equiparar las pruebas operativas de uno y otro año mediante la apli-cacióndelpretestsepuedevergráficamenteenlafigura9.

EQUIPARACIÓN HORIZONTAL

Aplicación 2011 Aplicación 2012 Aplicación 2013 Aplicación 2014

2011Operativa

ENLACE MS

Pretest

2012Operativa

ENLACE MS

Pretest

2013Operativa

ENLACE MS

Pretest

2014Operativa

ENLACE MS

Pretest

› › ›› › ›

2012 › 2013 › 2014 ›› › ›

Censal Muestra Censal Muestra Censal Muestra Censal Muestra

Figura 9 | Esquema de aplicación para la equiparación de la prueba ENLACE MS (hasta 2014).

Se puede apreciar que en un mismo periodo de aplicación se administra la prueba operativa junto con el pretest. Cada integrante de la muestra contesta la prueba operativa y una de las formasdelpretest.Lasflechasquesalendeloscuadernillosindicanquelosreactivosquelosconformanseutilizanparaintegrarlapruebaoperativadelsiguienteaño.

ENLA

CE M

S · 2

013

· 201

4

61

Tabla 13 | Rangos de habilidad (θ) utilizados en Matemáticas

Nivel de dominio Puntos de corte (habilidad)

Insuficiente Menores o iguales que -0.053000

Elemental -0.052999 – 1.176000

Bueno 1.176001 – 2.018000

Excelente Mayores o iguales que 2.018001

9. Calificación

Laetapadecalificaciónpermitegenerarinformaciónparalossustentantesencuantoasuniveldedominioenlascompetenciasdisciplinaresbásicas.Antesderealizarlacalifica-ción,en2013serealizóunsegundoestudiodefactibilidaddemantenimientodepuntos

decorteparadarseguimientoalasaccionesrealizadasen2011paraestudiarelefectodelaadaptacióndelperfilreferencialdelapruebaenlaescaladecalificación(verAnexoD). Apartirdelosresultados,yconsiderandoqueen2014serealizólaúltimaaplicacióndela

prueba ENLACE MS,lasautoridadeseducativasjuzgaronpertinentemantenerelmismoalgo-ritmoylamismaescaladecalificación.

9.1 Algoritmo de calificación 2008-2014

Para asegurar la comparabilidad de los resultados año con año, de 2008 a 2014 se conservaron losrangosdehabilidadquesemuestranenlastablas12y13paralacalificacióndelosalumnosy asignación en los niveles de dominio.

Tabla 12 | Rangos de habilidad (θ) utilizados en Comunicación (Comprensión Lectora)

Nivel de dominio Puntos de corte (habilidad)

Insuficiente Menores o iguales que -0.916000

Elemental -0.915999 – 0.096000

Bueno 0.096001 – 1.455000

Excelente Mayores o iguales que 1.455001

ENLA

CE M

S · 2

013

· 201

4

63

ENLA

CE M

S · 2

013

· 201

4

62

9.2 Procedimiento de equiparación

Para asegurar la comparabilidad entre las versiones de un año y otro, se aprovecha el diseño de equiparacióndescritoyseutilizanlosdatosdelapruebaoperativadelañoanterior,losdelpre-testylosdelapruebaoperativadelañoquesedeseaequiparar.Laequiparaciónserealizaparacada una de las áreas que evalúa la prueba, es decir, se equipara el área de Comunicación (Com-prensiónLectora)yluego,deformaseparada,sehacelaequiparacióndeláreadeMatemáticas.Previoalprocedimientodeequiparación,sedepuranlasbasesdedatosyserealizalaca-

libraciónlibredelosreactivos.Seestimanlosparámetrosdelosreactivosafindeidentificaraquellosconcaracterísticaspsicométricasinadecuadas;además,serevisanuevamenteelcon-tenido, sobre todo el de los reactivos que presentan correlación punto biserial menor que 0.20.Losreactivosquepresentanproblemassedejanfueradelprocesodeequiparaciónydecalificación.

Es importante señalar que existen reactivos del pretest que, debido a sus características psi-cométricas,sufrenmodificaciones,porlocualsondiferentesalosqueseincluyenenlapruebaoperativa.Estosreactivosquecambianentreunaaplicaciónyotraseidentificanparadejarloslibres en el proceso de equiparación.Unavezidentificadoslosreactivosqueseutilizaránenelproceso,sellevanacabolassi-

guientesdosfasesparacolocarlosreactivosdeunañoyotroenlamismaescala.1. Se calibran, en conjunto, los reactivos de la prueba operativa del año anterior y los del pretest.Enestafasesetrabajacondosversionesdistintasdelapruebacontestadasporlosmismos alumnos.

2. Sefijanlosparámetrosdelosreactivosdelpretestpreviamentecalculados.Losreactivosque permanecen iguales entre el pretest y la prueba operativa conservan los mismos pa-rámetros, mientras que los parámetros de los reactivos que se dejan libres son estimados debidoaquesemodificaronotuvieronuncomportamientoestadísticodiferenteentrelaaplicacióndelpretestydelapruebaoperativa.Deestaformatodoslosreactivossecolocanen la misma métrica.

LacalibracióndelosreactivosylaequiparaciónserealizaconelprogramaBILOG-MG 3.0.Laescalautilizadaseestablecióconunamediayunadesviacióntípicade0y1,respecti-vamente.Elprocedimientodescritoserealizacadaañoydeestamanerasegarantizaquelasdiferentesversionesdelaspruebasseencuentrenenlamismaescala.Unavezrealizadoelprocesodeequiparación,seprocedeacalificaralosalumnosyubicar-

los en el nivel de dominio que le corresponda, además de procesar los resultados nacionales para cada una de las áreas.

ENLA

CE M

S · 2

013

· 201

4

63

ENLA

CE M

S · 2

013

· 201

4

62

9.3 Emisión de resultados

En la tabla 14 se presentan los datos nacionales de las aplicaciones 2013 y 2014 para el campo disciplinar de Comunicación (Comprensión Lectora) y el de Matemáticas. Cada área de eva-luaciónsecalificadeformaindependientey,paraquelosresultadosdelalumnosetomenencuenta en la descriptiva nacional, debe haber contestado más del 50% de los reactivos de cada campo disciplinar. Esto implica que un alumno puede ser tomado en cuenta en los resultados nacionales de Comunicación, pero no de Matemáticas, y viceversa.

Tabla 14 | Resultados nacionales ENLACE MS 2013 y 2014

Nivel de dominio

Comunicación Matemáticas

N 2013 % de alumnos N 2014 % de

alumnos N 2013 % de alumnos N 2014 % de

alumnos

Insuficiente 162,840 16.4 191,553 19.1 284,006 28.3 270,690 26.6

Elemental 334,582 33.6 364,472 36.3 355,224 35.4 346,628 34.1

Bueno 437,118 43.9 402,755 40.1 202,394 20.2 202,968 20.0

Excelente 60,342 6.1 45,967 4.6 161,104 16.1 197.066 19.4

Total 994,882 100 1’004,747 100 1’002,728 100 1’017,352 100

Estosdatossepuedenconsultarenlapáginaelectrónicaoficialdelaprueba(http://enlace.sep.gob.mx/ms/) que presenta ligas a los resultados por alumno, por escuela, por entidad y nacional.Cadaestudiante,mediantesunúmerodefolio,puedeaccederasureporteindividualen línea, en el que también puede conocer el porcentaje de alumnos que se ubicaron en cada nivel de dominio por plantel, entidad y nacional. Los datos y porcentajes que se presentan en los reportes individuales incluyen los resultados de la población que asiste a escuelas del mis-mo tipo de sostenimiento (público o privado), que corresponda a la modalidad de bachillerato (general, tecnológico, técnico), grado de marginación (muy alto, alto, medio, bajo, muy bajo) y que haya respondido más del 50% de los reactivos del campo disciplinar.

La intención de presentar en conjunto únicamente los porcentajes que se obtuvieron en planteles con las mismas características es evitar que se hagan comparaciones que resultarían inválidasdadaslasdiferenciasdelosbachilleratosencuantoarecursos,propósito,etcétera;porlomismo,seincluyeunbrevepárrafoqueexplicaelpropósitodelapruebaencadaunodelosreportes.Lainformaciónsecompletaconladescripcióndelosnivelesdedesempeñoyla ubicación del alumno en los campos disciplinares evaluados. La posibilidad de conocer no

ENLA

CE M

S · 2

013

· 201

4

65

ENLA

CE M

S · 2

013

· 201

4

64

sololadefinicióndelnivelenqueseestáubicado,sinolasdelosinferioresysuperioreseslaherramienta más importante que brinda ENLACE MS para que el sustentante haga uso de sus resultadosparaautodirigirsusprocesosdeaprendizaje,unavezquereconocesusfortalezasy debilidades. Además, se pueden consultar todos los reactivos con las respuestas que el estu-dianteeligióycompararlasconlaopcióncorrecta;cadapreguntaincluyeunenunciadoquedescribeloqueescapazdehacerelsustentantequerespondeadecuadamentealreactivo.

En caso de que se requiera consultar el resultado de una escuela en particular, la liga elec-trónica correspondiente pedirá que se ingrese la Clave del Centro de Trabajo (CCT) y que se indiqueelturnoparaelquesequiereconsultarlosdatos.Lainformaciónquesedespliegaincluye la ubicación, los datos generales de la escuela (tipo de sostenimiento, modalidad, grado de marginación) y el número de sustentantes evaluados del último grado escolar en relación con los programados para aplicar el examen.

La posibilidad de revisar los resultados por escuela representa una ganancia para estas y para los docentes, porque cada pregunta se acompaña del porcentaje de estudiantes que la contestó correctamenteysemencionalafortalezaodebilidadquelosdatosevidencian.Deestemodo,se pueden conocer los contenidos y procesos que provocan más errores en el alumnado y me-jorar la práctica educativa. De manera adicional, existe la posibilidad de solicitar a la DGEP la impresión de carteles dirigidos a la comunidad educativa de los planteles participantes.Cualquierconsultaalosdatosdebehacerseconsiderandoelpropósitoparaelquefuedi-

señadalaprueba:brindarundiagnósticoindividualdefortalezasydebilidadeseneldesarrollode competencias disciplinares básicas en dos campos: Comunicación (Comprensión lectora) y Matemáticas. Además, ENLACE MSesunapruebadirigidaalalumnado;porlomismo,nopuedeutilizarseparaevaluarelsistemaeducativo,lossubsistemas,lasescuelasolosdocentes.Por todo esto, los resultados solo deben ser usados para conocer el nivel de dominio de los sustentantes y planear estrategias de estudio, secuencias didácticas o campañas particulares que sean consecuentes con las necesidades que se detecten a través de los reactivos de la prueba. Estas consideraciones se reiteran en la página electrónica y las autoridades de la SEMS se en-carganderecordarlasalpúblicoengeneralenlasconferenciasyeventosdeprensa.ElpersonaldelCenevaltambiénhaceénfasisenlosalcancesylimitacionesdelapruebaentodoslosco-mitésqueseorganizanduranteeldesarrolloymantenimientodelinstrumento,pidiendoalosparticipantesquesocialicenlainformaciónparaevitarmalosusosdelosdatosygarantizarlavalidezdelasinterpretacionesdelaevaluación.

A continuación se transcriben las descripciones para los niveles de dominio que redactaron los especialistas y que se presentaron en los reportes de resultados de los sustentantes de la prueba ENLACE MS 2011 a 2014. Aproximadamente en la misma proporción que la estruc-tura de la prueba, la descripción de los niveles conserva 70% de los contenidos y enunciados que se manejaban en los años anteriores (2008 a 2010).

ENLA

CE M

S · 2

013

· 201

4

65

ENLA

CE M

S · 2

013

· 201

4

64

9.3.1 Niveles de dominio Comunicación (Comprensión Lectora)

• Insuficiente.Ubicaselementosinformativoscomodatos,hechos,citas,términos,expli-caciones y acciones que se presentan de manera explícita en textos argumentativos, expo-sitivos y apelativos. Haces uso del contexto inmediato en que se presenta una palabra para identificarsusignificado.Relacionaspárrafosdeuncuentoodeunacartaformalparareconocer el vínculo entre el contenido y la intención comunicativa del autor.

• Elemental.Localizas,relacionasycomprendeselementosdeinformaciónqueaparecenalolargodedistintostiposdetexto.Identificaseltemacentraldeunoovariospárrafos.Reconoceselementosdiscursivos(hechosyopiniones)yestructurales(nudoydiferentesacciones)ysupropósitocomunicativo.Relacionasinformaciónexplícitadeltextoconco-nocimientos previos para elaborar conclusiones simples.

• Bueno.Identificasenunciadosquesintetizanapartadosdeuntexto.Seleccionasydistin-gueselementosdeinformaciónexplícitosalolargodeunartículodedivulgacióncientífica,conbaseenuncriterioespecífico(causa-efecto,comparación-contraste,concepto-ejemplo,problema-solución).Interpretaselsignificadodeunafiguraretórica.Vinculasinformaciónque aparece en distintas partes del texto para reconocer el tema o asunto central. Recono-ceslafunciónderecursosdiscursivos(opiniones,explicacionesqueapoyanargumentosydescripciones)yelementosestructuralesparainferircuestionesimplícitas,comolaposturadel autor, un contraargumento, el responsable de solucionar el problema planteado en una carta, entre otros.

• Excelente.Establecesrelacionesentreelementosdeinformaciónpresentadosdedistintamaneraalolargodeltexto(imágenes,tablas,glosario).Identificaselsentidodeenunciadosconnotativosyretomaselementosimplícitosdeunanarraciónparainferirposiblesmotivosyaccionesdelospersonajes.Reconoceslafrasequesintetizaeltexto.Relacionaselcon-tenidoconinformaciónexternapararealizarinferencias,establecerhipótesiseidentificarpremisas, conclusiones o soluciones. Evalúas la pertinencia de recursos como citas y tablas, ademásdelaestructuraenqueseorganizauntextoparalograrsupropósitocomunicativo.

9.3.2 Niveles de dominio Matemáticas

• Insuficiente.Erescapazderesolverproblemassimplesdondelatareasepresentadirecta-mente.Efectúasoperacionesbásicasconnúmerosenteros.Ejecutasoperacionesaritméticasconsignosdeagrupación.Encuentrasequivalenciasentrefraccionessimples.Resuelvesproblemasquerequierenlaidentificacióndefigurasplanasytridimensionales,asícomolaspartesquelasconforman.Localizaspuntosenunplanoy/odeterminassuscoordenadas.

ENLA

CE M

S · 2

013

· 201

4

67

ENLA

CE M

S · 2

013

· 201

4

66

Encuentrasrelacionesgráficasoalgebraicassencillasentredosvariablesyrealizascálculoscon base en ello.

• Elemental.Resuelvesproblemasrelativosaporcentajes.Realizasoperacionesbásicasconfracciones.Sabesutilizarfórmulasyconvertirunidades.Ordenasseriesdenúmeros.Descri-bes el comportamiento de sucesiones numéricas y la relación entre ellas. Enuncias en lenguaje común una expresión algebraica y viceversa. Resuelves problemas geométricos bidimensio-nalesytridimensionalessimplesqueinvolucrandistintoselementosdeunafigura.Construyesfigurastridimensionalesapartirdeotras.Resuelvessistemasdeecuacioneslineales.

• Bueno.Identificaslacombinacióndeoperacionesyprocedimientosnecesariosparare-solverunproblema.Traducesunarelaciónlinealquesepresentademaneragráfica,aunaexpresión algebraica y viceversa. Determinas la solución de problemas que involucran uni-dadesfísicas.Realizascálculoscomplicadosconrazonesyproporciones.Aplicaselcon-cepto de mínimo común múltiplo o máximo común divisor para resolver situaciones de la vidareal.Calculasáreasyperímetrosdecomposicionesgeométricassimples.Identificaslagráficaylaexpresiónderelacionescuadráticasconunaodosvariables.Realizasinferenciasacerca de una variable si conoces el valor de otra con la que guarda relación directa o indi-recta. Resuelves ecuaciones cuadráticas con una incógnita que solucionan problemas reales.

• Excelente.Realizasdiferentesprocedimientosmatemáticosylosintegraspararesolverproblemasdelavidareal,talescomoconversiones,ecuaciones,análisisdegráficasytablas,entreotros.Efectúasconversionesyestimacionespararesolverproblemasreales.Identi-ficaslagráficadeunarectaapartirdecondicionesdadas.UtilizaselteoremadePitágo-ras para solucionar problemas geométricos. Resuelves problemas de mayor complejidad queimplicanelmanejodefiguras,tantoplanascomotridimensionales,ylaspropiedadesgeométricasdefigurasincompletas.Puedesrealizarcálculosapartirdedosfuncioneslinea-les o cuadráticas que se muestran de manera independiente y mediante distintas represen-taciones(numéricas,textuales,gráficas,entreotras).

9.4 Segundo estudio de factibilidad de mantenimiento de puntos de corte

En 2011, los resultados de un primer estudio para investigar la posibilidad de mantener los puntosdecorteylaescaladecalificaciónindicaronqueerafactibleconservarelesquemaorigi-nal para emitir los resultados nacionales de la prueba alineada a la RIEMS (ver Manual Técnico 2011-2012).Decualquiermanera,alsiguienteañoseplanificóunestudiodeseguimientoqueimplicó la aplicación, en 2013, de una prueba extra denominada Extendida.

La prueba Extendida tuvo como objetivo comparar el rendimiento de un mismo grupo de alumnos al contestar la estructura original de la prueba y la estructura alineada a la RIEMS. Así,

ENLA

CE M

S · 2

013

· 201

4

67

ENLA

CE M

S · 2

013

· 201

4

66

la prueba Extendida se integró con los 90 reactivos de Matemáticas de la prueba operativa del 2009 (antes de la reestructuración de la RIEMS) y se aplicó a una muestra de alumnos repre-sentativa en el ámbito nacional que también contestó los 60 reactivos de la prueba operativa de 2013 (alineada a la RIEMS). Encontrasteconloshallazgosdelestudiode2011,lacomparacióndelosresultadosdecada

sustentantemostródiferenciassignificativascuandoseobtuvosucalificaciónconsiderandolosreactivos de las estructuras de prueba antes y después de la RIEMS.Porestarazónseplanteóla necesidad de extender los estudios hacia la aplicación de 2014 para conocer las causas del fenómenoycomplementarlainformacióncondatosdelcampodisciplinardeComunicación(ComprensiónLectora).Másadelante,yunavezqueseconocióquelaúltimaaplicacióndeENLACE MSsellevaríaacaboeneseaño,sedeterminómantenerlaescaladecalificaciónsincambios para asegurar los comparativos históricos de 2008 a 2014. EnelAnexoDsedescribedeformadetalladaelmétodoutilizadoparaelsegundoestudio

de mantenimiento de puntos de corte, los resultados y las conclusiones.

9.5 Complementos

9.5.1 Cuestionario de contexto

Seempleanparacontarconinformaciónrelacionadaconvariablesdecontexto,tambiénlla-madas de contraste, que permitan explicar los resultados y derivar estudios sobre la prueba. Algunas de estas variables son el subsistema educativo, el nivel socioeconómico, la motivación, el compromiso académico, las actividades extraescolares, la situación laboral, los recursos cog-nitivos y no cognitivos, la trayectoria académica, las características de las escuelas de proceden-ciayelcontextofamiliar.

Para ello, en el mismo periodo de la aplicación operativa, el Ceneval distribuye tres cuestio-narios de contexto: uno que se aplica a una muestra de alumnos con representatividad nacio-nal;otroparaunamuestrademaestrosquetienenasucargolasasignaturasrelacionadasconMatemáticas y otro más que responden en línea los directores de los planteles que participan enlaaplicación.Laspreguntasdirigidasalosdirectoresrecabaninformaciónacercadelascaracterísticas de la escuela, mientras que el cuestionario dirigido a los docentes se centra en variablesasociadasalafuncióneducativa.

Los cuestionarios de los alumnos se aplican en una sesión de 50 minutos, mientras que los docentesydirectivosnotienenuntiempolímite.Losdatosseutilizanparaderivarestudiosacerca de las variables que impactan el desempeño académico de los participantes.

ENLA

CE M

S · 2

013

· 201

4

69

ENLA

CE M

S · 2

013

· 201

4

68

9.5.2 Manual para docentes y directivos

Conelobjetivodequelacomunidadeducativayelpúblicoengeneralconozcanlospropósitos,característicastécnicasylaformaenqueENLACE MS puede aprovecharse en el ámbito aca-démico,enlaplanificacióndepolíticaspúblicasodecampañassociales,elCenevalpublicóanualmente un Manual para docentes y directivos en la página electrónica de la prueba. En los do-cumentos se hace hincapié en los alcances y limitaciones de ENLACE MS y se presentan suge-renciasencuantoalasactividadesqueenelplanteloenelaulapuedenorganizarlosdocentespara mejorar las habilidades de los sustentantes.

Asimismo, en los manuales se explican los procesos que se siguieron para la construcción delinstrumentoysepromuevelareflexiónacercadeltipodereactivosqueseusanparalaevaluación, sus alcances y su traducción en niveles de desempeño. Los resultados de la prueba puedenalcanzarverdaderatrascendenciasisonutilizadosporlosdirectivosyprofesoresparaidentificarlasnecesidadesdeaprendizajedelalumnado,asícomolasáreasdeoportunidadparamejorarlaformaenqueseenseñanloscontenidosquesehanidentificadocomolosmásdifícilesenelniveleducativo.Algomuyimportanteenelenfoquedelosmanualeseslainsistenciaenevitarlascompa-

raciones entre alumnos, entre escuelas, y sobre todo en evitar los ejercicios de preparación exclusivamente para la prueba. En aras de convencer a los lectores acerca de la inconveniencia deello,enlosdiversosapartadossereiteraquelapruebarealizalamedicióndeunamuestrarepresentativa de los contenidos a través de los cuales se pueden evaluar indicadores de com-petencias disciplinares básicas (únicamente aquellos que pueden ser evaluados con reactivos deopciónmúltiple),peroquedeningunamaneraincluyentodoslostemasqueformanpartedel MCC. Porelperfilreferencialdelapruebaylasrazonesexpuestasanteriormente,ENLACE MS

no distribuye guías para el sustentante, ya que se busca desterrar las prácticas de preparación paralosprocesosevaluativosquedejandeladolaformaciónconstanteylasactividadesdeau-toaprendizajeparalaresolucióndeproblemas,congruentesconelenfoqueporcompetencias.

ENLA

CE M

S · 2

013

· 201

4

69

ENLA

CE M

S · 2

013

· 201

4

68

Una de las intenciones del Ceneval es aprovechar los documentos técnicos y las propuestas de investigación que se generan mediante la metodología institucional, para presentar alpúblicootrosestudiosquesepuedenrealizarconlosdatosobtenidosmediantelos

instrumentosdeevaluación.En2013y2014serealizarondiferentesestudiosconlaspruebasdeENLACE MS que se reportan a continuación.

10.1 Análisis exploratorio de Ciencias 2013 y 2014

En el trabajo de adaptación y diseño de la estructura de la prueba ENLACE MS alineada a la RIEMS,nosolosetrabajaronlosperfilesreferencialesdeloscamposdisciplinaresdeComu-nicaciónyMatemáticas;losespecialistastambiéndiseñaronyvalidaronlosperfilesnecesariospara evaluar las competencias básicas que el MCC determina para las Ciencias Sociales y las Ciencias Experimentales. Losprocesosdeconstruccióndelbancoydeverificacióncualitativaycuantitativa,sirvieron

para que, desde 2011, se aplicaran reactivos de los campos de Ciencias al interior del pretest. En 2013 y 2014 se consideró importante aprovechar los datos de estas aplicaciones para rea-lizarunestudioexploratorioycompararlamedianacionaldedesempeñodelosalumnosenCiencias Sociales y Ciencias Experimentales durante las aplicaciones de ENLACE MS desde queseajustóelperfilalascompetenciasdelaRIEMS.

Para hacer posible el comparativo de desempeño, en 2013 se diseñó una estrategia de en-samble que permitió administrar, durante la aplicación Operativa de la prueba ENLACE MS, los reactivos del Pretest 2011 y 2012 en un mismo período de aplicación de manera matricial. Seutilizaron16formasocuadernillos,ochodeellas(01ala08)integradasporlosreacti-

vos de Ciencias Experimentales y Ciencias Sociales aplicados en 2011, y las otras ocho (09 a la16),porlosde2012.Además,paracompletarelensambledelas16formasyconservarlascondiciones de años anteriores, se intercalaron bloques de reactivos nuevos de las áreas de Comunicación(ComprensiónLectora)yMatemáticas,quefueronutilizadosparaconformarla prueba Operativa de 2014.Dichaestrategiadeensamblesemodificóen2014,añoenelquesoloseutilizaron8formas

pararealizarelestudio.Estasformasconteníanlosmejoresreactivosdelaaplicaciónanterior,considerando la estructura completa de la prueba ENLACE MS (110 reactivos de Comunica-ción y Matemáticas, y 110 de los campos de Ciencias).

El comparativo del desempeño de los alumnos en cada uno de los años se obtuvo a partir de la media de habilidad global (es decir, por generación). La habilidad de los alumnos se esti-mó con base en el modelo de tres parámetros de la teoría de respuesta al ítem (TRI).

10. Estudios adicionales

ENLA

CE M

S · 2

013

· 201

4

71

ENLA

CE M

S · 2

013

· 201

4

70

Para el estudio de 2013, el procedimiento de análisis requirió, en primer lugar, depurar las bases de datos y calibrar de manera libre los reactivos de las pruebas aplicadas cada año. La calibración se llevó cabo mediante el programa BILOG-MG3.0ypermitióidentificarlosre-activosqueposeencaracterísticaspsicométricasinadecuadas,loscualessedejaronfueradelaestimación de la habilidad. ParacolocarenlamismaescalalosreactivosdeCienciasde2011,2012y2013,serealizóla

estimación de los parámetros de los reactivos del Pretest aplicado en 2013, los cuales sirvieron paraestablecerlaescaladereferencia.Unañodespués,losparámetrosqueseestimaronen2013sefijaronenlosreactivosigualesaplicadosen2011,2012y2014,conelfindeestimarlahabilidaddelossustentantesenlosdiferentesañosdeaplicaciónyparacadacampodisciplinarde Ciencias.Unavezquesecontóconlosresultadosdelahabilidad,seobtuvolamediaporañodema-

nera global y se comparó el desempeño de los sustentantes a través de las aplicaciones. La tabla 15 permite observar, en los datos de Ciencias Sociales, que el desempeño de los

alumnosmostróunligeroaumentoenlamediadehabilidadalolargodelosaños;sinembar-go,esteaumentoesmínimoyenalgunoscasosalcanzaapenas0.0004logits.

En el caso de Ciencias Experimentales, el ligero incremento de habilidad volvió a los niveles iniciales en 2014.

Tabla 15 | Estadísticos descriptivos estudio de Ciencias 2011-2014

Año de aplicación

Ciencias Sociales Ciencias Experimentales

n Media Desviación estándar n Media Desviación

estándar

2011 68,297 -0.009264 0.768107 119,518 -0.013553 0.648543

2012 73,422 -0.001012 0.759379 128,446 -0.013185 0.665945

2013 99,569 0.001092 0.774264 174,101 0.000401 0.657212

2014 31,873 0.007051 0.786974 55,824 -0.012890 0.716093

Paracomplementarestoshallazgos,elinformedelestudioexploratorioincluyeunanálisiscualitativo de los indicadores de competencia que resultan de menor o mayor complejidad para los sustentantes. De este modo se cuenta con una descripción de las tareas que se pueden y debenreforzarenlosplanesyprogramasdeestudioparaapoyareldesarrollodeunacompe-tenciacientíficaintegralporpartedelosalumnos.

ENLA

CE M

S · 2

013

· 201

4

71

ENLA

CE M

S · 2

013

· 201

4

70

Si bien el estudio permitió suponer que ha existido una mejora en el desempeño de los sus-tentantesenloscamposdeCiencias,tambiénsepudoobservarqueestamejorafuemínima.En consecuencia la SEMSsedioalatareadeplanificaractividadesymaterialesdeapoyoparaincidireneldesarrollodelascompetenciascientíficasapartirdelcicloescolar2015-2016.Esimportanteconsiderarque,porlascondicionesenqueserealizólaaplicacióndelasprue-

basylosreactivosdeCiencias,losresultadosdeestosestudiosfueronútilesúnicamentepararealizarinferenciasconfiablesyválidasanivelnacional.Losdatosnopuedenserutilizadosparaestablecer comparaciones por tipo de bachillerato, sostenimiento, grado de urbanidad o por cualquierotrotipodedesagregación,ynosonsuficientesparaafirmarquelamejoraeneldes-empeño de Ciencias pudiera ser considerable al interior de uno u otro plantel.

10.2 Estudios de ganancia educativa 2010-2013 y 2011-2014

Losestudiosdegananciaeducativapermitenobtenerinformaciónrespectodelaaportaciónrealquelaescuelaoungradoescolarsignificaparaelniveldeconocimientoohabilidaddelosestudiantes.Estainformaciónsepuedecalcularapartirdelasdiferenciasentremedicionesdedesempeño obtenidas al ingreso y al egreso de un curso escolar o nivel educativo. De acuerdo con Gaviria (2008), la ganancia educativa de los alumnos se puede valorar a través de expresio-nes empíricas de la distancia que existe entre el nivel actual de conocimientos y un nivel previo.

Las técnicas para medir la ganancia educativa implican el uso de métodos como el escala-mientoolaequiparaciónverticalqueseutilizanparavincularpuntuacionesdepruebasqueevalúanelmismoconstructo,difierenenelniveldedificultadyestándestinadosadistintogradooañoescolar.Deestaformalospuntajesdelaspruebassepuedencolocarenunamismaes-cala para hacer válidas las comparaciones entre ellas.

Gaviria y Castro (2010) señalan que los modelos de ganancia educativa tienen las siguientes características comunes:• Utilizancomovariablesdependienteslasrespuestasdelosestudiantesendiferentespruebas.• Sonmodeloscuantitativosqueincluyendosomásmedidasderendimiento.• Larelaciónlinealdelcrecimientodependedelnúmerodemediciones.• Suelentratarseestadísticamenteatravésdemodelosmixtosdecrecimiento.• Pretendentenerefectossobrelaactuaciónescolar.

Losmismosautoresconsideranque,pararealizarinferenciasválidasapartirdeunescalamien-to o equiparación vertical, se debe asegurar la adecuación de las escalas entre las medidas de ren-dimiento.Lavalidezdelasconclusionesqueseobtengandependetambiéndeladistanciaentrelosnivelesogradosqueseevalúen,esdecir,amayordistancia,menorvalidezenlasinferencias.

ENLA

CE M

S · 2

013

· 201

4

73

ENLA

CE M

S · 2

013

· 201

4

72

PararealizarlosestudiosdegananciaeducativadentrodelproyectoENLACE MS, y par-tiendo del supuesto de que las pruebas ENLACEdelosdiferentesgradosescolaresmidenconstructos semejantes, se optó por tomar como medida de ingreso los resultados de la prueba ENLACE 3º de Secundaria, y para la medida de egreso, los correspondientes a ENLACE MS. Esteprocesoseapoyóconeldiseñoyaplicacióndediferentespruebasanclaque,desde2008,se han distribuido de manera matricial a muestras representativas de estudiantes de 3º de Se-cundariaydelúltimociclodebachillerato(verfigura10),conelobjetodeprobarelmejordiseño de ensamble y el mejor método de equiparación.

Figura 10 | Diseño de recolección de datos de las pruebas ENLACE 3° de Secundaria y media superior.

Aplicación a alumnos de Bachillerato

Aplicación a alumnos de Secundaria

Prueba ENLACE 3° de Secundaria

(Aplicación censal)

Prueba ancla

(Aplicación matricial a muestra controlada

Prueba ENLACE Fin de la EMS

(Aplicación censal)

En2013,despuésdeprobarlaeficaciadelensambledelapruebaydeidentificarelmétododetransformaciónlinealmedia-sigma como el más adecuado para equiparar las pruebas de EN-LACE,serealizóelprimerestudioformalparaconocerlagananciaeducativaquerepresentócursar la EMS para los alumnos de la generación 2010-2013.Debidoalosbuenosresultadosyalarobustezdelametodología,en2014serealizóunse-

gundo estudio de ganancia educativa con los datos de los alumnos de la generación 2011-2014.

ENLA

CE M

S · 2

013

· 201

4

73

ENLA

CE M

S · 2

013

· 201

4

72

10.2.1 Participantes

Para el primer estudio, se trabajó con la cohorte de alumnos de los centros de EMS de la RepublicaMexicanaqueiniciósuscursosdebachilleratoenel2010ylosfinalizóen2013,específicamenteaquellosquecontestaronlaspruebasENLACEen3ºdeSecundariayafinesdel bachillerato. La cantidad de participantes cuyos resultados en las dos pruebas pudieron ser rastreadoseidentificadosfuede633,142paraeláreadeComprensiónLectorayde638,256para Matemáticas.Enelsegundoestudio,lapoblaciónobjetofuelacohortedealumnosqueiniciósuscursos

debachilleratoenel2011ylosfinalizóen2014.Lacantidaddealumnoscontempladospararealizarelestudiodegananciaeducativadelageneración2011-2014fuede670,906paraeláreade Comprensión Lectora y de 679,055 para Matemáticas.10

10.2.2 Materiales

El estudio de ganancia educativa consideró las respuestas de los alumnos que aplicaron las pruebas operativas de ENLACE 3° de Secundaria, ENLACE MS y la prueba Delta (ancla).

La prueba operativa de 3° de Secundaria está integrada por 176 reactivos: 64 de Español, 62 de Matemáticas y 50 reactivos que corresponden a alguna asignatura cuya evaluación se va rotando cada año (Historia, Ciencias Naturales, Formación Cívica). Los resultados de los alumnos para las dos primeras áreas se consideraron como la medida de ingreso, mientras que sus resultados en ENLACE MS se toman como medida de egreso.LapruebaqueseutilizócomoanclafueaplicadaalfinaldelosciclosescolaresdeSecun-

daria y bachillerato de ambas generaciones participantes, y se integró por entre 139 y 135 reactivos.Ladiferenciaenlacantidaddereactivosenlasdiferentesaplicacionesobedecealamodificaciónyeliminacióndealgunosquenodiscriminabanadecuadamentealosalumnosde Secundaria y de bachillerato, o bien, que presentaron problemas en sus parámetros o su contenido.LaevaluacióndeláreadeHabilidadLectoraseconformópor47reactivos,mientrasque

la prueba de Matemáticas en 2010 se integró por 92 reactivos y en 2011, 2013 y 2014, por 88 reactivos. La estructura con la que se trabaja para el estudio de ganancia educativa toma en cuenta únicamente los reactivos que se mantienen iguales entre los años de aplicación, dicha estructura se presenta en la tabla 16.

10 La diferencia entre estas cantidades se debe a que algunos alumnos respondieron menos del 50% de alguna de las áreas y, en esos casos, no se consideraron sus resultados.

ENLA

CE M

S · 2

013

· 201

4

75

ENLA

CE M

S · 2

013

· 201

4

74

10.2.3 Procedimiento

En congruencia con las necesidades y características del proyecto ENLACE MS, el análisis de reactivos,lacalificaciónyelprocedimientodeequiparacióndelaspruebassetrabajanconbaseen la TRI. La estimación de los parámetros y de la habilidad de los alumnos se llevó a cabo mediante el programa BILOG-MG 3.0.

Para igualar las puntuaciones entre las pruebas ENLACE 3° de Secundaria y ENLACE MS se utilizóelmétododetransformaciónlinealmedia-sigma que implica ajustar la escala cambiando lamediayladesviaciónestándardelaspuntuacionesperoconservandolamismaformaensudistribución (Hambleton et al., 1991). Lastareasdeigualaciónoequiparacióndelaspuntuacionesseenfocaron,enprimerlugar,

endeterminarlasconstantesdetransformaciónlinealy,ensegundo,encolocarlaspuntua-cionesdelosalumnosenlamismaescala.Latransformaciónlinealdelaspuntuacionesdelaspruebas operativas de ENLACE 3° de Secundaria y de ENLACE MS se resume en siete pasos. Losprimeroscincoserefierenalaestimacióndeparámetrosyalaobtencióndelasconstantesdetransformación,loscualesserealizaronconlosdatosdelamuestra.Losdospasossiguien-tescorrespondenconlatransformaciónlinealdelaspuntuaciones,porloquesetrabajóconlos resultados de los mismos alumnos en los dos momentos de evaluación.1. EstimacióndelosparámetrosdelosreactivosdelapruebaDelta2010o2011fijandolosparámetrosutilizadosparalacalificacióndelapruebaoperativaENLACE 3° de Secundaria 2010 o 2011.

2. UnavezquesecolocaronenlamismaescalaDelta2010o2011yENLACE 3° de Secun-daria2010o2011,secalculólamediayladesviaciónestándardeladificultad(b)delosreactivos iguales con Delta 2013 o 2014.

3. Calibración conjunta de las pruebas ENLACE MS y Delta aplicadas en 2013 o 2014.4. UnavezquesecolocaronenlamismaescalaDelta2013o2014yENLACE MS 2013 o 2014,secalculólamediayladesviaciónestándardeladificultad(b)delosreactivosigualescon Delta 2010 o 2011.

Tabla 16 | Estructura de la prueba ancla (reactivos semejantes)

Prueba Área Total de reactivos2010-2013

Total de reactivos2011-2014

Delta Habilidad LectoraHabilidad Matemática

4668

4783

Total Prueba 114 130

ENLA

CE M

S · 2

013

· 201

4

75

ENLA

CE M

S · 2

013

· 201

4

74

5. Con las medias y desviaciones estándar obtenidas en el paso 2 y 4 se calcularon las cons-tantesdetransformaciónlineal,lascualespermitencolocarlahabilidaddelosalumnosdebachillerato en la escala de Secundaria.

Latransformaciónlineal,paracolocarlahabilidaddelosalumnosdebachilleratoenlaescaladeSecundaria,serealizamediantelasiguientefórmula:

(1)

Las constantes m y n se obtienen mediante:

(2)

(3)

Donde:• θb→s=HabilidaddelosalumnosdebachilleratotransformadaalaescaladeSecundaria• θb = Habilidad de los alumnos de bachillerato estimada de manera libre• σs = Desviación estándar de los reactivos de Delta 2010 o 2011 (aplicados en Secundaria)

que son iguales a Delta 2013 o 2014• σb = Desviación estándar de los reactivos de Delta 2013 o 2014 (aplicados en bachillerato)

que son iguales a Delta 2010 o 2011• bs=Mediadedificultad(b)delosreactivosdeDelta2010o2011(aplicadosenSecundaria)

que son iguales a Delta 2013 o 2014• bb=Mediadedificultad(b)dereactivosdeDelta2013o2014(aplicadosenbachillerato)

que son iguales a Delta 2010 o 2011

6. Mediante la Clave Única del Registro de Población (CURP),seidentificóalosalumnosqueaplicaron tanto la prueba operativa ENLACE 3° de Secundaria11 como la de ENLACE MS. Unavezidentificados,seconsolidólabasededatosconlainformacióncorrespondienteala habilidad obtenida por los alumnos en ambas pruebas, así como las características de los planteles en los que cursaron la EMS: tipo de bachillerato, tipo de sostenimiento, nivel de marginación,subsistemayentidadfederativa.

11 Base de datos proporcionada por la DGEP-SEP.

ENLA

CE M

S · 2

013

· 201

4

77

ENLA

CE M

S · 2

013

· 201

4

76

7. Mediantelafórmula(1),setransformólahabilidadqueobtuvieronlosalumnosenENLACE MS para colocarla en la misma escala de ENLACE 3º de Secundaria.

Como última tarea, se calculó la media y la desviación estándar de la habilidad de los alum-nosenambaspruebas,paracadaunodeloscomparativosrealizados,ysegraficaronlosresul-tados.Elincrementoodecrementoqueseobservaalcompararlasmediasqueseestimanalfi-nalizarSecundariavs.Bachilleratorepresentaparaesteestudiolamedidadegananciaeducativa.

10.2.4 Resultados

Tanto para la primera generación (2010-2013) como la segunda (2011-2014), los datos obteni-dos en el estudio indican una mejora en el rendimiento de los alumnos después de haber cur-sado la educación media superior. Esta mejora es consistente y se obtiene en la comparación de los resultados de los estudiantes sin importar si se les agrupa por subsistema, por nivel de marginación,tipodesostenimientooentidadfederativa.Lasfiguras11y12muestranlaevolucióndeldesempeñoenEspañol/ComprensiónLec-

tora y Matemáticas, a nivel nacional, de la cohorte de alumnos 2010-2013 y la de 2011-2014. Comoseapreciaenlasgráficas,lamediadelaspuntuacionesincrementónotablemente(líneaazul),enparticularparalaprimerageneración,loquereflejaunamejorageneraleneldesem-peñodelosestudiantesypermiteafirmarlaexistenciadeunagananciaeducativaenlasdosáreas que evalúan las pruebas. Esimportanteconsiderarqueelestudiodegananciaeducativaserealizóconlosdatosque

se pudieron empatar entre las bases de ENLACE 3° de Secundaria y ENLACE MS, por lo que se sugiere generar conclusiones que tomen en cuenta la cantidad de alumnos que se recuperaron para el estudio. Por otro lado, los comparativos de este estudio son de carácter general, por lo que para extender las interpretaciones deben considerarse las características contextuales de las entidades, subsistemas, planteles y otras variables propias de los alumnos.

ENLA

CE M

S · 2

013

· 201

4

77

ENLA

CE M

S · 2

013

· 201

4

76

Figura 11 | Ganancia Educativa nacional 2010-2013 ENLACE 3° de Secundaria/Español vs. ENLACE MS/Comprensión Lectora.

Figura 12 | Ganancia Educativa nacional 2011-2014 ENLACE 3° de Secundaria/Español vs. ENLACE MS/Comprensión Lectora.

2010

2011

2013

2014 N=670,906

Punt

uaci

ones

EN

LACE

Punt

uaci

ones

EN

LACE

ENLA

CE M

S · 2

013

· 201

4

79

ENLA

CE M

S · 2

013

· 201

4

78

Figura 13 | Ganancia Educativa nacional 2010-2013 ENLACE 3° de Secundaria/Habilidad Matemática vs. ENLACE MS/Matemáticas.

Figura 14 | Ganancia Educativa nacional 2011-2014 ENLACE 3° de Secundaria/Habilidad Matemática vs. ENLACE MS/Matemáticas.

2010

2011

2013

2014 N=679,055

Punt

uaci

ones

EN

LACE

Punt

uaci

ones

EN

LACE

UncomportamientosimilarseobservaenlasfigurascorrespondientesalosresultadosdelestudiodegananciaeducativadeláreadeMatemáticas(figuras13y14).

ENLA

CE M

S · 2

013

· 201

4

79

ENLA

CE M

S · 2

013

· 201

4

78

La prueba ENLACE MSfuecreadaen2008conlaintencióndeproporcionarundiagnósticogeneraldefortalezasydebilidadesparalosalumnosdelúltimogradodebachillerato,endoshabilidadesbásicasparalavida,detalformaquelosdatosapoyenlasaccionespara

mejorarlacalidaddeestetramoeducativotrascendenteenlavidaprofesionalyacadémica.Des-pués de la implementación de la RIEMS, la SEMS solicitó al Ceneval que se diera continuidad a laevaluacióny,alavez,serecabarainformacióndiagnósticaacercadeldesarrollodelascom-petenciasdisciplinaresbásicasdelosestudiantes,deacuerdoconelperfildeegresodelMCC.

A partir de 2011 y hasta 2014, ENLACE MS evaluó indicadores de competencias básicas del campodisciplinardeComunicación,enespecíficolasquetienenqueverconComprensiónLectora y el de Matemáticas. La nueva estructura de la prueba mantuvo la medición de 70% de los contenidos que se evaluaron entre 2008 y 2010, además de que los resultados continuaron ubicandoalossustentantesencuatroposiblesnivelesdedesempeño(insuficiente,elemental,bueno y excelente) para permitir las comparaciones año con año.

Para asegurar que la adaptación de la prueba cumpliera con lineamientos de calidad estric-tos, se siguió la Metodología Ceneval para la construcción de instrumentos de evaluación y cadafasedeestaseorganizóretomandolosestándaresinternacionalesdecalidadenmedicióneducativa que la APA y la AERA publican periódicamente.

Durante el desarrollo de la prueba, ha resultado muy importante la participación de especia-listasconactividadesygradosdeprofesionalizaciónmuydiferentes.Desdesuorigen,lapruebaENLACE MSseplanificóconlaparticipacióndeinvestigadoresconreconocimientonacionaleinternacionalqueasesoraronyaprobaronlasdecisionesimportantesylasmodificacionesque se requirieron en congruencia con la RIEMS. De la misma manera, el apoyo de docentes ypersonasconcontactodirectoenlasaulasdebachilleratofuedeterminantedurantelasfasesde delimitación del objeto de medida y elaboración de reactivos. Los comités académicos esta-blecieron diálogos y discusiones para llegar a acuerdos en cuanto a los contenidos que podían mantenerseenlapruebaylosquesedebíanañadirpararealizarlaevaluacióndeindicadoresdecompetenciasdetodoslossubsistemasdebachillerato.Estoimplicórevisareidentificarloscontenidos comunes en los planes y programas de las diversas modalidades de EMS que existen ennuestropaís,demodoquesepudieraaprovecharunapruebaestandarizadaparaevaluarindicadoresdecompetenciasdefinidosentérminosoperacionalesyaplicablesencontextosrelacionados con el currículo. Llegaraunconsensoenlaredaccióndeespecificacionesydelimitacionesimplicóuninter-

cambio en los puntos de vista y experiencias en el plano docente con la intención de equilibrar ladificultaddelapruebayadecuarlaalniveldelalumnadodeEMS. Esta misma experiencia de retroalimentacióncaracterizóalprocesoderevisióncualitativa,alasreunionesdevalidaciónya la posterior corrección de reactivos.

11. Reflexiones acerca de la prueba

ENLA

CE M

S · 2

013

· 201

4

81

ENLA

CE M

S · 2

013

· 201

4

80

Todoeltrabajodeadaptaciónqueinicióen2009seviomaterializadoconlaintegracióndediferentesversionesdelaprueba,nosoloparacalificaralossustentantessinoparaverificarconstantementelacalidaddelosreactivos.Lasformaspilotoseensamblanyaplicanconante-rioridadalaversiónoperativayalpretest,demodoqueenlaaplicacióndefinitivaseincluyensiempre los mejores ítems.ElesfuerzodelpersonalexternoeinternodelCenevalporseguirlametodologíaycumplir

los requerimientos de tiempos y calidad de la DGEP-SEP,nohaevitadoquelapruebasufracríticas, en particular por el mal uso que se hace de los resultados. La prueba ENLACE MS no estádiseñadaparahacercomparacionesentresubsistemas,entreescuelasoentredocentes;esporelloquelasinterpretacionesquesehaganalrespectocarecendevalidez.Eldiseñoylaadaptacióndelinstrumentolacaracterizacomounaevaluacióndiagnósticaindividual,porloquesufunciónprincipalesbrindarunaretroalimentaciónparacadaestudiante,demodoqueconozcaelniveldedominioqueposeeencadahabilidadypongaenprácticaestrategiasparamejorarlo.LaposibilidadqueofrecelapáginaelectrónicadeENLACE MS de consultar los resulta-

dos año con año responde a la necesidad de disponer de un diagnóstico general que muestre lasáreasdefortalezaydebilidad.Lascomparacionesquepuedenserdeutilidadsonlasquehaga cada entidad con ella misma año con año, las que pueda derivar el director de plantel en relación con su propia escuela, entre otras, aunque esto de ninguna manera debe llevar a un veredicto en cuanto a las capacidades de los docentes o los programas, más bien puede repre-sentarindiciosqueapoyenlaplanificacióndecampañasinternas,actividadesextracurriculares,etcétera.

Es común encontrar que algunos centros escolares se promocionan a sí mismos haciendo uso de los resultados de su alumnado en las pruebas ENLACE.Hacerestocarecedefunda-mentoporquelavaloracióndeescuelasrequieredelasumademásydiferentesmetodologíasde medición. El hecho de que sea posible consultar los resultados de cada escuela no implica que deban compararse entre ellos, tanto porque cada centro tiene sus condiciones particulares en cuanto a número de alumnos, tipo de sostenimiento, modalidad, etcétera, como porque los resultados positivos o negativos pueden deberse a multitud de variables que no están relacio-nadas con la calidad del plantel en sí.Ademásdelafuentedeinformaciónyretroalimentaciónindividualquerepresentanlos

resultados de ENLACE MS, un propósito que se ha visto cumplido en los cuatro años de aplicaciónhasidolacrecienteconcientizaciónenlapoblaciónacercadelaimportanciadelalectura y las matemáticas. Por otro lado, la aplicación periódica de evaluaciones puede ayudar al cambio cultural que se requiere para que el sustentante se haga responsable de su propio procesodeaprendizaje,teniendounmarcodereferenciaqueleayudeparaconocersusforta-lezasydebilidades.

ENLA

CE M

S · 2

013

· 201

4

81

ENLA

CE M

S · 2

013

· 201

4

80

Losinteresadosenelnivelmediosuperiorpuedenutilizarlosresultadosdelapruebapara:• Mejorarlaprácticaeducativadespuésdeanalizarloserroresyaciertosmáscomunesdel

alumnado, así como las concepciones que poseen acerca de los contenidos evaluados en la prueba. Esto debe hacerse considerando que la prueba ENLACE MS únicamente evalúa una muestra representativa de los indicadores de desarrollo de las competencias básicas corres-pondientes a dos campos disciplinares Comunicación (Comprensión Lectora) y Matemáticas.

• Planificarintervencionesenelaula,enelplantel,enunestadooentodoelpaísqueforta-lezcaneldesarrollodehabilidadesbásicas.

• Contarcondatosquesirvanparadetectartendenciasenelplantelycontarconunalíneabase que permita comparar con los resultados de aplicaciones posteriores y establecer el efectoquehantenidodeterminadasaccioneseducativas.

• Caracterizaralapoblacióndeunplanteloentidadfederativaentérminosdesudistribuciónpornivelesdelogro,siempreycuandolaproporcióndealumnosevaluadosseasignificativa.

• Promoverinvestigacionesquedetectenfactores(económicos,sociales,deinfraestructura,deenseñanza-aprendizaje,entreotros)asociadosalniveldelogrodelasdistintasmuestrasde población, sobre las cuales pueda actuarse.

A partir de la suspensión de la prueba ENLACE MS después de su aplicación en 2014, en el Cenevalsetrabajaconlasdiferentesreflexionesyáreasdeoportunidadderivadasde7añosdetrabajo en el diseño, construcción y mantenimiento del instrumento. Para ello, el Estudio de ValidezdelapruebaemitidoporlaUniversidadAutónomadeAguascalientes(MartínezRizo,2015) y el INEE ha resultado de mucha utilidad.Esimportanteseñalarque,derivadodelosresultadosdedichoEstudio,lasfortalezascon-

ceptualesyoperacionalesdelapruebaseretomaronparalaconformacióndePlaneaMS(PlanNacionalparalasEvaluacionesdelosAprendizajesdelnivelmediosuperior).Asimismo,seplanteó un esquema para que Planea MS supere las limitaciones de ENLACE MS mediante el usodeunanuevaescaladecalificaciónylapublicaciónperiódicadeinformacióncontextualybases de datos que permitan a los usuarios un mejor aprovechamiento de los resultados.

ENLA

CE M

S · 2

013

· 201

4

83

ENLA

CE M

S · 2

013

· 201

4

82

Referencias

• AERA, APA y NCME(1999).TheStandardsforEducationalandPsychologicalTesting.Washington, DC: AERA Publications.

• Angoff,W.H.(1984).Scales,normsandequivalentscores.Princenton,NJ:EducationalTesting Service.

• Ceneval(2011).ProntuariodenormastécnicasyestándaresdelCeneval.México:Ceneval.• Ceneval(2012).ContenidosmínimosdelManualTécnico.México:Ceneval.• Chávez,C.ySaade,A.(2009).Procedimientosbásicosparaelanálisisdereactivos.Cuader-

no técnico 8. México: Ceneval, A.C.• Delors,J.(1996).Laeducaciónencierrauntesoro.InformedelaComisiónInternacionalde

Educación para el siglo XXI. UNESCO. Madrid: Santillana.• DGEP (2010). Normas operativas. ENLACE 2010, Educación Media Superior. Unidad de

Planeación y Evaluación de Políticas Educativas, SEP. Disponible en: http://enlace.sep.gob.mx/ms/docs/ EMS2010_Normas_Operativas.pdf.

• DiarioOficialdelaFederación(2008).Acuerdo442Disponibleen:http://dof.gob.mx/nota_detalle.php?codigo=5061936&fecha=26/09/2008/.

• DiarioOficialdelaFederación(2008b)Acuerdo444Disponibleen:http://dof.gob.mx/nota_detalle.php?codigo=5064951&fecha=21/10/2008.

• Downing,S.yHaladyna,T.(eds.)(2012).Manualparaeldesarrollodepruebasagranescala.Méxic: Ceneval

• DuToit,M.(2003).IRTfromSSI: BILOG-MG, MULTILOG, PARSCALE, TESTFACT. Lin-colnwood, IL:ScientificSoftwareInternational.

• Efron,B.(1979).Bootstrapmethods:Anotherlookatthejackknife.TheAnnalsof Statis-tics, 7, 1-26.

• FradeR.,L.(2008).Planeaciónporcompetencias.México:MedicióndeCalidad.• Freudenthal,H.(1983).DidacticalPhenomenologyof MathematicalStructures.Mathema-

tics Education Library. Chicago: D. Reidel Publishing Company.• Gaviria,J.L.(2008).InformedevalidacióndepuntosdecorteenlaspruebasdeMatemá-

ticas y Comprensión Lectora de ENLACE Media Superior. Universidad Complutense de Madrid, impreso.

• Gaviria,J.L.yCastro,M.(2010).Modelosdevalorañadidoeneducación.UniversidadCom-plutense, Seminario Ceneval-INEE, mayo 2010.

• Gravemeijer,KyTerwel,J.(2000).HansFreudenthal,unmatemáticoenDidácticayteoríacurricular.Journalof CurriculumStudies,32,6,pp.777-796.

ENLA

CE M

S · 2

013

· 201

4

83

ENLA

CE M

S · 2

013

· 201

4

82

• Hambleton,R.,Swaminathan,H.yRogers,H.(1991).Fundamentalsof itemresponsetheory,NewburyPark,CA,SagePublications.

• Kolen,M.yBrennan,J.(2004).TestEquating,Scaling,andLinking:MethodsandPractices.EU: Springer.

• MartínezRizo,F.(Coord.)(2015).LaspruebasENLACEyEXCALE.Unestudiodevali-dación. México: INEE

• Michaelides,M.P.,yHaertel,E.H.(2004).Samplingof CommonItems:AnUnrecognizedSourceof ErrorinTestEquating.TechnicalReport.Disponibleenhttp://www.cse.ucla.edu/products/reports/r636.pdf

• Mitzel,H.C.,Lewis,D.M.,Patz,R.J.,yGreen,D.R.(2001).Thebookmarkprocedure:Psychologicalperspectives(Cap.9).EnG.J.Cizek(Ed.),Settingperformancestandards:Concepts,methodsandperspectives.Mahwah,NJ:LawrenceErlbaum.

• Múñiz,J.(1997).Introducciónalateoríaderespuestaalosítems.Madrid:Pirámide.• Niss,M.(1999).Aspectsof thenatureandstateof researchinmathematicseducation.

Educational Studies in Mathematics, 40, 1-24.• OECD(2006):AssessingScientific,ReadingandMathematicalLiteracy:AFrameworkfor

PISA 2006. París: OCDE. • OECD(2009).PISA2009.Assessmentframework.Keycompetenciesinreading,mathe-maticsandscience.Disponibleen:http://www.oecd.org/dataoecd/11/40/44455820.pdf.

• Pajares,R.,Sanz,A.yRico,L.(2004).Aproximaciónaunmodelodeevaluación:elproyectoPisa 2000. Madrid: Ministerio de Educación, Cultura y Deporte.

• ReyesL.,S.yZúñigaB.,A.(2013,2014).Manualparadocentesydirectivos.EvaluaciónNacional de Logro Académico en Centros Escolares de Educación Media Superior. Dispo-nible en: http://www.enlace.sep.gob.mx/content/ms/docs/2014/Manual_Docente_EN-LACEMS_2014.pdf.

• ReyesL.,S.,etal.(2012).Nivelesdedominioenhabilidadmatemática.Laestrategiadeevaluación de ENLACE Media Superior. México: Ceneval.

• Rosado,D.(2007).Competenciasgenéricasyelperfildelegresadoenlaeducaciónmediasuperior. SEMS. Documento de trabajo.

• Steen,L.(1990).OntheShouldersof Giants:NewApproachestoNumeracy.NationalResearch Council, Washington, D.C.: National Academy Press.

• SIMCE(2005).Diseñodeinstrumentosconmetodologíadeenseñanzadehabilidades.Chile: Copiapó.

• SubsecretaríadeEducaciónMediaSuperior(2008).ReformaIntegraldelaEducaciónMe-dia Superior en México: La Creación de un Sistema Nacional de Bachillerato en un marco de diversidad. México: SEP.

ENLA

CE M

S · 2

013

· 201

4

85

ENLA

CE M

S · 2

013

· 201

4

84

• SubsecretaríadeEducaciónMediaSuperior(2009).CompetenciasDisciplinaresBásicaspara la Educación Media Superior. México: SEP.

• Treffers,A.(1987).ThreeDimensions.AModelof GoalandTheoryDescriptioninMathe-maticsInstruction:TheWiskobasProject.Dordrecht:KluwerAcademicPublishers.

• Vidal,R.(2009).¿Enlace,Exani,ExcaleoPISA?.México:Ceneval.Disponibleen:http://archivos.ceneval.edu.mx/archivos_portal/3065/Enlace_Exani_Excali_Pisa.pdf.

• Vidal,R.,Leyva,Y.,Tristán,A.yMartínezR.,F.(2000).ManualTécnicodelCentroNacio-nal de Evaluación para la Educación Superior. México: Ceneval.

• Zabala,A.yArnau,L.(2007).11ideasclave.Cómoaprenderyenseñarcompetencias.Bar-celona: Graó.

ENLA

CE M

S · 2

013

· 201

4

85

ENLA

CE M

S · 2

013

· 201

4

84

Anexo AConsejo Técnico ENLACE Media Superior

Tabla A1 | Consejo Técnico 2013-2014

Consejero Puesto y adscripción

Dr. Rodolfo Tuirán Gutiérrez Subsecretario de Educación Media Superior. SEP.

Lic. Ana María Aceves Estrada Directora General de Evaluación, DGEP. SEP.

Lic. Alejandro Miranda Ayala Coordinador de Asesores. SEMS.

Mtro. Daniel Hernández Franco Asesor de la SEMS.

M. en C. Jesús Urzúa Macías Coordinador Sectorial de Desarrollo Académico. SEMS.

Dr. Eugenio González Nagel Asesor externo de Ceneval. IEA-ETS.

Dr. José Luis Gaviria Soto Asesor externo de SEP. Universidad Complutense.

Ing. Roberto Peña Resendiz Director de Evaluación de Políticas y Sistemas Educativos. SEP.

Lic. Carlos Goñi Carmona Director de Evaluación y Análisis del Proceso Educativo. SEP.

Mtro. Andrés Sánchez Moguel Director de Pruebas y Medición. INEE.

Mtra. Luz María Solis Segura Exdirectora de Educación Media Superior. ANUIES.

Dra. Rosamaría Valle-Gómez Tagle Directora General de la DGEE. UNAM.

Dra. Carmen Villatoro Alvaradejo Coordinadora del Bachillerato a Distancia. UNAM.

Dra. Teresa Bracho González Profesora investigadora. FLACSO.

Dr. en Quím. Rafael López Castañares Director General. Ceneval.

Dra. Rocío Llarena de Thierry Directora General Adjunta de Programas Especiales. Ceneval.

Dra. Lucía Monroy Cazorla Directora General Adjunta de los EXANI. Ceneval.

Tabla A2 | Autoridades y especialistas que formaron parte del Consejo Técnico

Consejero Puesto y adscripción

Dr. Miguel Szekely Pardo Exsubsecretario de Educación Media Superior. SEP.

Lic. Miguel Ángel Martínez Espinosa Exsubsecretario de Educación Media Superior. SEP.

Dra. Araceli Ortega Díaz Excoordinadora de Asesores. SEMS.

Dr. Rafael de Hoyos Navarro Excoordinador de Asesores. SEMS.

Mtro. Juan Manuel Espino Bravo Exasesor de la SEMS.

M. en C. Daffny Rosado Moreno Excoordinador Sectorial de Desarrollo Académico. SEMS.

M. en A. Ed. Maricruz Moreno Zagal Directora General Académica. ANUIES.

Dr. Eduardo Backhoff Escudero Exdirector de Pruebas y Medición. INEE.

Lic. Sergio Martínez Dunstan Exdirector de Lectura, Calificación y Análisis de Resultados. SEP.

Mtro. Rafael Vidal Uribe Exdirector del Ceneval.

ENLA

CE M

S · 2

013

· 201

4

87

Anexo BGrupos de trabajo Delimitación

del objeto de medición

Tabla B1 | Comité Académico Diseñador

Comunicación (Comprensión Lectora)

Especialista Adscripción

Mtra. Eleonora Achugar Díaz Editora y profesional independiente

Profra. Bertha A. Carvajal García DGECyTM, Yucatán

Lic. Argentina Robledo UAM

Mtra. Inés Pucci ENAH

Profra. Margarita Linares Urenda COLBACH

Lic. Ma. del Carmen González Lozano IPN

Profra. Luz María Estrella Martínez CECYT

Profra. María Elena Cruz Trejo CONALEP

Matemáticas

Especialista Adscripción

Mtra. Zinnya del Villar Islas IIMAS

Mtra. Ma. Clementina Pérez Duarte Noroña Colegio particular

Profra. Maritza Huitrón Miranda CONALEP, Estado de México

Prof. Antonio Ix Chuc CECYTEC, Campeche

Tabla B2 | Comité Académico Validador de Especificaciones

Comunicación (Comprensión Lectora)

Especialista Adscripción

Dra. Nancy Mazón Parra UNAM

Mtra. Silvia Teresa Lizárraga Rocha CIEES

Mtro. Enrique Lepe García INEE

Matemáticas

Especialista Adscripción

Mtro. Salvador Zamora Muñoz IIMAS

Act. Erick Mier Moreno AMAT

ENLA

CE M

S · 2

013

· 201

4

89

Anexo CDiseño Muestral

Levantamiento de datos ENLACE MS

Introducción

ElpresenteanexodescribelametodologíautilizadaeneldiseñomuestraldelapruebaENLACE MS alineada a la RIEMS,elcualseimplementóconelfindellevaracabolaaplicación de la prueba operativa con un control más riguroso a un subconjunto repre-

sentativodelapoblaciónestudiada.Deestamanera,secuentacondatosconfiablesparalacali-bracióndereactivosyelprocesodecalificación.Lamuestrasirveademásparalaaplicacióndelapruebapretest,queseutilizaparacolocarañoconañolospuntajesdelosalumnosenlamismaescala,laspruebasempleadaspararealizarestudiosexperimentalesyelcuestionariodecontexto.

Desde la primera aplicación de los instrumentos que han integrado el proyecto ENLACE MS, la muestra se ha seleccionado según el procedimiento general que se describe en este documen-to,sinembargo,losresponsablesdelmismohancambiadoysehanrealizadoalgunosajustes.

El diseño muestral de 2008 estuvo a cargo de especialistas del INEE y la desagregación de lapoblaciónserealizóendosniveles:nacionalyestatal.Para2009seutilizóelmismodiseñoqueelañoanteriorpero,enestecaso,elCenevalfueresponsabledeseleccionarlasescuelasqueconformaríanlamuestra,mientrasqueelINEEfueresponsabledevalidareltrabajo.

A petición de la SEMS, el diseño de 2010 estuvo a cargo de la empresa Investigaciones So-ciales, Políticas y de Opinión Pública, S.A. de C.V (INVESPOP), cuyos especialistas eliminaron el nivel de desagregación estatal, ya que consideraron que los resultados en ese nivel no per-mitíangenerarresultadosconfiablesnirealizarinferenciasgeneralizables.Paralasaplicacionesde2011y2012seutilizóelmismodiseñomuestralplanteadoen2010,conlaparticularidaddeque, en 2011, la DGEP-SEPrealizólaseleccióndelasescuelas,mientrasqueen2012,2013y2014 la empresa INVESPOPverificólapertinenciadecontinuarconelmismodiseñoyselec-cionó la muestra donde se aplicaron los instrumentos de evaluación, de acuerdo con los reque-rimientos extra que determinaron la DGEP-SEP, la SEMS y el Ceneval en cada aplicación. A continuación se presenta el documento metodológico elaborado por INVESPOP para el 2013.

Marco Metodológico

La muestra de escuelas que se considera en la aplicación de la prueba ENLACE-MS en 2013 siguióeldiseñooriginalaplicadodesde2010.Noobstante,ensudefiniciónsemanifestólaintención de reorientar su concepción para considerar que no sólo los instrumentos accesorios: pretest,pruebadeltaycuestionariosdecontexto,fueranaplicadosaunamuestrasinotambiénlapruebamisma.Esdecir,queenvezdequefueracensal,comolohasidodesdesuinicio,seajustara el diseño y se considerara su aplicación a sólo un subconjunto del alumnado elegible. Asimismo, se dio a conocer que el número de los instrumentos accesorios, pretest y delta, se incrementaríaen2013alpasarde13a23formas:16paraelprimeroy7paraelsegundo.

ENLA

CE M

S · 2

013

· 201

4

91

ENLA

CE M

S · 2

013

· 201

4

90

Despuésdeanalizarlasventajasydesventajasdelplanteamientodereducirlacoberturade la prueba, junto con otros elementos de decisión, se optó por mantener la aplicación de la prueba a nivel censal. Ante ello, y dado que el diseño muestral que se ha usado en los últimos añoshabíasidorevisadoen2012paraverificarsuvigencia,yseconservó,loquesiguióparaseleccionar la muestra ENLACE2013delniveleducativoMedioSuperiorfueconsiderarlaactualizacióndelmarcodemuestreo,debidoalaparticipaciónvoluntariadelasescuelasdela Prueba que implica la inclusión y/o exclusión de centros escolares.

Como en los años anteriores, la Dirección General de Evaluación de Políticas (DGEP) de la Secretaría de Educación Pública (SEP)fuelaencargadadeproveerlosinsumosparaconformarelmarcodemuestreode2013.Lonuevoparaesteañofuequelainformaciónestuvodisponi-ble a nivel de alumno por el planteamiento de reestructuración de la prueba.Conformealdiseñooriginal,seconsiderócomounidadbásicaalaescuela-turnoyendonde

aplicaba,seincluyólaextensióndelplantel.Así,elidentificadorúnicodelasunidadesdemues-treoseconformóconlaClavedelCentrodeTrabajo(CCT), el turno y la extensión del plantel.Elsiguientepasoconsistióenlareconstruccióndelosestratos.Las32entidadesfederativas

delpaís;lamodalidaddelaescuela:bachilleratogeneral,bachilleratotecnológicootécnicopro-fesional;eltipodesostenimiento:públicoyprivadoyelámbitoquecircunscribealosplantelesaniveldelocalidad:urbanoorural,fueronusadosensuconformación.Dadalaimportanciadedisponerdeunamuestranacionalconfiableyconprecisiónsuficiente,cadaentidadfueconcebida en sí misma como un estrato. Es decir, que se hiciera una selección independiente deescuelasdentrodecadaentidadafindeasegurarquesecaptaadecuadamentelavariabilidadque existe al interior de ellas.Lascifraspara2013mantuvieronelcomportamientoascendentetantoporelnúmerodees-

cuelascomoporelnúmerodealumnossujetosaevaluación.Entotal,fueron13,917plantelesturno registrados en el marco de muestreo, mismos que conglomeraron a 1’125,427 alumnos.

Población objetivo

Alumnos que cursas el último grado de Educación Media Superior en instituciones educativas decarácterpúblico,federalyestatal,enlosplantelesparticularesconreconocimientodeva-lidezoficialotorgadoporlaSEPoporlasentidadesfederativas,asícomoenlasinstitucionesde carácter autónomo y en sus escuelas particulares incorporadas1.Loscriteriosparadefinirlaelegibilidad de los alumnos entre la varidad de sistemas en el país son:

1 Fuente: http://enlace.sep.gob.mx/ms/?p=aplica

ENLA

CE M

S · 2

013

· 201

4

91

ENLA

CE M

S · 2

013

· 201

4

90

Cuadro 1 | Criterios para considerar el último grado de los alumnos sujetos a evaluación a través de ENLACE--MS

Plan de estudios Ingreso Alumnos a evaluar

Anual Anual del último grado

Semestral Anual del sexto semestre

Semestral Semestral de quinto y sexto semestre

Cuatrimestral Anual del último cuatrimestre

Cuatrimestral Cuatrimestral de los tres últimos cuatrimestres

Alcance de la encuesta

Losdominiosdeestudiodefinidosen2010semantienenvigentes,asaber:a. A nivel nacional,b. Por modalidades de los centros escolares,c. Por el tipo de sostenimiento yd. Por el ámbito que circunscribe el plantel

Marco de muestreo

El marco muestral de 2013 consistió en un listado exhaustivo de las escuelas que se suscribie-ronparaparticiparenlaPrueba2013.Lasvariablesconsideradasfueron:a) Paraidentificarcadaescuelaseempleólaclavedelcentrodetrabajo(CCT), el turno y la extensióndelplantel;estaúltimaserefierealasinstalacionesperiféricasquepuedentenerloscentrosescolaresyconformealoofrecidoenañosanteriores,puedenocurrirhasta8extensiones asociadas a una misma CCT.Cadainstalaciónperiférica,parafinesdelaevalua-ciónsecontabilizacomounplantelindependienteaunqueparafinesadministrativossonconsiderados como una misma.

b) El modalidad de la escuela consideró tres valores posibles de Bachilleratos: i. Generalii. Tecnológicoiii. Técnico

ENLA

CE M

S · 2

013

· 201

4

93

ENLA

CE M

S · 2

013

· 201

4

92

c) El tipo de sostenimiento que distingue entre escuelas públicas y privadas.d) El ámbito que circunscribe al plantel a nivel de localidad según el tamaño de su población2

e) Lamatrículadecadaescuelacomprendióeltotaldealumnosconlascondicionesdefinidasen la población objetivo.

Estratos de la población

Deacuerdoconeldiseñoquesehaseguidodesde2010,losestratosseconformaronapar-tirde:las32entidadesfederativasdelpaís;lamodalidaddelaescuela:bachilleratogeneral,bachilleratotecnológicootécnicoprofesional;eltipodesostenimiento:públicooprivadoyel ámbito que circunscribe a los planteles a nivel de localidad: urbano o rural. Asimismo, se mantuvieronlosestratosespecialesconsideradosparanodejarfueradelprocesodeseleccióna planteles en los que no se pudo recuperar el ámbito de la localidad. Dadalaimportanciadedisponerdeunamuestranacionalconfiableyconprecisiónsufi-

ciente,seconsideróimportantequecadaentidadfueseconcebidaensímismacomounestrato.Esdecir,quesehicieraunaselecciónindependientedeescuelasdentrodecadaentidadafindeasegurar que se capta adecuadamente la variabilidad que existe al interior de ellas. Cabe men-cionarquetalestrategiadeestratificarporentidadnoimplicaquesepuedenderivarresultadosválidos para cada una por separado ya que no son consideradas dominios de estudio3.Lasvariablesasociadasenlaconformacióndeestratosfueroncodificadasdeacuerdocon

los siguientes criterios.

2 Recuperado a partir del Censo 2010. Principales resultados por Localidad. Sistema de Integración Territorial, ITER. Instituto Na-cional de Estadística y Geografía (INEGI).

3 En la definición de los dominios de estudio subyace la propiedad de tener información con confianza y precisión propia de cada una de las unidades de estudio que permita hacer inferencias estadísticas válidas en cada una de ellas.

Variables para construir estratos, según diseño de 2010

Entidad Modalidad Sostenimiento Ámbito

2 posiciones: 2 posiciones: 2 posiciones: 2 posiciones:

La clave de la entidad según el INEGI

BG = Bachillerato GeneralBT = Bachillerato Tecnológico

TP = Técnico Profesional

Pu = PúblicoPv = Privado

Ru = RuralUr = Urbano

ENLA

CE M

S · 2

013

· 201

4

93

ENLA

CE M

S · 2

013

· 201

4

92

4 Al tratarse de un esquema muestral y no censal, se tiene obligadamente una consecuencia en términos de error de muestreo. Para ello, se necesitan un mínimo de dos piezas de información por etapa, para poder calcular los errores estándar correspondientes.

Combinarestoscriteriospermitiódisponerdeunesquemadeestratificaciónóptimadentrode las entidades que incluyó la totalidad de modalidades de bachilleratos existentes en cada una pero,asuvez,atendióelrequerimientodedisponerderesultadosdiferenciadossegúneltipode sostenimiento del plantel y por ámbito: urbano o rural: Asimismo, se aseguró que el proceso de muestreo permitiera estimar los errores propios del método de recolección aplicado4.Entotal,enelmarcode2013seconformaron244estratos.

Esquema de muestreo

Enconsonanciaconeldiseñode2010,loscentrosescolares,identificadoscomoescuelasturnoeinclusoextensióncuandoaplicaba,fueronconsideradoscomounidadesprimariasdemuestreo (UPM),Unavezquefueronclasificadasensuestratocorrespondienteseprocedióaseleccionarlas directamente con probabilidad de selección proporcional al tamaño (PPT). Este principio de selección quiere decir que una unidad de muestreo con 10,000 alumnos tuvo el doble de probabilidad de ser seleccionada que una de 5,000 alumnos.

Dentro de cada escuela seleccionada la aplicación de la Prueba y sus instrumentos acceso-rios a los alumnos se mantuvo de manera censal.Asíelesquemademuestreofueestratificadoconprobabilidaddeseleccióndelasunidades

muestrales proporcional al tamaño, en una sola etapa.

Tamaño de la muestra

Eltamañodelamuestrafueelmismoquesehaempleadodesde2010.Lafórmulaparadeter-minarlo,fue:

ENLA

CE M

S · 2

013

· 201

4

95

ENLA

CE M

S · 2

013

· 201

4

94

donde: n = tamaño de la muestra =cuartildeunadistribuciónnormalasociadoaunniveldeconfianzadeseadop = proporción que se estima a partir de la muestra = Error absoluto máximo que se está dispuesto a aceptardeff =Efectodediseñoqueeslapérdidaogananciaenlaeficienciadediseño,portratarse de un diseño complejoTNR = Tasa de no respuesta esperada

Ponderadores

Al igual que en 2010 los ponderadores de diseño se obtuvieron con el inverso de la probabilidad deselecciónysiguenlamismaestructuraquesedefinióen2010.

Así, la probabilidad de selección de la i-escuela-turno dentro del h-estrato está dada por:

donde:nh = es el número de escuelas por turno seleccionadas en el estrato hMi = es la matrícula de la escuela-turno seleccionadaMh = es el total de la matrícula de alumnos en el estrato h

Porlotanto,elfactordeexpansiónesiguala:

Igualqueeneldiseñodereferencia,sedestacalaimportanciadelajustedelosponderadoresposterioralaaplicacióndelapruebaparacorregirlosefectosdelanorespuesta.

ENLA

CE M

S · 2

013

· 201

4

95

ENLA

CE M

S · 2

013

· 201

4

94

Estratos 2013, número de escuelas y total de alumnos

Entidad Alumnos Escuelas Número de estratos

Aguascalientes 12,955 173 5

Baja California 33,207 277 7

Baja California Sur 6,781 72 6

Campeche 8,041 106 6

Chiapas 27,651 340 7

Chihuahua 6,846 93 7

Coahuila 49,980 674 10

Colima 31,272 433 7

Distrito Federal 70,494 422 9

Durango 16,383 207 6

Guanajuato 46,344 753 7

Guerrero 40,915 347 7

Hidalgo 29,174 322 9

Jalisco 77,011 893 10

México 135,144 1,357 11

Michoacán 39,456 624 7

Morelos 16,401 164 8

Nayarit 12,233 196 7

Nuevo León 46,940 339 8

Oaxaca 37,568 622 7

Puebla 64,346 1,256 8

Querétaro 19,187 208 8

Quintana Roo 13,743 138 6

San Luis Potosí 31,410 439 9

Sinaloa 36,427 382 6

Sonora 30,131 289 8

Tabasco 27,196 267 9

Tamaulipas 32,609 332 8

Tlaxcala 13,264 162 7

Veracruz 74,717 1,558 8

Yucatán 19,921 247 7

Zacatecas 15,894 188 6

subtotal por entidades 1,123,641 13,880 241

BG* 514 15 1

BT* 416 13 1

TP* 856 9 1

Total: 1,125,427 13,917 244

ENLA

CE M

S · 2

013

· 201

4

97

Anexo DEstudios acerca de la estabilidad de la escala

Introducción

El presente documento tiene como objetivo dar a conocer los argumentos que sustentan lapropuestaparaelcambioenlaescaladecalificacióndelapruebaENLACE MS. La justificaciónprincipalcorrespondeconlanecesidaddeadaptarlaescalaantelamo-

dificacióndelaestructuradelapruebaapartirdelaRIEMS. Los ejercicios que respaldan la propuestafueronrealizadosporlaDirecciónGeneraldeEvaluacióndePolíticasdelaSEP (DGEP-SEP),elasesortécnicoDr.JoséLuisGaviriayelCentroNacionaldeEvaluaciónparala Educación Superior, A.C. (Ceneval).

Es importante mencionar que la postura de Ceneval es consecuente con la conveniencia deajustarlospuntosdecorteylaescaladecalificación,tomandoencuentaquediferentesejercicios han permitido atribuir el comportamiento de la escala, a lo largo de las aplicaciones, alamodificaciónquesehizoalaestructuradelexamenen2011.Deotraforma,sisesiguenutilizandolosmismospuntosdecorteparalacalificación,losresultadospuedenderivarenconclusiones erróneas. Paracomprenderelfundamentotécnico-metodológicodeladecisión,sepresentaenprimer

lugarunabrevecontextualizaciónrespectodeloscambiosquesehanrealizadoalaestructurade la prueba ENLACE MS.Porestarazón,en2011serealizóunprimerestudiodefactibilidaddemantenimientodelospuntosdecorteydelaescaladecalificación,específicamenteparaelcampo disciplinar de Matemáticas. Además de presentar los resultados obtenidos con dicho estudio,seincluyelajustificacióndeporquésecontinuó,eneseaño,conlosmismospuntosde corte y con la misma escala. En un siguiente apartado se describe un segundo estudio de factibilidaddelospuntosdecortequeseplanteóparalaaplicaciónde2013.EsteestudiosehizoparaelcampodisciplinardeMatemáticasloquepermitiócontarconevidenciaafavordemodificarlaescaladecalificaciónylospuntosdecorte.Finalmente,sepresentanlasconclu-siones a partir de los datos recopilados.

Antecedentes

La prueba ENLACE MS, desde 2008 y hasta 2010, se concretó como una evaluación diagnós-tica de dos habilidades básicas para la vida (Habilidad Lectora y Habilidad Matemática), con el objetivo de determinar en qué medida los jóvenes que egresan de la educación media superior son capaces de aplicar a situaciones del mundo real los conocimientos y las habilidades adqui-ridos a lo largo de este nivel educativo.

ENLA

CE M

S · 2

013

· 201

4

99

ENLA

CE M

S · 2

013

· 201

4

98

En2011laevaluacióntuvoalgunasmodificaciones,enrespuestaalasolicituddelaSubse-cretaría de Educación Media Superior (SEMS)dedarseguimientoalaReformaIntegraldelaEducación Media Superior (RIEMS),quecentrasusesfuerzosenpromoverunperfildeegresodefinidoentérminosdecompetencias.Porello,lanuevaestructuradelapruebaseabocóaevaluar indicios de competencias básicas asociadas a dos de los cuatro campos disciplinares es-tablecidos en el Marco Curricular Común.1 De esta manera, la evaluación del área de Habilidad Lectora cambió para abarcar el campo disciplinar de Comunicación (Comprensión Lectora), y la del área de Habilidad Matemática, para el campo de Matemáticas. LoscambioseneláreadeComprensiónLectorafueronmínimos,lamaneraenquesecon-

cibióelconstructosemantuvoylaevaluacióncontinúarealizándoseapartirdecuatrotiposdetextos (expositivo, narrativo, argumentativo y apelativo) y tres procesos cognitivos (extracción, interpretaciónyreflexiónyevaluación).Eltotaldereactivosasociadosaestaáreatambiénseconservó (50), aunque se redistribuyeron los subtotales por tipo de texto. Los cambios más notables entre las estructuras de 2008 y 2011 en el área de Comprensión Lectora se encuentran enladistribucióndelosreactivosporgrupodeproceso.Enelperfil2008haymayorcantidadde reactivos en los procesos cognitivos de interpretación y de extracción, mientras que, en el perfildel2011,lacantidaddereactivosubicadosenelprocesodeextraccióndisminuyóparaincrementarelnúmerodereactivosenlosprocesosqueevalúanreflexiónyevaluación.Loanteriorresultacongruenteconelenfoquecomunicativo-funcionalqueestablecelaRIEMS (ver tablas 1 y 2).

La redistribución de reactivos por grupo de procesos implicó eliminar, construir y modi-ficaralgunasespecificacionesparaconformarlanuevaestructura.Entotalseeliminaron13especificaciones,secrearonotras13,sehicieronmodificacionesmínimasa11y26sedejaronsin cambio. EneláreadeMatemáticassehicieronmayoresadaptaciones.Respectoaladefinicióndel

constructo, se mantuvieron los mismos procesos cognitivos (reproducción, conexión y re-flexión),perosoloseconservarontresdeloscuatrocontenidosmatemáticosoriginales(canti-dad,cambiosyrelaciones,espacioyforma)quepermitenevaluarúnicamentelascompetenciasdisciplinares básicas. Esto implicó una disminución en el número total de reactivos de 90 a 60, yaqueseeliminaron20especificacionesdelcontenidodematemáticasbásicas(elcualcorres-pondía a competencias disciplinares extendidas),2cincoespecificacionesdeláreadecantidady otras cinco de cambios y relaciones que evaluaban habilidades meramente académicas, sin aplicación en la vida cotidiana.

1 La estructura de la RIEMS se basa en el Acuerdo 444 publicado en el Diario Oficial el martes 21 de octubre de 2008.2 El área de matemáticas básicas incluía reactivos relacionados con geometría analítica y trigonometría.

ENLA

CE M

S · 2

013

· 201

4

99

ENLA

CE M

S · 2

013

· 201

4

98

La distribución de los reactivos de ambas estructuras se presenta en las tablas 3 y 4. En ellas se puede observar que la estructura 2008 contenía mayor cantidad de reactivos en el proceso cognitivo de conexión, mientras que en la estructura basada en la RIEMS los reactivos se dis-tribuyen de manera más homogénea en los tres procesos.

Tabla D1 | Estructura de Habilidad Lectora ENLACE MS 2008-2010

Área Tipo de textoNúmero de reactivos por proceso

TotalExtracción Interpretación Reflexión y evaluación

HabilidadLectora

Argumentativo 4 4 2 10

Narrativo 5 7 2 14

Expositivo 7 8 2 17

Apelativo 4 3 2 9

Total de reactivos 20 22 8 50

Tabla D2 | Estructura de Comunicación (Comprensión Lectora) ENLACE MS basada en la RIEMS

Área Tipo de textoNúmero de reactivos por proceso

TotalExtracción Interpretación Reflexión y evaluación

Comunicación (Comprensión Lectora)

Argumentativo 4 5 6 15

Narrativo 3 7 5 15

Expositivo 5 7 3 15

Apelativo 2 2 1 5

Total de reactivos 14 21 15 50

Tabla D3 | Estructura de Habilidad Matemática ENLACE MS 2008

Área Contenido Matemático

Número de reactivos por procesoTotal

Reproducción Conexión Reflexión

HabilidadMatemática

Cantidad 7 13 5 25

Espacio y Forma 5 10 5 20

Cambios y Relaciones 9 11 5 25

Matemáticas Básicas 5 10 5 20

Total de reactivos 26 44 20 90

ENLA

CE M

S · 2

013

· 201

4

101

ENLA

CE M

S · 2

013

· 201

4

100

LareestructuracióndeláreadeMatemáticasimplicóeliminar46especificaciones,crear16nuevas,hacermodificacionesmínimasen6ymantener38sincambio.

Primer estudio de factibilidad de mantenimiento de los puntos de corte

Aunque ambas áreas de la prueba ENLACE MStuvieronmodificaciones,elcampodisciplinarde Matemáticas es el que presentó mayores cambios: la eliminación de una subárea completa, ademásdelaincorporaciónde16especificacionesnuevas.Porestarazón,seplaneóunestudioqueutilizólosdatosdelaaplicación2011paracomprobarlafactibilidaddeseguirusando,paralacalificación,lospuntosdecorteoriginales.ElobjetivofueexplorarempíricamentesiloscambiosrealizadosenlaestructuradelapruebadeMatemáticasimpactabandemanerasignifi-cativaenlosresultadosdelosalumnosy,portanto,eranecesariomodificarlospuntosdecorte.Además,serealizaroncomparacionesparaverificarsilosposiblescambiosenlosresultadosse debían al contenido eliminado de matemáticas básicas. Para ello se comparó el rendimiento de una muestra de estudiantes que respondió los reactivos del área de Matemáticas, con la estructura del 2008, así como los de la estructura del 2011. La muestra estuvo compuesta por 3,159alumnosdediferentesescuelasdelDistritoFederalydelEstadodeMéxico,entreotrasrazonesporquesondosentidadesenlasquehayrepresentatividadportipodebachillerato,sostenimiento y grado de urbanidad.Losresultadosdelprimerestudiomostraronquelamediadecalificaciónobtenidaapartir

de los reactivos de la estructura de ENLACE MS 2011 ( x- =0.58662012) cambió apenas 0.02 logits alcompararlaconlamediaobtenidaporlosalumnoscuandoselescalificóconlosreactivosdela estructura de 2008 ( x- =0.60540601).3Tampocoseobservarondiferenciassignificativasenel

Tabla D4 | Estructura de Matemáticas ENLACE MS basada en la RIEMS

Área Contenido Matemático

Número de reactivos por procesoTotal

Reproducción Conexión Reflexión

Matemáticas

Cantidad 6 7 7 2

Espacio y Forma 6 8 6 20

Cambios y Relaciones 5 8 7 20

Total de reactivos 17 23 20 60

3 El rendimiento de los alumnos se estima con base en el modelo de tres parámetros de la Teoría de Respuesta al Ítem (TRI) por lo que las medias de habilidad se presentan en una escala logística estandarizada.

ENLA

CE M

S · 2

013

· 201

4

101

ENLA

CE M

S · 2

013

· 201

4

100

desempeñodelosalumnoscuandosecomparólamediadecalificacionesobtenidasapartirde la estructura completa de 2008, con la de la misma estructura pero sin matemáticas básicas (x- = 0.60496551). Con base en los resultados y debido a que la media de habilidad de 2011 es semejante a la estimación que hubiera resultado de mantenerse la estructura de la prueba an-terior,seconcluyóquelaestimacióndelacalificacióndelosalumnosqueaplicaronlapruebabasada en la RIEMSnosevioafectadasignificativamenteporloscambiosrealizados.4

Segundo estudio de factibilidad de mantenimiento de los puntos de corte

En 2012, una revisión de los resultados de las aplicaciones operativas y una comparación del desempeño de los alumnos a lo largo de los años permitió observar pequeñas variaciones cer-canas a la media de 2008 para el campo disciplinar de Comunicación (Comprensión Lectora). Sinembargo,latendenciaparaelcampodeMatemáticasreflejóunincrementosostenidoeneldesempeño de los alumnos que se consideró digna de análisis. Enlasfiguras1y2seapreciademaneragráficaelcomportamientodelamediadehabilidad

de los alumnos, a lo largo de las aplicaciones, para cada campo disciplinar.5

4 Para consultar a detalle los análisis que se realizaron y los resultados obtenidos con este estudio véase el Anexo D del Manual Técnico de la prueba ENLACE MS en su edición 2011-2012. Material disponible en: http://enlace.sep.gob.mx/content/ms/docs/Manual_Tecnico_ENLACE%20MS_2011_2012.pdf.

5 La estimación de los datos se realizó considerando las bases censales oficiales.

Figura 1 | Medias de habilidad para Comunicación (Comprensión Lectora). Figura 2 | Medias de habilidad para Matemáticas.

ENLA

CE M

S · 2

013

· 201

4

103

ENLA

CE M

S · 2

013

· 201

4

102

El comportamiento variacional que presenta el campo de Comunicación (Comprensión Lectora) es similar al que se ha visto en otras pruebas como las del Programa de Evaluación Internacional de los Estudiantes (PISA), en donde los resultados de México y de otros países muestranesamismatendencia;sinembargo,elcomportamientoascendenteeneláreadeMa-temáticas resulta atípico.Porloanterior,seoptóporrealizarunsegundoestudioen2013paradeterminarsiresulta

factiblecontinuarutilizandolosmismospuntosdecorteylaescaladecalificación.Paralaapli-cación operativa, el diseño de ENLACE MS se complementó con una prueba que se denominó Extendida. La prueba Extendida se integró con los mismos reactivos de Matemáticas de la prueba operativa del 2009 (antes de la reestructuración de la RIEMS) y se aplicó a una muestra de alumnos representativa en el ámbito nacional que también contestó la prueba operativa de 2013(verfigura3).Suobjetivofueconocersilamejoraenelrendimientodelossustentantes,alolargodelosaños,enelcampodisciplinardeMatemáticas,sedebeaunefectoenlaescalaprovocado por los cambios en la estructura de la prueba o a las características de los sustentan-tes.LamuestraquerespondiólapruebaExtendidaestuvoconformadapor2,719alumnosde30escuelas,pertenecientesa16entidadesfederativas.

Figura 3 | Diseño para el segundo estudio de factibilidad de puntos de corte para el área de Matemáti-cas de la prueba ENLACE MS. La prueba Extendida se integró con los 90 reactivos del área de Matemáticas que se utilizaron en la prueba Operativa ENLACE MS, aplicada en 2009.

ENLA

CE M

S · 2

013

· 201

4

103

ENLA

CE M

S · 2

013

· 201

4

102

Considerandoelobjetivodelsegundoestudiodefactibilidadseplantearondoshipótesis:• Sielcambioenlaestructuradelapruebanoimpactaenlaestimacióndelosresultados,año

con año, entonces la media de habilidad obtenida para los alumnos de la muestra tendrá que ser la misma, tanto si se calcula con la prueba Extendida 2013 (mismos reactivos que en 2009), como con la prueba Operativa de 2013.

• SilascaracterísticasdelossustentantessonlasquedeterminanlatendenciaascendenteeneldesempeñodelosestudiantesenMatemáticas,entoncesseobservarándiferenciassigni-ficativasenlamediadehabilidaddediferentesgeneraciones,2009y2013,quecontestanlamisma prueba (Operativa 2009 o Extendida 2013). Paracomprobardichashipótesisserealizaronlossiguientesejerciciosdeanálisis:

• Ejercicio1.Compararlamediadehabilidaddeunmismogrupodealumnosquecontesta-rondosinstrumentosdiferentes(pruebaExtendida2013con90reactivosyOperativa2013con 60 reactivos). Para calcular la media de habilidad de los alumnos en la prueba Extendida 2013sefijaronlosparámetrosdelosreactivosde2009;deestaformasecolocaronlosdatosdel 2013 en la misma escala. Para obtener la media de habilidad de los alumnos en la prueba Operativa ENLACE MS2013sefijaronlosparámetrosdelosreactivosobtenidosconlaequiparación de la prueba Operativa 2012.

• Ejercicio2.Compararlamediadehabilidaddedosgruposdealumnosquecontestaronelmismoinstrumentoenperiodosdiferentes(alumnosquecontestaron90reactivosenel2009yotrosquecontestaronlosmismosreactivosenel2013).Seutilizólamediadehabilidad para los alumnos que aplicaron la prueba Extendida 2013 (n=2,719) y la media de habilidad de los sustentantes que respondieron el área de Habilidad Matemática en la aplicación de la prueba ENLACE MS 2009 (n=176,040). Posteriormente y para conocer si lasdiferenciasentrelasmediaseransignificativas,seutilizólapruebatdeStudentconunniveldesignificanciade0.05.

La intención del ejercicio 1 es comparar los resultados usando una escala común pero con losparámetrosfijosdeunayotraaplicación(2009y2012),estopermiteobservarsilaescala,“antes” y “después” de la reestructuración de la RIEMS arroja el mismo cálculo de habilidad paraelmismogrupodealumnos;conelsegundoejerciciosebuscacontarconmáselementospara dejar claro si el cambio en la estructura de la prueba es la causa del aumento en la media de habilidad o si los resultados se deben a una mejora considerable en el desempeño de los alumnos.

ENLA

CE M

S · 2

013

· 201

4

105

ENLA

CE M

S · 2

013

· 201

4

104

Resultados Ejercicio 1

Al comparar la media de habilidad de los alumnos que contestaron la prueba Operativa 2013 y lapruebaExtendidaseencontróunadiferenciacercanaa0.6logits (ver tabla 5).

ParacomprobarsiestasdiferenciassonsignificativasseaplicólapruebatdeStudent para muestrasrelacionadas.Losresultadosdelatabla6indicanquehaydiferenciasestadísticamentesignificativasentrelasmediasdehabilidadobtenidasmediantelacalificacióndeunayotraprueba.

Resultados Ejercicio 2

Al comparar la media de habilidad de dos grupos de alumnos que contestaron la prueba Ex-tendida(90reactivosdematemáticas)enperiodosdiferentes(2009y2013)seencontróunadiferenciade0.15logits(vertabla7).

Tabla D5 | Estadísticos de muestras relacionadas. Prueba Extendida 2013 y Operativa 2013

Pruebas Media de habilidad (θ) N Desviación típ. Error típ. de la media

Extendida 2013 0.31350797 2,719 1.043182486 0.020005789

Operativa 2013 0.86872088 2,719 1.151912434 0.022090974

Tabla D6 | Prueba T de muestras relacionadas. Prueba Extendida 2013 y Operativa 2013

Diferencias relacionadas

Media Desviación típ.

Error típ. de la media

95% Intervalo de confianza para la diferencia

t gl Sig. (bilateral)

Inferior Superior

0.555212912 0.697330620 0.013373163 0.528990317 0.581435506 41.517 2718 .000

ENLA

CE M

S · 2

013

· 201

4

105

ENLA

CE M

S · 2

013

· 201

4

104

La distribución de los alumnos de acuerdo con su habilidad estimada en la prueba ENLACE MS 2009 y de los alumnos que contestaron la prueba Extendida en 2013 se presenta en las figuras4y5.

ParacomprobarsiestasdiferenciassonsignificativasseaplicólapruebatdeStudent para muestrasindependientes.Losresultadosindicanquelasdiferenciasentrelasmediasdehabili-dad de los alumnos que responden en 2009 y en 2013 en el área de Matemáticas son estadísti-camentesignificativas(vertabla8).

Tabla D7 | Estadísticos de grupo. Prueba Operativa 2009 y prueba Extendida 2013

Pruebas Media de habilidad (θ) N Desviación típ. Error típ. de la media

Operativa 2009 0.15788466 176,040 1.078664203 0.002570873

Extendida 2013 0.31350797 2,719 1.043182486 0.020005789

Figura 4 | Distribución de los alumnos de acuerdo con su habilidad estimada en el área de Matemáticas de la prueba ENLACE MS 2009; n = 176,040; x- = 0.15788466 y DE = 1.078664203.

Figura 5 | Distribución de los alumnos de acuerdo con su habilidad estimada en el área de Matemáticas de la prueba Extendida 2013; n = 2,719; x- = 0.31350797 y DE = 1.043182486.

ENLA

CE M

S · 2

013

· 201

4

107

ENLA

CE M

S · 2

013

· 201

4

106

Redefinición de puntos de corte 2013

Demodocomplementarioydebidoalasconclusionesdelsegundoestudiodefactibilidaddemantenimientodelospuntosdecorte,serealizóunejerciciopararedefinirlaspuntuacionesdel campo disciplinar de Matemáticas. Se convocó a un grupo de expertos en la materia, quie-nes revisaron el contenido de la prueba de 2013 y determinaron los puntos de corte mediante elmétodoBookmarkqueconjuntatantoeljuiciodeexpertoscomoelanálisisempírico.Elestablecimientodepuntosdecorteserealizóconbaseenlosestadísticosdelosreactivos

estimadosdeformalibre,esdecir,sinreescalarlospuntajes.Unavezestablecidoslosnuevospuntos de corte se observó que la distribución de los alumnos en los niveles de logro deja de tener la tendencia ascendente, incluso la distribución es parecida a la de 2010, último año don-de se aplicó la estructura original de la prueba (ver tabla 9).

Tabla D9 | Porcentaje de alumnos por nivel de desempeño: Matemáticas 2010 vs 2013

Dictamen 2010 2013

Insuficiente 40.60 40.98

Elemental 39.10 37.83

Bueno 15.10 16.68

Excelente 5.30 4.51

Tabla D8 | Prueba T de muestras independientes. Prueba Operativa 2009 y prueba Extendida 2013Prueba de Levene para la igualdad

de varianzasPrueba T para la igualdad de medias

F Sig. t gl Sig. (bilateral)

Diferencia de medias

Error típ. de la

diferencia

95% Intervalo de confianza para la diferencia

Inferior Superior

Habilidad

Se han asumido varianzas iguales

No se han asumido varianzas iguales

3.920 .048 -7.469 178757 .000 -0.155623304 0.020835129 -0.196459670 -0.114786938

-7.715 2808.499 .000 -0.155623304 0.020170299 -0.195173409 -0.116073199

ENLA

CE M

S · 2

013

· 201

4

107

ENLA

CE M

S · 2

013

· 201

4

106

Conclusiones

Si bien los datos obtenidos en 2011 indicaban que era posible mantener los puntos de corte en el campo disciplinar de Matemáticas, los resultados obtenidos en los dos últimos ejercicios defactibilidaddelospuntosdecortemuestranevidenciadequeelcambioenlaestructurahaimpactadolaescalaquesehautilizadocomoreferenciaparalaequiparaciónylacalificaciónde la prueba. Si bien se espera un cambio en el rendimiento de los alumnos a lo largo de las aplicaciones,lasdiferenciasnodeberíansertangrandescomolasqueseestánobteniendo,porloqueseconsideranecesariomodificarlaescaladecalificaciónylospuntosdecorte.Elejercicioderedefinicióndelospuntosdecorteconstituyeotraevidenciadelaconvenien-

ciademodificarlos,yaque,deacuerdoconlosexpertosqueparticiparonenelejercicioparaelcampodisciplinardeMatemáticas,laformaenquesedistribuyenlosalumnosenlosnivelesdedominioalmodificarlospuntosdecorteseasemejamásaloqueexperimentanenlasaulasyenloscursosdeactualizacióndealumnosyprofesoresenqueparticipanregularmente.

Por otra parte, la tendencia de los datos censales de las aplicaciones operativas permite ob-servar que, aunque los resultados del campo disciplinar de Comunicación (Comprensión Lec-tora)parecenestables,tambiénpresentanunatendenciaqueseanalizómediantelaaplicaciónde pruebas extra en 2014. Se tiene la hipótesis de que la tendencia ligeramente descendente se puede deber al incremento del número los reactivos en los niveles cognitivos más comple-jos. En el caso de Matemáticas, y al eliminar la subárea de matemáticas básicas que contenía contenidosespecializados,lapruebapudohaberinducidounefectocontrario,ocasionandolatendencia ascendente de los datos. Considerandolosresultadosdelosestudiosdefactibilidad,seconcluyequeelefectoque

hantenidoloscambiossobrelaescaladecalificaciónenlapruebaENLACE MS, resulta tan sutilquefuedifícilidentificardeunañoaotro,porloquesoloenuntranscursodetiempomáslargosepudoobservardemaneraclaraelefecto.Ahorasecuentaconevidenciasuficienteparaadvertir que las variaciones en los datos son atribuibles al cambio en la estructura de la prueba, más que al nivel de habilidad de los alumnos.Tomandoencuentatodoslosdatosgenerados,elCenevalconsideraconvenientemodifi-

carlospuntosdecorteylaescaladecalificaciónparalosdoscamposdisciplinaresqueevalúaENLACE MS.6

6 Las autoridades educativas determinaron mantener la escala sin cambio, dado que la prueba ENLACE MS se aplicaría por última vez en 2014. Lo anterior permitió mantener la comparabilidad de los resultados a través del tiempo.

www.ceneval.edu.mx