Embed Size (px)
Citation preview
Administración de pruebasAdministración de pruebasProcedimientos y recolección de datosProcedimientos y recolección de datos
ID7756 Evaluación del Aprendizaje de IdiomasID7756 Evaluación del Aprendizaje de IdiomasEnero-Marzo 2014Enero-Marzo 2014Prof. Yris Casart Prof. Yris Casart [email protected]@usb.ve
AdministraciónAdministración
Procedimientos para administrar la prueba y para recolectar información:Evaluar la utilidad de la prueba:Información de diversas fuentes sobre las cualidades de la prueba con el fin de mejorar su utilidad.
Hacer inferencias sobre la habilidad lingüística de los evaluandos:Puntuaciones de la prueba.
(Bachman & Palmer, 1996)
ConsideracionesConsideraciones
Se deben seguir los lineamientos establecidos en el diseño y la operacionalización. Esta etapa está relacionada con las otras cíclicamente.
Permite tener CIERTO control sobre el proceso de administración.
Comprende las etapas de preparación, administración y recolección de datos.
(Bachman & Palmer, 1996)
Procedimientos para la Procedimientos para la administración de la administración de la
pruebaprueba Preparar las condiciones de administración Proporcionar las instrucciones Mantener un ambiente adecuado Recoger las pruebas
Preparar las condiciones de Preparar las condiciones de administraciónadministración
Evaluar la adecuación del espacio.Verificar la disponibilidad de materiales,
equipos, etc.Definir el momento más adecuado y la
duración de la prueba. Asignar tareas y roles a los evaluadores
(entrenamiento y práctica).
(Bachman & Palmer, 1996)
Diferentes pruebas, Diferentes pruebas, diferentes consideracionesdiferentes consideraciones
Prueba de producción oral:Dos áreas separadas bien iluminadas y tranquilas (entrevista y dramatización).Disponibilidad de escritorios, guion de entrevistas, equipo de grabación, etc.Suficiente tiempo para cada evaluando.Contemplar un tiempo para recesos (administradores).
(Bachman & Palmer, 1996)
Diferentes pruebas, Diferentes pruebas, diferentes consideracionesdiferentes consideraciones
Prueba de escritura con grupos numerosos:Ambiente sin distracciones y con suficiente espacio.Disponibilidad de suministros para escribir.Tomar medidas para que no se copien con el fin de maximizar la utilidad. ¿?(validez de las interpretaciones de las puntuaciones)(Bachman & Palmer, 1996)
Proporcionar las instruccionesProporcionar las instrucciones
Es esencial que todos los evaluandos reciban las instrucciones. Se debe procurar las condiciones necesarias para que todos escuchen o lean las instrucciones.
Entrenar al personal para suministrar las instrucciones en forma oral.
(Bachman & Palmer, 1996)
Mantener un ambiente adecuadoMantener un ambiente adecuado
Asegurarse de que no haya elementos que distraigan a los evaluandos durante la administración de la prueba.
Controlar variabilidad, sin sacrificar la autenticidad.
Una actitud autoritaria puede producir un impacto negativo.
(Bachman & Palmer, 1996)
Recoger las pruebasRecoger las pruebas
Es el último paso de la administración.Aprovechar para que los evaluandos
comenten por escrito sobre su experiencia.
Tomar nota de las observaciones y sugerencias de los evaluandos puede tener un impacto positivo.
(Bachman & Palmer, 1996)
Prueba preliminar vs. prueba Prueba preliminar vs. prueba operativaoperativa
Su propósito es recoger información
sobre la utilidad de la prueba para
revisar la prueba o el procedimiento de
administración.
Su propósito es obtener datos (puntuación) para hacer inferencias sobre la habilidad lingüística de los evaluandos.
(Bachman & Palmer, 1996)
Prueba preliminarPrueba preliminar
Al comienzo generalmente se hace con individuos o grupos reducidos para recoger datos cualitativos. ((early pre-testingearly pre-testing))
Luego se recogen datos con grupos más grandes siguiendo las instrucciones de la prueba. En ese caso se recolectan datos cuantitativos y cualitativos. ((field trialfield trial))
Estos procedimientos dependerán de los recursos disponibles y de la magnitud de la prueba. (Bachman & Palmer, 1996)
Prueba operativaPrueba operativa
Aunque su principal propósito es obtener las puntuaciones, “también es importante continuar recolectando datos sobre los procedimientos de evaluación, los cuales proporcionan información acerca de las modificaciones que podrían ser necesarias para mejorar la ________ (efectividad) de la prueba.”
(Bachman & Palmer, 1996; 234-235)
utilidad
Recolección de Recolección de información para evaluar información para evaluar la utilidad de la pruebala utilidad de la prueba
Propósitos específicosTipos de feedbackFuentes de informaciónRecursos disponiblesMétodos de recolección
Propósitos específicosPropósitos específicos
Procedimientos (espacio y evaluadores)
Asignación y distribución del tiempo
Claridad de las instrucciones
Reacción de los evaluandos a las tareas
(Bachman & Palmer, 1996)
Adecuación de los procedimientosAdecuación de los procedimientos
Resulta imposible anticipar los posibles problemas que pueden surgir:Espacio: condiciones inesperadas como ruido, iluminación inadecuada, etc.(prueba de comprensión oral y cuadernillos)Evaluadores:
(Bachman & Palmer, 1996)
Adecuación de los procedimientosAdecuación de los procedimientos
Resulta imposible anticipar los posibles problemas que pueden surgir:Espacio: condiciones inesperadas como ruido, iluminación inadecuada, etc.(prueba de comprensión oral y cuadernillos)Evaluadores: entrenamiento insuficiente, hostilidad, no habla la lengua materna de los evaluandos, etc.
(Bachman & Palmer, 1996)
Adecuación de los procedimientosAdecuación de los procedimientos
Resulta imposible anticipar los posibles problemas que pueden surgir:Espacio: condiciones inesperadas como ruido, iluminación inadecuada, etc.(prueba de comprensión oral y cuadernillos)(prueba de comprensión oral y cuadernillos)Evaluadores: entrenamiento insuficiente, hostilidad, no habla la lengua materna de los evaluandos, etc.
(Bachman & Palmer, 1996)
Asignación y distribución del tiempoAsignación y distribución del tiempo
A través de una prueba piloto se puede determinar si el tiempo estipulado es suficiente para que los evaluandos se desempeñen de acuerdo a su capacidad. Los evaluandos requirieron diferente cantidad
de tiempo para realizar las tareas de la primera parte de una prueba.
Los evaluandos requirieron de mucho tiempo para leer y entender las instrucciones y ejemplos de las tareas de la prueba.
(Bachman & Palmer, 1996)
Claridad de las instruccionesClaridad de las instrucciones
Se recomienda utilizar las especificaciones de la tarea como punto de partida con el propósito de indicar a los evaluandos las características de la respuesta esperada.Esto contribuirá a que exista una correspondencia entre la respuesta del evaluando y el uso de la lengua en el ámbito de uso de la lengua descrito en las especificaciones.
(Bachman & Palmer, 1996)
Reacción de los evaluandosReacción de los evaluandos
Es posible recolectar información cualitativa:Con respecto a los procedimientos: duración, materiales, etc.Con respecto a las tareas: relevancia, dificultad, longitud, etc.
Los datos cuantitativos (puntuaciones) se pueden analizar estadísticamente para obtener información sobre el desempeño de los evaluandos.
(Bachman & Palmer, 1996)
Tipos de Tipos de feedbackfeedback
Sobre la habilidad lingüística:Pregunta: ¿En qué medida las tareas de la
prueba requieren el uso de los diferentes componentes de su habilidad lingüística?
Problema: Poca variabilidad en la notas de una prueba cuyo objetivo es evaluar el conocimiento sobre organización textual en un amplio rango de niveles.
(Bachman & Palmer, 1996)
Tipos de Tipos de feedbackfeedback
Sobre el proceso de administración:Cuando los evaluandos hacen preguntas
relevantes sobre las tareas o la mecánica de la prueba que no están contempladas en las instrucciones.
Si al administrar una prueba los administradores se dan cuenta que la grabación no se escucha bien en todas las áreas del salón.
(Bachman & Palmer, 1996)
Fuentes de informaciónFuentes de información
Evaluandos Percepciones y actitudes acerca de la prueba.
Evaluadores Efectividad de los procedimientos de
administración.
Usuarios Utilidad de las puntuaciones de la prueba con
relación a sus necesidades.
(Bachman & Palmer, 1996)
Recursos disponiblesRecursos disponibles
Por lo general, el proceso de recolección de datos culmina después de que la prueba se utiliza por primera vez.
Sin embargo, es recomendable continuar recolectando datos sobre la utilidad de la prueba mientras la prueba se continúe utilizando.
Mantener el balance entre la utilidad de la prueba y los recursos disponibles.
(Bachman & Palmer, 1996)
Métodos de recolecciónMétodos de recolección
Cuestionarios Selección múltiple Escalas Abiertos
Protocolos de pensamiento en voz altaObservación y descripciónEntrevistas
(Bachman & Palmer, 1996)
CuestionariosCuestionarios
Selección múltiple: información específica y respuestas limitadas, pero podría quedar información fuera de las alternativas
Escalas: Información específica (cuantificable) sobre la intensidad y dirección de sus sentimientos sobre varios aspectos de la prueba. Restringe el rango y contenido de las respuestas.
Abiertos: Recoge respuestas que probablemente no se anticiparon, pero a lo mejor no se recoge información puntual de interés.
(Bachman & Palmer, 1996)
Protocolos de pensamiento en voz altaProtocolos de pensamiento en voz alta
Los evaluandos describen el proceso de contestar la prueba mientras la contestan.La recolección de datos es inmediata.Falta de control sobre el contenido del feedback.Dificultad cuando se trata de una prueba de producción oral o comprensión auditiva.
(Bachman & Palmer, 1996)
Observación y descripciónObservación y descripción
Un observador externo se encarga de monitorear el proceso de administración y describe lo que observa.Formato abierto para registrar lo que observaInstrucciones o una lista de cotejo con categorías específicas sobre lo que debe observar.
(Bachman & Palmer, 1996)
EntrevistasEntrevistas
No estructurada: Los evaluandos hablan libremente sobre lo que deseen comentar.
Estructurada: Se le hacen preguntas específicas sobre los aspectos que se desean indagar.
Puede tener un impacto positivo porque los evaluandos se sienten involucrados, pero requiere de tiempo (recursos).
(Bachman & Palmer, 1996)
ReferenciasReferencias
Bachman, L. and Palmer, A. (1996). Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford, UK: Oxford University Press.
20 de mayo de 2014 (Sesión 12)• Métodos alternativos de evaluación.• Actividad 4• Entrega del proyecto final
27 de mayo de 2014
Entrega del portafolio
Proyecto individual (35%)
Diseño, administración y análisis de resultados de un instrumento desarrollado por el participante para evaluar las habilidades lingüísticas de un grupo determinado de estudiantes. El proyecto constará de dos partes:
• PARTE I: Versión preliminar de las especificaciones y del instrumento (10%).
• PARTE II: Versión revisada de las especificaciones y del instrumento aplicado y análisis de los resultados del instrumento (25%).
