Upload
y-casart
View
61
Download
0
Embed Size (px)
Citation preview
Métodos para la asignación de puntajeID7756 Evaluación del Aprendizaje de Idiomas
Enero-Marzo 2014Prof. Yris Casart [email protected]
Proceso de medición
1) Definición teórica del constructo2) Definición operacional del constructo3) Establecimiento del método para la
asignación de puntajeCuantificación de las respuestas, cómo derivar la puntuación a partir de las respuestas de los evaluandos.Se obtiene una medida.
(Bachman & Palmer, 1996)
Establecimiento del método para la asignación de puntaje
Forma parte de la operacionalización. Se debe evaluar en función de su utilidad. Las decisiones que se adoptan en la etapa
de operacionalización son tentativas. Es recomendable administrar la prueba
para corregir las respuestas y analizar los resultados.
(Bachman & Palmer, 1996)
Establecimiento del método para la asignación de puntaje
Depende de, y a su vez influye sobre, otros aspectos de la prueba tales como el tipo de tareas incluidas o las respuestas esperadas.
Definición de constructo
Áreas de habilidad lingüística a las cuáles se debe asignar puntuación.
Tipo de puntuación que se debe reportar.
(pormenorizada o compuesta)(Bachman & Palmer, 1996)
Métodos de asignación de puntaje
Primer enfoque: “La puntuación se define como el número de tareas de la prueba realizadas de manera exitosa.” (p. 194)Segundo enfoque:“Definir diversos niveles de la habilidad lingüística en una o más escalas de valoración y calificar las respuestas en función de dichas escalas.” (p. 195)
(Bachman & Palmer, 1996)
Número de respuestas correctasSe suma el número de respuestas correctas.Se utiliza con ítems de selección o respuestas con producción limitada.Comúnmente utilizado para evaluar áreas específicas de conocimiento lingüístico o en tareas de uso receptivo de la lengua. (Bachman & Palmer, 1996)
Número de respuestas correctas
Este método requiere: Definición de criterio(s) de
corrección. Determinar si las respuestas serán
consideradas correctas, incorrectas o con diferentes grados de corrección.
(Bachman & Palmer, 1996)
Uso de escalas de valoración
Se juzga la calidad de la respuesta por niveles de habilidad.Usadas en tareas con estímulo/reactivo (prompt) que requieren respuestas extensas.Se emplean para evaluar el desempeño en tareas de uso productivo de la lengua. (Bachman & Palmer, 1996)
Uso de escalas de valoración
Este método requiere: Definición las escalas de valoración
en función de las áreas de habilidad lingüística.
Determinar los niveles de habilidad para cada escala.
(Bachman & Palmer, 1996)
Métodos de asignación de puntaje
Para ambos métodos es preciso: Especificar el(los) criterio(s) para
establecer la corrección de las respuestas.
Establecer los procedimientos para asignar el puntaje.
(Bachman & Palmer, 1996)
Consideraciones para la corrección de preguntas
de selección
Criterio de corrección único
My neighbor asked me _____ away the tall weeds in my yard.
a) clear
b) to clear
c) cleared
d) clearing
Mide: conocimiento gramatical.Criterio: precisión gramatical.
*
(Bachman & Palmer, 1996)
Procedimientos para la asignación de puntuación
She turned the wheel quickly to _______ a tractor and her car went off the road.
a) hitted
b) avoided
c) preserve
d) avoid
(Bachman & Palmer, 1996)
*
Procedimientos para la asignación de puntuación: correcto/incorrecto
She turned the wheel quickly to _______ a tractor and her car went off the road.
a) hitted 0
b) avoided 0
c) preserve 0
d) avoid 1
(Bachman & Palmer, 1996)
Procedimientos para la asignación de puntuación: otros enfoques
She turned the wheel quickly to _______ a tractor and her car went off the road.
Grammar Meaning
a) hitted
b) avoided
c) preserve
d) avoid
(Bachman & Palmer, 1996)
She turned the wheel quickly to _______ a tractor and her car went off the road.
Grammar Meaning
a) hitted b) avoided c) preserve d) avoid
(Bachman & Palmer, 1996)
Procedimientos para la asignación de puntuación: otros enfoques
She turned the wheel quickly to _______ a tractor and her car went off the road.
Grammar Meaning
a) hitted 0 0
b) avoided 0 1
c) preserve 1 0
d) avoid 1 1
(Bachman & Palmer, 1996)
Procedimientos para la asignación de puntaje: correcto/incorrecto múltiple
She turned the wheel quickly to _______ a tractor and her car went off the road.
Grammar Meaning Both
a) hitted 0 0 0
b) avoided 0 1 1
c) preserve 1 0 1
d) avoid 1 1 2
(Bachman & Palmer, 1996)
Procedimientos para la asignación de puntuación: crédito parcial
Ventajas de estos enfoques
Proporcionan más información acerca de las respuestas (áreas fuertes y débiles de los evaluandos). Por lo tanto, …
Es posible reportar puntuaciones diferentes para las distintas áreas de habilidad lingüística evaluadas.
(Bachman & Palmer, 1996)
Ventajas de estos enfoques
Su implementación requiere una descripción detallada de los componentes de la habilidad lingüística a evaluar (constructo) y de los criterios de corrección.
Esto fortalece la relación entre las puntuaciones asignadas y el constructo que se desea medir.
(Bachman & Palmer, 1996)
Desventaja de estos enfoques
Su implementación (tanto la corrección como el análisis de los resultados) resulta más complicada que dar una sola puntuación por respuestas correctas o incorrectas.
(Bachman & Palmer, 1996)
Respuesta correcta vs. Mejor respuesta
El evaluando debe escoger la mejor respuesta entre las opciones proporcionadas. Por ejemplo, escoger la palabra cuyo significado se acerca más al de una palabra subrayada o escoger el mejor título para un texto.
(Bachman & Palmer, 1996)
Parte de la premisa de que hay una sola respuesta correcta y que dicha respuesta se encuentra entre las alternativas. En las pruebas de gramática en formato de selección simple por lo general se utilizan preguntas de este tipo.
A este respecto, Bachman y Palmer (1996, p. 203) apuntan lo siguiente:
“En el uso de la lengua prácticamente no hay ninguna situación en la cual exista una sola respuesta apropiada”.
Factor de corrección
El factor de corrección se utiliza para eliminar posibles ventajas de los evaluandos que contestan correctamente al azar, sobre los que no tratan de adivinar las respuestas.Sin embargo, no es posible distinguir entre ítems contestados al azar y los contestados correctamente a partir de conocimiento parcial (adivinanza “informada”).
(Bachman & Palmer, 1996)
Medidas a adoptar
Proporcionar suficiente tiempo para que los evaluandos contesten la prueba.
Adecuar la prueba al nivel de los evaluandos.
Alentar a los evaluandos para que descarten tantas opciones como puedan antes de tratar de adivinar la respuesta.
(Bachman & Palmer, 1996)
Consideraciones para la corrección de preguntas de producción limitada
Criterio de corrección único
Ítem de producción limitada que mide conocimiento gramatical y cuyo criterio único de corrección es precisión gramatical.
She turned the wheel quickly to _______ a tractor and her car went off the road.
preserve
(Bachman & Palmer, 1996)
Criterio de corrección único
Ítem de producción limitada que mide conocimiento léxico y cuyo criterio único de corrección es precisión de significado.
We mailed out several hundred ________ of the advertisement to our costumers this morning.
copy
(Bachman & Palmer, 1996)
Los ejemplos ilustran que… …los criterios de corrección deben reflejar
la definición del constructo que se desea medir.
…es problemático intentar medir un área de conocimiento lingüístico aisladamente a través de ítems de producción limitada.
…se aceptarían como correctas, respuestas que resultarían incorrectas o inapropiadas en el ámbito de uso de la lengua.
(Bachman & Palmer, 1996)
Dado que “el uso de la lengua es un proceso interactivo que involucra múltiples áreas de conocimiento lingüístico,
(Bachman & Palmer, 1996, p. 197)
Dado que “el uso de la lengua es un proceso interactivo que involucra múltiples áreas de conocimiento lingüístico, y nuestra creencia en la importancia de la autenticidad e interactividad en las tareas de las pruebas,
(Bachman & Palmer, 1996, p. 197)
Dado que “el uso de la lengua es un proceso interactivo que involucra múltiples áreas de conocimiento lingüístico, y nuestra creencia en la importancia de la autenticidad e interactividad en las tareas de las pruebas, (…) para poder hacer inferencias sobre la habilidad lingüística de los evaluandos sobre la base de sus respuestas a las tareas de la prueba,
(Bachman & Palmer, 1996, p. 197)
Dado que “el uso de la lengua es un proceso interactivo que involucra múltiples áreas de conocimiento lingüístico, y nuestra creencia en la importancia de la autenticidad e interactividad en las tareas de las pruebas, (…) para poder hacer inferencias sobre la habilidad lingüística de los evaluandos sobre la base de sus respuestas a las tareas de la prueba, será necesario emplear criterios de corrección múltiples al asignar el puntaje a esas respuestas.”
(Bachman & Palmer, 1996, p. 197)
She turned the wheel quickly to _______ a tractor and her car went off the road.
preserve avoid dodge
We mailed out several hundred _______ of the advertisement to our costumers this morning.
copy copies duplicates
Precisión gramatical + léxica + etc.
(Bachman & Palmer, 1996)
Consideraciones
All professors at the university _______ their teaching because of the large pay raises given to top administrators while faculty salaries were frozen.
El rango de posibles respuestas a las preguntas de producción limitada es muy amplio. Especialmente si es posible producir más de una palabra o frase.
(Bachman & Palmer, 1996)
Implicaciones para la corrección
1) Resulta más complicado asegurarse de que el criterio de corrección se corresponde con la definición de constructo, ya que puede haber respuestas aceptables que no cumplen con el criterio de corrección.
2) La clave debe incluir una lista de posibles respuestas correctas. También las respuestas aceptables y ponderación en caso de adoptar método de crédito parcial.
(Bachman & Palmer, 1996)
Implicaciones para la corrección
3) Dado que los evaluandos construyen su propia respuesta, se consideran preguntas del tipo “mejor respuesta”.
4) Por la amplia gama de respuestas, se recomienda utilizar el método de crédito parcial.
5) Es poco probable adivinar la respuesta al azar, por lo que no aplica utilizar factor de corrección.
(Bachman & Palmer, 1996)
Conocimiento temático
According to the passage, the most effective way to avoid procrastination is to ________ .
Ítem de comprensión del contenido de un texto. Constructo: habilidad para realizar tareas de lectura.Criterio de corrección: contenido temático incluido en el input a interpretar.
(Bachman & Palmer, 1996)
Uso de escalas de valoración para identificar
niveles de habilidad lingüística
Escalas globales
Parten de la premisa de que la habilidad lingüística es una habilidad unitaria, sin embargo estas escalas contienen múltiples componentes.Resulta difícil saber lo que refleja la puntuación.Resulta difícil asignar un nivel, si no todos los componentes cumplen los criterios al mismo tiempo.Puede haber discrepancias en la ponderación asignada a los diferentes componentes.
(Bachman & Palmer, 1996)
Escalas analíticas
Las definiciones operacionales de las escalas se elaboran a partir de las definiciones teóricas del constructo.Los niveles de las escalas se refieren a los niveles de las diferentes áreas de la habilidad lingüística.El nivel más bajo “no hay evidencia de”El nivel más alto “se evidencia el dominio de”
(Bachman & Palmer, 1996)
Ventajas de las escalas analíticas
Permiten elaborar un perfil de las áreas de habilidad lingüística.
Reflejan los aspectos que los correctores consideran a la hora de asignar la puntuación.
(Bachman & Palmer, 1996)
Definición de las escalas
Indicar las características específicas de la muestra que se deben evaluar empleando la escala.
Definir los niveles de la escala en función del grado de dominio de dichas características.
(Bachman & Palmer, 1996)
Consideraciones
Las muestras evaluables dan un rango de oportunidades para que los componentes de la habilidad lingüística estén presentes.
Pueden ser eficientes y confiables si: Se toma en cuenta los recursos necesarios. Prever las fuentes de inconsistencia:
diferentes interpretaciones, diferentes estándares (severidad), consideración de elementos no relevantes dentro de la escala.
Recomendaciones
Seleccionar y entrenar a los correctores Nivel de habilidad lingüística requerido. Cómo entrenar y seleccionar a los
evaluadores (p. 222). Obtener suficientes evaluaciones de cada
muestra. Calcular la confiabilidad (consistencia del
evaluador y entre los evaluadores)
Reporte de las puntuaciones
Puntuaciones por áreas de habilidad lingüística o por secciones de la prueba (subtests). Proporcionan un perfil.
Puntuación unificada: Compensatoria: se suman o promedian las
notas de las diferentes secciones. No compensatoria: se toma la nota más
baja obtenida en una o varias partes.
Proceso de asignación de puntaje
El desarrollo del método de asignación de puntaje es un proceso cíclico e iterativo que involucra. Elaboración inicial Ensayo Análisis de resultados Revisión
Referencias
Bachman, L. and Palmer, A. (1996). Language Testing in Practice: Designing and Developing Useful Language Tests. Oxford, UK: Oxford University Press.
13 de mayo de 2014 (Sesión 11)• Capítulo 12: Administración de las pruebas.• Evaluación de la comprensión auditiva
20 de mayo de 2014 (Sesión 12)• Métodos alternativos de evaluación.• Entrega del proyecto final
27 de mayo de 2014Entrega del portafolio