285

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a

Aporte a la metodología para diseño “a la medida”de reactivos de opción múltiple1

Resumen

Apartir del análisis de más de 1,000 reactivos deopción múltiple catalogados en siete sub-tipos(desde la pregunta simple hasta relación de co-

lumnas), se construyó un apoyo para que el diseñadorde reactivos pueda elegir el tipo más apropiado para unadificultad deseada. Los resultados confirman las suge-rencias de la literatura especializada donde se mencio-na que la presentación del reactivo influye en su dificul-tad. Se incluyen ejemplos que muestran la forma deemplear las curvas de diseño para propósitos específicos.

1. Presentación

Los reactivos de opción múltiple, de uso generalizadoen pruebas de aplicación masiva, han sido estudiadosmuy ampliamente por numerosos autores y se han re-visado sus cualidades para medir los niveles de las di-versas taxonomías existentes (conocimientos, proce-sos mentales, competencias, etcétera); este tipo dereactivos ha sido también objeto de análisis respectoa sus propiedades psicométricas, de funcionamientodiferencial, de sesgo, entre otras.

Una de las ventajas de estos reactivos es que permi-ten construir variantes que dan lugar a formas diferen-tes de explorar una competencia o un objetivo educa-tivo; de hecho, dentro de los reactivos de opciónmúltiple es posible identificar por lo menos unas 20

formas de planteamiento, merced a las cuales se pue-den medir desde conocimientos hasta toma de decisio-nes o respuestas creativas.2

Diversos estudios se enfocan a los agentes que in-fluyen en la dificultad del reactivo. Enumero algunos:1. Posición del reactivo en la prueba (Harnisch, 1983;

Marso R.N., 1970; Smouse A.D. y Munz D.C.,1968; Plake y col., 1982).

2. Organización o presentación de los distractores; elnúmero óptimo de distractores en un reactivo (Ci-zek G.J., 1994; Guttman L. Schelesinger I.M., 1967;Lord F.M., 1977).

3. Uso de distractores específicos (“todas las anterio-res”, “ninguna de las anteriores”, “no sé respon-der”) en lugar de opciones “homogéneas” o del mis-mo campo semántico (Frary R.B., 1991; Kubiszyn T.y Borich G., 1990; Mehrens W.A. y Lehmann I.J.,1982; Rimland B. 1960; Williamson M.L. y Hop-kins K.D., 1967).

Dr. Agustín Tristán López

1 El estudio forma parte del proyecto IEIA 2003-ES, cuyo objetivo

es identificar patrones de dificultad dependiendo del tipo de reac-

tivo, de la forma de presentarse en la prueba y de la organización

y plausibilidad de los distractores.2 En los reactivos de respuesta estructurada, como los de opción

múltiple, no se puede hablar en rigor de respuestas creativas, ya

que el conjunto de respuestas posibles está definido de antemano

en la construcción del mismo reactivo; sería más correcto hablar

de respuestas pseudo-creativas, aunque esto no reduce el interés del

reactivo en la discusión que se presenta en este documento.

286

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a4. Familiaridad del lenguaje en el enunciado o en las

opciones o conocimiento sobre los reactivos y cali-dad de las instrucciones (Lane D.S. y Bull K.S., 1987;Schafer W.D., 2001; Strang H.R., 1977; Traub yHambleton, 1972).

5. Presentación y forma de calificación del reactivo(Dunn T.F. y Goldstein L.G., 1959; Green K., 1984;Haladyna T.M. y Downing S.M., 1989; HughesH.H. y Trimble W.E., 1965; Mueller D.J., 1975;Lord, 1963; Shaha S.H., 1984; Stokes R.R., 1966).El presente trabajo se enfoca a la presentación del

reactivo, porque todo apunta a que es uno de los ele-mentos que pueden ayudar a los diseñadores de reac-tivos para “controlar” su dificultad del reactivo y, enconsecuencia, la dificultad de la prueba.

2. Presentación de los reactivos de opción múltiple

Para fines de este trabajo los reactivos se dividirán entres partes:1. Instrucciones: se explican las condiciones de reali-

zación, se dan aclaraciones o indicaciones de tipogeneral.

2. Tronco, base o encabezado: se encuentra la pregun-ta o problema, dividida a su vez en:2.1 Encabezado propiamente dicho2.2 Zona de información (donde se presenta untexto específico por analizar, así como tablas, grá-ficas, etcétera)

3. Zona de opciones, respuesta o desarrollo: el alum-no debe elegir entre un conjunto de opciones o res-ponder a la pregunta.En forma esquemática, se representan de esta manera:

El cuadro 1 presenta una clasificación básica de 20sub-tipos de reactivos de opción múltiple,3 para califi-cación dicótoma (correcto-incorrecto). Solo para finesindicativos se señalan los niveles taxonómicos4 en loscuales pueden influir estos reactivos y algunas áreas deconocimiento donde generalmente se emplean.

Además, se pueden considerar los reactivos de gru-po que consisten en un enunciado “padre” del cual sederivan varios reactivos “hijos”, que pueden explorarmetodologías, procesos, toma de decisiones, etcétera.En todos estos casos se trata de grupos de reactivosque, combinados, conducen a una exploración muchomás amplia y enfocada a competencias o habilidadesde lo que puede hacer un reactivo en forma aislada(Haladyna, 1999). Por ejemplo:a) Casos (entre ellos, los clínicos de medicina y cien-

cias de la salud, organizados en etapas concretas:interrogatorio y exploración, análisis de laborato-rio, diagnóstico y tratamiento)

b) Problemas (generalmente empleados en áreas comofísica o matemáticas)

c) Análisis de textos (de aplicación en lenguaje y lite-ratura, idiomas, etcétera)

d) Minicasos (similares a los casos, pero limitados ano más de cinco reactivos y no estructurados enforma tan completa como la de los casos)

e) Pseudo-casos, situaciones o contextos (formadospor enunciados que dan un sentido a un conjuntode reactivos, para aclarar o dimensionar el contex-to en el cual debe trabajar el sustentante); a diferen-cia de los grupos (a) – (d), los reactivos hijos sólousan al padre como referencia del contexto, perono lo requieren para emitir la respuesta.

f) Simuladores (que solicitan tomas de decisiones yrespuestas originales, en función de patrones espe-cíficos de solución a una situación que simula larealidad laboral o profesional)Es posible, asimismo, tener múltiples variantes si los

reactivos se califican con criterios de crédito parcial ocon procedimientos ad hoc. La gama de reactivos es,

3 Cuadro tomado de Tristán, 2000-20034 La taxonomía indicada es la de Bloom, no por ser la más acep-

tada sino por ser ampliamente conocida y que sirve de referencia

para otras taxonomías propuestas por otros autores en años más

recientes (Tristán, 2004).

287

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a

pues, muy amplia y a veces supera las posibilidades decatalogar las ideas novedosas que desarrollan los re-dactores de reactivos.

3. Ítems elegidos para el estudio

De los 20 casos señalados, se eligieron siete sub-ti-pos de reactivos para este trabajo. Se presenta unejemplo de cada caso sólo como referencia (no nece-sariamente son reactivos aplicados en las pruebas),ya que no es el objetivo de este estudio constituirseen un elemento didáctico de diseño de reactivos, pa-ra lo cual se deberá referir el lector interesado a lasfuentes clásicas.

Los siete sub-tipos de reactivos elegidos son:

A. Opción múltiple simple. En este caso se pide unarespuesta final a una pregunta o planteamiento pro-puesto.

288

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

aB. Opción múltiple-planteamiento. Se pide que el su-jeto produzca un planteamiento ante una pregunta da-da. No se trata, por lo tanto, de encontrar el resulta-do final sino un resultado intermedio que demuestreque se posee la habilidad de formular hipótesis, expre-sar modelos matemáticos, etcétera.

C. Jerarquización.5 Se pide ordenar elementos, datoso conceptos en función de un criterio que puede serexplícito en el reactivo, o bien dejarse a la libre elec-ción del sujeto.

D. Respuesta alterna múltiple. Combina las cualida-des del reactivo de respuesta alterna (o falso-verdade-ro) múltiple (varias aseveraciones en un mismo reac-tivo) en una presentación simplificada a cuatro ocinco opciones.

E. Opción múltiple con varias respuestas en las opcio-nes. Es una variante que contiene generalmente dosrespuestas en cada opción. La opción correcta es la quetiene las dos respuestas que responden correctamentea la pregunta o situación planteada en el enunciado.

F. Completamiento simple. Se trata de reactivos de op-ción múltiple cuyas opciones proporcionan palabraso elementos que completan el enunciado.

5 El uso de las flechas en las opciones para indicar el sentido del or-

denamiento (2 –>1 –>3 –>4) es una propuesta del IEIA (1999) y

se sugiere como una manera explícita para aclarar al sujeto la for-

ma en la cual se realiza el ordenamiento. Esta forma sustituye a

otras comúnmente empleadas, tales como el uso del guión (2 - 1

- 3 - 4), de los dos puntos (2 : 1 : 3 : 4 ) y de la coma (2, 1, 3, 4),

entre otros posibles símbolos.

289

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a

G. Relación de columnas. Las opciones presentan com-binaciones que relacionan dos columnas o juegos dedatos de un mismo campo semántico.

4. Prueba y análisis de resultados

Se efectuó el análisis con nueve pruebas desarrolladaspor el IEIA para evaluación docente, dentro del proyec-to Examen de Certificación para Profesores de Educa-ción Media Superior y Superior (ECPEMS). Los reacti-vos son analizados con los programas Kalt-plus(modelo clásico de propósito general) y Winsteps (mo-delo de Rasch). Se determina en cada caso el grado dedificultad y se dictamina la calidad de los reactivos conel poder de discriminación y con el ajuste al modelo deRasch; además, se verifica la ausencia de azar por me-dio de la correlación punto biserial rpbis y el coeficien-te PHI. Una vez analizados los reactivos, se ordenaronde acuerdo con uno de los siete sub-tipos elegidos parasu caracterización en cuanto a constructos y otros ele-mentos de validez.

Para este trabajo se tomaron los reactivos de ochoespecialidades docentes: educación primaria, educa-ción preescolar, ciencias sociales, ciencias naturales,matemáticas, lenguaje y comunicación, idioma extran-jero (inglés), junto con la prueba general (habilidadesy conocimientos generales) que se aplica a todas las es-pecialidades. Las pruebas se aplicaron a 2,280 perso-nas adultas (con edades entre 18 y 45 años, de los cua-les 53% son hombres y 47% mujeres); para cadaespecialidad se hicieron dos versiones de 100 a 200

reactivos de opción múltiple, según la especialidad; setrata de pruebas de poder con un tiempo de soluciónde 2.5 a 4 horas, respectivamente. Este trabajo repor-ta resultados obtenidos con 1,018 reactivos.

De las tablas y gráficas construidas para apoyar elanálisis de resultados, se presentan aquí los principa-les casos. Por definición, el grado de dificultad está en-tre 0 y 100%, pero las pruebas realizadas tienen difi-cultades que varían de 10 a 90%, aproximadamente.Recuérdese que el grado de dificultad es un índice in-verso: un reactivo es difícil para valores de grados dedificultad bajos y es fácil para valores de grados de di-ficultad altos.

4.1 Resultados descriptivos

Se determinó la media y la desviación estándar de lasdificultades de los reactivos de acuerdo con cada sub-tipo pero sin distinguir la especialidad, y las dificulta-des medias difirieron cuando más en 15%. La desvia-ción estándar de todos los reactivos de cada tipo nopresentó fluctuaciones importantes y el tipo de menordesviación fue el de respuesta alterna múltiple.

La gráfica 1 muestra los valores medios de dificul-tad de cada tipo ordenados por dificultad y el rangocorrespondiente a una desviación estándar por arri-ba y por debajo de la media (68% de los casos dereactivos caen dentro del rango mostrado). Todas lasmedias caen en rangos de dificultades aceptables. Dehecho, los tipos jerarquización, opción múltiple sim-ple, completamiento simple y relación de columnasson los más centrados entre los reactivos analizados;si se ordenan los tipos en cuanto a dificultad, se apre-cia que el tipo que proporciona una media de reacti-vos relativamente más fáciles es el de jerarquización,mientras que los reactivos relativamente más difíciles

290

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a son de respuesta alterna múltiple, con una diferenciade medias de 15% en dificultad.

Lo anterior concuerda con lo que afirman Hughesy Trimble (1965) en relación con los reactivos de res-puesta alterna, que tienden a ser más difíciles que lasotras presentaciones. Sin embargo, estos autores só-lo exploraron un tipo particular de reactivo con dosafirmaciones y aquí se usó una forma más libre quepuede tener de tres a cinco aseveraciones o postula-dos, lo cual propicia un mayor espectro de explora-ción. El diseñador de reactivos puede aprovechar es-ta observación para diseñar los reactivos cuando serequieran “a la medida” reactivos más difíciles. Has-ta el momento, con el estado del arte disponible endiseño de reactivos no es factible decidir de antema-no el grado su dificultad; no obstante, sabiendo queeste sub-tipo de reactivo tiende a ser más difícil queotras presentaciones, podría dársele preferencia si sedesea balancear una prueba que muy fácil y cuyobanco no cuente con suficientes reactivos calibrados.También se confirma lo que propone Shaha con res-pecto a los reactivos de relación de columnas, loscuales en general son menos difíciles que los de pre-gunta directa.

A continuación se muestran los histogramas de di-ficultades de los siete sub-tipos de reactivos utiliza-dos para este trabajo (en el eje horizontal se tiene ladificultad del reactivo y en el vertical la frecuencia dereactivos). Se indica la moda observada (puede dife-rir del histograma que presenta valores de diez en

diez) y puede apreciarse la dispersión de las dificul-tades en cada caso, lo cual es un posible indicadorpara que los diseñadores de reactivos consideren lautilización de un sub-tipo de reactivo frente a losotros sub-tipos.

Debe tenerse cuidado en la interpretación de estoshistogramas para su uso en el diseño de reactivos, enparticular cuando la moda se tiene dentro del interva-lo de 20 a 25%, que es la zona de esperanza de res-puesta por azar puro. Los reactivos que se analizaronpara las pruebas aplicadas no revelaron la presenciade azar (al obtenerse valores altos en los coeficientesrpbis y PHI); sin embargo, los reactivos que se diseñenposteriormente pudieran caer en dicha zona de dificul-tad, razón por la cual el diseñador deberá verificar ydemostrar que los reactivos que prepare son difíciles,pero sin patrón de azar.

4.2 Resultados por especialidad

El cuadro 3 proporciona los valores máximo y míni-mo de las medias de dificultad por especialidad; en-tre paréntesis se indican las pruebas en las cualesocurrieron los valores superior e inferior. Estos valo-res se obtuvieron promediando para cada especiali-dad todos los reactivos de un tipo; por ejemplo, dela especialidad de inglés se toman todos los reactivosdel tipo respuesta alterna y se obtiene el promedio dedificultades (en este caso 24.4%). Igual procedimien-to se sigue con la prueba de habilidades y conoci-

291

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a

mientos generales (en la cual se obtuvo una dificul-tad media de 66.7%), y se continuó con las otras es-pecialidades6. Con estos datos promedio se tiene otraimagen de la dispersión de los reactivos en funciónde la especialidad.

El rango de dificultades más grande (comparativa-mente entre especialidades) se tiene con los reactivosde relación de columnas y el más pequeño con el deopción múltiple planteamiento.

La gráfica 3 muestra las dificultades medias paralas ocho especialidades analizadas. Se puede ver másclaramente la dispersión que se obtiene (recuérdeseque se trata de medias de dificultad por especialidad).

La gráfica 4 presenta sólo el valor medio de dificul-tad y los valores medio superior y medio inferior delas especialidades en cada tipo de reactivo.

Estos resultados son interesantes y novedosos: per-miten dar una idea general al diseñador de reactivosrespecto a las dispersiones que pueden encontrarse enlas medias de dificultades para cada tipo de reactivo.

5. Aplicación práctica para el diseño de reactivos “a la medida”

Los resultados presentados pueden utilizarse comouna primera aproximación para el diseño de reactivos

6 Los elementos propuestos en la tabla sólo deben servir como indica-

tivos de la tendencia observada en las pruebas analizadas. No puede

afirmarse que los reactivos de respuesta alterna siempre van a resultar

más difíciles en promedio para los reactivos de inglés y más fáciles en

promedio para las preguntas de la prueba general. La dificultad obser-

vada depende de los temas o contenidos explorados en la prueba.

292

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a

293

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a

dentro de rangos deseados de dificultad, lo que podríadenominarse “diseño a la medida”. Para ello se presen-ta la gráfica 5, donde se indican las zonas que corres-ponden a los intervalos de confianza para cada tipo dereactivo respecto a su grado de dificultad medio. Enprincipio, cualquier tipo de reactivo puede incidir encualquier valor de dificultad, que debe calibrarse con unpiloteo o en una aplicación real, pero la gráfica sugiereque hay una probabilidad p de que un cierto tipo dereactivo se ubica dentro de un rango particular de difi-cultades. Se proponen valores de confianza q=0.5, q=0.8y q=0.95, con lo cual el diseñador puede elegir el tipode reactivo más probable para una dificultad dada. Laprobabilidad de la elección se obtiene como comple-mento: p=1-q.

Dado un tipo de reactivo y un grado de dificultaddeseado, ubíquese su posición en la gráfica 5. Si elpunto ubicado se encuentra cerca del valor medio pa-ra el tipo de reactivo, entonces se tiene una alta pro-babilidad de que sea el reactivo idóneo para el diseño.En cambio, si el punto se encuentra alejado del valormedio, entonces es menor la probabilidad de que elreactivo pueda construirse con el tipo dado. Las deci-siones que el diseñador tome con esta aproximación,puede complementarlas con la gráfica 4.

Junto con la forma del reactivo, se debe contar conuna metodología para el diseño de las opciones. Elloes motivo de otro trabajo; en los ejemplos que se pre-sentan más adelante se hacen comentarios relaciona-dos con las opciones distractoras.

Ejemplo 1. Supóngase que se desea un reactivo de 30%de dificultad, se puede ver en la gráfica 5 que los reac-tivos de opción múltiple planteamiento, opción múlti-ple simple y completamiento simple quedan fuera delrango de reactivos posibles. Véase, en cambio, que elreactivo de jerarquización corta en el rango cercano aq=0.92 (por lo tanto p=0.08), lo cual se debe interpre-tarse así: hay un 8% de probabilidad de que un reacti-vo de este tipo pueda tener el 30% de dificultad. Seaprecia también que los reactivos de respuesta alterna,varias respuestas en las opciones y relación de colum-nas tienen una probabilidad mayor del 20% de que co-rrespondan a la dificultad esperada.

Supóngase que se elige el reactivo de tipo respues-ta alterna, debe tenerse cuidado al diseñar el reactivo,porque la ayuda de diseño de la misma gráfica 5 indi-ca que este tipo de reactivo brinda un rango de 22%a 58% de dificultad, en cuyo caso el diseñador debe-rá buscar una redacción que se incline más hacia unreactivo difícil y no hacia uno fácil. Esto se puede lo-grar redactando opciones distractoras que compitanfuertemente con la respuesta correcta.Ejemplo 2. Se desea diseñar un reactivo con un gra-do de dificultad de 74% (reactivo fácil). Con ayuda dela gráfica 5, se sugieren los reactivos de jerarquizacióny de relación de columnas, con una probabilidad p en-tre 10 y 12%. En este caso, para que los reactivos seinclinen hacia el lado fácil deberán redactarse opcio-nes distractoras plausibles y competitivas entre sí, pe-ro que compitan poco con la respuesta correcta.

294

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

aSupóngase que, dado el contenido que se va a me-

dir, los dos tipos de reactivos sugeridos no fueran muypertinentes; entonces, como siguiente recurso, se sugie-re completar la decisión con ayuda de la gráfica 4, don-de se aprecia que otro reactivo candidato (aunque me-nos probable) es el de varias respuestas en las opciones.

Conclusiones

Se mostró que la presentación del reactivo puede te-ner una incidencia en la gama de dificultades dentrode una prueba, especialmente con dependencia del ti-po de reactivos construidos en cada área de conoci-miento o de especialidad (la dificultad no se asocia ne-cesariamente con el área de especialidad sino con laforma de explorarla).

La presentación del reactivo puede ser de ayuda pa-ra el diseñador si se desea construir reactivos “a la me-

dida”, ya que hay reactivos cuya media fluctúa pocoentre especialidades, como los de opción múltiple depregunta simple, mientras que hay otras presentacio-nes que tienen mayores fluctuaciones por especialidad,como los reactivos de jerarquización, de relación decolumnas y el de varias respuestas en las opciones.

El proyecto del cual forma parte este estudio conti-núa durante 2004 con los 20 tipos de reactivos, ade-más de los reactivos de grupo (casos, análisis de tex-tos y pseudo-casos). De esta manera, se tendrá unainformación más fina respecto al tipo de reactivo y supresentación, con el fin de proporcionarle a los dise-ñadores de reactivos más elementos de decisión.

El grado de dificultad deberá obtenerse en forma ex-perimental una vez aplicado el reactivo a la poblaciónobjetivo. La ayuda de diseño que se proporciona en es-te trabajo sólo debe considerarse como un elementoque facilite la elección del tipo reactivo para dirigir eldiseño de manera más certera desde un principio.

Referencias

• Bloom, B.S. (1956). Taxonomy of educational objectives:

Handbook I: Cognitive domain. Nueva York. David

McKay. También hay versión en español: Taxonomía de

los objetivos de la educación. Editorial El Ateneo, 10a.

edición, 1990. 273 pp.

• Cizek, G.J. (1994). The effect of altering the position ofoptions in a multiple choice examination. Educational

and Psychological Measurement, vol. 54 núm.1, 8-20

• Dunn, T.F. y L.G. Golstein (1959). Test difficulty, validity

and reliability as functions of selected multiple-choice

item construction principles. Educational and sychologi-

cal Measurement, vol. XIX, núm. 2, 1959

• Frary, R.B. (1991). The none-of-the-above option: an

empirical study. Applied Measurement in Education,

4(2), 115-124

• Green, K. (1984). Effects of item characteristics on mul-

tiple-choice item difficulty. Educational and Psychologi-

cal Measurement, vol. 44, 551-561

295

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a

• Guttman, L. y I.M. Schlesinger (1967). Systematic cons-

tructionof distractors for ability and achievement test

items. Educational and Psychological Measurement, 27,

569-580

• Haladyna, T.M. y S.M. Downing (1989). Validity of a ta-

xonomy of multiple-choice item-writing rules. Applied

Measurement in Education, 2(1), 51-78

• Haladyna, T.M. (1999). Developing and validating mul-

tiple-choice test items. 2a. ed. Lawrence Erlbaum Asso-

ciates, Publishers, Nueva Jersey, 247 pp

• Harnisch, D.L. (1983). Item response patterns: applica-

tions for educational practice. Journal of Educational

Measurement, vol. 20, núm.2, 191-206

• Hughes, H.H. y W.E. Trimble (1965). The use of com-

plex alternatives in multiple choice items. Educational

and Psychological Measurement, vol. XXV, núm. 1, 117-

126

• Kubiszyn, T. y G. Borich (1990). Educational testing and

measurement. 3a. ed. Scott, Foresman/Little, Brown Hig-

her Education. Illinois. pp 77-88

• Lane, D.S. y K.S. Bull (1987). The effects of knowledge

of item arrangement, gender, and statistical and cogniti-

ve item difficulty on test performance. Educational and

Psychological measurement, 47. 865-879

• Linacre, J.M. (2003). Winsteps. Manual del programa,

120 pp.

• Lord, F.M. (1963). Formula scoring and validity. Educa-

tional and Psychological Measurement, Vol. XXIII, núm.

4, 663-672

• Lord, F.M. (1977). Optimal number of choices per item

– a comparison of four approaches. Journal of Educatio-

nal Measurement, Vol. 14, núm. 1, 33-38

• Marso, R.N. (1970). Test item arrangement, testing time,

and performance. Journal of Educational Measurement,

vol. 7, núm. 2, 113-118

• Mehrens, W.A., I.J. Lehmann (1982). Medición y evalua-

ción en la Educación y en la Psicología. CECSA, México.

Cap. 10, pp 279-308

• Mueller, D.J. (1975). An assessment of the effectiveness

of complex alternatives in multiple choice achievement

test items. Educational and Psychological Measurement,

35, 135-141

• Plake, B.S. y col. (1982). Effects of item arrangement,

knowledge of arrangement test anxiety and sex on test

performance, Journal of Educational Measurement, vol.

19, núm. 1, 49-57

• Rimland, B. (1960). The effects of varying time limits

and of using “right answer not given” in experimental

forms of the U.S. Navy Arithmetic Test. Educational and

Psychological Measurement, vol. XX, núm. 3, 533-539

• Shaha, S.H. (1984). Matching tests: reduced anxiety and

increased test effectiveness. Educational and Psycholo-

gical Measurement, vol. 44. 869-881

• Schafer, W.D. (2001). Effects of teacher knowledge of ru-

brics on student achievement in four content areas. Ap-

plied Measurement in Education 14(2), 151-170

• Smouse, A.D. y D.C. Munz (1968). The effects of an-

xiety and item difficulty sequence ona chievement testing

scores. The Journal of Psychology, 68, 181-184

• Stokes, R.R. (1966). The split-response technique. Phi

Delta Kappan, Enero, 271-272

• Strang, H.R. (1977). The effects of technical and unfami-

lilar options on guessing on multiple choice tests items.

Journal of Educational Measurement, 14(3), 253-259

• Traub, R.E. y R.K. Hambleton (1972). The effect of sco-

ring instructions and degree of speededness on the vali-

dity and reliability of multiple choice tests. Educational

and Psychological Measurement 32, 737-758

• Tristán, L.A. (1999). KALT-Plus, Programa de califica-

ción para pruebas objetivas. Manual IEIA. 90 pp.

• Tristán, L.A. (2003). Manual de reactivos de opción múl-

tiple y estándares de redacción. Material de curso IEIA,

México. 70 pp.

• Tristán, L.A. (en trámite de publicación). Las taxonomías

del aprendizaje – una revisión actualizada. Documento

interno IEIA, 2004, 56 pp.

• Williamson, M.L. y K.D. Hopkins (1967). The use of

“none of these” versus homogeneous alternatives on

multiple-choice tests: experimental-reliability and validity

comparisons. Journal or Educational Measurements, (4)

2, pp. 53-58

296

Sext

o Fo

ro d

e Ev

alua

ción

Edu

cativ

a

M E M O R I A