Instructivo Para Elaboracion de Items

VICERRECTORA ACADMICA Y DE INVESTIGACIONES SISTEMA NACIONAL DE EVALUACIN

1

INSTRUCTIVO PARA LA ELABORACIN DE ITEMS Y ESTRUCTURACION DE PRUEBAS

DOCUMENTO DIRIGIDO A DOCENTES, TUTORES, COORDINADORES ACADMICOS Y DE INVESTIGACIN Y LDERES DE PROGRAMA CON EL FIN DE FORTALECER EL PROCESO DE EVALUACIN DEL APRENDIZAJE EN LA UNAD.

UNIVERSIDAD NACIONAL ABIERTA Y A DISTANCIA UNAD

Bogot DC, Enero de 2009


2

Elaborado por:

Julio Ernesto Rojas, Coordinacin Nacional de Evaluacin Vicerrectora Acadmica. Elena Restrepo, Escuela de Ciencias Administrativas, Contables, Econmicas y de Negocios. Leonor Barreto Garavito, Escuela de Ciencias Agrcolas, Pecuarias y del Medio Ambiente. Mara Isabel Corts, Escuela de Ciencias Sociales, Artes y Humanidades. Margarita Gmez de Illera, Escuela de Ciencias Bsicas, Tecnologa e Ingeniera. Carmen Eugenia Pia, Escuela de Ciencias Bsicas, Tecnologa e Ingeniera. Ruby Hoyos, Escuela de Ciencias Sociales, Artes y Humanidades. Mara Elena Lpez, Escuela de Ciencias Agrcolas, Pecuarias y del Medio Ambiente. Argemiro Vera, Grupo de Evaluacin - Vicerrectora Acadmica. Germn Rodrguez, Escuela de Ciencias de la Educacin. Celia del Carmen Lpez B., Escuela de Ciencias Bsicas, Tecnologa e Ingeniera. Jos Humberto Guerrero Rodrguez, profesional universitario, Sistema Nacional de Evaluacin.


3

TABLA DE CONTENIDO

INTRODUCCIN ........................................................................................................................................ 5

1. CONCEPTOS BSICOS..................................................................................................................... 5

1.1 QU ES UN CURSO ACADMICO? ..................................................................................................... 5 1.2 QU ES UNA UNIDAD DIDCTICA? .................................................................................................... 5 1.3. QU ES UNA PREGUNTA? .................................................................................................................. 6 1.3.1. CLASES DE PREGUNTAS .................................................................................................................. 6

Pregunta cerrada....................................................................................................................... 6 Tipos de pregunta cerrada:................................................................................................... 6

1.4. QU ES UN TEM? .............................................................................................................................. 7 1.4.1. COMPONENTES DEL TEM ................................................................................................................ 8

Contexto ....................................................................................................................................... 8 Enunciado o pregunta ............................................................................................................. 8 Opciones de respuesta............................................................................................................ 8 Respuesta Correcta o clave................................................................................................... 8

1.4.2. CLASES DE TEMS ............................................................................................................................ 8 1.4.3. ELEMENTOS ESTADSTICOS DEL TEM............................................................................................ 9

Tiempo de respuesta ............................................................................................................... 9 Factor de ponderacin........................................................................................................... 10 Nivel de dificultad ................................................................................................................... 10

1.5. COMPETENCIA ................................................................................................................................... 10 Competencias a evaluar ....................................................................................................... 10

1.5.1. COMPETENCIA INTERPRETATIVA................................................................................................... 10 Definicin conceptual. ........................................................................................................... 10 Definicin operacional........................................................................................................... 10 Algunas Estrategias................................................................................................................ 10

1.5.2. COMPETENCIA ARGUMENTATIVA ................................................................................................. 11 Definicin conceptual. ........................................................................................................... 11 Definicin Operacional. ......................................................................................................... 11 Algunas Estrategias................................................................................................................ 11

1.5.3. COMPETENCIA PROPOSITIVA ........................................................................................................ 11 Definicin conceptual ............................................................................................................ 11 Definicin Operacional .......................................................................................................... 11 Algunas Estrategias................................................................................................................ 12

1.6. PRUEBA............................................................................................................................................... 12 1.6.1. PROBABLE PODER DISCRIMINATIVO .......................................................................................... 12 1.6.2.CONFIABILIDAD .............................................................................................................................. 12 1.6.3. CONFIDENCIALIDAD ...................................................................................................................... 12 1.7. ESTRUCTURA DE PRUEBA.................................................................................................................. 13

2. RECOMENDACIONES GENERALES PARA LA CONSTRUCCION DE ITEMS ........ 14

3. CRITERIOS ESPECFICOS PARA LA CONSTRUCCIN DE ITEMS Y LA ESTRUCTURACION DE LAS PRUEBAS EN LA UNAD............................................................. 16

3.1. SOBRE LOS TEMS ............................................................................................................................. 16 3.1.1. La construccin de tems.................................................................................................. 16 3.1.2. La revisin de los tems .................................................................................................... 16

3.2. SOBRE LAS PRUEBAS........................................................................................................................ 16 3.2.1. El diseo de las pruebas................................................................................................... 16


4

3.2.2. Las pruebas a disear ....................................................................................................... 16 3.2.3. Los cursos a evaluar ......................................................................................................... 17 3.2.4. Competencias ICFES .......................................................................................................... 17 3.2.5. Contenido a evaluar ........................................................................................................... 17 3.2.6. Niveles de dificultad ........................................................................................................... 17 3.2.7. Tipos de preguntas a utilizar .......................................................................................... 17 3.2.8. Extensin................................................................................................................................ 17 3.2.9. Estructuracin de la prueba ............................................................................................ 18 3.2.10. Cantidad de preguntas ................................................................................................... 18 3.2.11. Tiempo lmite de respuesta........................................................................................... 18 3.2.12. Interaccin .......................................................................................................................... 18

4.0 PRESENTACIN FINAL DE LOS DOCUMENTOS REQUERIDOS PARA LA PRESENTACIN DE LAS PRUEBAS NACIONALES19

ANEXOS ....................................................................................................................................................... 29


5

INSTRUCTIVO PARA LA ELABORACIN DE ITEMS Y ESTRUCTURACION DE PRUEBAS

INTRODUCCIN Este documento de trabajo presenta los elementos bsicos a tener en cuenta para la construccin de tems y la estructuracin de pruebas objetivas a utilizar en la evaluacin del porcentaje final (40%), de los cursos acadmicos ofertados por la UNAD, correspondientes a la evaluacin nacional. A mediano plazo, se orienta como aporte fundamental para iniciar la construccin del Banco de Preguntas segn el enfoque de evaluacin por competencias. El texto se estructura en cuatro partes: La primera presenta los conceptos bsicos utilizados en el proceso de construccin de tems y de estructura de pruebas; La segunda, contiene recomendaciones generales, la tercera, describe los criterios especficos para la construccin de tems y la estructuracin de las pruebas finales en la UNAD y el ltimo presenta la forma de diligenciar los formatos de hoja de instrucciones, cuadernillo de preguntas, la hoja de respuestas y ponderacin, lo mismo que la organizacin de los archivos electrnicos para la entrega a las Escuelas. Este documento se acompaa con las plantillas electrnicas mencionadas, para el montaje de las pruebas que debe ser desarrollado por el Director del Curso.

1. CONCEPTOS BSICOS

1.1 Qu es un Curso acadmico?

Es la unidad fundamental de formacin, enlaza las intencionalidades pedaggicas con los procesos propios de los saberes disciplinarios: Se expresa en crditos acadmicos o en la cantidad de trabajo acadmico y/o de aprendizaje que requiere adelantar el estudiante para adquirir las competencias previstas en el respectivo curso1.

1.2 Qu es una unidad didctica?

Las unidades didcticas se definen como el conjunto de conocimientos seleccionados, organizados y desarrollados a partir de palabras clave tomados como conceptos que los tipifican, en articulacin con las intencionalidades formativas, destinadas a potenciar y hacer efectivo el aprendizaje mediante el desarrollo de operaciones, modificaciones y actualizaciones cognitivas y nuevas

1 Universidad Nacional Abierta y a Distancia UNAD- Acuerdo 000018 de junio 29 de 2005, por el cual se

adopta el Reglamento General estudiantil, artculo 16.


6

actuaciones o competencias por parte del estudiante El nmero de las unidades didcticas est en correlacin directa con el nmero de crditos acadmicos asignados al curso.2

1.3. Qu es una pregunta?

Es un enunciado que pide seleccionar o plantear una respuesta especfica sobre una incgnita de conocimiento, de desempeo o de referencia a un sistema de valores. Es una indagacin o cuestionamiento sobre algo.

1.3.1. Clases de preguntas

Preguntas cerradas. Preguntas abiertas.

Pregunta cerrada Es la que implica la seleccin de una sola o varias opciones de respuesta objetiva entre un men de opciones ligado a un instructivo de manejo.

Tipos de pregunta cerrada: Seleccin mltiple con nica respuesta (SMUR) Da cuatro (4) opciones de respuesta para escoger la nica correcta entre las dems opciones.

Seleccin mltiple con mltiple respuesta (SMMR) Este tipo de preguntas consta de un enunciado, problema o contexto a partir del cual se plantean cuatro opciones numeradas de 1 a 4, el estudiante debe seleccionar la combinacin de dos ms opciones que responda adecuadamente a la pregunta y marcarla en la hoja de respuesta, de acuerdo con la siguiente informacin: Marque A, si 1 y 2 son correctas. Marque B, si 1 y 3 son correctas. Marque C, si 2 y 4 son correctas Marque D, si 3 y 4 son correctas

2. SALAZAR RAMOS, Roberto de J. El material didctico y el acompaamiento tutorial en el contexto de

la formacin a distancia y el sistema de crditos acadmicos. Universidad Nacional Abierta y a Distancia UNAD- Bogot. 2004


7

Preguntas de anlisis de relacin

Este tipo de preguntas consta de dos proposiciones, as: una Afirmacin y una Razn, Unidas por la palabra PORQUE. El estudiante debe examinar la veracidad de cada proposicin y la relacin terica que las une. Para responder este tipo de preguntas el estudiante debe leer toda la pregunta y sealar en su Hoja de Respuesta, la respuesta elegida de acuerdo con las siguientes instrucciones: Marque A si la afirmacin y la razn son VERDADERAS y la razn es una explicacin CORRECTA de la afirmacin. Marque B si la afirmacin y la razn son VERDADERAS, pero la razn NO es una explicacin CORRECTA de la afirmacin. Marque C si la afirmacin es VERDADERA, pero la razn es una proposicin FALSA. Marque D si la afirmacin es FALSA, pero la razn es una proposicin VERDADERA. Este tipo de tem es una variacin del clsico falso y verdadero, donde la construccin del mismo es muy sencilla, lo mismo que la facilidad de responderla. Como se trata de verificar el conocimiento de los estudiantes, con esta clase de preguntas se obliga a un ejercicio mental y a una confrontacin del saber del estudiante con las afirmaciones planteadas a lado y lado de la partcula de enlace.

Preguntas de anlisis de Postulados

Este tipo de preguntas constan de una afirmacin VERDADERA (tesis) y dos postulados tambin VERDADEROS, identificados con los nmeros I y II. El estudiante debe seleccionar la respuesta de si los postulados se deducen lgicamente de la afirmacin conforme a la siguiente instruccin: Marque A si de la tesis se deducen los postulados I y II. Marque B si de la tesis slo se deduce el postulado I. Marque C si de la tesis slo se deduce el postulado II. Marque D Si ninguno de los postulados se deduce de la tesis.

1.4. Qu es un tem?

Segn el diccionario de la Real Academia de la Lengua tem se define como cada una de las partes o unidades que conforman una prueba, un test o un cuestionario. El tem est conformado por el contexto (opcional), el enunciado o cuestionamiento y las opciones de respuesta o distractores.


8

1.4.1. Componentes del tem

Contexto Es opcional y til en algunos casos. Ofrece la informacin necesaria para responder lo que a continuacin se va a preguntar: es la situacin, planteamiento, problema, tesis, caso o grfico en el cual se basa la pregunta. El contexto puede incluir representaciones pictricas como grficas, tabla de datos, fotografas, esquemas, figuras, mapas o similares.

Enunciado o pregunta. Frase (afirmativa) que presenta la situacin que debe ser respondida o resuelta. Normalmente el enunciado pertenece a un tema especfico del curso acadmico.

Opciones de respuesta. Frases, datos o informaciones que se consideran respuestas posibles al enunciado y entre las cuales el examinado hace su eleccin. .Dentro de las opciones se encuentra la clave o respuesta correcta.

Respuesta Correcta o clave. Es (son) la(s) opcin(es) que se considera(n) responde(n) adecuadamente el enunciado o pregunta.

1.4.2. Clases de tems

Se refiere a las habilidades de pensamiento que el estudiante aplica en el proceso de resolucin de la pregunta planteada. Entre las diversas clases de tems de evaluacin, se encuentran los siguientes:

De proceso de pensamiento inferior3 Son aquellos que requieren de pocas interacciones de las habilidades de

pensamiento, tales como recordar o realizar algunos procesos de relacin de la informacin, ellos son:

RECONOCIMIENTO: a esta clase pertenecen aquellas preguntas que

requieren traer a la memoria datos, fechas, definiciones, enumeraciones, etc., es la clase que presenta el ms bajo nivel de proceso mental.

COMPRENSION: las preguntas que corresponden a esta clase requieren de procesos de relacin de informacin para poderla interpretar, desarrollando acciones como organizacin, discriminacin, clasificacin entre otras.

3 Correspondera a competencias cognitivas de tipo interpretativo.


9

De proceso de pensamiento medio4

A este tipo corresponden las clases de tems que desarrollan procesos

mentales que implican la utilizacin de herramientas conceptuales, metodolgicas o tcnicas para lograr un fin deseado o para prever algn desenlace, entre estas se encuentran:

APLICACIN: especifica la habilidad que tiene el estudiante para

seleccionar reglas, mtodos, conceptos, principios, leyes o teoras que debe utilizar para resolver una situacin determinada.

ANLISIS: representa la habilidad que tiene el estudiante para identificar las partes constitutivas de un todo, entender e interpretar las relaciones que hay entre ellas, comprender los principios de su organizacin y predecir las causas y efectos dados por la variabilidad de las caractersticas de las partes.

De proceso de pensamiento superior5. A esta clasificacin corresponden los tems que requieren complejos

procesos de pensamiento, entre ellas tenemos:

EVALUACIN: evidencia la capacidad del estudiante para formar juicios de valor frente a una situacin, producto o procedimiento, este tem permite al evaluador evidenciar la capacidad predictiva y valorativa del estudiante.

SINTESIS: indica la capacidad que tiene un estudiante para reunir

los elementos y formar un todo, est relacionada con la capacidad de produccin intelectual, mediante esta clase de tems se evala la capacidad de creacin.

1.4.3. Elementos estadsticos del tem

Se refieren a estndares de medicin que permiten sistematizaciones posteriores sobre curvas de rendimiento acadmico, estudios comparativos y planeacin de ajustes en los eventos de evaluacin. Hay tres elementos de carcter estadstico al elaborar preguntas:

Tiempo de respuesta. O duracin del procesamiento de la pregunta. Se recomienda dar al estudiante un margen de tiempo equivalente a 2,0 2,5 veces el tiempo empleado por un experto para responder la

4 Es posible considerar que en este nivel estaran las competencias argumentativas.

5 Se pensara en las competencias argumentativas.


10

pregunta. Se expresa en minutos6. En el caso de preguntas que tienen contexto se debe considerar el tiempo de lectura del mismo.

Factor de ponderacin. Es el peso relativo que tiene la pregunta en relacin con el valor o puntaje total del examen7.

Nivel de dificultad. Se refiere al grado de complejidad de los procesos mentales que realiza el estudiante para resolver la pregunta, la cual se relaciona con la clase de tem seleccionado en la estructura de prueba, as:

Baja complejidad: reconocimiento y comprensin Media Complejidad: Aplicacin y Anlisis Alta complejidad: Sntesis y evaluacin.

1.5. Competencia

En el mbito educativo colombiano el Ministerio de Educacin plantea la competencia como un saber hacer en contexto, es decir el conjunto de acciones que un estudiante realiza en un contexto particular y que cumple con las exigencias especficas del mismo8. Competencias a evaluar. Para el caso de la UNAD se tiene en cuenta las competencias que el ICFES evala en las pruebas ECAES: interpretativa, argumentativa y propositiva, referidas al proceso que el evaluado lleva a cabo para responder la pregunta. 1.5.1. Competencia Interpretativa

Definicin conceptual. Acciones que realiza una persona con el propsito de comprender una situacin.

Definicin operacional. Una competencia interpretativa, se activa

cuando se requiere descifrar, traducir o dilucidar informaciones que ofrece una situacin problema, para relacionarlas y darle sentido, de tal manera que el problema adquiera significado.

Algunas Estrategias. Se sugiere que al momento de elaborar el tem

se le proponga al estudiante:

6 Se ha sugerido que el tiempo mnimo que un estudiante de la UNAD debe utilizar para resolver una

evaluacin objetiva sea de cuarenta y cinco (45) minutos. 7 Se define cuando se elebora la estructura de prueba y se especifica claramente cuando se diligencia el

formato de la hoja de respuestas y ponderacin. 8 ICFES. Nuevo examen de estado, cambios para el siglo XXI, propuesta general, Bogot. 1998.


11

Comprender o traducir el significado de un texto especfico, de un

problema, un esquema, una grfica o un vdeo. Describir las variables involucradas en una situacin problema y sus

relaciones. Comprender posturas tericas o planteamiento de Escuelas a partir

de un texto o situacin.

1.5.2. Competencia Argumentativa

Definicin conceptual. Acciones que realiza una persona con el propsito de fundamentar o sustentar un planteamiento, una decisin o un evento.

Definicin Operacional. Una competencia argumentativa se activa cuando se requiere presentar, entender y aclarar diferentes razones que apoyan el planteamiento de objetivos, acciones, procesos, decisiones, eventos, conceptos, entre otros, que comprenden la situacin problema o su explicacin.

Algunas Estrategias. Se sugiere que al momento de elaborar el tem se le proponga al estudiante:

Juzgar si un planteamiento es viable, dando razones (por ejemplo, reconociendo si las razones que sustentan una conclusin son vlidas o contradictorias y explicando el por qu).

Analizar la ocurrencia de determinados hechos o situaciones o fenmenos con base en planteamientos tericos.

Seleccionar la mejor definicin, argumentando la respuesta. Reconocer condiciones de necesidad o suficiencia en un enunciado,

argumentando la respuesta.

1.5.3. Competencia propositiva

Definicin conceptual. Accin que realiza una persona para plantear alternativas de decisin, de accin o solucin, estableciendo nuevas relaciones o vnculos, entre los eventos o perspectivas tericas.

Definicin Operacional. Una competencia propositiva se evidencia cuando se enmarca dentro de un conjunto de acciones que se despliegan de manera integral para resolver un problema con el mayor grado de pertinencia. Es decir para activar esta competencia se requiere exponer ciertas situaciones, problemas o casos de tal manera que se


12

conduzca a proponer alternativas de solucin o de propuestas para resolver una determinada situacin.

Algunas Estrategias. Se sugiere que al momento de elaborar el tem se le proponga al estudiante:

Resolver un problema o caso o situacin, segn condiciones determinadas por el contexto y la pregunta.

Plantear hiptesis a partir de una situacin o planteamiento. Se aclara que las competencias interpretativas, argumentativas y

propositivas, dentro de una prueba deben estar presentes porque cada una de ellas es complemento de las otras dos, mxime cuando se requiere evaluar en forma integral.

1.6. Prueba

Es un instrumento de evaluacin conformado por un conjunto intencionalmente articulado de tems que responden a los propsitos planteados en la estructura de prueba y cuya aplicacin permite evaluar el desempeo del estudiante.

1.6.1. Probable Poder Discriminativo

La discriminacin de un tem es el grado en que, como unidad, permite diferenciar algunos grupos de inters, por ejemplo, quienes tienen alta maestra en el dominio de quienes no, o quienes poseen mayor magnitud del atributo de quienes poseen menos; en general las preguntas que poseen poder discriminativo contribuyen a la efectividad de la prueba. En el momento de la construccin del tem, se trata tambin de una apreciacin subjetiva que se puede verificar una vez aplicada la prueba.

1.6.2. Confiabilidad

Se refiere a la calidad acadmico pedaggica del tem, o sea que tiene relacin con la validez para su insercin en el banco de pruebas.

1.6.3. Confidencialidad

El manejo de los tems exige una estricta reserva por parte de sus autores, para evitar el acceso no autorizado a las preguntas con el fin de prevenir situaciones generadoras de posibles fraudes durante un proceso evaluativo. No se deben tomar tems de bancos de pruebas del ICFES u otras instituciones.


13

1.6.4. Validez Asociada a la relevancia, pertinencia de la prueba. Hace referencia a que se cumpla con el propsito para el cual fue construida.

1.7. Estructura de Prueba

Es un mapa que integra los conceptos y especificaciones para la elaboracin de la prueba y determina sus caractersticas. La estructura de presenta los siguientes elementos: Informacin bsica sobre el curso y el diseador de la estructura de prueba, descripcin de los contenidos a evaluar, competencia a evaluar, meta(s) de aprendizaje, indicadores de logro, clases de tems, tipo de tems, ponderacin y tiempo estimado de respuesta de cada tem.


14

2. RECOMENDACIONES GENERALES PARA LA CONSTRUCCION DE ITEMS Un tem debe tener algunas caractersticas que se enuncian a continuacin (ICFES 2006):

Ajustarse a los objetivos de la prueba. No se puede pretender evaluar ms de un tema o subtema en una sola pregunta. Si, de acuerdo con los objetivos de la prueba, dos temas o subtemas similares son importantes, es recomendable evaluarlos con preguntas separadas.

Ser una unidad independiente con un objetivo especfico dentro de la

prueba. La informacin dada en un tem no debe servir de pauta para contestar otra y la respuesta a una pregunta no debe basarse en que se haya contestado correctamente una anterior.

Incluir toda la informacin necesaria para responder la pregunta. La

carencia de informacin generalmente conduce al evaluado a intuir o suponer datos que pueden alterar la respuesta.

Expresarse tan claramente como sea posible. Su poder

discriminativo puede ser seriamente limitado por la falta de claridad. El problema de la ambigedad en las preguntas de pruebas objetivas es particularmente importante dado que cada una de ellas es considerada una unidad independiente.

Tener un nivel de dificultad que corresponda a las exigencias del

objetivo que se est evaluando, a las caractersticas de los evaluados y a los propsitos de la prueba. Incluir informacin irrelevante o cantidades difciles de manejar, aumenta su dificultad. Una tendencia comn del constructor novato es subestimar el nivel de dificultad de la pregunta. En todo caso, la dificultad de la pregunta debe indicar si el evaluado puede producir la respuesta o no y si puede entender la pregunta.

Ser preciso en todas y cada una de sus partes. Usualmente se

introducen imprecisiones innecesarias (cscaras o trampas) que no solamente aumentan la probabilidad de caer en ambigedades sino que pueden dar al evaluado la idea de que el evaluador est pobremente informado sobre el tema.

Emplear un lenguaje adecuado, simple y directo al nivel de la

poblacin evaluada.


15

Evitar cualquier seal que conduzca al evaluado a la respuesta

correcta an cuando no posea el conocimiento. Estas seales pueden ser: repeticin de palabras en el enunciado y en la clave, uso de lenguaje tcnico en la clave y lenguaje no tcnico en las opciones no vlidas, longitud de la clave diferente a la de las opciones no vlidas, presentar opciones no vlidas absurdas, obviamente descartables o mutuamente excluyentes y sin correspondencia en el gnero o nmero entre el enunciado y las opciones no vlidas. El uso de estas seales aumenta la probabilidad de contestar correctamente al azar y por tanto disminuye el poder discriminativo de la prueba.

Evitar implicaciones partidistas, religiosas, sexuales o regionales que

puedan viciar la respuesta con connotaciones emocionales.

Evitar, en la medida de lo posible, el uso de negaciones que compliquen la estructura gramatical y eleven el nivel de dificultad de la pregunta. En caso de ser necesario usarlas, es recomendable que las palabras NO, NUNCA, o sus equivalentes se presenten resaltadas de alguna forma.


16

3. CRITERIOS ESPECFICOS PARA LA CONSTRUCCIN DE ITEMS Y LA ESTRUCTURACION DE LAS PRUEBAS EN LA UNAD. Para el caso de la UNAD, se han establecido los siguientes criterios:

3.1. Sobre los tems

3.1.1. La construccin de tems Es responsabilidad de los tutores del curso, quienes utilizan el formato establecido por la institucin; el autor de cada tem se debe identificar. Ver anexo.

3.1.2. La revisin de los tems Es responsabilidad de los directores de curso y e los lderes de programa o de cadena de formacin. Se constituyen en los garantes de la calidad acadmica y de contenido de la pregunta.

3.2. Sobre las pruebas

3.2.1. El diseo de las pruebas Es responsabilidad del director nacional del curso. Debe utilizarse el formato establecido por la institucin tanto para la prueba, como para la hoja de cotejo. Se encuentran como anexos en formato Word, en Excel en la plataforma de PTU, contents.

3.2.2. Las pruebas a disear Tienen por objeto evaluar el 40 % de cada uno de los cursos, de acuerdo con lo establecido en el Reglamento General Estudiantil. Asimismo aplica para los estudiantes que optan por la calificacin del 100% y reciben la autorizacin correspondiente, conforme lo ha definido el mismo Reglamento. Las Escuelas y al VIACI, mediante circular informan a la comunidad universitaria de la oferta de las mismas, lo mismo que las diferentes opciones que tiene el estudiante para presentarlas.


17

3.2.3. Los cursos a evaluar Mediante prueba de carcter nacional son aquellos cursos determinados previamente por cada una de las Escuelas.

3.2.4. Competencias ICFES Se tienen en cuenta las competencias que el ICFES evala en las pruebas ECAES: Interpretativa, Argumentativa y Propositiva, conforme se explicaron en la parte anterior de este documento.

3.2.5. Contenido por evaluar Se evala la totalidad de los contenidos de cada curso, definidos en la estructura de prueba.

3.2.6. Niveles de dificultad Se utilizan los siguientes niveles de dificultad: Bajo (para el 20% de los tems), Medio (para el 60% de los tems) y Alto para el 20% de los tems), estos niveles se determina en la estructura de prueba y se suele corresponder con el ponderado que se le asigne: un porcentaje alto, indica un puntaje mayor..

3.2.7. Tipos de preguntas por utilizar Se emplean al menos, dos tipos de preguntas, de las propuestas a continuacin:

Preguntas de Seleccin Mltiple con nica Respuesta (SMUR) Preguntas de Seleccin Mltiple con Mltiple Respuesta (SMMR) Preguntas de Anlisis de Relacin (AR) Preguntas de anlisis de postulados (AP)

3.2.8. Extensin Se utilizan, como mximo, 10 pginas para el cuadernillo de preguntas, en formato carta, letra arial 12; una de instrucciones, tramitadas ambas en Word o RTF. Para la hoja de cotejo se utiliza el formato diseado en Excel, tramitndolo conforme a las instrucciones que all se incluyen y que tambin aparecen en este documento.


18

Los formatos se encuentran publicados en el Campus Virtual, Contents, Sistema Nacional de Evaluacin, aula a la que deben inscribirse todos los tutores ya que se constituye en un elemento de comunicacin y de conformacin de las redes acadmicas por curso.

3.2.9. Estructuracin de la prueba Al estructurar los tems se organizan y agrupan segn su tipo, en el siguiente orden:

Seleccin mltiple con nica respuesta Seleccin mltiple con mltiple respuesta Anlisis de relacin Anlisis de postulados

Si utiliza el formato en Word, es fcil proceder al montaje de la prueba ya que all se puede sobrescribir, eliminar tipo de preguntas o acomodarlas para dar una buena presentacin final al documento, segn las utilidades del procesador de palabras.

3.2.10. Cantidad de preguntas La prueba tiene mnimo 20 preguntas y mximo 25. Las de Campus virtual tienen 24 preguntas.

3.2.11. Tiempo lmite de respuesta La prueba debe resolverse en un tiempo mximo de dos horas y mnimo de cuarenta y cinco minutos.

3.2.12. Interaccin La interaccin para definir la estructura de prueba se realiza en el espacio destinado a la Evaluacin Nacional Red de tutores ubicado en el Campus Virtual en el dominio de Contents, recurriendo al curso de Sistema Nacional de Evaluacin. Sin embargo, la interaccin entre tutores y director nacional de curso para el envo de tems es a travs de correo electrnico utilizando el anexo 1 que se encuentra al final de este instructivo. Se encuentra en formato Word en la pgina de contents destinada a evaluacin nacional, garantizando la seguridad, al igual que la interaccin entre director de curso y coordinadores nacionales de programa para el envo de la prueba final. La cual se har en el formato en Word definido para cada Escuela y que se encuentra en el mismo sitio.


19

4. PRESENTACIN FINAL DE LOS DOCUMENTOS REQUERIDOS PARA EVALUACIONES NACIONALES. La Vicerrectora Acadmica y de Investigacin, tiene establecidos dos momentos de revisin final de los documentos que contienen las pruebas nacionales, uno de revisin conceptual que est en responsabilidad del Director de Curso quien verifica la calidad de los Itemes que elaboran los tutores de la red acadmica del curso cuyo propsito es verificar que se est indagando por los conocimientos, habilidades y actitudes desarrolladas en el curso y que se est midiendo las competencias por desarrollar en el mismo. Finaliza cuando el Decano de la Escuela administradora del curso certifica por escrito la idoneidad de la misma. El otro corresponde a la revisin metodolgica, responsabilidad del Sistema Nacional de Evaluacin, cuyo propsito es comprobar la presentacin apropiada de la prueba, si es comprensible, si dispone de toda la informacin necesaria para resolver la pregunta (producto de interpretacin de la misma, ya que esta parte tambin es responsabilidad de la Escuela). Por esta razn, teniendo en cuenta las experiencias pasadas, se ha adicionado esta parte al documento, con el fin de clarificar cules son las mayores dificultades que se han encontrado con los archivos que entregan las Escuelas al Sistema con fines de impresin, distribucin y aplicacin en los centros donde existen estudiantes matriculados. 4.1 Formatos por utilizar. El Sistema Nacional de Evaluacin ha diseado unos formatos en Word y Ecxel para ser diligenciados por los tutores para elaborar los tems y de las hojas de instruccin, cuadernillo de preguntas y la hoja de respuesta y ponderacin. Estos documentos estn anexos a este instructivo o pueden ser bajados del aula de contents llamada Sistema Nacional de Evaluacin: http://contents.unadvirtual.org/moodle/course/view.php?id=290. El ingreso requiere de clave que debe ser suministrada por el Sistema Nacional de Registro y Control Acadmico. 4.1.1 Hoja de instrucciones. Es un archivo en Word que tiene la apariencia que se muestra en la figura adjunta. El Director de curso tramita nicamente los espacios correspondientes a Nombre del curso, el tema y el cdigo del curso. Define si la evaluacin requiere de hojas adicionales para resolver problemas, si no, se debe quitar la frase: Dos hojas en blanco para la solucin de problemas propuestos.


20

En la parte de contenidos escribe los nombres de las unidades que contiene el curso y escribe el nmero de preguntas que contiene el cuadernillo. NO es necesario que lo pase a pdf ya que los datos que ha tramitado los requiere la Editorial para completar una de las caras que acompaa a la hoja de respuestas que debe diligenciar el estudiante.


21

Como ejemplo, se presenta una hoja de instrucciones de un curso que va a ser entregado a la Escuela respectiva:

4.1.2 Cuadernillo de preguntas.

Es un formato en Word que tiene el aspecto de la figura adjunta. Se encuentran identificados por escuela.


22

Para tramitar el formato, se recomienda que comience con el encabezado. En Word activa ver encabezado y pie de pgina y procede a llenar los datos del mismo de tal manera que donde dice NOMBRE DEL CURSO, se remplaza digitando el nombre del mismo como lo oferta la Escuela. Donde dice CODIGO, lo hace por el nmero correspondiente. Por ningn motivo debe quedar la informacin especfica acompaada de la solicitud puesto que no es agradable a la vista. Pasa al rengln inferior donde aparecen los temas. Las Escuelas han definido cinco temas que se ofertan dependiendo del tiempo y medio de aplicacin: el tema A se usa los fines de semana, el B para la semana comprendida en dos fines de semana, en horario nocturno, el C para esa misma semana pero en horario diurno (actualmente es especfica del CEAD Jos Acevedo y Gmez), el D corresponde a Campus, estos se trabajan directamente en Campus siguiendo las directrices que ha establecido la Vicerrectora de Medios y Mediaciones Pedaggicas para los Core. Finalmente est el E que corresponde a las Habilitaciones, un servicio que se est implementando para que todos los centros puedan atender a los estudiantes que lo requieran. La imagen que muestra un encabezado apropiado es:


23

Completado el encabezado, diligencie el pie de pgina llenando con el nombre del autor (corresponde al del Director del Curso, pero todos saben que debi recibir aportes de los otros tutores; pero l tiene la responsabilidad de haber efectuado la revisin, ajuste de las preguntas y la organizacin de la prueba como tal), luego el nombre de la zona y del centro al que pertenece. Estos datos es obligatorio llenarlos y por ningn motivo se deben eliminar, es un medio para informarles a los estudiantes de la seriedad del proceso y su calidad, adems de verificar los principios organizacionales institucionales. El aspecto que debe presentar el mismo es:

Posteriormente comienza a ordenar las preguntas, conforme a la estructura que le indica el archivo. Incluso, se le recomienda sobrescribir para no tener problemas con las vietas y numeraciones. En la misma forma, no modifique las instrucciones a no ser que las cambie por otras conforme a lo que el Director quiera que responda el estudiante. Se exige que cada pregunta siempre est completa en la misma pgina, es decir, el encabezado y sus distractores deben quedar juntos. No hacerlo genera distracciones en el estudiante quien tiene que hacer un esfuerzo para contextualizar todo el tem. Es un factor de distraccin que se debe evitar. Eso requiere del Director hacer un ejercicio de edicin para que la pgina est completa; si un distractor queda en la otra pgina, se puede disminuir el tamao de la letra (Arial 123 pasa a tamao inferior) o se ampla el espacio entre preguntas, no es recomendable hacerlo entre el enunciado y sus distractores porque si est activada la funcin de numeracin y vietas puede incorporar un nmero adicional y generar confusiones en el estudiante como ha pasado en algunas pruebas como la siguiente:


24

Una vez se haya trascrito las preguntas y observado que est incluidos el enunciado y los distractores en la misma pgina, el Director debe revisar la presentacin de la misma y el nmero total de pginas que no debe sobrepasar de diez. Si encuentra que est bien, debe pasarla a pdf para incorporarla al archivo. NO es necesario bloquear el archivo con clave; esta accin le impide a la Editorial ajustar la imagen al formato que tiene definido para imprimir los exmenes; el Sistema Nacional de Evaluacin garantiza al Director que sus cuestionarios no son manipulados para cambiarlos salvo excepciones como:

Errores detectados en la Escuela, normalmente el procedimiento es regresarlos al autor para que haga los ajustes correspondientes en contenidos, temticas y cantidad de preguntas.

Errores detectados en el Sistema Nacional de Evaluacin, si son de contenidos o del tipo de preguntas, se regresa a la Escuela para ajustes, pero si es de presentacin o cambio de formato (pasan de carta a legal) el ajuste se hace sobre el archivo de Word y se vuelve a obtener el respectivo pdf. Estos cambios quedan registrados como parte del seguimiento a la calidad de la prueba.

No aparecen los nmeros de pgina porque el pie de pgina fue cambiado. Es necesario que aparezca en el formato ya que ayuda al diagramador a armar el machote de la prueba para impresin pues va plegado de tres a cinco cuerpos.

4.1.3 Hoja de respuesta y ponderacin. Es un archivo en Excel que registra las claves de respuesta de cada una de las preguntas que contiene el cuadernillo, el puntaje asignado, la suma total del mismo para la escala definida por la Universidad (de cero a cinco punto cero) y unas afirmaciones que se constituyen en la informacin de retorno. El aspecto que presenta el archivo es:


25

Para su diligenciamiento, es necesario tramitar el encabezado con el cdigo, nombre del curso, nombre de la zona, el centro y del director de curso y se selecciona el tema del cuadernillo al que es necesario asociar, sobra recomendar la necesidad de completar esa informacin por la importancia que tiene para identificar adecuadamente el archivo. Cuando no estn completos, genera dudas de si realmente la hoja es de ese curso o puede ser de otro. Lo mismo, se debe revisar la coherencia del nombre del archivo con los datos que contiene dentro. Las columnas de respuesta, puntaje se tramitan la primera con letras maysculas que identifican la clave de la pregunta (respuesta verdadera), en la de puntaje se colocan los valores en decimal de lo que se gana cuando se obtiene la respuesta verdadera. Cuando se finaliza la incorporacin de las calificaciones de todas las preguntas, en la parte inferior deber aparecer la suma exacta: 5.00; la recomendacin es que esos puntajes sean precisos, no eliminar la funcin cuando se obtienen valoraciones superiores o inferiores a cinco. El Sistema Nacional de Evaluacin revisar esos puntajes, antes de ser publicada la hoja de respuesta para que la asignacin de la calificacin sea justa, equitativa y transparente, por ello se debe colocar todos los decimales o ajustarlos de modo que siempre sume exactamente cinco. Si no es posible, se


26

recomienda que se haga la divisin en otra parte de la hoja y se copie en la columna de puntaje. En la columna de informacin de retorno, el director escribir una frase pequea que oriente al tutor y al estudiante en las razones por las cules se consider que era la respuesta verdadera. Otro puede ser referencia a la pgina, la seccin o al nombre del contenido del material de modo que sea fcil hacer la ubicacin de la misma para la correspondiente confrontacin. Un ejemplo de una hoja de respuesta es la siguiente:

Completo el archivo, es necesario pasarlo a pdf. Como queda claro, la calidad de la prueba no est en la profundidad de contenidos y de lo que se solicita en cada una de las preguntas, sino tambin en la presentacin de la misma al estudiante. Si los archivos en pdf son claros, las imgenes se visualizan sin dificultades y los smbolos empleados se


27

distinguen claramente, se espera que el resultado obtenido va a mostrar lo acertado en las decisiones que hizo el Director del Curso. Se reitera nuevamente la importancia de invertir diez minutos a revisar el archivo en pdf de la prueba (cuadernillo y hoja de respuestas) para verificar que est completa, clara, organizada y apropiada. 4.2 Organizacin de la carpeta de entrega. Una vez elaborada la prueba (hoja de instrucciones, cuadernillo de preguntas y hoja de respuestas y ponderacin), es necesario preparar la carpeta de archivo para la entrega de la misma. Un curso acadmico rara vez tiene un solo tema, luego la primera carpeta que se debe generar es la del nombre del curso: se recomienda abreviarlo a ocho caracteres guin y el nmero del cdigo, por ejemplo si el curso es INTRODUCCIN A LA ADMINISTRACION DE EMPRESAS, la carpeta puede tener como nombre INTADMEM_9012. El aspecto que debe presentar es:

Al interior de esa carpeta deben ir los temas solicitados por la escuela. Se recomienda marcarlas con el nombre abreviado guin y la letra del tema. El aspecto que debe presentar la carpeta al abrirla ser:

La organizacin de la carpeta que contiene el tema debe ser:

Aqu se ratifica la necesidad de ser muy cuidadosos en el contenido de cada archivo ya que si no corresponden es fcil una equivocacin, especialmente cuando el Director debe elaborar las pruebas de dos o tres cursos. Se ha encontrado que aqu suele ser frecuente esa equivocacin. Por ello es necesario recordar la necesidad e importancia de invertir diez minutos


28

adicionales en la revisin final de la carpeta antes de su envo a la Escuela correspondiente. El cuestionario que se debe entregar para el tema D, se desarrolla completamente en Excel, siguiendo las instrucciones que la Vicerrectora de Medios y Mediaciones ha elaborado para su trmite y que se encuentra en archivos adjuntos. Este archivo ir en una carpeta marcada como tema D y se incluye dentro de la carpeta del curso junto con los otros temas requeridos por la Escuela.


29

ANEXOS

ANEXO 1. Formato para construccin de tems con preguntas cerradas Escuela: Programa: 1. Informacin de quien elabora la pregunta CEAD Nombre del tutor Perfil Correo electrnico Telfono Celular: Fijo: 2. Identificacin del curso Curso Unidad Didctica Captulo Tema Nombre Director de curso 3. Competencia (Marque con una X) Interpretativa Argumentativa Propositiva 4. Tipo de Pregunta (Marque con una X) Seleccin mltiple con nica respuesta

Seleccin mltiple con mltiple respuesta

Anlisis de relacin Preguntas de anlisis de postulados

5. Clase de tem Sntesis Aplicacin Reconocimiento Evaluacin Anlisis Comprensin 6. Tiempo estimado de resolucin minutos 7. Enunciado (con o sin contexto)


30

8. Frmulas o trminos que deben ser incluidos 9. Opciones de respuesta A. B. C. D. En el caso de preguntas de seleccin mltiple con mltiple respuesta y de Anlisis de relacin, las opciones de este cuadro deben ser 1, 2, 3 y 4. 10. Clave: Respuesta correcta 11. Justificacin de la clave Yo __________________________________ certifico que este tem es de mi autora y no ha sido aplicado a ningn estudiante.

Documents

Instructivo Para Elaboracion de Items