Apuntes proceso 1

ALGUNAS CLASIFICACIONES PREVIAS

Contenido

Ej. MáximaEj. Típica

BaremoRef.

CriterioRef. Norma

SesgosAciertos AzarDeseabilidad

SocialHalo

Puntuaciones

CentilesTipificadas

Notas

Tipo de ÍtemsCorrecta y distractoresEscala tipo

Likert

4.-PROCEDIMIENTO DE CONSTRUCCIÓN DE UNA PRUEBA O TEST

Pasos Croker y Algina, 1986):1. Delimitación del objetivo para el que van a

utilizarse las puntuaciones.2. Definición del constructo que se pretende

medir con el test.3. Descripción general de los componentes del

constructo.4. Diseño del test.5. Redacción de los ítems.6. (Consulta a expertos y estudio de campo)7. Análisis de la calidad de los ítems.8. Estudio de la fiabilidad del test.9. Estudio de la validez del test.10. Elaboración de las normas de aplicación,

interpretación y baremación de las puntuaciones.

Procedimientos para obtener la información(croker y algina, 1989; martínez-arias, 1995): 1.-Revisión bibliográfica. tener presentes las conductas o indicadores que hayan utilizado otros investigadores para medir el mismo constructo y de los que podemos tener conocimiento por sus publicaciones. 2.-Análisis de contenido. este procedimiento consiste en hacer preguntas abiertas relativas al constructo que nos interesa a personas conocedoras del constructo o que son elementos de la población objetivo y cuyas respuestas pueden indicar categorías conductuales representativas del constructo.3.-Juicio de expertos. se trata de pedir a personas “expertas” a través de entrevistas o cuestionarios que nos indiquen qué tener en cuenta y, por lo tanto, medir en los sujetos por lo que respecta al constructo .4.-Identificación de incidentes críticos. la particularidad de este procedimiento está en que pedimos a personas cercanas a sujetos típicos de nuestra población objetivo, que nos identifiquen comportamientos tipo de los distintos niveles del constructo.5.-Observación directa. el autor del test recoge la información mediante observación directa de personas que manifiestan el constructo. los comportamientos de estos sujetos que el autor considere relevantes serán propuestos como posibles indicadores del constructo. 

4.3.- Definición del constructo

4.4.- Descripción general de los componentes del cons tructo

Ilustración 1.- Diagrama ilustrativo del proceso de derivación de los objetivos específicos a partir de los objetivos generales

Tabla 1- cuadro de expecificaciones de un examen de Psicometría

OBJETIVOS GENERALES/CONSTRUCTOS

OBJETIVOS ESPECÍFICOS/INDICADORES

NIVEL DE PROCESAM IENTOCONTENIDOS%CN1 CM AP 32 TOTALES

TOTALES

OBJETIVOSDOCENTES

I- Saber el concepto y objetode estudio dela Psicom etríaII- Conocer,com prender yaplicar la Teoría Clásica delos Tests.

15

35

50

Concepto y ObjetoTeoría Clásica de los TestsFiabilidadValidezConstrucción de escalas

Construcción de escalas

Construcción de escalasValidez

Validez

Fiabilidad

FiabilidadTeoría Clásica de los Tests

Teoría Clásica de los TestsConcepto y Objeto

Concepto y Objeto

10 2 0 0 3 0 15 15 15 5 0 5 5 5 20

100 100

25 0 100

75

--- ---

100

10 45

0 40

15

0 75

0

45

0

70 45

50

25 25

40 25

0 0 ---

0

45 10

100 100

----

15

100

50

0

75 75

20

100

100 100 100

100

100

100 100

--- --- --- ----

--- --- --- ----

--- --- --- ----

34.8 24.540.7

III- Conocer ycom prenderlas Aplicaciones Psicométricas.

4.5.- Diseño del test 4.5.1. Número de ítems 4.5.2.- Tipo de ítems y número de alternativas de respuesta

4.5.2.- Tipo de ítems y número de alternativas de respuesta4.5.2.1.-Verdadero y Falso4.5.2.2- Elección múltiple

En tests de Ejecución Máxima 4.5.2.3.- Relacionar4.5.2.4.- Completar, sustituir o corregir 4.5.2.5.- Respuesta corta4.5.2.6.- Ensayo4.5.2.7.- El verdadero ítem

• errores más frecuentes para prevenir su repetición (Muñiz,1994, p. 208-209):- Que las alternativas de respuesta no resultan igualmente plausibles...- - Siempre que se pueda, conviene evitar los enunciados en forma negativa- - La longitud de las alternativas conviene que sea aproximadamente la misma- -Evitar las reiteraciones de texto innecesarias. p.e.:- Cuando se utilizan cifras en las alternativas es conveniente presentarlas

ordenadas- Conviene evitar el uso como última alternativa de "todas las anteriores"

Componentes del superítem

Lea el texto, vea el diagram a y responda al item 51.Instrucción

V

X 2

X 1 X 4

X 3

e1 e4e3e2

1 4 3

2

Diagram a

Para validar el modelo de medida del constructo se ha utilizado el programa LISREL, obteniendoselos siguientes resultados: 1 2 3 1

e1 e2 e3 e4Texto

¿Qué teoría de test abala el cálculo de la fiabilidadcon estos datos?

Enunciadoo tronco

1. Clásica2. Generalizabilidad3. Congenérica R. Correcta

Distractores

En tests de

Ejecución

Típica

SI/NO, SI/NO/A VECES

Escalas tipo Likert

Alternativas de acuerdo

Las alternativas

de evaluación

bueno-malo

adecuado-inadecuado

correcto-incorrecto

Alternativas de frecuencia

4.5.3.- Cómo cuantificar las alternativas de respuesta.

RESTANDO ERRORES

AAATPD PaRAAA *k

Pa 1

PeRaE *PeERa

KKPe 1

11

KKE

kK

ERa

11*1

K

EKKE

KAA

NMNK

EATPDNota

KEATPD

11

SIN RESTAR ERRORES

11*1)1(11

KPatKPsPsKPsKPsKPat

KPsPsPat

NKNAtK

PD 11

NM

NKOmisiones

KNAtK

Nota *)*)1(11

(

4.6.- Redacción de los ítems.4.7.- Análisis de la calidad de los ítems.4.7.1. El Juicio de expertos.

Tabla 2. Hoja resumen de las señales de emparejamiento de los jueces entre objetivos e ítems (adaptada de Osterlind, 1989, p. 268)

M arcas de emparejamiento entre ítems y objetivos Juez: Fecha: ÁREA de contenido: Primero lea detenidamente toda la lista de especificaciones de dominio y de ítems del test. Su marca es para señalar qué ítem del test es y cuál no es una medida de una de las especificaciones de dominio. Esto es, si Ud. cree reconocer dentro de un banco de ítems la representación en un ítem del test de la m edida de una especificación de dominio, puede emparejarlo con una linea al objetivo correspondiente. Esto es, después de cada objetivo, escribir el/los ítems del test que crea miden dicho objetivo. En el caso de aquellos ítems que Vd. crea que no miden ninguna de las especificaciones de dominio disponibles, m arcar sus números en el espacio disponible al final. Objetivo Emparejamiento de ítems del test 1 2 3 4 Ítems no emparejados: From R.K. Hambleton "Validating the test scores" (p.225) in R.A. Berk (ed), A Guide to Criterion-Referenced Test Construction, 1984, Baltimore: The Johns Hopkins University Press.

Tabla 2. Grado de congruencia ítem-objetivo (adaptada de Osterlind, 1989, p. 267) Nombre Instrucciones: Primero lea el objetivo número 1. Después, lea el primer ítem en el cuadernillo del test. Considere cuidadosamente el grado de congruencia de este ítem con el dominio de habilidad. Evalúe la congruencia según las siguientes categorías: A = Alto grado de congruencia M = Grado medio de congruencia B = Bajo grado de congruencia Si Vd. quiere hacer algún comentario sobre la congruencia de ese ítem regístrelo en el lugar reservado para ello. Después de que haya terminado con el primer ítem, proceda con el segundo ítem, e igualmente con todos los ítems siguientes, evaluándolos de igual forma. Objetivo Nº 1 Uso de las técnicas matemáticas para solventar problemas de la vida real. Evaluación Com entario Ítem Nº 1 Ítem Nº 2 Ítem Nº 3 Ítem Nº 4 Ítem Nº 6 Ítem Nº 9 Objetivo Nº 2 Uso de las propiedades de figuras de dos o tres dimensiones para realizar cálculos geométricos. Evaluación Com entario Ítem Nº 3 Ítem Nº 5 Ítem Nº 8 Ítem Nº 10 Ítem Nº 11

4.7.2.1. Índices descriptivos de la distribución de respuestas y/o de puntuaciones del ítem y del test. 4.7.2.1.1. Índice de dificultad

4.7.2.- Análisis estadístico de ítems

- Índices que describen la distribución de respuestas a un ítem (p.e. varianza del ítem). - Índices que describen el grado de relación entre la respuesta al ítem y algún criterio interno o externo que interese. - Índices que reúnen los dos aspectos anteriores.

NAID

NK

EAID 1

11

KNAK

ID

Según Yela (1980)

CATEGORÍAS CENTIL DEL CONSTRUCTO % APROX. ÍNDICES DE DIFICULTAD________________________________________________________________(PS)______________MUY FÁCILES 0 - 10 10% 0.75 A 0.95FÁCILES 10 – 30 20% 0.55 A 0.74NORMALES 30 - 70 40% 0.45 A 0.54DIFÍCILES 70 - 90 20% 0.25 A 0.44MUY DIFÍCILES 90 - 100 10% 0.05 A 0.24

Según Garret (1968)

CATEGORÍAS CENTÍL DEL CONSTRUC TO % APROX. ÍNDICES DE DIFICULTAD______________________________________________________________________________FÁCILES 0 - 25 25% 0.75 A 0.95MEDIOS 25 - 75 50% 0.26 A 0.74DIFÍCILES 75 - 100 25% 0.05 A 0.25

Distribución recomendada de niveles de dificultad de los ítems en un test referido a la norma

Análisis de Alternativas incorrectas

Tabla 5. Análisis de las alternativas incorrectas A L T E R N A T I V A S

A B C D E

Grupo Superior 5 15 17 10 0 100

Inferior 15 65 20 0 0 100

20 80 90 10 0

4.7.2.2. Índice de discriminación: Índices que relacionan el ítem con un criterio externo al ítem.

4.7.2.2.1.- Índice de discriminación (D) propiamente dicho: D = Ps - Pi

4.7.2.2.2.- Aplicaciones o estimaciones del Coeficiente de Correlación de Pearson:

*Correlación Biserial Puntual (rbp) * Correlación Biserial (rb)

4.7.2.4. Análisis Factorial Exploratorio

CONUNALIDADES

Inicial

Extracción

P1

1,000

,205

P2

1,000

,077

P3

1,000

,135

P4

1,000

,150

P5

1,000

,003

P6

1,000

,045

P7

1,000

,000

P8

1,000

,001

P10

1,000

,006

P11

1,000

,040

P12

1,000

,012

P13

1,000

,079

P14

1,000

,014

P15

1,000

,000

P16

1,000

,002

P18

1,000

,277

P19

1,000

,082

P20

1,000

,125

P21

1,000

,103

P22

1,000

,002

P23

1,000

,057

P24

1,000

,200

P25

1,000

,439

P26

1,000

,460

P27

1,000

,198

P28

1,000

,000

Com ponente Autovalores iniciales Sum as de las saturaciones al cuadrado de la extracción

Sum a de las saturaciones al cuadrado de la rotación

Total % de la varianza

% acum ulado

Total % de la varianza

% acum ulado

Total % de la varianza

% acum ulado

1 2,374 26,379 26,379 2,374 26,379 26,379 1,889 20,994 20,994

2 1,176 13,066 39,445 1,176 13,066 39,445 1,661 18,451 39,445

3 ,979 10,878 50,323

4 ,941 10,451 60,774

5 ,855 9,498 70,272

6 ,745 8,279 78,552

7 ,705 7,836 86,388

8 ,667 7,416 93,803

9 ,558 6,197 100,000

Gráfico de Sedimentación

Criterios de validez paso a paso con Modelos Estructurales

a) Parámetros “πxv” y, en general cualquier parámetro “πjk”, han de ser significativamente distintos de cero (t>2). En el listado del programa AMOS este dato viene en la columna de CR de la tabla de parámetros estimados significación de parámetros individuales).

b) Ressiduales estandarizados no significativos y por lo tanto con valores “t<2. (Ajustes correlacionales)

c) Indices globales de de ajuste (de la matriz de correlaciones o covarianzas) que se adapten a los siguientes valores críticos: - χ²/GL< 2 - Probabilidad asociada a H0 > 0.05 - Otros índices de ajuste global del modelo: - GFI o índice de bondad de ajuste: es un índice insensible al tamaño muestral, cuyos valores oscilan entre 0 y 1 -excepcionalmente, puede tener valores superiores a 1-, aunque sólo valores superiores a 0.9 suelen ser aceptables.

- AGFI: es el índice GFI ajustado en base a los grados de libertad del modelo, y por lo tanto prima el principio de parsimonia. Como en el caso anterior, sus valores oscilan entre 0 y 1 y valores superiores a 0.8 indican un buen ajuste del modelo a los datos.

- RMR estandarizado : es un promedio de residuales estandarizados entre S y Σ(θ). Valores menores que 0.10 indican un buen ajuste.

- RMSEA Es una medida derivada de la anterior pero está en función de los grados de libertad del modelo y por lo tanto prima el principio de parsimonia. Un valor de RMSEA igual o menor a 0.05 indica un buen ajuste, valores superiores a 0.08 representan un error de aproximación a los valores poblacionales.

Análisis Factorial Confirmatorio a través de “AMOS”

Para el resto de pasos a seguir con AMOS ver apuntes y practicar en casa y en clase.