Tema 4

Fiabilidad como precisión y

estabilidad en la medida

Coeficiente de fiabilidad

Introducción

• Temas 1-3 Construcción test• Temas 4-8 Evaluación de la calidad de la prueba piloto basada en

la respuesta de los sujetos:– Fiabilidad– Validez– Calidad de los ítems• Fiabilidad como medida de:

– Precisión de las medidas– Estabilidad de las medidas

• Coeficiente de Fiabilidad• Objetivos del tema:

– Tipos de error– Estimar puntuación del sujeto en el rasgo a evaluar (conocer puntuación verdadera) a partir de la obtenida en el test– Estimar el coeficiente de fiabilidad

Fiabilidad

• Error de medida = puntuación del sujeto en el test -puntuación verdadera en el rasgo a medir

• Diseño test:

– Procuramos minimizar el error de medida

• La n aplicación de un test a un sujeto genera diferentes puntuaciones debidas

– Error debido al Diseño test

– Errores aleatorios impredecibles (fiabilidad)

Modelo de la TCT. Spearman

Modelo de Spearman. TCT

• X=V+E • Para cada sujeto X es una variable aleatoria. Se define V como E(X)

• Diseño test: busca minimizar error de medida (tests de alta fiabilidad). Si aplicamos un test n veces a un sujeto surgen diferentes puntuaciones x:– Error debido al diseño

– Errores aleatorios (impredecibles y no controlados). De estos se ocupa la fiabilidad.SUPUESTOS:

• Para cada sujeto, X es una variable aleatoria, se define V= E(X)

• En cada muestra de n sujetos rve=0 (no hay correlación entre puntuaciones V y errores de medida)

• Para dos tests diferentes aplicados a = muestra re1e2= 0Propiedades que se deducen de los supuestos:– Error de medida para cada sujeto E = X-V

– Para cada sujeto E(e) = 0Para una muestra grande de sujetos – Media de x = media de v, por lo que media de E=0 Ẋ=V E(e) = 0– Cov(V,E)=0 o de forma equivalente, rve=0

– S2x=S2v+S2e

– Cov(X,V)=S2v

– 𝑟𝑥𝒆=𝑠𝑒/𝑠𝒙 y 𝑟𝑥𝑣=𝑠𝑣/𝑠𝑥

– Para dos tests: Cov(X1,X2)=Cov(V1,V2)

Tests paralelos

•Dos tests aplicados a la misma muestra son paralelos si:

– Cumplen los supuestos de Spearman

– V=V’

– S2e=S2e’

•Propiedades que se deducen de la definición:

– La media de las puntuaciones empíricas obtenidas en los testssupuestamente paralelos es la misma 𝑿=𝑿′

– Las varianzas de las puntuaciones empíricas obtenidas en dos testsparalelos son iguales S2x=S2x’

– La correlación entre puntuaciones empíricas de dos tests paralelos es 𝑟𝑥𝑥′=𝑟

2𝑥𝑣=𝑆

2𝑣/S2𝑥

– Dados dos o más tests paralelos, las intercorrelaciones entre cada dos de ellos son iguales

•Si x1, x2, x3, …. Son paralelos entonces r X1, X1’ = rX2,X2’ = rX3,X3’

Interpretación coeficiente de fiabilidad

Ejercicio interpretación coeficiente de

fiabilidad

Hallar el coeficiente de fiabilidad de un test sabiendo que la varianza verdadera es 34 y la varianza del error es 9

• S2v=34 S2e=9

• S2x=S2v+S2e S2x=34+9 =41

• 𝑟𝑥𝑥′=𝑟2𝑥𝑣=𝑆2𝑣/S2𝑥=34/41= 0,83

TIPOS DE ERRORES DE MEDIDA

Error de medida (E = X – V) diferencia entre las puntuaciones empíricas y las puntuaciones

verdaderas. El error de medida nos da una medida individual del error que se comete (una medida individual de la precisión del test). Nos indica la diferencia entre la puntuación de un sujeto en un test y el nivel real de dicho sujeto en la variable que medimos.

Error Típico de medida (medida grupal)

_____

Se = Sx √ 1 – rXX´ (En puntuaciones directas y diferenciales)

______

SZe = √ 1 – rXX´ (En puntuaciones Típicas)

Ejercicio

•Hallar el error típico de medida y el error de estimación de la puntuación verdadera de un test sabiendo que la proporción de varianza verdadera es del 80% y que la varianza de las puntuaciones empíricas es de 45.

FACTORES QUE AFECTAN A LA FIABILIDAD

La fiabilidad depende de:

La variabilidad del grupo

La longitud del test

Las características de los ítems

Longitud del test (Ecuación de Spearman-Brown) Cuanto mas ítems representativos se utilicen, habrá mayor información del atributo que estudiamos, menor error y mayor fiabilidad (al aumentar la longitud del test, aumenta su fiabilidad)

Ecuacion de Spearman-Brown

Variabilidad de la muestra

Cuanto mas homogéneo sea el grupo, menor es el coeficiente de fiabilidad y la desviación típica de las puntuaciones empíricas

ejercicio

• Si un test tiene 50 elementos y un coeficiente de fiabilidad de 0,64

• Cuántos elementos paralelos hay que añadirle para obtener un coeficiente de fiabilidad de 0,80?

ejercicio

• Un test de 80 preguntas tiene un coeficiente de fiabilidad de 0,80. Cuál será el coeficiente de fiabilidad si se duplica la longitud del test?

• Y si añaden 20 preguntas?

• Averiguar n: número de veces que se ha alargado /reducido test

ejercicio

• Hemos aplicado un test a una muestra de sujetos en la que la desviación típica de las puntuaciones empíricas obtenidas es igual a 20 y la razón entre la desviación típica de los errores y la desviación típica de las puntuaciones empíricas es 0,4. Aplicado el test a otra muestra de sujetos en la que la desviación típica de las puntuaciones empíricas es igual a 10

•Cuál sería el coeficiente de fiabilidad del test?

LA FIABILIDAD COMO EQUIVALENCIA Y

COMO ESTABILIDAD DE LAS MEDIDAS

Un test debe cumplir dos premisas:

Medir el rasgo que pretende (ser valido)

Las puntuaciones obtenidas deben ser estables y precisas.

La precisión consiste en estar libre de errores; la estabilidad en que en distintas ocasiones y en condiciones parecidas el rasgo no cambie. La fiabilidad del test es la estabilidad de las medidas. Se pueden considerar dos métodos basados en la estabilidad para calcular el coeficiente de fiabilidad:

Método de las formas paralelas.

Método test-retest.

•Método 1º (formas paralelas):

–Construir dos formas paralelas del test y aplicarlas a la misma muestra amplia

–Calcular coeficiente de correlación de Pearson entre las puntuaciones de los sujetos en ambas formas

–Coeficiente de fiabilidad = Coeficiente de correlación entre las dos formas.

–Es estos casos a rXX se le denomina Coeficiente de equivalencia

–Inconveniente: dificultad de construir dos formas paralelas. Ventaja: Posibilidad de aplicar al mismo tiempo=control

•Método 2º (test-retest):

–Aplicar el mismo test a una misma muestra en dos ocasiones diferentes.

–Coeficiente de fiabilidad = Coeficiente de correlación.

–Es estos casos a rXX se le denomina coeficiente de estabilidad.

–Ventaja: No requiere construcción de dos test .

- Inconvenientes:

•Memorización de ítems

•Intervalo del tiempo mejor si es mayor aunque puede cambiar el rasgo

•Actitud de los sujetos (cooperación)

LA FIABILIDAD COMO CONSISTENCIA INTERNA

A veces solo se puede aplicar una vez el test, por lo

que no es posible utilizar los métodos anteriores.

Los siguientes métodos se utilizan para estimar la

fiabilidad de un test (solo requieren una aplicación y aportan

un índice de la consistencia interna de las respuestas de

los sujetos):

Métodos basados en la división del test en dos mitades

Métodos basados en la covariación de los ítems

Coeficientes basados en el análisis factorial de los

ítems

Coeficiente Beta (β) de Raju

Método división en dos mitades

Ecuación de Spearman-Brown (dos mitades paralelas): se basa

en la relación entre longitud de un test y coeficiente de fiabilidad.

Se aplica el test, se divide en dos mitades paralelas y se calcula

la correlación entre ambas partes (seria el coeficiente de fiabilidad

de cada mitad); para calcular la fiabilidad des test completo:

Formula de Rulon: Se usa cuando, no siendo las dos

mitades estrictamente paralelas, podemos considerarlas -

equivalentes (segun Lord y Novick son los test en los que las

puntuaciones verdaderas son iguales para un grupo de

sujetos en ambas formas, pero las varianzas de error no

tienen por que ser iguales). Asimismo, los test esencialmente

-equivalentes son aquellos en los que la puntuación

verdadera de cada sujeto en uno de los tests es igual a la del

otro mas una constante. En ambos casos se supone la

igualdad de las varianzas verdaderas de ambas mitades.

Formula de Guttman-Flanagan: equivalente a Rulon pero mas

sencilla. Rulon y Guttman- Flanagan proporcionan el mismo valor

de fiabilidad por ser expresiones equivalentes.

METODOS BASADOS EN LA

COVARIACION DE LOS ITEMS

Requiere análisis de la varianza y la covarianza de las respuestas de los sujetos a los ítems (proporciona una estimación de la consistencia interna de los ítems de un test). Los métodos mas frecuentes bajo estas condiciones son: el coeficiente alfa de Cronbach y los coeficientes KR20 y KR21 de Kuder-Richardson (se consideran casos particulares del coeficiente alfa de Cronbach cuando los ítems que forman el test son dicotómicos)

Coeficiente α de CronbachEs un indicador de la consistencia interna. Expresa la fiabilidad en función del no de

ítems y de la proporción de la varianza total del test debida a la covariación entre los

Ítems. A mayor covariación mayor fiabilidad

Inferencias sobre α

Casos particulares del coeficiente α (KR20 y

KR21) ecuaciones de Kuder-Richardson

(se consideran casos particulares del coeficiente alfa de

Cronbach cuando los ítems que forman el test son

dicotómicos; es decir, se puntúa 1 acierto y 0 fallo). A mayor

no de ítems y mayor covariación, mayor consistencia interna

y mayor fiabilidad.

COEFICIENTES BASADOS EN EL ANALISIS

FACTORIAL DE LOS ITEMS

Los coeficientes Theta (θ) y Omega (Ω) son dos indicadores de

la consistencia interna de los ítems de un test y una aproximación

al coeficiente α. (En general → α ≤ θ ≤ Ω)

Cuando los datos son paralelos se verifica → α = θ = Ω

COEFICIENTE BETA (β) DE RAJU

Facilita una estimación de la fiabilidad de un test compuesto de varios

subtest con distinto no de ítems (con el alfa de Cronbach no es posible).

Se aplica cuando no conocemos las puntuaciones de los sujetos en los

items de los distintos subtest; en caso de conocerlos, es preferible emplear

el coeficiente α.

ESTIMACION PUNTUACION VERDADERA DE

LOS SUJETOS EN EL ATRIBUTO DE INTERESNo se puede calcular el valor exacto de la puntuación verdadera de un sujeto, pero si podemos establecer un intervalo de confianza, con un determinado nivel de confianza, dentro del cual se encontrara dicha puntuación. La estimación se puede realizar de tres formas:

1.- Estimación mediante la desigualdad de Chebychev (cuando no se hace ningún supuesto sobre la distribución de las puntuaciones empíricas o de los errores)

2.- Estimación basada en la distribución normal de los errores: Asume una distribución normal de los errores de medida (con media 0 y varianza S2

e) y de las puntuaciones empíricas condicionadas a un determinado valor de V. Pasos para determinar el intervalo:

FIABILIDAD DE UNA BATERIA DE TESTS

Se trata de calcular la fiabilidad de la batería en función de los coeficientes de fiabilidad, varianzas y covarianzas de los subtest que la forman