Embed Size (px)
Citation preview
EXPERIENCIA CURRICULAR DE DESARROLLO DEL PROYECTO DE
INVESTIGACIÓN
ESCUELA DE POSTGRADO
VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS DE RECOLECCIÓN DE DATOS
CONTENIDO CAPACIDAD INDICADOR DE LOGRO
Validación y confiabilidad
Determina la validez y confiabilidad de un instrumento.
Determina la validez y confiabilidad de un instrumento de recojo de información.
ESCUELA DE POSTGRADO
VALIDEZ Y CONFIABILIDAD
DE INSTRUMENTOS
Las escalas de actitudes son instrumentos de recolección y expresión de datos en términos cuantitativos a partir de hechos cualitativos.
Es necesario que reúnan dos requisitos: la confiabilidad y la validez.
INSTRUMENTO DE MEDICIÓN
La confiabilidad se refiera al grado en que su aplicación repetida al mismo sujeto, produce iguales resultados. Ej.: el termómetro.
La validez se refiere al grado en que un instrumento realmente mide la variable que pretende medir. Ej.: Cuestionario de Sostenibilidad de la Oferta y la demanda Turística
REQUISITOS
¿CÓMO SE SABE SI UN INSTRUMENTO DE MEDICIÓN ES CONFIABLE Y VÁLIDO?
CARACTERÍSTICAS A CONSIDERAR EN UN INSTRUMENTO(“MÉTODOS DE INVESTIGACIÓN“ ARGIMON J. Y JIMÉNEZ J.)
ValidezValidez de contenidoValidez de criterioValidez de constructo o de concepto
ConfiabilidadRepetibilidadConfiabilidad inter observadorConsistencia interna
EjemploUna prueba de operaciones aritmética no tendrá validez de contenido si sólo incluye problemas de suma y excluye problemas de resta, división o multiplicación .
a) VALIDEZ DE CONTENIDO.
Es el grado en que una prueba representa el universo de reactivos del cual se extrajo y es útil sobre todo para evaluar la utilidad de las pruebas que muestrean un área de conocimiento en particular.
VALIDEZ DE CONTENIDO POR JUICIO DE EXPERTOS
FORMATO PARA LA EVALUACIÓN DE JUECES
Helfer Joel Molina Quiñones
CLIMA LABORAL
Helfer Joel Molina Quiñones
EJEMPLO DE EVALUACIÓN DE JUECES
El instrumento fue evaluado por 7 jueces
Helfer Joel Molina Quiñones
PROCESO DE ANÁLISISUSANDO SPSS
1. Ingreso de datos en SPSS
2. Prueba Binomial3. Interpretación y
conclusión
P promedio = 0.036P promedio < 0.05,
La Prueba Binomial indica que el instrumento de observación es valido
Establece la validez de un instrumento de medición comprándola con algún criterio externo.Este criterio es un estándar con el que se juzga la validez del instrumento, cuanto más se relaciona los resultados del instrumento de medición con el criterio, la validez será mayor.
Ejemplo Un cuestionario para saber las preferencias electorales de los votantes de Lima en las elecciones municipales y regionales del 2010 respecto a los candidatos a la alcaldía de esta provincia puede validarse en criterio aplicando la encuesta dos o tres días antes de la elección y sus resultados compararlos con los resultados finales de la elección
Es una medida del grado en que una prueba está relacionada con algún criterio. Es de suponer que el criterio con el que se está comparando tiene un valor intrínseco como medida de algún rasgo o característica.
b) VALIDEZ DE CRITERIO
Validez de criterio:Índice de Kappa de
Cohen
Landis y Koch (1977) propusieron unos márgenes para valorar el grado de acuerdo en función del índice kappa:
Se refiere al grado en que una medición se relaciona consistentemente con otras mediciones de acuerdo con hipótesis derivados teóricamente y que se relacionan a los conceptos o constructos que están siendo medidos.
Ejemplo TEORIALas investigaciones hechas encontraron que “A” se relaciona positivamente con B, C y D negativamente con W
c) VALIDEZ DE CONSTRUCTO
CONFIABILIDAD
Un instrumento es confiable o fiable si produce resultados consistentes cuando se aplica en diferentes ocasiones (estabilidad o reproducibilidad (replica)). Esquemáticamente se evalúa administrando el instrumento a una misma muestra de sujetos ya sea en dos ocasiones diferentes (repetibilidad) o por dos o más observadores diferentes (confiabilidad inter observador). Se trata de analizar la concordancia entre los resultados obtenidos en las diferentes aplicaciones del instrumento.
ESTUDIO DE CONFIABILI
DAD
CÁLCULO DE LA CONFIABILIDAD
Generalmente todos los procedimientos utilizan fórmulas que producen “coeficientes de confiabilidad”, los cuales pueden oscilar entre 0 y 1, donde 0 significa confiabilidad nula y 1 representa el máximo de confiabilidad.
Muy baja Baja Regular Aceptable Elevada
0 % 1 %
Medición contaminada de error
No hay error
CRITERIO DE CONFIABILIDAD VALORES
•No es confiable -1 a 0
•Baja confiabilidad 0.01 a 0. 49
•Moderada confiabilidad 0.5 a 0.75
•Fuerte confiabilidad 0.76 a 0.89
•Alta confiabilidad 0.9 a 1
X = t + e
X representa valores observadost valores verdaderose grado de error en la medición
1. Repetibilidad o confiabilidad test-retest Se refiere a si, cuando se administra un instrumento a la misma población en dos ocasiones diferentes, se obtienen resultados idénticos o similares. Si el instrumento es para pacientes, estos deben ser crónicos. (perfil de salud)
Variable cualitativa coeficiente kappa
Variable cuantitativa coeficiente de correlación intra clase.
Otras formas: - Versiones equivalentes
- Dos mitades (pares-impares)
Coeficiente de correlación intra clase
2. Confiabilidad interobservador. Se estima el grado de concordancia entre dos o más evaluadores (observadores). Si la confiabilidad interobservador es alta la intra observador también es alta. Pero, si la confiabilidad interobservador es baja, no se puede asegurar si es debido a diferencias entre observadores o en un mismo observador.
Se evalúa: Variable cualitativa: índice kappa Variable cuantitativa: coeficiente de correlación intraclase. Ejemplo: para medir capacidad funcional en personas de edad
avanzada, se evaluó la concordancia entre 11 observadores que evaluaron 30 pacientes, obteniéndose coeficientes de correlación intraclase que oscilaron entre 0,66 para el estado físico y 0,87 para los autocuidados.
3. Consistencia interna: Se refiere si los items que miden un mismo atributo, presentan homogeneidad entre ellos. Esta homogeneidad entre los ítems nos indica el grado de acuerdo entre los mismos y, por tanto, lo que determinará que éstos se puedan acumular y dar una puntuación global. Cuando una variable tiene diferentes dimensiones debe evaluarse la consistencia interna de cada una de ellas.
Se evalúa:- Coeficiente alfa de Cronbach. - Fórmula 20 de K-R Ejemplo. El cuestionario de apoyo social consta de 11 ítems
medidos en una escala de Likert con puntuaciones de 1 a 5. El alfa de Cronbach de la escala fue de 0,90, el de la sub escala de apoyo confidencial de 0,88 y el de apoyo afectivo de 0,79
COEFICIENTE ALFA DE CRONBACH.
Se trata de un índice de consistencia interna que toma valores entre 0 y 1 y que sirve para comprobar si el instrumento que se está evaluando recopila información defectuosa y por tanto nos llevaría a conclusiones equivocadas o si se trata de un instrumento fiable que hace mediciones estables y consistentes.
CONSISTENCIA INTERNA: ALFA DE CRONBACHPERSONA A: INTERNAMENTE CONSISTENTEPERSONA B: INTERNAMENTE INCONSISTENTE
ÍtemTodas las
vecesLa
mayoría de las veces
Unas pocas veces
Rara vez
1 4A
3 2 1B
2 4B
3A
2 1
3 4 3A
2B
1
4 4A
3B
2 1
CONFIABILIDAD – ALFA DE CRONBACH
Alfa de Cronbach
N de elementos
.896 19
Alfa de CronbachEres consciente de lo que piensas sobre la actividad o problema de investigación .897Eres consciente de qué técnica o estrategia de pensamiento usar y en qué momento .897Te preguntas cómo se relaciona la información importante de la actividad de investigación con lo que ya sabes
.898Intentas concretar qué se te pide en la tarea de investigación. .896Reflexionas sobre el significado de lo que se te pide en la actividad de investigación antes de empezar
.895Te aseguras de haber entendido lo que hay que hacer, y cómo hacerlo en la investigación. .895Haces un seguimiento de tus progresos y, si es necesario, cambias las técnicas y estrategias de aprender la investigación.
.894Utilizas múltiples técnicas de pensamiento o estrategias para resolver la actividad o la tarea de investigación.
.895Eres consciente de tu esfuerzo por intentar comprender la actividad de investigación antes de empezar a resolverla.
.895Seleccionas y organizas la información relevante para la resolución de la tarea o actividad de investigación.
.894Verificas permanentemente el avance de tu trabajo de investigación mientras lo estás haciendo. .895Tratas de descubrir las ideas principales o la información relevante de dicha tarea o actividad de investigación.
.895Intentas comprender los objetivos de la actividad de investigación antes de ponerte a resolverla. .893Eres consciente de la necesidad de planificar el curso de tu acción. .896Una vez finalizada la actividad de aprendizaje de la investigación eres capaz de reconocer lo que dejaste sin realizar.
.899Eres consciente de los procesos de pensamiento que utilizas (de cómo y en qué estás pensando). .895Antes de empezar a realizar la actividad de aprendizaje de la investigación, decides primero, cómo abordarla.
.896Verificas la precisión de tu aprendizaje a medida que avanzas en la realización de la actividad de investigación.
.893Te esfuerzas por comprender la información clave de aprendizaje de investigación de la actividad antes de intentar resolverla.
.895
SU FÓRMULA ESTADÍSTICA ES LA SIGUIENTE:
2
2
11 T
i
S
S
KK
K: El número de ítemsSi^2: Sumatoria de Varianzas de los ItemsST^2: Varianza de la suma de los Itemsα: Coeficiente de Alfa de Cronbach
EJEMPLO 1Items I II III Suma de Items
Sujetos Campos (1) 3 5 5 13Gómez (2) 5 4 5 14Linares (3) 4 4 5 13Rodas (4) 4 5 3 12
Saavedra (5) 1 2 2 5Tafur (6) 4 3 3 10
VARP 1.58 1.14 1.47 ST2 : 9.14
(Varianza de la
Población) S Si2 : 4.19
K: El número de ítems : 3
Si^2 : Sumatoria de Varianzas de los Ítems : 4.19
ST^2 : Varianza de la suma de los Ítems : 9.14
a : Coeficiente de Alfa de Cronbach
14.919.4
113
3
α = 0.81
Entre más cerca de 1 está α, más alto es el grado de confiabilidad
PROCEDIMIENTO DE DOS MITADES (DIVISIÓN DE ÍTEMS EN PARES E
IMPARES)
1° Se calcula el Índice de Correlación (Pearson)
2° Corrección de r con la ecuación de Spearman – Brown
rr
R
12
EJEMPLO 2 Items I II III A B
AB A2 B2
Sujetos
Campos (1) 3 5 5 8 5
40 64 25
Gómez (2) 5 4 5 10 4
40 100 16
Linares (3) 4 4 5 9 4
36 81 16
Rodas (4) 4 5 3 7 5
35 49 25
Saavedra (5) 1 2 2 3 2
6 9 4
Tafur (6) 4 3 3 7 3
21 49 9
Suma 44 23
178 352 95
ÍNDICE DE CORRELACIÓN DE PEARSON ( R ) : 0.66
CORRECCIÓN SEGÚN SPEARMAN-BROWN ( R ) : 0.79
2R / (1+R)ENTRE MÁS CERCA DE 1 ESTÁ R, MÁS ALTO ES EL GRADO DE CONFIABILIDAD
n 6
n (SAB) 1068
(SA) (SB) 1012
Numerador 56
n (SA2) 2112 n (SA2) - (SA)2 176
(SA)2 1936
n (SB2) 570 n (SB2) - (SB)2 41
(SB)2 529
EJEMPLO 3
CALCULO CON EL EXCEL
SUJETOS
ITEM 1 ITEM 2 ITEM 3 ITEM 4SUMATORIA DE ITEMSCALIDAD
ECONOMIA DE ESCALA
VALOR AGREGADO COMPETITIVIDAD
1 15 14 16 15 60
2 19 22 21 20 82
3 15 14 15 14 58
4 15 14 16 15 60
5 18 19 19 19 75
6 15 16 16 16 63
7 14 15 16 15 60
8 13 14 14 14 55
9 20 19 20 20 79
10 19 18 20 19 76
11 18 19 20 19 76
12 16 17 18 17 68
13 14 14 15 14 57
14 17 18 17 17 69
15 14 14 15 14 57
16 19 20 21 20 80
17 15 16 16 15 62
18 14 15 15 14 58
19 14 14 15 14 57
20 15 14 15 14 58
21 14 15 14 14 57
22 15 14 14 14 57
23 15 16 15 15 61
24 14 14 15 14 57
25 15 15 16 15 61
26 16 14 16 15 61
27 16 15 15 15 61
28 15 16 15 16 62
29 15 14 16 15 60
30 15 13 15 15 58
VARP (Varianza de la Población)
3,232 4,929 4,366 4,179 ST2 62,517
S Si2 16,706
SUJETOS
ITEM 1 ITEM 2 ITEM 3 ITEM 4SUMATORIA DE
ITEMSCALIDADECONOMIA DE
ESCALA VALOR AGREGADO COMPETITIVIDAD
K: El número de ítems 4 SSi²: Sumatoria de varianza de los ítems 17
ST²: Varianza de la suma de los ítems 63
2
2
11 T
i
S
S
KK
α = 4 * 1 - 16,710
( 4+1) 62,520
α = 1,33 * 0,732726
α= 0,977ESTE COEFICIENTE NOS INDICA QUE ENTRE MÁS CERCA DE 1 ESTÉ Α, MÁS ALTO ES EL GRADO DE CONFIABILIDAD, EN ESTE CASO, EL RESULTADO
NOS DA UN VALOR DE 0.977, ENTONCES SE PUEDE DETERMINAR QUE EL INSTRUMENTO
EMPLEADO TIENE UN ALTO GRADO DE CONFIABILIDAD.
FÓRMULA KR20
Tomado de: Tirsa Pacheco - Neida Díaz - Francis Pernalette - Exira M. Garban
El Método KR20 representa un coeficiente de consistencia interna del instrumento, que proporciona la media de todos los coeficientes de división por mitades para todas las posibles divisiones del instrumento en dos partes (Magnusson, 1995).
La fórmula KR-20 tan solo es una variante de alfa especialmente orientada a items dicotómicamente valorados (específicamente, valorados con los valores 0 y 1). (Bolívar, 1997).
MÉTODO KR20
Para el año 1937 Kuder y Richardson desarrollaron el conocido KR20, se denominó de esta forma porque fue la fórmula número 20 presentada por el famoso artículo de los autores.
También existen varios modelos para estimar la confiabilidad de consistencia interna de una prueba, entre ellos los más conocidos son los siguientes: Alpha de Croncbach, Dos mitades, Sperman-Brown, Método de Hoyt.
ORÍGEN
Permite calcular la confiabilidad con una sola aplicación del instrumento.
No requiere el diseño de pruebas paralelas.
Es aplicable sólo en instrumentos con ítems dicotómicos, en los cuales sólo existen respuestas correctas e incorrectas.
CARACTERÍSTICAS
Se representa de la siguiente manera:
KR20
La fórmula KR-20 tan solo es una variante de alfa especialmente orientada a items dicotómicamente valorados.
Una vez obtenido p (=A/N) y q (=1- p) para cada ítem, se procede a obtener la varianza de cada ítem como producto de p por q. También necesitamos la varianza del total y la suma de la varianza de los items para aplicar finalmente la fórmula KR20.
APLICACIÓN
Es la medida de tendencia central más utilizada en los métodos estadísticos y es, por otra parte, el promedio al que estamos más acostumbrados.
Se obtiene sumando todos los datos y dividiendo por el número de ellos.
Ejemplo:
MEDIA
X = Σ x i n
−
Es el cuadrado de la desviación media.
Ejemplo:
VARIANZA
S= xi _ x i n
n-1
2 ( )
CÁLCULO DE CONFIABILIDAD.TECNICA DE KUDER RICHARDSON -20:
Técnica para el calculo de la confiabilidad de un instrumento aplicable sólo a investigaciones en las que las respuestas a cada ítem sean dicotómicas o binarias, es decir, puedan codificarse como 1 ó 0 (Correcto – incorrecto, presente – ausente, a favor – en contra, etc.)
La fórmula para calcular la confiabilidad de un instrumento de n ítems o KR20será:
K=número de ítems del instrumento.
p=personas que responden afirmativamente a cada ítem.
q=personas que responden negativamente a caca ítem.
St2= varianza total del instrumento
xi=Puntaje total de cada encuestado.
2
2 .*1 st
qpst
k
krtt
n
xx
sti
2__
2
CÁLCULO DE CONFIABILIDAD.
4.315/51__
x
57,115/6,232 st
2
2 .*1 st
qpst
kk
rtt
57,1
16,157,1*16
6
ttr
rtt=0,31
PREGUNTAS o ÍTEMSPUNTAJE TOTAL (xi)
(xi-X)2ENCUESTADO P1 P2 P3 P4 P5 P6
E01 1 1 0 0 0 0 2 1,96E02 1 1 0 1 0 0 3 0,16E03 1 0 1 1 0 0 3 0,16E04 0 1 1 0 1 0 3 0,16E05 0 1 1 1 0 0 3 0,16E06 1 0 1 1 1 0 4 0,36E07 1 1 1 1 1 1 6 6,76E08 1 0 0 0 0 0 1 5,76E09 1 0 1 1 1 1 5 2,56E10 1 1 0 0 0 0 2 1,96E11 1 0 1 1 1 0 4 0,36E12 1 1 1 0 0 0 3 0,16E13 1 1 1 1 0 0 4 0,36E14 0 1 1 1 0 0 3 0,16E15 1 1 1 1 1 0 5 2,56
TOTAL 12 10 11 10 6 2 51 23,60MEDIA 0,80 0,67 0,73 0,67 0,40 0,13 3,40
p 0,80 0,67 0,73 0,67 0,40 0,13 q 0,20 0,33 0,27 0,33 0,60 0,87 p.q 0,16 0,22 0,20 0,22 0,24 0,12 1,16
Matriz de datos de instrumento de 6 items aplicado a 15 unidades de estudio
