UNIVERSIDAD NACIONAL MAYOR DE SAN MARCOS

(Universidad del Perú, DECANA DE AMÉRICA)

FACULTAD DE MEDICINA

DEPARTAMENTO ACADÉMICO DE NUTRICIÓN

ESCUELA ACADÉMICO PROFESIONAL DE NUTRICIÓN

CURSO

INVESTIGACIÓN EN ALIMENTACIÓN Y NUTRICIÓN II

PRÁCTICA Nº 1

Validación de Contenido mediante Juicio de Expertos

 Planificación de la prueba piloto

Medición de la Confiabilidad mediante Alfa Cronbach

PROFESOR RESPONSABLE: M.Sc. IVONNE ISABEL BERNUI LEO

FECHA: Miércoles 09 de Marzo del 2011

2011-I

INTRODUCCIÓN

Las características de un buen instrumento son la Validez y la Confiabilidad. La validez, se refiere al grado en que un instrumento realmente mide la variable que pretende medir; por ejemplo, una prueba sobre conocimientos sobre Lactancia Materna debe medir esto y no sólo los conocimientos sobre el valor nutricional de la leche materna. Aparentemente lograr la validez es algo sencillo, sin embargo la situación no es tan simple cuando se trata de variables como la motivación, la calidad de servicio a los clientes, las actitudes entre otras. La validez es un concepto del cual pueden tenerse diferentes tipos de evidencia 1: a) del contenido, realizada por el juicio de expertos; b) del constructo, se refiere a que tan exitosamente un instrumento representa y mide un concepto teórico y c) del criterio que implica que la medición del instrumento se ajusta o compara a un criterio externo -gold estándar. Este criterio puede ser concurrente si se mide al mismo tiempo que el instrumento (por ejemplo usar un cuestionario sobre síntomas del tracto gastrointestinal superior y compararlo con una endoscopia-gold estandar) o predictiva -por ejemplo el puntaje que obtuvo un postulante en el examen de admisión comparado con el promedio ponderado -gold estándar- obtenido cinco años después al egresar de la universidad.

El juicio de experto se establece recopilando opiniones emitidas por personas calificadas en las variables a investigar; se busca constatar si es coherente la relación entre las preguntas (reactivos ó ítems) que incluye el instrumento y las variables (con sus dimensiones, si las tuviera) a ser medidas con dicho cuestionario.

La prueba piloto consiste en aplicar todo el procedimiento que se realizará con la muestra final a personas con características semejantes a las de la muestra del estudio, con el objetivo de poner a prueba la metodología, la muestra, la funcionalidad de los instrumentos, el análisis de los datos, es decir la logística y por ende la viabilidad del proyecto de investigación. Si sólo se aplica el cuestionario entonces el procedimiento se llama “pre-evaluación” del instrumento2. El objetivo de esta pre-prueba es obtener de los encuestados las dificultades para responder el cuestionario, la comprensibilidad del lenguaje utilizado y acerca de cualquier otra inquietud que ellos percibieran al responderlo. Según refieren Hernández, Fernández y Baptista1 con los resultados de la prueba piloto se puede calcular la confiabilidad y la validez de la prueba.

En la presente guía la prueba piloto está enfocada a una investigación que utilice encuestas, sin embargo cabe señalar que quienes realizan mediciones en laboratorio también tienen que hacer “calibración de los equipos” y/o “estandarización de las técnicas” cuando fuera necesario. De manera semejante quienes estén elaborando “nuevos” alimentos tienen que hacer ensayos previos o preliminares a pequeña escala para determinar por ejemplo la proporción óptima de ingredientes, los tiempos requeridos en cada parte del proceso y otros aspectos específicos del proceso. Quienes deseen hacer intervenciones educativas tienes que probar previamente el material que van a usar en las sesiones respectivas. De una u otra manera los ensayos previos son muy importantes para las diferentes áreas de la investigación.

OBJETIVOSAl terminar la presente práctica el estudiante será capaz de:

Evaluar los resultados de la validación de un instrumento a través del juicio de expertos. Identificar los pasos para realizar una prueba piloto. Realizar una prueba alfa de Cronbach.

METODOLOGÍAValidación de un instrumento a través del juicio de expertos 1.- Durante la elaboración del proyecto de investigación se realiza la operacionalización de variables, y es a partir de ella que se comienza a elaborar las preguntas según cada dimensión -si la tuviera- sino según su(s) variable(s).

2

2.- Tiene que seleccionar a sus jueces expertos entre las personas que además de dominar las variables que van a ser medidas con el cuestionario estará familiarizado con el grupo poblacional al cual va dirigida la encuesta y deberá conocer acerca de la metodología de investigación, específicamente elaboración de instrumentos.3.- Una vez seleccionados los jueces expertos se les enviará una carta, la matriz de consistencia del proyecto, el cuadro de operacionalización de variables y un formato de evaluación del instrumento. El modelo de la carta y del formato se encuentran en la Guía N° 7 de curso de Investigación en Alimentación y Nutrición I3. Toda vez que llenar el formato de evaluación demanda un tiempo extra y no todos los expertos cuentan con dicho tiempo es que se recomienda invitar a más de ocho jueces. El número mínimo de expertos es ocho porque según la prueba binomial, si se tiene ocho jueces uno de ellos puede discrepar y el ítem sigue siendo válido. Si se tiene menos de ocho jueces significaría que todos deben concordar, lo cual no siempre ocurre. Por ello se aconseja enviar cartas y formatos a 10 jueces expertos, por lo menos.4.- Se les dará a los jueces el plazo prudencial de una semana para que respondan. Trate de recibir las observaciones personalmente pues el diálogo suele ser muy enriquecedor y le harán notar detalles de los cuales usted no se había percatado.

Evaluación de las respuestasUna vez que usted haya conseguido las respuestas ocho jueces como mínimo se procede a la evaluación cualitativa y cuantitativa de las mismas. La evaluación “Cualitativa” consiste en considerar todas las sugerencias, aportes que han escrito los jueces en el instrumento; ello ayuda al investigador a mejorar las preguntas del cuestionario, y de ser necesario eliminar aquellas que no tienen relación con la dimensión/variable que se está midiendo.

La evaluación Cuantitativa es más general pues valora al instrumento en su totalidad cubriendo diferentes aspectos como son la coherencia con los objetivos, su estructura y comprensibilidad. Se realiza mediante la prueba binomial. Procedimiento para la aplicación de la prueba binomial

1.- En una hoja Excel vaciar las respuestas de los jueces expertos según el cuadro vacío siguiente. La columna de ítems se refiere a los que se emplearon en la “Escala de calificación del juez experto” (Anexo 1). En cada celda del cuadro vacío digitará ‘1’, si es que el juez respondió ‘Si’ en el formato y ‘0’ si respondió que ‘No’. Colocaremos en la columna siguiente el ‘p valor’ de cada ítem

ITEMS Juez1 Juez2 Juez3 Juez4 Juez5 Juez6 Juez7 Juez8 p valor1.2.3.4.5.6.7.

2.- Se establecen la Ho y la Ha; Ho: La proporción de los jueces que dicen “Si” es igual a la de los jueces que dicen “No”.

Es decir que entre los jueces no hay concordancia, pues la proporción es de 50% “Si” y 50% “No”. Dicho de otra manera la probabilidad de éxito es de 0.50

Ha: La proporción de los jueces es diferente de 0.5. Si hay concordancia entre los jueces.

3

3.- Colocar el cursor en la celda correspondiente al ítem 1 de la columna p valor y pulsar clic en el botón función. En la primera fila del ejemplo ficticio tenemos 7 veces el valor ‘1’ y una vez el valor ‘0’ por ello colocar ‘7’ en el casillero correspondiente a ‘Núm_éxitos’. Luego colocar ´8´en el casillero siguiente ‘Ensayos’, pues se tiene ocho jueces expertos. En el 3° casillero ‘Prob_éxito’ (probabilidad de éxito) colocar 0.5, pues ese es el valor de la Ho. En

el 4° casillero escribir ‘FALSO’ pues no se quiere la función acumulada, sino la probabilidad bruta.

El resultado es 0.03125, por ser menor que 0.05 se rechaza la Ho y se acepta la Ha para el primer ítem. Es decir, si hay concordancia entre los jueces, aunque hay un juez que está discrepando.

4.- Repetir el procedimiento para los seis ítems restantes del ejemplo ficticio:

ITEMS Juez1 Juez2 Juez3 Juez4 Juez5 Juez6 Juez7 Juez8 p valor1 1 1 1 1 1 0 1 1 0.03132 1 1 1 1 1 0 1 1 0.03133 0 0 0 0 0 0 0 0 0.00394 1 1 1 1 1 1 1 1 0.00395 1 1 1 1 1 1 1 1 0.00396 1 1 1 1 0 0 1 1 0.10947 1 1 0 1 1 1 1 1 0.0313

Los ítems: N° 1, 2, 4, 5 y 7 tienen un p valor < 0.05, por lo tanto si existe concordancia entre los jueces para dichos ítems. El ítem N° 6, ‘Los ítems son claros y entendibles’ el p valor > 0.05. Por lo tanto no hay concordancia entre los jueces, se debe revisar en la parte cualitativa las razones por las cuales los jueces han opinado así. En el ítem N° 3 ‘La estructura del instrumento es adecuada’ el p valor <0.05 por lo tanto hay concordancia entre los jueces, ellos acuerdan en que está “fallando” el instrumento en dicho ítem; se debe revisar la parte cualitativa para re-estructurar el cuestionario. Cabe recalcar que no es estadísticamente correcto calcular el promedio de los valores p a fin de obtener una valoración total de los jueces expertos; a continuación se indicara que procedimiento seguir.Recordemos que los principios éticos deben prevalecer a lo largo de nuestro trabajo y ello implica que debemos poner las opiniones de todos los jueces, aunque algunos nos puedan resultar adversas.

EJERCICIO: Realice la prueba binomial con los resultados de alguno de sus compañeros de equipo que ya la ejecutó. Caso contrario proponga un ejemplo ficticio.

4

ITEMS Juez1 Juez2 Juez3 Juez4 Juez5 Juez6 Juez7 Juez8 p valor1.2.3.4.5.6.7.

Procedimiento para Porcentaje de acuerdo entre los jueces Si quiere evaluar en conjunto todos los ítems del formato de los jueces expertos o si es que no hubiese conseguido los ocho jueces para hacer la prueba binomial entonces podrá calcular el ‘porcentaje de acuerdo entre los jueces’ 4 de la siguiente manera:1.- En una hoja Excel o en una de papel llene el cuadro que se le indicó anteriormente. Vamos a suponer que solo le contestaron cinco jueces y que sus respuestas están resumidas en el cuadro siguiente:

ITEMS Juez1 Juez2 Juez3 Juez4 Juez51. 1 1 1 1 12. 1 1 1 1 13. 0 0 0 0 04. 1 1 1 1 15. 1 1 1 1 16. 1 1 1 1 07. 1 1 0 1 1

2.- Tenemos un total de 35 respuestas (7 items x 5 jueces) de las cuales 28 son ‘1’. Aplicamos la siguiente fórmula, donde:

‘b’ = Grado de concordancia entre jueces; ‘Ta’ = n° total de acuerdos; ‘Td’ = n° total de desacuerdos.

b= Ta x 100Ta + Td

Reemplazamos por los valores obtenidos:b= 28 x 100

35

b= 80.0%

El resultado es que el 80% de las respuestas de los jueces concuerdan.

EJERCICIO: Calcule el porcentaje de concordancia de jueces con los resultados de alguno de sus compañer@s de equipo que ya aplicó. Caso contrario proponga un ejemplo ficticio.

5

ITEMS Juez1 Juez2 Juez3 Juez4 Juez5 Juez6 Juez7 Juez81.2.3.4.5.6.7.

PLANIFICACION de la PRUEBA PILOTO 1. Uno de los primeros pasos para la prueba piloto es tener el instrumento validado por los jueces

expertos, al cual se le han incorporado las correcciones propuestas. Puede omitir dicho paso siempre y cuando haya conseguido un instrumento validado según referencia bibliográfica respectiva.

2. Decidir el tamaño de muestra y quienes serán los sujetos de estudio que van a participar en la muestra piloto son puntos importantes. Por ello deberá tener en cuenta: a) Las personas encuestadas en la prueba piloto no deben ser parte de la muestra para el estudio

definitivo.b) Las personas encuestadas en la prueba piloto deben tener las mismas características de la que

muestra del estudio (por ejemplo sexo y edad), pero al mismo tiempo deben representar la máxima heterogeneidad de la población -diferentes estratos- para lograr heterogeneidad en las respuestas que puedan dar, por ejemplo si en la muestra final tendremos personas de diferente nivel educativo en la muestra también deberá estar presente esta heterogeneidad. Esto tiene por la finalidad de lograr una mayor consistencia interna del instrumento como explicaremos mas adelante.

c) El tamaño de la muestra para el estudio piloto es menor al de la muestra para el estudio definitivo; sin embargo los autores difieren respecto a la manera en que debe ser calculado. Argimón y Jiménez5 señalan que el tamaño de muestra del piloto debe ser mayor al número de ítems, y el número total de personas debe ser entre dos y diez veces el número total de ítems; Ruiz y Morillo6 señalan que se debe aplicar el instrumento a 20 ó 30 personas; mientras que Hernández Fernández y Baptista7 señalan que si la muestra final es de 300 o más se lleve a cabo la prueba piloto con entre 30 y 60 personas (o sea entre el 10% y el 20%).

d) Chávez de Paz8 sugiere que se tome como referencia el tamaño de la muestra para el estudio definitivo y a partir de ella (como si fuera el tamaño del universo), utilizando la fórmula estadística adecuada, se calcule el tamaño de la muestra para la prueba piloto. La selección de las unidades de análisis para el piloto se hace siguiendo los mismos principios del muestreo que se utilizará para la muestra del estudio definitivo. Este proceso tiene la ventaja de obtener una muestra más representativa para llevar a cabo el pretest o prueba piloto; sin embargo exige el uso de mayores recursos económicos, pues la muestra para el pre-test puede ser tan grande que se constituya en otra investigación.

e) Finalmente el tamaño de muestra dependerá de los recursos económicos con que se cuente.

3. De manera paralela deberá asegurarse de tener suficiente número de formatos y de ser necesario ir entrenando a las personas que le ayudar a aplicar el cuestionario.

4. Deberá, así mismo gestionar la autorización correspondiente para poder realizar su prueba piloto en el lugar que haya seleccionado. Como se dijo en la introducción la prueba piloto implica hacer un ensayo de toda la metodología que se realizará con la muestra final, por lo tanto solicite con tiempo los equipos y otros instrumentos que necesitará, así como también haga la compra del material necesario. De manera que todo esté listo para el día de la prueba piloto.

5. Una vez terminado el estudio piloto se digitará las encuestas recogidas pues también se trata de poner a prueba el plan de crítica o control de calidad e los datos, su grado de consistencia, plan de codificación y procesamiento estadístico.

6

6. Si después de calcular los índices de consistencia interna (alfa de Cronbach, Prueba de Kuder Richardson), el cuestionario no obtuvo los valores óptimos se debiera repetir la pre-prueba.

Evaluación de la Consistencia Interna – Prueba Alfa Cronbach – Prueba Kuder – Richardson Las pruebas estadísticas de la consistencia interna se realizan sólo en aquellos instrumentos que son de tipo discrimitativos, predictivos o evaluativos, es decir que van a sumar un puntaje. Aquellos formatos para recoger información sobre características generales, más aún los que tienen sub-preguntas no pueden ser evaluados mediante una prueba de alfa de Cronbach (variables politómicas), o prueba de Kuder y Richarson (variables dicotómicas). O sea que podemos usar el alfa de Cronbach para medir actitudes en escala tipo Likert (politómicas) y la prueba de Kuder en encuestas de conocimientos y listados de observación de prácticas en los cuales se considere que hay respuestas correctas e incorrectas (dicotómicas).

Procedimiento

1.- Vamos a suponer que tenemos un cuestionario de cinco preguntas (P1 al P5) y que en la prueba piloto hemos tenido 12 encuestados; así mismo vamos a suponer que no hay respuesta correcta y que nuestra escala va del ‘1’ al ‘5’ (tipo Likert). Procedemos a digitar los datos tal y como aparecen de la fila 2 a la fila 12 (ya que en la fila 1 están los encabezados).

2.- En la columna 7 vamos a sumar los valores de las preguntas. En la fila 16 se va a calcular la varianza (var) de cada columna, incluida la columna de los totales; ello lo podemos hacer utilizando la función ´=var(b2:b13) ’, en cada celda. Los resultados son var de P1= 0.97, var de P2=0.91, var de P3=0.45; var P4=0.63; var P5=1.54 y var de la columna total de filas es 14.386 (que representa la variabilidad total). También obtenemos la suma de las varianzas de todos los ítems, que es igual a 4.49

Encuestados P1 P2 P3 P4 P5 Total Filas1 2 3 3 2 2 122 2 3 2 2 2 113 2 3 2 3 2 124 2 2 2 2 1 95 5 5 4 3 5 226 2 2 3 2 1 107 4 4 3 4 1 168 2 2 2 2 1 99 3 4 3 4 1 1510 2 2 2 2 1 911 3 3 3 2 3 1412 3 3 2 3 3 14

Varianza totalcolumna

Varianza x ítem 0.97 0.91 0.45 0.63 1.54 14.386Suma de varianzas de filas 4.49        

A continuación vamos a aplicar la siguiente fórmula:

7

Reemplazando de la siguiente manera:α = (5/5-1) ( 1- ( 4.49/14.386)) α = (1.25) (0.6877)α = 0.85966298

El valor de los índices de consistencia interna se interpreta de la siguiente manera, cuanto mas cerca esté al valor de 1 habrá una mayor consistencia interna; se considera adecuado a partir de 0.7.

ANEXO N°1: Escala de calificación del Juez Experto

N° CRITERIOS SI NO OBSERVACIONES

1El instrumento recoge información que permite dar respuesta al problema de investigación.

2 El instrumento propuesto responde al (los) objetivo (s) de estudio.

3 La estructura del instrumento es adecuada.

4 Los ítems del instrumento responden a la operacionalización de la variable.

5 La secuencia presentada facilita el desarrollo del instrumento.

6 Los ítems son claros y entendibles.

7 El número de ítems es adecuado para su aplicación.

Referencias bibliográficas: 1. Hernández R, Fernández C y Baptista P. Metodología de la Investigación. 5a. edición. Editorial Interamericana. Mc

Graw-Hill. 2010. 2. Polit DF y Hungler BP. Investigación Científica en Ciencias de la Salud. Principios y Métodos 6ta. Ed. Mc

Graw Hill Interamericana. México DF. 2000. pg 225-6, 268-271.3. Delgado D, Troncoso L, Bernui I, Estrada E, Oriondo R, Villarreal C, Cairo Y,Quintana M y Espinoza S. Manual de

Investigacion en Alimentación y Nutrición I. Semestre 2010-II. EAP Nutrición. UNMSM. 2010.4. Barrientos, A. “Confiabilidad”. Clase del Doctorado en Ciencias de la Salud. 2010-I.5. Argimon JM, Jimenez J. Métodos de Investigación Clínica y Epidemiológica. 3ª Ed. Elsevier. Madrid. 2004.pag.

194.6. Ruiz A, Morillo LE. Epidemiología Clínica. Investigación Clínica aplicada. Editorial Médica Panamericana.

Bogotá. 2004. Pag. 176.7. Hernández R, Fernández C y Baptista P. Metodología de la Investigación. 4a. edición. Editorial Interamericana. Mc

Graw-Hill. 2006. Pag. 306. 8. Chávez de Paz D. Conceptos y técnicas de recolección de datos en la investigación jurídico social. Disponible en:

http://www.unifr.ch/ddp1/derechopenal/articulos/a_20080521_56.pdf

8