Embed Size (px)
Citation preview
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/236855054
Diseño y validación de un cuestionario sobre el desarrollo de competencias
de investigación educativa
Conference Paper · September 2013
CITATIONS
0
READS
661
2 authors:
Some of the authors of this publication are also working on these related projects:
Successful Education for all: equity in the educational process View project
Analysis of Professional Guidance System in the Castilla-La Mancha (Spain) View project
José Sánchez Santamaría
University of Castilla-La Mancha
171 PUBLICATIONS 165 CITATIONS
SEE PROFILE
Sonia Morales Calvo
University of Castilla-La Mancha
25 PUBLICATIONS 44 CITATIONS
SEE PROFILE
All content following this page was uploaded by José Sánchez Santamaría on 27 May 2014.
The user has requested enhancement of the downloaded file.
DISEÑO Y VALIDACIÓN DE UN CUESTIONARIO SOBRE EL DESARROLLO DE
COMPETENCIAS DE INVESTIGACIÓN EDUCATIVA
José Sánchez Santamaría1
Sonia Morales Calvo1
1 Universidad de Castilla-La Mancha
Email: [email protected]
Email: [email protected]
Comunicación presentada al XVI Congreso Nacional / II Internacional Modelos de
Investigación Educativa de AIDIPE, Alicante, 4-6 septiembre, 2013
Resumen
Esta propuesta tiene como objetivo mostrar los principales resultados del proceso de diseño y
validación de un cuestionario sobre el desarrollo de competencias profesionales en materia
de investigación educativa. Para ello, en primer lugar, se ha realizado una revisión
documental de 7 planes de estudio de grado en Educación Social; en segundo lugar, se ha
procedido a una validación a través de un grupo de expertos. El resultado ha sido un
instrumento compuesto por 2 escalas con 8 subescalas y 127 ítems tipo likert con seis
opciones de respuesta. Los resultados obtenidos del proceso de validación muestran valores
positivos, aunque hay que atender algunas cuestiones de contenido y extensión del
cuestionario. Así pues, se cuenta con un cuestionario listo para analizar sus propiedades
psicométricas con mayor profundidad.
Descriptores: Metodología de Investigación, Validez, Fiabilidad, Espacio Europeo de
Educación Superior (EEES), Enseñanza Basada en la Investigación, Competencias, Docencia
Universitaria.
Abstract
This proposal aims to show the main results of the validation process and design a
Questionnaire on Competency-Based Development in Educational Research. Firstly, a
literature review about eight grade curriculum in Social Education has been conducted,
secondly, a validation process by an expert panel has been proceeded. The finding has been
an instrument with 2 escales, 8 subscales and 127 items with a Likert summative scale with
six response options. The preliminary results are quite a few positive values though they
should be address some issues of content and length of the questionnaire. Thus, it has a
questionnaire ready to test its psychometric properties further.
Descriptors: Research Methodology, Validity, Reliability, European Higher Education Area
(EHEA), Research-Based Education, Competencies, University Teaching.
Sentido y función de la investigación en la Educación Social
La práctica profesional en Educación Social se caracteriza por ser provisional, cambiante,
dinámica y con una clara tendencia a hacerse innecesaria ya que se dirige a la superación de
deficiencias, problemas y dificultades propias del desarrollo social y para la promoción y
prevención social. Asimismo, viene determinada por el sujeto al que se dirige la acción
socioeducativa, y por el modelo que se adopta a partir de lo que la investigación avala
mediante evidencias empíricas sólidas, intentando superar una intervención basada en
supuestos por una práctica avalada por hechos objetivables (Ballesteros Velázquez, 2003;
Orellana, Almerich y Suárez, 2010). Todo ello en un contexto interdisciplinar, al tener que
trabajar con distintos profesionales de lo social. Esto pone de relieve que toda intervención
socioeducativa debe estar sometida a la lógica de la indagación permanente (poner en
cuestión), y en concreto, el educador social debe introducir en su buen hacer profesional tres
aspectos: ver, juzgar y actuar a partir del método científico. Esto significa que a través de la
investigación debe ser capaz de (Sánchez Santamaría, 2011): a) asumir como propio, desde la
óptica científica, el ejercicio de profundizar en el conocimiento de los fenómenos y contextos
socioeducativos y formativos; b) comprender, valorar y juzgar los fenómenos y hechos
sociales para optimizar sus proyectos y actuaciones bajo criterios de oportunidad, idoneidad,
eficacia, calidad, globalidad y flexibilidad; y, c) avanzar en su desarrollo profesional como
elemento irrenunciable para la mejora de su práctica.
Lo anterior implica desterrar determinadas concepciones academicistas sobre la investigación
en Educación Social, alejadas de la realidad y que no aportan un saber hacer aplicado al
contexto de intervención socioeducativa. Para estos fines, la investigación socioeducativa es
considerada como un medio al servicio de la transformación de los fenómenos, hechos y
situaciones educativas, con la intención de ajustar su intervención a las demandas y
necesidades reales de los sujetos objeto de intervención y de mejorar la práctica como
profesional comprometido con una sociedad democrática, bajo referentes éticos (Fullana,
Pallisera, Tesouro y Castro, 2009). Por lo que los métodos de investigación educativa
constituyen una subdisciplina científica relacionada con el desarrollo de metodologías de
análisis de la realidad social, mostrando las técnicas y los procedimientos adecuados a los
objetivos perseguidos en cualquier investigación educativa, de manera que se pueda obtener
una descripción, comprensión y explicación científica del objeto/sujeto de estudio con aras a
una intervención socioeducativa de calidad (Sánchez Santamaría y Morales, en prensa, 2014).
La Educación Social es una profesión de carácter pedagógico, cuyo ámbito de competencia es
la generación de contextos educativos y acciones mediadoras y formativas para la
incorporación del sujeto a la diversidad de las redes sociales y su promoción cultural y social
(ASEDES, 2004). En este sentido, y desde un enfoque más crítico, se entiende por educador/-
a social como aquel/-lla “profesional que interviene y es protagonista de la acción social
conducente a modificar determinadas situaciones personales y sociales a través de
estrategias educativas… se concibe como un agente de cambio social, dinamizador de los
grupos y colectivos sociales a través de la acción educativa” (Petrus, 1994, p. 58).
De esta perspectiva, se aprecia la convergencia entre intervención e investigación en
Educación Social, lo que afianza el carácter aplicado y de utilidad social de la investigación
científica. Dicho de otro modo, la investigación y la intervención socio-educativa no se
pueden separar ya que la investigación forma parte del proceso de elaboración y acción de la
intervención. En este sentido, con la introducción del enfoque de competencias profesionales,
la docencia universitaria en materia de investigación en Educación Social se enfrenta a nuevos
retos en el marco del proceso de convergencia europea en materia de Educación Superior. Sus
implicaciones son muy diversas: énfasis en el aprendizaje del estudiante, cambio en el rol
docente, promoción de metodologías activas, etc. La intención es aprovechar el potencial
pedagógico de otras herramientas didácticas distintas a las clases magistrales para dar
respuesta a las demandas generadas en el marco de las asignaturas de metodología de
investigación y/o evaluación en educación, por dos motivos: mejorar el desarrollo didáctico
orientado a la adquisición competencial y una mayor preocupación por la calidad de la
docencia con implicaciones en el desarrollo profesional del alumnado (Morales, 2011;
Morales y Sánchez Santamaría, 2012).
Este trabajo, inscrito dentro de una línea de investigación sobre la mejora de la docencia
universitaria en asignaturas de metodología en Educación Social desde 2008, se centra en
mostrar, en sus primeros pasos, el proceso de diseño y validación de un cuestionario sobre la
adquisición y desarrollo de competencias de investigación,
Método
Se trata de un diseño de validación de pruebas (Jornet y Suárez, 1996), que consiste en la
elaboración y validación de contenido, de constructo y predicción del cuestionario sobre
Adquisición y Desarrollo de Competencias de Investigación en la Docencia Universitaria
(Cuestionario ADES-CIDU), con una escala sumativa tipo likert (de 1 a 6 grados).
En este trabajo solo se presentan los resultados pertenecientes a la fase I y II del proceso de
validación: elaboración de bancos de ítems a partir del análisis documental y juicio de
expertos, respectivamente. El resto de fases están en proceso: la fase III sobre el proceso de
validez de constructo a través del análisis factorial de componentes principales (rotación
varimax, índice KMO, criterio de asignación a factor .400 o superior de saturación y menor
.300 en otros factores), fiabilidad y consistencia interna y estabilidad temporal (coeficiente α
de Cronbach, inter-elementos promedio); y, fase IV de validez predictiva mediante
correlaciones (producto-momento de Pearson) y análisis de regresión múltiple (variable
criterio puntuación media en la asignatura: p<.001) en relación a su capacidad para predecir el
rendimiento académico (cuadro 1).
Cuadro 1. Síntesis del diseño metodológico
Método Diseño validación de pruebas
Propósito Validez de contenido, constructo y predictiva
Fases I. Revisión analítica:
banco de ítems
II. Análisis y evaluación
de jueces
III.
Pilotaje
IV.
Aplicación
Recogida de datos Análisis documental:
revisión y lectura
selectiva mediante un
análisis crítico
Juicio de expertos
(https://students.sgizmo.co
m/projects/preview?id=12
21769)
Cuestionario ADES-CIDU
(https://students.sgizmo.com/pr
ojects/preview?id=1221770)
Muestra Intencional:
7 planes de estudio
Intencional:
10 expertos
Aleatorio estratificado:
alumnado por campus y curso
Criterios
muestrales
Accesibilidad de la
información en web
Perfil en metodología de
investigación
Destinatarios potenciales:
alumnado del grado de
Educación Social
Análisis de datos Análisis de
contenido:
interpretación directa
y comparativa
Estadísticos descriptivos,
coeficiente de variación y
coeficiente W de Kendall
Descriptivos, factorial
componentes principales,
fiabilidad, correlaciones y
regresión múltiple
Limitaciones del
proceso
Representatividad y
reflejo práctica
Intereses del investigador
y discrepancia – jueces
Exploratorio y local
Resultados
Diseño del cuestionario ADES-CIDU: validez de contenido y primera versión
Los estudios que se han centrado en la formación en competencias de investigación en
Educación Social se integran dentro de los trabajos sobre el desarrollo de competencias en el
marco del Practicum (Morales, 2010) o la adquisición de competencias profesionales en el
plan de estudios (Fullana, Pallisera y Planes, 2011). Son escasos los trabajos que centran toda
su atención en el contenido específico de las competencias de investigación (Ballesteros
Velázquez, 2003; Sánchez Santamaría y Morales, en prensa, 2014).
Una cuestión esencial, y que aporta cierta validez de contenido, es realizar una revisión de
distintos planes de estudio sobre el grado de Educación Social en las universidades españolas.
Esto se hace con la doble intención de: a) contar con referentes comparativos; y, b) situar en
un contexto más amplio el plan de estudios de la Universidad de Castilla-La Mancha.
Cuadro 2. Características curriculares de la investigación educativa en distintos planes de
estudios de Grado en Educación Social, curso 2012/13
Institución Materia Asignaturas Créd. Contenidos Competencias
UVEG
Educación
Métodos de
Investigación
Educativa
Iniciación a la
investigación en
educación (FB);
Análisis de datos en
educación (OB);
Métodos de
recogida de
información en
educación (OB);
Medición educativa
(OB)…
28,5 Bases
epistemológicas,
proceso general
de investigación,
criterios de
calidad de la
investigación
cuantitativa y
cualitativa,
diseños y recursos
tecnológicos para
el análisis de
datos
Planificar y desarrollar
un proyecto de
investigación, crear y
producir información y
actuar éticamente y
colaboración profesional
UCM Estadística
Aplicada a las
Ciencias Sociales
(FB); Elaboración y
Análisis de
Informes de
Investigación
Socioeducativa
(OP)
12 Introducción a la
Metodología de
Investigación y
Observación
en Ciencias
Sociales. Las
técnicas de
registro y de
análisis
Conocer y aplicar
técnicas de recogida de
información; Conocer y
aplicar metodologías y
técnicas estadísticas
básicas; saber analizar
los datos obtenidos;
organizar e interpretar la
información; desarrollar
la curiosidad intelectual
y el compromiso;
emplear y comprender el
lenguaje técnico de la
investigación pedagógica
UNED Investigación
para la mejora
de la realidad
social
Estadística aplicada
a la Educación
(FB); Métodos de
Investigación en
Educación Social
(OB);
Investigación-
acción y
sistematización de
prácticas en
educación social
(OP)
18 Nociones básicas;
Proceso general
de investigación;
diseños de
investigación;
medición; escalas;
fiabilidad y
validez;
observación;
instrumentos de
investigación;
análisis de casos
Detectar y formular un
problema, de acuerdo a
su marco teórico y
metodología; conocer
técnicas e instrumentos
recogida de información
en relación al diseño;
organizar, analizar e
interpretar resultados;
elaborar informes.
UPV Los contextos
de la
educación
Desarrollo
profesional y
práctica
socioeducativa
Estadística en la
educación (OB);
Elaboración de
proyectos de
investigación (OB)
12 Conceptos básicos
de Estadística;
organización y
representación
gráfica de una
variable;
estadística
descriptiva e
inferencial y usos
de software
estadístico
UPO Investigación
Participativa
Aplicada a la
Educación
Social
Metodologías
participativas de
investigación
aplicadas a la
educación social
(OB); Modelo de
planificación e
investigación
educativa (OB)
12 Investigar en
educación,
nociones básicas;
metodología;
modelos de
planificación;
informes de
investigación
Conocer y comprender
bases teóricas y
metodológicas;
diagnosticar y analizar
los factores y procesos
socioeducativos; diseñar,
planificar, gestionar y
desarrollar y evaluar;
adquirir las habilidades,
destrezas y actitudes para
la intervención
socioeducativa
URLL Investigación,
diagnóstico i
evaluación en
educación
social
Métodos y técnicas
de investigación
(OB); Técnicas de
entrevista (OB);
Investigación
aplicada a la
intervención (OB)
15 Investigación
científica (ciencia
y investigación),
análisis de la
realidad en
ciencias sociales y
métodos y
técnicas de
investigación
Conocer las diferentes
metodologías científicas
y les principales técnicas
De observación; conocer
los modelos y
herramientas de
investigación y
diagnóstico, diseñar y
aplicar instrumentos de
investigación
UCLM Métodos de
investigación
e intervención
educativa
Métodos de
Investigación
Educativa (OB)
6 Nociones básicas
y ética; proceso
general de
investigación:
problema, diseño,
teoría muestral,
recogida y
análisis de datos,
difusión de
informes
Detectar, analizar y
valorar demandas y
necesidades
socioeducativas, diseñar,
implementar y evaluar
proyectos investigación;
aplicar bases teóricas de
investigación, técnicas de
recogida y análisis de
datos
Fuente: Elaboración a partir de los planes de estudio de Educación Social de las 7 Universidades escogidas en el
trabajo, 2013.
Del análisis comparado de estos planes de estudio, y teniendo en cuenta los trabajos
publicados por la ANECA y distintos estudios sobre competencias profesionales de
investigación en Educación Social, así como los elementos implicados en los procesos de
enseñanza-aprendizaje (Morales y Sánchez-Santamaría, 2012; Sánchez-Santamaría y Morales,
en prensa, 2014): estrategias de aprendizaje, estrategias didácticas, ámbitos y competencias,
se ha elaborado la versión inicial del cuestionario.
Cuadro 3. Estructura del Cuestionario ADES-CIDU, versión inicial
Fuente: Cuestionario ADES-CIDU (v01), 2013.
Revisión lógica del cuestionario ADES-CIDU: concordancia entre jueces
Del análisis de los descriptivos básicos (media y desviación típica), en función de los 3
criterios utilizados por los jueces, se desprende una buena valoración del cuestionario. De este
modo, los jueces valoran que el lenguaje utilizado en el cuestionario es adecuado para los
destinatarios del mismo: estudiantes universitarios de Educación Social (M=3.62; Sx=.263).
A este respecto se han modificado algunos ítems en los que los jueces identificaban
problemas en el uso del lenguaje. En este mismo sentido, los jueces validan la relevancia de
los ítems según las dimensiones del cuestionario, aunque se evidencian algunas
recomendaciones sobre la necesidad de revisar el encaje de algunos ítems dentro de la
subescala “usos y transferencias” (M=3.55; Sx=.238). Y, por último, aunque se valora bien la
susceptibilidad de los ítems en términos de adecuación a las dimensiones del cuestionario, si
que algunos jueces ponen el acento en intentar disminuir el número de ítems, de forma
especial, en las subescalas de “conocimientos básicos”, “usos y transferencias” y “ámbitos de
aplicación” (M=3.63; Sx=.236).
Cuadro 4. Estadísticos descriptivos básicos del cuestionario ADES-CIDU según criterios de
claridad, relevancia y susceptibilidad
Escalas Subescalas
I. Proceso de Iniciación a la Investigación
Conocimientos básicos
Estrategias de aprendizaje
Estrategias didácticas
Usos y obstáculos tutorías
Valoración global
Subtotal 5
II. Proceso de Experimentación a la Investigación
Usos y transferencias
Ámbitos de aplicación
Valoración Global
Subtotal 3
Total 8
Escalas Subescalas Ítems Claridad Relevancia Susceptible
M DT M DT M DT
I. Proceso de
Iniciación a la
Investigación
Conocimientos básicos 57 3.61 .353 3.51 .332 3.67 .371
Estrategias de aprendizaje 6 3.35 .590 3.58 .668 3.52 .558
Estrategias didácticas 9 3.51 .532 3.63 .500 3.62 .445
Usos y obstáculos tutorías 6 3.57 .433 3.61 .388 3.51 .448
Valoración global 6 3.57 .528 3.47 .571 3.73 .439
Subtotal 5 84 3.56 .280 3.56 .305 3.58 .258
Fuente: Cuestionario ADES-CIDU (v01), 2013.
Si se considera la variabilidad en función de las escalas y subescalas, se puede destacar que la
distribución de los ítems es homogénea al situarse por debajo del 25%. Solo se aprecia un
valor notablemente superior en la subescala II referida al criterio de susceptibilidad, derivado
por la falta de homogeneidad de los jueces en los ámbitos de la investigación en Educación
Social.
Cuadro 5. Variabilidad de las escalas y subescalas valoradas por los jueces: claridad,
relevancia y susceptibilidad
Fuente: Cuestionario ADES-CIDU (v01), 2013.
Y, en relación a la similitud en las valoraciones dadas por los jueces, cabe comentar la
existencia de un consenso pobre pero con significación estadística para la claridad (p<.002) y
la relevancia (p<.001), a excepción del criterio de susceptibilidad (p<.656). Además, el
análisis de los ítems nos informa de que el coeficiente de correlación de Spearman muestra
valores de intensidad medios y bajos.
Cuadro 6. Síntesis del coeficiente de concordancia W de Kendall
Criterio Valor Fuerza
Calidad .138 Pobre
Relevancia .140 Pobre
Susceptibilidad .095 Pobre
Fuente: Cuestionario ADES-CIDU (v01), 2013.
II. Proceso de
Experimentación
a la Investigación
Usos y transferencias 17 3.74 .429 3.42 .356 3.61 .408
Ámbitos de aplicación 20 3.74 .332 3.64 .166 3.78 .304
Valoración Global 6 3.70 .483 3.53 .502 3.75 .425
Subtotal 3 43 3.73 .370 3.53 .262 3.71 .288
Total 8 127 3.62 .263 3.55 .238 3.63 .236
Criterio Escala Subescalas Media Sx CV
Claridad I-II 3.62 .263 7.26
I 3.56 .280 7.86
II 3.73 .370 9.92
Relevancia I-II 3.55 .238 6.70
I 3.56 .305 8.57
II 3.53 .262 7.42
Susceptibilidad I-II 3.67 .251 6.84
I 3.62 .076 2.10
II 3.71 .830 22.37
Conclusiones
De la aplicación de la fase I y II, se ha obtenido el cuestionario ADES-CIDU. Respecto a ello
conviene comentar tres cuestiones, a saber:
El cuestionario presenta una correcta validez de contenido, al estar en relación con los
contenidos y competencias trabajadas en los grados de Educación Social en las
universidades españolas. A ello, se une la abundante literatura que avala este hecho,
así como la caracterización de los ítems recogidos en las subescalas de estrategias de
aprendizaje, entre otras.
Las valoraciones de los jueces, de acuerdo a los tres criterios escogidos para validar el
cuestionario, son bastante elevadas, en el sentido de que sus respuestas mantienen una
concordancia homogénea. Este aspecto viene avalado por la significación estadística
en relación al primer y segundo criterio, mientras que no sucede así en el tercer
criterio, a lo que hay que unir una similitud pobre en las repuestas, incluso tras haber
depurado los valores extremos. Esto plantea una revisión del cuestionario, en concreto
atendiendo a las distribuciones y concordancias de cada uno de los ítems.
Un aspecto que requiere ser revisado, a la luz del comentario de ciertos jueces, así
como por cuestiones de fiabilidad en la administración del cuestionario, es el número
ítems en algunas subescalas, de forma especial, en la de “conocimientos básicos”.
Una vez contempladas estas cuestiones, nos encontramos trabajando en el pilotaje y
administración del cuestionario para analizar su comportamiento psicométrico.
Bibliografía
ASEDES (2004). Documentos profesionalizadores. Educación Social. Fuente:
http://www.eduso.net/archivo/docdow.php?id=143
Ballesteros Velázquez, B. (2003). Investigación en Educación Social. Agora digital, 6.
Fuente:
http://dialnet.unirioja.es/servlet/listaarticulos?tipo_busqueda=EJEMPLAR&revista_bu
squeda=4272&clave_busqueda=93991
Fullana, J., Pallisera, M., Tesouro, M., y Castro, M. (2009). Professional placement and
professional recognition of social education graduates in Spain. A ten-year balance.
Social Work Education. The International Journal, 28 (4), 336–350.
Fullana, J., Pallisera, M. y Planas, A. (2011). Las competencias profesionales de los
educadores sociales como punto de partida para el diseño curricular de la formación
universitaria. Un estudio mediante el método Delphi. Revista Iberoamericana de
Educación, 56, 1-13. Fuente:
http://dialnet.unirioja.es/servlet/articulo?codigo=3688115
Jornet, J. M. y Suárez, J. M. (1996). Pruebas estandarizadas y evaluación del rendimiento:
usos y características métricas. Revista de Investigación Educativa, 14 (2), 141-163.
Morales, S. (2010). El Practicum en Educación Social: El portafolio como instrumento de
seguimiento y evaluación del aprendizaje de los alumnos. Revista Docencia e
Investigación, 20, 33-58.
Morales, S. (dir.) (2011). Nuevos contextos de enseñanza y aprendizaje en el Espacio
Europeo de Enseñanza Superior. Buenos Aires: Miño y Dávila.
Morales, S. y Sánchez Santamaría, J. (2011). La pregunta de investigación como estímulo del
proceso de enseñanza y aprendizaje en la asignatura de Métodos de Investigación en
Educación Social. En J. Lirio y E. Portal (dirs.), Educación Social. Materiales y
estrategias didácticas de apoyo para el título de grado (pp. 149-163). Talavera de la
Reina: UCLM.
Morales, S. y Sánchez Santamaría, J. (2012). Una experiencia docente sobre aprender a
investigar en educación social: diseño y desarrollo de proyectos de investigación
socioeducativa. Enseñanza & Teaching: Revista interuniversitaria de didáctica, 30,
181-204.
Orellana, N., Almerich, G., y Suárez, J.M. (2010). La investigación en Educación Social.
Reflexiones sobre su práctica. Valencia: Palmero Ediciones.
Petrus, A. (Coord.) (1997). Pedagogía Social. Barcelona: Ariel.
Sánchez Santamaría, J. y Morales, S. (en prensa, 2014). Desarrollando competencias de
investigación a través de metodologías activas en un entorno B-learning. Revista de
Educación. Contextos Educativos.
View publication statsView publication stats
