Embed Size (px)
Citation preview
TUTORES VIRTUALES INTELIGENTES: UN ESTRATEGIA DE MEJORA DEL RENDIMIENTO ACADÉMICO EN INGENIERIA.
Laura Díaz, Carlos Bartó
[email protected], [email protected]
Laboratorio de Enseñanza Virtual, Facultad de Ciencias Exactas, Físicas y Naturales de la
Universidad Nacional de Córdoba
Tipo de trabajo: Informe –parcial- de investigación
Eje temático: ¿Cómo seleccionar, diseñar y desarrollar un ambiente educativo con tecnologías
digitales?: Entornos virtuales de aprendizaje.
Resumen: El objetivo de esta presentación es mostrar los avances en una de las dimensiones
del proyecto de investigación: Sistemas Tutores Inteligentes aplicados a la Enseñanza de la
Programación en Ingeniería, que desarrolla actualmente un equipo de Docentes Investigadores
en la Facultad de Ciencias Exactas, Físicas y Naturales de la Universidad Nacional de
Córdoba. Su finalidad consiste en mejorar el rendimiento académico de los estudiantes de
Programación en Ingeniería. Se muestran los procesos y resultados de las acciones tendientes
a incorporar estos Sistemas Virtuales como estrategia para la retroalimentación en la
enseñanza y en las instancias de evaluación. Se desarrollan sugerencias para el rumbo de la
investigación y se destacan los hallazgos más significativos.
Abstract: The aim of this presentation is to show the progress of the research project in one of its
dimensions: Intelligent Tutoring Systems Applied to the Teaching of Programming Engineering,
currently being developed by a team of researchers at the Faculty of Exacts, Physical and
Natural Sciences of the National University of Cordoba. Its purpose is to improve the academic
performance of students of programming for engineering. It shows the processes and outcomes
of actions to incorporate these virtual systems as a strategy for feedback on teaching and
assessment bodies. Finally, we developed suggestions to guide the research and highlight the
most significant findings.
Palabras clave: Sistema inteligente – Tutor Virtual - Rendimiento Académico – Enseñanza de
Programación - Ingeniería RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
INTRODUCCION
Esta presentación es parte de un proyecto que se desarrolla actualmente en la Facultad
de Ciencias Exactas, Físicas y Naturales de la Universidad Nacional de Córdoba. Ha sido
acreditado por la Secretaría de Investigación y en Ciencia y Tecnología de esta Universidad
para el periodo 2012-2013.
El eje central consiste en la utilización de sistemas tutores inteligentes y aplicaciones
con robots para la enseñanza de Programación en Ingeniería.
Atento a los procesos de acreditación de CONEAU, este proyecto es parte de un
compromiso tomado para el fortalecimiento en acciones de Investigación para la carrera de
Ingeniería en Computación. Por otra parte, es una línea de investigación que atiende tanto a la
formación de docentes, investigadores y alumnos como a las deficiencias en el rendimiento
académico de los estudiantes de las carreras de Ingeniería.
Las acciones que se vienen realizando, incluso con anterioridad a su vigencia, se
orientan a investigación, transferencia y evaluación en la aplicación de Tecnologías de
Información y Comunicación como herramientas soporte para la enseñanza presencial de
grado. Desde 2006, en el marco del Programa para el Mejoramiento de la Enseñanza en
Ingeniería, la adquisición de un importante volumen de recursos informáticos alentó este
escenario.
Descripción del Problema
La mejora en infraestructura informática e incorporación de TIC’S como soporte a las
clases presenciales, evidenció ser insuficiente para lograr una mejora en los indicadores de
rendimiento académico en cursos de Introducción a la Programación. En investigaciones
actuales (Yadin, 2011) se destacan acciones que mejoran estos indicadores. Éstas atendieron
aspectos asociados a la problemática de la incorporación de un lenguaje formal y a los
procesos de abstracción necesarios en los mismos. Otras investigaciones han tratado de hallar
soluciones alrededor de las ideas de Piaget y de la psicología cognitiva para el aprendizaje de
los principios fundamentales de la programación, sin embargo, se observaron dificultades para
alcanzar el cambio conceptual deseado en estos cursos (Carretero, 2005) .
RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
Por otra parte, la detección temprana de las capacidades de los estudiantes para
obtener buenos rendimientos en el aprendizaje de la programación ha sido reflejado como
factor significativo en (Dehnadi y Bornat, 2006) y posteriormente en (Dehnadi y Bornat, y
Hamilton, 2008).
La tendencia universal, revela que la gran dificultad reside en la naturaleza formal de los
lenguajes de programación, que los distancia de los lenguajes naturales y su enseñanza.
A partir de la teoría de Los Modelos Mentales (Johnson-Laird, 1993) los autores
diseñan un experimento mediante pruebas que ponen de manifiesto todos los posibles modelos
que pueden generarse y los categorizan, demostrando que las dificultades para el cambio de
concepciones erróneas hacen casi inútil la idea de un aprendizaje basado en la comprensión
formal.
Los modelos mentales de los estudiantes no son equivalentes a los modelos
conceptuales, propios de la enseñanza de los conocimientos científicos, y aun cuando guardan
una gran relación con ellos, resulta muy difícil construir relaciones entre ambos tipos de
modelos.
En los cursos de Programación se observó que, si bien el conocimiento previo de lógica
formal puede utilizarse como predictor del éxito académico, el escaso desempeño sistemático
en las evaluaciones que manifiestan los estudiantes los desalientan luego a continuar con sus
estudios (Bartó, 2010)
Las evaluaciones permanentes sobre la comprensión de textos escritos en el lenguaje
Python o C++ y la posterior evaluación de traducciones de la solución de un problema dado
como especificaciones en un castellano técnico al lenguaje de programación, han producido
algunas mejoras en los cursos de programación (Cebollada y Verdaguer, Eschoyez y Bartó,
2010) .
Sin embargo, la falta de mejoras significativas en los resultados, se ponen de manifiesto
en los indicadores de rendimiento académico en estos cursos (Díaz, Algorry y Natali, 2011),
En este proyecto de investigación se propuso como objetivo general atender la
problemática descripta. RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
Se investigaron herramientas orientadas al desarrollo de STI, de ellas se seleccionaron
aquellas que permiten elaborar tutores virtuales inteligentes sin la necesidad de una
programación de bajo nivel, ya que algunas están disponibles como servicios web y otras se
pueden instalar en la plataforma Moodle. En los sistemas seleccionados como SIETTE
(Guzmán, Conejo y Pérez de la Cruz, 2007), solo es necesario desarrollar los conocimientos del
tutor en lenguajes de alto nivel y relacionar las evaluaciones con una adecuada realimentación.
La Hipótesis planteada en el Proyecto de Investigación expresa que el bajo rendimiento
académico de los estudiantes de Ingeniería en el aprendizaje de la programación de
computadoras, se puede mejorar mediante el uso combinado de dos herramientas:
• Los Sistemas Tutores Inteligentes que detectan modelos mentales erróneos y que vía
retroalimentación guían al estudiante en la construcción de modelos conceptuales
correctos.
• La programación de robots por parte de los estudiantes para motivarlos en el proceso de
aprendizaje en la acción concreta.
El objetivo general del proyecto consiste en mejorar el rendimiento académico en cursos de
programación de computadores de alumnos de Ingeniería, utilizando herramientas de la
inteligencia computacional y de la robótica.
De los objetivos específicos, aquellos que se refieren a esta presentación son:
1. Detectar modelos mentales entre los estudiantes de los cursos de programación en
Ingeniería utilizando herramientas de inteligencia computacional.
2. Desarrollar modelos conceptuales para los Sistemas Tutores Inteligentes.
3. Implementar los Sistemas Tutores Inteligentes y evaluar su impacto en el rendimiento
académico de los estudiantes.
4. Formar Recursos Humanos para facilitar la incorporación de STI en otros cursos de
Programación.
Se propusieron las siguientes tareas y experimentos, orientadas al logro de los objetivos: RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
1. Determinación de modelos mentales de aprendizaje, entre los estudiantes de cursos de
programación de Ingeniería, a partir de información disponible de las cursadas 2010-2011,
usando redes neuronales como herramienta para detectar patrones.
2. Elaboración de la ontología de base para la enseñanza de la programación y producción
de las reglas de restricciones para construir el mapa conceptual de la asignatura.
3. Puesta a punto y prueba del STI con estudiantes de 2013, validando los resultados
obtenidos mediante la comparación con STI basado en teorías de prueba.
5. Análisis de los resultados de los diferentes experimentos mediante herramientas
estadísticas que permitan analizar el impacto en el rendimiento de las diferentes estrategias
por separado y también de su acción conjunta, para lo cual se diseñan diferentes grupos de
aplicación y control.
La concreción de este proyecto permitiría:
Abordar la difícil problemática de la falta de rendimiento de los estudiantes universitarios de
primer año que cursan las carreras de ingeniería y en particular los que cursan la asignatura
Informática.
Evitar el abandono temprano de las carreras de ingeniería como consecuencia de las
dificultades cognitivas experimentadas con el aprendizaje de la programación de
computadoras.
Disponer experiencia con las tecnologías de Sistemas Tutores Inteligentes como base para
el desarrollo de nuevas herramientas mediante trabajos finales de la carrera de Ingeniería
en Computación.
Difundir el uso de los Sistemas Tutores Inteligentes en la comunidad educativa de las
ingenierías como un modo de abordar la masividad, la falta de conocimientos básicos de los
ingresantes y facilitar la inserción de la educación mediada por las TIC.
Lograr aproximaciones que tiendan a identificar patrones de comportamiento asociados al
rendimiento académico es una instancia importante para el desarrollo o aplicación de tutores
inteligentes en plataformas virtuales (TIV). Incluso es útil para detectar y validar los modelos
mentales erróneos a incorporar en los TIV para su entrenamiento. RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
Los objetivos de esta comunicación se refieren específicamente a la incorporación del
Sistema Tutor Inteligente SIETTE. Estas acciones constituyen los primeros avances hacia la
estrategia de enseñanza centrada en la retroalimentación, aplicando Sistemas Inteligentes en
los procesos de Aprendizaje y Evaluación de Programación en Ingeniería.
Se excluyen los avances en relación con la predicción del rendimiento académico utilizando
redes neuronales como así también la detección de patrones de aprendizaje. Ambas son objeto
de tratamiento durante el segundo cuatrimestre del año en curso.
DESARROLLO
Como ya se dijo, este equipo de investigación considera que el problema central para
mejorar el rendimiento académico consiste en las dificultades para alcanzar el cambio
conceptual deseado en los estudiantes de estos cursos (Carretero, M: 2005), la detección
temprana de las capacidades de los estudiantes en el aprendizaje de la programación es un
factor significativo (Dehnadi, S. y Bornat, R: 2006) y es posible categorizar los Modelos
Mentales (MME) de los estudiantes -como en (Johnson-Laird, P: 1993)- mediante el uso de
técnicas experimentales. Además, en (Bartó, C: 2010) se observa que, si bien el conocimiento
previo de lógica formal puede utilizarse como predictor del éxito académico, el bajo desempeño
sistemático en las evaluaciones que manifiestan los estudiantes los desalienta a continuar.
Esta realidad es el puntapié inicial en el sentido de recorrer la distancia entre Modelos
Mentales de los estudiantes y Modelos Conceptuales de los cursos de Informática para facilitar
el uso de Sistemas Tutores Inteligentes (STI), con los cuales se espera lograr una adecuada
realimentación semántica y un medio para poner en evidencia el conflicto, usando como base
los modelos cognitivos (Koedinger, Kenneth: 2001).
El rendimiento académico se puede mejorar a través de STI que detectan modelos mentales
erróneos y que vía retroalimentación guían al estudiante en la construcción de modelos
conceptuales correctos.
Primera Etapa: Detección de los modelos mentales de los estudiantes de Programación
Durante el 2012 se llevaron a cabo las acciones necesarias para conocer los posibles errores
RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
a cometer por los estudiantes, es decir sus MM erróneos, y así poder generar respuestas que lo
guíen hacia el conocimiento acertado, esto es hacia el modelo conceptual de la materia.
La estrategia para detectar los MM consistió en separar un grupo de estudiantes o muestra
testigo (ellos no tenían conocimiento de esa situación) a los cuales se les asignaron algunas
preguntas en particular con la finalidad de explorar en profundidad cada familia de respuestas y
así detectar los MM erróneos.
Esta información alimentaría la base de conocimiento del Sistema Tutor Inteligente SIETTE y
además se utilizaría para mejorar la retroalimentación el sistema de evaluación automático en la
plataforma MOODLE.
El Proceso de acreditación de la asignatura consta de tres partes: las Evaluaciones
Conceptuales, la Especificación de Algoritmo y los Trabajos Prácticos. Las dos últimas no son
objeto de incorporación a SIETTE.
Las Evaluaciones Conceptuales, adaptables a SIETTE, estaban organizadas en veinte
ítems distribuidos en siete test que se aplicaban a lo largo del desarrollo de la asignatura. Los
contenidos abarcaban todos los aspectos conceptuales desarrollados. Alcanzar un mínimo de
sesenta por ciento era la condición excluyente para la acreditación.
Se eligió un grupo de individuos para formar el Grupo B, de 136 alumnos que equivale al
25% de 546 alumnos distribuidos en ocho comisiones, ocho docentes, tres bandas horarias de
dictado, todas las carreras de Ingeniería que cursan la asignatura durante el primer cuatrimestre
con el lenguaje Python como herramienta de aprendizaje. El 75% de alumnos restantes
constituyó lo que en adelante se denomina Grupo A.
Al Grupo B se le aplicó un único instrumento evaluador para cada EC y cada ítem,
extraído del banco de preguntas mencionado. Al finalizar la cursada se contaba con los
resultados de todas las instancias de evaluación para ambos grupos.
Con esos resultados se llevaron a cabo dos líneas de acción necesarias: la detección de
los modelos mentales de los estudiantes y el análisis confirmatorio mediante test de hipótesis
entre las preguntas seleccionadas para el Grupo B y el Grupo A con el fin de validar los MME
detectados para los conceptos involucrados.
La primera tarea fue realizada por expertos, docentes e investigadores de nuestro
equipo de trabajo, e implicó un gran esfuerzo para comprender los procesos de argumentación
que conducían a dar esas respuestas. Se propuso detectar para cada una, no más de cuatro
MME. Se analizaron las respuestas abiertas que los alumnos del Grupo B daban a cada ítem. RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
Gr B Gr Ct X cuadrada
EC Item p=X/n p=X/n
1 1 0,70 0,60 -0,002 0,202 5,74 ok
1 2 0,43 0,56 0,026 0,243 9,55 dpi
2 3 0,01 0,41 0,340 0,446 109,82 dpi/dbp
2 4 0,54 0,54 -0,102 0,103 0,01 ok
2 5 0,57 0,60 -0,075 0,128 0,35 ok
3 6 0,83 0,45 0,284 0,466 72,07 dpi
3 7 0,85 0,27 0,503 0,671 187,98 dpi/rediseño
3 8 0,47 0,56 -0,020 0,205 4,13 ok
4 9 0,16 0,34 0,090 0,264 19,48 dpi/dbp
4 10 0,27 0,24 -0,061 0,133 0,76 rediseño
4 11 0,11 0,12 -0,059 0,080 0,06 rediseño
5 12 0,27 0,44 0,071 0,270 16,36 dpi/dbp
5 13 0,69 0,46 0,132 0,336 30,11 dpi
5 14 0,29 0,40 0,007 0,208 6,54 dpi/dbp
6 15 0,65 0,41 0,139 0,355 30,89 dpi
6 16 0,39 0,30 -0,018 0,200 4,53 ok
6 17 0,43 0,38 -0,059 0,163 1,27 ok
7 18 0,59 0,57 -0,090 0,138 0,20 ok
7 19 0,43 0,41 -0,094 0,135 0,14 ok
7 20 0,77 0,59 0,083 0,286 17,24 dpi
RESULTADOS EVALUACIONES CONCEPTUALES 1-2012
DecisionesInterv conf 99%
Dif entre proporc
Se buscaron respuestas repetidas y además que el modelo mental fuese comprensible. En el
65% de los casos fue posible interpretar al menos cuatro MME. Surgió la necesidad de recrear
varios, apelando para ello a la experiencia que los docentes han adquirido en las observaciones
realizadas a los alumnos durante el desarrollo de las clases y en las evaluaciones parciales y
finales. Por último, se redactó para cada ítem y cada MME, una explicación conducente a
destacar el proceso de argumentación errónea detectado. Esto para alimentar la base de
conocimiento necesaria en la retroalimentación de las evaluaciones automáticas.
El procesamiento estadístico, atendiendo al tipo de variable utilizado en el calificador de
Moodle, se realizó mediante un test de hipótesis de diferencia entre proporciones y una prueba
Chi Cuadrada como respaldatoria del primero. Sólo el 40% del total de preguntas superó el
análisis de aptitud para posibilitar la continuidad de las acciones durante 2013.
En la tabla 1 se muestra un resumen del procesamiento estadístico; indicándose en
fondo verde, amarillo y gris en función de los resultados obtenidos.
Tabla 1: Las decisiones
tomadas corresponden a ok:
apto; dpi: descartar para
investigación, dpb: descartar
del banco de preguntas,
rediseño: rehacer.
Sin embargo, cuando se comenzaron a implementar las acciones definidas en este
análisis confirmatorio, los hallazgos observados obligaron a rectificar el rumbo una vez más.
Entre otros, y solo a modo de ejemplo, la pregunta correspondiente al ítem 3 del Grupo B se
relaciona con un concepto distinto de la del Grupo A. Ello en razón de que en Moodle no se
Test estadístico: rechazo
Estadísticmente bueno
Aceptable, puede rechazarse
RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
sorteó la del B al barajar las preguntas para el segundo grupo. Situaciones como éstas y
similares, llevaron a la conclusión de la necesidad de rediseñar el banco de preguntas, acción
que se desarrolló para ser aplicado durante el primer cuatrimestre del presente año. Las
preguntas relativas a los 8 ítems que superaron el análisis confirmatorio se preservaron, en
tanto fue posible, para ser reusadas en la nueva organización.
Se conformaron siete test con nueve preguntas de opción múltiple cada uno
distruibuidos en conceptos locales a lo largo del desarrollo del programa de la asignatura.
La información proveniente del análisis de los MME se utilizó en el nuevo diseño tanto
para construir la base conocimiento de SIETTE como para la retroalimentación automática en
Moodle (Díaz, Marangunic, Bartó: 2013)
Segunda Etapa: Evaluaciones de opción múltiple primer cuatrimestre 2013 La siguiente etapa consistió en aplicar evaluaciones de opción múltiple cuyas
respuestas se adecuen a los MME detectados. De este modo se pretendía lograr dos objetivos
fundamentales consecuentes con la implementación exitosa de STI: la retroalimentación del
estudiante durante los procesos de evaluación y la provisión de datos para detectar
automáticamente, mediante Redes Neuronales Artificiales, patrones asociados a los MME y al
rendimiento académico.
En este último sentido, la implementación de una RNA con aprendizaje no supervisado
del tipo Kohonen, se estima que permitirá la detección de patrones de aprendizaje y además
relacionarlos con el rendimiento académico de los estudiantes. Se espera contar con avances
en esta dirección hacia fines de 2013.
El tutor inteligente SIETTE cuenta con un módulo para la evaluación con TAI. Con este tutor
los profesores pueden definir sus tests y los estudiantes pueden tomarlos on-line. Los test se
generan con las especificaciones definidas por el profesor y se adaptan, esto implica que las
preguntas son elegidas inteligentemente para ajustar el nivel de conocimiento del estudiante.
SIETTE, a través de las denominadas curvas características del ítem –CCI-, considera tres
parámetros: a -índice de discriminación-, b-grado de dificultad del ítem- y c -probabilidad de
acertar al azar-. Estos valores se calculan a partir de los datos obtenidos al aplicar los ítems a
una muestra amplia y representativa de estudiantes (Conejo, R., Guzmán, E., Millán E. y otros:
2004).
El índice de discriminación es un valor proporcional a la pendiente de la curva. Un valor alto RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
indica que la probabilidad de que un alumno con un rasgo latente estimado mayor que la
dificultad del ítem acierte es mayor. Cuanto más discriminante es un ítem mejor contribuye a
una estimación más precisa del conocimiento del alumno.
El grado de dificultad corresponde al valor para el cual la probabilidad de responder
correctamente al ítem es la misma que de responder de forma incorrecta, descontando el factor
de adivinanza. Analíticamente representa el grado en el que la curva está desplazada a la
izquierda (tendencia a la facilidad) o a la derecha (tendencia a la dificultad) con respecto al eje
de abscisas.
El tercero representa la probabilidad de que un alumno sin conocimiento ninguno responda
correctamente a la pregunta. Mediante este parámetro el modelo contempla el caso en el que
un alumno responde de forma aleatoria al ítem y acierta.
Las Evaluaciones Conceptuales, adaptables a SIETTE, están organizadas actualmente en
sesenta y tres ítems de igual peso, materializados en preguntas de tipo opción múltiple,
distribuidos en siete test que se aplican a lo largo del desarrollo de la asignatura, con lo cual es
posible la retroalimentación para el aprendizaje. Los contenidos abarcan todos los aspectos
conceptuales desarrollados..
A partir de los modelos mentales erróneos de los estudiantes, detectados en el primer
cuatrimestre 2012, se diseñó el modelo de preguntas a utilizar tanto en SIETTE como en
MOODLE.
Los objetivos perseguidos en esta etapa fueron:
1° Poner a punto el funcionamiento de SIETTE para la asignatura, aplicando evaluaciones de
tipo opción múltiple sobre un grupo piloto de alumnos elegidos al azar entre los que cursan
Informática.
2° Alimentar la base de conocimiento del STI para la calibración de las Curvas
características de Respuesta al Ítem (CCI).
3° Explorar acerca de la factibilidad del diseño de un proceso de construcción de estas
curvas para ser incorporadas a la plataforma MOODLE dado su mejor accesibilidad ya que la
administración en este caso se realizaría desde un servidor local.
RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
4° Analizar la viabilidad de interpretar a los modelos mentales a través de análisis bayesiano
utilizando CCI como las que se vienen utilizando para los modelos conceptuales de los ítems
evaluados en los siete test que componen el track de Evaluaciones Conceptuales de la
asignatura.
5° Detectar automáticamente, mediante Redes Neuronales Artificiales, patrones asociados a
los MME y al rendimiento académico de los estudiantes.
Metodología propuesta: Para llevar a cabo los objetivos fue necesario diseñar y aplicar los nuevos instrumentos para
las evaluaciones conceptuales tanto en SIETTE como en MOODLE. Se estructuraron las siete
evaluaciones con nueve ítems cada una, atendiendo a la discriminación del libro de texto,
como se indicó anteriormente. Las preguntas se diseñaron con cinco opciones de respuestas,
cuatro de ellas correspondían a los modelos mentales. Para ambas plataformas se diseñaron
las preguntas con retroalimentación conforme a los MME, con lo cual se pretendía dar al
estudiante una explicación de sus conceptos erróneos, facilitando así la disminución de la
brecha entre el modelo conceptual y su modelo mental.
Esta tarea se llevó a cabo con todos los integrantes de este equipo de trabajo, lo que implicó
la preparación de sesenta y tres semillas que alimentaron al generador wgen (Cebollada y
Verdaguer, 2013) que construye las instancias de preguntas diferentes a partir del producto
cartesiano resultante de las combinaciones de valores de variables definidas por el usuario en
cada semilla. Se generan alrededor de 30 preguntas promedio, conceptualmente iguales, con
diferentes valores de entrada y salida. La finalidad consiste en enfrentar a los estudiantes a
evaluaciones del mismo tipo y nivel de complejidad, para los mismos conceptos, con idénticos
modelos mentales erróneos pero con valores diferentes.
Se definió el tamaño de la muestra en alrededor del 10% del universo de alumnos del primer
cuatrimestre para formar el grupo testigo. Se eligieron al azar los alumnos entre seis de las
nueve comisiones de la asignatura.
Se aplicaron cada una de las evaluaciones conceptuales simultáneamente sobre el grupo
testigo (SIETTE) y sobre el grupo control (MOODLE) conformado por los demás estudiantes,
alrededor de cincuenta estudiantes para el primero y quinientos para el segundo. RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
Se realizó el análisis estadístico siguiendo los mismos lineamientos considerados en el
periodo 2012 con la finalidad de validar la representatividad de los ítems aplicados en SIETTE
en relación con los homólogos en MOODLE.
Se determinaron los tres parámetros de las curvas características para cada uno de los
ítems, tanto para SIETTE como para MOODLE considerando en esta primera aproximación al
nivel de habilidad o rasgo latente como la calificación obtenida en el test. Actualmente se está
trabajando en la puesta a punto del algoritmo de calibración de las curvas características. Estos
resultados se utilizarán para aplicar TAI en SIETTE. Se habrá alcanzado uno de los grandes
objetivos del proyecto de investigación: incorporar evaluaciones inteligentes en esta asignatura.
Se muestran los resultados de CCI de SIETTE , para la Evaluación Conceptual 7
RESULTADOS Y HALLAZGOS:
El primer hallazgo significativo se refiere al objetivo central del proyecto de investigación,
del cual esta comunicación es parte: mejorar el rendimiento académico de los estudiantes de
programación en esta Unidad Académica y con ello disminuir la deserción y el desgranamiento
de los alumnos de primer año que se ven desalentados para continuar. RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
Implementar evaluaciones de opcción múltiple con retroalimentación significó una mejora en
más de un 20% del porcentaje de alumnos regulares con respecto al año anterior.
Con respecto al primer objetivo de esta comunicación, detectar modelos mentales entre
los estudiantes de los cursos de programación en Ingeniería utilizando herramientas de
inteligencia computacional, si bien no fue posible llevarlo a cabo con las herramientas
mencionadas, el trabajo de los expertos posibilitó el logro del objetivo. Además, la información
ahora disponible se utilizará para aplicar Redes Neuronales Artificiales.
El grado de avance del segundo objetivo, desarrollar modelos conceptuales para los
Sistemas Tutores Inteligentes, se estima actualmente en un 70%, con lo cual se espera que
hacia fines de 2013 esté concluido.
El tercero, Implementar los Sistemas Tutores Inteligentes y evaluar su impacto en el
rendimiento académico de los estudiantes, si bien incipiente, ya tiene sus primeros logros
significativos.
Por último, en relación con la Formación de Recursos Humanos para facilitar la
incorporación de STI en otros cursos de Programación, se han realizado talleres en las
Jornadas PROED en marzo de 2013, habiendo además otras acciones previstas de
capacitación.
BIBLIOGRAFIA
Bartó, Carlos A. (2010): Competencias Básicas necesarias para el desempeño en la materia de
Informática. IV JORNADAS DE INTERCAMBIO SOBRE ENSEÑANZA DE LA INGENIERÍA.
Educación por competencias en los primeros años de las Carreras de Ingeniería-Facultad de
Ciencias Exactas Físicas y Naturales – UNC -14 de diciembre de 2010.
Carretero, Mario y otros (2005): Introducción a la psicología cognitiva. Aiqué Grupo Editor. 2005.
Cebollada y Verdaguer, Marcelo; Eschoyez, Maximiliano y Bartó, Carlos (2010): Educación
Continua para Cursos Masivos: Un Software Basado en Web para Crear Preguntas para
Moodle. IV JORNADAS DE INTERCAMBIO SOBRE ENSEÑANZA DE LA INGENIERÍA.2010.
Cebollada y Verdaguer, M., “Generador de ejercicios sobre web para la enseñanza de la programación, basados en evaluación objetiva y respuesta corta para el LMS MOODLE”. I Jornadas Nacionales, III Jornadas de la UNC, Experiencias e Investigación en Educación a Distancia y Tecnología Educativa, PROED, 2013.
RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
Dehnadi, Saeed y Bornat, Richard. (2006): The camel has two humps (working title). School of
Computing. Middleessex University, UK.
Díaz, L., Marangunic, R., Bartó, C., “Hacia La Detección De Los Modelos Mentales De Los Estudiantes De Programación”. I Jornadas Nacionales, III Jornadas de la UNC, Experiencias e Investigación en Educación a Distancia y Tecnología Educativa, PROED, 2013.
Díaz, Laura, Algorry, Aldo y Natali Osvaldo (2011): Las TIC’S en Educación Superior: Su
Impacto en la Mejora de la Enseñanza para las Carreras de Ingeniería. JORNADAS IRAM
UNIVERSIDADES. Universidad Nacional de La Plata. Noviembre de 2011.
Guzmán, Eduardo; Conejo, Ricardo; y Pérez de la Cruz, José Luis (2007): Improving Student
Performance Using Self-Assessment Tests. IEEE Intelligent Systems, Vol. 22, No 4, Ago 2007.
Johnson-Laird, Phillip N. (1993): Mental Models, Deductive Reasoning, and the Brain.
Department of Psychoogy, University of Princeton. N. J. U.S.A.
Koedinger, Kenneth R. (2001): Cognitive Tutors as Modeling Tools and Instructional Models.
Capítulo 5 en Smart Machines in Education, Kenneth D. Forbus y Paul J. Feltovich (eds.). AAAI
Press / MIT Press. 2001.
Yadin, Aharon (2011): Reducing the Dropout Rate in Introductory Programming Course. ACM
Inroads. Vol 2, No. 4, 2011.
RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
RU
EDA
- 6°
Sem
inar
io In
tern
acio
nal
Men
doza
- O
ctub
re 2
013
