Embed Size (px)
Citation preview
Title— Promoting Strong Personalization in Content-based
Recommendation Systems of Learning Objects.
Abstract— Recommendation technologies have a clear
application in e-learning: providing support for personalized
access to the Learning Objects (LOs) that exist in repositories.
In this paper we describe a novel approach that fosters a strong
personalized content-based recommendation of LOs. This
approach gives priority to those LOs that are most similar to the
student’s short-term learning goals (the concepts that the
student wants to learn in the session) and, at the same time,
have a high pedagogical utility in the light of the student’s
cognitive state (long-term learning goals). The paper includes
the definition of a flexible metric that combines the similarity
with the query and the pedagogical utility of the LO. We finally
describe the application of the approach to an educational
repository of Computer Programming LOs.
Index Terms— Personalization, Content-based
Recommenders, Learning Objects.
I. INTRODUCCIÓN
n los últimos años, el uso de sistemas recomendadores se
ha transferido del campo del comercio electrónico al
ámbito académico. En este sentido, hay trabajos que plantean
herramientas de recomendación de cursos y actividades de
aprendizaje [8][13][15] y recomendadores que sugieren a los
profesores modificaciones para mejorar la efectividad de los
sistemas educativos web [9].
El uso de recomendadores en el ámbito académico tiene
otra clara y todavía no muy explotada aplicación:
proporcionar acceso personalizado a Objetos de Aprendizaje
(LOs, del inglés Learning Objects) que se hallan en
repositorios educativos. Normalmente el gran número de LOs
contenidos en estos repositorios dificulta el acceso a aquellos
que mejor se adaptan al conocimiento de cada estudiante, a
los objetivos y/o a las preferencias de cada uno. Esta
Almudena Ruiz-Iniesta, Guillermo Jiménez-Díaz y Mercedes Gómez-
Albarrán desempeñan sus tareas en la Facultad de Informática de la Universidad
Complutense de Madrid. c/ Prof. José García Santesmases s/n, 28040 Madrid,
España. (email: [email protected]; [email protected];
DOI (Digital Object Identifier) Pendiente
dificultad la hemos podido constatar en un repositorio de
recursos docentes de la disciplina de Programación de
Computadores, disponible a través del Campus Virtual de la
Universidad Complutense de Madrid (España) durante los
últimos tres años. Este repositorio contiene más de 400
ejemplos resueltos y ejercicios para resolver de Programación,
destinados a estudiantes de “Introducción a la Programación”.
Aunque los estudiantes valoraban muy bien la ayuda que estos
recursos les proporcionan, el 70% de ellos echaba en falta
facilidades más sofisticadas para el acceso a los recursos.
En este artículo presentamos una aproximación que
extiende y mejora nuestro trabajo previo en recomendación de
LOs en repositorios web. En [10][11] describimos una
aproximación novedosa para recomendar LOs que sigue una
estrategia de recomendación híbrida en cascada [3]: un
recomendador basado en contenido reactivo y single-shot
actúa como recomendador inicial y sus decisiones son
refinadas por uno colaborativo. La estrategia de
recomendación empleada localizaba un conjunto relevante de
LOs después de que el estudiante hubiera planteado una
consulta al sistema. El resultado era una lista ordenada de
LOs. La prioridad era para aquellos LOs más similares a la
consulta del estudiante y que a la vez son los mejor valorados
por otros estudiantes. Esta aproximación ha sido
ejemplificada con el repositorio de LOs de Programación que
actualmente se utiliza para Introducción a la Programación en
la Universidad Complutense de Madrid.
La estrategia de recomendación previa mostraba una
desventaja: la recomendación basada en contenido, y por
extensión, la estrategia entera, proporcionaba una débil
personalización. La estrategia de recomendación
implementaba un tipo de personalización en-sesión: sólo tenía
en cuenta los objetivos a corto plazo del estudiante reflejados
en la consulta. De esta manera, dos estudiantes que planteen
la misma consulta en una sesión obtendrán las mismas
recomendaciones, incluso si sus objetivos de aprendizaje a
largo plazo y su destreza en el dominio difieren en gran parte.
Con el propósito de aliviar este inconveniente hemos
explorado un modelo de personalización fuerte. Como
veremos, esta mejora en la estrategia de recomendación
basada en contenido puede ser adaptada a los objetivos a largo
plazo de los estudiantes sin comprometer los intereses que en
la sesión puedan tener los LOs recomendados para el
Personalización en Recomendadores Basados en
Contenido y su Aplicación a Repositorios de
Objetos de Aprendizaje
A. Ruiz-Iniesta, G. Jiménez-Díaz y M. Gómez-Albarrán
E
IEEE-RITA Vol. 5, Núm. 1, Feb. 2010 31
ISSN 1932-8540 © IEEE
estudiante activo. En esta nueva estrategia basada en
contenido la prioridad es para aquellos LOs que son más
similares a la consulta y, al mismo tiempo, tienen una
utilidad pedagógica mayor de acuerdo a su perfil. En este
sentido, se satisfacen los objetivos a corto plazo reflejados en
la consulta del estudiante y las carencias de conocimiento
reflejadas en su perfil de estudiante. Esta nueva estrategia
basada en contenido encaja en la estrategia híbrida inicial, y
sus resultados pueden ser refinados por el recomendador
secundario (el colaborativo). Este trabajo tendrá una
aplicación directa en nuestras tareas docentes diarias en la
Facultad de Informática de la Universidad Complutense de
Madrid.
El artículo está organizado como se indica a continuación.
La sección II proporciona los detalles sobre las distintas
fuentes de conocimiento necesarias, independientemente del
ámbito educativo de aplicación. La sección III describe en
detalle las dos etapas de la recomendación, recuperación y
ordenación. La sección IV presenta una particularización de
la aproximación a un repositorio educativo de LOs de
Programación y ejemplifica una sesión de recomendación. La
última sección concluye el artículo, relaciona nuestra
aproximación con trabajos previos en el contexto de la
enseñanza de la Programación, y señala algunas líneas de
trabajo futuro.
II. LAS FUENTES DE CONOCIMIENTO
Recientemente las técnicas de recomendación se han
comenzado a utilizar en el ámbito académico y, en particular
en el contexto del aprendizaje. Coincidimos con los trabajos
descritos en [5][6] que el ámbito académico impone unos
requisitos específicos en el proceso de recomendación. Por
ejemplo, los recomendadores pueden sacar provecho del
estado cognitivo del estudiante, el cual cambia a lo largo del
tiempo. Esto permitiría incrementar el nivel de
personalización a largo plazo. Por otro lado, los itinerarios y
estrategias de aprendizaje también pueden proporcionar
información útil para el recomendador. Por ejemplo, el
recomendador puede sacar provecho de una regla pedagógica
simple como „ir de tareas fáciles a difíciles‟ o „reducir de
manera gradual la cantidad de orientación‟. Los itinerarios de
aprendizaje pueden representar rutas y secuencias diseñadas
por los profesores a partir de experiencias positivas en el aula,
o se pueden corresponder con el comportamiento de
estudiantes avanzados.
En este artículo describimos una aproximación que
proporciona un modelo de personalización fuerte para un
recomendador basado en contenido de LOs. Esta estrategia de
recomendación opera en dos etapas: recuperación y
ordenación. La etapa de recuperación busca aquellos LOs que
satisfagan, de manera aproximada, los objetivos a corto plazo
del estudiante, representados en la consulta (objetivos de
aprendizaje para la sesión). Estos LOs deben estar “listos para
ser explorados” por el estudiante de acuerdo a su nivel de
conocimiento y a los caminos de aprendizaje definidos. Una
vez que los LOs han sido recuperados, la etapa de ordenación
los ordena de acuerdo a la calidad asignada a cada LO. La
calidad se calcula de manera que la prioridad es para aquellos
LOs que son más similares a la consulta del estudiante, y al
mismo tiempo, tienen mayor utilidad pedagógica de acuerdo
al estado cognitivo del estudiante (objetivos de aprendizaje a
largo plazo).
La anterior estrategia de recomendación que proporcionaba
un modelo de personalización débil [10][11] necesitaba
conocimiento del dominio con el fin de calcular la similitud
entre la consulta y los conceptos del dominio cubiertos por los
LOs recuperados. Este nuevo modelo de personalización
fuerte impone algunos requisitos adicionales desde el punto
de vista de la representación del conocimiento. La etapa de
recuperación requiere de la existencia de caminos de
aprendizaje adecuados entre los conceptos del dominio así
como información del estado cognitivo de cada estudiante en
forma de perfiles persistentes. La etapa de ordenación
también utiliza el perfil del estudiante. Esta nueva estrategia
sigue un modelo de refuerzo de conocimiento que promueve
solventar las carencias de conocimiento del estudiante sin
dejar de lado los objetivos a largo plazo.
En esta sección detallamos las fuentes de conocimiento en
nuestra estrategia de recomendación: la ontología del dominio
(apartado A), los LOs y los metadatos que los describen
(apartado B) y el perfil del estudiante (apartado C). En la
Sección III se presenta una descripción en profundidad de las
distintas etapas de la recomendación.
A. La Ontología del Dominio
Proponemos utilizar una ontología para indexar los LOs
contenidos en el repositorio. Las ontologías proporcionan un
esquema general que permite incluir conocimiento sobre la
similitud entre los conceptos que representan los temas del
dominio. El conocimiento sobre la similitud entre los
conceptos y sobre las relaciones que existen entre ellos es
crucial en las etapas de la estrategia de recomendación.
Además las ontologías proporcionan un lenguaje común a la
hora de compartir información que puede ser utilizado por
profesores al añadir nuevos LOs y por los estudiantes cuando
realizan un consulta al recomendador. Existen otros autores
que también hacen un uso satisfactorio de las ontologías en el
ámbito académico [4].
La ontología está poblada con los conceptos del ámbito de
estudio (por ejemplo, Matemáticas, Derecho, o Programación
de Computadores). Estos conceptos se organizan en una
taxonomía utilizando la relación es_un. La ontología además
debe establecer una relación de precedencia entre conceptos.
Esta precedencia refleja el orden en el que los conceptos son
tradicionalmente estudiados en el campo correspondiente. La
precedencia ayuda a establecer los caminos de aprendizaje
32 IEEE-RITA Vol. 5, Núm. 1, Feb. 2010
ISSN 1932-8540 © IEEE
que se utilizarán en la etapa de recuperación para filtrar
aquellos LOs que ejemplifican conceptos no alcanzables a
partir del estado cognitivo de un estudiante.
B. Los Objetos de Aprendizaje
Los recomendadores cuentan con una colección de
productos que pueden ser recomendados a los usuarios del
sistema. En nuestro contexto estos productos son los LOs
contenidos en un repositorio educativo.
Nuestros LOs han sido desarrollados de acuerdo al estándar
LOM (del inglés, Learning Object Metadata). Con el fin de
describir nuestros LOs, hemos decidido utilizar en el más alto
nivel las siguientes categorías de LOM: General, Ciclo de
vida, Técnica, Educativa, Relación y Clasificación. La
categoría General veremos que juega un importante papel en
la etapa de recuperación. Esta categoría contiene palabras
clave que describen qué conceptos de la ontología están
cubiertos por el LO concreto. Estas palabras clave servirán de
punto de enlace entre los LOs contenidos en el repositorio y la
jerarquía de conceptos representada en la ontología.
El resto de las categorías permiten incluir información
descriptiva sobre el LO. Esta información no será utilizada en
las etapas de recomendación.
C. El Perfil de Estudiante
Como señalamos anteriormente, la personalización fuerte
tiene consecuencias desde el punto de vista de representación
del conocimiento. Una de estas consecuencias es la necesidad
de perfiles de estudiante persistentes.
El perfil del estudiante almacena información sobre su
historial de navegación –los LOs que ya ha explorado- y los
objetivos alcanzados en el proceso de aprendizaje. A los
conceptos que ya han sido explorados por el estudiante se les
asigna el nivel de competencia alcanzado en cada uno de
ellos. Este nivel se considera como el grado de satisfacción,
una métrica que permite al recomendador saber el nivel de
conocimiento que un estudiante tiene sobre un determinado
concepto. Como veremos, el nivel de competencia será un
elemento importante en la etapa de recuperación.
III. ESTRATEGIA DE RECOMENDACIÓN REACTIVA
COMBINANDO OBJETIVOS A CORTO Y LARGO PLAZO
Nuestra estrategia de recomendación basada en contenido
sigue una aproximación reactiva: el estudiante proporciona
una consulta y el recomendador responde con una
recomendación. El estudiante efectúa la consulta utilizando
los conceptos existentes en la ontología del dominio. Esta
consulta representa los objetivos para la sesión de
aprendizaje: los conceptos que el estudiante quiere aprender
en la sesión. La recomendación se compone de dos pasos,
recuperación y ordenación, que describimos en los siguientes
apartados.
A. Etapa de Recuperación
La etapa de recuperación busca un conjunto inicial de LOs
que satisfagan, de manera aproximada, la consulta planteada
por el estudiante. La etapa de recuperación primero intenta
encontrar LOs indexados exactamente por los conceptos de la
consulta. Si no hay LOs que satisfagan esta condición o si
estamos interesados en una localización más flexible, los LOs
indexados por un subconjunto de los conceptos (iguales o
similares) especificados en la consulta del estudiante serán
recuperados.
Este conjunto inicial de LOs es filtrado y sólo aquellos LOs
que cubren conceptos de la ontología “listos para ser
explorados” por el estudiante serán finalmente considerados
en la etapa de ordenación. Decimos que un concepto está
“listo para ser explorado” por un estudiante si de acuerdo a su
perfil y al itinerario de aprendizaje definido, cumple
cualquiera de las siguientes condiciones:
Es un concepto ya explorado por el estudiante, así que
aparecerá en el perfil con el correspondiente nivel de
competencia.
Es un concepto que el estudiante todavía no ha explorado
pero puede descubrirlo: si un concepto c1 precede a un
concepto c2 en la ontología, un estudiante puede
descubrir c2 si el nivel de competencia del estudiante
alcanzado en c1 supera un cierto “umbral de progreso”.
Si varios conceptos c1, c2, ..., ck son predecesores directos
de un concepto cx, cx puede ser descubierto si el nivel de
competencia de todos los predecesores directos supera el
“umbral de progreso” dado.
En resumen, el objetivo del proceso de filtrado es descartar
aquellos LOs indexados en la ontología por conceptos no
alcanzables para el estudiante activo. Esta etapa de filtrado
añadida a la etapa de recuperación presentada en [10][11],
proporciona una manera de personalización a largo plazo en
esta primera fase de la estrategia de recomendación. De esta
manera, ante una misma consulta formulada por dos
estudiantes distintos, el conjunto de LOs recuperados podría
variar significativamente en función del dominio de la
materia que tenga cada uno
B. Etapa de Ordenación
Recientemente se ha hecho evidente que las tradicionales
nociones de similitud no siempre son ideales, inspirando a
muchos investigadores a buscar alternativas para juzgar la
utilidad de un elemento en un contexto dado.
En el presente trabajo, proponemos reemplazar la métrica
de similitud pura utilizada en [10][11] con una métrica
basada en la calidad. Una vez que los LOs han sido
recuperados, la etapa de ordenación los ordena de acuerdo a
INIESTA, JIMÉNEZ Y ALBARRÁN: PERSONALIZACIÓN EN RECOMENDADORES BASADOS EN CONTENIDO... 33
ISSN 1932-8540 © IEEE
la calidad asignada a cada uno de ellos. La calidad se calcula
de manera que la prioridad es para aquellos LOs que son más
similares a la consulta del estudiante, y al mismo tiempo,
tienen mayor utilidad pedagógica de acuerdo al perfil del
estudiante.
A fin de calcular la calidad de un LO L para un estudiante
S que ha proporcionado una consulta Q hemos seleccionado
una métrica de calidad definida como la suma ponderada de
dos términos: la similitud (Sim) entre Q y los conceptos
cubiertos por L, y la utilidad pedagógica (UP) de L con
respecto al estudiante S:
Calidad(L,S,Q) Sim(L,Q) (1 ) UP(L,S), [0,1] (1)
A fin de calcular los dos resultados parciales, Sim y UP,
pueden utilizarse diferentes aproximaciones y métricas. De
esta manera, el modelo de ordenación aquí presentado ofrece
un marco de trabajo que puede ser instanciado desde distintas
estrategias de recomendación. A continuación presentamos
las decisiones tomadas.
El cómputo de la similitud Sim(L,Q) entre los conceptos
recogidos en la consulta Q y los conceptos que L cubre
requiere calcular la similitud entre dos conjuntos de
conceptos. Existen diferentes métricas que pueden usarse en
casos como éste. En concreto, nos hemos decidido por una
simplificación de la similitud entre conjuntos de conceptos
que consiste en comparar los conceptos individuales que
resultan de la conjunción de cada uno de los conjuntos de
conceptos –el concepto que resulta de la conjunción de los
conceptos de la consulta (Q_CC) y el concepto que resulta de
la conjunción de los conceptos que cubre L (L_CC)– en lugar
de comparar directamente dos conjuntos de conceptos.
Asumiendo esta simplificación, podemos emplear cualquiera
de las métricas aceptadas para comparar dos valores
jerárquicos. Por nuestra parte, hemos decidido utilizar la
métrica de similitud definida en [12]:
super( _ ) super( _ )( , )
super( _ ) super( _ )
Q CC L CCSim L Q
Q CC L CC
(2)
donde super(Q_CC) representa el conjunto de todos los
conceptos contenidos en la ontología que son superconceptos
de Q_CC y super(L_CC) contiene todos los conceptos
contenidos en la ontología que son superconceptos de L_CC.
En consecuencia, el valor de Sim(L,Q) se encuentra en el
intervalo [0, 1].
En resumen, esta métrica de similitud calcula la relevancia
de un LO debida a los objetivos de la sesión (reflejados en la
consulta propuesta por el estudiante) que L satisface, lo que
hemos llamado los objetivos a corto plazo. Cuanto mayor es
el número de conceptos de la consulta que L permite
aprender, mayor será el valor de la similitud. Cuanto más
similares sean los conceptos que cubre L y los conceptos
explicitados en la consulta, mayor será el valor de similitud.
Como podemos observar, el conocimiento de la similitud
entre los conceptos representados en la ontología es crucial en
nuestro contexto.
A fin de medir la utilidad pedagógica que el LO L muestra
para un estudiante S dado, UP(L,S), hemos adoptado una
estrategia pedagógica que promueve completar las carencias
de conocimiento del estudiante incluyendo conocimientos de
refuerzo [17]. El objetivo es asignar una utilidad pedagógica
mayor a L si éste cubre conceptos en los cuales el estudiante
ha demostrado tener un bajo nivel de competencia. De esta
manera, L puede ayudar al estudiante a reforzar sus
conocimientos sobre esos conceptos y así alcanzar sus
objetivos de aprendizaje a largo plazo. Este refuerzo de
conocimiento podría asignar prioridad a LOs que el
estudiante todavía no ha explorado, o puede repartirla de una
manera igualitaria entre los LOs explorados y no explorados.
Hemos optado por calcular la utilidad pedagógica de
acuerdo a la siguiente fórmula:
UP(L,S) 1 MAN(L,S) (3)
donde MAN(L, S) es la media aritmética normalizada de los
niveles de competencia alcanzados por el estudiante S en los
conceptos cubiertos por L, de modo que MAN(L, S) estará en
el intervalo [0, 1]. UP(L, S) también toma valores en el
intervalo [0, 1].
Resumiendo, (3) calcula valores bajos para la UP(L,S) si el
estudiante ha demostrado buen conocimiento en los conceptos
cubiertos por L. Por el contrario se obtienen valores altos de
UP(L,S) si el estudiante tiene un bajo nivel de conocimiento
en la mayor parte de los conceptos que cubre L. Además (3)
trata de igual manera los LOs explorados y no explorados.
La medida de calidad resultante definida en (1), junto con
la Similitud (2) y la utilidad pedagógica expuesta en (3),
permite introducir un considerable grado de personalización
en la etapa de ordenación. La calidad de un LO finalmente
propuesto para un estudiante depende parcialmente de la
utilidad pedagógica que el LO tiene para conseguir los
objetivos a largo plazo del estudiante. La influencia final de la
utilidad pedagógica y, como consecuencia, el nivel de
personalización conseguido en la lista final de LOs
recomendados puede ser controlado por medio del valor
asignado al peso utilizado en (1). Valores bajos de le dan
la prioridad a la utilidad pedagógica en contra de la similitud
con la consulta. En particular, = 0 representa el nivel más
alto de personalización a largo plazo, y en este caso, la
consulta (objetivos para la sesión) sólo se utiliza en la etapa
de recuperación. Esto asegura que el recomendador propone
LOs que cumplan con los objetivos de la sesión a un nivel
mínimo, aunque el orden en el cual son propuestos al
estudiante está totalmente influenciado por los objetivos a
largo plazo que permiten alcanzar (su capacidad de refuerzo
de conocimientos ya manejados). Por el contrario, valores
altos de α dan prioridad a la similitud con la consulta frente a
la utilidad pedagógica.
Una vez que el valor de utilizado en (1) se fija, el
recomendador muestra el mismo comportamiento, en lo que
respecta al tipo de personalización que ofrece, para todos los
34 IEEE-RITA Vol. 5, Núm. 1, Feb. 2010
ISSN 1932-8540 © IEEE
estudiantes. Podemos obtener un comportamiento más
flexible si, en un recomendador dado, puede tomar
diferentes valores. De esta manera, el recomendador muestra
una mayor adaptabilidad para los potenciales usuarios. Por
ejemplo, el valor de puede depender del tipo de estudiante
que utiliza el recomendador. Valores altos de puede ser
apropiados para los buenos estudiantes, aquellos cuyos
perfiles muestran un buen rendimiento. Estos estudiantes rara
vez necesitaran reforzar conocimientos y el recomendador
podría centrarse en sus objetivos de aprendizaje de la sesión
dando prioridad a aquellos LOs que están más
correlacionados con la consulta. Por el contrario, valores
bajos de α pueden ser apropiados para estudiantes con bajo
rendimiento, de tal manera que el recomendador fomente
solventar sus carencias de conocimiento sin comprometer
significativamente los intereses del estudiante reflejados en la
consulta.
IV. APLICACIÓN DE LA ESTRATEGIA A UN REPOSITORIO DE
RECURSOS EDUCATIVOS DE PROGRAMACIÓN
En esta sección, describimos el proceso de aplicación de la
aproximación general a un repositorio de recursos educativos
de Programación que en la actualidad se utiliza como
material de apoyo en las asignaturas de “Introducción a al
Programación” en nuestra centro docente. Comenzaremos
detallando las fuentes de conocimiento: la ontología, los LOs
y el perfil del estudiante. A continuación, ejemplificaremos
una sesión de recomendación y compararemos los diferentes
resultados obtenidos para distintos valores del parámetro α en
(1).
Utilizamos una ontología de conceptos de programación
que nos permite indexar los LOs contenidos en el repositorio.
Esta ontología está basada en otras ontologías existentes sobre
Programación [18]. En la Fig. 1 se muestra un fragmento de
la ontología. Por ejemplo, vemos que en la ontología se
encuentra definido el concepto Bucle que subsume aquellos
conceptos relacionados con las estructuras iterativas en C++
como, por ejemplo, while y do_while (véase la relación es que
se muestra en la figura). La relación de precedencia definida
trata de reflejar la secuenciación tradicional utilizada en la
enseñanza de la programación (véase la relación sec mostrada
en la figura). Observamos que el concepto Bucle debería
aprenderse después del concepto Condicional y antes que
Array.
En nuestro repositorio existen distintos LOs de
Programación: notas teóricas, ejemplos de código, ejercicios
de programación resueltos, preguntas de examen, exámenes
(conjuntos de preguntas de exámenes) y ejercicios de
programación.
En la Fig. 1 también se encuentra reflejado los niveles de
competencia mostrados por el estudiante utilizado en el
ejemplo de recomendación. Por supuesto, en la práctica esta
información no está incluida en la ontología, pero la hemos
incluido en la Fig. 1 con el fin de que al lector le resulte fácil
visualizar el estado cognitivo del estudiante tomado como
ejemplo.
El perfil de estudiante refleja el valor del nivel de
competencia alcanzado en cada concepto en el que el
estudiante ha sido evaluado. Estos son los conceptos que
consideramos “ya explorados”. En este caso, los conceptos
Array y Registro no han sido explorados por el estudiante.
Podemos observar que el concepto Array está “listo para ser
explorado” por el estudiante, de acuerdo a las condiciones
mencionadas en la sección III.A, si consideramos que el
“umbral de progreso” toma un valor en el intervalo (0, 5]: el
nivel de competencia para el concepto Bucle es 5 por lo que el
concepto Array puede ser descubierto.
El perfil del estudiante se actualiza mediante unos test que
el estudiante puede realizar en cualquier momento para
evaluar sus niveles de competencia. Si el perfil de estudiante
no ha sido actualizado en un periodo largo de tiempo, el
sistema puede sugerir al estudiante que realice un test con el
fin de actualizar su perfil.
Los test permiten calcular el conocimiento del estudiante
sobre los conceptos de más bajo nivel de la ontología. El nivel
de competencia de los conceptos de alto nivel en la ontología
Tabla 1. Un conjunto de LOs del repositorio junto con los
conceptos que cubren, su similitud con la consulta, la media
aritmética normalizada (MAN) y la utilidad pedagógica (UP),
así como la calidad para distintos valores de en (1).
LOs y Conceptos Sim MAN UP Calidad
α=1 α=0.5 α=0.25 α=0
L01 (if, for) 1 6.5 0.35 1 0.67 0.51 0.35
L02 ( if, while,
registro)
-- -- -- -- -- -- --
L03 (switch, for) 0.75 4.5 0.55 0.75 0.65 0.6 0.55
L04 (switch, while,
array)
0.45 3 0.7 0.45 0.57 0.64 0.7
L05 (if, while) 0.75 4 0.6 0.75 0.67 0.64 0.6
L06 (if, for) 1 6.5 0.35 1 0.67 0.51 0.35
L07 (if, for, while) 0.89 4.3 0.57 0.89 0.73 0.65 0.57
L08 (if, for,
do_while)
0.89 7.6 0.24 0.89 0.57 0.4 0.24
L09 (if, for, array) 0.89 6 0.4 0.89 0.65 0.52 0.4
L10( if, for, switch) 0.89 5.6 0.44 0.89 0.67 0.55 0.44
Fig. 1. Una parte de la ontología y una esquematización de los niveles de
competencia de un estudiante.
INIESTA, JIMÉNEZ Y ALBARRÁN: PERSONALIZACIÓN EN RECOMENDADORES BASADOS EN CONTENIDO... 35
ISSN 1932-8540 © IEEE
se calculan de acuerdo a la media aritmética de los niveles de
competencia de aquellos conceptos que subsumen.
A. Una Sesión de Recomendación
Comencemos señalando los compromisos adoptados en el
ejemplo. Con respeto a la etapa de recuperación:
Consideramos un proceso de recuperación flexible que
busca LOs indexados por los conceptos de la consulta y
sus hermanos en la ontología. Por ejemplo, si la consulta
contiene el concepto if, el conjunto inicial de LOs que
satisfacen esta condición serán todos aquellos que cubran
algún subconcepto de Condicional.
Asumimos que el umbral de progreso está fijado en 5, el
valor medio del intervalo [0, 10]. El nivel de competencia
de cada concepto toma un valor en el intervalo [0, 10].
Con respecto a la etapa de ordenación debemos señalar que
para calcular el valor de MAN(L,S) cuando L cubre conceptos
que todavía no han sido explorados (es decir, no tienen un
nivel de competencia asociado) se ha adoptado el criterio de
asignar a dichos conceptos un valor de nivel de competencia
intermedio en la escala considerada. De esta manera los
resultados de las valoraciones no se verán influenciados por
estos conceptos que carecen de nivel de competencia.
Una vez que los LOs han sido ordenados, sólo cuatro de
ellos serán mostrados al estudiante. Necesariamente el
número de recursos que se le muestran al estudiante debe ser
limitado para no sobrecargar de trabajo al estudiante en cada
sesión de aprendizaje.
Supongamos que los conceptos que el estudiante quiere
aprender en la sesión son if y for. Entonces seleccionará estos
conceptos en la consulta, quedando ésta definida como Q = if
+ for. La columna izquierda de la Tabla 1 muestra un
subconjunto de LOs contenidos en el repositorio y los
conceptos que cubren cada uno de ellos. Todos estos LOs
serán recuperados excepto L02. L02 cubre el concepto
Registro, que no puede ser explorado por el estudiante actual
de acuerdo a su perfil: todavía no ha explorado el concepto
Array que es el predecesor de Registro.
En la Tabla 1 también se muestra la Similitud con la
consulta, el valor de MAN y la utilidad pedagógica UP para
cada LO recuperado. También se muestra una comparación
de la Calidad calculada para distintos valores de α en (1).
Si α = 1 (ver Tabla 1, Columna α = 1), la métrica de
calidad es igual a la similitud entre el LO y la consulta. Con
este valor obtenemos una personalización en-sesión, debido a
que UP no es tenida en cuenta. Sólo aquellos LOs que están
altamente relacionados con la consulta del estudiante –
aquellos LOs que cubren exactamente los mismos conceptos
especificados en la consulta, seguidos de aquellos LOs que
cubran los conceptos de la consulta y alguno más– son los
candidatos a ser recomendados. De este modo, las principales
recomendaciones apenas diferirán entre sí. Como
consecuencia, si a un estudiante no le gustan las primeras
recomendaciones probablemente tampoco estará satisfecho
con las siguientes. Esto se conoce como el problema de la
sobreespecialización o la falta de diversidad.
Si α = 0.5 (ver Tabla 1, Columna α = 0.5), la similitud con
la consulta y la utilidad pedagógica tienen el mismo peso en
(1). Los LOs que están altamente relacionados con la consulta
siguen siendo los propuestos. Sin embargo, son reordenados
de manera que la prioridad en este caso es para L07 que, al
mismo tiempo, cubre conceptos que tienen bajos niveles de
competencia en el perfil del estudiante. Podemos observar que
L05, que cubre un concepto que tiene un bajo nivel de
competencia en el perfil de estudiante, también es propuesto
en la recomendación.
Si α = 0.25 (ver Tabla 1, Columna α = 0.25), la utilidad
pedagógica tiene mayor peso que la similitud con la consulta.
En este caso, el recomendador proporciona aquellos LOs que
mejor se adaptan al perfil del estudiante. Estos LOs serán
aquellos que promuevan solventar las carencias de
conocimiento del estudiante. El concepto switch tiene un nivel
de competencia igual a 4; L03 y L04 tratan de remediar esa
carencia. El concepto while tiene un nivel de competencia
igual a 0; L04, L05 y L07 tratan de solventar esta carencia.
En esta estrategia los LOs recomendados son más diversos.
Cada LO refuerza diferentes conceptos. Este valor de α
proporciona una personalización fuerte y una diversidad
adecuada en los LOs recuperados, sin comprometer
significativamente el interés que para la sesión puedan tener
los LOs.
Por último, si consideramos α = 0 (Tabla 1, Columna α =
0) sólo la utilidad pedagógica es considerada. Podemos
observar que el primer LO propuesto es el más diferente a la
consulta. Desde nuestro punto de vista, creemos que estos
resultados pueden resultar confusos para el estudiante.
A la vista de los resultados que hemos obtenido explorando
distintos valores de α, distintas partes de la ontología y
diferentes perfiles de estudiante, considerados que debe
adoptarse un compromiso en la elección de α y en la
flexibilidad de la etapa de recuperación. Asumiendo una
estrategia de recuperación como la aquí propuesta,
consideramos que el valor de α debería estar en el rango que
va desde 0.25 hasta 0.5. Por ejemplo, α = 0.5 puede ser
utilizado para aquellos estudiantes cuyos perfiles muestran un
buen rendimiento. En cambio, α = 0.25 puede ser apropiado
para estudiantes con bajo rendimiento.
V. CONCLUSIONES, TRABAJO RELACIONADO Y TRABAJO
FUTURO
En este artículo hemos describo una aproximación
novedosa en recomendación basada en contenidos de LOs que
fomenta altos niveles de personalización. Hemos mostrado su
aplicación en el dominio de la Programación pero la
estrategia puede ser aplicada en cualquier otro dominio
educativo.
36 IEEE-RITA Vol. 5, Núm. 1, Feb. 2010
ISSN 1932-8540 © IEEE
Los primeros sistemas dedicados a la enseñanza de la
Programación basados en ejemplos tenían una interfaz
sencilla que seleccionaba ejemplos relevantes y proporcionaba
búsquedas a partir de palabras claves que aparecían en el
enunciado del problema o en el código del mismo [7]. Estas
herramientas no tenían en cuenta el conocimiento actual del
estudiante, así que podían recuperar ejemplos que trataban
conceptos que el estudiante todavía no sabía, o incluso
conceptos que todavía no estaba preparado para aprender.
Otros entornos dejaban en manos del estudiante la
responsabilidad de buscar los ejemplos permitiéndole explorar
el repositorio completo a su gusto. WebEx [1], un sistema
para explorar ejemplos de programación comentados
desarrollados en el lenguaje C, es un ejemplo de este tipo de
entornos.
Recientes investigaciones en recursos educativos han
señalado la necesidad de la adaptación en los entornos
educativos. NavEx [19], una evolución de WebEx, clasifica
ejemplos de acuerdo al estado actual de los conocimientos del
estudiante y su historia pasada de interacciones con el
sistema. Este sistema aplica navegación adaptada para: (a)
distinguir nuevos ejemplos de ejemplos que han sido parcial o
totalmente explorados y (b) categorizar ejemplos que están
“listos para” o “todavía no preparados para” ser explorados de
acuerdo al estado actual de los conocimientos del estudiante.
Las aproximaciones empleadas en WebEx y NavEx
proporcionan un gran nivel de flexibilidad desde el punto de
vista del estudiante. Sin embargo los problemas aparecen
cuando estas aproximaciones se utilizan en repositorios con
un gran número de recursos disponibles. En este caso, los
estudiantes pueden llegar a perderse entre los recursos. Por
este motivo, consideramos necesario la inclusión de algún
mecanismo que ayude al estudiante a localizar aquellos LOs
relevantes para él.
Algunos repositorios educativos utilizan navegación social
para resolver el problema de encontrar el siguiente ejemplo a
explorar. Este es el caso de Knowledge Sea [2], una
plataforma de acceso electrónico a documentos sobre el
lenguaje de programación C que incorpora navegación social.
El motor de búsqueda de Knowledge Sea utiliza un vector de
valoraciones para ordenar los LOs recuperados de acuerdo a
su relevancia expresada mediante indicaciones visuales.
La mayoría de las bibliotecas digitales de recursos
educativos se basan principalmente en la recuperación basada
en contenido [14]. Los LOs son consideradors como
documentos y los motores de búsqueda aplican métodos de
recuperación de información, como el modelo del espacio
vectorial, para recuperar aquellos LOs que satisfagan la
consulta del estudiante. Los métodos de filtrado híbrido que
combinan técnicas basadas en contenido con aspectos
colaborativos se están utilizando en los sistemas
recomendadores. Sin embargo, constituyen una novedad en el
acceso a repositorios de recursos educativos. El trabajo aquí
presentado constituye un avance en este sentido. Hemos
diseñado una sofisticada estrategia de recomendación basada
en contenido que encaja perfectamente en la estrategia
híbrida presentada en [10][11].
Actualmente, utilizamos la información sobre la historia de
navegación almacenada en el perfil con el fin de marcar
visualmente que el LO ya ha sido explorado. Un refinamiento
de la métrica de calidad podría tener en cuenta esta
característica con el fin de penalizar los LOs ya explorados.
Para finalizar, en la estrategia reactiva aquí presentada el
estudiante debe proponer una consulta al sistema que
represente sus objetivos de aprendizaje a corto plazo en
términos de los temas en los que está interesado. Plantear esta
consulta impone una curva de uso para aquellos estudiantes
que tienen poco conocimiento del domino. Con el fin de
aliviar esta desventaja, tenemos la intención de complementar
la aproximación reactiva con una estrategia de
recomendación proactiva que proponga al estudiante LO que
le puedan resultar interesantes en una sesión de aprendizaje,
sin necesidad de que éste realice una consulta al sistema. El
trabajo preliminar sobre la estrategia proactiva aparecen en
[16].
AGRADECIMIENTOS
Este trabajo ha sido parcialmente desarrollado y financiado
por el proyecto TIN2009-13692-C03-03 del Ministerio de
Ciencia e Innovación.
REFERENCES
[1] P. Brusilovsky, “WebEx: Learning from Examples in a Programming
Course”, in Proc. World Conf. of the WWW and Internet, AACE,
Orlando, FL, 2001, pp. 124-129.
[2] P. Brusilovsky, R. Farzan and J-w. Ahn, “Comprehensive personalized
information access in an educational digital library”, in Proc. ACM/IEEE-
CS Joint Conf. on Digital libraries, ACM, Denver, CO, USA, 2005, pp.
9-18.
[3] R. Burke, “Hybrid Web Recommender Systems”, in The Adaptive Web,
LNCS, Vol. 4321, 2007, pp.377-408.
[4] J.M. Dodero, P. Díaz, ,I. Dodero, A. Sarasa, “Integrating Ontologies into
the Collaborative Authoring of Learning Objects”, in J. of Universal
Computer Science, vol. 11 no. 9, pp.1568-1575, 2005.
[5] H. Draschler, H. Hummel, and R. Koper, “Recommendations for learners
are different: Applying memory-based recommender systems techniques to
lifelong learning”, in Workshop on Social Information Retrieval for
Technology-Enhanced Learning, 2007.
[6] H. Draschler, H. Hummel, and R. Koper, “Personal Recommender
Systems for learners in lifelong learner networks: the requirements,
techniques and model”, in Int. J. of Learning Technologies, vol 3, no 4,
pp. 404-423, 2008.
[7] J.M. Faries, and B.J. Reiser, “Access and Use of Previous Solutions in a
Problem Solving Situation”, in Procs. 10th Annual Conference of the
Cognitive Science Society, Lawrence Erlbaum Associates, Montreal,
1998, pp. 433-439.
[8] R. Farzan, and P. Brusilovsly, “Social navigation support in a course
recommender system”, in Proc. Int. Conf. on Adaptive Hypermedia and
Adaptive Web-based Systems, Springer Verlag, Berlin, 2006, pp. 91-100.
[9] E. García-Salcines, C. Romero-Morales, S. Ventura-Soto, and C. Castro-
Lozano, “Sistema recomendador colaborativo usando minería de datos
distribuida para la mejora continua de cursos e-learning”. IEEE-RITA, vol.
3, no. 1, pp. 19-30, 2008.
[10] M. Gómez-Albarrán, and G. Jiménez-Díaz, “Recommendation and
Students‟ Authoring in Repositories of Learning Objects: A Case-Based
INIESTA, JIMÉNEZ Y ALBARRÁN: PERSONALIZACIÓN EN RECOMENDADORES BASADOS EN CONTENIDO... 37
ISSN 1932-8540 © IEEE
Reasoning Approach”, in Int. J. on Emerging Technologies in Learning,
vol. 4 no. Special Issue, pp. 35-40, 2009.
[11] M. Gómez-Albarrán, S. Bautista-Blasco, and J. Carrillo de Albornoz,
“Personalized Access and Students‟ Coauthoring in Repositories of
Learning Objects: The Case of a Repository of Programming Examples”,
in Proc. Int. Conf. on Advanced Learning Technologies, IEEE, Los
Alamitos, CA, 2008, pp. 693-695.
[12] P. González-Calero, B. Díaz-Agudo, and M. Gómez-Albarrán, “Applying
DLs for Retrieval in Case-Based Reasoning”, in Int. Workshop on
Description Logics, 1999, pp. 51-55.
[13] H. Hummel, B. Van den Berg, A. Berlanga, H. Drachsler, J. Jansenn, R.
Nadolski, and R. Koper, “Combining social-based and information-based
approaches for personalised recommendation on sequencing learning
activities”, in Int. J. of Learning Technology, vol. 3, no. 2, pp. 152-168,
2007.
[14] C. Lagoze, W. Arms, S. Gan, D. Hillmann, C. Ingram, D. Krafft, R.
Marisa, J. Phipps, J. Saylor, C. Terrizzi, W. Hoehn, D Millman, J. Allan,
S. Guzman-Lara, T. Kalt, “Core services in the architecture of the national
science digital library (NSDL)”, in Proc. 2nd ACM/IEEE-CS Joint Conf.
on Digital libraries, ACM, Portland, Oregon, USA, 2002, pp. 201-209.
[15] M. O' Mahony, and B. Smyth, “A Recommender System for On-line
Course Enrolment: An Initial Study”, in Proc. ACM Conf. on
Recommender Systems, ACM, Minneapolis MN, USA, 2007, pp.133-136.
[16] A. Ruiz-Iniesta, G. Jiménez-Díaz, and M. Gómez-Albarrán,
“Recommendation in Repositories of Learning Objects: A Proactive
Approach that Exploits Diversity and Navigation-by-Proposing”, in Proc
9th IEEE International Conference on Advanced Learning
Technologies, IEEE Computer Society, Riga, Latvia, 2009, pp. 543-545.
[17] J. Siemer, and M.C. Angelides, “Towards an Intelligent Tutoring System
Architecture that Supports Remedial Tutoring”, in Artificial Intelligence
Review, vol. 12, no. 6, pp. 469-511, 1998.
[18] S. Sosnovsky, and T. Gavrilova, “Development of educational ontology for
C-programming”, in Int. J. Information, Theories & Applications, vol. 13,
no. 4, pp. 303-307, 2006.
[19] M. Yudelson, and P. Brusilovsky, “NavEx: Providing Navigation Support
for Adaptive Browsing of Annotated Code Examples”, in Proc. Int. Conf.
on Artificial Intelligence in Education, IOS Press, Amsterdam, 2005, pp.
710-717.
Almudena Ruiz Iniesta es Ingeniera en
Informática por la Universidad Complutense de
Madrid. Actualmente realiza su tesis doctoral en el
Departamento de Ingeniería del Software e
Inteligencia Artificial de la Universidad
Complutense de Madrid sobre la aplicación de
técnicas de recomendación al dominio del e-
learning.
Guillermo Jiménez Díaz es Ingeniero en
Informática y Doctor en Informática por la
Universidad Complutense de Madrid. En la
actualidad es Ayudante Doctor del Departamento de
Ingeniería del Software e Inteligencia Artificial de
la Universidad Complutense de Madrid. También es
miembro del Grupo de Aplicaciones en Inteligencia
Artificial, grupo de investigación consolidado en la
UCM. Su tesis doctoral trató sobre el traslado de
técnicas de aprendizaje activo a entornos virtuales
para la enseñanza de Programación Orientada a
Objetos. Su interés investigador actual se centra en
el estudio y uso de técnicas de recomendación en distintos dominios como son el
e-learning, la recomendación para grupos y el matchmaking en videojuegos.
Mercedes Gómez-Albarrán es Licenciada en
Ciencias Físicas y Doctora en Informática por la
Universidad Complutense de Madrid. En la
actualidad es Profesora Titular del Departamento
de Ingeniería del Software e Inteligencia Artificial
de la Universidad Complutense de Madrid y
desempeña el cargo de Secretaria de la Facultad de
Informática de la misma universidad. Inició su
labor investigadora en la confluencia de la
Ingeniería del Software y las técnicas de
Inteligencia Artificial (especialmente, el
Razonamiento Basado en Casos). Actualmente
trabaja en temas relacionados con técnicas
personalizadas de recomendación y su aplicación al ámbito del e-learning. Su
interés investigador también se centra en el uso de videojuegos y entornos
virtuales en el ámbito educativo. Ha sido investigadora responsable de varios
proyectos de innovación educativa y es autora de más de 40 trabajos publicados
en revistas y actas de conferencias internacionales.
38 IEEE-RITA Vol. 5, Núm. 1, Feb. 2010
ISSN 1932-8540 © IEEE
