TagR: Un Sistema de Recomendaci on de Etiquetas basado en ...ir.ii.uam.es/ceri2010/papers/ceri2010-quevedo.pdfuna terminolog a controlada, sino que son libres de etiquetar con el s

TagR: Un Sistema de Recomendacion deEtiquetas basado en Regresion Logıstica *

J. R. Quevedo, E. Montanes, J. Ranilla, and I. Dıaz

Computer Science DepartmentUniversity of Oviedo,

{quevedo, montaneselena, ranilla, sirene}@uniovi.es

Resumen En este trabajo se propone construir un sistema de recomen-dacion de tags basado en tecnicas de Aprendizaje Automatico, con elproposito de ayudar a los usuarios de una red social en el etiquetado delos recursos que manejan. Para ello, el sistema aprende las etiquetas masadecuadas para etiquetar el recurso que el usuario este tratando y se lasproporciona ordenadas segun la relevancia que el sistema le asigne. Co-mo todo sistema de aprendizaje, para producir una recomendacion, estoes, un conjunto de etiquetas candidatas, se alimenta de un conjunto derecursos previamente etiquetado por los usuarios de la red social. En estetrabajo se estudian diferentes selecciones de conjuntos de entrenamiento,y se construye un conjunto de entrenamiento ad hoc para cada recursoa etiquetar. Este trabajo analiza el rendimiento de las aproximacionesresultantes de acuerdo a distintas medidas de evaluacion, comproban-do que el sistema de aprendizaje mejora los sistemas de recomendaciontradicionales

1. Introduccion

Las redes sociales, que se han situado recientemente como un mecanismode comunicacion extremadamente dinamico, representan un problema de grandimensionalidad con contenido textual, cuyo analisis es tan difıcil como prove-choso. Constituyen un sistema de clasificacion abierto, generado por usuariosy sin estructura jerarquica. El potencial de estas estructuras reside en que eletiquetado de recursos es colaborativo y los usuarios no estan obligados a usaruna terminologıa controlada, sino que son libres de etiquetar con el sımbolo quequiera (los denominados etiquetas -tag-), lo cual no esta exento de riesgos, comola desestructuracion de la informacion contenida en una determinada red, difi-cultando ası el objetivo ultimo de la propia red, que es buscar recursos similares,perfiles de usuario parecidos, etc. Las distintas redes sociales se diferencian porel tipo de recursos que contienen. Flickr, por ejemplo, permite compartir fotos,Del.icio.us permite compartir marcadores y Bibsonomy referencias bibliografi-cas en bibtex y marcadores simultaneamente.

* Este trabajo ha sido financiado por el Ministerio de Educacion y Ciencia a travesdel proyecto [TIN2007-61273]

Actas del I Congreso Español de Recuperación de Información (CERI 2010), Madrid, España, 15 y 16 de junio de 2010

CERI 2010 – 53

El etiquetado de recursos mediante etiquetas da lugar a lo que se conoce comouna Folksonomıa, que en [7] se define como una coleccion de recursos introducidospor usuarios en posts. Cada post es una terna formada por un recurso, un usuarioy el conjunto de etiquetas que este le asigna al recurso. Generalmente el recursoes especıfico del usuario que lo anadio a la red, pero el resto de usuarios puedenetiquetarlo tambien, con los etiquetas que deseen.

Por tanto, uno de los principales retos en el estudio de estas fuentes de in-formacion reside en el desarrollo de sistemas de recomendacion de etiquetas, demodo que cuando un usuario colabora en una red social clasificando un deter-minado recurso, pueda aprovecharse de las interacciones previas que sobre eserecurso, o recursos similares, han realizado otros usuarios.

Se han propuesto diferentes aproximaciones para asistir a los usuarios en elproceso de etiquetar recursos. Algunos realizan recomendaciones analizando elcontenido de los recursos [1], la cooccurrencia de tags [12] o mediante aproxima-ciones basadas en grafos [9].

Brooks et al. [3] analizan la eficiencia de los etiquetas para clasificar en-tradas de blog midiendo la similitud de todos los artıculos que comparten untag. Jaschke et al. [9] adaptan un filtrado colaborativo basado en el usuario parasolventar este problema. Basile et al. [2] proponen un sistema de recomendacionde tags capaz de aprender de la interaccion previa entre usuarios ası como delcontenido de los recursos a anotar. Katakis et al. [10] modelan el problema comouna tarea de clasificacion multietiqueta. Sigurbjornsson et al. [12] caracterizanlos etiquetas fijandose en la informacion que contiene el propio tag.

Muchos de estos sitemas requieren informacion asociada al propio recurso [2].Otros simplemente sugieren un conjunto de etiquetas para etiquetar el recurso,pero serıa interesante que ademas indicara cuales de ellos son los mas relevantespara el recurso [10].

Este artıculo propone una aproximacion al problema de recomendacion detags basada en un proceso de aprendizaje automatico. La hipotesis de partidaes que un sistema de aprendizaje puede mejorar el rendimiento con respecto alos sistemas de recomendacion de tags tradicionales. Nuestra propuesta tratade evitar los puntos debiles de metodos anteriores utilizando un sistema basa-do en regresion logıstica que produce un conjunto de etiquetas ordenado segunla relevancia que el sistema proporcione a cada tag con respecto al recurso aetiquetar.

El trabajo esta organizado de la siguiente forma: Nuestra aproximacion sepresenta en las secciones 2 y 3. Las seccion 4 muestra las metricas de evaluacionutilizadas. Los resultados llevados a cabo sobre colecciones de datos publicasse presentan y analizan en Section 5. Finalmente, la Seccion 6 esboza algunasconclusiones y posibles retos que podremos abordar en el futuro.

2. Sistemas de Recomendacion de Tags (TRS)

Una folksonomıa se define formalmente como una terna F := (U , T ,R,Y) conU , T y R conjuntos finitos, cuyos elementos se llaman respectivamente usuarios,


CERI 2010 – 54

tags y recursos, e Y es una relacion ternaria entre ellos, i. e., Y ⊆ U × T × R,cuyos elementos son los posts.

Siguiendo a Marinho [11], un TRS se puede definir como un sistema querecibe una entrada, esto es, un usuario ∈ U y un recurso r ∈ R y produce unconjunto T (u, r) ⊂ T de etiquetas como salida.

Existen algunos TRS simples pero bastante utilizados hoy en dıa [9] que sebasan en proporcionar una lista de tags extraida del conjunto de posts relacionadocon la anotacion en curso:

MPT (Most Popular Etiquetas): Se calcula la frecuencia con la que se usacada tag ti para anotar los recursos de la red, y se recomiendan los masusados.

MPTR (Most Popular Tags by Resource): Dado un recurso ri, se cuenta lafrecuencia de coocurrencia de cada tag con ri, y se recomiendan aquellos quecoocurran con mas frecuencia.

MPTU (Most Popular Tags by User): Dado un usuario ui, se cuenta lafrecuencia de coocurrencia de cada tag con ui. Se proponen los tags quecoocurren con mas frecuencia con ui.

MPTRU (Most Popular Tags by Resource or User): Dado un recurso ri,se cuenta la frecuencia de coocurrencia de cada tag con ri o con ui y seproponen los tags que coocurren con mas frecuencia con ri o ui.

3. Aprendiendo a Recomendar

A continuacion, vamos a comprobar si la introduccion de un mecanismo deaprendizaje mejora la eficacia de estos TRS.

En esta seccion se detalla el procedimiento propuesto en este trabajo paraproporcionar un conjunto de tags ordenado segun su relevancia. Estas recomen-daciones se basan en un proceso de aprendizaje que se alimenta de lo que cadausuario ha etiquetado previamente. El nucleo del sistema es un algoritmo deaprendizaje basado en SVM, cuya salida es probabilıstica [4]. Lo aspectos masimportantes del sistema se detallan a continuacion.

El conjunto de test no esta prefijado.

Para cada ejemplo de test seleccionado, se construye un conjunto de en-trenamiento especıfico, luego se construye un clasificador ad hoc para cadaejemplo de test.

El sistema de aprendizaje utilizado es LIBLINEAR [4]. Este sistema propor-ciona una distribucion probabilıstica antes de clasificar. Esta distribucion deprobabilidad se utilizara para ordenar los etiquetas, tomando como tag masrelevante para el recurso a etiquetar aquel cuya proabilidad sea mas alta.

Los tags recomendados seran todos los que aparecen en las categorıas del con-junto de entrenamiento, lo que conlleva que algunos de los tags del conjuntode test que sean relevantes, no se consideraran.


CERI 2010 – 55

3.1. Definicion del Conjunto de Test

Muchos trabajos construyen sus metodos siguiendo la division tradicionalen conjunto de entrenamiento y test. De esta forma, aprenden a partir de unconjunto de entrenamiento prefijado y recomiendan un conjunto de tags paracada post del conjunto de test [10]. La aproximacion adoptada en ente trabajoes bastante diferente en el sentido de que para cada post del conjunto de test, seconstruye un conjunto de entrenamiento especıfico.

Una folksonomıa esta compuesta por un conjunto de posts. Cada post esta for-mado por un usuario, un recurso y un conjunto de etiquetas, es decir

pi = (ui, ri, {ti1 , . . . , tik})

Cada post de test pi se transforma en tantos ejemplos de test como etiquetastenga asignadas de la siguiente forma

e1 = (ui, ri, ti1) . . . ek = (ui, ri, tik) (1)

Ejemplo 1 Supongamos la siguiente folksonomıa

post fecha Usuario Recurso Tagsp1 d1 u1 r1 t1p2 d2 u1 r2 t2p3 d3 u2 r1 t1p4 d4 u3 r1 t3p5 d5 u2 r2 t4p6 d6 u2 r1 t2, t3p7 d7 u2 r2 t2, t5p8 d8 u3 r2 t1

(2)

y sea p7 = (u2, r2, {t2, t5}) un post de test seleccionado aleatoriamente en elinstante d7. Entonces el conjunto de test es el siguiente

ejemplo fecha Usuario Recurso Tage1 d7 u2 r2 t2e2 d7 u2 r2 t5

(3)

3.2. Definicion del Conjunto de Entrenamiento

Cualquier sistema de aprendizaje depende fuertemente del conjunto de entre-namiento que se utilice para aprender, por lo que la seleccion de un conjunto deentrenamiento adecuado es fundamental para el exito del aprendizaje. Por esarazon se selecciona un conjunto de entrenamiento especıfico para cada conjuntode test que se quiera etiquetar. En este trabajo se selecciona un conjunto deentrenamiento de forma dinamica a partir de los N posts anadidos antes que elpost de test. El parametro N se fijara experimentalmente.


CERI 2010 – 56

Esta seleccion del conjunto de entrenamiento hace que se propongan los tagsmas modernos de la folksonomıa ademas de producir un sistema mas escalable,ya que el numero de posts del conjunto de entrenamiento no crece segun se vayananadiendo posts al sistema.

A continuacion se establecen las condiciones para que un ejemplo se incluyaen el conjunto de entrenamiento. Distinguiremos 4 aproximaciones distintas, 3de ellas se definen a continuacion.

Aproximacion 1. TR Sea pi = (ui, ri, {ti1 , . . . , tik}) un post de test. Sea Rui el

subconjunto de posts asociados al recurso ri y

Rtri

= {pi/pi ∈ Ri anadido antes del tiempo t}.

La aproximacion TR selecciona como conjunto de entrenamiento los N posts masactuales de Rdi

ri, siendo di la fecha en la que pi se anadio a la folksonomıa.

Aproximacion 2. TU Sea pi = (ui, ri, {ti1 , . . . , tik}) un post de test. Sea Pui la

personomıa (el conjunto de posts anadido pos un usuario) asociada al usuario ui

yPt

ui= {pi/pi ∈ Pui anadido antes del tiempo t}

La aproximacion TR selecciona como conjunto de entrenamiento los N postsmas actuales de Pdi

ui, siendo di la fecha en la que pi se anadio a la folksonomıa.

Aproximacion 3. TRU Los conjuntos de entrenamiento que se obtienen siguiendoalguna de las aproximaciones anteriores, no tienen en cuenta el hecho de que elsistema de aprendizaje se aplica cuando ya se ha establecido una relacion entreel usuario y el recurso. Por tanto puede ser interesante anadir como ejemplos deentrenamiento los concernientes tanto al recurso como al usuario del post de test

El conjunto de entrenamiento asociado a pi sera

URdiui,ri

= {Pdi ∪ Rd

i }\{pj/pj = (ui, ri, {t1, ..., tn})}

Ejemplo 2 Consideremos Rd7r2

= {p2, p5} y Pd7u2

= {p3, p5, p6}. En este caso elconjunto de entrenamiento es

URd7u2,r2

= {Pd7u2

∪ Rd7r2

}\{pj/pj = (ui, ri, {t1, ..., tn})} =

{{p3, p5, p6} ∪ {p2, p5}}\{p5} = {p2, p3, p6}Entonces, el conjunto de entrenamiento se define como sigue:

ejemplo fecha Usuario Recurso Tagse2 d2 u1 r2 t2e3 d3 u2 r1 t1e61 d6 u2 r1 t2e62 d6 u2 r1 t3

(4)


CERI 2010 – 57

3.3. Representacion de los Ejemplos

Una vez que se ha seleccionado el conjunto que se cree mas adecuado pararealizar el entrenamiento, es preciso establecer las caracterısticas que van a de-terminar los ejemplos de entrenamiento y test ası como la clase de cada examen.Consideramos como atributos de los ejemplos los tags que se han utilizado previ-amente para etiquetar el recurso en la folksonomıa. De esta forma, cada ejemplose representa por un vector booleano V de tamano M (que es el numero de tagsde la folksonomıa), de modo que vj = 1 si y solo si tj se ha utilizado para eti-quetar el recurso con anterioridad y 0 en otro caso. La clase del ejemplo sera eltag con el que el usuario ha etiquetado el recurso en un cierto momento.

Por otra parte, es posible que eliminar atributos no relevantes o ruidosospueda resultar provechoso para mejorar tanto la eficacia como la eficiencia delsistema. Ademas, esta representacion de los ejemplos permite realizar una se-leccion de atributos sencilla, que consiste en considerar solo los atributos querepresenten el test. Esta aproximacion puede llevarse a cabo, en primer lugar,porque construimos un conjunto de entrenamiento para cada post de test, y, ensegundo lugar, porque los pesos de los atributos que no representan el post detest no contribuyen a la puntuacion de este post, y, por tanto, pueden ser con-siderados irrelevantes a priori. Esta aproximacion afecta no a la seleccion de losejemplos en sı misma, sino a la representacion de dichos ejemplos. Cuando laaplicamos a un conjunto de entrenamiento obtenido siguiendo la aproximacionTRU, la denominaremos TRUTR.

Ejemplo 3 Consideremos el ejemplo de test y el conjunto de entrenamientoobtenido en el ejemplo anterior. Los atributos del post de test son t2 y t4. Portanto, el conjunto de entrenamiento se representara utilizando a los sumo estasdos etiquetas. Inicialmente se representaba del siguiente modo :

ejemplo fecha recurso atributo categoriae2 d2 r2 ∅ t2e3 d3 r1 t1 t1e61 d6 r1 t1, t3 t2e62 d6 r1 t1, t2, t3 t3

(5)

Pero eliminando de la representacion las etiquetas que no representaban elpost de test, obtenemos la nueva representacion

ejemplo fecha recurso atributos categoriae2 d2 r2 ∅ t2e3 d3 r1 ∅ t1e61 d6 r1 ∅ t2e62 d6 r1 t2 t3

(6)


CERI 2010 – 58

3.4. Sistema de Aprendizaje

Dado que uno de los objetivos que nos hemos planteado, consiste en propor-cionar un conjunto de etiquetas que se adpaten tanto al usuario que las va autilizar como al recurso que se va a etiquetar, serıa beneficioso que el sistemade aprendizaje puntuara las etiquetas, de modo que el usuario supiera, de entretodos las etiquetas que se les proporcionan, aquellas que se adaptan mejor alrecurso que quiere etiquetar. Por esta razon buscamos un sistema que nos pro-porcione una ordenacion total del conjunto de etiquetas que proporcione comosalida.

Inicialmente se penso en utilizar un sistema multicategorıa, dado que el pro-blema lo es. Sin embargo estos sistemas no proporcionan una relacion de ordentotal. Se pueden adaptar para proporcionar un orden parcial, diferenciando entrelas etiquetas que proporcione el sistema y las que no, pero no es lo que se buscaba.

El orden total que estamos buscando se puede conseguir utilizando un sistemamulti-etiqueta, ya que muchos de estos sistemas ordenan antes de resolver elproblema de clasificacion multietiqueta ([13]). Elisseeff and Weston [5] proponenun sistema multi-etiqueta basado en SVM, que establece un orden total en lascategorıas, pero la complejidad de este sistema es cuadratica despues de muchasoptimizaciones, lo que hace que el metodo no se pueda llevar a la practica sobreconjuntos de datos reales.

Con respecto al problema de recomendacion de etiquetas, Godbole y Sarawagien [6] evolucionan SVM simplemente extendiendo el conjunto de datos original,resolviendo un problema multicategorıa.

La aproximacion seleccionada aquı esta basada en la librerıa LIBLINEAR [4](disponible en 1) basada en SVM, y que representa una nueva alternativa pararesolver problemas multi-etiqueta utilizando regresion logıstica. LIBLINEAR ob-tiene la distribucion de probabilidad que siguen las categorıas antes de clasificar,lo que utilizaremos para ordenar dichas categorıas (en nuestro caso, etiquetas),tomando como mejor aquella cuya probabilidad sea mas alta. Para realizar la ex-perimentacion utilizaremos la configuracion por defecto de LIBLINEAR despuesde modificar ligeramente la salida.

La evaluacion se realiza cuando un usuario desea etiquetar un recurso. Eneste caso, todas las etiquetas que aparezcan como categorıa del conjunto deentrenamiento se ordenan utilizando LIBLINEAR, salvo las que ya hayan sidoasigandas por ese usuario a ese recurso. Si el recurso no ha sido etiquetado previ-amente, se recomiendan las etiquetas que haya utilizado el usuario previamenteordenadoas segun su frecuencia de uso

4. Evaluacion del Metodo

No existe consenso respecto a que metrica es la adecuada para evaluar unTRS [9]. Algunos trabajos no incluyen una evaluacion cuantitativa de sus meto-dos [14]. En [11] y [9] seleccionan un post aleatoriamente para cada usuario y

1 http://www.csie.ntu.edu.tw/∼cjlin/liblinear/


CERI 2010 – 59

proporcionan un conjunto de tags para el utilizando toda la folksonomıa salvoese post, y, a partir de ahı, calculan la precision, la cobertura y la F1 ( ([10]))Sin embargo, esta forma de evaluar no nos es util puesto que proporciona lamisma valoracion para todos los conjuntos de tags que difieren en el orden delos elementos que lo componen.

Obviamente, un TRS que retorne las etiquetas positivas en la parte alta dela jerarquıa es preferible que uno que las devuelva al final. Por eso, se hacenecesario establecer una metrica que nos permita cuantificar tanto las etiquetasque se recomiendan, como el orden en el que se recomiendan.

La metrica NDCG [8] calcula la ganancia acumulada que obtiene un usuarioexaminando los resultados de la recuperacion hasta una determinada posicion.Ademas aplica un factor de descuento sobre la relevancia para devaluar los doc-umentos recuperados en ultimo lugar y calcula una puntuacion relativa con re-specto a la ganancia acumulada ideal.

Sin embargo, ninguna de estas metricas se adapta bien al problema de laevaluacion de los sistemas de recomendacion de tags dado que las ordenacionesde eqtiquetas a comparar pueden no contener las mismas etiquetas, y todas lasmetricas anteriores estan pensadas para evaluar permutaciones de un mismoconjunto.

Por esta razon en este trabajo se propone una alternativa que trata de evitarestos inconvenientes. Consiste en calcular la medida F1 para todos los posiblescortes de la ordenacion que retornan un determinado tag y elegir la mas alta. Sedenotara F+

1 y se define como

F+1 = max

0<=i<=r(F1)i (7)

donde r representa el tamano del conjunto (el numero de tags que retorna elsistema), (F1)i es la F1 de la clasificacion, asumiendo que el sistema ha clasificadolos primeros i tags como positivos y el resto como negativos. Este ındice varıaentre 0 (el sistema no devolvio ningun tag como positivo) y r (los devolvio todos).

Dado que un tag negativo no mejora el rendimiento del sistema, solo se calculaF+

1 donde se anaden tags positivos. Notese que el valor de F+1 no varıa si se

anaden tags negativos al final del ranking, como le ocurre a AP. Si embargo,tiene en cuenta todos los tags positivos en vez de considerar los tags positivosque aparecen en la parte alta del ranking, como hace AUC.

5. Experimentos

5.1. Coleccion

Los experimentos se han llevado a cabo utilizando la coleccion bt08, que esun conjunto de datos formado por posts bibtex, recopilados por el ECML PKDDDicovery Challenge 2008 2 y extraıdos de Bibsonomy 3.

2 http://www.kde.cs.uni-kassel.de/ws/rsdc08/3 http://www.bibsonomy.org


CERI 2010 – 60

Antes de utilizar estos conjuntos de datos, se ha realizado una limpieza dedichos conjuntos siguiendo las pautas del PKDD Discovery Challenge 2008. Elpreprocesamiento incluye la eliminacion de etiquetas inutiles (e.g., system:: un-filed), la transformacion de todas las letras a minusculas y la eliminacion decaracteres no alfanumericos. El numero de usuarios, etiquetas, recursos y posstse muestran en el Cuadro 1.

Dataset users tags resources postsbt08 1,206 29,739 96,616 278,008

Cuadro 1. Datos estadısticos de la coleccion de prueba

5.2. Discusion de los Resultados

En esta seccion se detallan los experimentos llevados a cabo. Para comprobarlos metodos, se han seleccionado aleatoriamente 1000 posts de test, para cadauno de los cuales se ha seleccionado un conjunto de entrenamiento ad hoc quedepende de

Como se haya construido el conjunto de entrenamientoLa cardinalidad del conjunto de entrenamiento (N): N = i ∗ 500 con i =1, 2, . . . , 10. De este modo, se analizara la influencia del tamano del conjuntode entrenamiento

El Cuadro 2 muestra el comportamiento de los TRSs de referencia segun lasmetricas detalladas en la Seccion4. Parece que los sitemas MPTU y MPTRU sonconsiderablemente mejores que el resto de los TRS de referencia para ambosconjuntos de datos.

F+1 AUC AP NDCG

MPT 6.7% 5.8 % 4.6% 6.6%MPTR 7.8% 5.2 % 5.7% 7.7%MPTU 37.2% 56.3% 28.8 % 42.5%MPTRU 38.2% 57.9% 29.7 % 43.7%

Cuadro 2. Rendimiento de los TRSs de referencia para bt08

La Figura 1 muestra la F+1 , AUC, AP y NDCG de cada conjunto de entre-

namiento obtenido cuando el numero de ejemplos de entrenamiento varıa entre500 y 5000. Claramente, considerar como ejemplos de entrenamiento los que elusuario del post de test ha posteado previamente, aumenta sensiblemente la efi-cacia del sistema. Si ademas anadimos al conjunto de entrenamiento los posts en


CERI 2010 – 61

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

500 1000 1500 2000 2500 3000 3500 4000 4500 5000

F1+

TR TU TRU TRUTR

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

500 1000 1500 2000 2500 3000 3500 4000 4500 5000

AUC

TR TU TRU TRUTR

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

500 1000 1500 2000 2500 3000 3500 4000 4500 5000

AP

TR TU TRU TRUTR

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55

500 1000 1500 2000 2500 3000 3500 4000 4500 5000

NDCG

TR TU TRU TRUTR

Figura 1. F+1 , AUC, AP and NDCG de la coleccion bt08

los que ha estado involucrado previamente el recurso del post de test, tambienmejoramos la eficacia del metodo. Es mas, si utilizamos para representar losejemplos de entrenamiento, solo las etiquetas que se utilizan para representar elpost de test, tambien mejoramos la eficacia del TRS.

Aunque todas las medidas de evaluacion coinciden en valorar mejor a lasmismas aproximaciones, el comportamiento de estas con respecto al numero depost de entrenamiento difiere de una aproximacion a otra.

6. Conclusiones y Trabajos Futuros

Este trabajo propone un TRS que aprende a ordenar un conjunto de tags can-didatos a etiquetar un recurso anadido por un usuario. Este sistema se alimentade distintos conjuntos de posts, dependiendo de la aproximacion utilizada.

Ademas, se ha propuesto una medida de evaluacion nueva, llamada F+1 , que

tiene en cuenta las posiciones que ocupan los tags, evitando alguno de los prob-lemas de las otras medidas de evaluacion utilizadas.

El TRSs propuesto se compara con el mejor de los TRS de referencia (MPTRU).Los resultados muestran una mejora significativa de nuestros TRS con respectoa MPTRU, siendo (TRUTR) el mejor de nuestras 4 versiones.

Por otro lado, la cardinalidad del conjunto de entrenamiento ha variado entre500 y 5000. Los resultados muestran que el numero de ejemplos apenas afecta ala eficacia del sistema. En cualquier caso, lo que sı podemos asegurar es que es


CERI 2010 – 62

posible mantener la eficacia del sistema sin anadir una gran cantidad de ejemplosde entrenamiento, lo que ralentizarıa el proceso.

Por tanto, podemos concluir que la introduccion de un sistema de aprendizajemejora la eficacia de los sistemas de aprendizaje.

Sin embargo este metodo puede ser mejorado analizando en profundidad larepresentacion de los ejemplos realizando agrupamientos de tags a priori, lo quereducirıa sensiblemenente la complejidad del mismo. Tambien serıa interesanteanalizar el contenido de los recursos, lo que sin duda ayudarıa a a establecerrelaciones entre recursos.

Referencias

1. B. Adrian, L. Sauermann, and T. Roth-Berghofer. Contag: A semantic tag recom-mendation system. In Proceedings of I-Semantics’ 07, pages 297–304, 2007.

2. P. Basile, D. Gendarmi, F. Lanubile, and G. Semeraro. Recommending smart tagsin a social bookmarking system. In Bridging the Gep between Semantic Web andWeb 2.0 (SemNet 2007), pages 22–29, 2007.

3. Christopher H. Brooks and Nancy Montanez. Improved annotation of the blogo-sphere via autotagging and hierarchical clustering. In WWW ’06: Proceedings ofthe 15th international conference on World Wide Web, pages 625–632, New York,NY, USA, 2006. ACM.

4. S.S. Keerthi C. J. Lin, R. C. Weng. Trust region newton method for logisticregression. Journal of Machine Learning Research, (9):627–650, 2008.

5. Andre Elisseeff and Jason Weston. A kernel method for multi-labelled classification.In In Advances in Neural Information Processing Systems 14, pages 681–687. MITPress, 2001.

6. Shantanu Godbole and Sunita Sarawagi. Discriminative methods for multi-labeledclassification. In Honghua Dai, Ramakrishnan Srikant, and Chengqi Zhang, edi-tors, PAKDD, volume 3056 of Lecture Notes in Computer Science, pages 22–30.Springer, 2004.

7. A. Hotho, R. J.aschke, C. Schmitz, and G. Stumme. Trend detection in folk-sonomies. pages 56–70. 2006.

8. K. Jarvelin and J. Kekalainen. Cumulated gain-based evaluation of ir techniques.ACM Trans. Inf. Syst., 20(4):422–446, 2002.

9. R. Jaschke, L. Marinho, A. Hotho, L. Schmidt-Thieme, and G. Stumme. Tagrecommendations in folksonomies. In Alexander Hinneburg, editor, Proceedings ofLWA 2007, pages 13–20, sep 2007.

10. I. Katakis, G. Tsoumakas, and I. Vlahavas. Multilabel text classification for au-tomated tag suggestion. In Proceedings of ECML PKDD Discovery Challenge(RSDC08), pages 75–83, 2008.

11. L. Marinho and L. Schmidt-Thieme. Collaborative tag recommendations. InSpringer Berlin Heidelberg, editor, Studies in Classification, Data Analysis, andKnowledge Organization, pages 533–540, 2008.

12. B. Sigurbjornsson and R. van Zwol. Flickr tag recommendation based on collectiveknowledge. In Proceedings of WWW ’08, pages 327–336, New York, 2008. ACM.

13. G. Tsoumakas and I. Katakis. Multi label classification: An overview. InternationalJournal of Data Warehousing and Mining, 3(3):1–13, 2007.

14. Z. Xu, Y. Fu, J. Mao, and D. Su. Towards the semantic web: Collaborative tagsuggestions. In Proceedings of WWW2006, Edinburgh, Scotland, 2006.


CERI 2010 – 63

Documents

TagR: Un Sistema de Recomendaci on de Etiquetas basado en ...ir.ii.uam.es/ceri2010/papers/ceri2010-quevedo.pdfuna terminolog a controlada, sino que son libres de etiquetar con el s