Détection de contradiction dans les commentaires

IntroductionVue d’ensemble : travaux relatifs

Détection et intensité de contradictionÉvaluation expérimentale

Conclusion

Détection de contradiction dans les commentaires

Ismail Badache - Sébastien Fournier - Adrian-Gabriel Chifu

Pré[email protected]

Laboratoire des Sciences de l’Information et des SystèmesAix-Marseille Université

Ismail Badache CORIA 2017 Détection de contradiction dans les commentaires 1 / 22

Pr�[email protected]



Conclusion

Plan

Introduction

Vue d’ensemble : travaux relatifs

Détection et intensité de contradiction

Évaluation expérimentale

Conclusion




Conclusion

Introduction• Diversité des opinions sur un sujet donné ⇒ Contradiction




Conclusion

Hypothèses

Hypothèse 1 : une contradictionUne contradiction dans des commentaires liés à une ressourcedonnée (ex. film, cours, etc) signifie des opinions contradictoiresexprimées sur un aspect spécifique, qui est une forme de diversitéde sentiments autour de l’aspect au sein de la même ressource.

Hypothèse 2 : intensité d’une contradictionUn aspect avec un sentiment négatif dans un commentaire avec unrating positif (et inversement) a un impact plus important surl’intensité de la contradiction qu’un aspect avec un sentimentpositif dans un commentaire avec un rating positif.




Conclusion

Questions de recherche

• Comment identifier une contradiction sur un aspect dans lescommentaires ?

• Comment mesurer le degré de contradiction entre lescommentaires ?

• Quel est l’impact de la prise en compte conjointe de la polaritéet du rating des commentaires sur la mesure de l’intensité dela contradiction ?




Conclusion

Vue d’ensemble : travaux relatifs

Détection de controverses• Wikipédia (Wang et al., 2014), les "news" (Tsytsarau et al.,2014), lors de l’analyse de débat (Qiu et al., 2013) ou demanière générique sur le Web (Jang et Allan, 2016).

Détection d’aspects• les HMM (Hidden Markov Models) ou les CRF (ConditionalRandom Fields) comme (Hamdan et al., 2015).

• non supervisée (Kim, 2013), règles statistiques (Poria, 2014).

Analyse de sentiments• lexiques (Turney, 2002) ou corpus (Mohammad et al., 2013).• naïve bayes (Pang et al., 2002), RNN (Socher et al., 2013).




Conclusion

Comment détecter la contradiction ?




Conclusion

Extraction des aspects

1 Calcul fréquentiel des termes constituant le corpus descommentaires,

2 Catégorisation des termes de chaque commentaire en utilisantStanford Parser 1,

3 Sélection des termes ayant la catégorie nominale,4 Sélection des noms avec des termes émotionnels dans leur

voisinages de 5 mots (en utilisant SentiWordNet 2),5 Extraction des termes les plus fréquents (utilisés) dans le

corpus parmi ceux sélectionner dans l’étape précédente. Cestermes seront considérés comme des aspects.

1. http://nlp.stanford.edu:8080/parser/2. http://sentiwordnet.isti.cnr.it/


http://nlp.stanford.edu:8080/parser/

http://sentiwordnet.isti.cnr.it/



Conclusion

Extraction des aspects : exemple

Étape Description

(1) course : 44219, material : 3286, assignments : 3118, content : 2947,lecturer : 2705, ....... termei

(2)

The/DT lecturer/NN was/VBD an/DT annoying/VBG speaker/NNand/CC very/RB repetitive/JJ ./. I/PRP found/VBD the/DT format-ting/NN so/RB different/JJ from/IN other/JJ courses/NNS I/PRP’ve/VBP taken/VBN ,/, that/IN it/PRP was/VBD hard/JJ to/TOget/VB started/VBN and/CC figure/VB things/NNS out/RP ./.

(3) lecturer, speaker, formatting, things(4) lecturer, speaker(5) lecturer

L’aspect utile est "lecturer"




Conclusion

Analyse de sentiment

Définition 1 : SentimentLes sentiments par rapport à un aspect sont un nombre réel dans laplage [-1, 1] qui indique la polarité de l’opinion exprimée dans lecommentaire. Les valeurs négatives et positives représententrespectivement des opinions négatives et positives.

Modèle d’analyse de sentiments :• Modèle supervisé basé sur Naïve Bayes.• Traitement des simples négations (not, n’t, no).• Traitement d’intensificateurs et d’adverbes (very, absolutely).




Conclusion

Mesure de contradiction

Définition 2 : ContradictionIl y a une contradiction sur un aspect donné, entre deux extraits decommentaires contenant cet aspect (ca1, ca2 ∈ D), lorsque lespolarités autour de l’aspect sont opposées, Pol(ca1)∩ Pol(ca2) = φ.

• Pol(cai ) représente la fonction qui retourne la polarité(positive, négative) du commentaire-aspect cai .

Intensité de contradiction :• Dimensions (poli , rati ) pour chaque commentaire-aspect cai .• Dispersion des cai modélisés par un nuage de points.• Plus la distance est élevée entre les points cai par rapport à uncentroide cacentroide du même document D, plus le degré decontradiction est important.




Conclusion


• Fonction de dispersion (inertie du nuage) :

Disp(capolrat ,D) =1n

n∑i=1

Distance(poli , rati ) (1)

avec :

Distance(poli , rati ) =

√(poli − pol)2 + (rati − rat)2 (2)

• Normalisation des ratings rati : rati = rati−32 .

• Distance(poli , rati ) est la distance du point cai du nuage aupoint centroide cacentroide , tandis que n est le nombre depoints cai du nuage.




Conclusion


Figure – Dispersion des commentaires-aspect cai par rapport au cacentroide




Conclusion


Les coordonnées (pol , rat) du centroide cacentroide peuvent êtrecalculées de deux manières différentes :

1 Centroïde basé sur la moyenne des poli et des rati

pol=pol1+pol2+...+poln

n; rat=

rat1+rat2+...+ratnn

(3)

2 Centroïde basé sur la moyenne pondérée des poli et rati

pol =c1 · pol1 + c2 · pol2 + ...+ cn · poln

n(4)

rat =c1 · rat1 + c2 · rat2 + ...+ cn · ratn

n(5)

avec :

ci =|Rati − Poli |

2n(6)




Conclusion

Objectifs et collection de test

• Évaluer l’impact de l’analyse de sentiment et du rating sur ladétection de contradictions autour de certains aspects.

• Évaluer l’impact du centroide moyenné et pondéré sur lamesure de l’intensité des contradictions.

• Collection de test : issue de "coursera.org"Champ Nombre TotalCours 2244

Cours notés 1115Commentaires 73873

Ratings 298326Commentaires 1705Commentaires 1443Commentaires 3302Commentaires 12202Commentaires 55221




Conclusion

Les aspects détectés

• 22 aspects capturés automatiquement sur l’ensemble descommentaires issus de "coursera.org"




Conclusion

Évaluation manuelle "User Study"

• Évaluation manuelle (contradictions et sentiments) :• 3 évaluateurs.• 10 cours pour chaque aspect.• 1320 commentaires/aspect de 220 cours.• Kappa Cohen (contradictions) : k = 0.68.• Kappa Cohen (sentiments) : k = 0.76.




Conclusion

Protocole d’évaluation

• Analyseur de sentiments (Naïve Bayes) :• Ensemble d’apprentissage : 50.000 commentaires d’IMDb 3.• Ensemble de test : les commentaires-aspect de coursera.• Précision : 79% (taux d’erreur 21%).

• Les jugements des évaluateurs sur les sentiments, représententune précision de 100% (référence).

• Évaluation de la performance de notre approche :• Étude de corrélation (mesure officielle de SemEval 4).• Entre les jugements de contradiction donnés par les

évaluateurs et les résultats obtenus par notre approche.• Coefficients de corrélation de Pearson et Spearman.

3. http://ai.stanford.edu/~amaas/data/sentiment/4. http://alt.qcri.org/semeval2016/task7/


http://ai.stanford.edu/~amaas/data/sentiment/

http://alt.qcri.org/semeval2016/task7/



Conclusion


Figure – Corrélation entre les jugements de contradiction et les résultatsde notre approche (avec un taux d’erreur de 21% dans la détection desentiments)




Conclusion


Figure – Corrélation entre les jugements de contradiction et les résultatsde notre approche (avec un taux d’erreur de 0% dans la détection desentiments)




Conclusion

Conclusion

• Contribution : estimation de l’intensité de contradiction• Exploitation conjointe des polarités et des ratings.• Calcul de centroide de 2 manières (moyenné et pondéré).

• limites :• Dépendance de la qualité des modèles d’analyse de sentiments

et de détection des aspects.• Simplicité des modèles de pré-traitements.• Détection des phrases auxquelles appartient un aspect.

• Perspectives :• Améliorer l’analyse de sentiments, d’aspects et des phrases.• Prise en compte des sessions temporelles des commentaires.• Prise en compte du profil de l’utilisateur.• S’affranchir du rating.• D’autres expérimentations à plus grande échelle sur d’autres

types de collections.




Conclusion


Internet

Détection de contradiction dans les commentaires