Upload
shohei-okada
View
84
Download
4
Embed Size (px)
Citation preview
文献紹介2014/12/05
長岡技術科学大学自然言語処理研究室
岡田正平
文献情報Duyu Tang, Furu Wei, Bing Qin, Li Dong, Ting Liu and Ming ZhouA Joint Segmentation and Classification Framework for Sentiment AnalysisIn Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp 477-487.2014.
2014/12/05 文献紹介 2
概要• 典型的な sentiment classification (pipeline method)
segmentation → classification
– error propagation• segmentation error は classification に影響e.g.)〈bad, not bad〉, 〈a great deal of, great〉
2014/12/05 文献紹介 3
概要• 典型的な sentiment classification (pipeline method)
segmentation → classification
• 提案手法 (joint segmentation and classification, JSC)
segmentation classification
2014/12/05 文献紹介 4
sentiment-specific segmentorを学習
概要Joint segmentation and classification framework (JSC)
2014/12/05 文献紹介 5
概要• segmentation candidates をスコア付し,上位のものを極性分類の素性として用いる
• segmentation の極性を予測,segmentatorの更新に利用
• 訓練データは極性情報のみ
• SemEval 2013 の Twitter sentiment classification dataset にて state-of-the-art な手法と同等の性能を達成
2014/12/05 文献紹介 6
手法
手法3種のモデルを利用
1. candidate generation model (CG)2. segmentation ranking model (SEG)3. sentiment classification model (SC)
2014/12/05 文献紹介 8
手法
2014/12/05 文献紹介 9
iteration※上向き矢印:update model下向き矢印:use model
手法
2014/12/05 文献紹介 10
iteration※上向き矢印:update model下向き矢印:use model
Candidate generation• phrase table による制約を用いたビーム探索を利用
• Mikolov et al., 2013
𝑓𝑓𝑓𝑓 𝑤𝑖 ,𝑤𝑗 =𝑓𝑓𝑓𝑓 𝑤𝑖 ,𝑤𝑗 − 𝛿
𝑓𝑓𝑓𝑓 𝑤𝑖 × 𝑓𝑓𝑓𝑓(𝑤𝑗)– 閾値を設け,phrase table を取得
2014/12/05 文献紹介 11
Candidate generation
• 分割数が少ない方から𝑁個を候補とする
2014/12/05 文献紹介 12
手法
2014/12/05 文献紹介 13
iteration※上向き矢印:update model下向き矢印:use model
手法
2014/12/05 文献紹介 14
iteration※上向き矢印:update model下向き矢印:use model
Segmentation rankingsegmentation candidates に実数値のスコア付け
𝜙𝑖𝑗 = exp 𝑏 + �𝑠𝑓𝑓𝑖𝑗𝑖 ⋅ 𝑤𝑖𝑖
𝑠𝑖 : 𝑖番目の文Ω𝑖𝑗 : 𝑠𝑖の𝑗番目の segmentation candidate𝜙𝑖𝑗 : Ω𝑖𝑗のスコア𝑠𝑓𝑓𝑖𝑗𝑖 : Ω𝑖𝑗の𝑘番目の素性
2014/12/05 文献紹介 15
Segmentation ranking損失関数
𝑙𝑙𝑠𝑠 = −� log∑ 𝜙𝑖𝑗𝑗∈𝐻𝑖∑ 𝜙𝑖𝑗𝑗′∈𝐴𝑖
+ 𝜆 𝑤 22
𝑇
𝑖=1𝑇 : 訓練事例𝐴𝑖 : 𝑠𝑖に対する全 segmentation candidates𝐻𝑖 : 𝑠𝑖の segmentation candidates 中で
予測された極性が正解と一致しているもの
2014/12/05 文献紹介 16
Segmentation ranking素性 𝑠𝑓𝑓𝑖𝑗𝑖• Segmentation-Specific Feature• Phrase-Embedding Feature
– Skip-Gram model (Mikolov et al., 2013)
2014/12/05 文献紹介 17
Segmentation ranking素性 𝑠𝑓𝑓𝑖𝑗𝑖• Segmentation-Specific Feature• Phrase-Embedding Feature
– Skip-Gram model (Mikolov et al., 2013)
2014/12/05 文献紹介 18
Segmentation ranking
2014/12/05 文献紹介 19
Segmentation ranking素性 𝑠𝑓𝑓𝑖𝑗𝑖• Segmentation-Specific Feature• Phrase-Embedding Feature
– Skip-Gram model (Mikolov et al., 2013)– classification model でも利用
2014/12/05 文献紹介 20
Segmentation ranking畳み込み関数により導かれたベクトルの結合で表現される
𝑝𝑓 𝑠𝑓𝑠 = 𝑝𝑓𝑚𝑚𝑚 𝑠𝑓𝑠 ,𝑝𝑓𝑚𝑖𝑚 𝑠𝑓𝑠 ,𝑝𝑓𝑚𝑎𝑎(𝑠𝑓𝑠)𝑝𝑓 𝑠𝑓𝑠 𝑚 = 𝜃𝑚 𝐿𝑝𝑝 𝑠𝑠𝑎
𝜃𝑚 : 𝑝𝑓𝑚の畳み込み関数𝐿𝑝𝑝 𝑠𝑠𝑎
: 結合された𝑠𝑓𝑠中の単語の列ベクトル𝐿𝑝𝑝 : phrase embedding の lookup tabke
2014/12/05 文献紹介 21
手法
2014/12/05 文献紹介 22
iteration※上向き矢印:update model下向き矢印:use model
手法
2014/12/05 文献紹介 23
iteration※上向き矢印:update model下向き矢印:use model
Classification nodel• 訓練事例を用いて教師あり学習
2014/12/05 文献紹介 24
手法
2014/12/05 文献紹介 25
iteration※上向き矢印:update model下向き矢印:use model
実験
実験 1Twitter sentiment classification dataset in SemEval 2013• 2値分類 (positive/negative) のみ
2014/12/05 文献紹介 27
実験 1
2014/12/05 文献紹介 28
実験 2JSC と pipeline method の比較
pipeline 1: bag-of-words
pipeline2: segmentation candidate with maximum phrase
2014/12/05 文献紹介 29
実験 2JSC と pipeline method の比較
PF: phrase embeddingSF:
segmentation-specificCF:
classification-specific
2014/12/05 文献紹介 30
まとめJoint segmentation and classification framework (JSC)
state-of-the-art な手法と同等の精度達成
2014/12/05 文献紹介 31
ReferencesTomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. 2013. Distributed representations of words and phrases and their compositionality. Conference on Neural Information Processing Systems.
2014/12/05 文献紹介 32