Embed Size (px)
Citation preview
Kontur Labs’ Mix
Pavel Braslavski
About myself
2000: PhD thesis on genres and search
2001 – present: Ural Federal University
2005-2012: Yandex
Feb 2012: Kontur labs
IR&NLP: query log mining, automatic summarization & snippet generation, CQA, thesauri
http://kanas.ru/pb
2 18.01.2013
• Based in Yekaterinburg, Russia
• Founded in 1988
• Web services (SaaS) for businesses
• A core service – online tax filing for businesses
• 1M+ customers in 10 time zones
• 1000+ staff members (200+ developers)
• #5 software developer in Russia
http://kontur.ru
18.01.2013 3
Current Projects
• IE from legal / accounting documents
• Questions and answers
• Analysis of the database of Russian companies
2 Pavels
6 interns
18.01.2013 4
INFORMATION EXTRACTION
18.01.2013 5
Task Documents types: acts, накладные, invoices, agreements, … No standard templates MS Excel (so far), scans to come Fields of interest: • Document type, No, Date • Sum, Taxes, Reason • Customer, Vendor • …
18.01.2013 6
18.01.2013 7
Tagging
18.01.2013 8
Features
• Location on the page
• Font size
• Bolded
• Distance & direction to keywords
• Location within text block (cell)
• Alignment
• Date – how far from now?
18.01.2013 9
Method
random forest
18.01.2013 10
COMMUNITY QUESTION ANSWERING
18.01.2013 11
Data
• ≈ 313 000 questions with answers
• Health and Beauty Category
• 1 April 2011 – 31 March 2012
13 18.01.2013
Health and Beauty
Красота и Здоровье Баня, Массаж, Фитнес Болезни, Лекарства Врачи, Клиники, Страхование Детское здоровье Загар, Солярий Здоровый образ жизни Коррекция веса Косметика, Парфюмерия Маникюр, Педикюр Салоны красоты и СПА Уход за волосами Прочее о здоровье и красоте Отвечает врач
14
~120K questions
18.01.2013
Latent Dirichlet Allocation (LDA)
нервный стресс нерв попить успокоительный пустырник успокаивать система таблетка глицин
глаз зрение очки линза видеть капля окулист носить глазной комп
гормон железа эндокринолог гормональный организм щитовидка нарушение проблема щитовидный влиять
горло ангина полоскать сода раствор вода соль полоскание болеть теплый
128,000 questions 70 topics
18.01.2013 15
0
0,02
0,04
0,06
0,08
200
400
600
800
1000
1200
ARI rate vs. 'flu' topic
0
0,1
0,2
0,3
0,4
0,5
-2
-1
0
1
2
3
4
5
rain vs. 'runny nose' topic
18.01.2013 16
Disease – Drug
thrush angina herpes
flucostat* 155 iodine 130 aciclovir*** 307
candid** 92 chamomile 127 zovirax*** 138
clotrimazole** 89 nitrofural 111 wax 95
fluconazole* 89 lugol 93 fenistil 41
diflucan* 77 salvia 70 valtrex 34
18.01.2013 17
CQA: current tasks
• Semiautomatic Content Quality Estimation
• User behavior analysis
• New domain: accounting and legal questions
18.01.2013 18
FOCUS DATABASE
18.01.2013 19
• 7M+ organizations
• 20M+ persons (many duplicates)
Relationships:
• Founded-by (co person, co co)
• Affiliated-with (person co)
Very sparse
GCC ~1.2M
18.01.2013 21
Main directions
• De-duplicate, denser links
• Graph-based interface
• Data from external sources
– Wikipedia
– Stock exchange filings
– News
– Court decisions
18.01.2013 22
People de-duplication
• Russian official names: – Alexander Sergeevich Pushkin
– Lev Nikolaevich Tolstoy
– Fedor Mikhailovich Dostoevskiy
• ~7M person mentions have unique id (INN)
• Task: predict the total number of namesakes for a given full name based on previous observations
• Language Modeling approach + Geo
18.01.2013 23
18.01.2013 24
18.01.2013 25
Precision/Recall
18.01.2013 26
Визуализация http://gephi.org
18.01.2013 27
• Put RuSSIR pic here
• Annual event
• 100+ participants
• 4th RuSSIR: Voronezh 13-18 September
• http://romip.ru/russir2010/
30
7th RuSSIR 2013 Kazan, 16-20 September 2013 http://russir.org
18.01.2013
