Embed Size (px)
Citation preview
PETRUS-Workshop „Automatische Erschließungsverfahren“am 21./22. März 2011
Morpho-semantische Analyse von Texten
Dr. Kornél MarkóDr. Katrin Tomanek
Averbis GmbH
Über Averbis…
Herkunft: Spin-off des Universitätsklinikums Freiburg
Gründung: 2007
Standort: Freiburg im Breisgau
Mitarbeiter: Expertenteam aus Linguisten, Ärzten und Entwicklern
Kooperationen: mit führenden Forschungseinrichtungen
Fokus: Skalierbare Textanalyse-Software
Branchen: Gesundheit, Pharma, Verlage, Bibliotheken
Textanalyse / Sprachtechnologien
• Methoden zur Verarbeitung von elektronisch gespeicherten Freitexten• Linguistische Analyse statt Betrachtung von Zeichenketten
– Morphologische Analyse (Wortebene)– Syntaxanalyse (Satzebene)
• … kombiniert mit Methoden maschinellen Lernens
• Verschlagwortung– Vergabe von Schüsselwörtern– Abgleich mit kontrollierten
Vokabularien
• Textklassifikation– Zuweisung von Kategorien
• Information Retrieval – Suchmaschinen
• Information Extraction– Extrahieren von Fakten aus
Freitexten, Strukturierung
• Text Mining– Generierung von neuem Wissen
durch Analyse großer Dokumentenbestände
Hypertonie ?
Bluthochdruck ?
Hoher Blutdruck
Herausforderung
Hypertonie ?
Bluthochdruck ?
Hoher Blutdruck
Herausforderung
Hypertonie ?
Bluthochdruck ?
Hoher Blutdruck
D006973
D006973
D006973
D006973
D006973
D006973
Herausforderung
– Orthografische Varianten:
• Kolonkarzinom, Coloncarcinom,
• Ösophagus, Oesophagus,
• ulzerierend, ulcerierend
– Flexion: Erkrankungen, Bluthochdrucks, Risiken
– Derivation: Krankheit, diastolisch, leukozytär
– Synonyme:
Sarkoidose, Morbus Besnier-Boeck-Schaumann, Lupus pernio, Benigne Lymphogranulomatose, Febris uveoparotica….
– Komposition:
Gemeinde|krank|en|pflege|station|en
– Akronyme: AIDS, SARS, OECD
– Eigennamen: Aspirin, ASS
Sprachliche Variationen
Morphem-Thesaurus
Innovation: Subwortlexika
sprachübergreifend verlinkt übersemantische Gruppen (Konzepte)
Morpho-semantische Analyse
myo kard itiskox arthros eKlavikula fraktur
herz muskel entzuend unggelenkverschleiss an der hueft eschluesselbein bruch
ZerlegungsalgorithmusSubwort-Lexikon
MyokarditisKoxarthroseKlavikulafraktur
Original
HerzmuskelentzündungGelenkverschleiß an der HüfteSchlüsselbeinbruch
myokarditiskoxarthroseklavikulafraktur
herzmuskelentzuendunggelenkverschleiss an der huefteschluesselbeinbruch
OrthografischeRegeln
Orthografische Normalisierung
#muscle #heart #inflamm#cox #arthros#clavicle #fracture
Interlingua
#heart #muscle #inflamm#arthros # cox#clavicle #fracture
Subwort-Thesaurus
Semantische Normalisierung
Subwort-Lexika
Kerneigenschaften
Typ Suche nach…Mapping von…
Findet…nach…
SonstigeMethoden MSI
Tippfehler Brutskrebs Brustkrebs
Rechtschreibfehler Appoplex Apoplex
Phonetik Syfilis Syphilis
Singular/Plural Risiko Risiken
Wortarten leukozytär Leukozyt
Vertauschungen Chronische Bronchitis Bronchitis, chronisch
Zusammenhänge Brustkrebs Karzinom des Brustdrüsengewebes ---
Komposita Darmkrebsrisikoreduzierung Reduktion des Risikos von Darmkrebs ---
Synonyme Schlaganfall Apoplex ---
Abkürzungen WHO Weltgesundheitsorganisation ---
Laie/Experte Darmkrebs Kolonkarzinom ---
Mehrsprachigkeit Herzmuskelentzündung Inflammation of the heart muscle, myocarditis ---
MEDPILOT.DE
Präzision / Abdeckung
• Morpho-semantische Analyse erhöht sowohl die Abdeckung als auch die Qualität in einem IR-Szenario
Dzeyk, W. (2010). Effektiv und nutzerfreundlich. Einsatz von semantischen Technologien und Usability-Methoden zur Verbesserung der medizinischen Literatursuche. Köln: Verlag ZB MED.
• Aber: Vereinzelt kommen neue Fehlerklassen hinzu:– Medizinpersonal -> Personal (Medizin)– Personalisierte Medizin -> Personal (Medizin)– Wüste -> Verwüstung
• Reperaturmechanismen, Einstellung am Zielvokabular
• Empirie: „Nutzen ist höher als Schaden“
• Evaluation mit Goldstandard
Morpho-semantische Analyse übertragen auf PETRUS-Szenario
Verschlagwortung & Klassifikation
• Verschlagwortung– Extraktion von Schlüsselwörtern– Zuweisung von Termen aus einem (großen)
kontrollierten Vokabular (Deskriptoren)• Maschinelles Lernen oder regelbasiert
• Klassifikation– Assoziation von Textmustern zu (wenigen)
Kategorien• Maschinelles Lernen
Verschlagwortung IDie Myokarditis ist eine Sammelbezeichnung
für entzündliche Erkrankungen des Herzmuskels
mit unterschiedlichen Ursachen.
Original
Deskriptor: Synonyme:
Herzmuskelentzündung -
Kollektivum Sammelbezeichnung
Deskriptor: Synonyme:
Entzündung Inflammatio
Ursache -
Verschlagwortung IDie Myokarditis ist eine Sammelbezeichnung
für entzündliche Erkrankungen des Herzmuskels
mit unterschiedlichen Ursachen.
Original
Deskriptor: Synonyme:
Herzmuskelentzündung -
Kollektivum Sammelbezeichnung
Deskriptor: Synonyme:
Entzündung Inflammatio
Ursache -
Annotationen original: Kollektivum
Verschlagwortung IIDie Myokarditis ist eine Sammelbezeichnung
myokarditis sammelbezeichn
für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskel
mit unterschiedlichen Ursachen. unterschied ursach
Original
Stems
Deskriptor: Synonyme:
Herzmuskelentzündung -Herzmuskelentzundung -
Kollektivum SammelbezeichnungKollektivum sammelbezeichnung
Deskriptor: Synonyme:
Entzündung InflammatioEntzündung inflammatio
Ursache -ursach -
Annotationen original: Kollektivum
Verschlagwortung IIDie Myokarditis ist eine Sammelbezeichnung
myokarditis sammelbezeichn
für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskel
mit unterschiedlichen Ursachen. unterschied ursach
Original
Stems
Deskriptor: Synonyme:
Herzmuskelentzündung -Herzmuskelentzundung -
Kollektivum SammelbezeichnungKollektivum sammelbezeichnung
Deskriptor: Synonyme:
Entzündung InflammatioEntzündung inflammatio
Ursache -ursach -
Annotationen original: KollektivumAnnotationen stems: Kollektivum, Ursache
Verschlagwortung IIIDie Myokarditis ist eine Sammelbezeichnung
myokarditis sammelbezeichnmyo kard itis sammel bezeich
für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskelentzuend krank herz muskel
mit unterschiedlichen Ursachen. unterschied ursachunterschied ursach
Original
Stems
Segments
Deskriptor: Synonyme:
Herzmuskelentzündung -Herzmuskelentzundung -herz muskel entzuend -
Kollektivum SammelbezeichnungKollektivum sammelbezeichnungkollektiv sammel bezeich
Deskriptor: Synonyme:
Entzündung InflammatioEntzündung inflammatioentzuend inflamm
Ursache -ursach -ursach -
Annotationen original: KollektivumAnnotationen stems: Kollektivum, Ursache
Verschlagwortung IIIDie Myokarditis ist eine Sammelbezeichnung
myokarditis sammelbezeichnmyo kard itis sammel bezeich
für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskelentzuend krank herz muskel
mit unterschiedlichen Ursachen. unterschied ursachunterschied ursach
Original
Stems
Segments
Deskriptor: Synonyme:
Herzmuskelentzündung -Herzmuskelentzundung -herz muskel entzuend -
Kollektivum SammelbezeichnungKollektivum sammelbezeichnungkollektiv sammel bezeich
Deskriptor: Synonyme:
Entzündung InflammatioEntzündung inflammatioentzuend inflamm
Ursache -ursach -ursach -
Annotationen original: KollektivumAnnotationen stems: Kollektivum, UrsacheAnnotationen segments: Kollektivum, Entzündung, Ursache
Verschlagwortung IVDie Myokarditis ist eine Sammelbezeichnung
myokarditis sammelbezeichnmyo kard itis sammel bezeich #musle #heart #inflamm #collect #designat
für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskelentzuend krank herz muskel#inflamm #disorder #heart #muscle
mit unterschiedlichen Ursachen. unterschied ursachunterschied ursach#distinguish #etiolog
Original
Stems
Segments
MIDs
Deskriptor: Synonyme:
Herzmuskelentzündung -Herzmuskelentzundung -herz muskel entzuend -#heart #muscle #inflamm -
Kollektivum SammelbezeichnungKollektivum sammelbezeichnungkollektiv sammel bezeich#collect #collect #designat
Deskriptor: Synonyme:
Entzündung InflammatioEntzündung inflammatioentzuend inflamm#inflamm #inflamm
Ursache -ursach -ursach -#cause -
Annotationen original: KollektivumAnnotationen stems: Kollektivum, UrsacheAnnotationen segments: Kollektivum, Entzündung, Ursache
Verschlagwortung IVDie Myokarditis ist eine Sammelbezeichnung
myokarditis sammelbezeichnmyo kard itis sammel bezeich #musle #heart #inflamm #collect #designat
für entzündliche Erkrankungen des Herzmuskelsentzund erkrankung herzmuskelentzuend krank herz muskel#inflamm #disorder #heart #muscle
mit unterschiedlichen Ursachen. unterschied ursachunterschied ursach#distinguish #etiolog
Original
Stems
Segments
MIDs
Deskriptor: Synonyme:
Herzmuskelentzündung -Herzmuskelentzundung -herz muskel entzuend -#heart #muscle #inflamm -
Kollektivum SammelbezeichnungKollektivum sammelbezeichnungkollektiv sammel bezeich#collect #collect #designat
Deskriptor: Synonyme:
Entzündung InflammatioEntzündung inflammatioentzuend inflamm#inflamm #inflamm
Ursache -ursach -ursach -#cause -
Annotationen original: KollektivumAnnotationen stems: Kollektivum, UrsacheAnnotationen segments: Kollektivum, Entzündung, Ursache Annotationen mids : Herzmuskelentzündung, Kollektivum, Entzündung, Ursache
Termgewichtung & Selektion
• Kriterien zur Gewichtung:– TF: Häufigkeit des Terms im Dokument– Position: Erste Position des Terms im Dokument– Metainformation: Term erscheint im Titel
• Selektion:– Top n– Gewichtung > t
Kategorisierung: Maschinelles Lernen
• Erlernen von Assoziationen von (Text-) Mustern zu Kategorien anhand Trainingsmenge
• Unterschiedliche Lernverfahren
• SVM, k-NN, MaxEnt, Neuronale Netze
• Open-Source-Bibliotheken (Mallet, libSVM)
• Zentrale Überlegung: Merkmalsrepräsentation der zu erlernenden Muster (Linguistik & Semantik)
Klassifizierung
• Herausforderung: Großer Merkmalsraum, Sparse Data, widersprüchliche Daten, „Ausreißer“, Performanz
• Ziel: Sinnvolle Verkleinerung des Merkmalraums, Reduktion von Sparse Data … mittels Linguistik und Semantik
Korpus Kategorien
Wort 1Wort 2Wort 3Wort 4Wort 5
…Wort n
Kategorie 1Kategorie 2Kategorie 3Kategorie 4Kategorie 5
…Kategorie m
> 2.000.000 ~ 100
Maschinelles Lernen
w2
w1
Maschinelles Lernen
Ein Teilgebiet der Systematischen Musikwissenschaft ist die Erforschung universeller Gesetzmäßigkeiten beim Musizieren und Musik hören mit den Methoden der Psychologie.
MUSIKPSYCHOLOGIE
Maschinelles Lernen
Ein Teilgebiet der SystematischenMusikwissenschaft ist die Erforschung universellerGesetzmäßigkeiten beim Musizieren und Musikhören mit den Methoden der Psychologie.
MUSIKPSYCHOLOGIE
TeilgebietSystematischen Musikwissenschaft Erforschung universeller Gesetzmäßigkeiten MusizierenMusik hörenMethodenPsychologie
MUSIKPSYCHOLOGIE
Maschinelles Lernen
Aufgabe der Musikpsychologie ist es, die universellen Gesetzlichkeiten beim Musikhören und Musikmachen zu erforschen.
???
TeilgebietSystematischen Musikwissenschaft Erforschung universeller Gesetzmäßigkeiten MusizierenMusik hörenMethodenPsychologie
MUSIKPSYCHOLOGIE
Maschinelles Lernen
Aufgabe der Musikpsychologie ist es, die universellen Gesetzlichkeiten beim Musikhören und Musikmachen zu erforschen.
???
TeilgebietSystematischen Musikwissenschaft Erforschung universeller Gesetzmäßigkeiten MusizierenMusik hörenMethodenPsychologie
MUSIKPSYCHOLOGIE
AufgabeMusikpsychologieuniversellen GesetzlichkeitenMusikhörenMusikmachenerforschen
Maschinelles Lernen
Aufgabe der Musikpsychologie ist es, die universellen Gesetzlichkeiten beim Musikhören und Musikmachen zu erforschen.
???
TeilgebietSystematischen Musikwissenschaft Erforschung universeller Gesetzmäßigkeiten MusizierenMusik hörenMethodenPsychologie
MUSIKPSYCHOLOGIE
AufgabeMusikpsychologieuniversellen GesetzlichkeitenMusikhörenMusikmachenerforschen
Merkmalsrepräsentation
TeilgebietSystematischenMusikwissenschaft Erforschunguniverseller GesetzmäßigkeitenMusizierenMusik hörenMethodenPsychologie
MUSIKPSYCHOLOGIE
AufgabeMusikpsychologieuniversellenGesetzlichkeitenMusikhörenMusikmachenerforschen
Standard: Stemming
?
Merkmalsrepräsentation
Teil gebietSystematischenMusik wissenschaft Erforschunguniverseller GesetzmäßigkeitenMusizierenMusik hörenMethodenPsychologie
MUSIKPSYCHOLOGIE
AufgabeMusik psychologieuniversellenGesetzlichkeitenMusik hörenMusik machenerforschen
Erweitert: Nominalphrasenextraktion, Morpho-semantische Analyse
Merkmalsrepräsentation
Teil gebietSystematischenMusik wissenschaft Erforschunguniverseller GesetzmäßigkeitenMusizierenMusikhörenMethodenPsychologie
MUSIKPSYCHOLOGIE
AufgabeMusik psychologieuniversellenGesetzlichkeitenMusik hörenMusik machenerforschen
Erweitert: Nominalphrasenextraktion, Morpho-semantische Analyse
Fazit
• Linguistische Phänomene erschweren das Information Retrieval
• Analog:– Verschlagwortung– Klassifikation
Methoden der Computerlinguistik– Satzebene (z.B. Nominalphrasenerkennung)– Wortebene (Dekomposition, Morpho-semantische Analyse)– Vgl. Publikationen hierzu
• Empirie: Methoden/Konfigurationen müssen evaluiert werden. Abhängig von:– Korpusgröße (Trainingsmaterial)– Qualität/Komplexität des Zielvokabulars– Konkrete Anwendung– Gewünschte Balance: Precision (Qualität) und Recall (Abdeckung)
• Evaluation ist zentraler Bestandteil von PETRUS
Vielen Dank
Bei Interesse und weiteren Fragen wenden Sie sich bitte an:
Dr. Kornél Markó[email protected]
Dr. Katrin [email protected]
℡ 0761 - 203 97690
Erlernen eines Morphem-Thesaurusam Beispiel AGROVOC
Agrovoc-Term: 444
• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)
Agrovoc-Term: 444
• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)
Konzept: #animal
Agrovoc-Term: 423
• Animal breeding (EN) • Amélioration des animaux (FR)• Mejoramiento animal (ES) • تربية الحيوان (AR)• 动物育种 (ZH)• Melhoramento animal (PT) • šlechtění zvířat (CS) • TIERZUECHTUNG (DE) • állatnemesítés (HU)
Agrovoc-Term: 444
• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)
Konzept: #animal
Agrovoc-Term: 423
• Animal breeding (EN) • Amélioration des animaux (FR)• Mejoramiento animal (ES) • تربية الحيوان (AR)• 动物育种 (ZH)• Melhoramento animal (PT) • šlechtění zvířat (CS) • TIERZUECHTUNG (DE) • állatnemesítés (HU)
Agrovoc-Term: 444
• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)
Konzept: #animal
Agrovoc-Term: 444
• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)
Agrovoc-Term: 423
• Animal breeding (EN) • Amélioration des animaux (FR)• Mejoramiento animal (ES) • تربية الحيوان (AR)• 动物育种 (ZH)• Melhoramento animal (PT) • šlechtění zvířat (CS) • TIERZUECHTUNG (DE) • állatnemesítés (HU)
Konzept: #animal Konzept: #breeding
Agrovoc-Term: 444
• Animal, animals (EN) • Animal, animaux (FR) • Animal, Animales (ES) • حيوانات (AR) • 动物 (ZH) • Animal (PT) • živočichové (CS) • TIER, TIERE (DE) • állat (HU)
Agrovoc-Term: 423
• Animal breeding (EN) • Amélioration des animaux (FR)• Mejoramiento animal (ES) • تربية الحيوان (AR)• 动物育种 (ZH)• Melhoramento animal (PT) • šlechtění zvířat (CS) • TIERZUECHTUNG (DE) • állatnemesítés (HU)
Konzept: #animal Konzept: #animal #breedingKonzept: #breeding
