22
PA153 Poˇ ıtaˇ cov´ e zpracov´ an´ ı pˇ rirozen´ eho jazyka 08 - Lexikografick´ e n´ astroje a poˇ ıtaˇ cov´ a lexikografie Karel Pala, Adam Rambousek Centrum ZPJ, FI MU, Brno 11. listopadu 2013 Karel Pala, Adam Rambousek PA153 Zpracov´ an´ ı pˇ rirozen´ eho jazyka Poˇ ıtaˇ cov´ a lexikografie 1 / 22

08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Embed Size (px)

Citation preview

Page 1: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

PA153 Pocıtacove zpracovanı prirozeneho jazyka08 - Lexikograficke nastroje a pocıtacova lexikografie

Karel Pala, Adam Rambousek

Centrum ZPJ, FI MU, Brno

11. listopadu 2013

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 1 / 22

Page 2: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

1 LexikografieUvodLexikografieSlovnıky a pocıtace

2 Pocıtacova lexikografieReprezentace datTEIDictionary Writing Systems

3 Tvorba slovnıkuLexikalnı databazeSlovnık

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 2 / 22

Page 3: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

LexikografiePLIN035 Pocıtacova lexikografiepodoblast lexikologielexicography, lexikografie

I the activity or occupation of compiling dictionaries (Oxford d.)I the editing or making of a dictionary (Merriam-Webster d.)I the job of writing a dictionary (Macmillan d.)

prakticka lexikografieteoreticka lexikografie - analyza a popis slovnı zasoby, teorie o prvcıchslovnıku, skupinach uzivatelu, hodnocenıSlovnık narodnıho jazyka nalezı mezi prvnı potrebnosti vzdelanehocloveka.

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 3 / 22

Page 4: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Historie

hlinene tabulky z Ebla (Syrie), cca 2500-2250 pr.n.l.I sumerstina - eblastina

Robert Cawdrey: A Table Alphabeticall, 1604I prvnı vykladovy slovnık anglictinyI ”hard wordes, borrowed from... for the benefit & helpe of Ladies,

Gentlewomen, or any other unskilfull persons”

Samuel Johnson: A Dictionary of the English Language, 1747-1755I modernı slovnık, 42 773 heselI ”to preserve the purity and ascertain the meaning our English idiom”

Noah Webster: An American Dictionary of the English Language,1828

I 70 000 hesel, srovnanı britske a americke anglictinyI odmıtal zarazovat do slovnıku neslusna slova

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 4 / 22

Page 5: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Historie

The Oxford English Dictionary (A New English Dictionary)I 1857, Philological Society, R. C. Trench, kritika slovnıkuI 1879, James A. H. Murray jmenovan hlavnım editoremI 1882-1928, vychazı 12 svazku, 15 487 stran, 240 000 hesel

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 5 / 22

Page 6: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Historie

Bartolomej z Chlumce, Klaret, 14. stoletıI latinsko-ceske slovnıky, Vokabular (gramaticky), Bohemar, GlosarI Raro sequens gesta de bestiis cernis honesta.

Lew leo wlkque lupusque le[e]na lwicze, nedvied ursusUrsaque nedviedicze, lupa wlczicze, dic ovis owcze,Koza capra, vulpes lyskaque canicula tysta.

Daniel Adam z Veleslavına, 16. stoletıI Nomenclator quadrilinguis + Silva quadrilinguis,

cestina-latina-rectina-nemcina, 958+300 stran, razeno cesky

Jan Amos Komensky, 17. stoletıI Thesaurus linguae Bohemicae - latinsko-cesky, cesko-latinsky,

synchronnı, diachronnı, lexikalnı, gramaticke informace, frazeologieI 20 let prıprav... pozar Lesna

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 6 / 22

Page 7: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Historie

Josef Jungmann, Slovnık cesko-nemeckyI 1815-1833, vydano 1835-1839I 5 svazku, 4694 stranI popisny vykladovy slovnık

Kancelar Slovnıku jazyka ceskeho, 1911I sber slovnıkoveho materialu, dobrovolnıciI vypisky z prozy, basnı, odborne literatury, publicistickych clankuI Prırucnı slovnık jazyka ceskeho, 1935-1957I 10 824 stran, 250 000I hesel cenzura ”nezadoucıch spisovatelu”

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 7 / 22

Page 8: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Slovnıky a pocıtace

60. leta - pouzıvajı se pocıtace, lexikografove pısı na papır, specialisteprepisujı do databaze, Brown Corpus

1978, Longman Dictionary of Contemporary EnglishI prvnı s omezenym slovnıkem definicı, kontrolovano strojoveI kodovanı pro NLP vyzkum

1980, COBUILD, University of Birmingham + CollinsI korpus soucasnych textu (Bank of English)I 1987, Collins COBUILD English Language DictionaryI prvnı slovnık zalozeny na korpusovych datechI novy styl definice - cele vetyI If a person, animal, or other living thing is killed, something or

someone causes them to die.

90. leta - vyvoj specializovanych systemu pro tvorbu slovnıku

1987, Text Encoding Initiative

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 8 / 22

Page 9: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

XML

PB138 Modernı znackovacı jazyky

eXtensible Markup Language - znackovacı (meta)jazyk

pravidla, jak ma vypadat spravne vytvoreny dokument - snadnestrojove zpracovanı a vymena informacı

konkretnı nazvy znacek urcuje uzivatel (standardy, vlastnı)

elementy <znacka>obsah</znacka>

bez obsahu lze <znacka></znacka> zkratit na <znacka/>

atributy <znacka atribut="hodnota"/>

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 9 / 22

Page 10: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

XML

spravne zanorenı znacekI spravne: <a><b>text</b></a>I spatne: <a><b>text</a></b>

specialnı znaky (napr. <, >,&) se prepisujı na entity (napr. &lt;)

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 10 / 22

Page 11: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Popis struktury a kontrola obsahu

DTD (Document Type Definition)I seznam elementu a atributu a vztahy mezi nimiI nekontroluje obsahI <!ELEMENT vyznam (definice, priklad+)>I <!ATTLIST vyznam cislo CDATA #REQUIRED>

XML Schema (XSD, XML Schema Definition)I popis obsahu a struktury XML dokumentu, schema samotne je XML

dokumentI elementy, atributy, strukturaI moznost urcit vlastnı typy obsahu (napr. opakujıcı se adresa)I kontrola obsahu (napr. cıselny rozsah, regularnı vyrazy, povolene

hodnoty)

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 11 / 22

Page 12: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Zobrazenı

XSLT – eXtensible Stylesheet Language (Transformations)

prevod XML na jine formatyI jine XML znackovanı, text, HTML, LaTeX, PDF

sablony pro casti XML dokumentu, postupne prochazenı dokumentu

funkcionalnı programovacı jazyk

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 12 / 22

Page 13: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Ukladanı

XML databaze

ukladajı se prımo XML dokumenty

vyhledavanı - XPath, XQuery

napr. eXist, BaseX, Sedna

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 13 / 22

Page 14: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

TEI

Text Encoding Initiative, http://www.tei-c.org/

TEI Guidelines (aktualne verze 5 z roku 2007)

XML format pro semanticky popis textovych dokumentu

velky rozsah znacek

TEI Lite – osekana verze, ”90 % potreb 90 % uzivatelu”

romany, poezie, divadelnı hry, dokumentace, slovnıky, korpusy, grafy,rukopisy, zarovnanı, odkazy, zmeny textu, notove zapisy...

nastroje - sada XSLT pro prevod na LaTeX, docx, EPUB, HTML

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 14 / 22

Page 15: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Dictionary Writing Systems

aplikace pro tvorbu slovnıku (obvykle cely proces tvorby)

casto vlastnı

komercnıI IDM DPS - klient-server (Windows)I iLex - jadro a dokupovane moduly, samostatne nebo klient-server,

mobily (Windows, Linux, Mac)I TLex - online, offline (Windows, Mac)

DEB (Dictionary Editor and Browser)I platforma pro slovnıkove aplikaceI klient-server, zakladnı knihovny, specialnı modulyI DEBDict, DEBVisDic, Internetova jazykova prıruckaI http://deb.fi.muni.cz

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 15 / 22

Page 16: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 16 / 22

Page 17: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Lexikalnı databaze

podrobna strukturovana jazykova databazeI (nynı obvykle) doklady z korpusuI gramaticke udajeI valence, vzoryI styl, uzitı, oblast...I vztahy mezi slovy

podklad pro slovnıky a vyzkum

PraLeD (Prazska Lexikalnı Databaze)

DANTE (Database of ANalysed Texts of English)

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 17 / 22

Page 18: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Tvorba slovnıku

tvorba slovnıku je draha, narocna a trva dlouho, konkurence

grant nebo se musı vyplatit

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 18 / 22

Page 19: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Tvorba slovnıkuB. T. Sue Atkins, Michael Rundell: The Oxford Guide to PracticalLexicography

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 19 / 22

Page 20: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Tvorba slovnıku

co chybı? → druh slovnıku a jeho uzivatele

rozpocet a casovy plan

uzivatelske profily, Style guide

editacnı software (vyroba nebo nastavenı)

korpus (vyvoj, prohledavanı)

procesy

pıseme slovnık

vzhled a sazba (tisk, digitalnı)

vyroba

propagace

prodej

profit

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 20 / 22

Page 21: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Obsah slovnıku

makrostruktura – heslar (+predmluva, prılohy...)

heslo1 = lemma, entry term, heslove slovo, headwordI obvykle nominativ sg., slovesa v infinitivuI casti slov, spojenı slov

heslo2 = heslova stat’, entry

mikrostruktura – struktura jednoho zaznamu ve slovnıkuI kontrola pomocı softwaruI usnadnenı orientace pro ctenare

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 21 / 22

Page 22: 08 - Lexikogra ck e n astroje a po c ta cov a lexikogra e ... · PDF fileUvod Lexikogra e Slovn ky a po c ta ... I k odov an pro NLP v yzkum 1980, COBUILD, ... DTD (Document Type De

Elektronicke slovnıky

vıce informacı (CD, DVD, web)

multimedia

delsı vysvetlujıcı clanky, odkazy na dalsı zdrojeI materialy pro ucitele, pro studentyI pribaleny korpus

vyhledavanı

navigace

zobrazovanı udaju podle profilu uzivatele (caste operace)

Karel Pala, Adam Rambousek PA153 Zpracovanı prirozeneho jazyka Pocıtacova lexikografie 22 / 22