Sprachdienstleister-Workshop...Art MÜ-System Ansatz Ergebnis Vorteile Nachteile Grundlage...

Sprachdienstleister-WorkshopFachtag der gewerblichen Dienstleister

im „Schloss an der Eisenstraße“

GEMEINSAM MEHR ERREICHEN!

Barbara Heinisch„Digitalisierung und maschinelle

Übersetzung (MÜ)“

GEMEINSAM MEHR ERREICHEN!

Maschinelle Übersetzung

Überblick

• Einführung (Arten von MÜ, Sprachressourcen, Training)

• Datenschutz, Datensicherheit, Vertraulichkeit

• Pre-Editing, Post-Editing und kontrollierte Sprache

• Qualität, Evaluation und Fehlermetriken

• Verrechnung

• Abschluss

Nutzen Sie maschinelle Übersetzung (MÜ)?

Welche MÜ-Systeme nutzen Sie?

Welche MÜ-Systeme kennen Sie?

Warum nutzen Sie MÜ-Systeme?

Maschinelle Übersetzung im Alltag

• Maschinelle Übersetzung begegnet uns ständig

im Alltag:

• „Übersetzen“-Funktion auf sozialen Medien

• Technische Dokumentation von

Softwareanwendungen, die maschinell

übersetzt wurde

• Rezensionen im Internet

• u.v.m.

Maschinelle Übersetzung für

SprachdienstleisterInnen

• Es gibt viele Anbieter von MÜ-SystemenBeispiel für eine Liste mit MÜ-Systemen und

verwandten Systemen:www.g2.com/categories/machine-translation

• Aber welches System wählt man?

Gründe für die Verwendung von MÜ

• Verringerung der Übersetzungskosten

• Beschleunigung Produkteinführung und

Informationsfluss

• Übersetzung von Dokumenten, die sonst nicht

übersetzt werden könnten/würden

• Steigerung der Übersetzungsproduktivität

• Kürzere Durchlaufzeiten

• Steigerung der Wettbewerbsfähigkeit (Nachfrage

nach MÜ durch KundInnen)

Art MÜ-System Ansatz Ergebnis Vorteile Nachteile Grundlage

Regelbasierte MÜ-Systeme

Sprachalgorithmen, Grammatik, Wörterbücher

Konsistente Übersetzungen, Terminologie

Integration eigener Terminologie; Grammatik, Robustheit

Weniger flüssig, Ausnahmen schwierig; hohe Entwicklungs- und Anpassungskosten

Sprachregeln, zweisprachige Wörterbücher

Statistische MÜ-Systeme

Analyse von großen Datenmengen (Sprachpaar)

Flüssige Übersetzung, weniger konsistente Übersetzungen

Gute Qualität (bei ausreichend umfangreichen Korpora); flüssig lesbar

Umfangreiche Korpora; nicht konsistente und nicht vorhersehbare Übersetzung

Statistische Übersetzungsmodelle, die auf der Analyse von ein-und zweisprachigen Korpora beruhen

Neuronale MÜ-Systeme

Künstliche neuronale Netze

Flüssige Übersetzungen

Sehr flüssig lesbar, meist bessere Ergebnisse als statistische MÜ-Systeme

Weniger transparent, Auslassungen, Terminologie

Große Datenmengen, künstliche neuronale Netze

Arten von MÜ-Systemen

Andere Unterscheidungsmöglichkeiten

• kostenlose – kostenpflichtige MÜ-Systeme

• Unternehmensintern (selbst entwickelt) – MÜ-

Anbieter (Lizenz, SaaS usw.)

• Generisch/Universalsystem – individuell

angepasst

• adaptiv/interaktiv

• Ausmaß der Einbindung in

Übersetzungsumgebung, z.B. CAT-Tool-Plug-in

Training von NMÜ-Systemen

• Sprachressourcen (Korpora):

• (Ein- und) zweisprachige Korpora

• Eigene Korpora (Translation Memorys)

• Frei verfügbare Korpora

• Kostenpflichtige Korpora

• Qualität der MÜ ist abhängig von (Quantität und

Qualität der) Sprachressourcen

Sprachressourcen für MÜ-Training

Als SprachdienstleisterIn:

• Sprachressourcen zur Verfügung stellen

• Ein MÜ-System trainieren

Datenschutz, Datensicherheit,

Vertraulichkeit

Muss ich meinen KundInnen sagen, dass ich MÜ-

Systeme verwende?

Welche Erwartungen haben ÜbersetzerInnen an MÜ?

Welche Erwartungen haben KundInnen an MÜ?

Welche rechtlichen Konsequenzen kann dies haben?

Wie bleibt man im rechtlichen Rahmen?

Rechtliche Aspekte

• AGBs und Nutzungsbedingungen der

verwendeten Dienste berücksichtigen

• Datenschutzgrundverordnung (DSGVO)

• Weitergabe der Daten an Dritte

• Vertraulichkeit

• Vereinbarung mit den KundInnen treffen (DIN

ISO 18587)

Pre-Editing und Post-Editing

Post-Editing (Posteditieren)

• Bearbeitung und Korrektur der Ausgabe eines

maschinellen Übersetzungssystems (durch

SprachexpertInnen)

• DIN ISO 18587: „Übersetzungsdienstleistungen –

Posteditieren maschinell erstellter

Übersetzungen – Anforderungen“:

• Posteditieren (Verb): „Eine maschinell erstellte

Übersetzung […] editieren und korrigieren“

Posteditieren laut DIN ISO 18587

Prüfung des MÜ-Ergebnisses:

• Genauigkeit

• Verständlichkeit

• Verbesserung der Lesbarkeit

• Korrektur von Fehlern

Unterscheidung zu Übersetzung: 3 Texte

(Ausgangstext, MÜ-Ergebnis, finaler Zieltext)

Posteditieren laut DIN ISO 18587

Ziele:

• Verständlichkeit des Ergebnisses

• Übereinstimmung des ausgangs- und

zielsprachlichen Inhalts

• Erfüllung der (projekt- bzw. kundenspezifischen)

Anforderungen und Spezifikationen

Anforderungen an Post-Editing-Ergebnis

• Konsistente fachgebietsspezifische (Kunden-

)Terminologie

• Standardmäßige Syntax, Orthographie,

Interpunktion, diakritische Zeichen, Abkürzungen

• Einhaltung von (Kunden-)Richtlinien, einschl.

Stilrichtlinien und Post-Editing-Richtlinien

• Formatierung

• Zielgruppen- und zweckgerechter Inhalt

• Erfüllung der Kundenvorgaben

Aufgabe: Übersetzung eines kurzen Textes mit einem maschinellen Übersetzungssystem und anschließender Fehlersuche

Welche Fehler haben Sie gefunden?

Müssen diese Fehler bei jedem Auftrag ausgebessert

werden?

Light vs. Full Post-Editing

Umfang des Post-Editings abhängig von:

• Übersetzungsauftrag/Projektspezifikationen

• Erwartungen an die Qualität

• Textfunktion (Skopos)

• Textumfang

• “Vergänglichkeit” der Informationen in der

Übersetzung

• Verortung am Spektrum von “Gisting” zur

Veröffentlichung

Light vs. Full Post-Editing

Leichtes Posteditieren (Light Post-Editing)

Vollständiges Posteditieren (Full Post-Editing)

Definition laut DIN ISO 18587

Prozess des Posteditierens mit dem Ziel, einen lediglich verständlichen Text zu erhalten, ohne Anspruch, ein Produkt zu erzielen, das mit dem Ergebnis einer Humanübersetzung vergleichbar ist

Prozess des Posteditierens mit dem Ziel, ein Produkt zu erhalten, das mit dem Ergebnis einer Humanübersetzung vergleichbar ist

Ziel grobe Erfassung des Inhalts (Grundidee verstehen); keine Veröffentlichung

Nicht unterscheidbar von Humanübersetzung

Übersetzungsergebnis

Verständliches und genaues Übersetzungsergebnis OHNE stilistische Angemessenheit

Verständliches, genaues und stilistisch angemessenes Ergebnis, einschl. korrekter Grammatik, Syntax und Interpunktion

Leichtes Posteditieren –

Prinzipien (DIN ISO 18587)

• MÜ-Ergebnis weitgehend nutzen

• Auf Auslassungen und Ergänzungen überprüfen

• Unpassende Inhalte editieren

• Sätze mit falscher oder unklarer Bedeutung

umstrukturieren

Vollständiges Posteditieren –

Prinzipien (DIN ISO 18587)

Zusätzlich:

• Grammatikalisch, syntaktisch und semantisch

korrekten Inhalt erstellen

• Kunden- bzw. fachgebietsspezifische

Terminologie einhalten

• Rechtschreibung, Interpunktion, Silbentrennung

• Angemessener Stil (Textsorte, Stilrichtlinien)

• Formatierung

Automatic Post-Editing (APE)

• Automatische Korrektur der MÜ

• MÜ-System ist eine Black Box

Zweck:

• Behebung systematischer Fehler des MÜ-

Systems

• Verringerung des Aufwands beim Post-Editing

• Anpassung eines MÜ-Systems an ein Fachgebiet

oder ÜbersetzerInnen (Wortschatz, Stil usw.)

Kompetenzen von Posteditoren

Laut ISO 18587 (vergleichbar mit ISO 17100):

• Übersetzungskompetenz

• Sprachliche und textliche Kompetenz in der

Ausgangs- und Zielsprache

• Recherchekompetenz, einschl.

Informationsverarbeitung

• Kulturelle Kompetenz

• Technische Kompetenz

• Sachgebietskompetenz

Pre-Editing

Veränderung des Ausgangstexts, um das Ergebnis

der maschinellen Übersetzung zu verbessern und

den Post-Editing-Arbeitsaufwand zu verringern

Pre-Editing kann umfassen:

• Style Guides

• Kontrolliertes Vokabular

• Kontrollierte Sprachen

Pre-Editing – Grundlegendes (1)

• Einfache Sätze

• Kurze Sätze

• Vermeidung komplizierter syntaktischer

Strukturen

• Terminologische Konsistenz

• Rechtschreibfehler korrigieren

• Aktiv statt Passiv

Pre-Editing – Grundlegendes (2)

• Vokabular (Redewendungen und

Mehrdeutigkeiten vermeiden), inkl. Nomen/Verb;

Übersetzung von Namen

• Interpunktion

• Formatprüfung

• Taggen von Elementen, die unübersetzt bleiben

sollen, z.B. Eigennamen

Kontrollierte Sprache

• „Teilmenge der natürlichen Sprachen […], deren

Grammatik und jeweiliger Wortschatz reduziert

wurde, um sowohl Mehrdeutigkeit als auch

Komplexität zu vermeiden“ (DIN ISO 18587)

• Ziele:

• Mehrdeutigkeiten vermeiden

• Konsistenz erhöhen (Lexik und Satzstruktur)

• für bessere MÜ-Qualität und

• weniger Aufwand beim Post-Editing

Kontrollierte Sprache – Regeln (Beispiele)

• Vorzugsbenennungen verwenden

• Vermeidung von mehrdeutigen Wörtern

• Nur eine Bedeutung von (normalerweise

mehrdeutigen) Wörtern

• Eine Botschaft pro Satz, z.B. eine

Handlungsanweisung pro Satz

• Artikel verwenden

• Vermeidung von zusammengesetzten Verben

• Kurze Sätze (20 Wörter pro Satz)

Kontrollierte Sprache – Beispiele

• ASD Simplified Technical English (Luft- und

Raumfahrtindustrie)

• Caterpillar Technical English (CTE)

• Siemens Dokumentationsdeutsch

• Français Rationalisé

• …

Post-Editing Richtlinien

Post-Editing-Richtlinien

• Viele Organisationen geben ihre Post-Editing-

Richtlinien nicht nach außen

• Müssen verschiedenen Anforderungen

entsprechen

• Schwer zu standardisieren

Post-Editing-Richtlinien – Beispiel

Quelle: https://www.taus.net/think-tank/articles/postedit-articles/taus-post-editing-guidelines

Fehlermetriken

Was ist Qualität?

Bestimmung der Qualität von Übersetzungen

• Es gibt unterschiedliche Modelle zur

Bestimmung der Qualität von Übersetzungen:

• LISA QA Model

• SAE J2450 Model

• MQM bzw. TAUS DQF

• …

• Modelle werden teils für die

Qualitätsüberprüfung in CAT-Tools eingesetzt

Evaluation von Qualität – Fehlermetriken

Modell Ursprung Fehlerarten Anzahl Fehlerkategorien

Schweregrade

LISA QA Model Localization Industry Standards Association(LISA)

Sprachliche Fehler, Layout, Funktionalitäten usw.

Bedienoberfläche (25 Kategorien); Dokumentation (20 Kategorien)

3 (minor = 1 Punkt, major = 5 Punkte, critical = 10 Punkte)

SAE J2450 Society of Automotive Engineers (SAE)

Sprachliche Qualität 7 Fehlerkategorien 2 Schweregrade mit Gewichtung (serious, minor)

MQM bzw. TAUS DQF Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)

Sprachliche Fehler, Internationalisierung, Lokalisierung, Wahrheit

8 Dimensionen 4-5 Schweregrade(kudos, neutral/none, minor, major, critical)

Multidimensional Quality Metrics (MQM)

• Nähere Informationen zu MQM (auf Englisch):

http://www.qt21.eu/mqm-definition/issues-list-

2015-12-30.html

https://www.w3.org/community/mqmcg/

• Fehler mittels TAUS DQF-Vorlage bestimmen

und gewichten (auf Englisch):

https://info.taus.net/dqf-mqm-error-typology-

templ

Aufgabe: Übersetzung eines kurzen Textes mit einem maschinellen Übersetzungssystem und Post-Editing unter Zuhilfenahme von MQM bzw. TAUS DQF

Automatische Evaluation von Qualität

Automatische Evaluation Eigenschaften

BLEU (BiLingual Evaluation Understudy) Sehr beliebt und billig; Vergleich von MÜ mit Referenzübersetzung; Prozentsatz der übereinstimmenden n-Gramme, Strafpunkte für kurze Sätze → Zahl zwischen 0 und 1

NIST (National Institute of Standards and Technology) Abwandlung von BLEU: Gewichtung der n-Gramme (nach Informationsgehalt), geringfügig andere Berechnung der Strafpunkte für die Kürze

METEOR (Metric for Evaluation of Translation with Explicit ORdering)

Trefferquote und Genauigkeit, Wortstellung, Stammformreduktion, Synonyme und Paraphrasen, beste Übereinstimmung bei mehreren Referenzen gewählt

Evaluation von Qualität

Automatische Evaluation von Fehlerraten Eigenschaften

Word Error Rate (WER) Beruht auf der Levenshtein-Distanz (Editierdistanz), Berechnung der geringsten Anzahl an Hinzufügungen, Löschungen und Ersetzungen, um eine MÜ in eine Referenzübersetzung umzuwandeln; auf Wortebene; keine Info über Art der Fehler

Translation Edit Rate (TER) Berücksichtigt außerdem Änderungen der Wortfolge, alle Änderungen (einschl. Wortfolge) sind gleich gewichtet, berücksichtigt keine Semantik

Human-targeted Translation Edit Rate (HTER) Abwandlung von TER; die korrigierte MÜ-Version ist die Referenz; Bearbeitungsquote wird als die geringste Anzahl der Änderungen gemessen, die erforderlich sind, damit die MÜ eine flüssige und adäquate Übersetzung ist

Evaluation von Qualität –

Mensch oder Maschine?

• Automatische Evaluation und Evaluation durch

Menschenhand können unterschiedliche

Ergebnisse liefern

Evaluation von Qualität - Einflussfaktoren

• Abhängig von:

• Sprachrichtung

• Textsorte

• Fachgebiet

• Größe des Datensatzes

• Anzahl und Expertise der EvaluatorInnen

Produktivität beim Post-Editing

• Unterscheidung zwischen erforderlichen

Änderungen und persönlichen Präferenzen

• Produktivität: 2.000-3.000 Wörter pro Tag

(Fachübersetzung) vs. 7.000 Wörter pro Tag

(Post-Editing)

Aufwand beim Post-Editing

• Anstrengender oder weniger anstrengend als

Übersetzen?

• Wie beurteilt/misst man Aufwand?

Verrechnung von Post-Editing

Wie verrechnet man Post-Editing?

Post-Editing Preise

• Zwei Ansätze:

• Auf Stundenbasis

• Auf Einheitsbasis (Zeichen, Wörter, Zeilen)

• Kombination:

• Automatische Qualitätspunkte (BLEU, TER

usw.)

• Qualitätsprüfung durch SprachexpertInnen

• Produktivitätsbeurteilung (Neuübersetzung vs.

PE)

Post-Editing-Preise – Einflussfaktoren

• Verrechnung auf Wortbasis ist teils schwer zu argumentieren

(wenn MÜ gute Qualität liefert)

• Post-Editing-Prozess (Zeitanspruch)

• Anforderungen der KundInnen

• Einhaltung von PE-Richtlinien

• Light vs. Full PE

• Anschaffung, Training von MÜ-Systemen

• Aufsetzen eines MÜ- bzw. PE-Prozesses

• Qualität der MÜ

• Sprachkombination

• (technischer) Fortschritt (Preisanpassung)

Zusammenfassung und Ausblick

Was konnten Sie vom heutigen Workshop

mitnehmen?

Rückblick

• Einsatz von MÜ in bestimmten Bereichen (mit

und ohne PE) eingesetzt

• NMÜ liefert natürlich klingende Übersetzungen

→ kann über inhaltliche Fehler hinwegtäuschen

• Pre-Editing und Post-Editing als Arbeitsfelder

• Post-Editing-Aufwand abhängig von leichtem

bzw. vollständigem Posteditieren

Rückblick

• Beachtung der rechtlichen Rahmenbedingungen

bei der Verwendung von MÜ-Systemen

• Bestimmung von Qualität bei (maschinellen)

Übersetzungen

• Fehlermetriken (automatische Evaluation –

Evaluation durch SprachexpertInnen)

• Bei der Verrechnung von Post-Editing gilt es

bestimmte Faktoren zu berücksichtigen

Ausblick

• MÜ-Systeme im Spannungsfeld:

• Ersatz von SprachdienstleisterInnen oder

• Hilfsmittel für SprachdienstleisterInnen

• Verschiebung des Aufgabenprofils von

ÜbersetzerInnen in Richtung Post-Editing und

Dienstleistungen, die Sprach- und

Kulturexpertise erfordern?

Bei Fragen:

Barbara Heinisch

Universität Wien

barbara.heinisch@univie.ac.at

Literatur (Auswahl)Allen, J. (2003). Post-editing. In H. Somers (Ed.), Benjamins translation library: v. 35. Computers and Translation: A translator‘s guide. Amsterdam/Philadelphia: John Benjamins Publishing Company.Bentivogli, L., Bisazza, A., Cettolo, M., & Federico, M. (2016). Neural versus Phrase-Based Machine Translation Quality: a Case Study. Retrieved fromhttps://arxiv.org/pdf/1608.04631Brownlee, J. (2019). A Gentle Introduction to Neural Machine Translation. Retrieved from https://machinelearningmastery.com/introduction-neural-machine-translation/Daems, J., Vandepitte, S., Hartsuiker, R. J., & Macken, L. (2017). Identifying the Machine Translation Error Types with the Greatest Impact on Post-editing Effort. Frontiers in Psychology, 8, 1–15. https://doi.org/10.3389/fpsyg.2017.01282DIN ISO 18587:2018-02, Übersetzungsdienstleistungen - Posteditieren maschinell erstellter Übersetzungen - Anforderungen. Berlin: Beuth Verlag GmbH.Doherty, S., & Gaspari, F. (2013). Understanding and Implementing Effective Translation Quality Evaluation Techniques. Retrieved from http://www.qt21.eu/launchpad/sites/default/files/QTLP%20GALA%20Webinar%203.pdfFlanagan, M., & Christensen, T. P. (2014). Testing post-editing guidelines: How translation trainees interpret them and how to tailor them for translator training purposes. The Interpreter and Translator Trainer, 04 May 2014, Vol.8(2), p.257-275.Hu, K., & Cadwell, P. (2016). A Comparative Study of Post-editing Guidelines. Baltic Journal of Modern Computing, 4(2), 346–353.ISO 1700:2015, Translation services — Requirements for translation services. Geneva: ISO.Koehn, P. (2017). Neural Machine Translation. Retrieved from http://arxiv.org/pdf/1709.07809v1Martins, A. F. T., Junczys-Dowmunt, M., Kepler, F. N., Astudillo, R., Hokamp, C., & Grundkiewicz, R. (2017). Pushing the Limits of Translation Quality Estimation. Transactions of the Association for Computational Linguistics, 5(2), 205–218. https://doi.org/10.1162/tacl_a_00056Massardo, I., van der Meer, J., O’Brien, S., Hollowood, F., Aranberri, N., & Drescher, K. (2016). TAUS MT Post-editing Guidelines. Amsterdam. Retrieved from https://www.taus.net/think-tank/articles/postedit-articles/taus-post-editing-guidelinesO’Brien, S. (2010). Introduction to Post‐Editing: Who, What, How and Where to Next? Retrieved from https://amta2010.amtaweb.org/AMTA/papers/6-01-ObrienPostEdit.pdfTAUS (2013). Pricing Machine Translation Post-Editing Guidelines. Retrieved from https://www.taus.net/academy/best-practices/postedit-best-practices/pricing-machine-translation-post-editing-guidelinesTranslation Quality Metric J2450_200508. Retrieved from https://www.sae.org/standards/content/j2450_200508/White, J. S. (2003). How to evaluate machine translation. In H. Somers (Ed.), Benjamins translation library: v. 35. Computers and Translation: A translator’s guide.Amsterdam/Philadelphia: John Benjamins Publishing Company.

# PERSONALDIENSTLEISTER

GEMEINSAM MEHR ERREICHEN!

VIELEN DANK & GEMEINSAM MEHR ERREICHEN