Sprachdienstleister-WorkshopFachtag der gewerblichen Dienstleister
im „Schloss an der Eisenstraße“
GEMEINSAM MEHR ERREICHEN!
Barbara Heinisch„Digitalisierung und maschinelle
Übersetzung (MÜ)“
GEMEINSAM MEHR ERREICHEN!
Maschinelle Übersetzung
Überblick
• Einführung (Arten von MÜ, Sprachressourcen, Training)
• Datenschutz, Datensicherheit, Vertraulichkeit
• Pre-Editing, Post-Editing und kontrollierte Sprache
• Qualität, Evaluation und Fehlermetriken
• Verrechnung
• Abschluss
Nutzen Sie maschinelle Übersetzung (MÜ)?
Welche MÜ-Systeme nutzen Sie?
Welche MÜ-Systeme kennen Sie?
Warum nutzen Sie MÜ-Systeme?
Maschinelle Übersetzung im Alltag
• Maschinelle Übersetzung begegnet uns ständig
im Alltag:
• „Übersetzen“-Funktion auf sozialen Medien
• Technische Dokumentation von
Softwareanwendungen, die maschinell
übersetzt wurde
• Rezensionen im Internet
• u.v.m.
Maschinelle Übersetzung für
SprachdienstleisterInnen
• Es gibt viele Anbieter von MÜ-SystemenBeispiel für eine Liste mit MÜ-Systemen und
verwandten Systemen:www.g2.com/categories/machine-translation
• Aber welches System wählt man?
Gründe für die Verwendung von MÜ
• Verringerung der Übersetzungskosten
• Beschleunigung Produkteinführung und
Informationsfluss
• Übersetzung von Dokumenten, die sonst nicht
übersetzt werden könnten/würden
• Steigerung der Übersetzungsproduktivität
• Kürzere Durchlaufzeiten
• Steigerung der Wettbewerbsfähigkeit (Nachfrage
nach MÜ durch KundInnen)
Art MÜ-System Ansatz Ergebnis Vorteile Nachteile Grundlage
Regelbasierte MÜ-Systeme
Sprachalgorithmen, Grammatik, Wörterbücher
Konsistente Übersetzungen, Terminologie
Integration eigener Terminologie; Grammatik, Robustheit
Weniger flüssig, Ausnahmen schwierig; hohe Entwicklungs- und Anpassungskosten
Sprachregeln, zweisprachige Wörterbücher
Statistische MÜ-Systeme
Analyse von großen Datenmengen (Sprachpaar)
Flüssige Übersetzung, weniger konsistente Übersetzungen
Gute Qualität (bei ausreichend umfangreichen Korpora); flüssig lesbar
Umfangreiche Korpora; nicht konsistente und nicht vorhersehbare Übersetzung
Statistische Übersetzungsmodelle, die auf der Analyse von ein-und zweisprachigen Korpora beruhen
Neuronale MÜ-Systeme
Künstliche neuronale Netze
Flüssige Übersetzungen
Sehr flüssig lesbar, meist bessere Ergebnisse als statistische MÜ-Systeme
Weniger transparent, Auslassungen, Terminologie
Große Datenmengen, künstliche neuronale Netze
Arten von MÜ-Systemen
Andere Unterscheidungsmöglichkeiten
• kostenlose – kostenpflichtige MÜ-Systeme
• Unternehmensintern (selbst entwickelt) – MÜ-
Anbieter (Lizenz, SaaS usw.)
• Generisch/Universalsystem – individuell
angepasst
• adaptiv/interaktiv
• Ausmaß der Einbindung in
Übersetzungsumgebung, z.B. CAT-Tool-Plug-in
Training von NMÜ-Systemen
• Sprachressourcen (Korpora):
• (Ein- und) zweisprachige Korpora
• Eigene Korpora (Translation Memorys)
• Frei verfügbare Korpora
• Kostenpflichtige Korpora
• Qualität der MÜ ist abhängig von (Quantität und
Qualität der) Sprachressourcen
Sprachressourcen für MÜ-Training
Als SprachdienstleisterIn:
• Sprachressourcen zur Verfügung stellen
• Ein MÜ-System trainieren
Datenschutz, Datensicherheit,
Vertraulichkeit
Muss ich meinen KundInnen sagen, dass ich MÜ-
Systeme verwende?
Welche Erwartungen haben ÜbersetzerInnen an MÜ?
Welche Erwartungen haben KundInnen an MÜ?
Welche rechtlichen Konsequenzen kann dies haben?
Wie bleibt man im rechtlichen Rahmen?
Rechtliche Aspekte
• AGBs und Nutzungsbedingungen der
verwendeten Dienste berücksichtigen
• Datenschutzgrundverordnung (DSGVO)
• Weitergabe der Daten an Dritte
• Vertraulichkeit
• Vereinbarung mit den KundInnen treffen (DIN
ISO 18587)
Pre-Editing und Post-Editing
Post-Editing (Posteditieren)
• Bearbeitung und Korrektur der Ausgabe eines
maschinellen Übersetzungssystems (durch
SprachexpertInnen)
• DIN ISO 18587: „Übersetzungsdienstleistungen –
Posteditieren maschinell erstellter
Übersetzungen – Anforderungen“:
• Posteditieren (Verb): „Eine maschinell erstellte
Übersetzung […] editieren und korrigieren“
Posteditieren laut DIN ISO 18587
Prüfung des MÜ-Ergebnisses:
• Genauigkeit
• Verständlichkeit
• Verbesserung der Lesbarkeit
• Korrektur von Fehlern
Unterscheidung zu Übersetzung: 3 Texte
(Ausgangstext, MÜ-Ergebnis, finaler Zieltext)
Posteditieren laut DIN ISO 18587
Ziele:
• Verständlichkeit des Ergebnisses
• Übereinstimmung des ausgangs- und
zielsprachlichen Inhalts
• Erfüllung der (projekt- bzw. kundenspezifischen)
Anforderungen und Spezifikationen
Anforderungen an Post-Editing-Ergebnis
• Konsistente fachgebietsspezifische (Kunden-
)Terminologie
• Standardmäßige Syntax, Orthographie,
Interpunktion, diakritische Zeichen, Abkürzungen
• Einhaltung von (Kunden-)Richtlinien, einschl.
Stilrichtlinien und Post-Editing-Richtlinien
• Formatierung
• Zielgruppen- und zweckgerechter Inhalt
• Erfüllung der Kundenvorgaben
Aufgabe: Übersetzung eines kurzen Textes mit einem maschinellen Übersetzungssystem und anschließender Fehlersuche
Welche Fehler haben Sie gefunden?
Müssen diese Fehler bei jedem Auftrag ausgebessert
werden?
Light vs. Full Post-Editing
Umfang des Post-Editings abhängig von:
• Übersetzungsauftrag/Projektspezifikationen
• Erwartungen an die Qualität
• Textfunktion (Skopos)
• Textumfang
• “Vergänglichkeit” der Informationen in der
Übersetzung
• Verortung am Spektrum von “Gisting” zur
Veröffentlichung
Light vs. Full Post-Editing
Leichtes Posteditieren (Light Post-Editing)
Vollständiges Posteditieren (Full Post-Editing)
Definition laut DIN ISO 18587
Prozess des Posteditierens mit dem Ziel, einen lediglich verständlichen Text zu erhalten, ohne Anspruch, ein Produkt zu erzielen, das mit dem Ergebnis einer Humanübersetzung vergleichbar ist
Prozess des Posteditierens mit dem Ziel, ein Produkt zu erhalten, das mit dem Ergebnis einer Humanübersetzung vergleichbar ist
Ziel grobe Erfassung des Inhalts (Grundidee verstehen); keine Veröffentlichung
Nicht unterscheidbar von Humanübersetzung
Übersetzungsergebnis
Verständliches und genaues Übersetzungsergebnis OHNE stilistische Angemessenheit
Verständliches, genaues und stilistisch angemessenes Ergebnis, einschl. korrekter Grammatik, Syntax und Interpunktion
Leichtes Posteditieren –
Prinzipien (DIN ISO 18587)
• MÜ-Ergebnis weitgehend nutzen
• Auf Auslassungen und Ergänzungen überprüfen
• Unpassende Inhalte editieren
• Sätze mit falscher oder unklarer Bedeutung
umstrukturieren
Vollständiges Posteditieren –
Prinzipien (DIN ISO 18587)
Zusätzlich:
• Grammatikalisch, syntaktisch und semantisch
korrekten Inhalt erstellen
• Kunden- bzw. fachgebietsspezifische
Terminologie einhalten
• Rechtschreibung, Interpunktion, Silbentrennung
• Angemessener Stil (Textsorte, Stilrichtlinien)
• Formatierung
Automatic Post-Editing (APE)
• Automatische Korrektur der MÜ
• MÜ-System ist eine Black Box
Zweck:
• Behebung systematischer Fehler des MÜ-
Systems
• Verringerung des Aufwands beim Post-Editing
• Anpassung eines MÜ-Systems an ein Fachgebiet
oder ÜbersetzerInnen (Wortschatz, Stil usw.)
Kompetenzen von Posteditoren
Laut ISO 18587 (vergleichbar mit ISO 17100):
• Übersetzungskompetenz
• Sprachliche und textliche Kompetenz in der
Ausgangs- und Zielsprache
• Recherchekompetenz, einschl.
Informationsverarbeitung
• Kulturelle Kompetenz
• Technische Kompetenz
• Sachgebietskompetenz
Pre-Editing
Veränderung des Ausgangstexts, um das Ergebnis
der maschinellen Übersetzung zu verbessern und
den Post-Editing-Arbeitsaufwand zu verringern
Pre-Editing kann umfassen:
• Style Guides
• Kontrolliertes Vokabular
• Kontrollierte Sprachen
Pre-Editing – Grundlegendes (1)
• Einfache Sätze
• Kurze Sätze
• Vermeidung komplizierter syntaktischer
Strukturen
• Terminologische Konsistenz
• Rechtschreibfehler korrigieren
• Aktiv statt Passiv
Pre-Editing – Grundlegendes (2)
• Vokabular (Redewendungen und
Mehrdeutigkeiten vermeiden), inkl. Nomen/Verb;
Übersetzung von Namen
• Interpunktion
• Formatprüfung
• Taggen von Elementen, die unübersetzt bleiben
sollen, z.B. Eigennamen
Kontrollierte Sprache
• „Teilmenge der natürlichen Sprachen […], deren
Grammatik und jeweiliger Wortschatz reduziert
wurde, um sowohl Mehrdeutigkeit als auch
Komplexität zu vermeiden“ (DIN ISO 18587)
• Ziele:
• Mehrdeutigkeiten vermeiden
• Konsistenz erhöhen (Lexik und Satzstruktur)
• für bessere MÜ-Qualität und
• weniger Aufwand beim Post-Editing
Kontrollierte Sprache – Regeln (Beispiele)
• Vorzugsbenennungen verwenden
• Vermeidung von mehrdeutigen Wörtern
• Nur eine Bedeutung von (normalerweise
mehrdeutigen) Wörtern
• Eine Botschaft pro Satz, z.B. eine
Handlungsanweisung pro Satz
• Artikel verwenden
• Vermeidung von zusammengesetzten Verben
• Kurze Sätze (20 Wörter pro Satz)
Kontrollierte Sprache – Beispiele
• ASD Simplified Technical English (Luft- und
Raumfahrtindustrie)
• Caterpillar Technical English (CTE)
• Siemens Dokumentationsdeutsch
• Français Rationalisé
• …
Post-Editing Richtlinien
Post-Editing-Richtlinien
• Viele Organisationen geben ihre Post-Editing-
Richtlinien nicht nach außen
• Müssen verschiedenen Anforderungen
entsprechen
• Schwer zu standardisieren
Post-Editing-Richtlinien – Beispiel
Quelle: https://www.taus.net/think-tank/articles/postedit-articles/taus-post-editing-guidelines
Fehlermetriken
Was ist Qualität?
Bestimmung der Qualität von Übersetzungen
• Es gibt unterschiedliche Modelle zur
Bestimmung der Qualität von Übersetzungen:
• LISA QA Model
• SAE J2450 Model
• MQM bzw. TAUS DQF
• …
• Modelle werden teils für die
Qualitätsüberprüfung in CAT-Tools eingesetzt
Evaluation von Qualität – Fehlermetriken
Modell Ursprung Fehlerarten Anzahl Fehlerkategorien
Schweregrade
LISA QA Model Localization Industry Standards Association(LISA)
Sprachliche Fehler, Layout, Funktionalitäten usw.
Bedienoberfläche (25 Kategorien); Dokumentation (20 Kategorien)
3 (minor = 1 Punkt, major = 5 Punkte, critical = 10 Punkte)
SAE J2450 Society of Automotive Engineers (SAE)
Sprachliche Qualität 7 Fehlerkategorien 2 Schweregrade mit Gewichtung (serious, minor)
MQM bzw. TAUS DQF Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)
Sprachliche Fehler, Internationalisierung, Lokalisierung, Wahrheit
8 Dimensionen 4-5 Schweregrade(kudos, neutral/none, minor, major, critical)
Multidimensional Quality Metrics (MQM)
• Nähere Informationen zu MQM (auf Englisch):
http://www.qt21.eu/mqm-definition/issues-list-
2015-12-30.html
https://www.w3.org/community/mqmcg/
• Fehler mittels TAUS DQF-Vorlage bestimmen
und gewichten (auf Englisch):
https://info.taus.net/dqf-mqm-error-typology-
templ
Aufgabe: Übersetzung eines kurzen Textes mit einem maschinellen Übersetzungssystem und Post-Editing unter Zuhilfenahme von MQM bzw. TAUS DQF
Automatische Evaluation von Qualität
Automatische Evaluation Eigenschaften
BLEU (BiLingual Evaluation Understudy) Sehr beliebt und billig; Vergleich von MÜ mit Referenzübersetzung; Prozentsatz der übereinstimmenden n-Gramme, Strafpunkte für kurze Sätze → Zahl zwischen 0 und 1
NIST (National Institute of Standards and Technology) Abwandlung von BLEU: Gewichtung der n-Gramme (nach Informationsgehalt), geringfügig andere Berechnung der Strafpunkte für die Kürze
METEOR (Metric for Evaluation of Translation with Explicit ORdering)
Trefferquote und Genauigkeit, Wortstellung, Stammformreduktion, Synonyme und Paraphrasen, beste Übereinstimmung bei mehreren Referenzen gewählt
Evaluation von Qualität
Automatische Evaluation von Fehlerraten Eigenschaften
Word Error Rate (WER) Beruht auf der Levenshtein-Distanz (Editierdistanz), Berechnung der geringsten Anzahl an Hinzufügungen, Löschungen und Ersetzungen, um eine MÜ in eine Referenzübersetzung umzuwandeln; auf Wortebene; keine Info über Art der Fehler
Translation Edit Rate (TER) Berücksichtigt außerdem Änderungen der Wortfolge, alle Änderungen (einschl. Wortfolge) sind gleich gewichtet, berücksichtigt keine Semantik
Human-targeted Translation Edit Rate (HTER) Abwandlung von TER; die korrigierte MÜ-Version ist die Referenz; Bearbeitungsquote wird als die geringste Anzahl der Änderungen gemessen, die erforderlich sind, damit die MÜ eine flüssige und adäquate Übersetzung ist
Evaluation von Qualität –
Mensch oder Maschine?
• Automatische Evaluation und Evaluation durch
Menschenhand können unterschiedliche
Ergebnisse liefern
Evaluation von Qualität - Einflussfaktoren
• Abhängig von:
• Sprachrichtung
• Textsorte
• Fachgebiet
• Größe des Datensatzes
• Anzahl und Expertise der EvaluatorInnen
Produktivität beim Post-Editing
• Unterscheidung zwischen erforderlichen
Änderungen und persönlichen Präferenzen
• Produktivität: 2.000-3.000 Wörter pro Tag
(Fachübersetzung) vs. 7.000 Wörter pro Tag
(Post-Editing)
Aufwand beim Post-Editing
• Anstrengender oder weniger anstrengend als
Übersetzen?
• Wie beurteilt/misst man Aufwand?
Verrechnung von Post-Editing
Wie verrechnet man Post-Editing?
Post-Editing Preise
• Zwei Ansätze:
• Auf Stundenbasis
• Auf Einheitsbasis (Zeichen, Wörter, Zeilen)
• Kombination:
• Automatische Qualitätspunkte (BLEU, TER
usw.)
• Qualitätsprüfung durch SprachexpertInnen
• Produktivitätsbeurteilung (Neuübersetzung vs.
PE)
Post-Editing-Preise – Einflussfaktoren
• Verrechnung auf Wortbasis ist teils schwer zu argumentieren
(wenn MÜ gute Qualität liefert)
• Post-Editing-Prozess (Zeitanspruch)
• Anforderungen der KundInnen
• Einhaltung von PE-Richtlinien
• Light vs. Full PE
• Anschaffung, Training von MÜ-Systemen
• Aufsetzen eines MÜ- bzw. PE-Prozesses
• Qualität der MÜ
• Sprachkombination
• (technischer) Fortschritt (Preisanpassung)
Zusammenfassung und Ausblick
Was konnten Sie vom heutigen Workshop
mitnehmen?
Rückblick
• Einsatz von MÜ in bestimmten Bereichen (mit
und ohne PE) eingesetzt
• NMÜ liefert natürlich klingende Übersetzungen
→ kann über inhaltliche Fehler hinwegtäuschen
• Pre-Editing und Post-Editing als Arbeitsfelder
• Post-Editing-Aufwand abhängig von leichtem
bzw. vollständigem Posteditieren
Rückblick
• Beachtung der rechtlichen Rahmenbedingungen
bei der Verwendung von MÜ-Systemen
• Bestimmung von Qualität bei (maschinellen)
Übersetzungen
• Fehlermetriken (automatische Evaluation –
Evaluation durch SprachexpertInnen)
• Bei der Verrechnung von Post-Editing gilt es
bestimmte Faktoren zu berücksichtigen
Ausblick
• MÜ-Systeme im Spannungsfeld:
• Ersatz von SprachdienstleisterInnen oder
• Hilfsmittel für SprachdienstleisterInnen
• Verschiebung des Aufgabenprofils von
ÜbersetzerInnen in Richtung Post-Editing und
Dienstleistungen, die Sprach- und
Kulturexpertise erfordern?
Literatur (Auswahl)Allen, J. (2003). Post-editing. In H. Somers (Ed.), Benjamins translation library: v. 35. Computers and Translation: A translator‘s guide. Amsterdam/Philadelphia: John Benjamins Publishing Company.Bentivogli, L., Bisazza, A., Cettolo, M., & Federico, M. (2016). Neural versus Phrase-Based Machine Translation Quality: a Case Study. Retrieved fromhttps://arxiv.org/pdf/1608.04631Brownlee, J. (2019). A Gentle Introduction to Neural Machine Translation. Retrieved from https://machinelearningmastery.com/introduction-neural-machine-translation/Daems, J., Vandepitte, S., Hartsuiker, R. J., & Macken, L. (2017). Identifying the Machine Translation Error Types with the Greatest Impact on Post-editing Effort. Frontiers in Psychology, 8, 1–15. https://doi.org/10.3389/fpsyg.2017.01282DIN ISO 18587:2018-02, Übersetzungsdienstleistungen - Posteditieren maschinell erstellter Übersetzungen - Anforderungen. Berlin: Beuth Verlag GmbH.Doherty, S., & Gaspari, F. (2013). Understanding and Implementing Effective Translation Quality Evaluation Techniques. Retrieved from http://www.qt21.eu/launchpad/sites/default/files/QTLP%20GALA%20Webinar%203.pdfFlanagan, M., & Christensen, T. P. (2014). Testing post-editing guidelines: How translation trainees interpret them and how to tailor them for translator training purposes. The Interpreter and Translator Trainer, 04 May 2014, Vol.8(2), p.257-275.Hu, K., & Cadwell, P. (2016). A Comparative Study of Post-editing Guidelines. Baltic Journal of Modern Computing, 4(2), 346–353.ISO 1700:2015, Translation services — Requirements for translation services. Geneva: ISO.Koehn, P. (2017). Neural Machine Translation. Retrieved from http://arxiv.org/pdf/1709.07809v1Martins, A. F. T., Junczys-Dowmunt, M., Kepler, F. N., Astudillo, R., Hokamp, C., & Grundkiewicz, R. (2017). Pushing the Limits of Translation Quality Estimation. Transactions of the Association for Computational Linguistics, 5(2), 205–218. https://doi.org/10.1162/tacl_a_00056Massardo, I., van der Meer, J., O’Brien, S., Hollowood, F., Aranberri, N., & Drescher, K. (2016). TAUS MT Post-editing Guidelines. Amsterdam. Retrieved from https://www.taus.net/think-tank/articles/postedit-articles/taus-post-editing-guidelinesO’Brien, S. (2010). Introduction to Post‐Editing: Who, What, How and Where to Next? Retrieved from https://amta2010.amtaweb.org/AMTA/papers/6-01-ObrienPostEdit.pdfTAUS (2013). Pricing Machine Translation Post-Editing Guidelines. Retrieved from https://www.taus.net/academy/best-practices/postedit-best-practices/pricing-machine-translation-post-editing-guidelinesTranslation Quality Metric J2450_200508. Retrieved from https://www.sae.org/standards/content/j2450_200508/White, J. S. (2003). How to evaluate machine translation. In H. Somers (Ed.), Benjamins translation library: v. 35. Computers and Translation: A translator’s guide.Amsterdam/Philadelphia: John Benjamins Publishing Company.
# PERSONALDIENSTLEISTER
GEMEINSAM MEHR ERREICHEN!
VIELEN DANK & GEMEINSAM MEHR ERREICHEN
Recommended
