Christian Eisold ist Sprachprozessberater mit dem Schwerpunkt ‘Maschinelle Übersetzung’. Bei berns-language-consulting (blc) befasst er sich hauptsächlich mit dem Training und der Evaluation von maschinellen Übersetzungssystemen bzw. MÜ-Engines. In diesem Partner-Blog geht er auf die Rolle des Ausgangstextes bei der MÜ-Qualität ein und wie Sprachprüfregeln helfen können, die Übersetzungsqualität zu steigern.
Die Qualität humaner, maschineller und post-editierter Übersetzungen zu beurteilen und Optimierungspotenziale im Übersetzungsprozess aufzuzeigen, gehört zu den Kerntätigkeiten bei berns language consulting. Die Herausforderung beginnt hier bereits bei der Erfassung der Qualitätserwartungen und der Definition und Abgrenzung unterschiedlicher Qualitätslevel der finalen Übersetzungen. Die gröbste und meist verbreitete dieser Unterscheidungen stellt das Qualitätsgefälle zwischen ‚Full Post-Editing‘ und ‚Light Post-Editing‘ der maschinellen Übersetzung dar. Während das ‘Full Post-Editing' umfassende inhaltliche, grammatikalische, terminologische, typologische und stilistische Korrekturen vornimmt, um die Qualität einer Humanübersetzung zu erzielen, dient das ‘Light Post-Editing' der Sicherstellung des Satzverständnisses (‘Gisting’). Rechtschreib-, Grammatik-, Terminologie- und Stilkorrekturen werden nicht vorgenommen.
Die Bezeichnung des Full Post-Editings suggeriert immer noch einen direkten Zusammenhang zwischen Editieraufwand und finaler Übersetzungsqualität: “Je mehr Aufwand, desto höher die Qualität”. Vor dem Hintergrund der Entstehungsgeschichte der maschinellen Übersetzung ist diese Assoziation sicher noch gerechtfertigt: Um die teils nicht lesbaren und inhaltlich inkorrekten Ergebnisse der PBMT (Phrase Based Maschine Translation) auf ein publizierbares Level zu bringen, waren umfassende Editieraufwände nötig. Mit dem sprunghaften Qualitätszuwachs der neuronalen Übersetzung hat sich das Blatt jedoch grundlegend gewendet. Die durchgeführten Evaluationen zeigen kundenübergreifend, dass die Editieraufwände bei spezialisierten (mit umfangreichen Kundendaten trainierten) Engines im Schnitt zwischen 20% und 10% der Satzlänge (in Zeichen) liegen. Ein hoher Anteil der maschinellen Übersetzung kann bereits mit punktuellen Korrekturen häufiger Fehlertypen wie Falschübersetzungen und -schreibungen (also einem Light Editing) auf das Qualitätsniveau einer Humanübersetzung gehoben werden.
Die Optimierungsansätze zum Anteil der verbleibenden Sätze mit einer klassischen ‚Full Post-Editing‘-Anforderung betreffen umfangreichere Umsetzungen der Korrekturanforderungen zur Terminologie, Grammatik und Stilistik. An diesem Punkt wird die für Kunden häufig überraschend gute Gesamtqualität der MÜ zum Fallstrick: Mit der Begeisterung für die MÜ wächst auch die Erwartungshaltung an die Qualität und die Fähigkeiten der entsprechenden MÜ-Engine. Bei der Evaluation von Fehlermustern im MÜ-Output fokussieren sich Evaluator:innen mitunter noch zu sehr auf den eigentlichen Output, ohne die Qualität des Ausgangsmaterials zu berücksichtigen. Zwar sind neuronale MÜ-Engines teils in der Lage, Falschschreibungen im Ausgangstext in ihre korrekten Zielformen umzuwandeln. Sie können jedoch weder individuelle stilistische Präferenzen oder Ergänzungen zum Ausgangtext erraten, die ein:e Evaluator:in im MÜ-Output vermisst. Auch hat die Engine keine Möglichkeit, inhaltlich und grammatikalisch schlichtweg falsche Ausgangstexte zu erkennen und zu korrigieren.
Es gilt also auch bei neuronalen Engines immer noch das Prinzip ‚Garbage in – Garbage out‘. Die Ursachen für unpassende oder inkorrekte Ausgangstexte liegen zumeist in einem wenig standardisierten Texterstellungsprozess. Je größer das Unternehmen ist, desto weniger wird man hier auf bereichsübergreifende Guidelines zur Texterstellung treffen: Jede:r macht es eben so, wie es in seinem:ihrem Fachbereich schon immer gemacht wurde. An dieser Stelle kommen Tool-Lösungen zur Sprachprüfung ins Spiel, die eine zentrale Steuerung der Textqualität erlauben. Congree vereint hier die bereichsübergreifende sprachliche Korrektheit sowie eine zielgruppenspezifische Prüfung stilistischer Anforderungen unter einem Hut. Mit der weiter zunehmenden Verbreitung der maschinellen Übersetzung nimmt auch die Relevanz von Prüfprofilen für Ausgangstexte der maschinellen Übersetzung zu. Dies betrifft nicht nur simple Parameter wie die Satzlänge, sondern auch spezifische Anforderungen zur Satzkomplexität, zum Modus und zur Terminologieverwendung, die auf die Fähigkeiten und den Trainingsstand einer Engine angepasst werden können.
Bei der Zusammenstellung von Prüfregeln ist es zielführend, typische Fehlermuster im MÜ-Output mit entsprechenden Mustern im Ausgangstext in Zusammenhang zu bringen. Da diese Detailinfos in der Regel erst in MÜ-Pilotprojekten vorliegen, sind einheitliche und systemübergreifende Standards für die Erstellung von MÜ-Ausgangstexten erforderlich. Diese unterstützen nicht nur die Qualitätsprüfung vor der eigentlichen Übersetzung, sondern ermöglichen auch eine Generalüberholung aller bisher erstellten Texte nebst Übersetzungen. Dies ist deshalb so wichtig, da die Sprachdaten der Vergangenheit in der Regel die Trainingsgrundlage für neue MÜ-Engines darstellen. Das ‚Garbage in – Garbage out‘ - Prinzip gilt nämlich nicht nur für die Ausgangstexte der MÜ, sondern auch für die Trainingstexte.
Ist die Terminologieverwendung im existierenden Datenbestand uneinheitlich und finden sich grammatikalische oder typologische Fehler in den Übersetzungen, werden diese von der Engine erlernt und im ungünstigsten Fall in der Produktion wiedergegeben. Die DIN 8579 zum übersetzungsgerechten Schreiben hat sich der Zusammenstellung eines umfassenden Regelkatalogs verschrieben, der die Ausgangstextqualität im Übersetzungsprozess sicherstellt. Erstmals sind hier auch explizite Regeln für die MÜ-gerechte Texterstellung zusammengefasst. Laufen Trainings- und Ausgangstexte vor der Übersetzung durch entsprechend konfigurierte Prüfprofile, kann auch die finale Übersetzungsqualität gesteigert werden und der Aufwand im Post-Editing maschineller Übersetzung verringert werden. Wenn Sie mehr über die Möglichkeiten der Sprachprüfung im Rahmen der maschinellen Übersetzung erfahren wollen, besuchen Sie am 29. September unser Partnerwebinar „Übersetzungsgerecht schreiben – die DIN 8579 sagt, wie es geht“.
Christian Eisold - Vita
Christian Eisold (Computerlinguist M.A.) ist Berater für Sprachprozessoptimierung bei der berns language consulting GmbH in Düsseldorf, Deutschland. Seit 2016 beschäftigt er sich mit der Erfassung und der Umsetzung von MT-Anforderungen für große und mittelständische Unternehmen. Hierzu führt er MT-Trainings und MT-Evaluierungen für unterschiedliche Fachgebiete und Anwendungsfälle durch.
tl;dr
In diesem Blog geht es um die Rolle eines Ausgangstexts bei der MÜ-Qualität und wie Sprachprüfregeln helfen können, die Übersetzungsqualität zu steigern. Ein Gastbeitrag von Christian Eisold, Sprachprozessberater bei der berns language consulting GmbH.
