Глубокое обучение привлекло много внимания к успешному развертыванию Google Translate в потребительском продукте еще в 2016 году. (Кажется, это было так давно!) Итак, насколько хорош машинный перевод сегодня и «решена ли» проблема?

(Эта запись в блоге представляет собой расширенную адаптацию выступления, которое я сделал на встрече в Шанхае по машинному обучению в сентябре 2017 г.)

Решен ли машинный перевод?

Перевод кажется задачей, очень хорошо подходящей для ИИ. Идея устройства или интеллектуального робота, способного переводить и разговаривать на инопланетных языках, украсила собой многие популярные научные фантастики. Сегодня потребительский консенсус заключается в том, чтобы включить Google Translate (или Baidu/Youdao/Sogou, если вы находитесь в Китае) и принять тот факт, что результаты доводят вас до конца со странными предложениями, «теряющимися в переводе». здесь и там.

У многих, если не у всех моих друзей-эмигрантов в Китае, проблемы с использованием Baidu Maps, несмотря на то, что некоторые из них прожили в Китае несколько лет. Это странное явление в 2017 году; иногда приложение VPN работает, но Google Maps по-прежнему не может найти несколько местоположений и часто имеет устаревшую навигацию.

Поэтому я создал Map Captain, мобильное приложение для перевода англо-китайских поисковых запросов и указаний поверх карт Baidu. Картографические приложения, используемые местными жителями в чужой стране, всегда лучше, чем ресурс туристической карты, нам просто нужно устранить языковой барьер.

Попутно я хотел узнать, насколько хорош современный машинный перевод, в частности англо-китайский перевод.

Краткая история машинного перевода

Машинный перевод (MT) имеет короткую, но богатую историю и начинается, как и все области машинного обучения, с параллельного корпуса. Розеттский камень — знаменитый параллельный корпус, высеченный на каменной плите, который позволил нам выучить древнеегипетский язык, который в то время был неизвестным. Сегодня системы машинного перевода имеют значительно большие наборы данных с момента подключения к Интернету. История статистического машинного перевода украшена многими достижениями, но выходит за рамки этой статьи.

Нейронный машинный перевод, применение глубоких нейронных сетей для машинного перевода, появилось всего несколько лет назад, но с тех пор добилось больших успехов во многих переводческих задачах.

Является ли нейронный машинный перевод новым достижением?

В исследовании Является ли нейронный машинный перевод новым достижением? (2017)» авторы сравнивают нейронный машинный перевод (NMT) и статистический машинный перевод (SMT) в трех областях:

  • Список продуктов электронной коммерции (En-De)
  • Названия патентов и рефераты (Ж-Эн)
  • Контент МООК (En-De, En-EL, En-Pt, En-Ru)

В своем резюме они отмечают: «Результаты автоматической оценки, представленные для NMT, очень многообещающие, однако оценки, проведенные человеком, показывают смешанные результаты». Это соответствует типичному потребительскому опыту таких инструментов, как Google Translate.

Исследование Patent Titles and Abstracts представляет особый интерес, поскольку представляет собой собрание юридических документов, написанных на китайском языке. Во-первых, большинство академических исследований в области NMT сравнивают результаты западных языков, таких как английский-немецкий или английский-французский. Китайский и английский не имеют общего алфавита или общих основ слов по сравнению с западными языками, имеющими латинское происхождение. Во-вторых, мы можем ожидать, что в наборе китайских юридических документов, написанных кратким техническим жаргоном, будет большой словарный запас слов, которые модель, возможно, не часто встречала в своих обучающих данных. Система NMT в этом случае показала себя плохо по сравнению с системой SMT, которая могла иметь определенные функции и языковые модели.

Таким образом, NMT побеждает в автоматической оценке МООК, плохо справляется со словами/фразами, которых не знает, и плохо говорит по-китайски.

Готов ли нейронный машинный перевод к развертыванию?

В этом исследовании 2016 года авторы статьи сравнивают качество перевода SMT и NMT на основе фраз в широком диапазоне языковых пар. Исследование проводится с использованием Параллельного корпуса Организации Объединенных Наций, который доступен на шести языках.

За исключением франко-испанского, NMT превосходит SMT по всем параметрам. Особенно впечатляют результаты перевода с участием китайского языка. Однако следует отметить, что это худшие результаты SMT, что позволяет предположить, что результаты SMT в этих экспериментах могут иметь некоторый предел улучшения.

На второй диаграмме показаны результаты перевода с английским языком в качестве одной из языковых пар. Hiero, иерархическая система SMT на основе фраз, которая, как подтверждено, превосходит SMT на основе фраз в китайско-английском переводе, добавляется к эксперименту. Во всех случаях NMT превосходит все SMT и по-прежнему значительно превосходит Hiero.

Таким образом, в документе было проведено исследование открытого шестистороннего набора данных, в котором сравнивались 30 языковых пар, и было обнаружено, что NMT превосходит SMT в 29 из них, особенно с большим успехом в китайском языке.

Это контрастирует с результатами в предыдущем разделе, предполагая, что проверенные системы SMT с богатым набором функций, адаптированным к конкретным областям, по-прежнему устанавливают высокую планку для NMT.

Где мы сейчас находимся?

Системы NMT добились лучших результатов в большинстве языковых пар на WMT’16, и неслучайно Google, Baidu и другие коммерческие развертывания NMT также были запущены в 2016 году.

В исследовании человеческой оценки NMT Neubig et al обнаружили, что результаты NMT более беглы и более грамматичны, чем результаты SMT. Они обнаружили, что NMT генерирует результаты с более точным порядком слов, но также отмечают, что результаты NMT обычно отдают предпочтение более употребительным словам, приводя пример ошибочного принятия лучистого тепла за радиационное тепло или скольжения за кольцо.

Перевод по своей природе является открытой лексикой; предложения, встречающиеся при тестировании, вполне могут быть неизвестны во время обучения. Было много разных способов решить проблему неизвестных или редких слов (или, что еще хуже, орфографических ошибок), и это широкая тема сама по себе. Мы лишь кратко упомянем здесь, что в большинстве лучших результатов NMT на WMT’17 для решения этой проблемы используется кодирование парами байтов для сегментации слов на подслова.

Корпуса параллельных переводов обходятся особенно дорого, а для эффективной работы глубоких нейронных сетей требуются большие наборы обучающих данных. Несмотря на то, что сегодня исследователям и стартапам доступно больше наборов данных, нам по-прежнему не хватает ресурсов в специализированном корпусе для работы над адаптацией предметной области.

Возможно, самая известная проблема нейронного машинного перевода — высокая стоимость обучения; обучение современных современных моделей на нескольких графических процессорах занимает несколько дней.

По сравнению с проблемами распознавания изображений, Neural MT в настоящее время не имеет хорошо изученных свойств переноса обучения на обучение модели начальной загрузки.

Заключительное резюме

  • NMT достигла уровня техники MT, но еще далека от решения.
  • Методы работы с открытой лексикой являются важной частью NMT.
  • Модели NMT по-прежнему очень дороги в обучении.

В области нейронного машинного перевода происходит много всего, и в последние годы эта область добилась быстрых успехов. Точно так же, как распознавание изображений совершило скачок, чтобы превзойти точность человеческого зрения, мы надеемся, что мы продолжим делать шаги к тому, чтобы превзойти точность человеческого перевода.

—

Комментарии приветствуются!