Объективная оценка технологий машинного перевода
http://kv-emptypages.blogspot.com/2017/01/objective-assessment-of-machine.html
Вот несколько комментариев Джона Тинсли, генерального директора Iconic Translation Machines, которые являются ответом на Оценку Lilt, Комментарии CSA к этой оценке и Мой последний пост о различных проблемах с быстрой конкурентоспособностью. оценки качества.
Он очень тщательно и обдуманно настраивает лучшие механизмы машинного перевода для конкретной бизнес-цели, например. системы машинного перевода на eBay и все базы знаний в области ИТ, переведенные с помощью машинного перевода. Ни одна из них не преуспеет в мгновенной конкурентной оценке, как это сделала Lilt, но все они представляют собой очень ценные системы на уровне бизнеса. И наоборот, я думаю, что Lilt, вероятно, не преуспеет в переводе типа сценария использования MT, на котором специализируется Iconic, поскольку они оптимизированы для других видов вариантов использования, в которых задействован активный и текущий PEMT (а именно типичная локализация).
Эти комментарии описывают еще одну проблему с конкурсной оценкой, подобной проводимой LiltLabs.
Джон очень четко объясняет это ниже, и его заявления справедливы для других, которые обеспечивают глубокую настройку на основе опыта, таких как tauyou, SYSTRAN и SDL. Однако возможно, что подход к оценке Lilt может быть применим для мгновенных систем Moses и для сравнения с необработанными универсальными системами. Я подумал, что эти утверждения достаточно интересны, чтобы о них стоило написать отдельный пост.
Выделения ниже полностью принадлежат мне.
— — — — — — — — — — — — — -
Инициатива Lilt, сообщение CSA и ответ Кирти служат для того, чтобы пролить дополнительный свет на проблему, с которой мы сталкиваемся в отрасли, которую, несмотря на все усилия лучших умов, очень трудно преодолеть. Аналогичные усилия предлагались в прошлом на ряде мероприятий TAUS, и бенчмаркинг по-прежнему является целью DQF (хотя и не только MT). Задача состоит в том, чтобы провести сравнение яблок с яблоками. Системы машинного перевода, предлагаемые для таких сравнительных оценок, как правило, пытаются охватить очень широкий тип контента (в чем преуспевают такие компании, как Google и Microsoft). Хотя у большинства провайдеров машинного перевода есть такие системы, они редко представляют их лучшее предложение или полные технические возможности.
Например, в Iconic у нас есть общие механизмы и механизмы для конкретных доменов для различных языковых комбинаций, и на любом наборе тестов они могут превосходить, а могут и не превосходить другую систему. Я бы точно не хотел, чтобы о нашей технологии судили на этом основании!
С нашей точки зрения, эти двигатели являются лишь основой, на которой мы строим двигатели промышленного качества.
У нас есть очень четкое внутреннее представление о том, как извлекается добавочная стоимость, когда мы настраиваем механизмы для конкретного клиента, варианта использования и/или типа контента. В этом случае технология МТ в целом наиболее эффективна. Однако на самом деле эти настройки выполняются только с помощью взаимодействия с клиентами, а полученные в результате системы, как правило, либо проприетарные, либо слишком специфичные для конкретной цели, чтобы быть полезными для кого-либо еще.
Поэтому лучшие примеры исключительной производительности технологий, которые у нас есть, — это не те, которые мы можем выложить в открытый доступ в целях открытости и прозрачности, как бы желательно это ни было.
Я уже давно говорю, что предоставление машинного перевода — это сочетание передовых технологий, опыта и возможностей для повышения производительности. В идеальном мире мы максимально автоматизируем возможность повышения производительности (что и делает Lilt для варианта использования после редактирования), но реальность такова, что прямо сейчас сравнительный бенчмаркинг просто оценивает первое, а не второе. полный пакет.
Вот почему вы пока не увидите компаний, инвестирующих в технологию машинного перевода на основе публичных сравнений.
— — — — — — — -
Эти комментарии также доступны по адресу:
http://iconictranslation.com/2017/01/objective-assessment-of-machine-translation/
Первоначально опубликовано на сайте kv-emptypages.blogspot.com 1 февраля 2017 г.
