В мире искусственного интеллекта прорывы часто происходят из случайных моментов, что приводит к революционным достижениям, формирующим будущее. В начале 2017 года два блестящих ума в Google, Ашиш Васвани и Якоб Ушкорейт, наткнулись на новаторскую идею, обсуждая способы улучшения машинного перевода для Google Translate. Вместе со своим коллегой Ильей Полосухиным они исследовали концепцию «самовнимания» — революционный подход, который может революционизировать то, как компьютеры понимают язык. В этой статье рассказывается о путешествии этих ученых Google и их замечательном открытии, которое проложило путь к появлению больших языковых моделей.
Генезис внимания к себе
Сотрудничество Ашиша Васвани и Якоба Ушкорейта в Google не было обычным союзом. Их неустанное стремление к совершенству в исследованиях искусственного интеллекта привело их к размышлению об инновационных идеях, которые могли бы изменить машинный перевод. Во время одной из бесед Илья Полосухин, творческий энтузиаст научной фантастики, познакомил их с понятием «самовнимание». Черпая вдохновение из фильма «Прибытие», Полосухин провел параллели между вымышленным языком пришельцев и их моделью само-внимания.
Аналогия прибытия: декодирование языка как целостных идей
В «Прибытии» язык инопланетян озадачил лингвистов-людей, потому что он не следовал обычным линейным последовательностям слов. Вместо этого инопланетяне использовали один символ для представления всей идеи или концепции, что требовало целостного подхода к расшифровке. Очарованные этой идеей, трио считало, что подобный подход может произвести революцию в понимании языка компьютерами. Благодаря самостоятельному вниманию модель ИИ могла одновременно улавливать связи между разными словами в предложении, повышая точность и эффективность перевода.
Рождение исследовательского прорыва
Вдохновленные коллективным любопытством, Ашиш Васвани, Якоб Ушкорейт и Илья Полосухин углубились в концепцию внимания к себе. Они исследовали его потенциал в задачах обработки естественного языка и были поражены результатами. Самостоятельное внимание позволило их моделям ИИ…
