ИИ и большие данные — идеальные компаньоны, верно? Бесспорно, доступ к огромным объемам данных позволяет помощникам ИИ давать более качественные, быстрые и точные ответы. Но есть и недостатки. Например, является ли такая зависимость от огромных объемов данных устойчивой или этичной? Возможно нет. И если вам нужно 1 000 000 примеров для создания приложения, не становятся ли время и деньги слишком большим барьером для многих разработок? Скорее всего. И это даже без учета значительных затрат, связанных с привлечением людей для аннотирования обучающих данных. И давайте не будем забывать о слоне в комнате — надвигающихся угрозах со стороны регулирующих органов в отношении конфиденциальности данных.

Имея это в виду, возможно ли, что в будущем разговорному ИИ потребуется меньше данных, а не больше? Преодоление зависимости от внутридоменных данных — это область, которую исследовательская группа Alana в настоящее время исследует в качестве приоритетной.

Индустрия ИИ питает ненасытный аппетит к данным

Как правило, все, что связано с ИИ, требует данных. Чем больше данных вы передаете моделям машинного обучения, тем больше информации они выдают в ответ. Итак, давайте начнем с того, что воздадим должное большим данным там, где это необходимо. Огромные успехи в диалоговых системах, достигнутые в последние годы, не могли быть достигнуты без систем обучения на огромных объемах данных.

Методы глубокого обучения, безусловно, открыли огромный прогресс в возможностях диалогового ИИ. Но это также подчеркивает ограничения использования такого подхода, основанного на данных. Например, генератор языка GPT-3 может похвастаться удивительными 175 миллиардами параметров. Использование данных в таком огромном масштабе оказало огромное влияние на развитие возможностей искусственного интеллекта и машинного обучения. Но нельзя упускать из виду, что обучение обошлось в ошеломляющие 4,6 миллиона долларов. Если быть реалистом, очень немногие организации будут иметь доступ к огромному количеству данных и финансов, необходимых для поддержки подобных моделей.

В результате, одним из важных аспектов исследований, которые мы проводим в Alana, является то, как мы можем создавать и обучать исключительные машины искусственного интеллекта, генерирующие языки, которые работают с гораздо меньшими объемами данных.

Что происходит, когда системы работают с меньшим объемом данных?

Системы, обученные на недостаточном количестве данных, могут оказаться крайне ненадежными. Например, ИИ-помощник по обслуживанию клиентов может быть обучен любому количеству сценариев подачи жалоб, имеющихся в организации. Но если система вынуждена обрабатывать запрос, который находится на грани ее обучения, где существует меньше данных, она начнет давать сбои. В результате система дает менее удовлетворительные ответы и разочаровывает пользователя.

Итак, какова альтернатива?

Мы хотим добиться ситуации, когда разговорный ИИ можно научить выносить более человеческие суждения на основе контекста. Проще говоря, мы хотим, чтобы машины научились использовать доступные им данные, чтобы предсказывать наиболее разумное следующее действие на основе понимания диалога. В Alana мы ищем различные способы улучшить это.

Например, мы знаем, что можно создавать лингвистически информированные модели на основе правил, разработанных экспертами (например, вы можете подробнее об этом прочитать здесь.) гораздо более ориентированный на данные подход.

Например, мы изучаем, как можно применить методы трансферного обучения для создания диалоговых систем, которые менее нуждаются в данных. Это итерация машинного обучения, когда система разрабатывается для выполнения определенной роли (например, языкового моделирования общего назначения), но затем эта предварительно обученная модель становится отправной точкой для нового приложения.

Момент ImageNet в Computer Vision пробудил мир НЛП к огромному потенциалу использования этого типа практического трансферного обучения для предварительной подготовки крупномасштабных моделей и их повторного использования для ряда последующих задач. Мы уже видели признаки того, что это работает эффективно. Например, API GPT-3 применялся к широкому кругу совершенно разных задач — от генератора рецептов до поисковой системы. Это показывает, как можно настроить предварительно обученную модель для обеспечения исключительной производительности.

Учитывая огромные ресурсы, необходимые для обучения моделей глубокого обучения, такое перепрофилирование систем является одним из способов повышения эффективности данных.

Как это повлияет на диалоговые системы ИИ в будущем?

Именно этим занимается наша исследовательская группа. Эта область разговорного ИИ определенно все еще находится на стадии исследования, но она движется в очень интересных направлениях. Мы надеемся, что конечным результатом станут более управляемые и этичные диалоговые системы искусственного интеллекта, которые не требуют 1 000 000 примеров и аннотаций от высококвалифицированных специалистов по информатике.

Наша цель — создать диалоговый интерфейс Alana, который дизайнер диалогов в бизнесе (который не обязательно будет владеть методами глубокого и машинного обучения) сможет настраивать и исправлять самостоятельно.

Мы считаем, что это важный следующий шаг в демократизации диалогового ИИ, который сделает его более доступным для большего числа организаций и более широких приложений.