ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА
Краткое описание GPT-3
GPT-3 - это предсказатель текста, который можно использовать для создания статей и книг, дизайна веб-сайтов и выполнения арифметических операций.
GPT-3 - это новый инструмент, основанный на алгоритме машинного обучения, который используется для предсказания текста. Он выпущен OpenAI, основателями которого являются Илон Маск и Сэм Альтман, и оба они открыто заявляли о возможности создания общего искусственного интеллекта (ОИИ), а также о возможностях и опасностях, которые он может представлять для нашего общества. . Поэтому они хотели создать компанию, ответственную за разработку искусственного интеллекта. OpenAI стремится продвигать ИИ, не позволяя ему контролировать нас, и они делают это, создавая дружественный искусственный интеллект.
GPT-3 - это инструмент, который используется для предсказания текста
Утверждение, что GPT-3 является предсказателем текста, может показаться не таким впечатляющим. Однако этот инструмент считается огромным шагом к AGI и может использоваться для создания правдоподобных пресс-релизов, статей, книг и т. Д.
Кроме того, с ним можно взаимодействовать, и многие люди создают программное обеспечение, в котором вы взаимодействуете с разными персонажами и задаете им вопросы. GPT-3 также использовался для создания стратегических документов, дизайна веб-сайтов и выполнения арифметических операций, и это только верхушка айсберга.
Алгоритм, основанный на глубокой нейронной сети, подробно описан в статье, опубликованной OpenAI в июле. В статье GPT-3 сравнивается с современными алгоритмами для конкретных задач обработки естественного языка (NLP). Алгоритм обучается только один раз перед тестированием на задачах НЛП, что означает, что веса не корректируются.
Вместо того, чтобы обучаться, как традиционный алгоритм машинного обучения, через тысячи эпох, GPT-3 учится на входных данных и может адаптироваться к другим задачам, подобно тому, как учатся люди. Из-за природы алгоритма и количества данных (примерно 500 миллиардов токенов), используемых во время обучения, он работает очень хорошо. Сама модель не стала доступной для разработчиков, которые могут получить доступ к API.
В запросе API разработчики предоставят несколько примеров того, что должен делать GPT-3, а затем это будет использоваться для запуска модели и предоставления разработчику запрошенного им текста. Для достижения желаемых результатов важно заполнить модель наилучшими примерами.
Заправка модели хорошими примерами важна для достижения желаемых результатов.
GPT-3 не без оснований вызвал большой ажиотаж. Тем не менее, есть еще проблемы, которые необходимо решить, чтобы убедиться, что он не используется не по назначению. Алгоритм угадывает следующее слово или слова, просматривая огромное количество документов. OpenAI должен найти способ научить его социальным нормам, которые мы хотим, чтобы он унаследовал, по сравнению с тем, что они читают в документах. Следовательно, страховочная сетка должна быть включена, например, в отфильтровать расизм, сексизм и т. д.
[1] Фрэнк Чен и Сонал Чокши. 16 минут в новости №37: GPT-3, Beyond the Hype (июль 2020 г.).
[2] Том Б. Браун, Бенджамин Манн, Ник Райдер, Мелани Суббиа, Джаред Каплан, Аманда Аскелл, Ревон Чайлд, Прафулла Дхаривал, Сандхини Агарвал, Адитья Рамеш, Арвинд Нилакантан, Ариэль Герберт-Фосс, Дэниел М. Зиглер, Пранав Шьям , Гретхен Крюгер, Джеффри Ву, Матеуш Литвин, Гириш Састри, Том Хениган, Клеменс Винтер, Скотт Грей, Кристофер Гессе, Бенджамин Чесс, Сэм МакКэндлиш, Марк Чен, Эрик Сиглер, Джек Кларк, Кристофер Бернер, Алек Рэдфорд, Илья Суцкевер и Дарио Амодеи. Языковые модели - немногие изучающие (июль 2020 г.).
