Подсказки тонкой настройки с помощью вероятностных спектров

Это вторая часть серии статей о том, как максимально эффективно использовать GPT-3 для задач классификации текста (Часть 1, Часть 3). В этом посте мы поговорим о том, как использовать функцию игровой площадки GPT-3 - спектры вероятностей - для точной настройки подсказок и повышения производительности.

В Edge Analytics мы используем GPT-3 и другие передовые технологии NLP для создания комплексных решений. Ознакомьтесь с нашей недавней работой с inVibe с использованием GPT-3 для улучшения процесса исследования рынка!

Что такое GPT-3?

GPT-3 означает Генеративный предварительно обученный трансформатор 3. Он был создан компанией OpenAI и на момент написания является крупнейшей в своем роде моделью, состоящей из более 175 миллиардов параметров. Он также был предварительно обучен с использованием одного из крупнейших корпусов текстов, состоящего из около 499 миллиардов токенов (примерно 2 триллиона символов), что включает значительную часть всего текста, доступного в Интернете.

GPT-3 использует текстовый интерфейс. Он принимает последовательность текста (т. Е. «Подсказку») в качестве входных данных и выводит последовательность текста, которая, по его мнению, должна быть следующей (т. Е. «Предсказание» или «завершение»). Благодаря этому удивительно простому интерфейсу GPT-3 может давать впечатляющие результаты. Уловка состоит в том, чтобы создать правильную подсказку для извлечения нужных знаний, закодированных в GPT-3.

На момент написания GPT-3 находится в частной бета-версии. Вам необходимо подать заявку на доступ на сайте OpenAI. Мы рекомендуем посмотреть это видео на YouTube, чтобы получить хорошее представление о процессе и несколько советов по получению доступа.

Эффективное использование вероятностных спектров

Для многих задач хороший дизайн подсказок необходим для получения хороших результатов от GPT-3. Создание хорошей подсказки иногда может показаться игрой в угадывание, и не всегда ясно, почему изменение формулировки подсказки может повысить или снизить производительность. Один из методов, который мы можем использовать для улучшения наших подсказок, включает рассмотрение полного спектра вероятностей на игровой площадке GPT-3.

Рассмотрим следующую подсказку GPT-3. Это довольно минимальная подсказка для классификации настроений твитов, включающая несколько примеров.

Label the tweets as either "positive", "negative", "mixed", or "neutral":
Tweet: I can say that there isn't anything I would change.
Label: positive
Tweet: I'm not sure about this.
Label: neutral
Tweet: I liked some parts but I didn't like other parts.
Label: mixed
Tweet: I think the background image could have been better.
Label: negative
Tweet: I liked it.
Label:

Включить вероятностные спектры на игровой площадке GPT-3 просто: используйте раскрывающееся меню, чтобы установить для параметра «Показать вероятности» значение «Полный спектр». Это добавляет цветную подсветку ко всему тексту как в подсказке, так и в предполагаемом завершении. Это можно интерпретировать как ответ GPT-3 на вопрос: «Если бы подсказка остановилась здесь, каким будет следующий прогнозируемый токен?» для каждого токена в подсказке.

Если этот параметр включен, игровая площадка будет отображать вероятность для каждого токена в подсказке, выделяя текст разными цветами. Зеленое выделение означает, что токен имеет высокую вероятность, тогда как токены, выделенные красным, имеют низкую вероятность. Различные оттенки между ними представляют полный диапазон вероятности от 0% до 100%. Мы также можем навести указатель мыши на каждый токен, чтобы более подробно увидеть разбивку вероятностей токенов.

В первом примере наведение курсора на слово «положительный» показывает, что GPT-3 предсказал бы, если бы подсказка здесь прекратилась. Другими словами, если бы мы не сказали GPT-3 ответ, о чем бы он догадался? С вероятностью ~ 58% он предсказал бы «положительно», что верно. Еще одно замечание по поводу этого первого примера: из спектра вероятностей мы можем видеть, что на данный момент GPT-3 не знает, какое значение использовать заглавные буквы и следует ли заключать прогнозируемый ярлык в кавычки. Эти неопределенности исчезнут в последующих примерах, как только будет установлена ​​закономерность.

GPT-3 менее уверен в отношении второго примера, где он предсказал бы «отрицательный» с вероятностью ~ 34%. Неясно, объективно ли GPT-3 предсказывает «отрицательный» в данном случае (это, по крайней мере, возможно, правильно). Один из способов интерпретации результата здесь состоит в том, что пример предоставляет новую информацию для GPT-3. Включая этот пример в подсказку, мы находимся на том, что именно мы подразумеваем под «пометкой твитов как« положительные »,« отрицательные »,« смешанные »или« непонятные ». Этот конкретный пример может показывать GPT-3, в котором твиты, указывающие на неопределенность, следует считать «нейтральными».

Для третьего примера GPT-3 предсказал бы «смешанный» с вероятностью ~ 49%. Хотя это ярлык, который мы искали, GPT-3 не очень надежен. Вероятность «отрицательного» составляет ~ 45%, что очень близко к вероятности его наилучшего выбора. Мы можем сделать вывод, что этот пример снова предоставляет полезную информацию для GPT-3. Мы показываем GPT-3, что твиты, содержащие как положительные, так и отрицательные настроения, следует считать «смешанными» (или, по крайней мере, подтверждая это).

В четвертом и последнем примере GPT-3 правильно предсказал бы «отрицательный» с вероятностью ~ 98% - намного выше, чем для других примеров. Мы можем сделать вывод, что этот последний пример на самом деле не предоставляет никакой новой или полезной информации для GPT-3, поскольку ему уже известен правильный ярлык.

Резюме

Наш стандартный процесс использования GPT-3 для новых задач часто включает в себя процесс, очень похожий на описанный выше. Спектры вероятностей дают нам некоторые подсказки относительно того, какие примеры потенциально могут быть удалены, а какие следует проработать. Например, основываясь на приведенных выше результатах, мы можем попробовать удалить четвертый пример, поскольку он, похоже, не предоставляет никакой новой информации. Также может быть эффективным включение большего количества примеров «нейтральных» и «смешанных» твитов, поскольку, похоже, именно в этих категориях GPT-3 была наименее уверена.

Спектры вероятностей, несомненно, являются полезным инструментом для тонкой настройки подсказок, но важно помнить, что этот метод может предложить нам только h int о том, что нужно изменить. После внесения любых изменений важно тщательно протестировать новую подсказку, чтобы подтвердить правильность наших выводов и измерить влияние на точность и производительность. Чтобы получить наиболее оптимальные результаты, часто требуется несколько циклов быстрой настройки и тестирования.

GPT-3 в Edge Analytics

Edge Analytics помогла нескольким компаниям создать решения, использующие GPT-3. В более широком смысле мы специализируемся на науке о данных, машинном обучении и разработке алгоритмов как на периферии, так и в облаке. Мы обеспечиваем сквозную поддержку на протяжении всего жизненного цикла продукта, от быстрых исследовательских прототипов до алгоритмов AI / ML производственного уровня. Мы сотрудничаем с нашими клиентами, от компаний из списка Fortune 500 до инновационных стартапов, чтобы воплотить их идеи в жизнь. Имеете в виду сложную проблему? Свяжитесь с нами по адресу [email protected].

Максимальное использование классификаторов текста на основе GPT-3: Часть 1, Часть 2, Часть 3