Пошаговое руководство по созданию хорошей подсказки и настройке правильных параметров

Вы устали получать некачественные результаты от языковых моделей? Вы хотите знать, как получить максимальную отдачу от ваших LLM? Этот пост в блоге поможет вам создать хорошую подсказку и установить правильные параметры для ваших LLM. Мы также дадим несколько советов по устранению неполадок с результатами.

Индира Кумар

Спросите любого в наши дни, и он скажет, что ChatGPT — это модель, которая может штамповать ответы, решать проблемы, писать стихи, генерировать текст, обобщать его и многое другое. Для многих он стал ценным инструментом для выполнения задач, которые в противном случае потребовали бы невероятного количества времени.

Для непрофессионала ChatGPT — это уникальная, впечатляющая, выдающаяся, умопомрачительная модель, которая может выполнять невозможные задачи в один миг. Тем не менее, правда в том, что это интерфейс, который принимает ответ от чат-бота и отправляет его в большую языковую модель (LLM) в фоновом режиме. LLM работает с вероятностями слов и последующими прогнозами, которые затем отправляются обратно в виде вывода в окно чата.

Итак, что, если у вас нет интерфейса, который понимает ваши потребности, и все же должен получить требуемый результат? Чтобы ответить на этот вопрос, я создал эту статью, в которой основное внимание уделяется оперативному проектированию и параметрам, которые вы можете настроить для получения желаемого результата.

Что такое оперативное проектирование?

Инжиниринг подсказки — это процесс создания подсказки, которая позволит получить желаемый результат от LLM. Хорошая подсказка должна быть четкой, лаконичной и информативной. Это также даст LLM достаточно контекста, чтобы дать соответствующий и последовательный ответ.

Создание хорошей подсказки

Создание хорошей подсказки — это процесс достижения точки, когда подсказка, которую вы даете модели, обеспечивает удовлетворительный результат. Давайте посмотрим на некоторые примеры подсказок и их выходные данные.

1. Начало работы. Если модель не настроена под задачу, простая постановка вопроса или указание инструкции не всегда дает желаемый результат. Это приводит к завершению предложения и ничего больше.

2. Использовать подсказки. Добавление подсказки позволяет получить структурированный ответ.

3. Приведите примеры. Чтобы получить более качественный ответ, предоставьте пример того типа ответа, который вам нужен.

4. Используйте описательный язык. Включите описательные детали для получения дополнительных указаний и лучших результатов. Первый пример на картинке становится эталоном для модели, пока она генерирует выходные данные.

Как установить параметры

Теперь, когда вы создали свое приглашение, вы можете установить параметры, чтобы еще больше его усовершенствовать. Параметры управляют длиной, стилем и содержанием вывода. Вот некоторые из наиболее важных параметров, которые следует учитывать.

1. Когда вы обнаружите, что ответ слишком длинный или короткий, вы можете отрегулировать длину вывода LLM, установив минимальные или максимальные токены. Токен — это набор символов, имеющих семантическое значение для модели. Он может быть эквивалентен слову или части слова; следовательно, увеличение количества токенов приводит к значительно большему количеству генерируемого текста и наоборот.

2. Вы можете установить параметры декодирования в зависимости от того, хотите ли вы креативный или предсказуемый результат.

  • Жадное декодирование: этот параметр указывает LLM выбирать наиболее вероятное слово на каждом этапе. Это может привести к более предсказуемому результату, но также может привести к повторяемости.
  • Декодирование выборки: этот параметр указывает LLM выбирать слово из диапазона вероятностей. Это может привести к более творческому результату, но также может привести к менее согласованному результату.
    - Температура: этот параметр, который можно установить в диапазоне от 0,00 до 2,00, управляет случайностью вывода. Повышение температуры приводит к выбору слов с низкой вероятностью; следовательно, в результате наблюдается большая вариативность.
    - Top P (ядерная выборка): Относится к выбору наименьшего набора слов, кумулятивная вероятность которых превышает p. Он основан на ядерной выборке, которая отбирает лучшие токены, сумма вероятностей которых не превышает определенного значения. Этот параметр может быть установлен в диапазоне от 0,00 до 1,00.
     – Top K:относится к выбору k слов с наивысшей вероятностью на каждом шаге. Более высокие значения приводят к большей изменчивости. Выбираются токены с наивысшей вероятностью, что создает вероятный, но значимый результат. Установка top p и top k гарантирует, что мы сгладим добавление менее вероятных и, иногда, менее релевантных токенов к результирующему тексту. Этот параметр также можно установить в диапазоне от 0,00 до 1,00.

3. Повышение температуры иногда может решить проблему повторяющегося текста. Однако, если текст все еще повторяется даже после установки более высокой температуры, вы можете добавить штраф за повторение, который можно установить в диапазоне от 1,00 до 2,00. Чем выше штраф, тем меньше вероятность того, что результаты будут содержать повторяющийся текст.

4. В ситуациях, когда модель возвращает несколько ответов, вывод можно ограничить, используя критерий остановки, например добавление двух вагонов. Этот шаг ограничивает генерацию выходных данных до одного, сообщая LLM о прекращении создания дополнительных токенов.

5. Случайное начальное число — это еще один параметр в LLM, который можно настроить, чтобы обеспечить воспроизводимость выходных данных, созданных вами для определенных критериев. Если используется одно и то же начальное число, модель возвращает тот же результат.

Подводя итог, если вы хотите сгенерировать короткий предсказуемый вывод — ограничьте количество токенов, включите жадное декодирование и уменьшите температуру. И наоборот, если вам нужен длинный творческий результат — увеличьте количество токенов, установите более высокую температуру, включите декодирование сэмпла и используйте top-p, top-k для соответствующих результатов.

Устранение неполадок с результатами

Если вы не получаете желаемых результатов, вот несколько советов по подсказкам и параметрам.

1. Попробуйте разные подсказки. Если вы не получаете желаемых результатов с одной подсказкой, попробуйте другую.

2. Настройте параметры. Если вы не получаете желаемых результатов с параметрами по умолчанию, попробуйте изменить их.

3. Используйте другую модель. Разные модели дают разные результаты. Попробуйте другую модель, если вы все еще не получаете желаемых результатов.

4. Переосмыслите вариант использования. После выполнения всех вышеперечисленных шагов вам необходимо переосмыслить вариант использования, если вы по-прежнему не получаете удовлетворительного результата.

Заключение

Наконец, существует более чем универсальный подход к оперативному инжинирингу. Следовательно, это итеративный процесс понимания сложности ваших потребностей, модели, которую вы пробуете, и ее параметров.

Возможно, вам придется поэкспериментировать с различными параметрами, чтобы получить желаемый результат. Однако, следуя советам в этом сообщении в блоге, вы будете на пути к созданию идеального приглашения для своего LLM.

Нажмите здесь, чтобы прочитать подробнее о оперативном инжиниринге.

Отказ от ответственности: взгляды и мнения на этом сайте принадлежат исключительно авторам, они не отражают и не представляют взгляды их работодателей.

Первоначально опубликовано на https://www.ai-decoded.com 13 июля 2023 г.