Есть много объяснений в других местах, здесь я хотел бы поделиться некоторыми примерами вопросов и потенциальными ответами в настройках собеседования.

Вопрос 1. Как вы оцениваете, что ваше новое приглашение лучше старого при подаче заявок на получение LLM?

Вопрос 2. Почему это важно?

Вот несколько советов для читателей:

Вопрос 1:

Введение новых подсказок часто приводит к разным результатам в разных сценариях. Традиционный подход к оценке успешности модели, типичный для традиционного машинного обучения, не соответствует напрямую природе генеративных моделей. Такие показатели, как точность (или те, о которых мы говорили на прошлой неделе), возможно, не применимы полностью, поскольку определение правильности может быть субъективным и сложным для количественной оценки.

На более широком уровне следует учитывать два ключевых момента:

  1. Постепенная обработка набора оценочных данных. Разработайте набор данных, адаптированный к вашим конкретным задачам. Этот набор данных поможет оценить оперативную производительность во время его разработки, и эти данные следует накапливать постепенно.
  2. Определите подходящий показатель или структуру для оценки. Выберите подходящий показатель или структуру для оценки эффективности. Мы немного рассмотрели это на прошлой неделе в вопросе 2:

Этот вопрос в целом сложная тема и в следующий раз я напишу о ней более подробный пост!

Вопрос 2:

Некоторые ключевые моменты о том, почему это важно:

  • LLM допускает много ошибок.
  • Вы можете настроить подсказки, что приведет к улучшению в некоторых случаях, но не обязательно к улучшению в целом.
  • Очень важно завоевать доверие пользователей. В конечном итоге вам необходимо поддерживать производительность их задач.

Вы можете найти объяснение Джоша Тобина из моего оригинального поста здесь!

Проверьте объяснение Джоша Тобина!

Удачных тренировок!

Спасибо за чтение моего информационного бюллетеня. Вы можете подписаться на меня в Linkedin или Twitter @Angelina_Magr! Оригинал поста и ссылки вы можете найти здесь.

Примечание. Чтобы ответить на вопрос на собеседовании, можно ответить по-разному. Автор данного бюллетеня не пытается найти ссылку, которая бы исчерпывающе ответила на вопрос. Скорее, автор хотел бы поделиться некоторыми краткими выводами и помочь читателям думать, практиковаться и проводить дальнейшие исследования по мере необходимости.