Что означает буква «G» в ChatGPT

G, P и T в ChatGPT означают Generative, Pre-Trained и Transformer соответственно. Настоящая сила исходит от Т или Трансформатора. Но для меня более фундаментальной идеей является G или Generative.

В этой статье я пытаюсь объяснить, что означает «генеративный» в контексте искусственного интеллекта и машинного обучения, как я бы объяснил 9-летнему ребенку.

[Очевидно, что Генеративный имеет формальное и математическое значение, как и его аналог Дискриминативный. Я не буду вдаваться в подробности здесь, но если вам интересно, в Википедии есть достойное объяснение.]



Генеративная модель — Википедия
В статистической классификации два основных подхода называются генеративным подходом и дискриминационным подходом…en.wikipedia.org



Две игры

Предположим, вам 9 лет.

Предположим, мы играем в следующие две игры на угадывание.

  • Игра 1 Угадай мелодию: Я играю короткую мелодию на фортепиано, а вы угадываете, какая она. Например, я играю мелодию У Мэри был ягненок, и вы угадываете ее.
  • Игра 2 «Сыграй мелодию»: Я называю мелодию, а ты играешь ее на фортепиано. Например, я говорю: «У Мэри был ягненок», и вы играете.


File:Mary Had a Little Lamb.ogg — Википедия
Из Википедии, бесплатной энциклопедии. Нажмите на дату/время, чтобы просмотреть файл в том виде, в каком он выглядел в то время. текущее 12:56…en.wikipedia.org



Теперь предположим, что вы очень хорошо разбираетесь в игре 1 («Угадай мелодию»). Означает ли это, что вы также хороши в Игре 2 («Играть мелодию»)?

Нет. Есть много людей, которые очень хорошо угадывают названия мелодий, но не могут сыграть их на фортепиано или даже насвистывать или насвистывать.

Обратное также верно. Вы можете хорошо играть любую названную мелодию, но не сможете назвать мелодию, которую играют для вас.

Многие модели машинного обучения похожи на людей, хорошо играющих в игру 1 или игру 2, но не в обе сразу.

Например, вы можете обучить модель, которая может угадывать название любой воспроизводимой мелодии (например, Shazam), а также вы можете обучить модель, которая может воспроизводить любую названную мелодию (Spotify — это не совсем модель машинного обучения, но это то, что он делает).

Способность быть хорошим игроком в Игре 1 или Игре 2 иногда называют Дискриминативной способностью. Другими словами, человек или модель могут различать мелодии или имена.

Люди хороши в обеих играх

Теперь есть люди, которые хороши как в Игре 1, так и в Игре 2. Они могут как сыграть названную мелодию, так и назвать сыгранную мелодию.

Люди, которые хороши в обеих играх, часто могут делать две вещи, которые не могут делать «дискриминативные» люди (те, кто хорош только в одной игре).

  1. Имея придуманное название песни (скажем, «У Дхары была маленькая лягушка»), они могут придумать совершенно новую песню, соответствующую этому названию.
  2. И наоборот, если вы сочиняете мелодию, они могут придумать для нее правдоподобное название.

Они могут делать вышеперечисленное, потому что, похоже, они могут расширять, обобщать или генерировать знания об именах и мелодиях, которые у них есть.

Эта способность известна как Генеративная.

Генеративные модели, такие как ChatGPT или DALL.E, обладают точно такой же способностью.

Например, вы можете сказать DALL.E «У Дхары была маленькая лягушка», и она может придумать совершенно новую картинку, соответствующую этому названию. Это основная причина, по которой они настолько сильны и становятся все более популярными.

Вот что такое генеративная модель и что она делает.

Надеюсь, мои 9-летние и старше читатели поняли!