Кратко о ChatGPT

С момента публичного выпуска ChatGPT от OpenAI он продолжает удивлять мир своими возможностями. В течение последних семи месяцев люди изучали и экспериментировали с этим интригующим искусственным интеллектом. Хотя многие все еще учатся использовать и использовать эту технологию, большинство из нас не до конца понимает, как она работает. Итак, как на самом деле работает ChatGPT, как он был построен и почему он работает?

Прежде чем погрузиться в эти сложные вопросы, нам нужно сначала понять, что это за технология. Проще говоря, ChatGPT — это чат-бот, чем-то похожий на человека. Он взаимодействует с пользователями посредством ввода текста и возвращает ответ, как разговор между двумя людьми. В некотором смысле это похоже на Google, где вы задаете вопрос, и он возвращает ответ. Однако у Google и ChatGPT совершенно разные методы генерации ответов.

Google и ChatGPT: разные способы генерации ответов

Когда вы что-то ищете в Google, эта поисковая система находит в своей базе данных страницы, соответствующие вашему запросу, ранжирует их, а затем выводит в отсортированной последовательности. ChatGPT работает примерно так же, генерируя ответы на основе шаблонов и знаний, полученных в ходе обучения на огромных текстовых данных.

Возьмем аналогию: представьте, что у вас есть вопрос по всемирной истории, и вы заходите в библиотеку, полную книг на самые разные темы. Поисковая система Google похожа на информированного библиотекаря, который быстро находит для вас подходящие книги в соответствии с вашими потребностями. Библиотекарь просматривает обширную коллекцию библиотеки, находит книги, содержащие потенциальные ответы, и представляет их вам. С другой стороны, ChatGPT похож на начитанного человека, изучившего большое количество книг в библиотеке. У него нет доступа к библиотеке, но он полагается на знания, полученные при чтении и понимании разнообразных книг. Как начитанный человек, он дает ответ на ваш вопрос, основываясь на том, что он узнал из этих книг. С точки зрения этого чат-бота с искусственным интеллектом, этот процесс чтения и понимания называется предварительной подготовкой.

Тренировочные данные: обширная текстовая коллекция

Набор данных, используемый для обучения ChatGPT, огромен! Версия GPT-3.5, которая в настоящее время доступна и бесплатна для всех, была обучена на 45 терабайтах текстовых данных. Чтобы понять этот размер — стандартное 10-минутное видео в разрешении 1080p занимает около 240 мегабайт, а типичная фотография iPhone — около 5 мегабайт памяти. Итак, с 45 терабайтами данных мы говорим о 196 648 10-минутных видеороликах с разрешением 1080p или 9 439 104 стандартных фотографиях iPhone. Однако текстовые данные занимают значительно меньше места, чем изображения или видео, поэтому думайте о БОЛЬШИХ размерах обучающих данных ChatGPT.

В частности, чат-бот был обучен на больших текстовых коллекциях, включая книги, Common Crawl, набор данных, содержащий многолетние интернет-данные с 2008 года, и WebText2, набор данных, охватывающий все материалы Reddit с 2005 по 2020 год. Во время обучения он изучает шаблоны и отношения в обучающих данных без конкретных пар вопрос-ответ. Более того, он был обучен более чем 160 000 разговорных диалогов из фильмов и повседневной жизни, чтобы точно настроить способности своего чат-бота. Вот как ChatGPT может генерировать естественные и увлекательные разговорные ответы, обладая таким широким спектром знаний.

Как ChatGPT формирует ответы

И что теперь? Как он использует эти знания для генерации ответов? Учитывая эти знания перед обучением, ChatGPT может генерировать ответы на основе информации, которой он подвергся. Успех ИИ заключается в его способности обобщать закономерности, которые он изучил на обучающих данных. Таким образом, ответы часто являются связными и контекстуально значимыми, поскольку они следуют образцам слов, которые люди использовали в академических кругах, реальных диалогах и в Интернете.

В процессе обучения модель учится предсказывать следующее слово в предложении на основе контекста предыдущих слов. Это помогает модели фиксировать шаблоны, грамматику и семантические отношения в текстовых данных. Более того, именно так ChatGPT генерирует свои ответы. Допустим, вы спрашиваете ChatGPT — «Что такое яблоко?» ИИ сначала разбивает вопрос на токены и использует их в качестве контекста для предсказания следующих токенов в последовательности. Затем модель будет использовать свои обучающие знания для расчета оценки для каждого возможного следующего токена. Оценка рассчитывается на основе изученных шаблонов между словами. Например, распространенный ответ на вопрос: «Яблоко — это…». Таким образом, он может присвоить высокий балл токену «есть». Затем модель превращает эти оценки в вероятности, и токен с наибольшей вероятностью будет следующим токеном в последовательности. Наконец, модель будет повторять этот процесс токенизации, контекстуализации и прогнозирования, пока не сформирует ответ.

Ограничения ChatGPT

Интересно, что важно отметить, что ChatGPT не понимает, что такое яблоко, так, как это понимают люди. Он просто предсказывает наиболее вероятную реакцию на основе шаблонов, которые он изучил во время обучения. Следовательно, он не всегда может быть точным или отражать факты реального мира, потому что он построен исключительно на статистических закономерностях из ранее существовавших текстов. Именно поэтому мы часто видим, что ChatGPT не всегда дает правильные ответы, особенно в таких областях, как математика. Давайте посмотрим на интересный диалог, демонстрирующий недостатки и ошибки GPT-3.5:

Джереми: Если 5 машинам нужно 5 минут, чтобы сделать 5 устройств, сколько времени понадобится 100 машинам, чтобы изготовить 100 устройств?

GPT-3.5: если 5 машинам требуется 5 минут для создания 5 устройств, это означает, что каждой машине требуется 5 минут для создания 1 устройства. Следовательно, можно сделать вывод, что каждая машина может сделать 1 устройство за 1 минуту. Теперь, если есть 100 машин, и каждая машина может изготовить 1 устройство за 1 минуту, то все 100 машин, работающих вместе, могут сделать 100 устройств за 1 минуту. Таким образом, для производства 100 устройств за 1 минуту потребуется 100 машин.

Правильный ответ: если 5 машин производят 5 устройств за 5 минут, это означает, что каждой машине требуется 5 минут, чтобы изготовить 1 устройство. Таким образом, если есть 100 машин, каждая из них может сделать 1 устройство за 5 минут. Таким образом, 100 машинам потребуется 5 минут, чтобы изготовить 100 устройств. Однако ChatGPT вывел неверный ответ из своей вероятностной модели. Главный вывод из этого диалога — не доверять ИИ слепо — он тоже может ошибаться!

Сила и потенциал ChatGPT

В целом, этот новый чат-бот с искусственным интеллектом весьма примечателен. Несмотря на случайные неточности, ChatGPT представляет собой значительный шаг вперед в области искусственного интеллекта. Его способность генерировать человеческие ответы и участвовать в осмысленных разговорах является свидетельством силы машинного обучения и потенциала ИИ. Поскольку мы продолжаем совершенствовать и улучшать эти модели, мы можем ожидать еще более впечатляющих возможностей в будущем. Возможности того, что он может сделать для нас, ограничены только нашим воображением.

Спасибо за прочтение! Не стесняйтесь подписаться на другие публикации, чтобы быть в курсе самых современных технологий в науке о данных.

Источники

  1. Как на самом деле работает ChatGPT?
  2. ChatGPT — я задал чат-боту несколько развернутых вопросов для контекста