Open AI выпустил gtp3, недавно вернувший воспоминания об университете в 2019 году, о стереотипном студенте, которому я действительно не хотел писать вводную часть своей диссертации. поэтому решил посвятить небольшое количество времени исследованию текстовых моделей генерации и потратить некоторое время на исследование возможности использования модели для создания введения.

К сожалению, через 3 месяца после выпуска я, наконец, закончил выяснять, как заставить GTP-2 писать стиль, который я считал приемлемым. Это осознание пришло ко мне после довольно большого исследования, и я понял, что все дело в наборе данных!

Первоначально я хотел обучить эту модель научным работам, основанным на материаловедении (тема моей диссертации), в надежде, что статистическая корреляция между словами может вдохновить меня на небольшое редактирование.

это просто не сработало, поскольку оказалось, что размер службы данных, на которой был обучен, заставляет преобразователь производить ложь, ссылки, которые не существуют, ссылки на несуществующие веб-сайты и другие проблемы.
Если бы я хотел использовать систему, я бы больше полагался на то, что мне приходилось проверять каждую строчку и ссылаться на каждую строчку, которую выдал ИИ, чтобы гарантировать точность. Так может быть, он прав в чем-то там, где мнения и предположения и что важнее?

В конце концов ко мне пришло, что я должен научить меня ИИ философии в надежде, что он сможет создавать связные работы, похожие на интеллектуальные.

Итак, я тренирую модель по книге Фридриха Ницше «По ту сторону добра и зла». Успех был неоднозначным. Предоставленная информация не привела к конкретному выводу, хотя и содержала удивительную цитату.

«У воли есть сила взять мужчину и сделать его»

Было очевидно, что мне нужно обучить ИИ чему-то столь же интеллектуальному, но также полному информации, мнений и предположений, поэтому я остановился на Ювале Ноа Харари - Homo Deus and Sapiens.

Затем решил запустить процесс обучения до тех пор, пока Google colab мне позволяет. Из-за значительного сокращения набора данных это позволило значительно повысить точность выходного текста и создать текст, который все передается с расцветом лингвистического стиля.

Поэтому я решил протестировать модель трансформатора, чтобы посмотреть, что будет!

Думаю, пришло время перебрать код.

Изначально запускаем TensorFlow и импортируем GTP 2 simple в The Notebook.

когда мы загрузили нашу обучаемую модель, я решил использовать 355M,

это текст, который должен быть настолько точным, насколько я могу его сделать, и дальше по дереву параметров GTP я не смог обучить.

Какая точка необходима для установки ноутбука на Google Диск, это позволяет ему захватить предварительно обученную модель, скопировать ее в Блокнот Colab GTP-2 и указать ему загрузить предварительно обученную модель.

все это сжато в один шаг для удобства

А потом запускаем фазу генерации ГТП-2.

и вы можете найти, что длина текста будет 100 слов

Текст температуры будет 0,5, что поддерживает определенный уровень согласованности в тексте.

мы просим компьютер создать пакетную выборку из 5

и забавный бит - наш префикс. Префикс позволяет мне указать GTP 2, с чего начать, и я начну писать текст в соответствии с этой мыслью… (Надеюсь) В моем случае я сказал компьютеру, чтобы он запускался с предложения, компьютеры были созданы нашими интеллект. Что могло быть в этом плохого?

Ну вот и результаты.

Чтобы использовать этот код, следуйте инструкциям.

Скопируйте обученную модель на ваш Google Диск.
Откройте ссылку Colab.
запустите первую часть кода и подключите ее к своему диску.
введите префикс
и запустите второй сегмент кода

Обученная модель:
https://drive.google.com/file/d/18_KsOzoQo_wwolxh6Nn8yG_IfjBlEfeQ/view?usp=sharing

Ссылка на Colab :( https://colab.research.google.com/drive/17M6pP3sULgIrsoJBJ6b11CmeIQ8vDk3H?usp=sharing

Все, что я узнал о GTP-2, - от Макса Вульф, так что без него это было бы невозможно.