Команда OpenGPT-2, состоящая из двух аспирантов из Брауна, опубликовала языковую модель с параметрами 1,5 млрд, обученную повторной реализации опубликованной статьи. Полная модель 1.5B до сих пор не опубликована OpenAI, но я решил сравнить недавно выпущенную модель параметров 774M с моделью OpenGPT-2 с готовыми параметрами, чтобы протестировать ее на лирике Джима Мориссона. Это в высшей степени ненаучно, но я думаю, что все же это открывает глаза, и это делает меня более взволнованным по поводу GPT-2.
Меньшая модель 774M GPT-2 генерирует более связный и стилистически согласованный текст, чем большая. Я думаю, что параметры GPT2 1.5B должны быть не чем иным, как потрясающими.
Убедитесь сами
Обе модели получили в качестве входных данных несколько предложений лирики Джима Моррисона.
«Стряхни мечты со своих волос, Мое милое дитя, милое мое. Выберите день и выберите знак вашего дня. Божественность дня. Первое, что вы видите. Огромный сияющий пляж в прохладной усыпанной драгоценностями луне. Голые пары мчатся вниз по его тихой стороне, И мы смеемся, как мягкие, сумасшедшие дети, Самодовольные в пушистых хлопчатобумажных мозгах младенчества. Музыка и голоса вокруг нас. Выберите, они напевают Древних. Время снова пришло. Выбирайте сейчас, напевают они Под луной У древнего озера. Войдите снова в сладкий лес. Войдите в горячий сон. Пойдем с нами. Все ломается и танцует».
Параметры OpenGPT-2, 1.5B
Я использовал предоставленный ноутбук Colab с использованием TPU на Google Compute Platform. После значительного времени перебора чисел модель OpenGPT-2 TPU произвела 10 выборок, каждая из которых занимала около 2 минут. Я выбрал образцы, которые имели больше смысла, чем другие. Вот несколько примеров:
Пример 1 OpenGPT-2
«Почему у тебя руки подняты и изуродованы? Что вы наделали?" «Ты мечтаешь, милый? А о чем ты мечтаешь? Мечтать о чем? Сны о слезах или сны о грязи? Сны о пыли или сны о горшке? О каких мечтах ты мечтала, дорогая»‹|endoftext|›Brian Shoemaker’s Bio
Специальный удостоенный наград сериал Чарльза и Лори Шумейкеров «Вера в вещи, которых может никогда не быть» уже много лет пользуется популярностью на рождественском телевидении. Перед тем, как присоединиться к 20th Century Fox, Сапожники сняли свой превосходный, пользующийся спросом сериал с участием успешных американских семей, педагогов и историков, поскольку каждый из них дал остальным из нас (и их собственным детям) заглянуть в их удивительно темную тайную жизнь…
На протяжении многих лет Брайан публиковал множество статей в колонке «Безграничное» для журналов «Christianity Today», «Religion Dispatches», «Christianity Today News» и многих других христианских журналов и веб-сайтов. Он написал множество колонок и интервью для различных христианских телеканалов, включая WorldNetDaily и кабельную новостную сеть CNN.
Пример 2 OpenGPT-2
В день твоей жизни я знал немного другого. Воскресным утром мимо меня по ветвям и дереву прошло дерево, раздвоенное и мертвое. С его иссохшего ствола посыпались кости И была более тусклая костяная скорлупа Но он нес божественную опасность Но увы работа была сделана и часть наших узоров была разрушена Все сразу.
Уходи, пока они не вернут Мою башню для зимнего света солнца
Я выбрал грядущий день, если вы выберете День моего величества Рядом с проходом, проходившим века назад. Одинокие мягкие глаза давно ушли под тень зеленого, но слишком поздно. Сиденье синего бога. В моей хижине целый день они жили. Из него я поднялся над миром, в небо. Мои благодарные кабаны дали мне пищу и кров. Приходит вещь, приходит человек.
Но будем все вставать в каждый день, когда меня срубали, смешивали, как смешанный напиток, и отдавали в дары твои, дар моего бога. Я выбрал день.
Каждый месяц, каждую неделю, когда наши тела были заперты, Бог в наших умах.
Параметры GPT-2, 774M
Я использовал версию контейнера Docker, работающую на коробке Ubuntu 18.04 Threadreaper с графическим процессором Titan Xp. Выполнение было намного быстрее (секунды на образец), чем в общей среде Colab с использованием TPU.
Образец 1 GPT-2
Наше сердце никогда не бьется. Каждая часть закручена со своими темными, болезненными мелодиями. Во всякой жизни есть свет и нет тьмы, и все же здесь мы не так хороши, как думают люди, и, в конце концов, это пустынная земля, где никто не узнает. Пора уходить и уходить отсюда. Это было хорошее время, чтобы уйти. Давайте послушаем музыку с другой стороны. Давайте послушаем детей этого далекого храма. Давайте послушаем людей с горы наверху. Здесь больше не о чем говорить, нечего больше слышать. С этого момента больше некуда двигаться. Как только я заберу своего ребенка, мне некуда идти. Мир этого мира и здесь его тьма».
— Софиса
Глава 2:
Песня моря
«О небеса! У меня нет возможности спасти тебя О, твоя мать! Как я могу спасти ее? Я так далеко в горах, мой малыш, что не вижу луны. Он темный, и его звезд не видно». Когда он достигает высоты более пяти тысяч футов, Луна полностью исчезает из виду. Горы заполнены облаками. Ты видишь свою дочь, мой друг, стоящей там на дне океана, а он в сотне футов под водой. Он даже не половина луны. Но если ты повернешься, ты повернешься к нему в полете и увидишь его лицо и его длинный нос, его глаза и его черные волосы, и тогда позади тебя будет много ярко-белых предметов. Это луна, их так много, как корона. Однажды есть три больших лица в черных мантиях с зелеными, синими и коричневатыми волосами, а два других только белые, с солнцем на конце. Теперь в конце есть три большие звезды. Второй — сфера, а третий — планета размером с гору. Считается, что они очень большие, и если вы внимательно повернетесь, то увидите, что они узнают то же самое. Так что это для вас, чтобы увидеть их лица. Теперь у двух других очень яркие глаза, и одна половина их бледна в лунном свете, а другая половина кажется темной, а две половины кажутся ярко-красными. Теперь, когда вы обернетесь, вы увидите звезды. Луна полна света и тени, небо
ГПТ-2 Образец 2
Как младенец Ребенок плачет утренним ветерком. Утренний дождь, и он влюбится в кого-то другого. Твой голос и ты поешь песни его сердцу. И они по всему лицу земли. И солнце светит радостью. А ты, кто поёт эти песни, пой и песню и припев. Тебе пора спеть эту песню. Но ты должен быть добр к своей семье. Выберите быть больше, чем просто ваша семья. И вы это сделали, вы заслужили этот титул. В течение следующих многих ночей мы плачем мальчику, который изменит вашу жизнь. И когда вы посмотрите на девушку, которую любите, она улыбнется и скажет: «Да, ты можешь, только не говори, что ты твоя семья, а твои родители?» Тогда с тобой все будет в порядке, потому что ты все еще их семья, а они их родители. Вам не помешает подумать об этом сейчас, потому что вам не нужно, вы можете просто привыкнуть к этому сейчас. Но вы никогда больше не будете думать об этом, как будто вся любовь, которую вы испытываете к своему малышу, ненастоящая. Вы можете почувствовать боль от поцелуя сбоку вашего лица. Тем более что улыбка вашего друга и отца может изменить важную ситуацию. Твоя семья говорит: да, черт возьми, мы ни за что не захотим оставить тебя без матери. Ты знаешь, как сильно ты этого хочешь. Мы знаем, как сильно вы этого хотите. Но вы не знаете, насколько это правда. И вы не представляете, насколько это реально.
Автор: Р. Х. Сен-Пьер, 8:04‹|endoftext|›
Следующая статья находится в порядке удаления:
Как писать
Эта статья написана для общего чтения ТОЛЬКО опытными программистами на C#. Многие люди разработали его как руководство по изучению C# и написанию кода на C++.
В этой статье вы изучите основы C# и как писать, а также создадите IDE с некоторыми примерами для себя.
Введение
C# и как писать и разрабатывать программное обеспечение на его основе
Короче говоря, из-за их большого сходства и сильных сторон C# предлагает ряд преимуществ, которые делают его отличным языком программирования как для начинающих, так и для профессионалов. И хотя вы можете думать о C# как о хорошем языке программирования для разработчиков C++, которые хотят, чтобы их проекты казались более законченными, чем их IDE C++, многие программисты могут легко извлечь из этого языка следующие преимущества:
Наблюдения
- Обе модели создают семантически искаженный текст, но GPT2 кажется более связным.
- GPT2, кажется, дольше остается в теме и стиле.
- GPT2 лучше соответствует стилю ввода текста.
- GPT2 1.5B должен быть потрясающим, и я чувствую, что все волнения по поводу выпуска модели для публики могут быть оправданы. Это ни в коем случае не общий интеллект, но он ошеломляюще
- Я пытался заставить обеих моделей пошутить, но, увы, они шутят!
- GPT-2 любит говорить о политике. Много…
