Генеративный художественный рассказ
Может ли быть фильм или комикс с персонажами, декорациями и сюжетами, созданными ИИ? Это становится все ближе к возможности, и давайте сделаем предварительный просмотр.
ИИ был яростью. Автоматическое создание материалов с помощью этих систем с искусственным интеллектом является тенденцией. Одним из подмножеств этого является создание изображения из ввода текста. Можем ли мы использовать это для создания историй с картинками? Давайте попробуем с DALL-E.
Википедия: DALL-E — программа искусственного интеллекта, которая создает изображения из текстовых описаний. Он использует версию модели GPT-3 Transformer с 12 миллиардами параметров для интерпретации входных данных на естественном языке и создания соответствующих изображений.
Мы используем эту версию без кода, размещенную на площадках Hugging Face: https://huggingface.co/spaces/dalle-mini/dalle-mini.
Сегодняшние системы искусственного интеллекта в значительной степени представляют собой черный ящик, который может использовать любой, не обладающий знаниями в области программирования. Просто предоставляя правильные текстовые подсказки, мы можем автоматически создавать изображения. Давайте продолжим идею предоставления серии текстовых подсказок, которые текут как история.
Так как мы дурачимся, давайте подскажем нашему ИИ «двух обезьян на улице».
Примерно через 30 секунд появляется изображение, которое вы видите справа. Вы можете видеть весь процесс… внесите свой вклад, а DALL-E обработает его и выведет изображение. Вот и все.
О, что изменилось? То же предложение, но теперь я добавил несколько слов «езда на велосипеде ночью». Теперь у нас есть новое изображение с циклами и светом, меняющимся от дня к ночи. ИИ понимает и интерпретирует.
Добавим больше света. Добавление «шумного» меняет это. Вы получаете дрейф. Систематически меняя слова в текстовой подсказке, вы можете получить серию изображений, связанных с основным сюжетом.
Бум!!! Ну вот. Обезьянья ночь: Рассказ
Что сейчас произошло? Проиллюстрированный ранее процесс повторяется при смене слов, и у нас есть вот такая короткая история.
Вы можете увидеть все подсказки на диаграмме выше. Каждый раз, когда меняются несколько слов, меняется изображение. Создан короткий комикс. Концепция очень похожа на создание анимации с использованием флипбука, где тонкие изменения в серии изображений при просмотре в быстрой последовательности показывают движение/движение. Здесь мы используем тонкие изменения в тексте вместо изображений… текстовый флипбук.
Поскольку мы движемся в будущее, есть много возможностей.
Можем ли мы использовать одного и того же человека или объект и проходить сюжет? Да и вот пример. Одно и то же изображение гитары изменяется путем добавления подсказки к изображению в дополнение к текстовому описанию. Точно так же одни и те же символы можно использовать в сценарии, вводя их в качестве подсказки.
Можем ли мы улучшить качество изображений? Пока мы говорим, ситуация улучшается (проверьте Dall-E 2 от OpenAI)
Можем ли мы генерировать текстовые подсказки программно и автоматически генерировать связные повествования? Да, и сегодня полные отчеты уже автоматически генерируются с использованием NLP (см. www.decodem.ai), и технология совершенствуется с более крупными языковыми моделями. (Проверьте GPT-3, Шиншиллу и т. д.)
Можем ли мы сделать его мультяшным? (Проверьте мультфильм ГАН)
Мы можем переодеться? (Проверьте модный ГАН)?
& скоро…. Все эти технологии развиваются, совершенствуются и сближаются.
Сюжеты, фильмы и комиксы, созданные искусственным интеллектом, уже в пути. Пристегнитесь!!!
