MagiTok встречает искусственный интеллект
Узнайте, как MagiTok использует искусственный интеллект для автоматического превращения любого видео в клипы TikTok.
Что такое МагиТок?
MagiTok — это приложение, которое автоматически конвертирует видео с YouTube в клипы TikTok. Эта утилита может помочь пользователям во многих отношениях, в частности, за счет сокращения времени редактирования для распространения контента на платформах коротких форм. MagiTok также отлично подходит для выбора фрагментов видео, которые могут быть сочтены интересными. Это позволяет качественно перераспределять контент, при этом основная часть редактирования выполняется за вас.
Зачем MagiTok понадобился ИИ/машинное обучение
Вы, вероятно, видите, что ИИ и машинное обучение часто появляются в новостях в эти дни. Вы даже можете увидеть, как компании регулярно используют эти модные словечки, чтобы показать, что они передовые. Однако при создании MagiTok, если бы я мог избежать ИИ, я бы это сделал. ИИ — сложная тема, и для обычных разработчиков, таких как я, требуется крутая кривая обучения. Хотя MagiTok нуждался в ИИ, если у него были шансы стать успешным продуктом.
Первоначальная версия MagiTok работала только с видео на YouTube с более чем 50 000 просмотров, и ей было не менее 2 недель. Это крайне мешает полезности и целевому рынку MagiTok. Итак, я решил обучить модель машинного обучения, чтобы MagiTok мог работать со всеми видео. Эта уникальная основная функция послужит отличной основой для этого инструмента, поскольку мы продолжаем строить.
Вершинный ИИ
До создания этого у меня почти не было опыта машинного обучения. В прошлом я использовал предварительно обученные модели для разных целей, но раньше у меня никогда не было необходимости обучать свои собственные. Я начал исследовать и глубоко погружаться в модели TensorFlow, но мне очень хотелось иметь возможность обучать свою модель в облаке. Именно тогда я нашел Vertex AI.
Vertex — это облачное решение Google, которое позволяет обучать и развертывать модели ИИ. Это было чрезвычайно заманчиво для меня, так как я активно работаю в экосистеме Google, когда дело доходит до разработки. Это позволило мне чувствовать себя как дома в их информационных панелях и документации, что в конечном итоге позволило нормальному разработчику, такому как я, относительно быстро обучить и развернуть нашу первую модель.
Самая большая проблема, которая у меня есть с Vertex, заключается в том, что он кажется очень дорогим. Модель, развернутая в настоящее время на MagiTok, была обучена только на 86 видеороликах, и на обучение ушло более 55 узловых часов. Это означает, что обучение нашей самой первой модели стоило более 150 долларов, что очень много для побочного проекта, который в настоящее время не монетизируется.
Как обучалась модель
Как мы упоминали ранее, MagiTok получает доступ к данным «Самое воспроизводимое» с YouTube, если оно доступно. Это оказалось хорошим индикатором того, какие части видео, вероятно, наиболее интересны и из них можно сделать хорошие клипы. Для обучения модели мы переформатировали эти данные и сохранили их в Google Cloud Storage, чтобы сделать их легко доступными для Vertex.
Этот процесс сбора, приема и хранения этих данных был полностью автоматизирован. Это позволяет нам просто нажимать несколько кнопок в Vertex всякий раз, когда мы готовы обучить новую модель. По мере того, как MagiTok начинает монетизироваться, а наша пользовательская база растет, мы планируем регулярно обучать новые модели на нашем постоянно увеличивающемся наборе данных, чтобы постоянно улучшать опыт наших пользователей.
Как мы используем модель для создания клипов
Мы используем функцию, называемую пакетным прогнозированием, для создания клипов с использованием нашей модели вершин. Это длительная команда, которая отправляет входное видео для интерпретации нашей моделью. Затем мы конвертируем то, что модель считает интересным, в клипы.
Мы также недавно добавили Google Video Intelligence API для реализации обнаружения смены кадра. Мы используем эту информацию для обрезки ближайших кадров. Это значительно улучшило качество клипов, поскольку устраняет проблему обрезания клипа посреди мысли.
Планы на будущее
Есть много идей и функций, которые я хочу создать для MagiTok, но чтобы сделать это стоящим, мы должны сначала сосредоточиться на привлечении пользователей и первоначальной обратной связи. Это означает, что мы сосредоточимся на задачах, связанных с маркетингом, и построим таким образом, чтобы сделать MagiTok доступным для большего числа людей. Мы также планируем вскоре запустить простую профессиональную версию, которая поможет подтвердить потребность в нашем продукте и заплатить за улучшение нашей модели Vertex в будущем.
Попробуйте MagiTok и следите за новостями!
Спасибо, что прочитали эту статью! Если вы еще этого не сделали, зайдите на magitok.com и попробуйте. Я бы хотел, чтобы вы следили за моим путешествием по созданию MagiTok в Твиттере. Если вам нужна помощь, вы хотите поделиться отзывом или показать, что вы делаете с MagiTok, присоединяйтесь к нашему Discord.
