Стек AI для преобразования текста в видео

В недавнем прошлом, с появлением больших языковых моделей, мы критически обсуждаем одну вещь: будет ли контент, созданный ИИ, такой как искусство ИИ, видеоролики ИИ и т. д., разрушить креативность создателей контента или может повысить качество и помочь им? В моем предыдущем блоге я говорил о том, как инструменты генерации кода ИИ могут помочь повысить ценность цикла разработки программного обеспечения. В этом посте я в основном расскажу о том, как с помощью инструментов ИИ создание видеоконтента становится не только простым и быстрым, но и творческим. .

Прежде чем понять, как можно использовать текущие модели видео и изображений для создания креативного и привлекательного контента, важно понять, как выглядит текущее состояние. Мы можем сложить текущую картину создания видео с помощью ИИ, как показано ниже:

1. Существующие видеоредакторы, такие как Adobe, Canva и т. д., пытаются интегрировать ИИ в свой рабочий процесс.

2. Инструменты редактирования видео нового поколения на основе искусственного интеллекта, такие как Fliki.ai, unscreen.com, Synthesia.ai,hourone.ai и т. д.

3. Уровень абстракции , предназначенный для одного варианта использования в рабочем процессе создания видео, например, Midjourney помогает создавать реалистичные изображения для видео, RunwayML предоставляет платформу для преобразования изображения в видео или изображения в изображение, Did помогает добавлять анимацию к изображению и т. д.

4. Уровень модели , который формирует основу всего ландшафта, команды разработчиков программного обеспечения могут использовать этот уровень для настройки в своих сценариях использования.

   
   

По мере того, как мы продвигаемся выше, гибкость слоев для настройки уменьшается, а простота использования увеличивается, в контексте этой статьи мы углубимся, чтобы понять, как мы можем использовать уровень абстракции для создания творческих видеороликов, поскольку этот уровень находится в середине гибкости и простота использования, и как художнику нужно лучшее из обоих миров.

Построение конвейера преобразования текста в видео

Прежде чем мы узнаем, как создать конвейер для генерации текста в видео с помощью инструментов уровня абстракции, важно записать, какие шаги будут необходимы для создания видео и какие инструменты можно использовать на каждом уровне.

Генерация текста в видео с помощью ИИ включает в себя следующие этапы:

1. Генерация сцен из сценария с помощью подсказок GPT.

Первым шагом, который я сделал, было несколько кадров, подсказывающих GPT выдать сценарий на хинди в виде диалогов между персонажами, участвующими в каждой сцене.

Вход

Выход

2. Генерация изображений из сцен

Это решающий шаг, он включает в себя создание изображений для сцены, которая была выделена из сценария. Все сводится к тому, насколько творчески мы можем выразить себя, используя подсказки Midjourney . В приведенном ниже примере упоминается подсказка, данная Midjourney для создания изображение для сцены.

Карикатура со сценой, где старый индийский индуистский святой просит помощи у Лорда Клауда; Лорд-облако олицетворен, и на его лице счастье, окружающая среда полна деревьев с темными облаками и освещением вокруг.

3. Добавление анимации к изображению

Если вам нужно добавить анимацию к изображению, вы можете использовать DiD или RunwayML для добавления движения персонажа и анимации сцены.

4. Генерация голоса AI для повествования сцены.

На этом этапе вы можете сгенерировать голос AI для повествования, используя одиннадцать лабораторий, как правило, это модели повествования из текста в речь, использование которых может звучать немного роботизированно, но решает цель генерации голоса, можно сделать его более выразительным и реалистичным. из платной версии одиннадцати лабораторий для этой истории мне понадобилось голосовое повествование на хинди, с которым Ai4Bharat прекрасно справляется с преобразованием текста в речь .

5. Сшивка видеоклипов и синхронизация голоса

Это последний и самый простой шаг по добавлению изображений в видеоредактор и синхронизации голоса в соответствии со сценой и временной шкалой повествования. Такие инструменты, как Canva и Adobe Express, отлично справляются с этой задачей.

Ориентировочная стоимость видеопроизводства

Выше приведено простейшее описание того, как можно быстро создать видео из текста с помощью нескольких основных инструментов. Для моего примера я создал почти ~ 3-минутное видео с 16 уникальными сценами, интересно было бы увидеть, сколько времени и денег я потратил на это. сгенерируйте это видео:

Стоимость промежуточного путешествия ~ 0,05 доллара США за изображение — 16*0,05 = 0,8 доллара США.

RunwayML ~ 0,02 доллара США за изображение – 16*0,02 = 0,32.

Canva ~ Бесплатно, поскольку не используются премиум-артефакты.

Общая стоимость ~ 1 доллар США за видео.

Сравнивая его с видеоредакторами нового поколения, такими как Fliki , которые берут почти 28 долларов в месяц за 180 минут создания, что будет стоить ~ 0,5 доллара за длину видео, упомянутую выше.

Необходимо объединить предложение

Хотя конечная стоимость создания видео в видеоредакторах на базе искусственного интеллекта кажется меньше по сравнению с общей стоимостью использования таких инструментов, как Midjourney, RunwayML и т. д., с добавленной стоимостью эти инструменты обеспечивают гибкость и креативность создателю видеоконтента и могут помочь при создании потрясающих видеороликов, которые можно сравнить с потрясающей сценой из голливудского фильма, кажется, что если эти инструменты искусственного интеллекта можно объединить и интегрировать в рабочий процесс видеоагентства или видеопроизводства, они смогут принести максимальную пользу в видеопроизводстве, как отметила Жюстин. Мур, партнер @a16z в этой теме, тоже говорит то же самое.