텍스트-비디오 생성을 위한 AI 스택

최근 대규모 언어 모델이 탄생하면서 우리가 비판적으로 논의하는 것 중 하나는 AI 아트, AI 비디오 등과 같은 AI 생성 콘텐츠가 콘텐츠 제작자의 창의성을 파괴할 것인지, 아니면 콘텐츠 제작자의 품질을 향상하고 도움을 줄 수 있는지 여부입니다. 이전 블로그 에서는 AI 코드 생성 도구가 소프트웨어 개발 주기에 가치를 추가하는 데 어떻게 도움이 될 수 있는지에 대해 이야기했습니다. 이번 게시물에서는 주로 AI 도구를 사용하여 비디오 콘텐츠를 만드는 것이 얼마나 쉽고 빠르며 창의적일 수 있는지 강조할 것입니다. .

창의적이고 매력적인 콘텐츠를 생성하는 데 현재 비디오 및 이미지 모델을 어떻게 활용할 수 있는지 이해하기 전에 현재 상태가 어떤지 이해하는 것이 중요합니다. 현재 AI 비디오 생성 환경을 아래와 같이 계층화할 수 있습니다.

1. Adobe, Canva 등과 같은 작업 흐름에 AI를 통합하려는 기존 비디오 편집자

2. Fliki.ai, unscreen.com, synthesia.ai, hourone.ai 등과 같은 AI 기반의 새로운 시대의 비디오 편집 도구입니다.

3. 비디오 생성 워크플로의 단일 사용 사례 전용 추상화 계층 . 예를 들어 Midjourney는 비디오를 위한 사실적인 이미지를 만드는 데 도움이 되고, RunwayML은 이미지를 비디오로 또는 이미지를 이미지로 변환하는 플랫폼을 제공하고, Did 는 이미지에 애니메이션을 추가하는 데 도움이 됩니다.

4. 전체 환경의 기반을 형성하는 모델 계층은 소프트웨어 팀이 이 계층을 활용하여 사용 사례에 맞게 사용자 정의할 수 있습니다.

   
   

사용자 정의를 위한 계층 유연성은 감소하지만 사용 편의성은 증가하므로 이 문서의 맥락에서는 이 계층이 유연성과 유연성의 중간에 있기 때문에 창의적인 비디오를 생성하는 데 추상화 계층을 사용할 수 있는 방법을 이해하기 위해 깊이 파고들 것입니다. 사용하기 쉬우며 예술가로서 두 가지 장점이 모두 필요합니다.

텍스트-비디오 파이프라인 구축

추상화 계층의 도구를 사용하여 텍스트-비디오를 생성하는 파이프라인을 생성하는 방법을 배우기 전에 비디오를 생성하는 단계와 각 계층에서 사용할 수 있는 도구를 설명하는 것이 중요합니다.

AI 텍스트-비디오 생성에는 다음 단계가 포함됩니다.

1. GPT 프롬프트를 사용하여 스크립트에서 장면 생성

제가 한 첫 번째 단계는 GPT를 사용하여 모든 장면에 관련된 캐릭터 간의 대화 형식으로 힌디어 스크립트를 제공하는 것이었습니다.

입력

산출

2. 장면에서 이미지 생성

이것은 중요한 단계이며 스크립트에서 세분화된 장면에 대한 이미지를 생성하는 것과 관련됩니다. 이는 모두 Midjourney 의 프롬프트 지침을 사용하여 얼마나 창의적으로 표현할 수 있는지에 달려 있습니다. 아래 예에서는 Midjourney가 생성하도록 주어진 프롬프트를 언급합니다. 장면에 대한 이미지입니다.

인도의 늙은 힌두교 성자가 클라우드 경에게 도움을 요청하는 장면을 그린 만화. 구름 군주는 의인화되어 얼굴에 행복이 있고 주변 환경은 어두운 구름과 빛이 가득한 나무로 가득 차 있습니다.

3. 이미지에 애니메이션 추가하기

이미지에 애니메이션을 추가해야 하는 경우 DiD 또는 RunwayML을 사용하여 캐릭터 모션 및 장면 애니메이션을 추가할 수 있습니다.

4. 장면 내레이션을 위한 AI 음성 생성

이 단계에서는 11개의 랩을 사용하여 내레이션을 위한 AI 음성을 생성할 수 있습니다. 일반적으로 이는 약간 로봇처럼 들릴 수 있지만 음성 생성 목적을 해결하여 보다 표현적이고 현실적으로 만들 수 있는 텍스트 음성 변환 내레이션 모델입니다. Eleven Labs 유료 버전에서 이 이야기를 위해서는 Ai4Bharat 텍스트 음성 변환 내레이션이 훌륭한 역할을 하는 힌디어 음성 내레이션이 필요했습니다.

5. 비디오 클립 연결 및 음성 동기화

이것은 비디오 편집기에 이미지를 추가하고 장면 및 내레이션 타임라인에 따라 음성을 동기화하는 마지막이자 간단한 단계입니다. Canva 및 Adobe Express와 같은 도구는 여기서 훌륭한 작업을 수행합니다.

대략적인 비디오 제작 비용

위는 몇 가지 기본 도구를 사용하여 텍스트에서 비디오를 빠르게 생성할 수 있는 방법에 대한 가장 간단한 분석입니다. 제 예를 들어, 저는 16개의 독특한 장면이 포함된 약 3분짜리 비디오를 생성했습니다. 흥미로운 점은 제가 지불한 시간과 돈을 보는 것입니다. 이 비디오를 생성하십시오 :

중간 이동 비용 ~ $0.05/이미지 - 16*0.05 = $0.8

RunwayML ~ $0.02/이미지 - 16*0.02 = 0.32

Canva ~ 프리미엄 아티팩트를 사용하지 않았으므로 무료입니다.

총 비용 ~ $1/동영상

위에서 언급한 비디오 길이에 대해 약 $0.5의 비용이 드는 180분 제작에 대해 월 $28를 청구하는 Fliki 와 같은 새로운 시대의 AI 비디오 편집자와 비교해 보세요.

제품을 번들로 묶어야 함

AI 기반 비디오 편집기에서 비디오를 생성하는 최종 비용은 Midjourney, RunwayML 등과 같은 도구를 사용하여 발생하는 총 비용에 비해 저렴해 보이지만 추가 비용으로 이러한 도구는 비디오 콘텐츠 제작자에게 유연성과 창의성을 제공하고 도움을 줄 수 있습니다. 헐리우드 영화의 놀라운 장면에 필적할 수 있는 놀라운 비디오를 생성하는 데 있어서 이러한 AI 도구를 비디오 에이전시 또는 비디오 제작사의 워크플로와 번들로 통합하여 비디오 제작에서 최대의 가치를 창출할 수 있는 것 같습니다. 이 스레드의 파트너인 Moore @a16z 도 같은 의견을 반영합니다.