paint-brush
ByteDance zet hoog in: een strategische uitweg uit het sociale mediacircus met AI-video?door@bigmao
Nieuwe geschiedenis

ByteDance zet hoog in: een strategische uitweg uit het sociale mediacircus met AI-video?

door susie liu7m2024/09/27
Read on Terminal Reader

Te lang; Lezen

ByteDance onthulde twee krachtige modellen, PixelDance en Seaweed, met de stevige belofte om het AI-videogeneratielandschap op te schudden. Dit is geen AI-gimmick, maar onderdeel van een strategische verschuiving. De toekomst van ByteDance ligt niet in vluchtige hashtags en advertentie-inkomsten, maar in de solide, betrouwbare armen van serieuze productie: een op ondernemingen gericht model dat is ontworpen voor groei en innovatie. Dit is wat u moet weten over hun nieuwste modellen.
featured image - ByteDance zet hoog in: een strategische uitweg uit het sociale mediacircus met AI-video?
susie liu HackerNoon profile picture
0-item
1-item
2-item


Net toen je dacht dat je even een adempauze kon nemen van AI, waagt ByteDance zich in de schijnwerpers – maar niet met de eindeloze TikTok-saga. Tijdens een glitzy AI-innovatieshow in Shenzhen onthulde ByteDance's Volcano Engine twee krachtige modellen, PixelDance en Seaweed , met de stevige belofte om het videogeneratielandschap op te schudden . PixelDance richt zich op het genereren van dynamische, hoogwaardige video's van tekstuele en visuele prompts – zie het als de wensvervullende geest voor videomakers. Seaweed duikt diep in de wereld van 3D-animatie en artistieke rendering, en richt zich op degenen die hun beelden willen laten knallen als confetti op een feestje.


Er zit serieuze technologie in deze modellen verwerkt, en dat komt omdat hun echte doelgroep niet de generatie Z is die dicht bij influencers staat, maar serieuze makers en productiebedrijven.


Dit is een sappige update van Bytedance. Lees verder om erachter te komen waarom.


Wat ze zijn Niet Ik vertel je


ByteDance is al lang bezig met AI. Toen ze begonnen met het ontwikkelen van algoritmische aanbevelingen, associeerden de meesten van ons de afkorting "AI" met "Adobe Illustrator". Je zou denken dat ze zich richten op AI voor consumentgerichte activiteiten, maar dat is wat ze je willen laten geloven.


Ze wedden erop dat AI hen van een wegwerpplatform (gevoelig voor rechtszaken, data-inspectie en veel bureaucratie) zal veranderen in een onmisbaar hulpmiddel .


De toekomst van ByteDance ligt niet in vluchtige hashtags en advertentie-inkomsten, maar in de solide, betrouwbare armen van serieuze productie: een op ondernemingen gericht model dat is ontworpen voor groei en innovatie. Door een strategische verschuiving van de focus naar professionele toepassingen zal ByteDance de storm niet alleen overleven; het zal floreren door zijn rol in het tech-ecosysteem opnieuw te definiëren .


PixelDance: van geest tot magie


PixelDance belooft het bureau te zijn dat uw halfgevormde zinnen en semi-coherente gebabbel kan nemen en precies datgene kan opkloppen wat u in gedachten had . De belangrijkste functies zijn:


Gecombineerde tekst- en afbeeldinginvoer

  • In tegenstelling tot traditionele videogeneratiemodellen, stelt PixelDance gebruikers in staat om zowel tekst als afbeeldingen te leveren (met name de eerste en laatste frames). Dit betekent dat u een video krijgt die precies begint en eindigt zoals u zich had voorgesteld.
  • Samenvatting voor leken : Het is een regisseur die daadwerkelijk naar je ideeën luistert en ze tot leven brengt. En niet terugpraat.

Architectuur van het latente diffusiemodel

  • Deze baby draait op een latent diffusiemodel, gebruikmakend van vooraf getrainde Variational Autoencoders (VAE's) en een tekst-encoder . Beeldinvoer wordt via een VAE gevoerd, gemengd met video latente variabelen om naadloze beweging en consistentie te garanderen.
  • Samenvatting voor leken: Het is een hightech blender die al jouw videodromen tot leven brengt, zonder klontjes.

Doorlopende videosegmenten

  • PixelDance kan continue videoclips genereren terwijl de temporele coherentie behouden blijft . Het gebruikt het laatste frame van een segment als het eerste frame van het volgende.
  • Samenvatting voor leken: Zeg vaarwel tegen die lastige bezuinigingen.

Zero-Shot-videobewerking

  • Met deze functie kunnen gebruikers video's bewerken zonder dat er specifieke training nodig is. U kunt de videocreatie begeleiden door alleen de eerste en laatste frames aan te passen.
  • Samenvatting voor leken: Je kunt een hele kaskraker opnieuw bewerken door alleen de openings- en slotscènes aan te passen: pure filmmagie.

Brede stijlondersteuning

  • Van zwart-wit tot 3D-animatie en traditionele Chinese schilderstijlen: PixelDance ondersteunt een breed scala aan esthetische stijlen, waaronder beeldverhoudingen zoals 1:1 en 3:4.
  • Samenvatting van de leek: Het is niet Anna Wintour of een andere stijl snob. Dit ding heeft geen artistieke voorkeuren, alleen een arsenaal aan tools.

Trainingsdatasets

  • PixelDance is getraind op WebVid-10M , een dataset van ongeveer 10 miljoen korte video's (gemiddelde lengte: 18 seconden) met een resolutie van 336 x 596. Daarnaast hebben ze 500.000 videoclips zonder watermerk gebruikt om een uitvoer van hoge kwaliteit te garanderen.
  • Samenvatting van de leek: Het heeft meer video's bekeken dan ooit tevoren. Het is de encyclopedie van filmische referenties. Vertrouw op de professionaliteit ervan.


Zeewier: De Alchemist van de Bewerking


Seaweed is ByteDance's antwoord op de editing-problemen waar makers mee te kampen hebben. Seaweed is ontworpen als aanvulling op PixelDance en maakt gebruik van AI om het editing-proces te stroomlijnen met indrukwekkende functies:


3D-rendering

  • Seaweed maakt gebruik van geavanceerde renderingtechnieken om beelden te genereren die niet alleen plat zijn, maar ook diepte en realisme hebben. Hierdoor zijn ze geschikt voor hoogwaardige animaties en artistieke uitingen.
  • Samenvatting voor leken: U hebt de animatiestudio Pixar binnen handbereik.


Intelligente snijdetectie

  • Met behulp van geavanceerde algoritmen identificeert Seaweed de belangrijkste momenten in uw beeldmateriaal , zodat u snel kunt knippen zonder dat het verhaal verloren gaat.
  • Samenvatting voor leken: Een persoonlijke editor die de gouden momenten in uw ruwe beelden kan aanwijzen. Snel. Heel snel.


Verbeterde kleurcorrectie en effecten

  • Deze tool automatiseert kleurcorrectie en past stilistische effecten toe om ervoor te zorgen dat uw video er verzorgd uitziet, zonder dat u lastige handmatige aanpassingen hoeft te doen.
  • Samenvatting voor leken: Je kunt kleuren en stijlen krijgen die zelfs Baz Luhrmann zou goedkeuren. Zelfs als je kleurenblind bent.


Gebruiksvriendelijke interface met AI-assistentie

  • Seaweed combineert geavanceerde AI-mogelijkheden met een eenvoudige interface, waardoor het ook toegankelijk is voor mensen die niet zo technisch zijn.
  • Samenvatting voor leken: Het is alsof je een Ferrari krijgt, maar dan met een beginnersrijbewijs: soepele ritten voor iedereen.


Laatste gedachten: bouwen voor de tech-elite


PixelDance en Seaweed zijn niet alleen tools; ze zijn ByteDance's ticket naar een nieuwe, meer geavanceerde speeltuin waar de inzet hoog is en de concurrentie hevig. Terwijl de meesten tevreden zijn met het bedienen van casual creators die op zoek zijn naar templates en "goed genoeg" content voor de bruiloftsdiavoorstelling van je neefje willen maken, richt ByteDance zich op de A-listers.


ByteDance geeft duidelijk aan dat het niet geïnteresseerd is om de Canva van AI-video te worden. Ze mikken op iets dat meer lijkt op een AI-gestuurde Pixar-ILM-hybride. Dit betekent dat ze de kwaliteit van hun gebruikers belangrijker vinden dan de kwantiteit , en dat ze filmmakers, animators, marketingbureaus en bedrijven in het oog houden die zeer gepolijste, geavanceerde video's nodig hebben die opvallen in een verzadigde contentmarkt.


Het is slim. Echt slim. Maar niet zonder risico's.


Agressieve prijsstrategie: een tweesnijdend zwaard?


Hun agressieve prijsstrategie, met $0,002 per token, vergeleken met OpenAI's $0,03 per token , is ontworpen om de markt te verstoren. Het is een sirenecall voor kleine en middelgrote ondernemingen (MKB) en indie-makers, die nu toegang hebben tot geavanceerde tools die ze ooit als onbereikbaar beschouwden.


Maar de lage kosten per token zijn een riskante gok. ByteDance kan het zich nu veroorloven om dit spel te spelen, maar het op de lange termijn handhaven van deze prijzen kan een uitdaging zijn , vooral als de kosten van data-acquisitie en infrastructuur onevenredig schalen. Hoewel de initiële prijzen klanten kunnen lokken, kan het handhaven hiervan zonder in te leveren op kwaliteit of innovatie een koorddans zijn.


Concurrentie van Unity en Unreal Engine


ByteDance stapt op een slagveld dat al wordt gedomineerd door giganten als Unity en Unreal Engine, die pioniers zijn op het gebied van 3D-rendering, animatie en zelfs realtime filmmaken, met grote, loyale communities en uitgebreide bronnen. Unity heeft stappen gezet in virtuele productie en realtime storytelling, terwijl de recente updates van Unreal Engine de aandacht hebben getrokken met hun hyperrealistische renderingmogelijkheden. Beide integreren nu AI-functies om hun aanbod te verbeteren, waardoor ze directe concurrenten worden van Seaweeds 3D-rendering en interactieve videomogelijkheden.


De gevestigde ecosystemen van Unity en Unreal Engine geven ze ook een cruciaal voordeel: gebruikersbasis en community-ondersteuning . De uitdaging voor ByteDance zal zijn om makers ervan te overtuigen dat PixelDance en Seaweed iets bieden wat deze platforms niet kunnen, of het nu gaat om betere integratie met bestaande tools, snellere workflows of superieure outputkwaliteit. Maar kan technische superioriteit genoeg zijn om de gebruikers te overtuigen die Unity en Unreal al jaren cultiveren?


Mogelijke valkuilen: hoge ambitie, hoge inzet


ByteDance's verheven ambities voor PixelDance en Seaweed brengen een glinsterende reeks risico's met zich mee. De lat torenhoog leggen met beloften van professionele tools om te concurreren met de industriegiganten is een gedurfde zet, maar als deze platforms niet leveren , lopen ze het risico de woede van de professionals die ze willen verleiden, te ervaren. Voeg daar nog eens toezicht door de toezichthouder aan toe —want wie houdt er nou niet van een goede overheidsaudit als je met AI speelt?—en je hebt een recept voor spanning, vooral met zorgen over gegevensprivacy die groot opdoemen en TikTok als hun nakomeling. En hoewel het een slimme zet is om de professionals te targeten, zou Peter Thiel zich waarschijnlijk afvragen: is er hier ruimte om een monopolie op te bouwen?


Het grote plaatje: mikken op de sterren, maar landen ze ook?


Terwijl PixelDance en Seaweed zich opmaken voor hun bredere lancering, maakt ByteDance een gedurfde statement: ze zijn niet tevreden met alleen een social media gigant te zijn . Ze mikken op de top van digitale contentcreatie en hun focus op makers van hoge kwaliteit in plaats van op volume is een gedurfde zet, vooral in een wereld waarin elk platform worstelt om zo toegankelijk mogelijk te zijn.


Kunnen ze de wereld van AI-gegenereerde video's opnieuw vormgeven EN zichzelf dichter bij de Iron Throne van tech brengen? Of wordt dit gewoon weer een ambitieus experiment in de annalen van de techgeschiedenis?


Het is een moonshot, en zoals elke techneut weet, landen die niet altijd even gracieus. Maar één ding is zeker: ze maken het videogeneratielandschap een stuk interessanter.


Dus, pak je popcorn maar vast. Deze show begint nog maar net.


Let op: beide platforms bevinden zich momenteel in een testfase waarin je alleen op uitnodiging kunt deelnemen (je kunt je aanmelden via Volcano Engine). Binnenkort wordt er bredere toegang verwacht, maar de exacte datum is net zo ongrijpbaar als je wifi-signaal tijdens een Zoom-gesprek).