Meta Pixel
AlexisAlexis
6 min read
1146 sõna

MiniMax Video Agent: Esimene AI, mis kirjutab, lavastab ja monteerib videoid iseseisvalt

MiniMaxi Video Agent Beta tähistab paradigma muutust viibapõhiselt genereerimiselt autonoomsele videotootmisele, kus tehisintellekt haldab kogu loomeprotsessi ideest lõpliku montaažini.

MiniMax Video Agent: Esimene AI, mis kirjutab, lavastab ja monteerib videoid iseseisvalt

Ready to create your own AI videos?

Join thousands of creators using Bonega.ai

Mis oleks, kui saaksid kirjeldada videoideeed ühe lausega ja tehisintellekti süsteem kirjutaks stsenaariumi, planeeriks võtted, genereeriks iga stseeni ja monteeriks need viimistletud lõpptooteks? MiniMaxi Video Agent Beta teeb selle võimalikuks, tähistades esimest tõeliselt autonoomse videoloomise kommertsialiseerimist.

Viipade inseneerialt video orkestreerimiseni

Tehisintellektiga video genereerimine on järginud tuttavat mustrit. Esmalt tuli lihtne tekst-videoks süntees. Seejärel sai viipade inseneriast omaette kunst, kus loojad õppisid täpsustama kaameraliigutusi, valgustingimusi ja ajalist dünaamikat üha keerukamates viipades. Iga mudeli põlvkond nõudis paremate tulemuste saavutamiseks üksikasjalikumaid juhiseid.

MiniMaxi Video Agent pöörab selle suhte täielikult ümber.

💡

Video Agent esindab nihet "viipade inseneerialt" "kavatsuse väljendamisele". Sa kirjeldad, mida soovid saavutada, ja tehisintellekt tegeleb sellega, kuidas seda saavutada.

Selle asemel, et koostada iga võtte jaoks täiuslik viip, annad sa kõrgetasemelise loomeülesande. Seejärel teostab süsteem iseseisvalt:

  • Narratiivi struktuuri väljatöötamine
  • Stseenide kaupa stsenaariumi kirjutamine
  • Optimaalsete võttekompositsiooonide määramine
  • Iga videosegmendi genereerimine Hailuo uusimate mudelitega
  • Klippide monteerimine sobivate üleminekutega
  • Sünkroniseeritud heli ja muusika lisamine

See pole lihtsalt ümbris olemasolevale videogenereerimisele. See on agentne süsteem, mis teeb loomingulisi otsuseid.

Autonoomse loomise arhitektuur

MiniMax Video Agent süsteemi arhitektuur, mis näitab orkestratsiooni kihti, mis ühendab stsenaariumi genereerimist, võtete planeerimist, video sünteesi ja montaažimooduleid
Video Agenti mitmeastmeline konveier orkestreerrib spetsialiseeritud mudeleid iga tootmisfaasi jaoks

Video Agent tugineb MiniMaxi ulatuslikule multimodaalsele alusele. Ettevõte, mis haldab Hiina juhtivat tehisintellekti videoplatvormi Hailuo, on genereerinud üle 370 miljoni video. See mastaap andis treeningandmed mõistmaks, mis teeb videod toimivaks.

Süsteem töötab mitme omavahel ühendatud mooduli kaudu:

4
Põhimoodulit
370M+
Treeningvideot
12
Toetatud keelt

Stsenaariumi genereerimise moodul: MiniMaxi keelemudelitel põhinev komponent muudab lühikesed kirjeldused struktureeritud stsenaariumideks. See mõistab narratiivi konventsioone, tempot ja seda, kuidas stseenid peaksid koos voolama.

Võtete planeerimise mootor: See moodul määrab kaameranurgad, liikumismustrid ja visuaalsed kompositsioonid iga stseeni jaoks. See tugineb professionaalsete toodangute analüüsist õpitud filmigrammatikale.

Video sünteesi kiht: Hailuo 2.3 baasil ehitatud kiht genereerib iga võtte platvormi tuntud tegelaskuju järjepidevuse ja füüsika simulatsiooniga. Süsteem säilitab visuaalse sidususe võtete vahel automaatselt.

Toimetamise intelligentsus: Viimane moodul tegeleb kokkupanekuga, määrates lõikepunktid, ülemineku stiilid ja heli sünkroniseerimise. See rakendab professionaalse montaaži põhimõtteid sidusate jadade loomiseks.

Mida Video Agent tegelikult teha suudab

Beetaversioon toetab mitmeid tootmise töövooge, mis varem nõudsid inimese loovat juhtimist:

Mida Video Agent haldab

Stsenaariumi arendamine kontseptsiooniülesandest, mitme stseeniga narratiivi ehitamine, järjepidev tegelaskujude välimus läbi võtete, automaatsed stseeniüleminekud ja tempo, sünkroniseeritud heli ja taustamuusika, stiili järjepidevus kogu toodangu vältel

Praegused piirangud

Maksimaalne väljund umbes 2-3 minutit, piiratud peenkontroll konkreetsete kaadrite üle, reaalajas koostöö või iteratsioon puudub, nõuab selget loovat suunda algses ülesandes, aeg-ajalt ebakõlad keerukates mitme tegelasega stseenides

Süsteem on ülitugev sisuliikide puhul, millel on selged struktuurimustrid. Tootedemonstratsioonid, selgitusvideod ja narratiivsed lühifilmid sobivad kõik hästi praeguste võimalustega. Eksperimentaalsem või abstraktsem sisu saab endiselt kasu traditsioonilisest viibapõhisest genereerimisest.

Praktiline näide: ülesandest lõpliku videoni

Video Agenti praktilise toimimise mõistmiseks vaata tüüpilist töövoogu:

Samm 1

Loomeülesanne

Sa annad: "Loo 60-sekundiline video kohvikupidajast, kes avastab, et tema hommikune püsiklient on tegelikult kuulus romaanikirjanik, kes uurib oma järgmist raamatut"

Samm 2

Stsenaariumi genereerimine

Video Agent arendab kolme stseeniga struktuuri dialoogide, sissejuhatavate võtete ja paljastusmomendiga

Samm 3

Võtete planeerimine

Süsteem määrab 8 individuaalset võtet: väline sissejuhatus, siseruumi üldplaan, peategelase lähivõte, kliendi sisenemine, vestlusjada, raamatu paljastus, reaktsioonivõte, lõpetav üldplaan

Samm 4

Genereerimine

Iga võte genereeritakse järjepideva tegelaskuju välimuse, valgustuse ja stiiliga

Samm 5

Kokkupanek

Klipid monteeritakse kokku sobivate üleminekute, tausta atmosfääri ja pehme muusikaga

Kogu protsess valmib alla 10 minutiga. Inimlooja kulutaks sama toodangu peale tunde, isegi kui tal oleks juurdepääs samale genereerimise tehnoloogiale.

Konkurentsimaastik

MiniMax pole ainus, kes taotleb autonoomset videoloomist, kuid nad on esimesed, kes turule tulevad kommertsiaalse tootega. Konkurentsipositsioon on õpetlik:

EttevõteLähenemineStaatus
MiniMaxTäielikult autonoomne agentBeeta saadaval
RunwayPoolautonoomne Act-One'igaUurimisfaas
OpenAIKuuldavad Sora agendi võimekusedKinnitamata
GoogleDeepMindi maailmamudeli uurimistööAkadeemilised artiklid

Runway lähenemine keskendub inimese loomingulise kontrolli säilitamisele, automatiseerides samal ajal tehnilist teostust. Nende Act-One süsteem jäädvustab inimeste esitused ja tõlgib need tehisintellekti genereeritud tegelasteks, hoides inimesed loomeprotsessis.

MiniMax võtab vastupidise panuse: et paljude kasutusjuhtude puhul on täielikult autonoomne loomine väärtuslikum kui inimese ja tehisintellekti koostöö. Turg määrab lõpuks, milline lähenemine võidab.

Mõju videoloojatele

💡

Video Agent ei asenda inimese loovust. See tegeleb teostusega, et loojad saaksid keskenduda ideede genereerimisele ja lavastamisele.

Professionaalsete loojate jaoks muudavad autonoomsed agendid nagu Video Agent ametijuhendit, mitte ei kaota rolli. Olulised oskused nihkuvad tehniliselt teostuselt:

  • Loov juhtimine: Automatiseeritud süsteeme suunava visiooni määratlemine
  • Kvaliteedi hindamine: Tehisintellekti väljundi hindamine kunstiliste standardite suhtes
  • Iteratsiooni strateegia: Teadmine, millal ülesannet täpsustada versus käsitsi sekkuda
  • Publiku mõistmine: Publiku vajaduste tõlkimine tõhusateks ülesanneteks

Edukad on need loojad, kes õpivad tehisintellekti süsteeme tõhusalt juhtima, nagu režissöörid on kogu filmiajaloo vältel õppinud töötama uute kinematograafia tehnoloogiatega.

Tehnilised kaalutlused

Mitmed arhitektuurilised otsused teevad Video Agenti võimalikuks:

Hierarhiline planeerimine: Selle asemel, et genereerida videoid kaader-kaadri haaval, töötab süsteem mitmel abstraktsioonitasandil. Kõrgetasemelised narratiivsed otsused informeerivad kesktaseme võtete planeerimist, mis juhib madala taseme genereerimist. See peegeldab inimtoodangute toimimist.

Järjepidevuse mehhanismid: MiniMaxi tegelaskuju järjepidevuse tehnoloogia, mis tutvustati Hailuo 2.3-s, osutub siin oluliseks. Ilma stabiilse tegelaskuju välimuseta läbi võtete annaks autonoomne monteerimine katkendliku tulemuse.

Kvaliteedi väravad: Süsteem sisaldab hindamismooduleid, mis hindavad genereeritud sisu enne kokkupanekut. Võtted, mis ei vasta kvaliteedilävedele, genereeritakse automaatselt uuesti, säilitades järjepidevad väljundi standardid.

Neile, keda huvitab aluseks olev video genereerimise võimekus, annab meie juhtivate tehisintellekti videotööriistade võrdlus konteksti, kuidas Hailuo võrreldes alternatiividega positsioneerub.

Mida see tähendab tööstusele

Video Agent saabub tehisintellekti video murdepunkti. Tehnoloogia on piisavalt küpsenud, et piiravaks teguriks pole enam genereerimise kvaliteet, vaid tootmise töövoog. MiniMax tunnistas seda nihet ja ehitas vastavalt.

Muster on tuttav teistest tehisintellekti valdkondadest. Keelemudelid arenesid lõpetamismootoritest agentideks, mis suudavad veebis sirvida, koodi kirjutada ja mitmeastmelisi ülesandeid täita. Piltide genereerimine liikus üksikväljunditelt iteratiivsete disainitöövoogude poole. Video järgib sama trajektoori genereerimiselt orkestreerimisele.

Ettevõtted, kes järgmises faasis edu saavutavad, on need, kes mõistavad videotootmist kui töövoogu, mitte üksikut genereerimisülesannet. MiniMaxi varajane samm autonoomse tootmise suunas viitab, et nad mõtlevad õigete probleemide üle.

Vaade tulevikku

Video Agenti beetaversioon on tõenäoliselt alles algus. Autonoomse videoloomise teekaart osutab:

  • Põhiline mitme stseeniga narratiivi genereerimine
  • Automaatne stiili ja tegelaskuju järjepidevus
  • Reaalajas koostööline iteratsioon
  • Integratsioon väliste varade ja materjaliga
  • Täispikkade filmide tootmise võimekus

Nihe tööriistadelt agentidele esindab fundamentaalset muutust selles, kuidas me tehisintellekti videost mõtleme. Selle asemel, et küsida "kuidas ma selle võtte genereerin?", küsivad loojad üha enam "kuidas ma juhatan seda süsteemi oma visiooni saavutamiseks?"

Põhjalikuma ülevaate saamiseks sellest, kuidas maailmamudelid võimaldavad seda nihet autonoomsete tehisintellekti süsteemide suunas, vaata meie kajastust Runway GWM-1 ja laiema maailmamudeli paradigma kohta.

MiniMaxi Video Agent võib olla beetatoode, kuid see esindab eelvaadet sellest, kuhu kogu tööstus liigub. Küsimus pole enam selles, kas tehisintellekt suudab videot genereerida, vaid kas tehisintellekt suudab videot toota. Vastus on üha enam: jah.

Kas see artikkel oli kasulik?

Alexis

Alexis

Tehisintellekti insener

Tehisintellekti insener Lausanne'ist, kes ühendab teadussügavuse praktilise innovatsiooniga. Jagab oma aega mudelite arhitektuuride ja Alpi mäetippude vahel.

Like what you read?

Turn your ideas into unlimited-length AI videos in minutes.

Seotud artiklid

Jätkake uurimist nende seotud postitustega

Kas see artikkel meeldis teile?

Avastage rohkem põnevaid teadmisi ja püsige kursis meie uusima sisuga.

MiniMax Video Agent: Esimene AI, mis kirjutab, lavastab ja monteerib videoid iseseisvalt