Meta Pixel
HenryHenry
7 min read
1311 vārdi

SenseTime Seko 2.0: Ģenerē 100 sēriju AI seriālu no vienas komandas

SenseTime tikko palaida nozares pirmo vairāksēriju AI video aģentu. Seko 2.0 var izveidot veselus animācijas seriālus ar konsekventsām personām, balsīm un siežetiem no vienas radošās idejas. AI ģenerēta seriāla satura era ir klāt.

SenseTime Seko 2.0: Ģenerē 100 sēriju AI seriālu no vienas komandas

Ko darītu, ja varētu aprakstīt stāsta koncepciju un ļaut AI ģenerēt veselu 100 sēriju animācijas seriālu? Ne atrauti klipi. Saskaņotu stāstījumu ar konsekventsām personām, balsīm un siežeta turpinājumu. SenseTime padarīja to reālu ar Seko 2.0.

Aiz atsevišķiem klipiem: Serializācijas problēma

Katram AI video modelim ir viens un tas pats ierobežojums: tie ģenerē izolētus brīžus. 10 sekunžu klipu ar personu ejam. Cits klips, kur viņi runā. Trešais, kur viņi reaģē. Šo savienošana saskaņotā stāstā? Tā ir jūsu problēma.

💡

Serializācijas problēma nav par ģenerēšanas kvalitāti. Tā ir par atmiņu. Kā AI atceras, ka galvenajam varonim ir rēta uz kreisās vaiga? Ka ļaundaris nomainīja puses 12. sērijā? Ka mīļotā vārds ir uzrakstīts subtitros īpašā veidā?

Tāpēc profesionālai animācijai joprojām ir nepieciešami mākslinieku pulki, kas pārbauda modeļu lapas, uztur stila ceļvežus un nodrošina konsekvenci starp sērijām. AI varēja ģenerēt atsevišķus kadrus, bet tas nevarēja uzturēt stāstu.

Līdz šim.

Ko Seko 2.0 faktiski dara

  1. gada 15. decembrī SenseTime izlaida Seko 2.0, ko viņi apraksta kā nozares pirmo vairāksēriju video ģenerēšanas aģentu. Atslēgas vārds ir "aģents", ne "modelis."
100
Sērijas no vienas komandas
25 FPS
Ģenerēšanas ātrums
3.5s
Pirmā kadra latentums

Šeit ir darba gaita:

  1. Jūs sniedzat radošu koncepciju dabiskā valodā
  2. Seko 2.0 ģenerē pilnu stāsta aprisi
  3. Sistēma izveido detalizētu siežeta sadalījumu līdz 100 sērijām
  4. Katra sērija ģenerējas ar konsekventu personāžu dizainu, balsi un pasaules veidošanu
  5. Personāži atceras iepriekšējos notikumus un attiecības attīstās

AI neģenerē 100 nejaušus klipus. Tā uztur stāstījuma stāvokli visā seriālā.

Tehniskā arhitektūra

Vairāksēriju atmiņa

  • Globāla personāžu datubāze
  • Pasaules stāvokļa izsekošana
  • Laika līnijas konsekvence
  • Attiecību grafiki
  • Siežeta konsekvences dzinējs

Ģenerēšanas konveijers

  • SekoIDX attēlu/personāžu modelēšanai
  • SekoTalk balsij vadītai lūpu sinhronizācijai
  • Fāžu DMD destilācija
  • 8-GPU paralēlā apstrāde
  • 25× izmaksu samazināšana salīdzinājumā ar bāzes modeli
💡

SekoTalk ir īpaši iespaidīgs: tas ir pirmais risinājums, kas atbalsta lūpu sinhronizāciju vairāk nekā diviem runātājiem vienlaikus. Vairāku personāžu dialoga ainas, kas agrāk prasīja kadru pa kadram animāciju, tagad ģenerējas reāllaikā.

"Fāžu DMD destilācija" ir vērts uzmanības. Šī tehnika dramatiski samazina secinājumu izmaksas, vienlaikus saglabājot kustības kvalitāti un emocionālo izteiksmi. SenseTime apgalvo līdz 25× izmaksu samazinājumu salīdzinājumā ar viņu bāzes modeļiem, padarot seriāla ģenerēšanu ekonomiski dzīvotspējīgu.

Kāpēc tas ir svarīgi radītājiem

Ļaujiet man uzzīmēt attēlu par to, ko tas ļauj:

Tradicionālā animācijas seriāla ražošana:

  • Koncepcijas izstrāde: 3-6 mēneši
  • Priekšražošana: 6-12 mēneši
  • Sērijas ražošana: 2-4 nedēļas katra
  • Balss ierakstīšana: Vairākas studiju sesijas katrai sērijai
  • Izmaksas: 100 000+ dolāri par sēriju (kvalitātes saturam)

Seko 2.0 ražošana:

  • Koncepcija: Viena rindkopa
  • Ģenerēšana: Stundas par sēriju
  • Balss: Ģenerēta kopā ar vizuālajiem elementiem
  • Izmaksas: "Krūze piena tējas" saskaņā ar SenseTime

Demokratizācija šeit ir satriecoša. Viens radītājs tagad var ražot to, kas iepriekš prasīja studiju.

Ķīnas AI video uzbrukums

Seko 2.0 ir daļa no plašāka modeļa, ko mēs esam izsekojuši. Ķīnas tehnoloģiju uzņēmumi piegādā agresīvas AI video iespējas ievērojamā tempā:

5. decembris

Kuaishou Kling O1

Pirmais vienotais multimodāls video modelis

15. decembris

SenseTime Seko 2.0

Pirmais vairāksēriju ģenerēšanas aģents

16. decembris

Alibaba Wan2.6

Atsauce-uz-video ar identitātes saglabāšanu

17. decembris

Tencent HunyuanVideo 1.5

Patērētāja-GPU draudzīgs atvērta koda

⚠️

Tie nav inkrementāli atjauninājumi. Katrs pārstāv jaunu spēju, kas neeksistēja AI video ainava pirms mēneša.

Stratēģiskais konteksts ir svarīgs. Ķīnas uzņēmumi saskaras ar čipu eksporta ierobežojumiem un ASV mākoņa pakalpojumu ierobežojumiem. Viņu atbilde? Inovācija arhitektūrā un programmatūras efektivitātē, nevis jēlā skaitļošanas jaudā. Seko 2.0 25× izmaksu samazināšana ir šā spiediena tiešs rezultāts.

Personāžu konsekvence lielā mērogā

Viena no grūtākajām problēmām AI video ir personāžu konsekvencess uzturēšana starp ģenerācijām. Mēs to izpētījām mūsu dziļā izskatā par personāžu konsekvensi, un Seko 2.0 pārstāv nozīmīgu progresu.

Sistēma uztur:

  • Sejas iezīmes visās sērijās
  • Apģērba un aksesuāru konsekvence
  • Balss tembrs un runāšanas modeļi
  • Personāža augstums un proporcijas
  • Attiecību dinamika starp personāžiem

Tas pārsniedz tehnisko konsekvensi. AI saprot, ka personāžiem jābūt uzvedībai konsekventai. Kautrīgs personāžs nepēkšņi nekļūst ekstravertēts 50. sērijā, izņemot gadījumu, kad stāsts to prasa.

Reālās pasaules validācija

SenseTime ne tikai izlaiž tehnoloģiju demonstrējumus. Viņiem ir ražošanas izvietojumi:

🎬

Wanxinji uz Douyin

Seko ģenerētā tiešraides darbības īsā drāma sasniedza 1. vietu Douyin (Ķīnas TikTok) AI īsā drāmas topā. Tas nav tehnisks izrādes veids, tas ir saturs, kas konkurē ar cilvēku radītu izklaidi.

🎥

Yuandongli Film partnerība

SenseTime paziņoja par stratēģisko sadarbību ar Yuandongli Film, lai izpētītu AIGC filmu un televīzijas ražošanā. Viņi plāno laist AI ģenerētas īsās drāmas un inkubē teātra filmas nākamgad.

Pāreja no "iespaidīga demo" uz "komercializējamu saturu" ir īsta validācija. Kad faktiskie skatītāji izvēlas skatīties AI ģenerētus seriālus pār alternatīvām, tehnoloģija ir šķērsojusi slieksni.

Cambricon savienojums

💡

Bieži nepamanīts detaļa: Seko 2.0 darbojas uz Cambricon čipiem, Ķīnas AI čipu ražotājs. Tas pārstāv pilnīgu AI video iespēju lokalizāciju.

Nozīme ir stratēģiska. Ķīnas AI uzņēmumi veido pilnas tehnoloģiju krātuvves, kas nav atkarīgas no ASV aparatūras eksporta. Neatkarīgi no tā, vai jūs to uzskatāt par satraucošu vai apbrīnas vērtu, tehniskais sasniegums ir neapstrīdams.

Kā tas salīdzina

Kur Seko 2.0 iekļaujas pašreizējā ainavā?

ModelisAtsevišķi klipiVairāksērijuPersonāžu atmiņaDabiskā audio
Sora 2✅ IzcilsIerobežots
Runway Gen-4.5✅ Labākā kvalitāteIerobežots
Veo 3.1✅ SpēcīgsIerobežots
Kling O1✅ SpēcīgsIerobežots
Seko 2.0✅ Labs✅ 100 sērijas✅ Pilnīgs

Seko 2.0 nekonkurē atsevišķu klipu kvalitātē. Tas rada pilnīgi jaunu kategoriju: seriāla AI video ražošana.

Seko 2.0 stiprās puses

Vairāksēriju ģenerēšana ar stāstījuma konsekvensi, personāžu atmiņa visā seriālā, izmaksu efektīvs lielā mērogā, vairāku runātāju lūpu sinhronizācija

Pašreizējie ierobežojumi

Galvenokārt ķīniešu valodas interfeiss, mazāk nobriedis nekā rietumu alternatīvas atsevišķiem klipiem, ekosistēma joprojām attīstās

Ko tas nozīmē nozarei

Sekas pārsniedz satura radīšanu:

Radītājiem:

  • Solo ražošana seriāla saturā
  • Ātra stāsta koncepciju prototipēšana
  • Fanu saturs nepieredzētā mērogā
  • Personalizēta izklaide

Studijām:

  • Priekšvizualizācija seriāla līmenī
  • Izmaksu samazinājums animācijā
  • Jauni IP izstrādes darba plūsmas
  • Lokalizācija un adaptācija

Konkurences spiediens uz tradicionālajām animācijas studijām ir ievērojami pastiprināts. Kad viens cilvēks var ražot to, kas iepriekš prasīja 50 cilvēku komandu, satura ražošanas ekonomika mainās fundamentāli.

Izmēģini pats

Seko 2.0 ir pieejams publiskai testēšanai caur SenseTime platformu:

  1. Apmeklē seko.sensetime.com
  2. Ievadi radošu koncepciju dabiskā valodā
  3. Ļauj sistēmai ģenerēt stāsta aprisi
  4. Pārskatīt sērijas sadalījumu
  5. Ģenerē sērijas ar konsekventiem personāžiem

Interfeiss ir galvenokārt ķīniešu valodā, bet tehnoloģija runā pati par sevi. Pat demonstrējumu skatīšanās dod jums sajūtu par to, ko vairāksēriju ģenerēšana ļauj.

Lielākā aina

Mēs esam liecinieki AI video kategorijas maiņai. Jautājums vairs nav "vai AI var ģenerēt video?" bet "vai AI var stāstīt stāstus?"

Seko 2.0 atbild jā. Ne perfekti, ne katram lietošanas gadījumam, bet nozīmīgi. Serializācijas problēma, kas ierobežoja AI video uz izolētiem klipiem, tiek atrisināta.

Vairāk konteksta par to, kā AI video ainava attīstās:

Plaisa starp koncepciju un saturu turpina sabrukt. Ar Seko 2.0 šis sabrukums paplašinās no atsevišķiem klipiem uz veseliem seriāliem.

Viena komanda. Simts sērijas. Viens radītājs.

Seriāla izklaides nākotne tikko ieradās 2025. gada decembrī.


Avoti

Vai šis raksts bija noderīgs?

Henry

Henry

Radošais Tehnoloģists

Radošais tehnoloģists no Lozannas, kurš pēta, kur MI satiekas ar mākslu. Eksperimentē ar ģeneratīviem modeļiem starp elektroniskās mūzikas sesijām.

Saistītie raksti

Turpiniet izpēti ar šiem saistītajiem rakstiem

Vai jums patika šis raksts?

Atklājiet vairāk ieskatu un sekojiet līdzi mūsu jaunākajam saturam.

SenseTime Seko 2.0: Ģenerē 100 sēriju AI seriālu no vienas komandas