Kling 2.6: Kloniranje glasu in nadzor gibanja spremenita ustvarjanje AI videov

Kuaishou je 3. decembra izdal Kling Video 2.6 in to ni le še ena postopna nadgradnja. Ta izdaja bistveno spreminja način razmišljanja o ustvarjanju AI videov, saj uvaja nekaj, kar industrija lovi že leta: sočasno generiranje zvoka in slike.

Revolucija enega prehoda

Tradicionalni potek dela z AI videi je bil takšen: najprej ustvariš nem video, nato pa se boriš z ločenim dodajanjem zvoka. Upaj, da sinhronizacija ustnic ni prevč neprijetna. Moliš, da zvočni učinki ustrezajo dogajanju. Okoren, dolgotrajen proces, ki pogosto ustvari tisti čudni občutek "neusklajenega zvoka in slike", ki smo se ga vsi navadili sprejemati.

Kling 2.6 ta potek dela pomete skozi okno.

Model podpira impresivno paleto vrst zvoka:

Od govora in dialogov do pripovedovanja, petja, repa in ambientalnih zvočnih kulis, Kling 2.6 lahko generira samostojne ali kombinirane vrste zvoka. Lik lahko govori, medtem ko v ozadju cvrkutajo ptice in koraki odmevajo po tlaku, vse sintetizirano v enem prehodu.

Kloniranje glasu: vaš glas, njihove ustnice

Trening glasov po meri krade pozornost. Naloži vzorec svojega glasu, natreniraš model in nenadoma tvoji AI liki govorijo s tvojimi glasovnimi značilnostmi.

Praktične uporabe so fascinantne. Predstavljaj si YouTuberja, ki ustvarja animirane razlagalne videe, kjer njegov animirani avatar naravno govori z njegovim dejanskim glasom. Ali razvijalca iger, ki prototipira dialoge likov brez najemanja glasovnih igralcev za zgodnje iteracije. Pregrada med "tvojo ustvarjalno vizijo" in "izvedljivo vsebino" je postala tanjša.

Trenutno sistem podpira generiranje glasov v kitajščini in angleščini. Več jezikov bo verjetno sledilo z zorenjem tehnologije.

Nadzor gibanja postaja resna

Kling 2.6 ne izboljšuje le zvoka. Dramatično izboljšuje tudi zajem gibanja. Posodobljen sistem gibanja naslavljа dva vztrajna problema, ki pestita AI video:

Lahko naloži reference gibanja med 3-30 sekundami in ustvariš podaljšane sekvence ob prilagajanju podrobnosti scene prek besedilnih pozivov. Posnamis sebe, kako plešeš, naloži referenco in generiraj AI lik, ki izvaja iste gibe v povsem drugem okolju.

Konkurenčna krajina

Kling 2.6 se srečuje z močno konkurenco. Google Veo 3, OpenAI Sora 2 in Runway Gen-4.5 vsi zdaj ponujajo nativno generiranje zvoka. Toda Kuaishou ima skrivno orožje: Kwai.

Kwai, po obsegu primerljiv s TikTokom, daje Kuaishouju ogromne prednosti pri podatkih za učenje. Milijarde kratkih videov s sinhroniziranim zvokom dajejo modelu nekaj, česar konkurenti ne morejo zlahka ponoviti: primere iz resničnega sveta, kako ljudje dejansko kombinirajo glas, glasbo in gibanje v ustvarjalnih vsebinah.

Kaj to pomeni za ustvarjalce

Pristop sočasnega generiranja ni le tehnično impresiven, je revolucija poteka dela. Pomisli na prihranjeni čas:

Za ustvarjalce, ki producirajo velike količine kratkih vsebin, ta pridobitev učinkovitosti drastično narašča. Kar je trajalo uro, zdaj traja minute.

Trik

Nič ni popolno. Desetsekundni posnetki ostajajo zgornja meja. Kompleksna koreografija včasih prinese čudne rezultate. Kloniranje glasu zahteva kakovostne vzorce, da se izogneš robotskim artefaktom.

In tu je širše vprašanje ustvarjalne avtentičnosti. Ko lahko AI klonira tvoj glas in ponovi tvoje gibe, kaj ostane edinstvenosno "tvoje" v ustvarjalnem procesu?

Pogled naprej

Kling 2.6 kaže, kam gre AI video: proti integriranemu multimodalnemu generiranju, kjer se video, zvok in gibanje zlijejo v enotni ustvarjalni medij. Vprašanje ni, ali bo ta tehnologija postala standard, ampak kako hitro bodo konkurenti dosegli te zmogljivosti.

Za ustvarjalce, pripravljene eksperimentirati, je zdaj čas za raziskovanje. Orodja so dostopna, cene razumne in ustvarjalne možnosti resnično nove. Le ne pozabi: z veliko generativno močjo pride velika odgovornost.

Kling 2.6 je na voljo prek platforme Kuaishou in tretjih ponudnikov, vključno s Fal.ai, Artlist in Media.io. Dostop do API se začne pri približno $0.07 na sekundo generiranega videa.