Kling 2.6: Кланаванне голасу i кантроль руху змяняюць стварэнне AI-відэа

А калі вашы AI-персанажы змогуць гаварыць вашым голасам, танцаваць вашымі рухамі, i рабіць гэта за адзін праход генерацыі? Kling 2.6 зрабіў гэта рэальнасцю.

Kuaishou выпусціў Kling Video 2.6 трэцяга снежня, i гэта не проста чарговае паступовае абнаўленне. Гэты рэліз прынцыпова змяняе наша ўяўленне пра стварэнне AI-відэа, прадстаўляючы тое, за чым індустрыя палявала гадамі: адначасовую генерацыю аўдыё i відэа.

Рэвалюцыя аднаго праходу

Вось як выглядаў традыцыйны працоўны працэс AI-відэа: генеруеш нямое відэа, потым мітусішся з асобным дабаўленнем аўдыё. Спадзяешся, што сінхранізацыя вуснаў не будзе надта крывой. Молішся, каб гукавыя эфекты адпавядалі дзеянню. Гэта нязграбна, займае час i часта дае той мутарны эфект "неадпаведнага аўдыё-відэа", да якога мы ўсе навучыліся цярпець.

Kling 2.6 выкідвае гэты працоўны працэс у акно.

💡

Пры адначасовай генерацыі аўдыё-відэа вы апісваеце жаданае ў адным промпце, i мадэль стварае відэа, маўленне, гукавыя эфекты i амбіентную атмасферу разам. Ніякага асобнага аўдыё-праходу. Ніякай ручной сінхранізацыі. Адна генерацыя, усё ўключана.

Мадэль падтрымлівае ўражлівы дыяпазон тыпаў аўдыё:

Тыпаў аўдыё

10с

Макс. даўжыня

1080p

Раздзяленне

Ад маўлення i дыялогаў да нарацыі, спеваў, рэпу i амбіентных саўндскейпаў, Kling 2.6 можа генераваць асобныя або камбінаваныя тыпы аўдыё. Персанаж можа гаварыць, пакуль на фоне шчабечуць птушкі i крокі гучаць па брукаванцы, усё сінтэзавана за адзін праход.

Кланаванне голасу: ваш голас, іхнія вусны

Навучанне ўласных галасоў крадзе ўвагу. Загружаеш узор свайго голасу, трэніруеш мадэль, i раптам твае AI-персанажы гавораць з тваімі вакальнымі характарыстыкамі.

✓Крэатыўны патэнцыял

Ідэальна для кантэнт-крэатараў, якія хочуць брэндаваныя галасы персанажаў, падкастараў, што эксперыментуюць з AI-вядучымі, або музыкантаў, што даследуюць сінтэтычныя вакалы.

✗Этычныя меркаванні

Кланаванне голасу падымае відавочныя пытанні згоды i злоўжыванняў. Kuaishou патрэбны надзейныя сістэмы верыфікацыі для прадухілення несанкцыянаванага капіравання галасоў.

Практычныя прымяненні захапляюць. Уявіце ютубера, які стварае анімаваныя тлумачальныя відэа, дзе яго мультяшны аватар натуральна гаворыць яго сапраўдным голасам. Або распрацоўшчыка гульняў, які прататыпуе дыялогі персанажаў без наймання голасавых акцёраў для ранніх ітэрацыяў. Бар'ер паміж "вашым крэатыўным бачаннем" i "рэалізаваным кантэнтам" стаў танчэйшым.

Цяпер сістэма падтрымлівае генерацыю галасоў на кітайскай i англійскай. Больш моў, верагодна, дадасцца з развіццём тэхналогіі.

Кантроль руху становіцца сур'ёзным

Kling 2.6 не толькі паляпшае аўдыё. Ён драматычна паляпшае захоп руху. Абноўленая сістэма руху вырашае дзве пастаянныя праблемы AI-відэа:

✋

Выразнасць рук

Зменшанае размыццё i артэфакты пры руху рук. Пальцы больш не зліваюцца ў аморфныя плямы падчас складаных жэстаў.

😊

Дакладнасць твару

Больш натуральная сінхранізацыя вуснаў i адлюстраванне выразаў. Персанажы сапраўды выглядаюць так, быццам яны гавораць словы, а не проста выпадкова рухаюць ротам.

Можна загрузіць рэферэнсы руху ад 3 да 30 секунд i ствараць пашыраныя паслядоўнасці, карэктуючы дэталі сцэны праз тэкставыя промпты. Зніміце сябе танцуючым, загрузіце рэферэнс i згенеруйце AI-персанажа, які выконвае тыя ж рухі ў зусім іншым асяроддзі.

💡

Больш пра тое, як AI-мадэлі відэа апрацоўваюць рух i часавую ўзгодненасць, глядзіце ў нашым глыбокім разборы дыфузійных трансформераў.

Канкурэнтны ландшафт

Kling 2.6 сутыкаецца з сур'ёзнай канкурэнцыяй. Google Veo 3, OpenAI Sora 2 i Runway Gen-4.5 цяпер усе прапануюць натыўную генерацыю аўдыё. Але Kuaishou мае сакрэтную зброю: Kwai.

Kwai, параўнальны па маштабе з TikTok, дае Kuaishou вялізныя перавагі ў трэніровачных даных. Мільярды кароткіх відэа з сінхранізаваным аўдыё даюць мадэлі тое, што канкурэнты не могуць лёгка паўтарыць: рэальныя прыклады таго, як людзі насамрэч камбінуюць голас, музыку i рух у крэатыўным кантэнце.

Параўнанне цэн API

Правайдэр	Цана за секунду	Заўвагі
Kling 2.6	$0.07-$0.14	Праз Fal.ai, Artlist, Media.io
Runway Gen-4.5	~$0.25	Прамы API
Sora 2	~$0.20	Уключаныя крэдыты ChatGPT Plus

Агрэсіўнае цэнаўтварэнне Kling пазіцыянуе яго як бюджэтны варыянт для крэатараў з вялікімі аб'ёмамі.

Што гэта значыць для крэатараў

Падыход адначасовай генерацыі не проста тэхнічна ўражлівы, гэта рэвалюцыя працоўнага працэсу. Падумайце пра зэканомлены час:

Традыцыйна

Стары працоўны працэс

Генеруй нямое відэа (2-5 хв) → Стварай аўдыё асобна (5-10 хв) → Сінхранізуй i наладжвай (10-20 хв) → Выпраўляй неадпаведнасці (???)

Kling 2.6

Новы працоўны працэс

Напішы промпт з апісаннем аўдыё → Генеруй → Гатова

Для крэатараў, якія вырабляюць вялікія аб'ёмы кароткага кантэнту, гэты выйгрыш эфектыўнасці назапашваецца драматычна. Тое, што займала гадзіну, цяпер займае хвіліны.

Падводныя камяні

Нішто не ідэальнае. Дзесяцісекундныя кліпы застаюцца столлю. Складаная харэаграфія часам дае мутарныя вынікі. Кланаванне голасу патрабуе якасных узораў, каб пазбегнуць рабатызаваных артэфактаў.

I ёсць шырэйшае пытанне крэатыўнай аўтэнтычнасці. Калі AI можа кланаваць ваш голас i паўтарыць вашы рухі, што застаецца ўнікальна "вашым" у крэатыўным працэсе?

⚠️

Тэхналогія кланавання голасу патрабуе адказнага выкарыстання. Заўсёды пераканайцеся, што маеце належную згоду перад кланаваннем чыйгосьці голасу, i будзьце дасведчаны пра палітыку платформаў адносна сінтэтычных медыя.

Поглед наперад

Kling 2.6 паказвае, куды накіроўваецца AI-відэа: да інтэграванай мультымадальнай генерацыі, дзе відэа, аўдыё i рух зліваюцца ў адзіны крэатыўны медыум. Пытанне не ў тым, ці стане гэтая тэхналогія стандартам, а наколькі хутка канкурэнты дагоняць гэтыя магчымасці.

Для крэатараў, гатовых эксперыментаваць, цяпер час даследаваць. Інструменты даступныя, цэны разумныя, а крэатыўныя магчымасці сапраўды новыя. Проста памятайце: з вялікай генератыўнай сілай прыходзіць вялікая адказнасць.

💡

Звязанае чытанне: Даведайцеся, як натыўная генерацыя аўдыё трансфармуе індустрыю ў Канец нямой эры, або параўнайце вядучыя інструменты ў нашым аналізе Sora 2 vs Runway vs Veo 3.

Kling 2.6 даступны праз платформу Kuaishou i старонняга правайдэраў, уключаючы Fal.ai, Artlist i Media.io. Доступ да API пачынаецца прыблізна ад $0.07 за секунду згенераванага відэа.