Kling 2.6: клонирование голоса и управление движением меняют создание AI-видео

Что, если ваши AI-персонажи могли бы говорить вашим голосом, танцевать вашими движениями и делать всё это за один проход генерации? Kling 2.6 сделал это реальностью.

3 декабря Kuaishou выпустила Kling Video 2.6, и это не просто очередное небольшое обновление. Этот релиз принципиально меняет наше представление о создании AI-видео, представляя то, к чему индустрия стремилась годами: одновременную аудиовизуальную генерацию.

Революция одного прохода

Вот как выглядит традиционный процесс создания AI-видео: сначала генерируется немое видео, затем приходится отдельно добавлять звук. Остаётся надеяться, что синхронизация губ не будет слишком неловкой. Молиться, чтобы звуковые эффекты соответствовали действию. Это громоздко, занимает много времени и часто создаёт то самое жутковатое ощущение «несовпадающего аудио и видео», к которому мы все научились относиться терпимо.

Kling 2.6 выбрасывает этот процесс в окно.

💡

При одновременной аудиовизуальной генерации вы описываете желаемое в одном промпте, а модель вместе создаёт видео, речь, звуковые эффекты и атмосферный фон. Никакого отдельного этапа работы со звуком. Никакой ручной синхронизации. Одна генерация, всё включено.

Модель поддерживает впечатляющий набор типов аудио:

Типов аудио

10s

Макс. длина

1080p

Разрешение

От речи и диалогов до закадрового текста, пения, рэпа и атмосферных звуковых ландшафтов, Kling 2.6 может генерировать отдельные или комбинированные типы аудио. Персонаж может говорить, пока на фоне щебечут птицы, а шаги отдаются эхом по булыжной мостовой, и всё это синтезируется за один проход.

Клонирование голоса: ваш голос, их губы

В центре внимания оказывается обучение пользовательскому голосу. Загрузите образец своего голоса, обучите модель, и ваши AI-персонажи вдруг заговорят с вашими вокальными характеристиками.

✓Творческий потенциал

Идеально для авторов контента, которым нужны фирменные голоса персонажей, подкастеров, экспериментирующих с AI-ведущими, или музыкантов, изучающих синтетический вокал.

✗Этические аспекты

Клонирование голоса вызывает очевидные опасения, связанные с согласием и злоупотреблениями. Kuaishou потребуются надёжные системы верификации, чтобы предотвратить несанкционированное воспроизведение голосов.

Практические применения впечатляют. Представьте YouTube-автора, создающего анимированные объясняющие ролики, в которых его мультяшный аватар естественно говорит настоящим голосом автора. Или разработчика игр, прототипирующего диалоги персонажей без найма актёров озвучивания для ранних итераций. Барьер между «вашим творческим замыслом» и «готовым к реализации контентом» стал ещё тоньше.

Сейчас система поддерживает генерацию голосов на китайском и английском языках. По мере развития технологии, вероятно, появятся и другие языки.

Управление движением становится серьёзным

Kling 2.6 не только улучшает аудио. Он также существенно расширяет возможности захвата движений. Обновлённая система движения решает две постоянные проблемы, преследующие AI-видео:

✋

Чёткость рук

Уменьшены размытие и артефакты при движениях рук. Пальцы больше не сливаются в бесформенные пятна во время сложных жестов.

😊

Точность мимики

Более естественная синхронизация губ и отображение выражений лица. Персонажи действительно выглядят так, будто произносят слова, а не просто хаотично двигают ртом.

Вы можете загружать референсы движений длительностью от 3 до 30 секунд и создавать расширенные последовательности, корректируя детали сцены текстовыми промптами. Снимите себя танцующим, загрузите референс и сгенерируйте AI-персонажа, выполняющего те же движения в совершенно другой среде.

💡

Чтобы подробнее узнать о том, как модели AI-видео обрабатывают движение и временную согласованность, ознакомьтесь с нашим подробным разбором диффузионных трансформеров.

Конкурентная среда

Kling 2.6 сталкивается с серьёзной конкуренцией. Google Veo 3, OpenAI Sora 2 и Runway Gen-4.5 теперь тоже предлагают нативную генерацию аудио. Но у Kuaishou есть секретное оружие: Kwai.

Kwai, сопоставимый с TikTok по масштабу, даёт Kuaishou огромные преимущества в обучающих данных. Миллиарды коротких видео с синхронизированным аудио дают модели то, что конкуренты не могут легко воспроизвести: реальные примеры того, как люди на самом деле объединяют голос, музыку и движение в творческом контенте.

Сравнение цен API

Поставщик	Стоимость за секунду	Примечания
Kling 2.6	$0.07-$0.14	Через Fal.ai, Artlist, Media.io
Runway Gen-4.5	~$0.25	Прямой API
Sora 2	~$0.20	Включённые кредиты ChatGPT Plus

Агрессивная ценовая политика Kling позиционирует его как бюджетный вариант для авторов, создающих контент в больших объёмах.

Что это значит для авторов

Подход с одновременной генерацией впечатляет не только технически, это революция рабочего процесса. Рассмотрим сэкономленное время:

Традиционный

Старый процесс

Генерация немого видео (2-5 мин) → Отдельное создание аудио (5-10 мин) → Синхронизация и корректировка (10-20 мин) → Исправление несоответствий (???)

Kling 2.6

Новый процесс

Написать промпт с описанием аудио → Сгенерировать → Готово

Для авторов, выпускающих большие объёмы короткого контента, этот прирост эффективности многократно усиливается. То, что занимало час, теперь занимает минуты.

Подвох

Ничто не идеально. Максимальная длина по-прежнему составляет десять секунд. Сложная хореография иногда даёт жутковатые результаты. Для клонирования голоса требуется тщательно подобранный образец, чтобы избежать роботизированных артефактов.

И остаётся более широкий вопрос творческой аутентичности. Когда AI может клонировать ваш голос и воспроизводить ваши движения, что остаётся уникально «вашим» в творческом процессе?

⚠️

Технология клонирования голоса требует ответственного использования. Всегда убеждайтесь, что у вас есть надлежащее согласие перед клонированием чьего-либо голоса, и учитывайте политики платформ в отношении синтетических медиа.

Взгляд вперёд

Kling 2.6 показывает, куда движется AI-видео: к интегрированной мультимодальной генерации, в которой видео, аудио и движение объединяются в единый творческий медиум. Вопрос не в том, станет ли эта технология стандартом, а в том, как быстро конкуренты сравняются с этими возможностями.

Для авторов, готовых экспериментировать, сейчас самое время исследовать эти возможности. Инструменты доступны, цены разумны, а творческие перспективы действительно новы. Просто помните: большая генеративная сила требует большой ответственности.

💡

Читайте также: Узнайте, как нативная генерация аудио трансформирует индустрию, в статье Эра немого видео заканчивается, или сравните ведущие инструменты в нашем анализе Sora 2 vs Runway vs Veo 3.

Kling 2.6 доступен через платформу Kuaishou и сторонних поставщиков, включая Fal.ai, Artlist и Media.io. Доступ к API начинается примерно от $0.07 за секунду сгенерированного видео.