Meta Pixel跳到主要内容
HenryHenry· AI 作者,经人工审核
9 min read
160

Kling 2.6:语音克隆与动作控制重新定义AI视频创作

快手最新更新引入同步音视频生成、自定义语音训练和精准动作捕捉功能,有望重塑创作者的AI视频制作方式。

Kling 2.6:语音克隆与动作控制重新定义AI视频创作

准备好创作您自己的 AI 视频了吗?

加入数千位使用 Bonega.ai 的创作者

如果您的AI生成角色能够用您的声音说话,用您的动作跳舞,而且这一切都在单次生成中完成,会是怎样的体验?Kling 2.6让这一切成为现实。

快手于12月3日发布了Kling Video 2.6,这绝非一次普通的版本迭代。本次更新从根本上改变了我们对AI视频创作的认知,因为它引入了业界多年来一直追求的技术:同步音视频生成

单次生成的革命性突破

让我们先回顾传统的AI视频工作流程:先生成无声视频,然后费力地单独添加音频。期望口型同步不要太违和,祈祷音效能与画面动作匹配。这个过程繁琐、耗时,而且经常产生那种我们不得不忍受的"音画不同步"的违和感。

Kling 2.6彻底颠覆了这一工作流程。

💡

通过同步音视频生成技术,您只需在单个提示词中描述想要的效果,模型就能同时生成视频、语音、音效和环境氛围。无需单独处理音频,无需手动同步。一次生成,万事俱备。

该模型支持多种音频类型:

7+
音频类型
10秒
最长时长
1080p
分辨率

从语音对话到旁白叙述,从歌唱说唱到环境音效,Kling 2.6可以生成单一或组合的音频类型。角色可以一边说话,一边听到背景中的鸟鸣和鹅卵石上的脚步回声,所有这些都在一次生成中完成。

语音克隆:您的声音,他们的口型

自定义语音训练功能是本次更新的核心亮点。上传您的语音样本,训练模型,您的AI生成角色就能以您的声音特征说话。

创意潜力
非常适合希望打造品牌角色声音的内容创作者、尝试AI主播的播客制作人,以及探索合成人声的音乐人。
伦理考量
语音克隆技术引发了关于知情同意和滥用的担忧。快手需要建立完善的验证机制,以防止未经授权的声音复制。

实际应用场景令人着迷。想象一位视频博主制作动画讲解视频,他的卡通形象能够用他本人的声音自然地说话。或者一位游戏开发者在早期迭代中无需聘请配音演员,就能快速制作角色对话原型。"创意构思"与"内容落地"之间的鸿沟正在缩小。

目前,该系统支持中文和英文语音生成。随着技术的成熟,预计将支持更多语言。

动作控制迈向专业级水准

Kling 2.6不仅改进了音频功能,在动作捕捉方面也有了显著提升。更新后的动作系统解决了AI视频中两个长期存在的问题:

手部清晰度

减少了手部动作的模糊和伪影。手指在复杂手势中不再融合成不规则的团块。

😊

面部精确度

更自然的口型同步和表情渲染。角色真正看起来像是在说话,而不只是嘴巴随意移动。

您可以上传3至30秒的动作参考视频,创建延长的序列,同时通过文本提示调整场景细节。拍摄您自己的舞蹈,上传参考视频,就能生成一个AI角色在完全不同的环境中表演相同动作。

💡

如需了解更多关于AI视频模型如何处理动作和时间一致性的内容,请参阅我们的扩散变换器深度解析

竞争格局

Kling 2.6面临激烈的竞争。Google Veo 3、OpenAI Sora 2和Runway Gen-4.5现在都提供原生音频生成功能。但快手有一个秘密武器:快手App。

快手在规模上堪比TikTok,为快手公司提供了海量的训练数据优势。数十亿条带有同步音频的短视频,赋予了模型竞争对手难以复制的资源:真实世界中人类如何在创意内容中结合语音、音乐和动作的实例。

API定价对比

服务商每秒成本备注
Kling 2.6$0.07-$0.14通过Fal.ai、Artlist、Media.io
Runway Gen-4.5约$0.25直接API
Sora 2约$0.20ChatGPT Plus包含积分

Kling的激进定价策略使其成为高产创作者的高性价比选择。

对创作者的意义

同步生成方式不仅在技术上令人印象深刻,更是工作流程的革命。请考虑节省的时间:

传统

旧工作流程

生成无声视频(2-5分钟) → 单独创建音频(5-10分钟) → 同步调整(10-20分钟) → 修复不匹配问题(时间不定)

Kling 2.6

新工作流程

编写包含音频描述的提示词 → 生成 → 完成

对于需要大量生产短视频内容的创作者来说,这种效率提升的累积效应是巨大的。原本需要一小时的工作,现在只需几分钟。

现存局限

没有任何技术是完美的。十秒片段仍然是时长上限。复杂的舞蹈动作有时会产生不自然的效果。语音克隆需要高质量的样本,否则会出现机器人般的瑕疵。

还有一个更深层的问题值得思考:当AI可以克隆您的声音并复制您的动作时,在创作过程中还有什么是独属于"您"的?

⚠️

语音克隆技术需要负责任地使用。在克隆任何人的声音之前,请务必确保获得适当的知情同意,并了解平台关于合成媒体的相关政策。

展望未来

Kling 2.6展示了AI视频的发展方向:集成式多模态生成,将视频、音频和动作融合成统一的创意媒介。问题不在于这项技术是否会成为行业标准,而在于竞争对手多快能够达到同等水平。

对于愿意尝试的创作者来说,现在正是探索的最佳时机。工具触手可及,价格合理,创意可能性真正令人耳目一新。但请记住:强大的生成能力意味着更大的责任。

💡

**延伸阅读:**了解原生音频生成如何改变行业,请阅读无声时代的终结,或在我们的Sora 2 vs Runway vs Veo 3分析中对比领先工具。

Kling 2.6可通过快手平台及第三方服务商获取,包括Fal.ai、Artlist和Media.io。API接入费用约为每秒生成视频$0.07起。

Henry
HenryCreative TechnologistAI Author

来自洛桑的创意技术专家,探索 AI 与艺术的交汇点。他在电子音乐创作间隙试验生成式模型。

View profile →

喜欢您读到的内容吗?

几分钟内将您的想法变成无限时长的 AI 视频。

相关文章

继续探索这些相关文章

喜欢这篇文章吗?

探索更多见解,并及时了解我们的最新内容。