快手又有了大动作,开源面部表情迁移技术,整出了一个挤眉弄眼的大模型

AI快讯 2024-07-05

快手再次亮出科技新剑,此次聚焦于视频领域的面部表情迁移技术——LivePortrait,这一创新之举无疑为视频创作领域投下了一颗震撼弹。

image.png

从曝光的演示片段中,我们不难发现,LivePortrait在面部表情的捕捉与再现上达到了前所未有的细腻程度,彻底摆脱了以往技术中常见的“面瘫”尴尬,赋予视频角色鲜活的生命力。

image.png

LivePortrait的魅力,不仅仅局限于精准的表情迁移,它还拥有强大的兼容性与灵活性,能够轻松驾驭各类图片风格,并允许用户对面部动作进行细微调整,以达到更加贴合场景或创意需求的效果。这一功能的引入,无疑为视频创作者提供了更为广阔的创意空间。

image.png

尤为值得一提的是,LivePortrait的表情迁移技术对于AI视频生成领域具有里程碑式的意义。它不仅极大地提升了人物表演视频的逼真度,还进一步优化了数字人角色的说话细节,使得这些虚拟角色在互动中更加自然流畅。

更令人兴奋的是,LivePortrait还实现了静态照片到动态视频的华丽蜕变。通过这项技术,用户可以将照片中的静态面部表情赋予生动变化,创作出令人惊叹的动画作品。这对于图转视频、文转视频等创意形式而言,无疑是一次强有力的补充与提升。

为了打造更加完美的用户体验,LivePortrait团队在技术研发上倾注了大量心血。他们不仅将训练数据集扩充至6900万帧的高质量图像级别,还创新性地采用了图像与视频混合训练策略,以更全面地理解并捕捉静态与动态内容的精髓。同时,团队还对网络架构进行了深度优化与升级,确保动作变换的精准与优化目标的达成。

尤为值得一提的是,LivePortrait团队在关键点表示与模块设计上取得了突破性进展。他们发现紧凑的隐式关键点能够高效表达混合形状信息,并据此设计出了缝合模块与重定向模块。这些模块借助小型多层感知器(MLP)的强大能力,在几乎不增加计算负担的前提下,显著提升了技术的可控性与灵活性。

image.png

从演示图中我们可以看到,LivePortrait在眼睛与嘴唇重定向方面的表现尤为出色。此外,该技术还支持多人物表情与动作的同步处理,实现了无缝的动画效果展示。无论是个人自拍还是群体合照都能轻松驾驭,让每一帧画面都充满生动与和谐。

image.png

除了表情迁移外,LivePortrait还具备风格迁移的能力。通过结合不同风格的图像数据进行训练,该技术能够生成包括卡通、绘画等在内的多种风格动画作品,满足不同用户的个性化需求。

在效率方面LivePortrait同样表现出色。依托高性能GPU的支持,该技术能够实现每帧12.8毫秒的生成速度,为实时应用提供了强有力的保障。这意味着无论是数字人生成还是实时直播场景都能轻松应对,为用户带来更加流畅与自然的观看体验。

综上所述快手LivePortrait技术的问世无疑为视频创作领域带来了全新的可能性与无限的想象空间。我们期待这一技术能够在未来得到更广泛的应用与发展为视频创作者与观众带来更多惊喜与感动。

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

相关文章