零基础也能做!使用AI工具打造电影级对白镜头的步骤详解
之前电影《流浪地球2》里,吴京饰演的刘培强,刘德华饰演的图恒宇,在故事中都会涉及到几十年的时间跨度,细心的观众们会发现,电影中吴京和刘德华一下子回到了观众记忆中的青春样貌,“变脸”效果让观众们对科幻电影中的面部特效感到惊艳不已。
其实这正是主创团队利用AI技术从而完成了观众在大银幕上看到的呈现。技术团队拿到吴京年轻时候的表演素材,然后通过人工智能的方式去训练,而一个模型就需要500万多次的训练调教。
去年8月份,优酷上线独播剧《异人之下》,阿里大文娱虚拟人厘里,在剧中扮演二壮的角色,这也是国内数字虚拟演员首次参演真人剧集。优酷工作人员介绍,厘里是阿里大文娱技术团队自研AI技术生成的超写实虚拟人,此次通过真人替身加后期光场制作的方式,呈现在《异人之下》中。“原著里,二壮这一角色通过脑电波与外界互动,这次用数字人替代传统影视特效技术,呈现虚拟形象,也平复了原著粉的意难平。”
虽然是虚拟人,但剧中的厘里同样具有真人特质。特写画面里,可以清晰看到厘里与真人演员交互时细微的表情变化、面部肌肉运动甚至眼神情绪的交流。全景镜头下,厘里身体光影和环境光的反射效果也与真人演员无异。
尽管好莱坞内部关于人工智能在电影行业中的整合一直存争议,但重要的是要认识到人工智能所拥有的巨大力量。目前这些工具可能还达不到标准,但这仅仅是开始。很快,大家很快就可以在人工智能的帮助下制作一整部电影。
那么如何用AI工具,从零开始,制作一个有真实感的电影对白镜头?
工作流及工具:
1. midjourney 文生图做初始图像
2. LeonardoAi 放大/增强初始图像
3. Photoshop 剪出主体、绿屏、1:1 裁剪,为第 10 步制作干净的背景板。
4. 单反相机或手机,录制自己说话的片段
5. Adobe Podcast 提高语音录制质量
6. elevenlabsio 用于 "语音转语音"(使用自定义训练的语音)
7. Adobe Premiere 将输入视频剪辑和裁剪为 1:1,使视频中脸部的大小和位置尽可能接近输入图像
8. AniPortrait(replicate.com/camenduru/aniportrait-vid2vid )图像音频合成
9. topazlabs 将 AniPortait 输出的视频 AI 放大 4 倍
10. runwayml Gen2 的 "摄像机放大Camera Zoom In "设置为 0.1,在不移动摄像机的情况下制作背景动效
11. suno ai制作文字音乐背景音乐
12. Adobe Premiere 和 Keylight 对绿屏进行抠像,并再次以 16:9 的比例合成所有内容。