Gen-2是由Runway公司开发的一款多模态AI系统,它可以利用深度学习技术,根据文字或图像的输入,生成新颖、逼真、多样的视频。

image.png


  • 文生视频:只需要输入一句话,就可以生成与之匹配的视频。比如输入“一个身材匀称或对称(symmetrical)的男人在酒吧接受采访”,就可以得到一个男人在酒吧里谈笑风生的场景。

  • 文本+参考图像生视频:可以输入一句话和一张图片,就可以生成与之相关的视频。比如输入“一名武装士兵沿着宇宙飞船的走廊奔跑,身后一道黑影摧毁了墙壁”和一张科幻风格的图片,就可以得到一个紧张刺激的动作片段。

  • 静态图片转视频:可以输入一张静态图片,就可以生成与之相似或变化的视频。比如输入一张山脉风景图,就可以得到一个飞行器在山脉上空飞行的画面。

  • 视频风格迁移:可以输入一个源视频和一个目标图片或文字,就可以将源视频的内容转换成目标风格。比如输入一个人在游泳的视频和一张海龟的图片,就可以得到一个海龟人在游泳的视频。

  • 故事板:可以输入一个简单的故事梗概或草图,就可以生成一个完整的故事板。比如输入“一个男孩在森林里遇到了一个神秘的女孩”,就可以得到一个包含场景、人物、动作和对话等元素的故事板。

  • 掩码:可以输入一个视频和一个文字,就可以对视频中的主体进行修改。比如输入一个小白狗在草地上走路的视频和“一只有黑色斑点的狗”,就可以得到一个小白狗变成了斑点狗的视频。

  • 渲染:可以输入一个未上色的渲染图和一个文字或图片,就可以对渲染图进行上色和细节处理。比如输入一个未上色的汽车模型和“一辆红色的跑车”,就可以得到一个红色的跑车模型。

  • 个性化:可以输入一个视频和一些参数,就可以对视频进行更高级的定制。比如输入一个人在说话的视频和“声音变高、眼睛变大、嘴巴变小”的参数,就可以得到一个声音变高、眼睛变大、嘴巴变小的人在说话的视频。

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

类似网站