runway Gen-3发布保姆级教程,深度解析文本提示词技巧

AI教程 2024-07-11

在AIGC的浩瀚领域中,文本引导词的艺术性被赋予了前所未有的重要性。随着Runway公司Gen-3 Alpha模型的震撼发布,一场关于如何精细驾驭生成式AI技术的革新风暴席卷而来。这不仅是科技进步的璀璨里程碑,更是激发无限创意与表达方式的全新篇章。

在探索Gen-3等前沿AI创作工具时,用户或许会遭遇一个普遍挑战:生成内容时常难以精准匹配心中的愿景。这背后的关键,往往在于引导词缺乏足够的细腻与精确。比如,“沙漠落日”这一表述虽美,却显得过于笼统,难以激发模型深层次的创意共鸣。

关于Gen-3的文本引导词构建策略,Runway智慧地提出了模块化思路,即将场景设定、主题构思及镜头动态等要素分门别类,清晰呈现,以达最佳效果。

文字生成类镜头

提示词:At night, fireworks burst in the sky, forming the words: 'Runway is the best.'

晚上,烟花在天空中绽放形成了文字:“Runway是最好的。”

image.png

将提示词中的“Runway是最好的”替换成“AI新榜”后的效果如下:

image.png

可见,Gen-3目前对中文的支持有限,但在英文文字输出方面已经相当成熟。虽然在测试过程中仍存在输出不稳定的情况,但在不超过三次“抽卡”的情况下,得到文字完整准确的视频已经足够令人惊喜。

长镜头生成

Gen-3支持生成长达10秒的多视角转换视频。

提示词:An extreme close-up shot of a desert lizard in a lush, grassy area. The camera pulls back, revealing the vast expanse of the desert.

极近距离拍摄一只沙漠蜥蜴在郁郁葱葱的草地上。摄像机拉远,展现出沙漠的辽阔景象。

image.png

在提示词中我们要求视频从大特写镜头过渡到全景镜头,最终生成的视频非常流畅且没有明显的画面瑕疵。AI生成的视频时长越长越容易“露怯”,Gen-3这轮表现相当惊艳。

人物类

一位白发戴眼镜的老先生正狼吞虎咽地吃着一个美味的奶酪汉堡。面包上撒满了芝麻,夹着新鲜的生菜、一片奶酪和一块金黄色的牛肉饼。当他咬下一口时,他的眼睛因享受而闭上。他穿着一件红色夹克,看起来像是坐在一家快餐店里。

Runway:

image.png

人物类镜头上,我们先用提示词“Will Smith Eating Spaghetti(威尔史密斯吃意大利面)”测试了一波Gen-3能否生成名人形象,得到了违反平台内容审核政策的消息提醒。

image.png

将提示词中的“Will Smith”替换成“一个男人正在吃意大利面”,才顺利生成了视频。

不过,以上两个Runway生成的人物类视频中,画面主体出现了“6指”或运动幅度过大导致的“歪脸”等常见的AI生成视频的技术瑕疵。

动物类

提示词:An orange cat is walking towards the camera.

一只橘猫正朝镜头走来。

这轮生成的视频在光影和视觉效果上相当吸睛,电影感拉满。但可惜的是,该条视频并未呈现出提示词所要求的主体运动。

考虑到可能是提示词不够详细,我们又写了多版提示词进行测试。测试结果显示,目前Gen-3仍存在和Sora一样的问题,无法理解电影拍摄术语,如“从景深处走向镜头”。

当然,由于篇幅原因我们没有测完所有电影术语。在处理“特写”“全景”等常见镜头表达方式时,Gen-3较少出错,但涉及到冷门的电影拍摄术语如希区柯克变焦(又称Dolly zoom),Gen-3就无法正确理解提示词的要求了。

提示词:A gigantic ginger cat walks along a quiet forest path,Dolly zoom.

一只巨大的橘猫沿着安静的森林小径行走,希区柯克变焦。

风景及超现实类镜头

提示词:Cherry blossoms fall gently from the tree, drifting slowly to the ground.The camera captures the movement of each petal, with a serene park or garden in the background, enhancing the scene's beauty and tranquility.

樱花轻柔地从树上飘落,缓缓地飘向地面。摄像机捕捉每片花瓣的移动,背景是宁静的公园或花园,增强了场景的美丽与宁静。

主流视频生成模型目前在风景类镜头生成上表现较为稳定。简单的日常风景难不倒这届AI,那超现实类的风景表现如何呢?

提示词:In the middle of the ocean, there is a tall, burning tree.

在海洋的中央,有一棵高大、燃烧着的树。

在本轮测试中,Gen-3生成的视频大致上符合我们对此超现实场景的想象。画面中的细节,例如树的高度和枝叶的繁茂程度,都可以通过进一步微调提示词来实现理想的画面效果。

动画类

提示词:In a 3D animation style, a little girl is casting a magical spell. The camera captures her movements as she waves her wand, creating sparkles and colorful light effects around her.

在3D动画风格中,一个小女孩正在施展魔法。镜头捕捉到她挥动魔杖的动作,周围闪烁着火花和五彩缤纷的光效。

最初我们喂给AI的提示词包含“皮克斯风格”,但与“威尔史密斯吃面”视频生成一样遭到了平台拒绝,之后改为“3D动画风格”才顺利生成视频。

整体视频生成效果上,5秒时长内没有出现人脸崩坏、重影等AI视频生成常见问题。只不过,细看会发现,人物手部“糊”成了一团。

分享就到这里,有迫不及待想要使用Gen-3 Alpha的,可以直接在AI569工具导航站搜索即可。

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

相关文章