SD插件篇：InstantID面部特征一致性风格保持与迁移

AI教程 2024-05-28

之前有很多人询问关于风格迁移IPA、Instant ID等安装和使用方法，内容虽基础但也属常用工具，因此给大家出一个教程。

Instant ID 是一个创新的无需调整的风格保持和迁移方法，能够结合了 ControlNet 和 IP-Adapter 来控制扩散过程中的面部特征的风格迁移。Instant ID 的一个独特设计在于将IP-Adapter中投影的面部嵌入作为交叉注意力输入传递给 ControlNet unet，而非使用常规方法：ControlNet unet的交叉注意力输入是提示的文本嵌入。如下图所示：图片

项目主页：https://instantid.github.io/

Instant ID插件安装

Instant ID安装需要升级对应的sd-webui-controlnet插件，对应版本不低于v1.1.438。

模型下载

然后下载对应模型，并将其放置在 stable-diffusion-webui/models/ControlNet 目录下。同时需要将模型重命名为 ip-adapter_instant_id_sdxl.bin 和 control_instant_id_sdxl.safetensors，以便插件能够正确识别这两个模型（模型已经放置文末口令获取）。

• IP-Adapter模型：https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true

• ControlNet 模型：https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true

Instant ID使用

在SD-WebUI 中使用InstantID插件需要设置两个模型。并且，需要牢记：应该始终将 ipadapter 模型始终设置为第一个模型，因为 ControlNet 模型需要接收 ipadapter 模型的输出作为后续输入。

Unit 0 设置

在 ControlNet 单元之前，必须设置 ip-adapter单元。IP-Adapter 单元输出的面部嵌入将作为下一个 ControlNet 单元的输入之一。

Unit 1 设置

ControlNet 单元接受包含面部5个关键点的关键点图，因此需要在Unit 1中使用keypoints选项。在这里可以使用与Unit 0中相同的人物的面部关键点，也可以不使用同一张面部图像作为输入。

另外，在官方文档中建议：将 CFG 设置为 4~5 以获得最佳结果。同时也提到，根据采样方法和基础模型这个数字可能会有所不同，但通常需要使用的 CFG 比例略低于正常的 CFG。同时还提到，如果将宽度x高度设置为1024*1024，那么生成水印、徽标的几率更高。这不能通过在负面提示中添加徽标水印关键词来纠正。可以通过设置其他宽度 x 高度值来避免这个问题。

Instant ID 体验

本小节中使用绘图配置为：

• 绘图模型：墨幽人造人XL

• 迭代步数：30

• CFG：5

• 分辨率：888*1280

本文使用到模型下载地址：

• 真实摄影模型 - 墨幽人造人XL：https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b

• 动漫模型 - Dream Anime XL | 筑梦动漫XL模型：https://www.liblib.art/modelinfo/7d1e1851c72448e586b0d7fb29c51e53

• 筑梦工业 | 港风胶片XL LoRA模型：https://www.liblib.art/modelinfo/985918864a4c46de8e2c5bb984ee0ab1

• add-detail-xl LoRA模型：https://www.liblib.art/modelinfo/1f290178083844fb9a22e6e76d8546fa

• DetailedEyes_XL LoRA模型：https://www.liblib.art/modelinfo/68ece914e617433fa62410a8496edc53

01. 蓝色写真

绘图模型：墨幽人造人XL模型

woman,moyou, solo, on side, dress, lying, black hair, blue dress, snow, blue eyes, blue theme, looking at viewer, bare shoulders, lips, hair ornament, bare arms, A Beautiful Chinese Woman, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>,

02. 光影写真

绘图模型：墨幽人造人XL模型

chinese women,tan lines,deep photo,depth of field,Superia 400,shadows,messy hair,perfect face and body,dark,nighttime,dark photo,grainy,seductive smirk,((eyes closed)),, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>,

03. 水中写真

绘图模型：墨幽人造人XL模型

(masterpiece,best quality, ultra realistic,32k,RAW photo,detail skin, 8k uhd, dslr,high quality, film grain:1.5),close up portrait of a cute woman bathing in a river,(backlighting),lens flare,shade,bloom,[[chromatic aberration]],by Jeremy Lipking,by Antonio J. Manzanedo,digital painting,, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

04. 动漫香港风

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

05. 霓虹动漫

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style,close-up shot side view of an attractive woman with glasses wearing black knitted crewneck leaning against the wall standing in front of a neon sign,neon red lighting,in the style of Wong Kar Wai film,award-winning picture,highly detailed,ultra-high resolutions,32K UHD,best quality,masterpiece,, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

06. 香港风动漫-酒吧

绘图模型：Dream Anime XL | 筑梦动漫XL模型

HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>