ControlNet Reference（参考） 是ControlNet的一个组件，该组件能够被用于描述使用参考图像来指导和影响新图像生成的过程。ControlNet Reference（参考） 使得用户能够指定参考图像中期望的属性、构图或风格等属性，然后将这些元素融入到新生成的图像输出中。在官方文档中介绍到：reference-only预处理是一款不需要任何控制模型即可实现使用一张图片作为参考来引导扩散，能够保证生成图片的一致性。

通过提供一个参考图像，用户就可以对SD模型的输出施加更多的控制。模型从参考图像中的视觉线索、模式和特征中学习，并利用这些信息生成与期望风格或内容一致的图像。

ControlNet Reference（参考） 能够帮助用户在生成过程中实现更高程度的控制和定制，使它们能够将输出引导至特定的偏好或艺术视野 。这是生成与参考图像非常相似或受其启发的图像的有价值工具，增强了用户创建期望构图的能力。

ControlNet Reference体验

本文将会深入探讨ControlNet Reference（参考） 这个图像处理强大的工具。在ControlNet Reference（参考） 预处理器中提供三种不同的选项：

• reference adain (仅参考输入图-自适应实例规范)：Reference adain 预处理器采用自适应实例归一化技术进行风格迁移。该方法允许用户将参考图像的视觉风格转移到生成输出图像。

• reference only (仅参考输入图)：Reference only预处理器可以在参考图像和注意力层之间建立直接链接。链接使模型能够在图像生成过程中专注于参考图像的特定区域。

• reference adain+attn (仅参考输入图-自适应实例规范 + Attention链接)：Reference adain+attn预处理器是结合了Reference adain和Reference only预处理器的优势。能够在转移参考图像风格的同时，建立对注意力层的直接链接 。使用两者组合允许在图像生成过程中实现更多的生成输出图像控制和定制 。

与其他预处理器不同，Reference 不需要选择控制处理模型。一旦选择了此预处理器，模型下拉菜单将被隐藏。

以下体验使用模型配置为：

• 绘图模型：AWPortrait（1.5）

• 迭代步数：30

• CFG：7

• 分辨率：768*1280

• 启用adetailer修复手和脸。

本文中涉及模型下载地址：

• AWPortrait：https://www.liblib.art/modelinfo/721fa2d298b262d7c08f0337ebfe58f8

• MIRACLE-上海照相馆 LORA模型：https://www.liblib.art/modelinfo/8c05ca2385cb4cb89f5b903e919cf9d3

• vae-84m-pruned：https://www.liblib.art/modelinfo/de76e133a081b82a931f055084fd8583

ControlNet Reference配置

首先，在ControlNet中勾选Reference (参考)，勾选完美像素模式，选择一款预处理器（Reference adain、Reference only或Reference adain+attn）。然后，就可以利用参考预处理器生成与您期望的风格和视觉参考一致的图像。尝试使用不同的预处理器和参考图像，探索不同的创意可能性。

提示语

1girl, solo, chinese girl, black-hair,(smile:1.3), looking at viewer, (natural skin texture, soft light, sharp), blue background, High resolution, chocolae light, ((Hasselblad photography)), (straight-on:1.3),cowboy shot,full body, cinematic lighting, Sony FE, depth of field, Fujicolor, anatomically correct, textured skin, award winning, best quality, retina,Standing in the middle,

输入图像

Reference Only体验示例

在这里利用Reference (参考) 实现创建穿着不同服装的一致角色，实现风格一致性图像输出。从下图示例中，能够看出生成图像与原图80%以上的一致性，存在一些细节的差别。这如果在增加上IPA、InstantID或者换脸插件效果会更强。

Reference adain体验示例

Reference adain+attn体验示例

更多体验示例

01. 写真

high quality, photoshop, raw, 8K, 1girl, smile, upper body, Realistic facial details, Makeup, oil withe skin, Casual long dress, Bare shoulders, Pure white background, library

CN配置

输出图像

02.黑白照相馆

SHPortraitStudio, 1girl, monochrome, greyscale, solo, jewelry, earrings, dress, realistic, upper body, necklace, bare shoulders,<lora:20240122-1705884260870:0.65>,

CN配置

输出图像

文章来源网络，版权归原作者所有！