SD插件篇:人物面部特征稳定性大比拼,谁能在细节中脱颖而出?

AI教程 2024-05-30

ComfyUI_FaceAnalysis是ComfyUI中一款人脸分析插件扩展,该框架用于评估两张人脸之间相似度的工具。插件扩展原理是利用 DLib 或 InsightFace 来计算两个人脸之间的欧几里得距离和余弦距离。注意距离越近,则表示是面部特征近似。

image.png

安装指南

首先通过ComfyUI插件搜索ComfyUI_FaceAnalysis,并点击安装该插件。插件地址为:https://github.com/cubiq/ComfyUI_FaceAnalysis

然后还需要安装 InsightFace 或 Dlib 模型来实现面部评估。

• InsightFace:可使用命令安装 pip install insightface -U。

• Dlib:对于window用户可以下载安装包pip安装,下载地址为:https://github.com/z-mahmud22/Dlib_Windows_Python3.x 。使用命令如下,请注意与本地Python版本对齐。

image.png

另外对于Dlib 的安装,还需要下载如下4个模型,并放置在目录下 /ComfyUI/custom_nodes/ComfyUI_FaceAnalysis/dlib:

• Shape Predictor:https://huggingface.co/matt3ounstable/dlib_predictor_recognition/resolve/main/shape_predictor_68_face_landmarks.dat?download=true

• Face Predictor 5 landmarks:https://huggingface.co/matt3ounstable/dlib_predictor_recognition/resolve/main/shape_predictor_5_face_landmarks.dat?download=true

• Face Predictor 81 landmarks :https://huggingface.co/matt3ounstable/dlib_predictor_recognition/resolve/main/shape_predictor_81_face_landmarks.dat?download=true

• Face Recognition:https://huggingface.co/matt3ounstable/dlib_predictor_recognition/resolve/main/dlib_face_recognition_resnet_model_v1.dat?download=true

对于Linux用户则,下载对应安装包(Dlib项目主页为:http://dlib.net/compile.html),下载地址:http://dlib.net/files/dlib-19.24.zip。并运行如下命令:

image.png

• 最后导入文末工作流,并重启ComfyUI。

定量脸部评估

本文使用的绘图配置为:

• 绘图模型:墨幽人造人XL模型

• 迭代步数:30步

• 采样器:DPM++ 2M Karras

• CFG scale: 7

提示语:

masterpiece painting, buildings in the backdrop, kaleidoscope, lilac orange blue cream fuchsia bright vivid gradient colors, the scene is cinematic, (1girl:1.2), portrait,, emotional realism, double exposure, watercolor ink pencil, graded wash, color layering, magic realism, figurative painting, intricate motifs, organic tracery, pol,  <lora:SDXL Detail:1> <lora:DetailedEyes_XL_v3.0:1>

本文使用到模型下载地址:

• 墨幽人造人XL模型 :https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b

• add-detail-xl LoRA模型:https://www.liblib.art/modelinfo/1f290178083844fb9a22e6e76d8546fa

• DetailedEyes_XL LoRA模型:https://www.liblib.art/modelinfo/68ece914e617433fa62410a8496edc53

同一个人评估

这里InsightFace和DLib评分DIST距离都为0,表示是同一个人。

image.png

image.png

完全不同人评估

这里InsightFace评分DIST距离都为1,表示是不同的人物。

DLib评分DIST距离都为0.931,表示是两个任务差距较大。这也是因为DLib评分度量维度更多和更精细。

image.png

image.png

2组模型绘图效果

image.png

FaceAnalysis InsightFace定量评估

第1组图评估

这组输入图InsightFaceDIST距离评分为:Pulid为0.77,InstantID为0.632,IP-Adapter为0.821,从定量数据结果表示面部特征相似度 InstantID >Pulid>IP-Adapter。

image.png

第2组图评估

这组输入图InsightFaceDIST距离评分为:Pulid为0.807,InstantID为0.596,IP-Adapter为0.752,从定量数据结果表示面部特征相似度 InstantID >Pulid>IP-Adapter。

image.png

FaceAnalysis DLib定量评估

第1组图评估

这组输入图DLib DIST距离评分为:Pulid为0.566,InstantID为0.6076,IP-Adapter为0.823,从定量数据结果表示面部特征相似度 Pulid >InstantID > IP-Adapter。本次Pulid胜出。

image.png

第2组图评估

这组输入图DLib DIST距离评分为:Pulid为0.645,InstantID为0.541,IP-Adapter为0.703,从定量数据结果表示面部特征相似度 InstantId >PulId> IP-Adapter。本次InstantId胜出。

image.png

评估总结

从从上面两组对比图中,能够显著看出面部特征保持ip-adapter是最弱的,PuLId和InstantId都是保持一致性比较好的,大部分场景InstantId会胜出一些,从感官上InstantId是适应更全面场景。但是能够明显看出InstantId的风格更偏全景艺术风,而PuLId是面部特征更偏向输入图像。这导致PulId也会受输入图的清晰度影响输出效果。InstantId还存另一个在问题是需要的显存资源较大。ip-adapter是不仅面部特征识别和保持功能,更重要是作为特征提取重要基础设施应用广泛。因此,评估效果各有优势,视场景选择技术框架是最优方案。

本文来源于网络,版权归原作者所有。

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

相关文章