SD插件篇:人物面部特征稳定性大比拼,谁能在细节中脱颖而出?
ComfyUI_FaceAnalysis是ComfyUI中一款人脸分析插件扩展,该框架用于评估两张人脸之间相似度的工具。插件扩展原理是利用 DLib 或 InsightFace 来计算两个人脸之间的欧几里得距离和余弦距离。注意距离越近,则表示是面部特征近似。
安装指南
首先通过ComfyUI插件搜索ComfyUI_FaceAnalysis,并点击安装该插件。插件地址为:https://github.com/cubiq/ComfyUI_FaceAnalysis
然后还需要安装 InsightFace 或 Dlib 模型来实现面部评估。
• InsightFace:可使用命令安装 pip install insightface -U。
• Dlib:对于window用户可以下载安装包pip安装,下载地址为:https://github.com/z-mahmud22/Dlib_Windows_Python3.x 。使用命令如下,请注意与本地Python版本对齐。
另外对于Dlib 的安装,还需要下载如下4个模型,并放置在目录下 /ComfyUI/custom_nodes/ComfyUI_FaceAnalysis/dlib:
• Shape Predictor:https://huggingface.co/matt3ounstable/dlib_predictor_recognition/resolve/main/shape_predictor_68_face_landmarks.dat?download=true
• Face Predictor 5 landmarks:https://huggingface.co/matt3ounstable/dlib_predictor_recognition/resolve/main/shape_predictor_5_face_landmarks.dat?download=true
• Face Predictor 81 landmarks :https://huggingface.co/matt3ounstable/dlib_predictor_recognition/resolve/main/shape_predictor_81_face_landmarks.dat?download=true
• Face Recognition:https://huggingface.co/matt3ounstable/dlib_predictor_recognition/resolve/main/dlib_face_recognition_resnet_model_v1.dat?download=true
对于Linux用户则,下载对应安装包(Dlib项目主页为:http://dlib.net/compile.html),下载地址:http://dlib.net/files/dlib-19.24.zip。并运行如下命令:
• 最后导入文末工作流,并重启ComfyUI。
定量脸部评估
本文使用的绘图配置为:
• 绘图模型:墨幽人造人XL模型
• 迭代步数:30步
• 采样器:DPM++ 2M Karras
• CFG scale: 7
提示语:
masterpiece painting, buildings in the backdrop, kaleidoscope, lilac orange blue cream fuchsia bright vivid gradient colors, the scene is cinematic, (1girl:1.2), portrait,, emotional realism, double exposure, watercolor ink pencil, graded wash, color layering, magic realism, figurative painting, intricate motifs, organic tracery, pol, <lora:SDXL Detail:1> <lora:DetailedEyes_XL_v3.0:1>
本文使用到模型下载地址:
• 墨幽人造人XL模型 :https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b
• add-detail-xl LoRA模型:https://www.liblib.art/modelinfo/1f290178083844fb9a22e6e76d8546fa
• DetailedEyes_XL LoRA模型:https://www.liblib.art/modelinfo/68ece914e617433fa62410a8496edc53
同一个人评估
这里InsightFace和DLib评分DIST距离都为0,表示是同一个人。
完全不同人评估
这里InsightFace评分DIST距离都为1,表示是不同的人物。
DLib评分DIST距离都为0.931,表示是两个任务差距较大。这也是因为DLib评分度量维度更多和更精细。
2组模型绘图效果
FaceAnalysis InsightFace定量评估
第1组图评估
这组输入图InsightFaceDIST距离评分为:Pulid为0.77,InstantID为0.632,IP-Adapter为0.821,从定量数据结果表示面部特征相似度 InstantID >Pulid>IP-Adapter。
第2组图评估
这组输入图InsightFaceDIST距离评分为:Pulid为0.807,InstantID为0.596,IP-Adapter为0.752,从定量数据结果表示面部特征相似度 InstantID >Pulid>IP-Adapter。
FaceAnalysis DLib定量评估
第1组图评估
这组输入图DLib DIST距离评分为:Pulid为0.566,InstantID为0.6076,IP-Adapter为0.823,从定量数据结果表示面部特征相似度 Pulid >InstantID > IP-Adapter。本次Pulid胜出。
第2组图评估
这组输入图DLib DIST距离评分为:Pulid为0.645,InstantID为0.541,IP-Adapter为0.703,从定量数据结果表示面部特征相似度 InstantId >PulId> IP-Adapter。本次InstantId胜出。
评估总结
从从上面两组对比图中,能够显著看出面部特征保持ip-adapter是最弱的,PuLId和InstantId都是保持一致性比较好的,大部分场景InstantId会胜出一些,从感官上InstantId是适应更全面场景。但是能够明显看出InstantId的风格更偏全景艺术风,而PuLId是面部特征更偏向输入图像。这导致PulId也会受输入图的清晰度影响输出效果。InstantId还存另一个在问题是需要的显存资源较大。ip-adapter是不仅面部特征识别和保持功能,更重要是作为特征提取重要基础设施应用广泛。因此,评估效果各有优势,视场景选择技术框架是最优方案。
本文来源于网络,版权归原作者所有。