一文读懂PuLID:高保真、低干扰的身份ID定制方案
PuLID模型是一个新型用于文生图领域,无需复杂的微调就可以实现高效的身份ID定制的方法。PuLID 是通过结合Lightning T2I 和diffusion扩散模型两个分支,并引入了对比对齐损失和精确的身份ID损失,使得最小化了对原始模型的干扰,并确保了身份ID特征的高保真度。
大量实验表明,PuLID在身份ID保真度和可编辑性方面都取得了优异的性能。另一个独特的特点是,PuLID在插入身份ID前后,能够尽可能保持图像元素(背景、光照、构图和风格等)的一致性。
PuLID技术的核心优势:
高度一致性: 无论是身份信息加入前后,图像的背景、光线、布局和风格等元素都保持高度一致。
多功能性: PuLID支持样式更改、IP融合、配件修改、属性编辑和ID混合等多种操作,展现出强大的功能和效果。
高保真度: 通过对比对齐,PuLID在自定义ID的同时保持了高保真度,为用户提供了更多可能性和选择。
稳定性和准确性: 成功减少了对原始模型行为的干扰,保证了自定义过程的稳定性和准确性。
应用广泛: 在各个应用领域,PuLID都展现出了其独特的价值和潜力,帮助用户实现创意,提升工作效率。
PuLID ComfyUI体验
PuLID模型当前社区已经有ComfyUI插件支持了,插件地址为:https://github.com/cubiq/PuLID_ComfyUI
首先,通过插件管理器搜索PuLID_ComfyUI并安装插件。
下载PuLID 的 ip-adapter_pulid_sdxl_fp16.safetensors 预训练模型,并放置在 ComfyUI/models/pulid/目录下。模型和工作流已放置文末获取。
ComfyUI首次运行时候还会下载:EVA CLIP 是 EVA02-CLIP-L-14-336模型和facexlib 依赖项。
最后,还需要将 InsightFace 与 AntelopeV2,解压后的模型应放置在 ComfyUI/models/insightface/models/antelopev2目录下。
导入文末工作流,并重启ComfyUI体验。
应用场景
PuLID作为一种高保真、低干扰的身份ID定制方法,可以应用于如下场景:
头像/虚拟分身生成:PuLID可以根据用户需求生成高度个性化的头像或虚拟分身。
影视特效制作:PuLID可以用于替换演员脸部特征,实现身份转换等特效。
游戏角色定制:PuLID可以赋予游戏角色个性化的外观和特征。
广告营销:PuLID生成的高保真头像可用于个性化广告等营销推广。
实例展示
测试特征保持原图:
1. 卫衣肖像特写
closeup portrait, cyberpunk,Machine, future warrior, cinematic, hoodie, purple hair,
2. ICU护士
sweet nurse in ICU, masterpiece, photorealistic, 8k uhd, bestres
3. 水下特写
(((masterpiece))),(((best-quality))),(((extremely detailed unity 8k wallpaper)),extreme
4. 部落
(Best Quality, Masterpiece:1.4), (Realism:1.2), (Realisitc:1.2), (Absurdres:1.2), (photoreali
5. 时尚
Platinum blonde Charlotte Hope as Marilyn Monroe, mantra-scripted blue tattoo tracing