一文读懂PuLID:高保真、低干扰的身份ID定制方案

AI教程 2024-05-11

PuLID模型是一个新型用于文生图领域,无需复杂的微调就可以实现高效的身份ID定制的方法。PuLID 是通过结合Lightning T2I 和diffusion扩散模型两个分支,并引入了对比对齐损失和精确的身份ID损失,使得最小化了对原始模型的干扰,并确保了身份ID特征的高保真度。

大量实验表明,PuLID在身份ID保真度和可编辑性方面都取得了优异的性能。另一个独特的特点是,PuLID在插入身份ID前后,能够尽可能保持图像元素(背景、光照、构图和风格等)的一致性。

image.png

PuLID技术的核心优势:

高度一致性: 无论是身份信息加入前后,图像的背景、光线、布局和风格等元素都保持高度一致。

多功能性: PuLID支持样式更改、IP融合、配件修改、属性编辑和ID混合等多种操作,展现出强大的功能和效果。

高保真度: 通过对比对齐,PuLID在自定义ID的同时保持了高保真度,为用户提供了更多可能性和选择。

稳定性和准确性: 成功减少了对原始模型行为的干扰,保证了自定义过程的稳定性和准确性。

应用广泛: 在各个应用领域,PuLID都展现出了其独特的价值和潜力,帮助用户实现创意,提升工作效率。

PuLID ComfyUI体验

PuLID模型当前社区已经有ComfyUI插件支持了,插件地址为:https://github.com/cubiq/PuLID_ComfyUI

首先,通过插件管理器搜索PuLID_ComfyUI并安装插件。

下载PuLID 的 ip-adapter_pulid_sdxl_fp16.safetensors 预训练模型,并放置在 ComfyUI/models/pulid/目录下。模型和工作流已放置文末获取。

ComfyUI首次运行时候还会下载:EVA CLIP 是 EVA02-CLIP-L-14-336模型和facexlib 依赖项。

最后,还需要将 InsightFace 与 AntelopeV2,解压后的模型应放置在 ComfyUI/models/insightface/models/antelopev2目录下。

导入文末工作流,并重启ComfyUI体验。

应用场景

PuLID作为一种高保真、低干扰的身份ID定制方法,可以应用于如下场景:

头像/虚拟分身生成:PuLID可以根据用户需求生成高度个性化的头像或虚拟分身。

影视特效制作:PuLID可以用于替换演员脸部特征,实现身份转换等特效。

游戏角色定制:PuLID可以赋予游戏角色个性化的外观和特征。

广告营销:PuLID生成的高保真头像可用于个性化广告等营销推广。

实例展示

测试特征保持原图:

image.png

1. 卫衣肖像特写

closeup portrait, cyberpunk,Machine, future warrior, cinematic, hoodie, purple hair, 

image.png

2. ICU护士

sweet nurse in ICU, masterpiece, photorealistic, 8k uhd, bestres

image.png

3. 水下特写

(((masterpiece))),(((best-quality))),(((extremely detailed unity 8k wallpaper)),extreme

image.png

4. 部落

(Best Quality, Masterpiece:1.4), (Realism:1.2), (Realisitc:1.2), (Absurdres:1.2), (photoreali

image.png

5. 时尚

Platinum blonde Charlotte Hope as Marilyn Monroe, mantra-scripted blue tattoo tracing

image.png

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

相关文章