我们提出了 Pure 和 Lightning ID 定制（PuLID），这是一种用于文本到图像生成的新颖的免调整 ID 定制方法。通过将 Lightning T2I 分支与标准扩散分支相结合，PuLID 引入了对比对准损失和精确 ID 损失，最大限度地减少对原始模型的破坏并确保高 ID 保真度。实验表明，PuLID 在 ID 保真度和可编辑性方面均取得了优异的性能。 PuLID 的另一个吸引人的特性是 ID 插入前后的图像元素（例如背景、灯光、构图和风格）尽可能保持一致。
代码和模型：https://github.com/ToTheBeginning/PuLID
AIGC专区：
https://heehel.com/category/aigc
更多消息：
https://heehel.com/category/ai-news
简介————
PuLID作为定制文本到图像生成的特殊类别，身份 (ID) 定制允许用户调整预先训练的T2I扩散模型以与其个性化 ID 保持一致。其中一项工作对用户提供的具有相同 ID 的几张图像上的某些参数进行微调，从而将 ID 嵌入到生成模型中。这些方法催生了许多流行的AI人像应用，例如PhotoAI和EPIK。
虽然基于调整的解决方案取得了值得称赞的成果，但针对每个 ID 进行定制需要数十分钟的微调，从而使个性化过程在经济上变得昂贵。另一项工作放弃了对每个 ID 进行微调的必要性，而是诉诸于在庞大的肖像数据集上预训练 ID 适配器。这些方法通常利用编码器（例如 CLIP 图像编码器）来提取 ID 特征。然后，提取的特征以特定方式集成到基础扩散模型中（例如，嵌入到交叉注意层中）。尽管效率很高，但这些免调优方法面临两个重大挑战。
ID 的插入会破坏原始模型的行为。纯ID信息嵌入应该具有两个特征。首先，理想的ID插入应该只改变与ID相关的方面，例如面部、发型和肤色，而与特定身份不直接相关的图像元素，例如背景、灯光、构图和风格，应该与特定身份一致。原始模型的行为。据我们所知，这一点在之前的作品中并未得到关注。虽然一些研究 已经显示了风格化 ID 生成的能力，但与 ID 插入之前的图像相比，出现了显着的风格退化（如图 1 所示）。 ID 保真度较高的方法往往会导致更严重的风格退化。
