谷歌研究所与伊利诺伊大学发表了名为ZipLoRA的方法，它能够合并独立训练的 LoRA 模型，实现任意主题以任意风格的生成。LoRA 是一种用于概念驱动个性化的生成模型，而 ZipLoRA 是一种能够在主题和风格两个方面进行个性化生成的方法。
ZipLoRA 的作用是实现任意主题以任意风格的生成。它能够将独立训练的风格和主题 LoRAs 合并，从而生成具有用户提供的主题和风格的内容。与现有技术相比，ZipLoRA 能够在不损失主题准确性或风格准确性的情况下生成更具说服力的结果。
ZipLoRA 的原理基于三个重要观察结果。首先，通过 Stable Diffusion XL（SDXL）的方法，可以只使用单个样本图像学习风格，而无需人工反馈。其次，LoRA 权重矩阵的大部分元素是稀疏的，并且对生成质量和准确性影响较小。最后，两个独立训练的 LoRAs 的权重矩阵的列之间可能存在不同程度的 “对齐”，通过余弦相似度等度量可以衡量。直接求和相似度高的列会降低合并模型的性能。
基于以上观察，ZipLoRA 提出了一种类似于拉链的优化方法，通过减少相似方向求和的数量来合并两个 LoRAs。这种方法能够保持原始 LoRAs 的内容和风格生成特性，从而AI生成更具鲁棒性和高质量的合并结果。
项目论文链接：
https://ziplora.github.io/
