CSGO : Content-Style Composition in Text-to-Image Generation
扩散模型在受控图像生成方面表现出了卓越的能力，这进一步激发了人们对图像风格迁移的兴趣。由于特定数据的稀缺，现有的工作主要集中在训练基于免费的方法（例如图像反演）。在这项研究中，我们提出了一种内容风格风格化图像三元组的数据构建管道，它生成并自动清理风格化数据三元组。基于这个管道，我们构建了一个数据集 IMAGStyle，这是第一个包含 210k 图像三元组的大规模风格迁移数据集，可供社区探索和研究。配备 IMAGStyle，我们提出了 CSGO，一种基于端到端训练的风格迁移模型，它采用独立特征注入显式地解耦内容和风格特征。统一的CSGO实现了图像驱动的风格迁移、文本驱动的风格化合成、文本编辑驱动的风格化合成。大量的实验证明了我们的方法在增强ai图片生成中的风格控制能力方面的有效性。
(CSGO风格组合迁移模型详情👇)
实现方法
给定任意内容图像C和风格图像S，CSGO的目标是通过将一幅图像的内容与另一幅图像的风格相结合来生成合理的目标图像，确保目标图像在采用所需风格的同时保持原始内容的语义。
下图概述了我们的方法。它由两个关键组件组成：
- （1）内容控制，用于提取内容信息，通过Controlnet和解耦的交叉注意模块将其注入到基础模型中；
- （2）用于提取风格信息的风格控制，使用解耦的交叉注意模块分别将其注入到 Controlnet 和基础模型中。
我们与之前的工作有以下不同：（1）CSGO是一个基于端到端训练的模型。推理不需要微调。 (2) 我们不训练 UNet，因此可以保留原始文本到图像模型的生成能力 (3) 我们的方法统一了图像驱动的风格迁移、文本驱动的风格合成和文本编辑驱动的风格合成。
结果：下面的可视化图像显示了 CSGO 的性能。与最新方法的定量和视觉比较可以在原始论文中找到。
