"Pika、北京大学和斯坦福大学推出RPG-DiffusionMaster模型：增强文本到图像生成/编辑的组合性”

pika与北京大学和斯坦福大学合作推出 RPG-DiffusionMaster。 RPG 利用多模态 LLMs 来掌握复杂且组合的文本到图像生成/编辑中的扩散模型，从而实现最先进的性能。扩散模型在文本到图像的生成和编辑方面表现出了卓越的性能。然而，现有的方法在处理涉及具有多个属性和关系的多个对象的复杂文本提示时经常面临挑战。

研究人员提出了一种全新的免训练文本到图像生成/编辑框架，即Recaption、Plan和Generate（RPG），利用多模态强大的思想链推理能力增强文本到图像扩散模型的组合性。他们的方法采用 MLLM 作为全局规划器，将生成复杂图像的过程分解为子区域内多个更简单的生成任务。

他们提出互补的区域扩散，以实现区域性的合成生成。此外，他们以闭环方式将文本引导的图像生成和编辑集成到所提出的 RPG 中，从而增强了泛化能力。大量实验表明，他们的 RPG 优于最先进的文本到图像扩散模型，包括 DALL-E 3 和 SDXL，特别是在多类别对象组合和文本图像语义对齐方面。值得注意的是，他们的 RPG 框架表现出与各种 MLLM 架构（例如 MiniGPT-4）和扩散骨干网（例如 ControlNet）的广泛兼容性。

文章和代码现已开源。

论文链接： https://arxiv.org/abs/2401.11708
代码网址： https://github.com/YangLing0818/RPG-DiffusionMaster
AIGC专区：https://heehel.com/category/aigc
AI工具专区：https://heehel.com/category/ai-soft

核心策略：

1. 多模式重述：将简单的文本提示转换为更具描述性和详细性的提示。
   目的是提高生成图像的质量和与文本的语义对齐程度。
2. 思路规划：将复杂的图像生成任务分解为多个简单的子任务。
   在图像空间中划分为互补的子区域，每个子区域对应一个特定的子任务。
3. 互补的区域扩散：在非重叠的子区域中独立生成图像内容。
   将这些内容合并，创建一幅完整的复合图像。
4. 高分辨率图像生成：能够生成超高分辨率的图像。
5. 多样化应用：支持多种扩散模型，包括SDXL和SD v1.4/1.5等，兼容不同的MLLM架构。这使得RPG在复杂图像生成和精确图像编辑方面具有更高的灵活性和准确性。

RPG-DiffusionMaster不仅支持专有的大语言模型，如GPT-4、Gemini PRO等，还支持开源模型，如miniGPT-4，提供了更广泛的应用可能性。

RPG框架是怎么工作的呢？

• 多模态重标记：RPG框架通过多模态重标记，将您的描述转化为一幅细致入微的图像。它不满足于浅尝辄止，而是深入挖掘每一个细节，（如大象的颜色、草地的状态、天气情况等），每一个细节都在变化中展现出独特的魅力，每一次变化都让人惊叹不已。

比如，它会问：“这只大象是什么颜色的？草地是绿色的还是黄色的？是晴天还是阴天？”这样，它就能更好地理解你的想法。

• 思维链规划：RPG框架运用思维链规划，根据描述将图像分解为多个部分。它根据大象、草地、天空等元素，为每个部分制定独特的视觉效果，确保各部分既符合描述又协调一致。这样，最终的图像不仅细节丰富，而且整体和谐，让人惊叹不已。

例如：它会把这幅画分成几个部分来画。先画大象，再画草地，最后画天空。这样一步一步来，可以确保每个部分都画得很好，而且互不干扰。

• 合并成一幅完整的画（补充区域扩散）：最后，通过补充区域扩散，将这些单独绘制的部分合并成一幅完整的画。这一步骤确保最终图像的每个部分都无缝融合，形成一个统一且与描述高度一致的完整场景。

实验结果：

1. 高度准确的图像生成：RPG框架能够根据复杂的文本描述生成高度准确和详细的图像。这意味着，只要给RPG框架一个详细的文本描述，它就能准确地将其转化为图像。这种能力使得RPG框架在处理复杂场景时表现得非常出色，生成的图像与文本描述高度一致。
2. 超越现有技术：RPG框架在性能上超过了现有的文本到图像模型，如DALL-E 3和SDXL。特别是在处理多元素组合和文本-图像语义对齐方面，RPG框架的优越性更是显著。这使得RPG框架在图像生成领域具有很高的竞争力。
3. 灵活性和广泛适用性：实验表明，RPG框架能够与不同的多模态大型语言模型（如GPT-4）和扩散模型（如ControlNet）兼容。这意味着RPG框架可以被广泛应用于各种不同的图像生成场景，而不仅仅是局限于某一种特定的模型或技术。这种灵活性和广泛适用性使得RPG框架具有很高的实用价值。
4. 质量和细节的提升：RPG框架生成的图像不仅在视觉上吸引人，而且细节丰富。这对于需要高度细节和精确度的领域，如艺术创作、设计和娱乐等尤为重要。此外，RPG框架还能处理复杂的交互和环境，使生成的图像在构图和细节方面都表现出色。这进一步证明了RPG框架在图像生成领域的先进性和实用性。

RPG框架的实验结果表明，它是一个强大且灵活的工具，能够将复杂的文本描述转化为高质量的图像，适用于广泛的应用场景。

框架可以在更多条件下扩展文本到图像的生成。与 ControlNet 相比，RPG 在即时理解和组合语义对齐方面取得了显着改进。RPG 在（多轮）文本到图像编辑方面也能取得强大的性能。由于使用先进的大型语言模型，该框架可以直接应用于文本到图像的转换任务，无需进行额外的模型训练。

https://heehel.com/aigc/mobile-aloha.html

https://heehel.com/aigc/xiaopeng-px5.html