尽管大规模文本到图像生成模型最近取得了进展，但用这些模型操纵真实图像仍然是一个具有挑战性的问题。现有编辑方法的主要局限性在于，它们要么无法在大范围的图像编辑上以一致的质量执行，要么需要耗时的超参数调整或扩散模型的微调以保留输入图像的图像特定外观。
我们提出了一种新颖的方法Guide-and-Rescale，该方法通过引导机制基于改进的扩散采样过程。在这项工作中，我们探索自我引导技术来保留输入图像的整体结构及其不应编辑的局部区域外观。特别是，我们明确引入了布局保持能量函数，旨在保存源图像的局部和全局结构。此外，我们提出了一种噪声重新调整机制，Guide-and-Rescale可以通过在生成过程中平衡无分类器引导和我们提出的引导器的规范来保留噪声分布。
Guide-and-Rescale这种图像编辑指导方法不需要微调扩散模型和精确的反演过程。因此，所提出的方法提供了快速且高质量的编辑机制。在我们的实验中，我们通过人类评估和定量分析表明，所提出的方法可以产生人类更喜欢的所需编辑，并且Guide-and-Rescale还可以在编辑质量和原始图像的保存之间实现更好的权衡。
(Guide-and-Rescale项目文件资料链接在下方👇)
AI论文与新生技术专题：
https://heehel.com/collection/topic-aipapers-jiaocheng
这项技术能够让用户在不牺牲图像质量的前提下，对真实照片进行各种编辑，比如改变人物情绪、替换动物种类或者给图片添加艺术风格。Guide-and-Rescale的工作原理是通过一种特殊的引导机制来保持原始图像的结构和细节，同时对特定区域进行修改。这样，即使在进行大幅度的编辑时，也能保持图像的其他部分不变。
Guide-and-Rescale技术原理：
引导机制：利用深度学习模型，识别图像中的关键特征，并在编辑过程中保持这些特征不变。
噪声重缩放：通过调整噪声的分布，平衡编辑和保持原始图像之间的比例，使得编辑后的图像既符合预期又自然。
功能：
支持广泛的编辑类型，从局部修改（如改变衣服颜色）到全局风格化（如将照片转换成油画风格）。
能够在不破坏原始图像结构的情况下进行图像编辑，例如在改变人物表情时，保持背景和其他特征不变。
Guide-and-Rescale应用场景：
- 社交媒体：用户可以快速图像编辑，以适应不同的社交媒体内容需求。
- 艺术创作：艺术家和设计师可以使用这项技术来实现他们的视觉创意，比如给作品添加特殊的艺术效果。
- 娱乐和游戏：在游戏或电影制作中，可以用于快速生成或修改角色和场景的视觉效果。
