ControlNet更新后的新预处理器插件模型—— Reference only 以图像为参考来指导扩散

 

Reference Only 模型下载链接: https://github.com/Mikubill/sd-webui-controlnet/discussions/1236
教程专区:https://heehel.com/category/ai-tutorial
Stablediffusion专区:https://heehel.com/topic/stablediffusion-toppic

ControlNet更新后的新预处理器插件模型—— Reference only 以图像为参考来指导扩散

此方法类似于基于修复的参考,但它不会使你的图像变得混乱。

ControlNet更新后的新预处理器插件模型—— Reference only 以图像为参考来指导扩散

许多专业的WebUI用户都知道通过修复参考来扩散图像的技巧。例如,如果你有一张 512x512 的狗图像,并且想要生成另一张具有同一只狗的 512x512 图像,有些用户会将 512x512 狗图像和 512x512 空白图像连接成 1024x512 图像,发送到 inpaint,然后屏蔽掉空白 512x512 部分来漫射具有相似外观的狗。然而,这种方法通常不太令人满意,因为图像是相连的并且会出现许多失真。

这个 reference-only ControlNet可以直接将你的SD的注意力层链接到任何独立的图像,这样你的SD就可以读取任意图像作为参考。您至少需要 ControlNet 1.1.153 才能使用它。要使用,只需选择 reference-only 作为预处理器并放置图像。你的 SD 将仅使用该图像作为参考。

ControlNet更新后的新预处理器插件模型—— Reference only 以图像为参考来指导扩散

请注意,此方法尽可能“无意见”。它只包含非常基本的连接代码,没有任何个人偏好,用于将注意力层与您的参考图像连接起来。然而,即使我们尽力不包含任何有意见的代码,我们仍然需要编写一些主观实现来处理权重、cfg-scale 等-技术报告正在进行中。

https://heehel.com/aigc/controlnet-learn-in-30-minutes.html

https://heehel.com/aigc/text-generation-robot-platform.html

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索