//再不认真就输了!
//致力于发现AIGC动态与教程。

ControlNet更新后的新预处理器插件模型—— Reference only 以图像为参考来指导扩散

 

Reference Only 模型下载链接: https://github.com/Mikubill/sd-webui-controlnet/discussions/1236
教程专区:https://heehel.com/category/ai-tutorial
Stablediffusion专区:https://heehel.com/topic/stablediffusion-toppic

此方法类似于基于修复的参考,但它不会使你的图像变得混乱。

许多专业的WebUI用户都知道通过修复参考来扩散图像的技巧。例如,如果你有一张 512x512 的狗图像,并且想要生成另一张具有同一只狗的 512x512 图像,有些用户会将 512x512 狗图像和 512x512 空白图像连接成 1024x512 图像,发送到 inpaint,然后屏蔽掉空白 512x512 部分来漫射具有相似外观的狗。然而,这种方法通常不太令人满意,因为图像是相连的并且会出现许多失真。

这个 reference-only ControlNet可以直接将你的SD的注意力层链接到任何独立的图像,这样你的SD就可以读取任意图像作为参考。您至少需要 ControlNet 1.1.153 才能使用它。要使用,只需选择 reference-only 作为预处理器并放置图像。你的 SD 将仅使用该图像作为参考。

请注意,此方法尽可能“无意见”。它只包含非常基本的连接代码,没有任何个人偏好,用于将注意力层与您的参考图像连接起来。然而,即使我们尽力不包含任何有意见的代码,我们仍然需要编写一些主观实现来处理权重、cfg-scale 等-技术报告正在进行中。

https://heehel.com/aigc/controlnet-learn-in-30-minutes.html

https://heehel.com/aigc/text-generation-robot-platform.html

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《ControlNet更新后的新预处理器插件模型—— Reference only 以图像为参考来指导扩散》
文章链接:https://heehel.com/aigc/controlnet-reference-only.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

评论 抢沙发

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册