ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

Anyline 是一个 ControlNet 行预处理器,可以从大多数图像中准确提取对象边缘、图像细节和文本内容。用户可以输入任何类型的图像,快速获得边缘清晰、细节保留充分、文本保真度高的线条图,然后作为稳定扩散条件生成的输入。ComfyUI默认支持。

原帖链接:https://github.com/Mikubill/sd-webui-controlnet/discussions/2907

AIGC专区:
https://heehel.com/category/aigc

ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

MistoLine:用于适应性线条艺术调节的多功能且强大的 SDXL-ControlNet 模型。

相关文章:SDXL-ControlNet模型MistoLine:引领高精度图像生成的革新高质量图像模型-喜好儿网 (heehel.com)

MistoLine 是一个 SDXL-ControlNet 模型,可以适应任何类型的线条艺术输入,表现出高精度和出色的稳定性。它可以根据用户提供的各种类型的线条艺术(包括手绘草图、不同的 ControlNet 线条预处理器和模型生成的轮廓)生成高质量图像(短边大于 1024px)。 MistoLine 无需为不同的线条预处理器选择不同的 ControlNet 模型,因为它在不同的线条艺术条件下表现出强大的泛化能力。

我们采用新颖的线路预处理算法Anyline,并基于stabilityai/stable-diffusion-xl-base-1.0的Unet重新训练ControlNet模型,以及大模型训练工程的创新,开发了MistoLine。 MistoLine 在不同类型的线条艺术输入中展示了卓越的性能,在细节恢复、快速对齐和稳定性方面超越了现有的 ControlNet 模型,特别是在更复杂的场景中。

如何使用Anyline:

https://huggingface.co/TheMistoAI/MistoLine/tree/main 下载模型并将模型重命名为mistoLine_softedge_sdxl_fp16.safetensors

ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

 

 

局限性

正如您在生成结果中所看到的,任意行预处理器可能会捕获一些不需要的细节,例如错误捕获的头发细节。

ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

 

为了解决这个问题,建议尽早结束 controlnet 指导。以下是将结束控制步长设置为 0.5 的结果:

ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

 

降低控制网重量对于平滑头发细节没有太大帮助。它还允许生成不需要的形状。

ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

 

将控制模式设置为 My Prompt is more important 确实会删除不需要的头发细节,但它也允许生成不需要的形状。

ControlNet Anyline 线条预处理器和 MistoLine SDXL模型

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索