Anyline 是一个 ControlNet 行预处理器,可以从大多数图像中准确提取对象边缘、图像细节和文本内容。用户可以输入任何类型的图像,快速获得边缘清晰、细节保留充分、文本保真度高的线条图,然后作为稳定扩散条件生成的输入。ComfyUI默认支持。
原帖链接:https://github.com/Mikubill/sd-webui-controlnet/discussions/2907
AIGC专区:
https://heehel.com/category/aigc
MistoLine:用于适应性线条艺术调节的多功能且强大的 SDXL-ControlNet 模型。
相关文章:SDXL-ControlNet模型MistoLine:引领高精度图像生成的革新高质量图像模型-喜好儿网 (heehel.com)
MistoLine 是一个 SDXL-ControlNet 模型,可以适应任何类型的线条艺术输入,表现出高精度和出色的稳定性。它可以根据用户提供的各种类型的线条艺术(包括手绘草图、不同的 ControlNet 线条预处理器和模型生成的轮廓)生成高质量图像(短边大于 1024px)。 MistoLine 无需为不同的线条预处理器选择不同的 ControlNet 模型,因为它在不同的线条艺术条件下表现出强大的泛化能力。
我们采用新颖的线路预处理算法Anyline,并基于stabilityai/stable-diffusion-xl-base-1.0的Unet重新训练ControlNet模型,以及大模型训练工程的创新,开发了MistoLine。 MistoLine 在不同类型的线条艺术输入中展示了卓越的性能,在细节恢复、快速对齐和稳定性方面超越了现有的 ControlNet 模型,特别是在更复杂的场景中。
如何使用Anyline:
从 https://huggingface.co/TheMistoAI/MistoLine/tree/main 下载模型并将模型重命名为mistoLine_softedge_sdxl_fp16.safetensors
局限性
正如您在生成结果中所看到的,任意行预处理器可能会捕获一些不需要的细节,例如错误捕获的头发细节。
为了解决这个问题,建议尽早结束 controlnet 指导。以下是将结束控制步长设置为 0.5 的结果:
降低控制网重量对于平滑头发细节没有太大帮助。它还允许生成不需要的形状。
将控制模式设置为 My Prompt is more important 确实会删除不需要的头发细节,但它也允许生成不需要的形状。