ControlNet作者新技术:Layer diffusion ,能直接生成带透明信息的图像

LayerDiffusion是由ControlNet的两位作者提出的技术,使任意潜在扩散模型能够生成背景透明的图像,包括稳定的扩散。

这意味着模型可以生成非矩形图像,如自然场景或包含多个对象的图像。

LayerDiffusion考虑了背景并可以连续添加物体,使得用户可以从无物体的背景开始,逐步添加物体,而不是简单地生成单个物体。

此外,LayerDiffusion可以与ControlNet、LoRA等模型无缝集成,不需要额外的训练即可实现各种条件下的生成,如指定轮廓或固定特定风格。

ControlNet作者新技术:Layer diffusion ,能直接生成带透明信息的图像

用户评价表明生成的透明图像质量与Adobe Stock相当。虽然代码尚未公开,但这项技术令人兴奋,有望在图像生成领域带来重大突破。

项目论文:https://arxiv.org/abs/2402.17113

Forge:https://github.com/lllyasviel/stable-diffusion-webui-forge

GitHub: https://github.com/layerdiffusion/sd-forge-layerdiffusion

模型:https://huggingface.co/LayerDiffusion/layerdiffusion-v1

ControlNet作者新技术:Layer diffusion ,能直接生成带透明信息的图像

 

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索