字节跳动突破性项目ResAdapter:扩散模型的域一致分辨率适配器,大幅度降低畸形图出现的概率

 

字节跳动突破性项目ResAdapter:扩散模型的域一致分辨率适配器,大幅度降低畸形图出现的概率

原文章链接:https://res-adapter.github.io/

项目代码:https://github.com/bytedance/res-adapter

仓库链接:https://github.com/bytedance/res-adapter.git

文本到图像模型(例如稳定扩散)和相应的个性化技术(例如 DreamBooth 和 LoRA)的最新进展使个人能够生成高质量且富有想象力的图像。然而,在生成分辨率超出训练范围的图像时,它们经常受到限制。为了克服这一限制,我们提出了分辨率适配器(ResAdapter),这是一种专为扩散模型(例如 SD 和个性化模型)设计的域一致适配器,用于生成具有不受限制的分辨率和长宽比的图像。

简单来说,AI生成图片时用到模型,模型在训练的时候会有一个图片分辨率的固定值,比如50张512X512分辨率的图,效果是最好的。但是模型到了我们这边使用时,想变成1080X960这种分辨率时,模型没有经历过这样的训练,数据库里也没有对应效果最好的扩散噪点位置。所以它就只能通过把一张1080X960的画布平均拆成两半,然后在这两边里面都用提示词生成一次图片。这样就会导致本来关键词只有“1个女孩”,画面会出现两个头两个人的情况出现。

字节跳动突破性项目ResAdapter:扩散模型的域一致分辨率适配器,大幅度降低畸形图出现的概率

Stable Diffusion专区:
https://heehel.com/topic/stablediffusion-toppic

ComfyUI专区:
https://heehel.com/topic/comfy-ui

与其他通过后处理处理静态分辨率图像的多分辨率生成方法不同,ResAdapter 直接生成动态分辨率图像。这种视角可以实现高效的推理,无需重复的去噪步骤和复杂的后处理操作,从而消除了额外的推理时间。通过广泛的分辨率先验增强,无需来自训练域的任何风格信息,具有 0.5M 的 ResAdapter 可以为个性化扩散模型生成具有域外分辨率的图像,同时保留其风格域。

综合实验证明了 ResAdapter 与扩散模型在分辨率插值和导出方面的有效性。更多扩展实验表明,ResAdapter 与其他模块(例如 ControlNet、IP-Adapter 和 LCM-LoRA)兼容,可提供灵活分辨率的图像,并且可以集成到其他多分辨率模型(例如 ElasticDiffusion)中,以有效生成更高的分辨率。分辨率图像。

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索