//再不认真就输了!
//致力于发现AIGC动态与教程。

阿里巴巴新项目SCEdit:通过跳过连接调整进行高效的生成图像编辑

阿里巴巴的新项目SCEdit,一个AI画图框架,可以显著减少训练参数、内存使用率和计算开销。
在训练阶段减少了52%的内存消耗,仅利用 ControlNet 所需参数的7.9%,并实现内存使用量减少30%。

更多消息:https://heehel.com/category/ai-news
AIGC专区:https://heehel.com/category/aigc
网页版论文链接:https://browse.arxiv.org/html/2312.11392v1
代码链接: http://github.com/mkshing/scedit-pytorch
合作实验室: http://colab.research.google.com/github/mkshing/scedit-pytorch/blob/main/scripts/scedit_pytorch.ipynb

依然是说了要开源但是没代码,有个老哥——mk1stats说用SD 1.5/2.1已经帮他们实现了,代码链接在上面。

项目简介:

  1. 近期的研究表明,图像扩散模型在多个任务中取得了显著进展,包括文本到图像生成和可控图像合成。这些研究引入了微调方法,通过对原始模型进行细微调整,取得了有望的结果。
  2. 与修改扩散模型的主干部分不同,研究人员聚焦于深入研究U-Net中跳跃连接的作用。他们揭示了这些跳跃连接在编码器和解码器之间聚合远程信息的分层特征对图像生成的内容和质量具有重大影响。
  3. 基于这一观察,研究人员提出了一个高效的生成式调整框架,名为SCEdit。该框架采用轻量级调节模块SC-Tuner来集成和编辑Skip Connection。与修改主干部分不同,这种方法使得模型可以更灵活地适应特定任务的需求。
  4. SCEdit的设计允许通过注入不同条件与可控SC-Tuner简化并统一多条件输入网络设计,以实现可控图像合成任务。这为研究人员提供了更大的灵活性和可定制性,以满足不同应用场景的要求。
  5. 此外,所提出的框架因其轻量级调节器而受益,使得反向传播仅传递给解码器块。这一优势显著减少了训练参数、内存使用率和计算开销,使得模型更具实用性和效率。

在进行了大量的文本到图像生成和可控图像合成任务的实验后,研究人员的方法显示出在效率和性能方面的优势。这表明SCEdit框架在当前任务领域中具有潜在的重要性,为进一步推动图像生成和编辑技术的发展提供了新的思路和方法。

https://heehel.com/aigc/tiangong-large-language-model.html

https://heehel.com/aigc/anydoor-picture-swap.html

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《阿里巴巴新项目SCEdit:通过跳过连接调整进行高效的生成图像编辑》
文章链接:https://heehel.com/aigc/alibaba-scedit.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

评论 抢沙发

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册