阿里巴巴的新项目SCEdit，一个AI画图框架，可以显著减少训练参数、内存使用率和计算开销。
在训练阶段减少了52%的内存消耗，仅利用 ControlNet 所需参数的7.9%，并实现内存使用量减少30%。
更多消息：https://heehel.com/category/ai-news
AIGC专区：https://heehel.com/category/aigc
网页版论文链接：https://browse.arxiv.org/html/2312.11392v1
代码链接： http://github.com/mkshing/scedit-pytorch
合作实验室： http://colab.research.google.com/github/mkshing/scedit-pytorch/blob/main/scripts/scedit_pytorch.ipynb
依然是说了要开源但是没代码，有个老哥——mk1stats说用SD 1.5/2.1已经帮他们实现了，代码链接在上面。
项目简介：
- 近期的研究表明，图像扩散模型在多个任务中取得了显著进展，包括文本到图像生成和可控图像合成。这些研究引入了微调方法，通过对原始模型进行细微调整，取得了有望的结果。
- 与修改扩散模型的主干部分不同，研究人员聚焦于深入研究U-Net中跳跃连接的作用。他们揭示了这些跳跃连接在编码器和解码器之间聚合远程信息的分层特征对图像生成的内容和质量具有重大影响。
- 基于这一观察，研究人员提出了一个高效的生成式调整框架，名为SCEdit。该框架采用轻量级调节模块SC-Tuner来集成和编辑Skip Connection。与修改主干部分不同，这种方法使得模型可以更灵活地适应特定任务的需求。
- SCEdit的设计允许通过注入不同条件与可控SC-Tuner简化并统一多条件输入网络设计，以实现可控图像合成任务。这为研究人员提供了更大的灵活性和可定制性，以满足不同应用场景的要求。
- 此外，所提出的框架因其轻量级调节器而受益，使得反向传播仅传递给解码器块。这一优势显著减少了训练参数、内存使用率和计算开销，使得模型更具实用性和效率。
在进行了大量的文本到图像生成和可控图像合成任务的实验后，研究人员的方法显示出在效率和性能方面的优势。这表明SCEdit框架在当前任务领域中具有潜在的重要性，为进一步推动图像生成和编辑技术的发展提供了新的思路和方法。
https://heehel.com/aigc/tiangong-large-language-model.html
https://heehel.com/aigc/anydoor-picture-swap.html
