DiffSynth Studio 效果和DomoAI有点相似,可以一键进行视频风格转绘,还可以下载Animatediff那些风格模型自定义样式。其中特色功能之一,三渲二,目前已经开放,这项技术被命名为 Diffutoon
!!使用时,👇运行这个文件👇,然后按下“回车键”!!!
夸克网盘下载链接:https://pan.quark.cn/s/e84a7c309f8c
迅雷云盘下载链接:https://pan.xunlei.com/s/VNwTVvd7cTOAOE7Tsmjx-TYQA1?pwd=5qtu#
卡通着色是一种非真实感动画渲染任务。其主要目的是渲染具有平坦且风格化外观的对象。随着扩散模型已经上升到图像合成方法的最前沿,本文深入研究了一种基于扩散模型的卡通着色的创新形式,旨在将逼真的视频直接渲染为动漫风格。
在视频风格化中,现有的方法遇到了持续的挑战,特别是在保持一致性和实现高视觉质量方面。在本文中,我们将卡通着色问题建模为四个子问题:风格化、一致性增强、结构指导和着色。
为了解决视频风格化的挑战,我们提出了一种有效的卡通着色方法,称为 \textit{Diffutoon}。 Diffutoon 能够渲染非常详细、高分辨率且持续时间较长的动漫风格视频。它还可以通过附加分支根据提示编辑内容。 Diffutoon 的功效是通过定量指标和人工评估来评估的。值得注意的是,在我们的实验中,Diffutoon 超越了开源和闭源基线方法。
开源代码:https://github.com/Artiprocher/DiffSynth-Studio
技术报告:https://arxiv.org/abs/2401.16224
Diffutoon 项目主页:https://ecnu-cilab.github.io/DiffutoonProjectPage/
DiffSynth Studio使用演示教程:
原理讲解及使用说明: