喜好儿网
扩散模型（DM）已成为视觉及其他领域的领先生成建模技术。然而，其采样速度较慢，主要是由于需要通过大型神经网络进行大量的顺序函数评估。采样过程可以被视为通过一系列离散的噪声水平（称为采样计划）求解微分方程。尽管先前的研究主要集中在开发高效的求解器上，但寻找最佳采样计划的问题却鲜少受到关注，目前Nvidia英伟达的文献中主要依赖手工设计的启发式方法。
论文链接：https://huggingface.co/papers/2404.14507
为了弥补这一空白，Nvidia英伟达研究人员首次提出了一种通用且有原则的方法来优化DM的采样计划，旨在获得高质量的输出，研究人员称之为“对齐您的步骤”（AYS）。通过运用随机微积分的方法，研究人员针对不同求解器、训练过的扩散模型以及数据集，找到了最优的采样调度方案。
Nvidia英伟达为了验证AYS框架的有效性，研究人员在多个图像、视频以及2D玩具数据合成基准上进行了广泛的实验，使用了各种不同的采样器。实验结果表明，研究人员的优化调度方案在几乎所有情况下都优于传统的手工制定计划。特别值得一提的是，在少步合成机制中，采样计划优化的潜力得到了充分展示。
此外，研究人员还探讨了AYS在视频生成模型中的应用。通过优化采样调度，研究人员成功改善了视频帧在时间上的颜色一致性，并解决了后续帧过度饱和的问题。用户研究也进一步证实了优化的采样调度在图像和视频生成领域的优势。
综上所述，AYS框架为扩散模型的采样计划优化提供了新的视角和方法，为未来的研究和实践提供了有力的支持。通过进一步挖掘采样计划优化的潜力，研究人员有望在保持高质量输出的同时，显著提高扩散模型的采样速度。
