Diff-Instruct – 从预训练扩散模型中迁移知识的通用框架-爱论文

Diff-Instruct是什么

Diff-Instruct是先进的知识转移方法，用于从预训练的扩散模型中提取知识，指导其他生成模型的训练。它基于一种新的散度度量——积分Kullback-Leibler (IKL) 散度，专为扩散模型设计，通过计算沿扩散过程的KL散度积分来比较分布。这种方法能在不需要额外数据的情况下，通过最小化IKL散度，实现对任意生成模型的训练指导。Diff-Instruct的通用性、有效性以及能够显著提升生成模型性能在学术界受到关注。

Diff-Instruct的主要功能

知识转移：Diff-Instruct能从预训练的扩散模型（DMs）中学习，以无需额外数据的方式将这些知识转移到其他生成模型中。指导生成模型训练：作为一个通用框架，Diff-Instruct可以指导任意生成模型的训练，只要生成的样本对模型参数是可微分的。最小化新型散度：Diff-Instruct建立在严密的数学基础上，其指导过程直接对应于最小化一种称为积分Kullback-Leibler（IKL）散度的新型散度。增强鲁棒性：IKL散度专为DMs设计，通过计算扩散过程中的KL散度积分，被证明在比较具有不对齐支持的分布时更具鲁棒性。提升生成模型性能：Diff-Instruct在两个场景下展示了其有效性和普遍性：提取预训练的扩散模型和改进现有的GAN模型。实验表明，Diff-Instruct能产生最先进的单步扩散模型，能一致性地改进GAN模型的预训练生成器。

Diff-Instruct的技术原理

通用框架：Diff-Instruct提出了一个通用框架，可以指导任意生成模型的训练，只要生成的样本对模型参数是可微分的。积分Kullback-Leibler（IKL）散度：Diff-Instruct建立在严密的数学基础上，其中指导过程直接对应于最小化一种称为IKL散度的新型散度。IKL散度专为DMs设计，通过计算沿扩散过程的KL散度积分，被证明在比较具有不对齐支持的分布时更具鲁棒性。数据自由学习：Diff-Instruct的数据自由学习方案支持使用预训练的DMs作为教师来指导各种生成模型。灵活性：Diff-Instruct为生成器提供了非常高的灵活性，区别于传统扩散模型蒸馏方法对生成器选择的严格限制。这意味着生成器可以是基于卷积神经网络（CNN）或基于Transformer的图像生成器，如StyleGAN，或者是从预训练扩散模型适应的基于UNet的生成器。

Diff-Instruct的项目地址

Github仓库：https://github.com/pkulwj1994/diff_instruct技术论文：https://openreview.net/pdf?id=MLIs5iRq4w

Diff-Instruct的应用场景

预训练扩散模型的蒸馏：Diff-Instruct可以从预训练的扩散模型（DMs）中学习，并以无需数据的方式将这些知识转移到其他生成模型中，实现预训练扩散模型的蒸馏。改进现有的生成对抗网络（GAN）模型：Diff-Instruct可以用于蒸馏预训练的扩散模型，用于改进现有的GAN模型，提升其生成器的性能。视频生成：在多模态生成领域，Diff-Instruct的技术原理也被应用于视频生成，如MarDini模型，将掩模自回归（MAR）的优势融入统一的扩散模型（DM）框架中，用于大规模视频生成。表情包服装秀视频生成：Pika 2.0基于Diff-Instruct的技术原理，支持参考背景、角色和服装的图片来生成视频，展示了在表情包服装秀视频生成领域的应用。