去噪扩散概率模型 (DDPM) 可以在没有对抗训练的情况下生成高质量的图像，但是它需要很多步骤来模拟马尔可夫链来产生样本。为了加快这一过程，他们引入了去噪扩散隐式模型 (DDIM)，这是一类更高效的迭代隐式概率模型，其训练过程与 DDPM 相同。DDPM 将生成过程定义为特定马尔可夫扩散过程的逆过程。然而，他们使用具有相同训练目标的非马尔可夫扩散过程来推广 DDPM。这些过程可以对应于更快地生成高质量样本的确定性生成过程。他们证明 DDIM 生成高质量样本的速度比 DDPM 快 10-50 倍，从而实现了计算和样本质量之间的权衡。
方法
扩散的图形模型（左）和马尔可夫推理模型（右）
为了减少生成模型所需的迭代次数，关键观察是 DDPM 目标仅以边缘 q(x_t | x_0) 为条件，而不是联合 q(x_{1:T} | x_0) . 因此，作者考虑使用非马尔可夫推理过程，就像上图所示。然而，它们仍然导致在 DDPM 中应用相同的目标函数。
非马尔可夫正向过程
首先，我们考虑一个推理分布族 Q，由实向量 σ 索引：
前向过程可以根据贝叶斯法则计算：
与 DDRM 论文中描述的扩散过程不同，转换后的前向过程不再是马尔可夫过程，因为 x_t 不仅可以依赖于 x_{t-1}，还可以依赖于 x_0。
生成过程和统一变分推理目标
该论文提出了一个可训练的生成过程 pθ(x_{0:T} )，其中每个 p^(t)θ (x{t−1} | x_t) 利用 q_σ(x_{t−1} | x_t, x_0) 的知识. 给定一个有噪声的观察 x_t，我们首先预测 x_0，并使用 x_0 通过上一节中定义的反向条件分布获得 x_{t-1}。
我们获得噪声化观察的方式是在给定 x_t 的情况下预测 x_0：
我们根据以下变分推理目标优化了 θ
从广义生成中抽样
加速生成的图形模型，其中 τ = [1, 3]
通过使用 L_1 作为目标，我们正在学习 DDPM 中马尔可夫推理过程的生成过程和由 σ 描述的多个非马尔可夫前向过程的生成过程。因此，我们可以使用预训练的 DDPM 模型作为新目标的解决方案，并专注于发现一个生成过程，该过程可以通过改变 σ 来根据我们的要求生成更好的样本。
去噪扩散隐式模型
我们可以根据以下条件从样本 x_t 生成样本 x_{t-1}：
其中 ε_t 是独立于 x_t 的标准高斯噪声。σ 的大小导致不同的生成过程。然而，作者使用相同的模型ε_θ，因此，我们不需要重新训练模型。当满足如下所示的条件时，正向过程变为马尔可夫过程，生成过程变为 DDPM。
另一个极端情况是对于所有 t σ_t = 0，正向过程在给定 x_{t-1} 和 x_0 的情况下变得确定，除了 t = 1。获得的模型是一个隐式概率模型，它从固定潜在变量中生成样本具体方式（从 x_T 到 x_0）。它被命名为 Denoising Diffusion Implicit Model(DDIM)，因为它是一个使用 DDPM 目标训练的隐式概率模型，即使正向过程不再是扩散。
加速生成过程
我们知道前向过程需要 T 步才能完成，反向或生成过程也是如此。但是，根据之前的变换，我们可以考虑长度小于T的前向过程，这也可以减少生成过程。
这考虑到我们可以将正向过程分成 [1, …., T] 的递增子序列的多个子集。作者将使用 reversed(τ) 对潜在变量进行采样的过程称为“采样轨迹”。如果这条轨迹的长度比 T 短得多，由于采样过程是迭代的，它可以大大提高计算效率。
