正态分布标准化

对于一个服从高斯分布的随机变量$x\sim \mathcal{N}(\mu ,{\sigma }^2)$，计算其均值$\mu$和标准差$\sigma$。

其概率密度函数：

$$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

所谓“标准正态分布”，就是取 $\mu =0$ 一般 ${\sigma }^2=1$ 正态分布给出的。

其概率密度函数：

$$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{\frac{-x^2}{2}}$$

对于任意一个正态分布的概率密度函数积分：

∫f(x)dx=∫12πσ2e−(x−μ)22σ2dx=∫1σ2πe−12(x−μσ)2dx=∫12πe−12(x−μσ)2d(x−μσ)begin{aligned}
int f(x) mathrm d x &= int frac{1}{sqrt{2 pi sigma^2}} e^{-frac{(x-mu)^2}{2 sigma^2}} mathrm dx

&= int frac {1}{sigma sqrt {2pi}}e^{-frac 1 2 left( frac{x-mu}{sigma} right)^2} mathrm d x

&= int frac{1}{sqrt{2 pi}} e^{-frac{1}{2}left(frac{x-mu}{sigma}right)^2} mathrm dleft(frac{x-mu}{sigma}right)
end{aligned}∫f(x)dx​=∫2πσ2​1​e−2σ2(x−μ)2​dx=∫σ2π​1​e−21​(σx−μ​)2dx=∫2π​1​e−21​(σx−μ​)2d(σx−μ​)​

令$z=\frac{x-\mu }{\sigma }$，上边公式就变成了：

$$\int \frac{1}{\sqrt{2\pi }}{e}^{-\frac{z^2}{2}}\mathrm{d}z$$

所以我们可以得到新的随机变量$z=\frac{x-\mu }{\sigma }$，符合标准正态分布。

所以对于一个服从高斯分布的随机变量$x\sim \mathcal{N}(\mu ,{\sigma }^2)$，取$z=\frac{x-\mu }{\sigma }$即可将其转化为标准高斯分布$z\sim \mathcal{N}(0,1)$。

VAE中的参数重整化

VAE原文：Thesis.pdf (uva.nl)

原来我们要从潜变量空间上随机采样一个值，就相当于从${\mathrm{q}}_{\varphi }(\mathbf{z}|\mathbf{x})=\mathcal{N}\left(\mu ,{\sigma }^2\right)$中直接取$\mathbf{z}$。

这样在反向传播过程中，“随机”这个过程是不可微的，因此无法使用梯度下降更新网络参数。因此我们需要将$\mathbf{z}$的产生变成一个确定过程。

借助正态分布标准化，取$ϵ=\frac{\mathbf{z}-\mu }{\sigma }$，我们可以知道$ϵ\sim \mathcal{N}(0,\mathbf{I})$，现在$\mathbf{z}=\mu +ϵ\times \sigma$。

标准化之后，还是用的${\mathrm{q}}_{\varphi }(\mathbf{z}|\mathbf{x})$的$\mu$和$\sigma$，但是$\mathbf{z}$从${\mathrm{q}}_{\varphi }(\mathbf{z}|\mathbf{x})=\mathcal{N}\left(\mu ,{\sigma }^2\right)$中直接采样，变成了通过确定性方程$\mathrm{g}(\varphi ,\mathbf{x},ϵ)=\mu +ϵ\times \sigma$得到的。

采样$\mathbf{z}$变成从标准正态分布中采样一个$ϵ$，将随机性转嫁到了$ϵ$上，不影响整体的梯度传导。

也就是 Reparameterization Trick

DDPM中的参数重整化

Given a data point sampled from a real data distribution ${\mathbf{x}}_0\sim q(\mathbf{x})$, let us define a forward diffusion process in which we add small amount of Gaussian noise to the sample in $T$ steps, producing a sequence of noisy samples ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_T$. The step sizes are controlled by a variance schedule ${\left\{{\beta }_t\in (0,1)\right\}}_{t=1}^T$

潜变量的后验分布为：

$$q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)=\prod _{t=1}^{T}q\left({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1}\right)$$

拆开看${\mathbf{x}}_t$的后验分布如下：

$$q\left({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1}\right)=\mathcal{N}\left({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I}\right)$$

然后我们就可以认为每个时间步$t$的图像是从均值为${\mu }_t=\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1}$、方差为${\sigma }_t^2={\beta }_t$的高斯分布中画出来的。

借助参数重整化可以写成:

$${\mathbf{x}}_t=\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1}+\sqrt{{\beta }_t}ϵ$$

其中$ϵ\sim \mathcal{N}(0,\mathbf{I})$，是从标准高斯分布中采样的噪声。

本文正在参加「金石计划」