高斯分布

数学期望：μ

方差：σ^2

标准差：σ

随机变量：x

exp：e为底（后续括号内的为幂次）

一、一维情况 MLE

高斯分布在机器学习中占有举足轻重的作用。在 MLE 方法中：

$$\theta =(\mu ,\Sigma )=(\mu ,{\sigma }^2),{\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}\log p(X|\theta )\underset{iid}{=}\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log p(x_i|\theta )$$

MLE的连等号是因为：$\log P(X\mid \theta )=\log {\prod }_{i=1}^{N}p\left(x_i\mid \theta \right)={\sum }_{i=1}^N\log p\left(x_i\mid \theta \right)$

argmax : 比如f(x)中，x就是变量(arg), arg是argument，即自变量, arg max 意思是 使后面式子取到 max值 时的 变量取值

一般地，高斯分布的概率密度函数PDF（probability density function）写为：

$$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$

带入 MLE 中我们考虑一维的情况

$$\log p(X|\theta )=\sum _{i=1}^N\log p(x_i|\theta )=\sum _{i=1}^N\log \frac{1}{\sqrt{2\pi }\sigma }\exp (-(x_i-\mu {)}^2/2{\sigma }^2)$$
$$=\sum _{i=1}^N\left[\log \frac{1}{\sqrt{2x}}+\log \frac{1}{\sigma }-\frac{{\left(x_i-\mu \right)}^2}{2{\sigma }^2}\right]$$

首先对 $\mu$ 的极值可以得到 ：（ $\mu$相对容易）

$${\mu }_{MLE}=\underset{\mu }{\mathrm{argmax}}\log p(X|\theta )=\underset{\mu }{\mathrm{argmax}}\sum _{i=1}^N(x_i-\mu {)}^2$$

于是：（其实就是均值，且${\mu }_{MLE}=\mu$)

$$\frac{\partial }{\partial \mu }\sum _{i=1}^N(x_i-\mu {)}^2=0⟶{\mu }_{MLE}=\frac{1}{N}\sum _{i=1}^N{x}_i$$

其次对 $\theta$ 中的另一个参数 $\sigma$ ，有：

$$\begin{array}{rl}{\sigma }_{MLE}=\underset{\sigma }{\mathrm{argmax}}\log p(X|\theta )& =\underset{\sigma }{\mathrm{argmax}}\sum _{i=1}^N[-\log \sigma -\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]\\ & =\underset{\sigma }{\mathrm{argmin}}\sum _{i=1}^N[\log \sigma +\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]\end{array}$$

于是：

$$\frac{\partial }{\partial \sigma }\sum _{i=1}^N[\log \sigma +\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]=0⟶{\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2$$

值得注意的是，上面的推导中，首先对 $\mu$ 求 MLE， 然后利用这个结果求 ${\sigma }_{MLE}$ ，因此可以预期的是对数据集求期望时 ${\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}]$ 是无偏差的：

$${\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i]=\frac{1}{N}\sum _{i=1}^N{\mathbb{E}}_{\mathcal{D}}[x_i]=\mu$$

但是当对 ${\sigma }_{MLE}$ 求 期望的时候由于使用了单个数据集的 ${\mu }_{MLE}$，因此对所有数据集求期望的时候我们会发现 ${\sigma }_{MLE}$ 是 有偏的：

有偏的原因是因为用样本均值${\mu }_{MLE}$代替总体均值，假如本身系统设计时均值是已知的。只用MLE算方差的话，除以n也还是无偏估计

另外、如果$E[\hat{\mu }]=\mu$那么，像这种样子我们就认为他是无偏的，如果 ≠ 则是无偏的

补充：下述公式中倒数第二行变化，是因为离散型随机变量方差计算公式：(只要未知数套上了一层E，默认就是常数处理了。)

$$D(X)=E\left((X-E(X){)}^2\right)=E\left(X^2\right)-E^2(X)$$

$$\begin{array}{rl}{\mathbb{E}}_{\mathcal{D}}[{\sigma }_{MLE}^2]& ={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N(x_i^2-2x_i{\mu }_{MLE}+{\mu }_{MLE}^2)\\ & ={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }_{MLE}^2]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2-({\mu }_{MLE}^2-{\mu }^2)]\\ & ={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2]-{\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}^2-{\mu }^2]\\ & =\frac{1}{N}\sum _{i=1}^N({\mathbb{E}}_{\mathcal{D}}\left(x_i^2\right)-{\mu }^2)-({\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}^2]-{\mathbb{E}}_{\mathcal{D}}^2[{\mu }_{MLE}])\\ & ={\sigma }^2-({\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}^2]-{\mu }^2)={\sigma }^2-({\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}^2]-{\mathbb{E}}_{\mathcal{D}}^2[{\mu }_{MLE}])={\sigma }^2-Var[{\mu }_{MLE}]\\ & ={\sigma }^2-Var[\frac{1}{N}\sum _{i=1}^N{x}_i]={\sigma }^2-\frac{1}{N^2}\sum _{i=1}^{N}Var[x_i]=\frac{N-1}{N}{\sigma }^2\end{array}$$

可以理解为当 $\mu$ 取 ${\mu }_{MLE}$ 就已经确定了所有 $x_i$ 的和等于 $N{\mu }_{MLE}$ ，也就是说当 N-1 个 $x_i$ 确定以后，第 N 个 $x_i$ 也就被确定了，所以少了一个”自由度”，因此$E\left[{\sigma }_{MLE}^2\right]=\frac{N-1}{N}{\sigma }^2$

所以真正的${\sigma }^2$为：

$${\hat{\sigma }}^2=\frac{1}{N-1}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2$$

得到结论：求得有偏的方差，将样本总数减一即为无偏的方差（有偏的方差 < 无偏的方差） 方差往小的方向估计了，也就是用极大似然估计确实会带来一定的偏差，对于高斯分布来说就是估计小了

也很好理解，因为样本是总体的一部分，而方差是所有样本的分布情况，随着样本的增加，方差会增大

此外，在抽样时，样本落在中间区域的概率大，所以抽样的数据离散程度小于总体，所以抽样方差小，也很好理解

二、多维情况

多维高斯分布表达式为：

$$\begin{array}{c}x\stackrel{iid}{\sim }N(\mu ,\Sigma )=p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp (-\frac{1}{2}\underset{\text{二次型 }}{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )})\\ x\in {\mathbb{R}}^p,r\cdot v\\ x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right)\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right)\Sigma ={\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1p}\\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{p1}& {\sigma }_{p2}& \cdots & {\sigma }_{pp}\end{array}\right]}_{p\times p}\end{array}$$

$\Sigma$一般是半正定的, 在本次证明中假设是正定的, 即所有的特征值都是正的，没有 0 。

其中 $x,\mu \in {\mathbb{R}}^p,\Sigma \in {\mathbb{R}}^{p\times p}$ ，$\Sigma$ 为协方差矩阵，一般而言也是半正定矩阵。这里我们只考虑正定矩阵。对于我们高维的高斯分布，未知数只有自变量$x$，其余的$\mu$、$\Sigma$都可以当做常量处理。首先我们处理指数上的数字，指数上的数字可以记为 $x$ 和 $\mu$ 之间的马氏距离。

• 马氏距离

$$\sqrt{(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}为马氏距离（x与\mu 之间，当\Sigma 为I时马氏距离即为欧氏距离。$$

• 正定矩阵与半正定矩阵

给定一个大小为 $n\times n$ 的实对称矩阵 $A$ ，若对于任意长度为 $n$ 的非零向量 $\mathbf{x}$ ，有 ${\mathbf{x}}^{T}A\mathbf{x}>0$ 恒成立，则矩阵 $A$ 是一个正定矩阵，有 ${\mathbf{x}}^{T}A\mathbf{x}\ge 0$ 恒成立，则矩阵 $A$ 是一个半正定矩阵。

三、证明高斯分布等高线为”椭圆”

• 协方差矩阵的特征值分解

任意的$N\times N$实对称矩阵都有$N$个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵$\Sigma$可被分解成$\Sigma =U\Lambda U^T$。

$$\begin{array}{cc}& \text{ 将 }\Sigma \text{ 进行特征分解, }\Sigma =U\Lambda U^T\\ & \text{ 其中 }U{U}^T=U^{T}U=I,\underset{i=1,2,\cdots ,p}{=\mathrm{diag}}\left({\lambda }_i\right),U={\left(u_1,u_2,\cdots ,u_p\right)}_{p\times p}\\ & \text{ 因此 }\Sigma =U\Lambda U^T\\ & =\left(\begin{array}{llll}{u}_1& u_2& \cdots & u_p\end{array}\right)\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_p\end{array}\right]\left(\begin{array}{c}{u}_1^T\\ u_2^T\\ ⋮\\ u_p^T\end{array}\right)\\ & =\left(\begin{array}{llll}{u}_1{\lambda }_1& u_2{\lambda }_2& \cdots & u_p{\lambda }_p\end{array}\right)\left(\begin{array}{c}{u}_1^T\\ u_2^T\\ ⋮\\ u_p^T\end{array}\right)\\ & =\sum _{i=1}^p{u}_i{\lambda }_i{u}_i^T\\ & {\Sigma }^{-1}={\left(U\Lambda U^T\right)}^{-1}={\left(U^T\right)}^{-1}{\Lambda }^{-1}{U}^{-1}=U{\Lambda }^{-1}{U}^T=\sum _{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^T\\ & \text{, 其中 }{\Lambda }^{-1}=\mathrm{diag}\left(\frac{1}{{\lambda }_i}\right),i=1,2,\cdots ,p\\ & \end{array}$$

将概率密度整理成椭圆方程的形式

$$\begin{array}{l}\Delta =(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\\ =(x-\mu {)}^T{\sum }_{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^T(x-\mu )\\ ={\sum }_{i=1}^p(x-\mu {)}^T{u}_i\frac{1}{{\lambda }_i}{u}_i^T(x-\mu )\\ \left(\text{ 令 }{y}_i=(x-\mu {)}^T{u}_i\right)\\ ={\sum }_{i=1}^p{y}_i\frac{1}{{\lambda }_i}{y}_i^T\\ ={\sum }_{i=1}^p\frac{y_i^2}{{\lambda }_i}\end{array}$$

上式中$y_i=(x-\mu {)}^T{u}_i$可以理解为将$x$减去均值进行中心化以后再投影到$u_i$ ($u_i$ 是正交矩阵的一个基向量，代表一个坐标轴)方向上，相当于做了一次坐标轴变换。 $y_i$ 是 $x-\mu$ 在特征向量 $u_i$​上的投影长度，因此上式子就是 $\Delta$ 取不同值时的同心椭圆。

当$x$的维度为2即$p=2$时$\Delta =\frac{y_1^2}{{\lambda }_1}+\frac{y_2^2}{{\lambda }_2}$，得到类似椭圆方程的等式，所以也就可以解释为什么其等高线是椭圆形状。二维高斯分布的图像如下所示：

所以随着$x$的取值不断变化，即在维度为2的情况下，椭圆的长轴和短轴的长度也随着唯一自变量$x$不断改变，切面也就不断变大和变小。

四、高斯分布的局限性

1. 参数过多
   协方差矩阵 ${\Sigma }_{p\times p}$ 中的参数共有 $1+2+\cdots +p=\frac{p(p+1)}{2}$ 个 ( ${\Sigma }_{p\times p}$ 是对称矩阵(参数个数少一半左右))），因此当 $x$ 的维度 $p$ 很大时，高斯分布的参数就会有很多，其计算复杂度为 $O\left(p^2\right)$) 。
   可以通过假设高斯分布的协方差矩阵为对角矩阵来减少参数，当高斯分布的协方差矩阵为对角矩阵(仅对角线上有参数)时，无需特征值分解，特征向量的方向就会和原坐标轴的方向平行，因此高斯分布的等高线 (同心椭圆) 就 不会倾斜。
   另外如果在高斯分布的协方差矩阵为对角矩阵为对角矩阵的基础上使得其特征值全部相等 (即 ${\lambda }_1={\lambda }_2=\cdots ={\lambda }_i$ ）, 则高斯分布的等高线就会成为一个圆形，而且不会倾斜，称为各向同性。

$\Sigma$若退化为对角矩阵，那么$\left(y_i=(x-\mu {)}^T{x}_i\right)$，即每一个样本x代表它本身，U已经不存在（SVD分解，将U代表旋转，^代表特征值），方向与若$x_i$保持方正（而每一个$x_i$独立同分布）。 ^ 中的${\lambda }_i$均相等，则持有特向同性，退化为圆

2. 单个高斯分布是单峰，对有多个峰的数据分布不能得到好的结果，拟合能力有限
   解决方案是使用多个高斯分布，比如高斯混合GMM模型。

五、求高斯分布的边缘概率与条件概率

1. 概述

首先将变量、均值和方差进行划分：

$$x=\left(\begin{array}{l}{x}_a\\ x_b\end{array}\right),其中x_a是m维的,x_b是n维的。$$
$$\mu =\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)\Sigma =\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)$$

本部分旨在根据上述已知来求 $P\left(x_a\right),P\left(x_b\mid x_a\right),P\left(x_b\right),P\left(x_a\mid x_b\right)$ 。
2. 定理
以下定义为推导过程中主要用到的定理，这里只展示定理的内容，不进行证明:

$$\begin{gathered} 已知x\sim N(\mu ,\Sigma ),x\in {\mathbb{R}}^p \\ y=Ax+B,y\in {\mathbb{R}}^q \\ 结论:y\sim N\left(A\mu +B,A\Sigma A^T\right) \end{gathered}$$

一个简单但不严谨的证明:

$$\begin{array}{c}E[y]=E[Ax+B]=AE[x]+B=A\mu +B\\ \mathrm{Var}[y]=\mathrm{Var}[Ax+B]\\ =\mathrm{Var}[Ax]+\mathrm{Var}[B]\\ =A\mathrm{Var}[x]A^T+0\\ =A\Sigma A^T\end{array}$$

3. 求边缘概率 $P\left(x_a\right)$

$$\begin{array}{c}{x}_a=\underset{A}{\left(\begin{array}{ll}{I}_m& 0_n\end{array}\right)}\underset{x}{\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)}\\ E\left[x_a\right]=\left(\begin{array}{ll}{I}_m& 0_n\end{array}\right)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_a\\ \mathrm{Var}\left[x_a\right]=\left(\begin{array}{ll}{I}_m& 0_n\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}{I}_m\\ 0_n\end{array}\right)\\ =\left(\begin{array}{ll}{\Sigma }_{aa}& {\Sigma }_{ab}\end{array}\right)\left(\begin{array}{c}{I}_m\\ 0_n\end{array}\right)={\Sigma }_{aa}\end{array}$$

所以 $x_a\sim N\left({\mu }_a,{\Sigma }_{aa}\right)$ ，同理 $x_b\sim N\left({\mu }_b,{\Sigma }_{bb}\right)$ 。
4. 求条件概率 $P\left(x_b\mid x_a\right)$

$$\begin{array}{cc}& \text{ 构造 }\{\begin{array}{c}{x}_{b\cdot a}=x_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ {\mu }_{b\cdot a}={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a\\ {\Sigma }_{bb\cdot a}={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\end{array}\\ & \text{ ( }{\Sigma }_{bb\cdot a}\text{ 是 }{\Sigma }_{aa}\text{ 的舒尔补) }\\ & x_{b\cdot a}=\underset{A}{\left(\begin{array}{ll}{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& I_n\end{array}\right)}\underset{x}{\left(\begin{array}{c}{x}_a\\ x_b\end{array}\right)}\\ & E\left[x_{b\cdot a}\right]=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& I_n\end{array}\right)\left(\begin{array}{l}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a={\mu }_{b\cdot a}\\ & \mathrm{Var}\left[x_{b\cdot a}\right]=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& I_n\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma }_{aa}^{-1}{\Sigma }_{ba}^T\\ I_n\end{array}\right)\\ & =\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{aa}+{\Sigma }_{ba}& -{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}+{\Sigma }_{bb}\end{array}\right)\\ & =\left(\begin{array}{ll}0& -{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}+{\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma }_{aa}^{-1}{\Sigma }_{ba}^T\\ I_n\end{array}\right)\\ & ={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\\ & ={\Sigma }_{bb\cdot a}\\ & \end{array}$$

现在可以得到 $x_{b\cdot a}\sim N\left({\mu }_{b\cdot a},{\Sigma }_{bb\cdot a}\right)$ 。根据 $x_b$ 与 $x_{b\cdot a}$ 的关系可以得到 $x_b\mid x_a$ 的分布:

$$\begin{gathered} x_b=\underset{x}{x_{b\cdot a}}+\underset{B}{{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a} \\ (在求条件概率P\left(x_b\mid x_a\right)时x_a对于x_b来说可以看做已知,因此上式中{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a看做常量B) \\ \begin{array}{c}E\left[x_b\mid x_a\right]={\mu }_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a\\ \mathrm{Var}\left[x_b\mid x_a\right]=\mathrm{Var}\left[x_{b\cdot a}\right]={\Sigma }_{bb\cdot a}\end{array} \end{gathered}$$

因此可以得到 $x_b\mid x_a\sim N\left({\mu }_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a,{\Sigma }_{bb\cdot a}\right)$, 同理可以得到 $x_a\mid x_b\sim N\left({\mu }_{a\cdot b}+{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{x}_b,{\Sigma }_{aa\cdot b}\right)$ 。

六、求高斯分布的联合概率分布

1. 概述

$$\begin{array}{c}p(x)=N\left(x\mid \mu ,{\Lambda }^{-1}\right)\\ p(y\mid x)=N\left(y\mid Ax+b,L^{-1}\right)\\ \Lambda 和L是精度矩阵(precisionmatrix),precisionmatrix=(\text{ covariance matrix }{)}^T。\end{array}$$

本部分旨在根据上述已知来求 $p(y),p(x\mid y)$ 。

2. 求解 $p(y)$

由上述已知可以确定 $y$ 与 $x$ 的关系为线性高斯模型，$\epsilon$是人为定义的噪声，分布也是人为设定。

则 $y$ 与 $x$ 符合下述关系:

$$y=Ax+b+\epsilon ,\epsilon \sim N\left(0,L^{-1}\right)$$

​ 然后求解 $y$ 的均值和方差:

$$\begin{array}{c}E[y]=E[Ax+b+\epsilon ]=E[Ax+b]+E[\epsilon ]=A\mu +b\\ \mathrm{Var}[y]=\mathrm{Var}[Ax+b+\epsilon ]=\mathrm{Var}[Ax+b]+\mathrm{Var}[\epsilon ]=A{\Lambda }^{-1}{A}^T+L^{-1}\end{array}$$

​ 则可以得出 $y\sim N\left(A\mu +b,L^{-1}+A{\Lambda }^{-1}{A}^T\right)$

3. 求解 $p(x\mid y)$

求解 $p(x\mid y)$ 需要首先求解 $x$ 与 $y$ 的联合分布，然后根据上一部分的公式直接得到 $p(x\mid y)$ 。

构造z=(xy)∼N([μAμ+b],[Λ−1ΔΔTL−1+AΛ−1AT])现在需要求解ΔΔ=Cov⁡(x,y)=E[(x−E[x])(y−E[y])T]=E[(x−μ)(y−Aμ−b)T]=E[(x−μ)(Ax+b+ε−Aμ−b)T]=E[(x−μ)(Ax−Aμ+ε)T]=E[(x−μ)(Ax−Aμ)T+(x−μ)εT]=E[(x−μ)(Ax−Aμ)T]+E[(x−μ)εT](因为x⊥ε,所以(x−μ)⊥ε,所以E[(x−μ)εT]=E[(x−μ)]E[εT])=E[(x−μ)(Ax−Aμ)T]+E[(x−μ)]E[εT]=E[(x−μ)(Ax−Aμ)T]+E[(x−μ)]⋅0=E[(x−μ)(Ax−Aμ)T]=E[(x−μ)(x−μ)TAT]=E[(x−μ)(x−μ)T]AT=Var⁡[x]AT=Λ−1AT由此可得z=(xy)∼N([μAμ+b],[Λ−1Λ−1ATAΛ−1L−1+AΛ−1AT])套用上一部分的公式可以得到x∣y∼N(μx⋅y+Λ−1AT(L−1+AΛ−1AT)−1y,Σxx⋅y)构造 z=left(begin{array}{l}x yend{array}right) sim Nleft(left[begin{array}{c}mu A mu+bend{array}right],left[begin{array}{cc}Lambda^{-1} & Delta Delta^T & L^{-1}+A Lambda^{-1} A^Tend{array}right]right)
现在需要求解 Delta
begin{gathered}
Delta=operatorname{Cov}(x, y)
=Eleft[(x-E[x])(y-E[y])^Tright]
=Eleft[(x-mu)(y-A mu-b)^Tright]
=Eleft[(x-mu)(A x+b+varepsilon-A mu-b)^Tright]
=Eleft[(x-mu)(A x-A mu+varepsilon)^Tright]
=Eleft[(x-mu)(A x-A mu)^T+(x-mu) varepsilon^Tright]
=Eleft[(x-mu)(A x-A mu)^Tright]+Eleft[(x-mu) varepsilon^Tright]
(因为 x perp varepsilon, 所以 (x-mu) perp varepsilon, 所以 Eleft[(x-mu) varepsilon^Tright]=E[(x-mu)] Eleft[varepsilon^Tright] )
=Eleft[(x-mu)(A x-A mu)^Tright]+E[(x-mu)] Eleft[varepsilon^Tright]
=Eleft[(x-mu)(A x-A mu)^Tright]+E[(x-mu)] cdot 0
=Eleft[(x-mu)(A x-A mu)^Tright]
=Eleft[(x-mu)(x-mu)^T A^Tright]
=Eleft[(x-mu)(x-mu)^Tright] A^T
=operatorname{Var}[x] A^T
=Lambda^{-1} A^T

由此可得 z=left(begin{array}{l}x yend{array}right) sim Nleft(left[begin{array}{c}mu A mu+bend{array}right],left[begin{array}{cc}Lambda^{-1} & Lambda^{-1} A^T A Lambda^{-1} & L^{-1}+A Lambda^{-1} A^Tend{array}right]right)
套用上一部分的公式可以得到 x mid y sim Nleft(mu_{x cdot y}+Lambda^{-1} A^Tleft(L^{-1}+A Lambda^{-1} A^Tright)^{-1} y, Sigma_{x x cdot y}right)
end{gathered}构造z=(xy​)∼N([μAμ+b​],[Λ−1ΔT​ΔL−1+AΛ−1AT​])现在需要求解ΔΔ=Cov(x,y)=E[(x−E[x])(y−E[y])T]=E[(x−μ)(y−Aμ−b)T]=E[(x−μ)(Ax+b+ε−Aμ−b)T]=E[(x−μ)(Ax−Aμ+ε)T]=E[(x−μ)(Ax−Aμ)T+(x−μ)εT]=E[(x−μ)(Ax−Aμ)T]+E[(x−μ)εT](因为x⊥ε,所以(x−μ)⊥ε,所以E[(x−μ)εT]=E[(x−μ)]E[εT])=E[(x−μ)(Ax−Aμ)T]+E[(x−μ)]E[εT]=E[(x−μ)(Ax−Aμ)T]+E[(x−μ)]⋅0=E[(x−μ)(Ax−Aμ)T]=E[(x−μ)(x−μ)TAT]=E[(x−μ)(x−μ)T]AT=Var[x]AT=Λ−1AT由此可得z=(xy​)∼N([μAμ+b​],[Λ−1AΛ−1​Λ−1ATL−1+AΛ−1AT​])套用上一部分的公式可以得到x∣y∼N(μx⋅y​+Λ−1AT(L−1+AΛ−1AT)−1y,Σxx⋅y​)​