监督学习 vs 无监督学习

监督学习vs无监督学习

• 分类、captioning、检测、分割等都属于监督学习，因为训练数据中显式包含 $(x,y)$，要做的事情可以理解为学习一个函数去近似训练集中已有的 $x \rightarrow y$ 映射，并且泛化到新样本。
• 聚类、降维以及密度估计等则属于无监督学习，训练数据中只包含 $x$，目标也不是对齐某个现成的标签，而是需要模型自身从数据中去挖掘结构。

判别式 vs 生成式

判别模型的建模对象是条件概率分布 $P(Y | X)$，给定输入观测数据 $X$, 预测其对应标签 $Y$ 的概率分布，其目标是学习特征与标签之间的映射关系，以寻找不同类别的数据在特征空间中的决策边界。

判别式模型 vs 生成式模型

判别模型的竞争更多是标签之间的竞争，在判别模型 $P(Y|X)$ 中，概率归一化是针对标签 $Y$ 的，即对于每个固定的输入 $X$，所有可能标签的概率之和为 1：

模型只需要分辨当前图片更像是猫还是更像是狗，图片A 的分类结果与图片B 毫无关系，模型不需要比较图片A 和图片B 谁更像是一张真实的图片，因此即便不是猫也不是狗，模型也会输出相应的概率，即便实际上二者都不是，不符合真实世界的分布结构：

判别模型无法分辨是否为真实图片，只能分出二分类结果

生成模型的建模对象是联合概率分布 $P(X,Y)$ 或边缘概率分布 $P(X)$，在无标签的情况下学习 $P(X)$，即数据本身的分布密度；而在有标签的情况下学习 $P(X|Y)P(Y)$，即先学习每个类别的数据分布，再结合先验概率。其目标是学习数据在特征空间中的真实分布结构，模型需要理解什么样子的 是合理的，而不仅仅是这个 属于哪一类。

生成模型能够拒绝不合理的结果

在生成模型 $P(X)$ 中，概率归一化是针对输入空间 $X$ 的，在整个高维数据空间中，所有可能输入样本 $X$ 的概率密度积分（或求和）为 1：

模型必须给真实的、自然的图像分配较高的概率密度，同时必须压低那些不自然的、噪声的图像的概率密度。难点就在于数据空间极其巨大，模型必须精确地将概率密度集中在极小部分的真实数据流形上，如果模型给噪声图片分配了概率，那么真实图片的概率就必然会下降。

而条件生成模型 $P(X|Y)$ 用于连接判别模型与生成模型，其不是在预测 $Y$, 而是在给定 $Y$ 的条件下对 $X$ 的分布进行建模。其将高维的数据空间划分为了多个子空间，模型要在 $Y$ 指定的子空间中让符合条件的 $X$ 竞争概率密度，这也是实践中最常用的方法。

条件生成模型在条件制定的子空间中输出符合条件的概率密度

虽然三者的功能不同，但是在数学上是完全耦合的：

贝叶斯公式是联系三者的关键

根据贝叶斯公式，如果想要得到左边的条件生成模型，可以使用判别模型、无条件生成模型以及类别先验来计算出来。判别模型代表了有监督学习的能力（利用标签），生成模型代表了无监督学习的能力（理解数据分布），条件生成模型则是两者的结合体。

Taxonomy of Generative Models

Taxonomy of Generative Models

根据能不能显式建模 $P(X)$，可以将生成模型分为显式密度模型和隐式密度模型。

• 显式密度模型：模型可以明确地定义并优化密度函数 $P(X)$ 的值。
  • 如果可以直接计算 $P(X)$ 的值，则这一类模型可被划分到可解密度类别，代表模型是自回归模型。
  • 如果 $P(X)$ 难以直接计算，需要使用变分推断或者马尔科夫链蒙特卡洛近似，则这一类模型被划分到近似密度模型，代表模型是变分自编码器。
• 隐式密度模型：模型不直接定义密度函数 $P(X)$，而是学习一个生成过程，能够从分布中采样。

Autoregressive Models

在生成建模中，假设存在一个真实的、未知的概率分布 $P_{data}(x)$，它生成了在现实世界中看到的图像，我们的目标是构建一个由参数 $\theta$ 控制的模型分布 $P_{model}(x, \theta)$，使得这个模型分布尽可能逼近真实的 。而最大似然估计的思想就是，寻找一组参数 ，使得在该组参数下，观察到的训练数据出现的概率最大。

具体的数学推导如下：假设我们的训练集 $X$ 包含 $N$ 个样本 $(x^{(1)},x^{(2)},\dots,x^{(N)}$，且假设这些样本是独立同分布的。对于给定的参数 ，整个数据集出现的联合概率（即似然 ）为每个样本概率的乘积：

直接优化上述乘积在数值上非常不稳定，多个小于 1 的概率相乘会迅速趋近于 0 而导致下溢，因此通常对似然函数取自然对数。由于似然函数是递增的，最大化似然等价于最大化对数似然：

这也是自回归模型的直接损失函数，在实际中沿用最小化 loss 的惯例，通常会将其写成最小化负对数似然：

为了理解为什么最大似然能够让模型学习到东西，需要引入 KL 散度的概念：KL 散度用于衡量两个概率分布之间的差异，在生成模型中，希望最小化真实数据分布 $P_{data}$ 和模型分布 $P_{m o de l}$ 之间的差异:

其中第一项 $\sum_{x} P_{data}(x) \log P_{data}(x)$ 是数据的熵，仅与数据集有关，对于模型参数 来说是常数。第二项 是在最大似然中计算的对数似然的期望（取负号）。最大化自然估计在数学上严格等价于最小化真实数据分布与模型分布之间的 KL 散度。

自回归模型的基石是概率论中的链式法则。对于一张包含 $n$ 个像素的图像 $X$，将其展平为一个一维向量 $X=(x_{1},x_{2},\dots,x_{n})$，要建模的是联合概率分布 。根据链式法则，任何联合分布都可以分解为条件概率的乘积

即当前像素 $x_{i}$ 的值，完全取决于它之前所有像素 $x_{<i}$ 的值，而建模的目的就是构建一个函数，输入所有之前的像素 $(x_{1},x_{2},\dots,x_{i-1})$，输出是当前像素 的概率分布。

自回归模型

RNN 的结构刚好满足这一特点，很容易实现这种只看前缀的依赖关系，而 Transformer 也可以通过 masked attention 将注意力矩阵遮住，从而强制每个位置只能够依赖更早的 token，同样可以用于做自回归建模。自回归在语言处理中更加自然，因为语言本身就是 1D 序列，并且 token 本来就是离散的，而图像不是天然 1D，并且常常将图像当作连续值信号。为了简化问题，模型不将像素视为连续数值，而是将其视为离散分类问题：每个像素中有 RGB 三个通道，每个通道为 0-255，模型输出的是一个 256 维的 Softmax 概率分布，表示当前位置取值为 0-255 的值的概率。

有两种比较典型的自回归模型：PixelRNN 和 PixelCNN。

• PixelRNN：图像是二维的，RNN 是一维的，通常采用光栅扫描顺序，从左上角开始一行一行扫描到右下角。模型的输入是当前像素 $x_{i}$，隐藏状态 $h_{i}$ 编码了之前所有像素的信息，输出是预测下一个像素 $x_{i+1}$ 的 Softmax 分布。在扫描顺序上的不同，又有两种不同的变体：利用 LSTM 层进行逐行处理的 Row LSTM，这种方式的上下文呈三角形，即某个像素只能够看到它正上方三家形区域内的像素，无法有效利用其左侧或右侧的完整上下文信息；按照图像的对角线方向进行扫描和计算的 Diagonal BiLSTM，优点是其能够捕获全图的依赖关系，但是计算极其昂贵，难以并行。

图像中的自回归模型

可是实际上如果真的把图像当作子像素序列，那么当分辨率变大时，序列长度会爆炸，一张 $1024 \times 1024$ 的图像是 3M 个像素的序列，生成时需要一步一步预测 300 万次，在推理延迟上是无法接受的。

Variational Autoencoders

自回归模型属于显示密度并且能够给出真实的 $p(x)$：将序列逐步分解为条件概率并连乘，就能得到一个样本的精确密度值，但是其代价是采样需要逐步生成，速度受限于序列长度与自回归依赖结构。VAE 也会围绕 $p(x)$ 进行建模，但是其得到的是对数似然的下界（近似）。

Autoencoders

普通自编码器将图像 $x$ 映射为低维特征向量 $z$，解码器将 $z$ 还原为重建图像 $\hat{x}$。对应的损失函数是重建损失，通常是 L2 范数 $||x = \hat{x}||^2$。

非变分自编码器

但是普通的 Autoencoders 的隐空间 $z$ 是不规则的、不连续的。如果在训练好的隐空间中随机采样一个点，解码器通常会输出无意义的噪声，因此普通 Autoencoders 只能做特征压缩，不能做生成模型（因为不知道 $z$ 的分布 $P(z)$，无法从中采样）。

Variational Autoencoders（VAE）

VAE 对隐变量 $z$ 做了一个强假设：所有图像 $x$ 都是由一个潜在的随机变量 $z$ 生成的，且 $z$ 服从某个先验分布 $P(z)$（通常假设为标准正态分布 $\mathcal{N}(0,I)$）。

目标是最大化观测数据 $x$ 的对数似然 $logP_{\theta}(x)$，根据全概率公式：

但是这个积分是不可解的，因为 $z$ 是高维向量，遍历所有可能的 $z$ 进行积分在计算量上是不可能的，并且如果试图求真实的后验分布$P(z|x)=\frac{P(x|z)P(z)}{P(x)}$，由于分母 不可解，导致后验分布也不可解。既然不可解，那就使用神经网络去拟合，可以定义近似后验分布 ，由参数为 的编码器网络输出。这样就能够得到一对网络：解码器 负责从隐变量生成数据，编码器 负责从数据反推隐变量的分布，并且两者共同训练。

变分自编码器

利用后验分布 $∫Q_{\phi}(z|x)dz=1$ 的性质，可以将 $logP_{\theta}(x)$ 写成期望的形式:

利用贝叶斯公式 $P(x)=\frac{P(x,z)}{P(z|x)}$ 带入上式：

接着在分数上下同时乘以 $Q_{\phi}(z|x)$：

其中第一部分为 ELBO (Evidence Lower Bound)：

第二部分为近似后验 $Q$ 与真实后验 $P$ 之间的 KL 散度（$D_{KL}\geq 0$）：

因为无法计算 $D_{KL}$（其包含未知的真实后验 $P(z|x)$，无法直接最大化 $\log P(x)$），但是可以最大化 ELBO，如果将 ELBO 最大化，真实的对数似然的下界也就最大化，并且当 ELBO 最大化时，同时也意味着 $D_{KL}$ 最小化，此时近似分布 也就越来越接近真实分布 。

为了进一步得到 loss function，可以将 ELBO 展开：

其中 $\mathbb{E}_{z\sim Q}$ 为在 $z$ 服从 $Q$ 分布下的数学期望，有 $\mathbb{E}_{z\sim Q}[f(z)]=\int Q_{\phi}(z|x)f(z) \, dx$，即积分转期望。这样就得到了 Loss function：

这两项对于潜空间的参数几乎是相反的，重建项希望编码器输出的分布尽可能退化为确定值 $\sum_{z|x} \rightarrow 0$ ，并且每个样本 $\mu_{z|x}$ 都是独一无二的编码，这样解码器可以根据特征来近乎无损地从 $z$ 确定性重建回 ；而正则化项目希望无论输出是什么，编码器输出的 都尽量接近规定的先验 ，将均值推向 0，方差推向 1，这会强行让潜空间更加规整、连续、可采样。VAE 训练实际上是在这两种偏好之中寻找一个平衡，既要能够重建，又要让潜空间整体贴近一个简单先验，从而支持生成。

变分自编码器Loss Function

在具体的训练过程中，需要对编码器的参数 $\phi$ 求偏导 $\nabla_{\phi}$，ELBO 中包含期望项 $\mathbb{E}_{z\sim Q}$，因此需要从分布 $Q_{\phi}(z|x)$ 中采样一个 。假设编码器输出均值 和方差 ，如果直接采样 ，这个采样是随机且不可微的，这就导致计算图在这里断开了，梯度无法通过 传回 和 。为了解决这个问题，需要将随机性从网络时间线中剥离出来，引入一个独立的辅助噪声变量 ，其服从正态分布，且不依赖于网络参数:

然后将 $z$ 重写为一个关于 $\mu,\sigma,\epsilon$ 的确定性函数 $g$：

这样反向传播就能够工作了，对于 $\mu$ 有 $\frac{\partial L}{\partial \mu} = \frac{\partial L}{\partial z} \cdot \frac{\partial z}{\partial \mu}$, 根据公式 ，有 ，梯度可以无损流过去；对于 ，有 ，显然 ，梯度也可以流过去，且受到当前噪声强度 的调节。

变分自编码器训练过程

Generative Adversarial Networks (GANs)

Generative Adversarial Networks (GANs)

显式模型视图直接对概率分布 $P(x)$ 进行建模，而 GAN（隐式模型）则放弃了显式计算 $P(x)$ 的具体数值，其主张是通过构建一个系统，从分布 $P(x)$ 中采样出样本 $z$，然后将 $z$ 输入到生成器网络 中，输出一张图 ，这会在数据空间中诱导出一个生成器分布 （无法将其写成一个可计算的密度函数，但是其确实定义了会采样到什么样的样本）。GAN 的训练目标就是让 逐渐逼近真实数据分布 。

GAN架构

既然无法显式计算出 $p_{G}(x)$，评判生成器 $G$ 生成图像的质量就需要使用另外一个网络判别器 $D$。判别器接收一张图 $x$，输出一个标量 $D(x)$，并且将其解释为“生成图像来自于真实数据的概率”：

即 $D(x)=1$ 则图像越“真实”，$D(x)=0$ 则图像越“假”。

因此 GAN 主要由两个独立的神经网络组成，它们在一个博弈的框架下同时训练：

• 生成器：输入是从一个简单的先验分布（通常是标准正态分布或均匀分布）采样的随机噪声向量 $z$，即 $z \sim p_{z}$；输出是生成的图像 $x_{fake}=G(z)$；其功能是学习一个映射函数，将低维的随机噪声空间映射到高维的数据（图像）空间，其目的是欺骗判别器。

从判别器 $D$ 的视角来看，判别器希望最大化上述目标函数，第一项 $\mathbb{E}_{x \sim p_{data}}[\log D(x)]$ 对于真实的数据 $x$， 应当趋近于 1，从而使 最大，第二项 对于生成的数据 ， 应当趋近于 0，从而使 趋近于 1，进而使得对数项最大。

GAN中的判别器

而从生成器的视角来看，生成器希望最小化上述目标函数，第一项与 $G$ 无关，第二项 $G$ 希望生成的图像被判别器误判为真，即希望 $D(G(z))$ 趋近于 1。这会导致 $\log (1-D(G(z)))$ 趋向于 ，即负无穷，从而最小化目标函数。

GAN中的生成器

在实际训练时，由于一边是 $\max_{D}$，一边是 $\min_G$，因此训练时不会像分类网络一样只做一次梯度下降，而是对 $D$ 做梯度上升，对 $G$ 做梯度下降，并且交替进行。通常的训练策略是固定 ，更新 次 ，然后固定 ，更新 1 次 。在理论上当且仅当生成数据的分布 完全等同于真实数据分布 时，博弈达到纳什均衡，此时判别器无法区分真假，对于任何输入，其输出恒为 ，具体的数学推导可见文章末尾处。

在训练初期时，生成器很差，判别器很容易分辨真伪，此时 $D(G(z))$ 会很接近 0，当 $D(G(z)) ≈ 0$ 时，$\log(1-D(G(z)))$ 的梯度非常平缓，即生成器在训练初期会很难获得足够大的梯度来更新参数，导致学习停滞。

GAN中的生成器初期梯度优化

为了解决这个问题，提出的改进是不再最小化 $\log(1-D(G(z)))$，而是改为最大化 $\log (D(G(z)))$，两者在数学逻辑上都在表达欺骗判别器，但是函数 $log(D(G(z)))$ 在 接近 0 时的梯度非常大，这保证了训练初期生成器能够获得强大的梯度信号，加速收敛。

典型 GAN 架构

DC-GAN

生成器 G 和判别器 D 在实现上就是两个神经网络，当时最主流的选择是 CNN，而 DCGAN 是第一个在 nontoy 数据上给出非平凡结果的经典 GAN 架构。

DC-GAN 所做的是将 GAN 这一套对抗训练第一次与一套相对可复现的卷积神经网络绑定在一起，用卷积堆叠来做判别器的逐步下采样，用转置卷积和卷积堆叠来做生成器的逐步放大，并且配合一系列稳定训练的细节。

Style GAN

Style GAN 使用更加复杂的结构，并且通过自适应归一化将噪声/风格信息注入到不同层里。

Style GAN

公式 $AdaIN(x,w,b)_{i}$ 先把特征 $x_{i}$ 做归一化（去均值，除方差），然后再用来自风格/控制信号的 $(w,b)$ 来做逐通道的缩放与平移，这在每一层都向模型注入了信息，能够获得更强的可控性与可解释的变化方向，且能够得到更高质量、更稳定的生成细节。

潜空间往往是平滑的，因此可以从随机两个潜空间变量 $z_{0},z_{1}$ 出发做插值

这样能够看到生成图像 $x_{t}$ 随着 $t$ 的变化呈现连续、平滑的过渡，生成器学习到的映射在潜空间中具有连续的语义结构。

生成器学习到的映射在潜空间语义连续

但是 GAN 的缺点也很明显：没有显式的、可解释的 loss 曲线、训练不稳定、难以扩展到更大的模型和更大的数据，例如训练过程中可能或会突然模式崩塌、突然出现 NaN/Inf、判别器/生成器发散等。

Diffusion Models

Diffusion Model 做的事情是将从简单的噪声分布 $p_{noise}$ 采样逐步变成真实的数据分布 $p_{data}$ 这件事写成一个训练特别像监督学习回归的模型以及采样可以用固定步数迭代的生成过程。
传统的生成模型试图直接学习噪声 $Z$ 到数据 的映射，而扩散模型的核心是定义一个过程。假设模型有两个状态：

• $X_{0}$：真实的数据分布，例如清晰的猫的照片。
• $X_{1}$：先验噪声分布，例如标准高斯分布 $\mathcal{N}(0,I)$。假设数据与噪声之间存在一条直接路径，并且对于任意时间步 ，可以定义一个中间状态 ：

当 $t=0$ 时，$X_{t}$ 是纯数据；当 $t=1$ 时，$X_{t}$ 是纯噪声。对时间 求导，得到这条路径上的速度：

$X_{1}-X_{2}$ 即为要学习的目标向量，其指示了前向传播中如何从当前混合状态向噪声移动，而为了变成真实的图像，会在推理时沿着这个向量的负方向移动。

基于Rectified Flow的扩散模型

在训练阶段，由于无法预知测试时的噪声，因此还需要训练一个神经网络 $v_{\theta}$ 来拟合速度场。网络的输入为当前的含噪图像 $X_{t}$ 和当前的时间步 $t$，输出为预测的速度向量 $v_{\theta}(X_{t},t)$，这个向量指向 的方向。训练的目标是一个均方误差回归问题：

使用 MSE 去拟合一个目标时，模型最终收敛到的最优解是目标的条件期望：

在训练过程中，同一个中间状态 $X_{t}$ 可能由多种不同的真实数据 $X_{0}$ 和噪声 $X_{1}$ 组合生成，由于神经网络对固定的输入 只能输出一个确定的预测值，无法同时指向所有的可能的方向，因此模型学习到的不是某一个具体的真实图像的方向，而是可能所有来源的加权平均值。模型相当于在预测考虑当前模糊的图像，原本清晰图像最有可能的平均形态是什么。

扩散过程在不同时间步 $t$ 的学习价值是不均等的，标准的训练流程中采用均匀分布进行时间步采样，即 $t \sim \mathrm{Uniform(0,1)}$，这意味着模型在训练过程中花费了等量的计算资源在简单的边界条件 （$t \approx 0$ 和 $t \approx 1$ ）与复杂的中间状态 （）上。

在纯噪声端，$v^*(X_{t},t)=\mathbb{E}[X_{1}-X_{0}|X_{t}]=\mathbb{E}[X_{1}|X_{1}]-\mathbb{E}[X_{0}|X_{1}]$，第一项 因为已知 ，因此期望就是 本身；第二项 因为数据 和噪声 是相互独立的，噪声不包含任何关于图片的信息，因此最好的猜测就是整个数据集的均值，通常数据会归一化，因此均值为 0。因此在纯噪声端最优预测就退化为 ，模型只需要学习一个简单的恒等映射而在纯数据端的推导几乎同理，只不过最优预测退化为了 。而在中间阶段，输入是一张带噪的模糊图，既不能忽略 ，也不能忽略 ，一个模糊的 可能源自不同的数据和不同的噪声组合，因此模型需要根据隐约的纹理去猜测输入到底是什么，这就变成了一个高度非线性的、依赖于语义信息内容的复杂函数，理应分配更多算力。

为了解决这个算力不均匀的问题，引入非均匀的采样分布 $p(t)$。通过调整采样概率密度函数（通常是 Logit-Normal 分布或 Beta 分布），将重心位于中间噪声，通过人为提高中间时间步的采样概率，降低两端极端情况的采样概率，迫使模型在训练过程中更多地暴露与高难度的混合状态。

非均匀采样分布

具体的训练步骤为先从数据集中采样一张真实图片 $X_{0}$，从高斯分布中采样一个噪声 $X_{1}$，随机采样一个时间 $t \in [0,1]$，根据线性插值公式构造输入 ，计算 Ground Truth 的速度 ，让神经网络预测 ，并且计算与 的 MSE 损失进行反向传播。

训练完成之后，神经网络 $v_{\theta}$ 学会了定义在整个空间上的速度场，推理过程就是顺着这个速度场流动，初始化时从标准正态分布采样纯噪声 $X_{1} \sim \mathcal{N}(0,I)$，要从 $t=1$ 逆向走向 , 这在本质上是在求解一个常微分方程：

最简单的方式是使用欧拉法进行离散化迭代：

重复上述步骤 $N$ 次后，最终得到的 $X_{0}$ 就是生成的清晰图像。

Rectified Flow中的采样

GAN 是一次前向传播生成，而扩散模型是多次迭代生成，这就导致扩散模型推理速度较慢，但是生成的质量更高，且训练极其稳定。

Classifier-Free Guidance (CFG)

在条件扩散模型中，需要学习的是条件概率分布 $p(x|c)$，其中 $x$ 是图像，$c$ 是条件（例如文本嵌入）。如果只是简单地将条件 $c$ 作为输入用于训练神经网络 $v_{\theta}(x_{t},t,c)$，模型往往会忽略 ，这是因为在训练集中，图像 包含的信息往往远多于文本 ，模型即使忽略 ，仅依靠学习无条件分布 也能够将损失函数降到很低。结果就是生成的图像质量很高，但是跟输入的条件无关（如 Prompt）。

早期的解决方案是分类器引导：通过额外训练一个噪声图像分类器 $f(x_{t},t) \rightarrow y$，推理时，计算分类器的梯度 $\nabla_{x_{t}}\log p(y|x_{t})$，用这个梯度去推扩散生成的方向，强迫图像包含特定的类别，但是缺点是需要训练额外的分类器，分类器在强噪声下很难训练且计算成本高。

而 CFG 采取的策略是训练一个神经网络，使其同时具有“有条件生成”和“无条件生成”的能力。具体的方式是在训练过程中，以一定的概率 $p_{uncond}$ 将条件 $c$ 替换为一个特殊的空向量，这样一部分时间用于训练 $v_{\theta}(x,t,\Theta)$，学习无条件分布 ；一部分时间用于训练 ，学习条件分布 。这样训练结束之后，同一个权重 的模型实际上包含了无条件估计器 和条件估计器 。

而在 CFG推理阶段，在生成过程的每一步，都不直接使用模型输出的条件预测，而是人为构造一个新的引导预测。每一步计算两个向量：

• $v_{uncond}$：模型认为合理图像应当移动的方向（指一般图像流形的中心）。
• $v_{cond}$：模型认为符合文本的图像应该移动的方向。
  定义最终的更新方向为：

可以将以上公式等价写成：

其中 $w$ 是一个标量超参数（通常 $>1$）。差分向量 $v_{cond}-v_{uncond}$ 代表了条件 带来的纯增量信息，消除了图像的通用特征，只保留了与文本 强相关的语义方向。而权重 在 时，，这是标准的条件生成；而在 时，是在放大这个差分向量，是在提醒模型，需要更加强调文本特征，甚至牺牲一部分图像的自然度。

Latent Diffusion Models（LDM）

潜在扩散模型是为了解决直接在像素空间训练扩散模型计算代价过高的问题而提出的架构。传统的扩散模型直接在像素空间进行操作。假设有一张 $512 \times 512 \times 3$ 的 RGB 图像，这张图像会包含 $786432$ 个维度，在这个高维空间中进行数千步的迭代去噪，无论是训练还是推理，对 GPU 的显存和计算能力要求都极高，并且图像中包含大量人类视觉不敏感的高频细节，模型在像素空间花费大量算力去建模对语义理解不重要的信息，是一种资源浪费。
LDM 提出，可以先将模型压缩到一个低维的、语义密集的潜在空间，然后在该空间内进行扩散训练。

LDM

LDM 的第一阶段是训练一个自编码器，用于在像素空间 $X$ 和潜在空间 $Z$ 之间建立双射关系，这个过程在扩散模型训练之前独立完成，训练好后参数即被冻结。编码器 $\mathcal{E}$ 将输入图像 $x \in \mathbb{R}^{H \times W \times 3}$ 映射为潜在编码 ，解码器 将潜在编码重构回图像 。为了克服传统 VAE 生成图像模糊的问题，LDM 在训练自编码器时引入了两个关键的损失函数：

• 感知损失：不止比较像素级的差异，而是比较图像在预训练网络中的特征图差异，确保纹理清晰。
• 对抗损失：引入一个类似 GAN 的判别器，强制要求解码器生成的 $\tilde{x}$ 具有逼真的细节。
  

这个自编码器能够将高分辨率的图像压缩为低分辨率的特征图，同时保留了图像的语义结构和纹理信息。

LDM的第一阶段：自编码器

自编码器训练完成后在潜在空间 $Z$ 中训练扩散模型。给定一张图像 $x$，利用编码器得到 $z_{0}=\mathcal{E}(x)$，然后在低分辨率的特征图上逐步添加高斯模糊，得到 $z_{t}$。训练一个时变去噪神经网络 ，其输入是噪声化的潜在编码 和时间步 ，目标是预测添加时的噪声，损失函数为：

因为 $Z$ 空间的维度远小于 $X$ 空间，训练和推理时的矩阵运算量也就大幅减少，并且潜在空间过滤了高频的像素噪声，扩散模型可以专注于学习图像的结构、物体关系等高级语义。

为了实现文生图、类别生成等任务，LDM 需要将条件信息 $y$ 注入到网络中。

DiT

DiT 是用于与 Vision Transformer 非常相似，输入不是原始像素，而是加噪后的潜在特征图，并且经典切分小块展平为一维 token 序列经过 embed 将 patch 序列映射为向量嵌入同时加入位置编码，经过 N 层堆叠的 Transformer 模块，在这个过程中将时间步 $t$ 和标签 $y$ 作为条件注入网络。输出经过线性层和 reshape，还原回 2D 空间结构，最终输出噪声和协方差。
条件注入的方式主要有三种：

• 自适应层归一化：专门用于处理全局条件（如时间步 $t$ 和类别标签 $y$），其不改变 Transformer 的注意力机制，而是修改 Layer Norm（层归一化）层。网络使用一个 MLP 根据条件 $t$ 和 $y$ 预测出六个参数：$\gamma_{1},\beta_{1},\alpha_{1},\gamma_{2},\beta_{2},\alpha_{2}$，这些参数用于对 Layer Norm 后的特征进行缩放和平移：。

Text-to-Image

以 flux 为例，系统的输入包括两个模态的数据，文本和图像/噪声。文本流是一段复杂的自然语言 Prompt，编码器为 T5 和 CLIP，CLIP 擅长捕捉图像和文本的全局语义对齐，而 T5 则擅长理解复杂的语法结构和长文本细节。输出为文本嵌入，维度为 $D \times L$；图像流是随机高斯噪声，维度为 $128 \times 128 \times 16$。输入到 Diffusion Transformer 后利用 Self-Attention 处理图像内部关联，利用 Cross Attention 处理图文关联，经过多步迭代后，模型输出 Clean latents，为了得到人类可视的图像，需要进行最后一步解码。通过一个预训练好的 VAE 解码器，将低维的潜在特征图上采样回像素空间。

Text-to-Image

Text-to-Video

与 Text-to-Image 不同的是，处理对象从 2D 的静态图像变为了 3D 的动态视频。

Text-to-Video

其他的思路与 Text-to-Video 大抵相同。

Diffusion Distillation

标准的扩散模型在推理时，必须沿着学习到的速度场小心移动，步长太大或步长太少都会导致离散化误差，生成的图像会模糊或崩坏。因此希望训练一个新模型，能够减少迭代的次数同时保证图片的质量。目前主要有两种方法：

• 渐进式蒸馏：假设 Teacher模型需要 $N$ 步生成一张图，训练Student 模型让 Student 的 1 步拟合 Teacher 的 2 步，同时进行迭代减半，例如训练 Student 将 1024 步压缩为 512 步，新的 Student 变为 Teacher，再去训练新的 Student 进一步压缩，最终在理想的情况下可以将步数压缩到 4 步或 8 步，而肉眼几乎看不出质量损失。
• 一致性模型：在常微分方程的视角下，对于同一条生成轨迹，无论在哪个时间点 $t$ 观察，这条轨迹最终指向的起点 $x_{0}$ 是同一个，因此可以定义一个函数 $f_{0}(x_{t},t)$，无论输入的 是多少，函数的输出都应该直接等于 。因此不需要像是渐进式蒸馏一样一轮一轮进行训练，而是直接强制模型学习一致性映射，让模型预测从当前状态 沿着轨迹一步跳回原点 的能力，这样可以实现单步生成。

Generalized Diffusion

从传统的随机微分方程（SDE）视角来看，扩散模型的演化过程可以用通用的形式 $d X_t = f(t) X_t d t + g(t) d W_t$ 来描述，其中漂移项 决定了数据均值的变化趋势，而扩散项 则决定了噪声注入的强度。在这一框架下，VP（Variance Preserving，方差保持）和 VE（Variance Exploding，方差爆炸）代表了两种针对不同物理约束设计的特殊路径。

VP 过程的核心理念在于“能量守恒”，即旨在确保在加噪过程中信号与噪声的总方差始终保持在单位球面上，以维持神经网络训练的数值稳定性。其离散形式满足 $X_t = \sqrt{\bar{\alpha}_t}X_0 + \sqrt{1 - \bar{\alpha}_t}X_1$，且严格遵循系数约束 。为了在连续时间的随机微分方程（SDE）中维持这一性质，必须引入一个向原点收缩的漂移项来抵消注入噪声带来的能量发散。在 VP 设定下，噪声注入的速率实际上对应于信号衰减速率的负值，因此扩散项可表示为 ；为了平衡这一方差增长，漂移项必须设计为线性负反馈形式 。

将该漂移项代入通用公式，即可得到基于 $\alpha$ 表述的 VP-SDE 方程：

这一方程在几何物理上具有明确的含义：由于信号强度 $\bar{\alpha}_t$ 随时间单调递减，其对数导数 $\frac{\mathrm{d} \log \bar{\alpha}_t}{\mathrm{d} t}$ 恒为负值，因此漂移项 依然作为一个指向原点的回复力，不断将数据点拉回，以对抗扩散项造成的向外膨胀趋势。这种由信号衰减率决定的径向收缩与切向扩散的动态平衡，强制数据点在相空间中沿着一个弯曲的四分之一圆弧轨迹从数据分布向噪声分布移动。虽然这种几何约束成功保证了全过程的方差恒定，但其高度弯曲的轨迹特性成为了推理效率的瓶颈——在反向求解常微分方程（ODE）时，简单的数值积分方法（如欧拉法）若步长过大便会飞出圆弧流形，因此必须采用极小的步长以精确逼近曲线，从而导致了推理速度显著缓慢。

相比之下，VE 过程的核心理念在于“多尺度扰动”，即旨在通过单纯叠加幅度不断增大的噪声来覆盖数据分布的各个频段，从而完全放弃了对方差守恒的约束。其离散形式满足 $X_t = X_0 + \sigma_t \epsilon$，其中噪声标准差 $\sigma_t$ 随时间单调递增趋向于无穷大，且信号项 的系数始终保持为 1。为了在连续时间的随机微分方程（SDE）中维持这一性质，模型不再需要引入任何向原点收缩的漂移项来抑制能量，而是任由扩散项主导方差的增长。具体而言，在 SDE 的通用形式 中，由于不需要漂移项来平衡扩散，因此直接设定 ；同时，为了匹配离散过程中方差 的增长速率，扩散项系数必须设计为 。

将这些设定代入通用公式，即可得到经典的 VE-SDE 方程：

这一方程在几何物理上同样具有明确的含义：由于漂移项为零，相空间中不存在任何将数据拉回原点的回复力，数据点仅受扩散项驱动，沿着噪声增强的方向做纯粹的布朗运动。这种不受束缚的扩散机制，使得数据点在几何上沿着一条垂直于数据流形的射线向外飞奔，形成一种发散的轨迹。虽然这种直线型的发散结构避免了 VP 过程中的曲线弯曲问题，但其代价是方差的剧烈爆炸——在反向求解 ODE 时，由于涉及的数值范围跨度极大（从几百到零），极易引发数值计算上的不稳定或精度溢出，且对步长调度极其敏感，这同样构成了高效推理的巨大障碍。

无论是 VP 的圆弧还是 VE 的射线，本质上都是基于特定物理直觉（如防溢出或纯加噪）所人为设定的固定路径，在几何传输效率上并非最优。广义扩散（Generalized Diffusion）视角，即 Rectified Flow，则打破了这种对特定物理约束的依赖，将问题重构为寻找两个任意分布 $\pi_0$（数据）与 $\pi_1$（先验噪声）之间的最优传输映射。为了实现这一目标，该视角直接选取几何上连接起点的最短路径——直线，定义中间状态为线性插值形式 $X_{t}=(1-t)X_{0}+tX_{1}$，其中 为时间系数。

在此线性框架下，描述传输过程的速度场 $v$ 可以通过对上述状态方程关于时间 $t$ 求导直接推导得出：$v_t = \frac{d X_{t}}{d t} = \frac{d}{d t}\left[(1-t) X_{0}+t X_{1}\right] = X_{1}-X_{0}$。这推导结果说明神经网络 的核心学习任务发生了根本性转变：模型不再需要像经典 DDPM 那样去拟合复杂的得分函数或隐晦的噪声项，而是直接学习流动的方向，即源分布与目标分布之间的差值向量。这种基于直线的广义设定在理论上统一了 ODE 与 SDE 视角，同时也在工程上带来了巨大优势——由于理想的传输轨迹被拉直为直线，速度场在传输过程中保持恒定或变化极度平缓，极大地降低了数值积分的难度，使得推理过程不再需要为了拟合曲线而进行数十步的精细迭代，往往仅需数步甚至单步即可实现高质量生成，从而解决了扩散模型推理效率低下的瓶颈。

附：GANs最优判别器与最优生成器的证明

将原始目标函数的期望形式写为积分形式：

要找到函数 $D(x)$ 最大化该积分，因为积分是累加求和，要让总积分最大，只需要让积分符号中的每一项都达到最大即可。定义积分内部的函数为 $f(y)$，其中 $y=D(x)$ 是标量，$a=p_{data}(x)$， 为常数：

求导并且令导数为 0：

得到最优判别器，将 $a$ 和 $b$ 代回原来的定义：

直观的解释是如果某处的真实概率大，结果趋近 1；如果生成概率大，结果趋近 0。
现在假设判别器已经达到了最优状态，将 $D^*_{G}(x)$ 代回原来的目标函数，现在的目标是找到生成器 $G$ 来最小化这个函数：

对原式进行代数变换，在分子分母同时除以 2：

应用到上述的式子中：

将常数项 $-\log 2$ 提出来，得到：

进一步得到 Jensen-Shannon 散度的定义形式：

Jensen-Shannon 散度是衡量两个概率分布差异的指标。其主要性质包括值总是非负的： $JSD(P \| Q) \ge 0$ ，以及当且仅当两个分布完全相等时取最小值 0：$JSD(P \| Q) = 0 \iff P = Q$。因此要让 最小，唯一的解就是让 ，即：。

参考如下：

https://cs231n.stanford.edu/index.html