1.Denoising Diffusion Probabilistic Models

之前的图片生成方法: GANs,自回归模型,flow,VAEs,这里提出扩散概率模型
我这里没有看论文,有点抽象,先看了一篇解析很细致的博文: Diffusion Model 详解:直观理解、数学原理、PyTorch 实现

论文阅读未完待续~~~

2.Diffusion Model Alignment Using Direct Preference Optimization

这里需要补充一些数学基础
极大似然: 快速理解极大似然法
ELBO: 证据下界(ELBO)、EM算法、变分推断、变分自编码器(VAE)和混合高斯模型(GMM)

主要挑战: 参数的分布$p_{\theta}(x_0|c)$不可处理
原因: 扩散过程中,每一步的噪声都是随机引入的,所以存在多种可能的路径可以导致同一个最终图像$x_0$,我们无法对所有可能的路径积分
方法: 使用ELBO改写奖励模型的目标函数,取整个生成路径
公式5+公式9->公式10
公式11->公式12 利用马尔科夫链,将一串链条,变成一个时间点的抽样,利用Jenson不等式将期望从对数函数外移
公式12->公式13 反向过程(不断去噪声)$p_{\theta}(x_{t-1},x_t|x_0}$无法观测,这里采取前向过程(不断加噪声)分布q来代替 ?
公式13->公式14 ?

3.FLOW MATCHING FOR GENERATIVE MODELING

4.Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow

在准备阅读flow matching论文的时候在知乎上查到了这篇文章: 扩散生成模型新方法:极度简化,一步生成
当然看完以上过程,可能不会具体实现,简单的代码实现: 生成模型大道至简|Rectified Flow基础概念|代码

论文阅读未完待续~~~

5.Auto-Encoding Variational Bayes

这里直接参考了这篇文章: 机器学习方法—优雅的模型(一):变分自编码器(VAE)