斯坦福-CS236 Lecture 18 如何用扩散模型建模 PPT标注

增加离散度为何重要

1. 上图下方的曲线图表示离散度越高，图像生成和重建的质量越好，之前VAE和GAN都是将隐变量z设置的连续值，VQGAN则是将Z转换为了离散值再进入解码器；

为什么增加离散度很难1

1. 原本左侧是个连续的噪声图，如果强行换成离散的2o5sS...后，就不存在雅可比行列式了（因为离散不可导）；就没办法训练；

为什么增加离散度很难2

1. 对于GAN模型如果将先转换为离散的字符再输入到判别器，那回来对输入的求导就没法求了，因为是离散的，不可导，也实现不了l;
2. 我们的模型当前过于依赖微积分；

为什么不能将token嵌入到连续空间中

1. 可以将其离散化到连续空间，但是留下的空白太多了，学习起来很苦难；

综上，目前最好的模型就是自回归模型

接着列了一些自回归模型的有优点

列了一些自回归模型的有缺点

进主题

1. 基于上面说过的自回归的问题，重新思考一下基于分数的模型，因为这样不用去限制概率和为1这个困难项；
2. 下来的主题就是怎么将这些模型推广到离散；

分三步

1. 第一是怎么将评分匹配推广到离散空间；
2. 有了离散评分后，怎么生成新样本；
3. 当我们构建生成模型生成新序列时，能评估似然吗？目的是与自回归模型做比较。

将评分函数推到离散空间

1. 使用离散求梯度的方式来转换评分函数；

优化p(y)/p(x)

1. 因为要最大化第10点中的对数的导数，因此要遍历p(y)/p(x)找最大值，但是量太大，改为求局部的；

用个神经网络来算比率

如何学习这个比率

1. 用这个分数熵来作为损失函数学习；

为什么设置这样的损失函数

化解

1. x0是干净样本，x是加噪后的样本；

最终化解为

1. 最终要么是可抽样的，要么是可计算的，只有s是需要求的；

如何用具体评分抽样

1. Q的列和为0；
2. Q非对角线上的值非负；

反向