DDPM:Denoising Difussion Probabilistic Model去噪扩散概率模型
Diffusion Models 的灵感来自non-equilibrium thermodynamics(非平衡热力学)。理论首先定义扩散步骤的马尔可夫链,以缓慢地将随机噪声添加到数据中,然后学习逆向扩散过程以从噪声中构造所需的数据样。
U-Net
从而,网络的训练流程为:
我们接受一个随机的样本;
我们随机从 1 到 T 采样一个 t;
我们从高斯分布采样一些噪声并且施加在输入上;
网络从被影响过后的噪声图片学习其被施加了的噪声。
需要将步数 t 也编码并传入网络之中。DDPM采用正弦位置编码(Sinusoidal Positional Embeddings)。这一方法的输入是shape为 (batch_size, 1) 的 tensor,也就是batch中每一个sample所处的t ,并将这个tensor转换为shape为 (batch_size, dim) 的 tensor。这个tensor会被加到每一个残差模块中。
非平衡热力学
“nonequilibrium thermodynamics”(非平衡热力学)指的是一门研究物理系统在不处于平衡状态时的行为和规律的科学。在非平衡热力学中,系统不是静态的,而是在持续变化中,例如温度、压力或化学成分在时间和空间上的变化。这种热力学分析常应用于研究复杂系统如何在不同状态之间转换,尤其是那些涉及能量传递和物质转移的过程。
在扩散概率模型的背景下,这种启发可能具体指的是:
系统状态的演化:模型可能考虑了系统状态如何随时间演变,类似于非平衡热力学中研究的动态系统。
随机性和熵的增加:非平衡热力学关注系统在不稳定状态下如何向熵增的方向发展,类似的,扩散模型可能在模拟数据生成时引入随机扰动,使得生成的数据逐渐从无序状态向有序状态转变,或者模拟从高噪声状态向清晰状态的转变。---熵增定律、往无序的方向发展。
渐进式有损解压缩方案
渐进式有损解压缩方案:所谓“渐进式”,指的是数据(例如图像或音频)从压缩或低质量状态逐步恢复到高质量状态的过程。在这个过程中,数据质量逐渐提升,每一步都会添加更多的细节。这与我们平时观看在线视频时,视频从模糊到清晰的加载过程相似。“有损”则意味着在这个解压缩过程中,某些原始数据可能会丢失,不会完全恢复原始状态ÿ