Diffusion

Toy Example

Quote

• Coursera: How Diffusion Models Work

• 数学原理
  • 前向过程：将清晰的图片 $x_0$ 不断添加噪声，经过 $T$ 步后得到接近纯高斯噪声的图片 $x_T$，每一步的转换 $q(x_t|x_{t-1})$ 恒定、方差较小
  • 反向过程：从纯噪声 $x_T$ 出发，不断降噪，经过 $T$ 步后得到清晰图片 $x_T$ 。我们需要从分布 $p(x_{t-1}|x_t)$ 采样
    • 其本身也是一个高斯分布，我们添加随机噪声是为了防止其变成一个确定性过程
• Sample (DDPM)
  • 生成随机采样 sample
  • 按照时间片迭代指定步数 T
    • extra_noise：基于时间缩放的噪声，添加稳定性
    • 通过预训练的神经网络，根据当前采样和时间计算出需要减去的噪声 predicted_noise
    • DDPM 采样
      • s_1, s_2, s_3 = ddpm_scaling(t)
        • $s_1=\frac{1}{\sqrt{{\alpha }_t}}$: 均值缩放系数。它负责缩放括号内的整个表达式。这个表达式本身是对 $x_t-1$ 均值的一个估计
        • $s_2=\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}$: 预测噪声系数。它负责缩放模型预测出的噪声 predicted_noise
        • $s_3={\sigma }_t$: 随机噪声标准差。它负责控制添加回去的随机噪声 extra_noise 的强度（幅度）
      • sample = s_1 * (sample - s_2 * predicted_noise) + s_3 * extra_noise
• Sample (UNet)
  • 
  • 我们还需要给 U-Net 提供两个信息到解码器：
    • time and context

• Training(U-NET)