什么是 Stable Diffusion 中的 Masking

什么是 Stable Diffusion 中的 Masking

Stable Diffusion 是一种深度学习技术，专注于提升生成式对抗网络（GANs）的训练效果，旨在改善生成图像和视频的质量与稳定性。该技术融合了一种称为 "masking" 的创新功能，旨在优化训练过程。本文旨在深入解析 Stable Diffusion 中的 "masking" 功能，通过具体示例阐述其意义、作用与优势。


Stable Diffusion 是一项由研究人员提出的新方法，旨在通过改进 GAN 训练策略来提高生成模型的稳定性和生成样本的质量。传统 GAN 训练存在模式崩溃、梯度消失等难题，而 Stable Diffusion 通过引入特殊策略解决这些问题，其中 "masking" 是关键组成部分。


在 Stable Diffusion 中，“masking”指的是在不同生成样本层次或渐进训练阶段中，通过渐进减小噪声引入的一种特殊噪声注入策略。这一过程通过控制噪声的大小和方差，从而增强生成器与判别器之间的训练稳定性。


理解 "masking" 需要分步骤解析：

初始噪声注入

训练开始时，生成器和判别器的输入都受到高斯噪声的注入。通过将高斯噪声添加到模型的输入向量或张量，实现这一目标。

示例表示为：z + ε，其中 z 是生成器输入向量，ε 从高斯分布采样。

渐进的噪声减小

不同于传统 GAN 训练，Stable Diffusion 通过渐进减小噪声方差，实现 "masking"。在不同训练阶段，噪声大小逐步减小，速度与程度由超参数控制，以便根据具体任务调整。

这种渐进减小噪声的策略允许模型从高噪声状态过渡到低噪声状态，提高训练稳定性，避免模式崩溃与梯度消失问题。

非均匀噪声注入

引入非均匀噪声注入，意味着模型的不同层次或部分可以具有不同的噪声级别。这一非均匀性提供更灵活的适应性，允许模型更精准地学习不同层次特征与复杂性。


通过上述策略，Stable Diffusion 改善了 GAN 训练过程，特别是在生成逼真艺术作品的场景中。与传统方法相比，Stable Diffusion 优化了模型学习，生成了更高质量且稳定的样本，同时保持了训练的稳定性，减少了模式崩溃与梯度消失等问题的干扰。