关于Stable Diffusion工作原理

关于Stable Diffusion工作原理

Stable Diffusion是一个深度学习模型，其核心是扩散模型，通过在潜在空间中生成随机张量，预测噪声并逐步减少噪声来还原图像，实现无条件或条件下的图像生成。模型的原理包括正向扩散，向图像中添加噪声直至其丧失原有特征，以及反向扩散，从噪声图像中恢复原始图像。训练过程中，使用噪声预测器（U-Net）预测添加的噪声，指导逆向扩散过程。在Stable Diffusion v1中，使用了变分自动编码器（VAE）将图像压缩到潜在空间，大幅减少计算量，从而实现高效扩散模型。VAE文件用于改进眼睛和脸部的细节生成。文本条件（text prompt）通过标记化、嵌入和文本转换器，引导模型生成特定内容的图像。最终，通过U-Net的跨注意力机制，模型能够利用文本提示中的信息，进行图像条件化生成。在扩散模型的演化中，无分类器引导（CFG）是实现更精细图像控制的关键，通过调节CFG值控制图像生成过程对文本提示的遵循程度。Stable Diffusion v2使用OpenClip进行文本嵌入，与v1相比，在文本处理、训练数据和结局差异上有所优化和调整。