【SD】 Stable Diffusion(SD)原理详解与ComfyUI使用 2
- 开发
- 13
-
Stable Diffusion(SD)原理详解与ComfyUI使用
Stable Diffusion(SD)原理详解与ComfyUI使用
![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/d763ac18569f41e68ade4a240d2f23f7.png)
1. SD整体结构
- 输入:文本和随机变量(Latent Vector)
- 输出:图片
- 核心:由三个模型组成
- 文本编码器(Clip)
- 生成模型(Unit)
- 变分自编码器(VAE)
2. Clip(文本编码器)
- 专为SD设计的文本编码器
- 训练步骤:
- 有限制性预训练:使用图片和文本描述的数据集,训练文本编码器和图片编码器,使输出向量尽可能接近。
- 进一步训练:使用物体名称和描述,训练文本编码器解码能力。
3. Unit(生成模型)
- 功能:加噪和降噪过程
- 过程:将图片经过VAE编码器处理,生成与Latent Vector相同大小的图片,然后通过加噪和降噪生成中间结果。
4. VAE(变分自编码器)
- 功能:降维和升维
- 过程:
- 编码器将图片转换为较小的表示
- 解码器将较小的表示还原为原图大小
- 优点:无需标签,可以从噪声中生成图片
5. 整体工作流程
- 文本通过Clip编码成向量
- 向量和Latent Vector一起输入到Unit
- Unit进行降噪处理,生成中间结果
- 中间结果通过VAE解码器还原为最终图片
6. ComfyUI低显存生成图片
- 利用SD原理,ComfyUI可以在低显存条件下生成高质量图片
- 通过理解SD的各个部件和工作流程,可以更好地使用ComfyUI
7. 总结
- SD通过结合文本编码器、生成模型和变分自编码器,实现了从文本到图片的生成
- ComfyUI利用SD原理,提供了一种在资源受限条件下生成图片的方法
- 理解SD的架构和组件对于有效使用ComfyUI至关重要
原文地址:https://blog.csdn.net/Darlingqiang/article/details/140597190
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。
本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:https://www.suanlizi.com/kf/1815519705973264384.html
如若内容造成侵权/违法违规/事实不符,请联系《酸梨子》网邮箱:1419361763@qq.com进行投诉反馈,一经查实,立即删除!