找回密码
 立即注册
  • QQ空间
  • 回复
  • 收藏

StableDidfusion教程AI绘画

StableDidfusion教程AI绘画
回复

使用道具 举报

大神点评(1)

z1.jpg
z2.jpg
z3.jpg
z4.jpg
z5.jpg
z6.jpg
z7.jpg
z8.jpg
z9.jpg
z10.jpg
z11.jpg
z12.jpg
Stable Dlf fusion原理
让每个人都看懂
AI绘画基本原理
在我们去逛C站的过程中我们知道, Stable Diffusion可用模型有两类:
(1) safe tensors:
safe tensors文件是用numpy保存的, 这意味着它们只包含张量数据, 没有任何代码, 加载.safe tensors文件更安全和快速。供调用的AI绘图大模型。
(2) ck pt:
ck pt文件是用pickle序列化的, 这意味着它们可能包含恶意代码, 如果你不信任模型来源, 加载.ck pt文件可能会危及你的安全。
这里大家简单了解,在C站下载模型的时候,优先下
载.safe tensors即可
03大模型微调技术
Dream booth是google在2022年8月提出的一种新的图像算法,其方法可以完整的获得你想要的模型的视觉特征,它的提出既不是为了训练人物也不是为了训练画风,而是为了能在少量训练图像的基础上完美的还原细节特征。大家来看下图,是在当时微软研发大会上(如果我没记错的话)发布这个模型的时候对细节特征的描绘:
03大模型微调技术
1.为什么要进行大模型微调?
刚刚上文我们介绍的Unet模型是SD中最重要的模型网络, 内部包含上亿个参数,要训练这样一个超大的模型,大概需要15亿个图像文本, 使用256张A 100显卡跑15万个GPU小时, 大概成本是60万美元,我们设计师不能像程序员那样动不动就调函数参数训练模型(主要是不会)。
那咋整?
上面我们讲到UNET泛用性极强, 泛用性极强就会带来风格化不足,可能无法满足特定风格的需要。所以我们往往会对
UNET大模型进行微调, 让他更符合我们的使用场景。
接下来我将要给大家介绍模型微调技术。也就是大家之后在Stable Diffusion里常用的训练方法, 今天不会讲具体怎么训练,我只会给大家讲原理,讲明白了原理,大家在自学训练方法的时候则更容易理解。
2.大模型微调需要解决的两个问题
所有的大模型微调技术,都是基于要解决以下两个问题:
(1)如何减少训练参数,提高训练效率和生成图像的质量;
(2)如何解决模型泛化性差的问题;
a.过拟合(Overfitting) 是指微调模型对原始模型的语义理解程度发生了变化,整体训练出现语义漂移的现象:比如有一只猫, 名字叫jojo, 我拍了他的几十张照片, 一直用a jojo cat这个名字来强化模型对这只猫的认知, 等以后我输入a jojo cat的时候确实能出现想要的这只猫, 但是我输入a cat的时候则出现的画面会很怪异, 这就说明cat这个词被污染了, 出现了过度拟合的现象。
b.欠拟合(Under fitting) 是无法识别这一特征, 比如它就完全识别不出jojo和cat的关系, 这往往是训练样本量不足或者训练样本质量等因素导致,属于训练无效。
好,那么我们来看下常见的大模型微调技术都有哪些,以及他们是如何解决上面两个问题的。
我们常见的大模型微调技术就是以下这四个:
Dream booth/LoRA/Embedding/Hyper network, 这在我们后续学习Stable Diffusion过程中会经常用到, 相信大家都已经或多或少了解一点了,接下来就带大家揭开他们神秘的面纱。
3.Dream booth:
我们先来看Dream booth是怎么解决过拟合这个问题的:
Dream booth要求我们在训练过程中,“特征词+类别”和
“类别”成对出现,解决过拟合的问题;比如之前提到的我如果想训练这只叫JOJO的猫的模型, 又不能让它跟“猫”这个词过度拟合,我们可以采用的这样的输入方法。这样的话AI就能识别到:JOJO cat is a cat named jojo。
我们说过CLIP模型是Text Encoder算法的一种,Text Encoder主要是把自然语义prompt转变为词特性向量Embedding, 所以我们可以针对我们的Prompt到向量的这个映射过程进行训练,去修改他们之间的映射记录关系,从而达到训练特定的人或物的效果,由于他生成的是一套纯文字映射记录,所以体积非常小,一般只有几百k。
举个实际应用的例子,比如下面这个人物大家都很熟悉,是守_望先锋里的Dva:
Dream booth优点是:可以将视觉特征完美融入;
Dream booth缺点是:需要调整UNet所有内部参数, 训练时间长,模型体积大。
4.LoRA(大模型的低秩适配器) :
讲完了Dream booth之后我们来讲一下LoRA, 相信大家都听过这个词了,一定对它非常感兴趣对不对?
正因为LoRA他的插入层较少, 他相较于Dream booth, 可以把训练参数降低1000倍, 对CPU的要求也会下降三倍, 所以训练出来的LoRA模型就会非常小, 一般大家在C站下载过就知道,往往他们只有几十m,而一个大模型往往有几个g,所以他在我们日常工作中变得非常常用。
大家作为新手学习的时候, 可以理解Lora是在原有模型上添加一个“滤镜”,让这个底模往我们期望的效果走。如下图所示,我用了一个rev Animated(一个偏动漫的底模型) , 当我们Prompt不变的情况下, 加了一个盲盒效果的LoRA之后, 相当于是给这个底模型上了一个滤镜,让整体底模型出来的效果往盲盒方向偏重:
5.Embedding(Text In version) :
接下来我们来讲一下Embedding, Embedding也叫Text in version(大家在C站下载的时候注意, 他主要是用于训练特定的人或物) , 它反映的是一个Prompt与对应向量的映射记录关系的算法,可以用于训练特定的人或物。
还记得上面讲我们的咒语是如何起作用的时候的这张图么?
举个实际应用的例子,比如下面这个人物大家都很熟悉,是守望先锋里的Dva:如果我们要通过描述她的特征去把她描述出来, 可能要几千个prompt tag才行, 那我如果每次想生成Dva 都要再打一次这么多prompt肯定不科学, 这时候我们可以把这一串tag打包映射成一个新的词汇叫OW_Dva。
由于这个词是我们自创的, 在CLIP映射集合里找不到对应的映射关系, 所以CLIP会默认给他创建一个新的映射空间, 经过一系列训练之后,我们后续就可以通过输入一个简单的词汇来完成一系列tag的打包效果。
6.Hyper network:
最后我们来看一下Hyper network, 他作为一种即将要被Lora 淘汰了的技术,我们大概略讲一下他的原理就好了。大家先看下图, 我们来总结一下三种技术的原理和在UNET中的使用范围:
Dream booth调整了整个UNET的函数和参数, 所以他体积最大,适用范围最全,但是训练难度和训练耗时和成本最大。
LoRA只将训练参数注入到了部分Transform ar函数中, 所以他不改变原模型,即插即用,模型大小也可控,是我们后续学习的重点。
而Hyper network, 大家看图, 他是新建了一个单独的神经网络模型, 插入到原UNet模型的中间层。在训练过程中, 冻结所有参数,只训练插入部分,从而使输出图像与输入指令之间产生关联关系,同时只改变原模型的一小块内容。
从这个原理的描述上, 大家就能发现, Hyper network这种方法更适合用于训练某种画风,比如像素画之类的,大家在C站能找到的Hyper network模型也几乎都是画风训练的, 但是不是说他不能训练别的, 它也是可以训练人物的, 就是比LoRA 麻烦一点。
总之, 他几乎是一个在国内几乎要被LoRA淘汰的技术(注意是国内,注意是几乎,杠精别杠),大家去知乎什么的看
paper, 关于Hyper Networks的相关paper都在2022年前,所以大家就也把他当成一个”滤镜“来理解即可。
最后说一下声明:在本文中为了方便大家通俗理解,作者对算法原理进行了某种程度的简化,并不能代表模型函数运行的100%实质(防杠)。
回复 支持 反对

使用道具 举报

说点什么

您需要登录后才可以回帖 登录 | 立即注册
HOT • 推荐