StableDiffusion鏁欑▼AI缁樼敾鍘熺悊

StableDiffusion鏁欑▼AI缁樼敾鍘熺悊

Stable DIffusion鍘熺悊鍗滃師鐞
璁╂瘡涓汉閮界湅鎳
AI缁樼敾鍩烘湰鍘熺悊(涓)
01Stable Diffusion鍘熺悊浠嬬粛
1.浠涔堟槸鎵╂暎?
棣栧厛锛 澶у瑕佹槑纭(Stable Diffusion) 鏄竴涓畻娉曪紝 鎴戜滑璇寸殑StableD if uusi on webUI鏄熀浜庤繖涓畻娉曠殑涓涓伐鍏枫
鎴戜滑涓嶅Θ鍏堟潵瀛︿範涓涓嬭嫳璇細Stable Diffusion涓殑Stable鏄ǔ瀹氱殑(adj.) 锛 Diffusion鏄墿鏁(n.) 锛 鎵浠table
Diffusion鐨勭畝鍗曠悊瑙ｅ氨鏄竴绉嶇ǔ瀹氱殑鎵╂暎鐨勭畻娉曘
鍦ㄥ浘鍍忛鍩熶腑锛屾墿鏁ｇ畻娉曟槸閫氳繃涓瀹氳鍒欏幓鍣(鍙嶅悜鎵╂暎)鎴栧姞鍣(姝ｅ悜鎵╂暎宀╁崌鐚)鐨勮繃绋嬨
濡備笅鍥炬紨绀虹殑灏辨槸浠rompt涓**a red flower**鍋氭墿鏁ｇ殑杩囩▼锛屼粠鏈寮濮嬬殑鐏拌壊鍣偣鍧椼侀愭笎鍘诲櫔鍒版渶缁堢殑娓呮櫚鐨勮繃绋嬶細
2.鎵╂暎(Diffusion) 鏄庝箞鑳借绋冲畾(Stable) 鎺у埗鐨?
鎴戜滑浠ユ枃鐢熷浘涓轰緥锛 缁欏ぇ瀹剁湅涓涓婼table Diffusion鐨勫師鐞嗭細
杩欓噷鐨勮繃绋嬶紝 澶у鍙互鎶婂畠鎶借薄鐞嗚В涓轰竴涓ぇ鍑芥暟Fsd
(prompt) 锛 鍗筹細鎴戜滑杈撳叆涓娈佃嚜鐒惰涔塸rompt锛 缁忚繃涓绯诲垪鍑芥暟杩愮畻鍜屽彉鍖栵紝鏈缁堣緭鍑轰竴寮犲浘鐨勮繃绋嬨
3.CLIP锛氭垜浠緭鍏ョ殑鏂囧瓧prompt鏄浣曡捣浣滅敤鐨?
鎴戜滑鍏堟潵鐪嬬涓涓儴鍒嗭紝鎴戜滑杈撳叆浜嗕竴娈靛拻璇紝杩欐鍜掕鏄浣曡捣浣滅敤鐨?
璁╂垜浠拻璇捣浣滅敤鐨勬槸涓娈靛彨鍋欳LIP鐨勭畻娉曪紝 CLIP鏄疶ext
Encoder绠楁硶鐨勪竴绉嶏紝 Text Encoder澶у浠庡瓧闈㈡剰鎬濅篃鑳藉鐞嗚В锛屾槸鎶婃枃瀛楄浆鍖栦负浠ｇ爜鐨勪竴绉嶇畻娉曪紝浠栫殑涓昏鍔熻兘鏄妸鑷劧
璇箟prompt杞彉涓鸿瘝鐗规у悜閲(Embedding) 銆
濡備笅鍥炬墍绀猴紝 鎴戜滑涓句釜渚嬪瓙锛岀矖鍨 姣斿鎴戜滑杈撳叆浜嗕竴涓猵rompt锛**鍙埍鐨勫コ瀛**锛 CLIP绠楁硶浣滆嚜鐒惰涔夊鐞嗙殑鏃跺欎細鏍规嵁涔嬪墠琚▼搴忓憳璋冩暀鐨勭粡楠岋紝澶ф鎰熺煡鍒板彲鐖辩殑濂冲鍙兘鍏锋湁鍝簺鐗瑰緛?
姣斿浠栦滑鍙兘鏈夆濆ぇ澶у渾鍦嗙殑鐪肩潧鈥滐紝鍙兘鏈夆濈櫧鐨欑殑鑲岃偆鈥滐紝鍙兘鏈夆濆彲鐖辩殑绁炴佲滅瓑绛夛紝鐒跺悗杩欎簺鍙兘寰楃壒寰佽杞寲涓77涓瓑闀跨殑token璇嶅悜閲(姣忎釜鍚戦噺鍖呭惈768涓淮搴︾瑧鍥) 锛 杩欏氨鏄垜浠鐨凟mbedding銆
杩欓噷闇瑕佹敞鎰忕殑鏄紝 UNET鍘诲櫔鐨勬椂鍊欙紝 鍘熺悊姣斾笂鍥炬弿杩扮殑澶嶆潅寰堝锛屽畠鍏跺疄骞朵笉鏄竴姝ヤ竴姝ュ幓鍣氨鑳藉緱鍒板搴旀晥鏋滅殑锛屽鏋滀粎浠呮槸涓姝ヤ竴姝ョ殑鍘诲櫔锛屾晥鏋滃線寰寰堝樊锛屽苟涓嶈兘绮剧‘寰楀埌鎻忚堪鏂囨湰鐨勫浘鐗囥
鎵浠ュ湪杩欓噷鎴戜細绋嶅井璁插緱娣卞叆涓浜涳紝 浠嬬粛涓涓婥lassifier Free Guidance寮曞鏂规硶锛
涓轰簡淇濊瘉鎴戜滑鐨刾rompt鏈缁堢殑绮剧‘鎬э紝 鍦║NET鍒嗘鍘诲櫔鐨勬椂鍊欙紝姣斿鎴戣缃殑鍘诲櫔姝ラ暱涓20锛屼粬浼氬湪姣忎竴姝ラ兘鐢熸垚涓涓湁prompt鐗瑰緛寮曞鐨勫浘鍜屼竴涓病鏈塸rompt鐗瑰緛寮曞鐨勫浘锛 鐒跺悗鎶婁袱鑰呯浉鍑忥紝灏卞緱鍒颁簡姣忎竴涓幓鍣楠や腑鍗曠函鐢辨枃瀛楀紩瀵肩殑鐗瑰緛淇″彿锛岀劧鍚庡皢杩欎釜鐗瑰緛淇″彿澶у緢澶氬嶏紝杩欏氨鍔犲己浜嗘枃鏈紩瀵笺
鍚屾椂锛屽湪绗琋+1姝ュ幓鍣粨鏉熷悗锛屽畠杩樹細鐢ㄧN+1姝ュ幓鍣殑淇℃伅鐗瑰緛鍑忓幓绗琋閮ㄧ殑鐗瑰緛锛岀劧鍚庣户缁柟娉曞緢澶氬嶏紝杩欐牱淇濊瘉
prompt鍦ㄦ瘡涓姝ラ兘鑳芥湁瓒冲鏉冮噸姣斿弬涓庤繍绠椼
涓婇潰閭ｄ竴娈靛ぇ瀹剁湅涓嶆噦涔熸病鍏崇郴锛岀敤閫氫織鐨勫ぇ鐧借瘽鏉ヨ锛屽氨鏄繖涓柟娉曞姞寮轰簡prompt鐨勬潈閲嶃傝繖涓柟娉曞湪Stable Diffusion webUI涓鐩磋瘧涓烘彁绀鸿瘝鐩稿叧鎬э紝 鏄竴涓父鐢ㄥ弬鏁帮紝 浠栫殑鏁板煎喅瀹氫簡鐢熸垚鐨勫浘涓庢彁绀鸿瘝鐨勭浉鍏崇▼搴︺
璁插埌杩欓噷浣犱滑浼氳锛岃锛屼笉瀵瑰晩锛屼綘鐪嬪悓鏍锋槸鍏抽敭璇嶏紝浣犵殑涓哄暐灏辫繖涔堝ソ鐪嬶紝鎴戠殑鐢熸垚鍑烘潵灏卞緢涓?閭ｆ槸鍥犱负锛屽綋鎴戜滑杈撳叆鍚屼竴涓猵rompt锛 鎴戜滑鐨則ext encoder杩囩▼鏄竴鏍凤紝 涔熷氨鏄綘寰楀埌鐨勮瘝鍚戦噺鏄竴鑷寸殑锛屼絾鏄悗闈㈢殑鍘诲櫔绠楁硶渚濊禆妯″瀷涓嶅悓锛岀敓鎴愮殑鏁堟灉鍗冨樊涓囧埆銆
閭ｄ箞鎺ヤ笅鏉ユ垜浠潵璁蹭竴涓婼D閲屾渶閲嶈鐨刄NET绠楁硶銆
4.UNET锛氭墿鏁ｆā鍨嬬殑宸ヤ綔鍘熺悊
UNET浠栨槸涓绉嶆牴鎹瘝鍚戦噺鐨勬墿鏁ｇ畻娉曪紝 浠栫殑宸ヤ綔鍘熺悊濡備笅鍥炬墍绀猴紝 鍦ㄤ笂闈㈣鍒扮殑Clip绠楁硶浼氭牴鎹垜浠緭鍏ョ殑prompt杈撳嚭瀵瑰簲鏈哄櫒鑳借瘑鍒殑璇嶅悜閲(Embedding) 锛 杩欎釜Embedding澶у涔熷彧闇瑕佺矖娴呯悊瑙ｄ负浠栨槸涓涓嚱鏁帮紝鍖呭惈(Q銆並銆乂)涓変釜鍙傛暟灏卞ソ浜嗐
杩欎笁涓弬鏁颁細鏍规嵁鎴戜滑杈撳叆鐨勫搴旀墿鏁ｆ闀匡紝 浣滅敤浜嶶NET鍘诲櫔绠楁硶鐨勬瘡涓姝ワ紝姣斿涓嬪浘涓紝鎴戣缃簡鍘诲櫔姝ラ暱涓20姝ワ紝澶у鑳界湅鍒拌繖寮犲浘閫愭笎鎵╂暎鐢熸垚鐨勬晥鏋溿
璇村畬浜嗘枃鐢熷浘锛 鎴戜滑澶ф涔熻涓涓嬪浘鐢熷浘锛 鍜变滑鍦ㄤ娇鐢⊿table Diffusion webUI鐨勬椂鍊欑敤鍥剧敓鍥剧殑鍔熻兘锛 寰寰鏄粰涓寮犲浘锛岀劧鍚庡啀杈撳叆涓娈祊rompt锛 姣斿鎴戜滑杩樻槸璁剧疆鎵╂暎姝ユ暟N=20锛岃繖鏃跺欙紝瀹冪殑鍘熺悊鏄厛鎶婃垜浠彁渚涚殑鍥捐繘琛岄愭鍔犲櫔锛岄愭鎻愬彇鍥剧墖淇℃伅锛 浣垮畠鍙樻垚涓寮犲畬鍏ㄧ殑鍣偣鍥撅紝 鍐嶈prompt璧蜂綔鐢紝 缁撳悎涓婇潰鐨刄NET绠楁硶閫愭鍘诲櫔锛 寰楀埌鏃㈡湁绱犳潗鍥剧墖鐗瑰緛涔熸湁prompt鐗瑰緛鐨勬渶缁堟晥鏋滃浘銆
5.鐞嗚ВVAE鐨勭紪瑙ｇ爜杩囩▼
鏈鍚庢垜浠畝鍗曟潵鐞嗚В涓涓婥AE缂栬В鐮佺殑杩囩▼锛 VAE鍏ㄧО鍙樺垎鑷紪鐮佸櫒锛岃繖閲屽ぇ瀹朵笉闇瑕佸仛澶鐞嗚В锛屽彧闇瑕佺煡閬撲粬鏄竴涓厛鍘嬬缉鍚庤В鍘嬬殑绠楁硶灏卞ソ浜嗐
闇瑕佹敞鎰忕殑鏄紝 鎴戜滑涓婇潰鍐欑殑UNET绠楁硶涓嶆槸鐩存帴鍦ㄥ浘鐗囦笂杩涜鐨勶紝鑰屾槸鍦ㄢ濊礋绌洪棿鈥滆繘琛岀殑锛屽ぇ瀹剁悊瑙ｄ负鍦ㄤ唬鐮佸眰闈㈠嵆鍙
VAE浠栫殑鍘熺悊濡備笅鍥炬墍绀猴紝 鍋囧鎴戜滑瑕佺敓鎴愮殑鍥炬槸512x 512鐨勶紝VAE绠楁硶鍦ㄤ竴寮濮嬬殑鏃跺欙紝 浼氭妸瀹冨帇缂╁埌鍏垎涔嬩竴锛 鍙樻垚
64x 64锛 鐒跺悗璧癠NET绠楁硶鐨勬椂鍊欙紝 浼氭妸鍥惧舰鏁版嵁甯﹀湪鍣偣鍥句腑锛 杩欎釜杩囩▼鍙獷ncoder锛 鐒跺悗鍐嶈蛋瀹孶NET绠楁硶鍚庯紝 鎴戜滑寰楀埌浜嗕竴涓甫鏈夋墍鏈夊浘鐗囩壒寰佺殑鍣偣鍥撅紝 姝ゆ椂VAE鍐嶈繘琛
Decoder杩囩▼锛 鎶婅繖寮犲浘瑙ｆ瀽骞舵斁澶ф垚512x 512锛 鐭ラ亾鍒拌繖閲屽嵆鍙紝涓嶈娣辩┒銆
1.鏈哄櫒鏄浣曡璇嗗浘鐗囩殑?
棣栧厛锛屾垜浠厛鏉ョ湅鐪嬫満鍣ㄦ槸濡備綍璁よ瘑鍥剧墖鐨勩傜浉淇″ぇ瀹堕兘鍚杩囷紝鏈鍒濊绠楁満瑙嗚璁粌璁よ瘑鐗╀綋鐨勬椂鍊欙紝閲囩敤鐨勬槸鎴愬璁粌鐨勬柟娉曪紝閫氳繃鈥滃浘鈥+鈥滃搴旀弿杩扳濇垚瀵硅缁冦傝繍鐢ㄥ浘鍍忚瘑鍒佽嚜鐒惰涔夊鐞嗕笌鍗风Н绁炵粡缃戠粶绛変竴绯诲垪鎶鏈璁＄畻鏈鸿兘澶熻瘑鍒繖涓浘褰
濡備笂鍥炬墍绀猴紝鎴戜滑涓嶅仠鐨勭粰璁＄畻鏈哄杺鎴愬崈涓婁嚎寮犵嫍鐨勫浘锛岀劧鍚庡憡璇変粬锛屼綘鐪嬭繖鏄嫍锛岃繖涔熸槸鐙楋紝杩欒繕鏄嫍锛岀劧鍚庢満鍣ㄤ細涓嶆柇褰掔撼鐙楃殑鐗瑰緛锛岄噸澶嶅涔犱嚎閬嶅悗锛屽畠灏辫璇嗙嫍浜嗐
2.鍙緵璋冪敤鐨勬ā鍨嬫槸濡備綍璁粌鐨?
濂戒簡锛屽亣璁捐繖鏃跺欙紝鏈哄櫒宸茬粡鑳借瘑鍒竾鐗╀簡锛岃繖鏃跺欐満鍣ㄧ敱浜庡涔犵殑鍥剧墖椋庢牸閮戒笉鍚岋紝鐢熸垚鐨勫浘鐗囨湁鍙兘涓嶆弧瓒虫垜浠殑鏈熸湜锛屼妇涓緥瀛愶細
鍋囪绋嬪簭鍛樼粡杩囧崄骞寸殑鍔姏鍚庯紝璁╂満鍣ㄦ纭璇嗕簡灏忓コ瀛╃殑鐗瑰緛锛屼笉浼氬嚭鐜颁笁涓溂鐫涗袱涓槾宸淬
褰撴垜浠緭鍏ヤ竴涓**acute girl**锛 鐢熸垚鐨勬槸鍥続锛 杩欐椂鍊欏亣濡侫 鐨勯鏍间笌鎴戜滑鎯宠鐨勫畬鍏ㄤ笉鍚岋紝姣斿鎴戜滑鎯宠鐨勬槸B杩欑锛岃繖鏃跺欑▼搴忓憳浠氨浼氫笉鏂皟鏁村嚱鏁颁腑鐨勫悇绉嶇畻娉曞拰鍙傛暟锛屼娇寰椾骇鍑虹殑鍥惧舰A鏃犻檺鎺ヨ繎鍥惧儚B锛 鐒跺悗鍋滄璁粌锛 姝ゆ椂鏁翠釜Fsd(x)鍑芥暟鐨勬墍鏈夎皟鏁寸殑鍙傛暟锛 灏辫淇濆瓨涓轰竴涓.ck pt鐨勬枃浠讹紝 杩欎釜鍙玞heckpoint鐨勬枃浠跺氨鏄▼搴忓憳璁粌濂界殑鍙緵璋冪敤鐨凙 I缁樺浘澶фā鍨嬶紝浠栬兘淇濊瘉鎴戜滑姣忔鐢熸垚鐨勫浘鍋忓悜浜庢煇绉嶇壒寰侀泦鍚堛
鏁翠釜杩囩▼濡備笅鍥炬墍绀猴細