Stable Diffusion2.0(AI painter)

《Stable Diffusion2.0(AI painter)》擴展了v1版本當中的圖像搜索功能，在全新的2.0升級版本中，大大提升了整體的圖畫生成質量，通過該應用創作完成後的圖像將會以512x512像素和 68x768像素的效果直接呈現出來。

【軟件介紹】

Stable Diffusion2.0APP是一個很好用的智能ai繪畫服務軟件，這款軟件可以為用戶提供豐富的ai繪畫工具，可以隨時讓用戶更加便捷的操作和使用，隨時滿足用戶的繪畫需求，想要使用手機繪畫的用戶可以在這個平台上一起來使用，還有ai自動生成繪畫功能，那麼一起來使用吧！

【軟件特色】

1、使用非常簡單，可以直接使用在線噴漆;

2、可以掌握很多繪畫技巧，提高自己的繪畫水平，使用方便。

3、使用該軟件製作圖紙可以達到虛實結合的效果，體驗更好;

4、I繪畫的使用非常普遍，豐富全麵的繪畫工具可以免費使用;

5、給每個用戶帶來良好的操作體驗，立即進入平台開始繪圖

【軟件優勢】

1、Depth 提供了不同創新性應用，雖然生成的圖像與原始圖像有很大的不同，但仍然保持了圖像的連貫性和深度

2、Stable Diffusion 2.0 生成的深度 - 圖像保持一致性。

3、Stable Diffusion 2.0 還引入了一個新的 text-guided 修複模型，用戶可以非常智能、快遞的切換圖像部分內容，如下圖中豹子的嘴巴和鼻子是不變的，其他部分可以隨意改變。

【stable diffusion怎麼訓練】

深度學習的訓練，首先就是要解決數據問題。由於stable diffusion的訓練數據是 文本-圖像 匹配的pairs，因此我們要按照它的要求準備數據。

準備好你的所有圖片，當然對於大部分人來說，要得到圖片容易，但是手裏的圖片數據都是沒有文本標注的，但是我們可以用BLIP算法來自動生成標注。

效果見下圖：

 BLIP自動給妙蛙種子生成了一段描述，當然算法的效果很難達到完美，但是足夠用了。如果覺得不夠好，那完全也可以自己標注。

將得到的text，與圖片名使用json格式存起來：

2、下載代碼模型

這裏我們使用小哥魔改的stable diffusion代碼，更加方便finetune。

finetune代碼地址：https://github.com/justinpinkney/stable-diffusion

按照這個代碼readme裏的要求裝好環境。同時下載好stable diffusion預訓練好的模型 sd-v1-4-full-ema.ckpt ，放到目錄裏。

模型下載地址：CompVis/stable-diffusion-v-1-4-original · Hugging Face

3、配置與運行

stable diffusion使用yaml文件來配置訓練，由於小哥給的yaml需要配置特定的數據格式，太麻煩了，我這邊直接給出一個更簡單方便的。隻需要修改放圖片的文件夾路徑，以及第一步生成的配對數據的json文件路徑。具體改哪兒直接看下麵:

最後一步，運行命令：

 python main.py --base yaml文件路徑.yaml --gpus 0,1 --scale_lr False --num_nodes 1 --check_val_every_n_epoch 2 --finetune_from 上麵下載的模型路徑.ckpt

大功告成，等待模型訓練就行了。需要注意的是，我這邊啟用了兩個GPU，並且stable diffusion是比較吃顯存的，我在V100上進行訓練batchsize也隻能設為1。

【軟件測評】

Stable Diffusion2.0APP可以根據文字描述直接創作出藝術圖像，可以在線上直接應用，也可以安裝在本地手機或是電腦客戶端上使用，方便創作者運用各種插件工具使藝術效果最終呈現的更為驚豔。