Stable Diffusion XL 1.0

《 Stable Diffusion XL 1.0》是Stability AI 最新的旗艦圖像模型，也是當前圖像生成領域最好的開源模型。它能夠根據用戶輸入的文字描述，快速生成高質量的圖像。使用非常靈活，可以用於創建各種類型和風格的圖像，包括藝術繪畫、照片、動漫等。由於其高效快速生成圖像的能力，Stable Diffusion已經成為許多設計師、插畫師等創意工作者的得力助手。

【Stable Diffusion XL 1.0介紹】

Stable Diffusion XL 1.0 閃亮登場，給你不一樣的色彩體驗。

在大模型開啟的 AIGC 時代，由明星 AI 初創公司 Stability AI 打造的文本到圖像生成模型 Stable Diffusion 可謂風靡全球。

雖然從文本到圖像的生成模型並不少，但 Stable Diffusion 是最受歡迎的開源模型。各路開發者也基於 Stable Diffusion 模型進行二創，推出各種各樣、花式繁多的 AIGC 應用。

剛剛，Stability AI 正式推出了 Stable Diffusion XL（SDXL）1.0。文本到圖像生成模型，又完成了進化過程中的一次重要迭代。

這是 Stability AI 最新的旗艦圖像模型，也是當前圖像生成領域最好的開源模型。

【Stable Diffusion XL 1.0主要功能】

生成速度更快、質量更高： 該引擎可以更快、更可靠地生成文本，內存消耗更低，錯誤處理效果更好。該引擎還可以處理更長、更複雜的輸入和輸出，而不會影響質量或多樣性。

更多控製元素，增強自定義： 用戶可以根據自己的喜好和需求調整生成文本的語氣、樣式、長度和格式。用戶在輸出過程中還可以指定關鍵字、短語或句子來指導生成過程。

更多反饋和指導： 該引擎為用戶提供有關生成的文本的更多信息和反饋，例如進度、置信度和相關性分數。引擎還會建議輸出的可能改進或替代方案，例如重寫、釋義或總結。

更多的集成和兼容性： 該引擎可以與用戶可能用於內容創建或數據分析的其他平台和工具配合使用，例如 Discord，Google Docs，WordPress 等。該引擎還可以從各種來源和格式導入和導出數據，例如文本文件、CSV 文件、JSON 文件等

【如何馬上體驗到 SDXL 1.0？目前有幾種渠道】

在 SDXL 1.0 版本發布之前，Stability AI 在六月份推出的 SDXL 0.9 僅作研究用途。但從今天起，SDXL 1.0 將通過 Stability AI 的 API 開源開放給開發者，普通人也可以通過消費級應用 Clipdrop 和 DreamStudio 訪問。

Clipdrop：https://clipdrop.co/stable-diffusion

DreamStudio：https://dreamstudio.ai/generate

Stability AI Platform：https://platform.stability.ai/

Github：https://github.com/Stability-AI/generative-models

此外，鑒於與亞馬遜的密切合作關係，SDXL 1.0 已經登陸亞馬遜雲科技的基礎模型托管服務 Amazon Bedrock，而且還會登陸 Amazon SageMaker JumpStart。

【SDXL 1.0，什麼進化了？】

1. 生成概念與風格更具挑戰的作品

SDXL 1.0 幾乎能夠生成任何藝術風格的高質量圖像，並且是實現逼真效果的最佳開源模型。用戶可以在沒有任何特定的「靈感」的情況下進行提示，確保風格的絕對自由，生成各具特色的圖像。SDXL 1.0 在色彩的鮮豔度和準確度方麵做了很好的調整，對比度、光線和陰影都比上一代更好，並全部采用原生 1024x1024 分辨率。

除此之外，SDXL 1.0 可以生成圖像模型難以渲染的概念，例如手、文本以及空間的排列。

圖源：Stability AI 官網

圖源：Stability AI 官網

2. 語言更簡潔、更智能

SDXL 1.0 隻需幾句話就能創建複雜、細致、美觀的圖像。用戶不再需要用華麗的辭藻進行修飾就能夠獲得想要的高質量圖像。

它甚至能夠區分「The Red Square」（紅場，一個著名景點）和「red square」（紅色正方形）。

3. 微調和高級控製

有了 SDXL 1.0 ，根據自定義數據對模型進行微調比以往任何時候都要容易。可生成自定義 LoRA 或檢查點，減少數據處理的需要。Stability AI 正在利用專門用於 SDXL 的 T2I / ControlNet 構建下一代任務特定結構、樣式和組成控製。這些功能目前處於測試預覽階段，可以隨時關注微調的更新。SDXL 1.0 上的圖像控製也即將推出。

自 4 月 13 日發布 SDXL beta 版本以來，ClipDrop 用戶已經使用該模型生成超過 3500 萬張圖片，而 Stability AI 的 Discord 社區平均每天生成 2 萬張圖片。

看看用戶使用 SDXL 1.0 的效果吧。

推特：@pratzlowcode

從網友的圖片生成效果來看，SDXL 1.0 在光線上把握更加精準，光線效果、色彩對比更加真實。

推特：@foxtrotfrog

可以看到，在色彩的運用上，SDXL 1.0 更加大膽，飽和度較高的情況下光線與陰影的細節依然在線。

推特：@ai_for_success

在這張圖片中可以看到，景深較為合適，主體突出，色彩之間的過渡，甚至真實度都十分優秀。

推特：@sizubito

網友製作了 SDXL 0.9 與 SDXL 1.0 的對比圖，左邊為 SDXL 0.9 生成圖像，右邊為 SDXL 1.0 生成圖像。可以明顯看出二者對於色彩運用的差距。SDXL 1.0 的色彩更加豐富且真實，光效表現也更加出色。

也有網友在 SDXL 1.0 中使用 Midjourney 中的舊 prompt，評論中紛紛感歎，它的效果不比 Midjourney 差，甚至有些出乎意料的優秀。

SDXL 1.0 細節：Base 和 Refiner 模型

Stability AI 將 SDXL 1.0 與各種模型進行了對比測試：與 Stable Diffusion1.5/2.1、SDXL 0.9 等模型相比，人們更喜歡由 SDXL 1.0 生成的圖像。

SDXL 1.0 也是所有開放式圖像模型中參數量最多的模型之一，它建立在一個創新的新架構上，由一個 35 億參數的基礎模型和一個 66 億參數的細化模型組成。

完整模型包括一個用於潛在擴散的專家混合管道：第一步，基礎模型生成（噪聲）潛在變量，然後用專門用於最終去噪步驟的細化模型對其進行進一步處理。

基礎模型也可以作為獨立模塊使用。細化模型為基礎模型的輸出添加更精確的顏色、更高的對比度和更精細的細節。

這種兩階段架構可確保圖像生成的穩健性，而且不會影響速度或需要過多的計算資源。SDXL 1.0 可在配備 8GB VRAM 的消費級 GPU 或隨時可用的雲實例上有效運行。

論文地址：https://arxiv.org/pdf/2307.01952.pdf

代碼地址：https://github.com/Stability-AI/generative-models

參考鏈接：https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

【編輯點評】

Stable Diffusion XL 1.0可以通過文本直接生成風景、肖像、動物、物品等多種類型圖片，與之前相比更快、更穩定，自由可控。無需顯卡電腦手機都可以免費使用。