想讓 Stable Diffusion 算圖更細膩精緻?本文分享兩個實用技巧,輕鬆實現細節控制,讓你的圖片從粗糙到精緻,質感大升級!

本文將介紹這兩種方法的原理與步驟,只要掌握他們,就可以隨意輕鬆調整細節,讓我們立刻開始吧!

比較方式

為了比較兩種方法輸出結果的差異,以下用三種情境測試,分別是擬真人像、擬真靜物、和繪畫風格。並把三種情境的圖片當作原圖丟入 img2img 作測試,調整參數輸出不同權重的結果。

以下是他們的原圖

擬真人像

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

擬真靜物

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

繪畫風格

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

法一:ControlNet – Tile Resample

ControlNet 官方 github 解釋 Tile Resample Model 的行為:

  • Ignore the details in an image and generate new details.
  • Ignore global prompts if local tile semantics and prompts mismatch, and guide diffusion with local context.

白話文的意思就是,此模型:

  • 會參考給定圖片重新繪圖,圖片構圖、大方向內容不會改變,但細節部分會重新生成
  • 繪圖時,要是文字 prompt 和圖片內容發生衝突,以圖片內容為優先

因此我們可以利用這個特性,將想要增加細節的圖片丟到 ControlNet Tile Resample 中,透過調整 img2imgDenoising strength 參數控制 AI 自由度,決定要增加的細節多寡。

理論解釋完,我們立刻來實驗看看:

將圖片放到 img2imgSource Image

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

往下找到 ControlNet 區塊,把圖片也拖到 ControlNet 的 Source Image 並勾選 Enable 以及 Pixel Perfect

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

下方勾選 Tile ,WebUI 會自動幫你選擇

  • Preprocessor : tile_resample
  • Model: control_v11f1e_sd15_tile
如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

如果還沒有 Model 的朋友們,請先到 ControlNet 1.1 的 Hugging Face 下載 control_v11f1e_sd15_tile.pth

control_v11f1e_sd15_tile.yaml

兩個檔案,放到

stable-diffusion-webui/extensions/sd-webui-controlnet/models

之中,回到 WebUI ,點一下 ControlNet Model 下拉選單旁的 Reload 按鈕,就可以選到他了!

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

回到 img2img 上方,其中 Sampling methodSample steps 等等參數各位可以自由調整,我們主要專注在 Denoising stength 參數上

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

調整 Denoising stength 數值

  • 越大,ControlNet 算圖補充的細節愈多
  • 反之,補充的程度越少

因此可依此參數控制細節補充程度。

馬上來看看測試結果!

擬真人像

可以看到照片人像的 case,當 denoising 上升時,水波紋逐漸增加,胸口水痕增加,頭髮毛躁感也上升,的確「細節」部分是有變多的(點擊可看原圖)

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

擬真靜物

下方木頭色的碗墊紋路、盤子紋路、碗邊緣的顆粒感隨著 denoising 上升而增加。但在 denoising = 1.0 時自由度過大,綠色的蔬菜變成棕色的肉了

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

繪畫風格

發現 ControlNet Tile model 似乎對 2D 繪畫風完全沒輒啊!四張根本幾乎一樣 XD

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

法二:LoRA – Detail Tweaker LoRA

透過此特殊的 LoRA,我們可以在下 prompt 時,調整他的權重來控制細節的呈現

首先到 Civitai 下載 Detail Tweaker LoRA (细节调整LoRA),將其放到

stable-diffusion-webui/models/Lora

之中,回到 WebUI 展開 Lora Tab ,點一下 Reload 就能看到

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

使用時,就像一般使用 LoRA 一樣,直接在 Positive Prompt 中引用,並且調整權重控制細節。

這個 LoRA 很有趣,權重越大,細節愈多。反之權重越小(往負值走),反而會減少細節!可以產生一些有趣的結果!

馬上來看看測試結果!

擬真人像

的確在權重增加時,細節有往上提升,但相對的反差也跟著被拉高了!整張圖片開始變得不好看。

以擬真人像來說,這次測試我比較偏愛 ControlNet Tile Resample 的結果,細節增補的控制相對比較細膩,同時也不會影響反差。

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

那也來看一下負的權重會發生什麼事吧!圖片漸漸變成 2D 繪畫風格,整體畫面也變得明亮起來,看來 Detail Tweaker LoRA 擁有把圖片轉繪畫風的額外能力!

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

擬真靜物

擬真靜物的結果則是沒有什麼細節增加,只有增加反差,這一類型我覺得也是 ControlNet Tile model 勝!

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

繪畫風格

繪畫風格就有趣了!權重逐漸增加的情況下,除了細節明顯提升之外,竟然也變成 3D 圖片!非常特別!

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

往負的走就沒什麼特別驚人的結果,反而是顏色逐漸變得灰階

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

結論

整體而言,如果是輸出擬真圖片的話,我建議使用 ControlNet Tile Resample 來調整細節。反之如果是繪畫風、動漫風等等,則使用 Detail Tweaker LoRA 會得到更滿意的結果。
另外如果想要讓擬真圖片變成繪畫風格,則可以使用 Detail Tweaker LoRA 負權重來實現!
以上兩種方法各有優缺,大家可以在不同的情境善用以上兩種方法來達成調整細節的目標!

延伸閱讀

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting
兩階段解決 Stable Diffusion 臉崩問題
如何用 Stable Diffusion 產生高解析度的圖?
最詳細的 Stable diffusion WebUI 操作教學 – txt2img

Written by J
雖然大學唸的是生物,但持著興趣與熱情自學,畢業後轉戰硬體工程師,與宅宅工程師們一起過著沒日沒夜的生活,做著台灣最薄的 intel 筆電,要與 macbook air 比拼。 離開後,憑著一股傻勁與朋友創業,再度轉戰軟體工程師,一手扛起前後端、雙平台 app 開發,過程中雖跌跌撞撞,卻也累計不少經驗。 可惜不是那 1% 的成功人士,於是加入其他成功人士的新創公司,專職開發後端。沒想到卻在採前人坑的過程中,拓寬了眼界,得到了深層的領悟。