想讓 Stable Diffusion 算圖更細膩精緻?本文分享兩個實用技巧,輕鬆實現細節控制,讓你的圖片從粗糙到精緻,質感大升級!
本文將介紹這兩種方法的原理與步驟,只要掌握他們,就可以隨意輕鬆調整細節,讓我們立刻開始吧!
目錄
比較方式
為了比較兩種方法輸出結果的差異,以下用三種情境測試,分別是擬真人像、擬真靜物、和繪畫風格。並把三種情境的圖片當作原圖丟入 img2img 作測試,調整參數輸出不同權重的結果。
以下是他們的原圖
擬真人像
擬真靜物
繪畫風格
法一:ControlNet – Tile Resample
ControlNet 官方 github 解釋 Tile Resample Model 的行為:
- Ignore the details in an image and generate new details.
- Ignore global prompts if local tile semantics and prompts mismatch, and guide diffusion with local context.
白話文的意思就是,此模型:
- 會參考給定圖片重新繪圖,圖片構圖、大方向內容不會改變,但細節部分會重新生成
- 繪圖時,要是文字 prompt 和圖片內容發生衝突,以圖片內容為優先
因此我們可以利用這個特性,將想要增加細節的圖片丟到 ControlNet Tile Resample 中,透過調整 img2img
的 Denoising strength
參數控制 AI 自由度,決定要增加的細節多寡。
理論解釋完,我們立刻來實驗看看:
將圖片放到 img2img
的 Source Image
區
往下找到 ControlNet 區塊,把圖片也拖到 ControlNet 的 Source Image
並勾選 Enable
以及 Pixel Perfect
下方勾選 Tile
,WebUI 會自動幫你選擇
- Preprocessor :
tile_resample
- Model:
control_v11f1e_sd15_tile
如果還沒有 Model 的朋友們,請先到 ControlNet 1.1 的 Hugging Face 下載 control_v11f1e_sd15_tile.pth
和
control_v11f1e_sd15_tile.yaml
兩個檔案,放到
stable-diffusion-webui/extensions/sd-webui-controlnet/models
之中,回到 WebUI ,點一下 ControlNet Model 下拉選單旁的 Reload 按鈕,就可以選到他了!
回到 img2img 上方,其中 Sampling method
、Sample steps
等等參數各位可以自由調整,我們主要專注在 Denoising stength
參數上
調整 Denoising stength
數值
- 越大,ControlNet 算圖補充的細節愈多
- 反之,補充的程度越少
因此可依此參數控制細節補充程度。
馬上來看看測試結果!
擬真人像
可以看到照片人像的 case,當 denoising 上升時,水波紋逐漸增加,胸口水痕增加,頭髮毛躁感也上升,的確「細節」部分是有變多的(點擊可看原圖)
擬真靜物
下方木頭色的碗墊紋路、盤子紋路、碗邊緣的顆粒感隨著 denoising 上升而增加。但在 denoising = 1.0
時自由度過大,綠色的蔬菜變成棕色的肉了
繪畫風格
發現 ControlNet Tile model 似乎對 2D 繪畫風完全沒輒啊!四張根本幾乎一樣 XD
法二:LoRA – Detail Tweaker LoRA
透過此特殊的 LoRA,我們可以在下 prompt 時,調整他的權重來控制細節的呈現
首先到 Civitai 下載 Detail Tweaker LoRA (细节调整LoRA),將其放到
stable-diffusion-webui/models/Lora
之中,回到 WebUI 展開 Lora Tab ,點一下 Reload 就能看到
使用時,就像一般使用 LoRA 一樣,直接在 Positive Prompt 中引用,並且調整權重控制細節。
這個 LoRA 很有趣,權重越大,細節愈多。反之權重越小(往負值走),反而會減少細節!可以產生一些有趣的結果!
馬上來看看測試結果!
擬真人像
的確在權重增加時,細節有往上提升,但相對的反差也跟著被拉高了!整張圖片開始變得不好看。
以擬真人像來說,這次測試我比較偏愛 ControlNet Tile Resample 的結果,細節增補的控制相對比較細膩,同時也不會影響反差。
那也來看一下負的權重會發生什麼事吧!圖片漸漸變成 2D 繪畫風格,整體畫面也變得明亮起來,看來 Detail Tweaker LoRA 擁有把圖片轉繪畫風的額外能力!
擬真靜物
擬真靜物的結果則是沒有什麼細節增加,只有增加反差,這一類型我覺得也是 ControlNet Tile model 勝!
繪畫風格
繪畫風格就有趣了!權重逐漸增加的情況下,除了細節明顯提升之外,竟然也變成 3D 圖片!非常特別!
往負的走就沒什麼特別驚人的結果,反而是顏色逐漸變得灰階
結論
整體而言,如果是輸出擬真圖片的話,我建議使用 ControlNet Tile Resample 來調整細節。反之如果是繪畫風、動漫風等等,則使用 Detail Tweaker LoRA 會得到更滿意的結果。
另外如果想要讓擬真圖片變成繪畫風格,則可以使用 Detail Tweaker LoRA 負權重來實現!
以上兩種方法各有優缺,大家可以在不同的情境善用以上兩種方法來達成調整細節的目標!
延伸閱讀
如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting
兩階段解決 Stable Diffusion 臉崩問題
如何用 Stable Diffusion 產生高解析度的圖?
最詳細的 Stable diffusion WebUI 操作教學 – txt2img