叩頂窩客 - KodingWork
  • Stable Diffusion
  • Blockchain
  • Arduino
    • ESP32
    • Raspberry Pi Pico
  • Raspberry Pi
    • Raspberry Pi
    • Odroid HC4
    • Banana Pi
  • 創客計畫
    • AI 神經網路自走車
    • 智慧家居
  • Python
  • AWS
  • 開發哲學
  • 關於作者 J
Stable Diffusion
Blockchain
Arduino
    ESP32
    Raspberry Pi Pico
Raspberry Pi
    Raspberry Pi
    Odroid HC4
    Banana Pi
創客計畫
    AI 神經網路自走車
    智慧家居
Python
AWS
開發哲學
關於作者 J
叩頂窩客 - KodingWork
  • Stable Diffusion
  • Blockchain
  • Arduino
    • ESP32
    • Raspberry Pi Pico
  • Raspberry Pi
    • Raspberry Pi
    • Odroid HC4
    • Banana Pi
  • 創客計畫
    • AI 神經網路自走車
    • 智慧家居
  • Python
  • AWS
  • 開發哲學
  • 關於作者 J
Deep Learning•LLM

AI 時代,軟體工程師真正的工作是什麼?

2025-11-17 by J No Comments

「AI 會取代我嗎?」這大概是近幾年來,每個軟體工程師心中或多或少都浮現過的疑問。大家都在討論 AI 將如何取代勞動力,但如果我們只停留在這個問題上,其實就問錯了方向。

在 AI 時代,我們的任務不是被動地使用 AI,而是要反過來思考:如何讓 AI 變得更有效率?

這聽起來可能有點違反直覺,但這背後牽涉到 AI 目前的本質與極限。如果我們不理解這些,直接將 AI 應用在開發流程中,很容易會感到綁手綁腳。這篇文章將從 AI 的基本概念、訓練方法的困境,一路談到軟體工程師在 AI 協作中的新角色與實戰心法。

揭開大型語言模型 (LLM) 的神秘面紗

首先,我們要理解一件事:至今所有的大型語言模型(LLM),本質上都只是在「模仿」人類的文本與對話。它們最主要的任務,就是預測下一個字 (Token)。

AI 缺乏「世界模型 (World Model)」

LLM 並沒有真正地去「理解」一件事情發生的因果關係。最近 AI 領域的大佬們都在談論一個概念叫做「世界模型 (World Model)」,指的是一種能理解世界運轉原理,並依此進行預測的能力。

舉個例子,我們人類知道「滾燙的熱水壺不能碰,因為會燙傷」,這背後隱含著物理原理。但如果我們只告訴 AI:「看到正在燒的熱水壺,不能碰」,它學到的只是一個指令。當場景換成早餐店裡發燙的鐵板時,它可能就無法舉一反三,因為它不懂那個共通的底層邏輯——「高溫物體會造成傷害」。

Andrej Karpathy(前 Tesla AI 負責人)曾說,我們現在訓練 LLM,不像在培育一個學習中的動物,更像在「召喚一個幽靈 (Ghost)」。動物或小孩會透過與世界的互動、嘗試與犯錯來學習;而現在的 LLM 則是大量吞噬人類的文本,成為我們思想與語言的「分身」,但它本身並沒有真正的思考與理解能力。

當前的訓練方法:為何 AI 會「蒙對答案」?

既然 LLM 有其極限,那為什麼它有時看起來那麼厲害,有時候又幻覺重重?這與它的訓練方式有關。

目前主流的訓練方法,例如監督式微調或強化學習 (Reinforcement Learning),在某種程度上是非常「暴力」的。模型在解決一個問題時,會產生一連串的思考路徑,但我們通常只根據「最終答案」的對錯來給予獎勵或懲罰。

這就像學生時代考選擇題,就算中間的思考過程完全錯誤,只要最後「蒙對」了答案,一樣能得分。這種訓練方式會導致一個問題:模型可能因為錯誤的理由,產生了正確的結果。這也是造成 AI「幻覺 (Hallucination)」的主要原因之一。

一個更理想的方式,是所謂的 Process-based Supervision,也就是像大學申論題一樣,重視整個解題的邏輯與過程,而不僅僅是最終的答案。但這種方式實作起來非常困難:

  • 人力評分太慢:讓人類去評估 AI 每一步的思考路徑,成本極高且效率低下。
  • AI 評分有風險:讓舊模型(如 GPT-4)去評分新模型(如 GPT-5),新模型很容易找到舊模型的漏洞並產生「對抗樣本」,學會如何「欺騙」評分系統。

一個更聰明的訓練方向:經驗反思 (Experiential Reflection)

既然逐格審查思考路徑如此困難,那還有沒有別條路?最近,來自 Meta AI 等實驗室的研究者提出了一個更接近人類學習方式的方向,稱為經驗反思 (Experiential Reflection) – Agent Learning via Early Experience。

這個概念的核心是將 LLM 視為一個代理人 (Agent)。我們不再只餵給它靜態的文本,而是給它一個任務,讓它在一個真實或模擬的環境中去「嘗試」。

整個流程大致如下:

  1. 給定任務:例如,「去這個電商網站上買一個東西」。
  2. 生成行動方案:AI 會生成數十種可能的行動方案(Action),例如「點擊這個按鈕」、「在搜尋框輸入文字」等等。
  3. 與環境互動:系統會執行這些行動,並從環境中得到真實的回饋 (Feedback),可能是「成功加入購物車」,也可能是「頁面錯誤」。
  4. 學習因果:最後,模型會根據「問題 + 行動 + 環境回饋」這個完整的數據組來進行再訓練。

透過這個循環,AI 就能慢慢學會「如果我採取了某個行動,大概會發生什麼事」。它不再是單純地模仿文字,而是開始透過試錯來理解行為與結果之間的因果關係,這是建構「世界模型」非常關鍵的一步。雖然這個方向仍在積極研究中,但它代表了未來 AI 訓練的一個更理想的典範。

軟體工程師的新角色:成為 AI 的架構師

了解了 LLM 的極限後,我們就能重新定位自己的角色。我們的價值不再是逐行撰寫樣板程式碼,而是成為 AI 的引導者與架構師。

從高層次來看,我們的任務轉變為:

  1. 定義系統架構與模組邊界:高層次的架構設計、模組如何切分、介面如何定義,這些是 AI 的弱項,卻是我們的強項。
  2. 控制複雜度與技術債:AI 看過的文本大多是大型、完善的系統,容易產生「過度設計」的程式碼。我們需要判斷情境,控制實作的複雜度,避免不必要的技術債。
  3. 確保系統的可維護性與可擴展性:AI 產生的程式碼不一定好維護。我們需要審視其成果,確保整個系統的健康度。

簡單來說,我們負責搭好骨架、劃清邊界,讓 AI 這位超級會寫程式碼的「實習生」去填充血肉。

小心上下文腐爛 (Context Rot)

許多 LLM 號稱擁有超長的上下文視窗(例如 100K Token),但研究與實踐都發現,模型對於上下文的注意力主要集中在「開頭」與「結尾」,中間的資訊很容易被遺忘。這就是所謂的「上下文腐爛 (Context Rot)」。

如果我們一股腦地把十幾個檔案、上百個函式全部丟給 AI,不僅會迅速消耗寶貴的上下文空間,真正重要的資訊也可能被淹沒在中間而被忽略。

因此我們要理解 Prompt Engineering、Context Engineering,負責把大問題切成幾個明確的小步驟,並在提示詞清楚定義目標、約束、格式,最後給足必要背景,但避免無差別塞一大堆。

實戰分享:我的 AI 協作工作流

在實際開發中,我不會只用一句話叫 AI 寫 Code,而是透過更結構化的方式與它協作。

Case 1:從 API 到前端頁面的開發

在開發一個新功能頁面時,我的習慣是先開一個文字檔,把整個需求從頭到尾定義清楚:

  1. 定義 API 規格:條列出所有會用到的 API Endpoint,以及 Request/Response 的格式。
  2. 定義資料傳輸物件 (DTO)。
  3. 定義前端狀態管理 (State / Store) 的結構。
  4. 定義 Component 的 Props 與互動行為。

我會將這個脈絡清晰、從上到下的完整說明貼給 AI,讓它一次性生成整個功能的程式碼。這種「頭尾都掐好」的方式,成功率遠高於一句句地下指令。

Case 2:後端 API 的重構與擴充

之前在修改一個後端 API、需要加入新的檢查條件時,我並沒有時間去追溯所有相關的程式碼。我的做法是:

  1. 提供精準的上下文:我先大致瀏覽了 API 的進入點、呼叫了哪個 Service,然後明確告訴 AI:「請你看這幾個檔案,特別是這個函式。我需要在裡面增加 B 和 C 的檢查。」
  2. 先 Review 計畫,再實作:我會要求 AI:「先不要動手改,告訴我你打算怎麼改。」它會列出修改計畫,我確認這個計畫符合我們的系統架構,並提出調整建議。
  3. 迭代與修正:來回幾次,確認命名風格、錯誤訊息都符合需求後,才讓它開始實作。

這個過程,我扮演的角色是提供關鍵資訊的偵探和審核設計圖的架構師,把繁瑣的程式碼閱讀與撰寫交給 AI。

結語

回到最初的問題,AI 不會「取代」我們,但它正在徹底「改變」我們的工作模式。

人類工程師的任務,是透過我們的經驗與智慧,進行系統設計、切分複雜問題、提供精準的上下文,將 AI 的能力最大化。我們不再是單純的「Coder」,而是「AI Coder」,是懂得如何駕馭 AI、讓 AI 為我們高效產出的指揮家。

我們正處於 AI 時代,或者說,AI Agent 十年的第一年,許多訓練方式與應用都還很原始。但可以肯定的是,未來軟體工程師的核心價值,將更多地體現在思考、設計與決策上。

投影片

AI 時代,我們真正的工作是什麼

Continue reading
Share:
Deep Learning•LLM

如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

2024-07-01 by J No Comments

面對一個廣大又不熟悉的 code base,手上有一堆 bug 要修卻不知如何下手,只能乾瞪眼死盯著螢幕,相信這是每一位軟體工程師都有過的痛苦經驗。

好在這個時代我們有 AI,這邊就來教大家,如何白嫖免費使用 Google Gemini 1.5 Pro 為自己打造一個 Chat with Codebase 程式碼問答機器人!

對於只想直接在 local 使用的人,可以直接跳轉到「什麼是 Code Maestro?如何使用? 」章節閱讀。如果想知道實作原理,我們就繼續往下看囉!

實作 Chat with Codebase 程式碼問答 AI 機器人

我們使用免費的 Google Colab 來實作。

點擊我取得原始碼,可以透過 Open in Colab 按鈕,直接 clone 一份到自己的 colab 使用!

點擊上方按鈕 Open in Colab

如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

就能立刻 clone 原始碼並跳轉到 Google Colab 頁面

如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

以下我們依照每個區塊依序解釋。

解釋「 Init SSH key and GenAI 」區塊

這個區塊是在做基本設定

  • 需要把可以 clone repo 的 ssh private key 貼到對應字串變數中,執行時會將其暫時寫入到 colab container 中的 /.ssh/id_rsa ,後續執行 git clone 時才能正確取用到。
  • 將申請到的 Google Gemini api key 貼到 genai.configure(api_key="your_api_key") 之中,設定 Google GenAI lib
    • key 怎麼申請?問一下 google 大神!只要有 google 帳號都可以申請!
# @markdown # Init SSH key and GenAI
# @markdown 於程式碼中填入你的 ssh private key, gemini api key

pub_key = "your pub key (optional)"
# Add Private Key
private_key = """-----BEGIN OPENSSH PRIVATE KEY-----
your private key
-----END OPENSSH PRIVATE KEY-----
"""

import os

with open(os.path.join(".", "id_rsa"), "w") as f:
    f.write(private_key)

!rm -Rf ~/.ssh
!mkdir ~/.ssh

!mv /content/id_rsa ~/.ssh/id_rsa
!chmod 600 ~/.ssh/id_rsa

!echo -e "Host gitlab.com\\n\\tStrictHostKeyChecking no\\nHost github.com\\n\\tStrictHostKeyChecking no\\n" > ~/.ssh/config
!chmod 600 ~/.ssh/config

import google.generativeai as genai
# Add Gemini Api Key
genai.configure(api_key="your_api_key")

解釋 「Clone Repo」 區塊

這個區塊主要是

  • 讓使用者可以給定想要詢問的 repo SSH 位置、想要問的 branch。
    • default 表示 repo 的預設 branch
  • 設定後執行 git 指令,將對應 repo clone 下來,包含所有 submodule

補充說明,程式碼中的 # @param 是 Google Colab 的特殊註解,可以建立 Colab 輸入框 UI 方便使用,避免每次都要改 code。

# @markdown # Clone Repo
# @markdown #### Input Repo
repo_url = "[email protected]:Jim-Chang/KodingWork.git" # @param ["[email protected]:Jim-Chang/KodingWork.git"] {allow-input: true}
# @markdown #### Select Branch (選擇 default 時,使用 repo 的 default branch 設定)
branch = "default" # @param ["default", "master", "main", "stage", "develop"] {allow-input: true}

target_directory = "code_base"
git_clone_command = f"git clone {repo_url} --depth=1 {target_directory}"

!rm -Rf {target_directory}
!{git_clone_command}

if branch != "default":
  !cd {target_directory}; git checkout {branch}

!cd {target_directory}; git submodule init; git submodule update; git pull

解釋「合併 code base 並上傳 GenAI 」區塊

這邊就是整個問答機器人的實作核心之一。

原理如下:

  • 透過使用者給定的副檔名,我們將 repo 中符合此條件的檔案內容,全部合併到一份文字檔中,透過 Gemini File Api 將其上傳上去
  • 後續做 prompt 的時候,可以將上傳的檔案內容作為 prompt 的一部分,成為 context 讓 Gemini 讀取,從中尋找任務所需的答案。
# @markdown # 合併 code base 並上傳 GenAI

# @markdown ### 勾選要合併的副檔名
js = True # @param {type:"boolean"}
ts = False # @param {type:"boolean"}
tsx = False # @param {type:"boolean"}
json = False # @param {type:"boolean"}
py = False # @param {type:"boolean"}

file_extensions = []
if js:
    file_extensions.append("js")
if ts:
    file_extensions.append("ts")
if tsx:
    file_extensions.append("tsx")
if json:
    file_extensions.append("json")
if py:
    file_extensions.append("py")

all_file_contents = ""

for root, dirs, files in os.walk(target_directory):
    for file in files:
        if any(file.endswith(ext) for ext in file_extensions):
            file_path = os.path.join(root, file)
            relative_file_path = os.path.relpath(file_path, target_directory)

            with open(file_path, 'r') as f:
                file_content = f.read()

            all_file_contents += f"# Source File Path: {relative_file_path}\\n"
            all_file_contents += "```\\n"
            all_file_contents += file_content
            all_file_contents += "\\n```\\n"

with open("all_file_contents.txt", "w") as f:
    f.write(all_file_contents)

all_file_contents_prompt = genai.upload_file("all_file_contents.txt")
     

解釋「設定 Model」區塊

此區塊對 model 做一些基本參數的設定,包含:

  • model_name:目前可以選用 gemini 1.5 pro 或 gemini 1.5 flash
    • 兩者差異在於,pro 比較聰明,但速度慢,免費扣打只有 2 RPM,相對於 flash 就是稍微笨些,但速度快,免費扣打有 15 RPM,詳細限制可看此
    • 個人覺得使用上還是 pro 1.5 比較好用,如果短時間問太多被禁,就站起來休息一下,喝個水就能問了XD
  • temperature:設定模型的溫度,可以想像成自由度。雖越低會越照 prompt 裡的內容執行,但有時會因為過低,導致模型變笨,回答的結果不合預期。因此參考文獻中的建議,我們可以設定在 0.3 ~ 0.5 之間
  • top_p, top_k:這是透過另外兩個面向下去調整模型的自由度
    • 在 OpenAI 文件中有提及,這兩個參數一般可以不用設定。透過 temperature 這個參數來控制會比較單純且容易,不然同時太多參數在控制自由度,可能會不如預期。
    • 因此這邊我們就參考他的建議,保留該參數的最大值(等同沒有做限制)
    • 這邊不深入解釋原理,因為超過本文範圍
  • safety_setting:主要是避免讓模型產生「不好」的結果
    • 但發現這部分有時會誤擋,蠻雷的
    • 反正都是給自己用,所以全部設定為 BLOCK_NONE
  • 最後將這些設定,全部丟入產生 model object
# @markdown # 設定 Model

from pathlib import Path
import hashlib

model_name = 'gemini-1.5-pro-latest' # @param ["gemini-1.5-pro-latest", "gemini-1.5-flash-latest"]
temperature = 0.3 # @param {type:"slider", min:0, max:1, step:0.1}
top_p = 1 # @param {type:"slider", min:0, max:1, step:0.1}
top_k = 32 # @param {type:"slider", min:0, max:100, step:1}

# Set up the model
generation_config = {
  "temperature": temperature,
  "top_p": top_p,
  "top_k": top_k,
  "max_output_tokens": 8192,
}

safety_settings = [
  {
    "category": "HARM_CATEGORY_HARASSMENT",
    "threshold": "BLOCK_NONE"
  },
  {
    "category": "HARM_CATEGORY_HATE_SPEECH",
    "threshold": "BLOCK_NONE"
  },
  {
    "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
    "threshold": "BLOCK_NONE"
  },
  {
    "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
    "threshold": "BLOCK_NONE"
  },
]

model = genai.GenerativeModel(model_name=model_name,
                              generation_config=generation_config,
                              safety_settings=safety_settings)

解釋「初始化/清除 對話紀錄 」 區塊

這區塊很簡單,就是初始化一個陣列,作為紀錄整個對話的歷史。

獨立成一個區塊的原因是,有時候問答太多次,AI 的回答可能會偏掉,此時我們只要執行一下這個區塊,就能清掉對話紀錄,重新開始。

# @markdown # 初始化/清除 對話紀錄
message_history = []

解釋「輸入 system prompt」區塊

這邊是在設定 system message 和 code prompt。

  • system_message:各位可以依照自己需求自行調整
  • code_prompt:
    • 讓模型知道如何從一整份文字檔中區分出「本來原始檔」所在檔案路徑,以及回覆的方式
    • 附上剛剛使用 Gemini File api 上傳後回傳的 object,即可成為 prompt 的一部分
  • 什麼?prompt 用中文也可以?
    • 可以啊XD只是 token 比較長,比較貴
    • 可能有時候控制不如預期(看模型特性)
    • 但這是 prototype,求快速實作,所以用中文比較方便囉!
# @markdown # 輸入 system prompt
system_message = "你是一個資深的軟體工程師,精通後端 python,依照提供的程式碼,解答使用者的問題" # @param ["你是一個資深的軟體工程師,精通後端 python,依照提供的程式碼,解答使用者的問題", "你是一個資深的軟體工程師,精通前端 react framework", "你是一個資深的軟體工程師,精通後端 nest.js,依照提供的程式碼,解答使用者的問題", "你是一個資深的軟體工程師,精通後端 node.js,依照提供的程式碼,解答使用者的問題"] {allow-input: true}

code_prompts = [
    "程式碼是由多個檔案組成,每份檔案的內容由 code block 包夾,每個 code block 起始處前一行會提供該檔案的路徑與檔名,回覆時請務必依照檔案對應的檔名提供給使用者",
    "## Source Code Begin ##",
    all_file_contents_prompt,
    "## Source Code End ##",
]

解釋「對話詢問」區塊

這也是整個機器人的另一個重要核心。

因為 Colab 沒辦法在他的基本 UI 下建立一個對話框,所以用 print 字串的方式來模擬。

  • 首先提供一個 user_message input,讓使用者可以作為對話輸入框使用
  • 輸入完畢,點擊左邊播放按鈕,會先把過往的對話紀錄從 message_history 撈出來,印出在畫面上,模擬對話框的歷史訊息顯示
  • 緊接的就是呼叫模型的 generate_content 方法,讓他產生答案
  • 產生的方式分為 streaming 和 non-streaming ,差異在於,當回應很長時,streaming 會和我們使用 ChatGPT 一樣逐漸地跑出文字來。反之則是等所有文字都產生完畢才會顯示。
  • 最後再將 AI 產生的文字加入 message_history 作為對話歷史
# @markdown # 對話詢問
from IPython.display import display, Markdown, clear_output

user_message = "" # @param {type:"string"}

def print_separate_line():
  print("====================================================================================")

print("## Message History ##")
print_separate_line()
for message in message_history:
  if message.startswith("ai:"):
    display(Markdown(message))
  else:
    print(message)
  print_separate_line()

if user_message:
  print(f"user:\\n{user_message}")
  print_separate_line()

print("## AI Generating...")
print_separate_line()

prompt_parts = [
    system_message,
    *code_prompts,
    *message_history,
]

if user_message:
  prompt_parts.append(f"user:\\n{user_message}")

streaming = True # @param {type:"boolean"}
display_handle = display(Markdown(""), display_id=True)
ai_result = ""

if streaming:
  response = model.generate_content(prompt_parts, stream=True, request_options={'timeout': 600})
  for chunk in response:
    ai_result += chunk.text
    display_handle.update(Markdown(ai_result))

else:
  response = model.generate_content(prompt_parts)
  ai_result = response.text
  display(Markdown(ai_result))

if user_message:
  message_history.append(f"user:\\n{user_message}")

message_history.append(f"ai:\\n{ai_result}")

整個 Chat with Codebase 程式碼問答 AI 機器人的實作就是這樣啦!其實概念蠻簡單的,就是類似 RAG 的概念,把你想問的程式碼給他作為參考來回覆!

什麼是 Code Maestro?如何使用?

相對於使用 Google Colab 建立的機器人,雖然方便、不用管理環境,但是卻有 UI 較不友善、且免費版隨時會被斷線的困擾。

因此我利用 gradio 這個現代的 AI prototype framework 快速建了一個前端出來,內部邏輯概念與 Google Colab 的版本極為相似,因此這邊就不再贅述原理,直接進如何使用教學。

首先確認電腦環境中有 python 3.11.6,建議使用 pyenv 安裝,當然其他用習慣的方式也行

pyenv install 3.11.6

clone Code Maestro repo 下來

git clone [email protected]:Jim-Chang/code-maestro.git

cd 進去 repo 中,設定 pyenv 使用 3.11.6,並透過 poetry 安裝依賴套件

cd code-maestro
pyenv local 3.11.6
poetry env use 3.11.6
poetry install

安裝完畢,可以直接啟動 server

./start.sh

打開瀏覽器,前往 http://127.0.0.1:7860 ,會看到以下畫面,只有一個對話過程、輸入匡和兩個按鈕

如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

正式開始使用前,先在畫面最上方切換到 Settings Tab 做設定。

首先對 Model Setting 做設定。

一樣填入你的 api key,選擇想要用的 model (pro、flash),溫度和系統訊息可以用預設,或依照自己喜好修改。

修改完畢按下 save settings 儲存。

如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

接下來是最重要的部分,設定你要詢問的 repo。

輸入 repo 的 SSH 位置、想要切換到的 branch,default 表示 repo 的預設 branch,branch name 可以透過輸入或是下拉選單選擇。

接著勾選你想要合併的檔案副檔名,只有符合此副檔名的檔案內容,才會合併並上傳到 Gemini。

設定好後,按下 Use Repository For Chat ,他會自動幫你處理所有 clone、merge、upload 等任務,需要一小段時間。

(備註:做 clone 時,會使用 host 預設的 git 設定取用 ssh key,只要日常開發時可以 clone 的 repo,基本上都能正常使用)

如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

到這裡就可以切換到 Chat Tab,開始 Chat with Codebase 囉!

如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

如何使用 Code Maestro 的 Chat with Code Diff?

此功能只有在 Code Maestro 中有實作。

首先一樣切換到 Setting Tab,往下到 Diff Setting 區塊。

勾選 Enable Diff ,然後在第一個 Select a Branch For Diff 設定基底 branch name,第二個設定你想要比較的 branch name。

這邊建議使用時,上面 Repository Setting 的 branch 要設定為這邊的兩者其一會比較好,並且要先 clone 過才行設定 Diff Setting。

如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

然後就可以回去 Chat Tab 來詢問了。我最常用的時機就是在開 PR 的時候寫描述使用,可以參考以下 prompt,他就能幫忙寫出一個輪廓,簡單複製貼上修改一下就可以囉!

我現在要將這次的修改開 PR 給同事 Review,我需要讓同事知道這次改動的細節,並以列點、重點摘要說明讓他能夠快速理解改動內容,並開始 Review。
我需要你幫忙依照以上需求,整理出 PR 的描述。
如何免費用 Google Gemini 1.5 Pro 做 Chat with Codebase 程式碼問答 AI 機器人?

或是有時候要查看同事的 PR,也可以用這個方法叫 AI 幫忙整理出修改的內容,參考以下 prompt:

請你幫我做 code review,幫我完成以下任務:

- 詳細解釋修改了些什麼程式與邏輯
- 確認此次修改是否產生任何 bugs
- 確認此次修改是否會造成任何 side effect
- 確認此次修改是否有語意模糊、或架構不清楚的地方,提出來並給予建議

這樣在看 PR 的時候就可以有更多的資訊輔助並加快速度啦!

(如果有一天他能直接幫我看 PR 該有多好XD)

這個功能的實作原理也很簡單,透過 git diff 產生出兩個 branch 的差異,並上傳到 Gemini 作為 prompt 參考資料的一部分,這樣他就能知道兩個 branch 的改動內容囉!

AI 能做的事情遠超過以上 demo,你也可以叫他產生 api 文件,幫忙實作 api…等等各種腦洞。就靠各位自行創意和嘗試囉!

有任何建議或修改也歡迎大家開 PR 給我!希望大家都能藉著 AI 的肩膀跑得更快XD

Continue reading
Share:
Deep Learning•Stable Diffusion

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

2023-08-04 by J No Comments

想讓 Stable Diffusion 算圖更細膩精緻?本文分享兩個實用技巧,輕鬆實現細節控制,讓你的圖片從粗糙到精緻,質感大升級!

本文將介紹這兩種方法的原理與步驟,只要掌握他們,就可以隨意輕鬆調整細節,讓我們立刻開始吧!

比較方式

為了比較兩種方法輸出結果的差異,以下用三種情境測試,分別是擬真人像、擬真靜物、和繪畫風格。並把三種情境的圖片當作原圖丟入 img2img 作測試,調整參數輸出不同權重的結果。

以下是他們的原圖

擬真人像

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

擬真靜物

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

繪畫風格

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

法一:ControlNet – Tile Resample

ControlNet 官方 github 解釋 Tile Resample Model 的行為:

  • Ignore the details in an image and generate new details.
  • Ignore global prompts if local tile semantics and prompts mismatch, and guide diffusion with local context.

白話文的意思就是,此模型:

  • 會參考給定圖片重新繪圖,圖片構圖、大方向內容不會改變,但細節部分會重新生成
  • 繪圖時,要是文字 prompt 和圖片內容發生衝突,以圖片內容為優先

因此我們可以利用這個特性,將想要增加細節的圖片丟到 ControlNet Tile Resample 中,透過調整 img2img 的 Denoising strength 參數控制 AI 自由度,決定要增加的細節多寡。

理論解釋完,我們立刻來實驗看看:

將圖片放到 img2img 的 Source Image 區

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

往下找到 ControlNet 區塊,把圖片也拖到 ControlNet 的 Source Image 並勾選 Enable 以及 Pixel Perfect

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

下方勾選 Tile ,WebUI 會自動幫你選擇

  • Preprocessor : tile_resample
  • Model: control_v11f1e_sd15_tile
如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

如果還沒有 Model 的朋友們,請先到 ControlNet 1.1 的 Hugging Face 下載 control_v11f1e_sd15_tile.pth

和

control_v11f1e_sd15_tile.yaml

兩個檔案,放到

stable-diffusion-webui/extensions/sd-webui-controlnet/models

之中,回到 WebUI ,點一下 ControlNet Model 下拉選單旁的 Reload 按鈕,就可以選到他了!

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

回到 img2img 上方,其中 Sampling method、Sample steps 等等參數各位可以自由調整,我們主要專注在 Denoising stength 參數上

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

調整 Denoising stength 數值

  • 越大,ControlNet 算圖補充的細節愈多
  • 反之,補充的程度越少

因此可依此參數控制細節補充程度。

馬上來看看測試結果!

擬真人像

可以看到照片人像的 case,當 denoising 上升時,水波紋逐漸增加,胸口水痕增加,頭髮毛躁感也上升,的確「細節」部分是有變多的(點擊可看原圖)

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

擬真靜物

下方木頭色的碗墊紋路、盤子紋路、碗邊緣的顆粒感隨著 denoising 上升而增加。但在 denoising = 1.0 時自由度過大,綠色的蔬菜變成棕色的肉了

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

繪畫風格

發現 ControlNet Tile model 似乎對 2D 繪畫風完全沒輒啊!四張根本幾乎一樣 XD

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

法二:LoRA – Detail Tweaker LoRA

透過此特殊的 LoRA,我們可以在下 prompt 時,調整他的權重來控制細節的呈現

首先到 Civitai 下載 Detail Tweaker LoRA (细节调整LoRA),將其放到

stable-diffusion-webui/models/Lora

之中,回到 WebUI 展開 Lora Tab ,點一下 Reload 就能看到

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA

使用時,就像一般使用 LoRA 一樣,直接在 Positive Prompt 中引用,並且調整權重控制細節。

這個 LoRA 很有趣,權重越大,細節愈多。反之權重越小(往負值走),反而會減少細節!可以產生一些有趣的結果!

馬上來看看測試結果!

擬真人像

的確在權重增加時,細節有往上提升,但相對的反差也跟著被拉高了!整張圖片開始變得不好看。

以擬真人像來說,這次測試我比較偏愛 ControlNet Tile Resample 的結果,細節增補的控制相對比較細膩,同時也不會影響反差。

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

那也來看一下負的權重會發生什麼事吧!圖片漸漸變成 2D 繪畫風格,整體畫面也變得明亮起來,看來 Detail Tweaker LoRA 擁有把圖片轉繪畫風的額外能力!

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

擬真靜物

擬真靜物的結果則是沒有什麼細節增加,只有增加反差,這一類型我覺得也是 ControlNet Tile model 勝!

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

繪畫風格

繪畫風格就有趣了!權重逐漸增加的情況下,除了細節明顯提升之外,竟然也變成 3D 圖片!非常特別!

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

往負的走就沒什麼特別驚人的結果,反而是顏色逐漸變得灰階

如何讓 Stable Diffusion 算圖更真實? | ControlNet Tile Resample | Detail Tweaker LoRA
點擊可看原圖

結論

整體而言,如果是輸出擬真圖片的話,我建議使用 ControlNet Tile Resample 來調整細節。反之如果是繪畫風、動漫風等等,則使用 Detail Tweaker LoRA 會得到更滿意的結果。
另外如果想要讓擬真圖片變成繪畫風格,則可以使用 Detail Tweaker LoRA 負權重來實現!
以上兩種方法各有優缺,大家可以在不同的情境善用以上兩種方法來達成調整細節的目標!

延伸閱讀

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting
兩階段解決 Stable Diffusion 臉崩問題
如何用 Stable Diffusion 產生高解析度的圖?
最詳細的 Stable diffusion WebUI 操作教學 – txt2img

Continue reading
Share:
Deep Learning•Stable Diffusion

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

2023-07-05 by J No Comments

修圖的時候,有沒有遇過「如果當初再左邊一點就好了!」「如果當初廣角一點就好了!」以前只能想辦法手工 P 出來,但靠 Stable Diffusion + ControlNet 新推出的 Inpaint 模型,除了可以做圖片內修補外,也能往外擴展補完圖片 (outpaintng)!實在太強了!趕快來看看怎麼作吧!

準備素材

下載 ControlNet Inpaint Model

此作法需要用到 ControlNet 與 ControlNet Inpaint Model,還沒安裝 ControlNet 的話,可以到 Extension Tab ,在 Install from URL 輸入 https://github.com/Mikubill/sd-webui-controlnet.git 安裝 。詳細安裝步驟請參考 github 的 installation 章節。

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

ControlNet Inpaint Model 請到 HuggingFace 下載 control_v11p_sd15_inpaint.pth 和 control_v11p_sd15_inpaint.yaml 後,放入 stable-diffusion-webui\extensions\sd-webui-controlnet 資料夾內。

回到 StableDiffusion WebUI,重啟一下,如果有看到 ControlNet v1.1 區塊以及 Inpaint Model 就代表安裝完成!

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

註:若先前已經安裝過 ControlNet,務必更新到 ControlNet v1.1 以上才有 inpaint 功能!

準備實驗圖片

為了「對照」 Stable Diffusion 向外擴展的能力,我刻意使用完整的圖片作裁切去除兩側,留下中央部分給 AI 去補完,最後再與原圖做一番比較

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting
裁切掉兩側的測試圖

使用 Interrogate 推理提示詞

為了讓出圖能夠更完善,可以使用 Stable Diffusion img2img tab 裡內建的 Interrogate CLIP 或 Interrogate DeepBooru 從圖面推理出提詞,再依情況人工修改,速度比較快。詳細步驟如下:

  1. 將圖片拖入 img2img tab 的 source 區塊
  2. 點擊右上方橘色 Interrogate CLIP 按鈕 (DeepBooru 也可以,會以關鍵字的方式產出)
  3. 等待一小段計算時間,推理出的提示詞會出現在 Positive Prompt 輸入框中
  4. 複製備用
如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

使用 ControlNet Inpaint 來 Outpainting

基本 txt2img 設定

一切準備妥當,回到 Stable Diffusion txt2img tab 頁面開始實作:

  1. 貼上剛剛的 Prompt,並適當增加 Negative Prompt
  2. Sampling Method: 選擇 Euler a,因為算圖速度比較快,用來初步構圖
  3. Sampling Steps: 先用預設 20
  4. Width / Hight: 分別設定為 784, 512,數值可自由選擇,但為了讓他能夠作 outpainting,比例一定要和原圖不一樣!以範例來說,原圖是直幅,要讓他 outpainting 成橫幅,寬一定要設定比高來的多。
  5. 其他保留預設即可
如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

ControlNet 設定

接下來重點是 ControlNet 的設定:

  1. 勾選 enable
  2. 將圖片拖到 source 區
  3. Preprocessor: 選擇 inpaint_only
  4. Model: 選擇 control_v11p_sd15_inpaint
  5. Resize Mode: 選擇 Resize and Fill,很重要!因為要讓他 fill 空白的部分,選錯就不會 outpainting!
如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

開始算圖

按下算圖,原本圖片被裁掉的兩側就慢慢長出來囉!

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

可以將 Batch count 調到 4 讓他一次算四張挑選

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

雖然補完的不錯,但有明顯接縫,沒關係,我們選一張感覺還可以的進 img2img 繼續處理。

用 img2img 修補 outpainting 結果

在剛剛出圖結果下方點選 Send to img2img,將 prompt、設定、圖片全部轉到 img2img tab 中。

基本 img2img 設定

進入 img2img,開始對畫質做調整,因此我們可以選用速度比較慢的 Sampling Method 和比較大的 Steps。

  1. Sampling Method: 選擇 DPM++ SDE Karras
  2. Sampling Steps: 選擇 30
  3. Denoising Strength: 先選擇 0.65 ,讓 AI 自由度中等偏多一點,目的是讓 AI 在不改變太多畫面的元素下,能有自由度幫我們把不合理的接縫處理掉
  4. 其他保留預設
如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

ControlNet 設定

為了控制 img2img 構圖不變,我們開啟 ControlNet 選擇 Canny,用輪廓線作控制。

  1. 勾選 enable
  2. Preprocessor: 選擇 canny
  3. Model: 選擇 control_v11p_sd15_canny (如果沒有此模型,請與前述相同方法下載並放置對應資料夾中)
  4. 其他保留預設
如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

開始算圖

發現接縫已經消失了!多跑幾張,調整不同的 Denoising Strength 看看效果,找出甜蜜點。

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

有了補完的圖,可以依照 如何用 Stable Diffusion 產生高解析度的圖? 文中提到的方法提高圖片解析度,解決現實世界中的畫面缺失問題,再進 PhotoShop 後製調色。

結論

以這次實驗的結果,看起來 outpainting 的結果還不賴!但有些情境還是會走鐘,比如說遇到剛好被裁切的肢體,outpainting 出來就會一踏糊塗!不過大部分的情況都算可使用的程度了!值得讚賞!

看一下原圖和 Stable Diffusion 幫我們想像的圖,你覺得你比較喜歡哪一張呢?

如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting
如何用 Stable Diffusion + ControlNet 向外擴展圖片?| Outpainting

延伸閱讀

如何讓 Stable Diffusion 算圖更精細生動? | ControlNet Tile Resample | Detail Tweaker LoRA
兩階段解決 Stable Diffusion 臉崩問題
如何用 Stable Diffusion 產生高解析度的圖?
LoRA 是什麼?如何使用?| Stable Diffusion

Continue reading
Share:
Deep Learning•Stable Diffusion

兩階段解決 Stable Diffusion 臉部問題

2023-05-22 by J No Comments

Stable Diffusion 算圖時,有時算出來的人臉都像是被揍過一樣!這其實是解析度過小的問題,我們可以透過 img2img upscale 加 inpaint 的手法來解決,只需要兩階段,一起來看看怎麼做吧!

第一階段:增加圖面解析度

以下這一張用 Stable Diffusion 畫出小朋友與老師的畢業合照,整張圖的解析度為 784 x 512。因為每個人臉所佔畫面(解析度)過小,就算我們 prompt 下再多 beautiful face 等關鍵字,Stable Diffusion 還是兩手一攤擺爛亂畫。

兩階段解決 Stable Diffusion 臉部問題

既然是解析度問題,我們設法增加臉部解析度試試能不能好轉,我們可以使用 img2img 將整張圖的解析度增加。

給定與原圖一樣的 prompt,denoising strength 可以調 0.5 附近,讓算圖結果與原圖差異不要太大。

延伸閱讀:如何用 Stable Diffusion 產生高解析度的圖?

下圖採用 denoising strength = 0.65,長寬 1568 x 1024,其他參數則與原圖相同。同時開啟 ControlNet openpose 固定人物肢體與排列 ,結果如下:

兩階段解決 Stable Diffusion 臉部問題

兩階段解決 Stable Diffusion 臉部問題

雖然人物的衣服改變了,但整體來說比之更好,衣服的質感也比較自然。同時發現臉部已經好很多,但還是偏呆滯,接下來我們用 Inpaint 來解決這個問題。

第二階段:使用 Inpaint 重繪臉部

Inpaint 原理是,我們在圖片上塗抹一個區域,告訴 AI 只需要幫我們重繪被遮住的區塊。如此即能在不動整個畫面的情況下,微調 AI 畫不好的小地方。

一樣在 img2img 頁面:

  • 切換子 tab 為 Inpaint
  • 將剛剛放大的圖片拖入 source
  • Mask mode 選擇 Inpaint masked
  • Mask content 選擇 original
  • Inpaint area 選擇 Only masked
  • Width、Height 都設定為 512
兩階段解決 Stable Diffusion 臉部問題

選擇 only masked 的原因是,我們讓 Stable Diffusion 用給定的長寬 畫被遮住的部分,好處是:

  • 增加局部解析度:讓需要修改的地方,保證至少有 512x512 的解析度。如果選擇 all xxx,則會依照給定的長寬下去整張重畫,因為整個解析度分散到整張圖片上,反而需要修改的地方分到的解析度不夠高,並不能解決問題。
  • 節省算圖時間:當修改的地方不大時,只需要 512 ~ 768 等解析度就足夠修復區域問題,避免算整張圖耗費時間

如同上述,為了確保每張臉的解析度是足夠的,我們一次僅塗抹一張臉。

兩階段解決 Stable Diffusion 臉部問題

按下 Generate,就能修復好一張臉。

兩階段解決 Stable Diffusion 臉部問題

這邊有個小技巧,塗抹的面積要比臉部稍微大一點點,這樣重繪後的五官比較不會發生偏移而看起來怪怪的

兩階段解決 Stable Diffusion 臉部問題
左圖 mask 覆蓋範圍略大於臉部,讓 AI 重繪時能夠正確定位五官位置和外圍輪廓。右圖只有塗抹五官區域,因此整體位置發生偏移,很像古早的迷因 youtube hey apple

把修好一張臉的圖拖入 source,再塗抹下一張臉,不斷重複直到每張臉都修復完成!(這張圖臉實在有點多……)

兩階段解決 Stable Diffusion 臉部問題

重複多次後就能得到修復完成的圖了!會發現每張臉都長得一樣XD!若要得到有差異性的五官,每次修復時微調 prompt 即可!

兩階段解決 Stable Diffusion 臉部問題

與原始圖對比一下,進步非常多!

兩階段解決 Stable Diffusion 臉部問題

最後可以透過 Tiled Upscaling 的手法將圖再次放大,即能輸出高解析度的結果。大家試試看吧!

延伸閱讀

如何用 Stable Diffusion 產生高解析度的圖?
LoRA 是什麼?如何使用?| Stable Diffusion
最詳細的 Stable diffusion WebUI 操作教學 – txt2img
免費用 Google Colab 玩 Stable Diffusion WebUI
如何在 M1 Macbook 上跑 Stable Diffusion?

Continue reading
Share:
Deep Learning•Stable Diffusion

如何用 Stable Diffusion 產生高解析度的圖?

2023-05-18 by J No Comments

txt2img 時,會用 512、768 等等大小來測試算圖,反覆迭代找到一個適合的 prompt 和參數組合。如果想要以此組合算出高解析度的圖片,直接調整長寬會遇到畫面跑掉的問題。該如何在固定構圖的情況下增加圖片的解析度呢?本文提供三個方法讓大家嘗試看看!

法一:透過 img2img 放大

將 txt2img 算出的圖片送入 img2img ,並輸入一樣的 prompt,如此及能算出高度類似,但細節略為不同的圖片。

img2img 法詳細步驟

在 txt2img 得到適合的結果後,點選 send to img2img

如何用 Stable Diffusion 產生高解析度的圖?

延伸閱讀:最詳細的 Stable diffusion WebUI 操作教學 – txt2img

或者將圖片拉到 png info,再點選 send to img2img

如何用 Stable Diffusion 產生高解析度的圖?

跳轉至 img2img tab,調整長寬放大圖片。調整 denoising strength 控制 AI 自由度。

如何用 Stable Diffusion 產生高解析度的圖?

denoising strength 以 0.5 作為臨界值,大於 0.5 表示 Stable Diffusion 算圖自由度越高,與原圖差異越大。反之小於 0.5 AI 自由度下降,與原圖較為相似。

原圖:

如何用 Stable Diffusion 產生高解析度的圖?

透過 img2img 放大,點擊查看大圖

如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.15
如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.35
如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.55
如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.75

img2img 算圖時拉高 denoising strength 構圖有可能跑掉,我們可以嘗試使用 ControlNet 控制畫面。ControlNet 使用方法將在另一篇文章中介紹。

原圖:

如何用 Stable Diffusion 產生高解析度的圖?

透過 img2img 放大,點擊查看大圖:

如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.7
如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.7, enable ControlNet OpenPose

img2img 法小結

優點:

  • 因為是透過 Stable Diffusion Model 算圖,除了放大解析度外,還能增加細部細節!
  • 調整 prompt 和 denoising strength,在此階段同時對圖片作更進一步的優化

缺點:

  • 解析度拉越高,所需算圖時間越久,VRAM 也需要更多、甚至會爆顯存,因此提高的解析度有上限
    • 以 google Colab 的 T4 為例,15 GB 的 VRAM 在接近 2000 x 2000 的時候就會爆掉
  • 是本文篇文章三法中,放大到同等級解析度時最耗費 VRAM 的方法
  • 放大圖片的細節或構圖可能會改變,需要依照經驗調整 denoising strength,或者引入 ControlNet 來解決

法二:透過 AI Upscaler 放大

透過 ESRGAN 等 AI upscaler 的方式將原圖放大,相對於傳統的 upscaler(如 PhotoShop),放大時能夠增加細節,算圖速度也比 img2img 快。

AI Upscaler 詳細步驟

  • 切換到 Extras tab,點選 Single Image,將想放大的圖片丟到 Source 中
  • 調整 Resize 決定放大幾倍。比如說原圖為 512×512,Resize = 2x 會變成 1024×1024
  • 選擇 Upscaler 1,如果是放大「真實照片」等類型,建議使用 R-ESRGAN 4x+ 或是 4x-UltraSharp。如果是「圖畫、動漫風格」,可以使用 R-ESRGAN 4x+ Anime6B。
  • Upscaler 2 我們不使用,留白即可。
如何用 Stable Diffusion 產生高解析度的圖?

點下 Generate,沒一會功夫就算完了!相對 img2img 快非常多

原圖:

如何用 Stable Diffusion 產生高解析度的圖?

透過 AI Upscaler 放大,點擊查看大圖:

如何用 Stable Diffusion 產生高解析度的圖?

AI Upscaler 、PhotoShop 大比拼

把臉部 zoom in,並與 PhotoShop 保留細節 2.0 放大兩倍的圖一起比較

原圖:

如何用 Stable Diffusion 產生高解析度的圖?

AI Upscaler 放大:

如何用 Stable Diffusion 產生高解析度的圖?

PhotoShop 保留細節 2.0 放大,顆粒感很重

如何用 Stable Diffusion 產生高解析度的圖?

AI Upscaler 法小結

優點:

  • 算圖速度非常快,也非常節省資源
  • 放大的圖片會與原圖幾乎一樣,同時填補細節

缺點:

  • AI Upscaler 是依照原圖的資訊去作算圖放大和細節增強,在原圖很小時,放大後細節的表現可能不盡理想
  • 依照所選 Upscaler 可能會有細節過度銳利的現象(如 4x-UltraSharp)
  • 因為放大的圖片會與原圖一樣,如果原圖角色的臉已經崩壞,放大後還是保持崩壞不會修復

法三:透過 Tiled Upscaling 放大

此法動用 img2img + ControlNet + AI Upscaler,結合了法一和法二的優勢並互相彌補了缺點,可以說是目前放大圖片的最佳方法!

Ultimate SD Upscale 安裝步驟

首先需要安裝 Ultimate SD Upscale,前往 Extensions tab,點 Install from URL。

在 URL for extension's git repository 貼上 https://github.com/Coyote-A/ultimate-upscale-for-automatic1111 後點 Install

如何用 Stable Diffusion 產生高解析度的圖?

點 Installed,並點 Apply and restart UI,讓外掛生效

如何用 Stable Diffusion 產生高解析度的圖?

Tiled Upscaling 詳細步驟

切換到 img2img,將要放大的圖片拖進去,prompt 的地方可以留白(原因可參考原理解釋)或建議保留原圖 prompt ,寫入 PNG Info 供後續參考使用。

如何用 Stable Diffusion 產生高解析度的圖?

調整 Width / Height 至原圖大小,並降低 denoising strength 至 0.35,如果想要更接近原圖,可以考慮 0.15 ~ 0.20(以上調整方式為 Ultimate SD Upscale 官方建議)

如何用 Stable Diffusion 產生高解析度的圖?

打開 ControlNet 區塊

  • 確認是 1.1 以上的版本
  • 勾選 enable
  • preprocessor 選擇 tile_resample
  • model 選擇 control_v11f1e_sd15_tile (模型檔可到 huggingface 下載)
  • 將原圖拖入 source。
如何用 Stable Diffusion 產生高解析度的圖?

往下在 script 的下拉式選單中選擇 Ultimate SD upscale :

  • Target size type 選擇 Scale from image size
  • Scale 拉出想要放大的倍數
  • Upscale 選擇 4x-UltraSharp、R-ESRGAN_4x 或 R-ESRGAN 4x+ Anime6B,選擇方式如同 AI Upscaler 中討論的原則
  • Type 保持 Linear
  • Tile width 保持 512,Tile height 預設零,表示與 width 相同
如何用 Stable Diffusion 產生高解析度的圖?

設定完畢,按下 Generate,Stable Diffusion 就會一個個 tile 幫你算圖放大囉!

如何用 Stable Diffusion 產生高解析度的圖?

原圖:

如何用 Stable Diffusion 產生高解析度的圖?

透過 Tiled Upscaler 放大,雖然 denoising strength 已經降低,但仔細觀察臉部還是有些為變化。

點擊查看大圖:

如何用 Stable Diffusion 產生高解析度的圖?

Tiled Upscaling、AI Upscaler 大比拼

原圖:

如何用 Stable Diffusion 產生高解析度的圖?

Tilted Upscaling:放大時有補上眼睫毛的細節,瞳孔也比較清楚

如何用 Stable Diffusion 產生高解析度的圖?

AI Upscaling:單純參考小圖作放大,眼睫毛細節增加有限,瞳孔則混濁

如何用 Stable Diffusion 產生高解析度的圖?

Tiled Upscaling 原理

整個 Tiled Upscaling 步驟由 Ultimate SD Upscale 的 script 控制, 其算圖步驟如下:

  • 先將原圖切成一塊塊小圖片(tile),排入隊列,每個 tile 依序處理
  • 將 tile 透過 AI Upscaler 放大成,比如說 512×512 的圖
  • 用 ControlNet 1.1 新推出的 Tile Model 對放大的 tile 重新繪製,修復細節
  • 將所有修復好的 512×512 tile 重新組合成一張大圖,隨即完成

這邊精妙的地方在於,他善用 ControlNet 1.1 的 Tile Model 的行為,摘取自原文:

  • Ignore the details in an image and generate new details.
  • Ignore global prompts if local tile semantics and prompts mismatch, and guide diffusion with local context.

意思是說,Control Net 的 Tile 模型用途在於「修補細節」。他會「參考」目前的圖片,進行修復(增補)細節的缺失。

如何用 Stable Diffusion 產生高解析度的圖?

同時會忽略 global prompts,讓繪圖的方向以 tile 中的內容為主。原文中舉例如下圖,雖然 prompt 給的是 a handsome man,但採用 tile model 控制繪圖,因此他能夠以方框區的圖片內容作為方向重繪出一片葉子,而不會是一個男人。

(註:實測整個 Tiled Upscaling 發現修改 prompt 還是會對圖片有微小的變化,因此這部份不確定原文案例是否僅適合只有套用 ControlNet Tile Model 的情境)

如何用 Stable Diffusion 產生高解析度的圖?

ControlNet Tile Model 這些特性有什麼好處呢?前面提到

  • img2img 法在放大時能夠增加細節,但是非常耗費資源(VRAM)
  • AI Upscale 法在放大時能夠增加的細節有限(被原圖大小限制),但是相對節省資源

因此 Tile Upscaling 的作法能

  • 善用 AI Upscale 迅速放大且省資源的優勢,先將每個 tile 放大(如:512×512)
  • 再用 ControlNet Tile 控制 img2img 重繪,因為每個 tile 大小只有 512×512,相當節省資源(VRAM),又能增加細節

各取其優點並互相彌補了缺點,讓 Stable Diffusion 也能在 VRAM 不夠的情況下,將放大圖片的任務切成多個子任務,用時間換取空間。

ControlNet Tile Model 扮演的角色

假如我們故意關閉 ControlNet Tile Model 的控制,會發生什麼事情?

如前面所述,整個放大的過程是一個個 tile 下去繪製,如果沒有 ControlNet,會導致 Stable Diffusion 在算每個 tile 時候都會去看 prompt 的內容 。如果 prompt 是要他畫一個老男人,你會發現最後每一個 tile 都是一個老男人的臉!

因為繪製過程中他沒有上下文的概念,他只看到一張 512×512 的畫布並想辦法透過 prompt 把他填滿。因此 ControlNet 目的就是引入 Tile Model 的行為,讓他有 context,因此 Tile Upscaling 可以實現。

如何用 Stable Diffusion 產生高解析度的圖?
圖片來自於 Youtube

Seam Artifacts 接縫問題

但 Tile Upscaling 也有其缺點,因為大圖是由多個 tile 重繪後組成,每個 tile 間可能會有微小的「接縫」(seam artifacts),將圖片對比拉到很高時比較容易發現,一般情況下肉眼不太能區別。

如何用 Stable Diffusion 產生高解析度的圖?
圖片來自於 Youtube
如何用 Stable Diffusion 產生高解析度的圖?
圖片來自於 Youtube

如果遇到很明顯的情況,Ultimate SD Upscale 建議此時可以將 Type 設定為 Chess 降低接縫的問題。

如何用 Stable Diffusion 產生高解析度的圖?

或是使用 Seams fix 功能

如何用 Stable Diffusion 產生高解析度的圖?

注意 Denoising strength 參數調整

官方文件建議給定 0.35,或是往下調到 0.15 ~ 0.20,如果調太高會發生什麼事?如下圖範例,調太高時算出來的圖會過度增加不必要的細節,可能反而讓圖變醜!因此使用時若發現不如預期,記得先確認一下 denoising strength 是否調太高

(點擊可看大圖)

如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.15
如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.55

不過以這張圖的例子,增加的細節其實好像還不錯XD,還蠻 case by case

如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.35
如何用 Stable Diffusion 產生高解析度的圖?
denoising strength = 0.75

Tiled Upscaling 法小結

優點:

  • 算圖過程相比 img2img 非常節省資源
  • 放大的圖片會與原圖非常接近,且能夠填充更多的細節
  • 能夠放大圖片到非常大張,不會頂到 VRAM 上限

缺點:

  • 因將大圖切成多個 tile 一個個重繪,如果 Scale 到很大會非常耗時
  • 可能會有接縫(seam artifact)的問題

結論

將這篇文章討論的三個方法的 pros and cons 整理成下表

方法優點缺點
img2img1. 能增加細部細節 2. 可調整 prompt 和 denoising strength 進一步優化圖片1. 解析度拉高時需算圖時間長且需要更多VRAM 2. 可能改變圖片細節或構圖,需要調整 denoising strength 或使用ControlNet
AI Upscaler1. 算圖速度快且節省資源 2. 放大圖片與原圖幾乎一樣1. 原圖很小時,放大後細節可能不理想 2. 選擇某些 Upscaler 可能出現細節過度銳利的現象 3. 無法修復原圖已經崩壞的部分
Tiled Upscaling1. 同時享有 img2img 和 AI Upscaler 的優點 2. 使用 ControlNet Tile 重繪,能增加更多細節且節省資源tile 間可能出現微小的接縫(seam artifacts)

或許有人會問,為何不討論 txt2img 中的 Hires.fix?主要是作圖的流程和效率問題。

txt2img 的階段主要是透過調整 prompt 和 CFG scale 找到一個理想的構圖,接下來才進 img2img 作細部編修和放大。

因此在 txt2img 時應該要讓 AI 能夠快速產生很多張圖作挑選,如果此時引入 Hires.fix 不但會拖慢速度,透過他放大的圖片也可能和 txt2img 產生的原圖不同(因為他其實就是 img2img),反而增加調教上的困難。所以不推薦使用 Hires.fix 來作放大,本文就不特別討論了。

以上就是目前最新的 Stable Diffusion 三種放大圖片的方法,大家趕快試試看吧!

延伸閱讀

兩階段解決 Stable Diffusion 臉崩問題
LoRA 是什麼?如何使用?| Stable Diffusion
最詳細的 Stable diffusion WebUI 操作教學 – txt2img
免費用 Google Colab 玩 Stable Diffusion WebUI
如何在 M1 Macbook 上跑 Stable Diffusion?

參考資料

WOW! ControlNet 1.1 Tiles Tutorial – High Resolution for Everyone! ULTIMATE Upscale for SLOW GPUs – Fast Workflow, High Quality, A1111 How to use AI upscaler to improve image details ultimate-upscale-for-automatic1111

Continue reading
Share:
Deep Learning•Stable Diffusion

免費用 Google Colab 玩 Stable Diffusion

2023-04-23 by J No Comments

用 Google Colab 玩 Stable Diffusion 應該是所有架設方式中最簡便的一種,安裝過程只需要跑大神們寫好的 Notebook,點擊吐出的連結立馬就能進入 WebUI 介面!但其中也有一些小細節需要注意,我們一起來看看怎麼做吧!

什麼是 Google Colab

Google Colab(Colaboratory)是 Google 推出的雲端深度學習服務,免費版即提供 GPU 加速,同時可以連結 Google Drive 作為儲存空間,非常佛心!

Google Colab 介面非常相似 Jupyter Notebook,也使用 Python 作為主要語言,因此可以無痛轉移。同時還支援從 github 安裝 library、以及 linux 原生指令,跟一台虛擬機沒有兩樣!

Google Colab 只要有 Google 帳號就能直接使用,不需要額外申請。但免費版有一些限制,比如說跑 code 的時候該瀏覽器頁面不能關掉(如果需要跑很久,電腦就要一直掛著),或者不能使用更快的 GPU 等等,但以跑 Stable Diffusion WebUI 來說已經相當夠用!

(最近測試免費版能用到 Tesla T4,相對用 AWS 自己開一樣規格的機器 還要花錢,已經很佛了!)

註:於 2023/5 初 Google Colab 免費版開始偵測使用者行為,當發現跑 stable diffusion 時會切掉連線。建議大家有需求的話可以付 10 美金購買 pay as you go 方案取得 100 運算單元(想像成使用點數),Tesla T4 每小時約扣 1.96 個運算單元,相當於每小時 0.2 美元左右,與同等級 AWS 機器價格差不多。如果善用 google 免費的雲端硬碟,可以省下放 stable diffusion 模型的硬碟費用,整體還是比 AWS 開機器划算!

免費用 Google Colab 玩 Stable Diffusion

如何建立一份自己的 Stable Diffusion WebUI on Google Colab?

首先前往 Stable Diffusion WebUI 官方 github 網頁:

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Online-Services

免費用 Google Colab 玩 Stable Diffusion WebUI

在 Google Colab 條目下有多個不同版本可以選擇,我們以 TheLastBen 的版本為例。

點擊後立刻跳轉至 Google Colab

免費用 Google Colab 玩 Stable Diffusion WebUI

這份是共用權限,修改後不能儲存,因此我們先複製一份到自己的 Google Drive 中

免費用 Google Colab 玩 Stable Diffusion WebUI

瀏覽器自動用新分頁開啟複製的 notebook,可以開始一步步設定囉!

免費用 Google Colab 玩 Stable Diffusion WebUI

安裝流程與參數說明

整個安裝流程相當清楚,我們先簡單 overview 一下所有步驟。

以目前(2023/4)的版本總共有六步:

  1. Connect Google Drive
  2. Install/Update AUTOMATIC1111 repo
  3. Requirements
  4. Model Donwload/Load
  5. ControlNet
  6. Start Stable-Diffusion

我們一步步說明。

Connect Google Drive

第一步設定是否要使用 Share Drive。你可以把 Google Colab 想像成一個「用完即丟的電腦」,因此資料不能儲存在「Google Colab」裡面,而是要放到 Google Drive 中。

免費用 Google Colab 玩 Stable Diffusion WebUI

若 Shared Drive 欄位留空,預設在 Google 雲端硬碟根目錄建立名為 sd 的資料夾放置 source code。反之若有設定,則會在給定的 Shared Drive (共用雲端硬碟)中建立。

Install/Update AUTOMATIC1111 repo

此步會透過 git 去 clone 整份 Stable Diffusion WebUI 的 source code 到 sd 資料夾中。

免費用 Google Colab 玩 Stable Diffusion WebUI

因為預設 clone 最新的 code,有時可能會有 bug,如果考量穩定性,可以將 Use Latest Working Commit 勾起,他會鎖在固定的版本。

但他是在 code 中寫死一個特定版本,除非自己去更新 commit sha code,否則是不會抓「真正最新穩定版本」的哦!

免費用 Google Colab 玩 Stable Diffusion WebUI

一般性建議,怕麻煩的話可以勾起,避免一些不必要的錯誤發生!

Requirement

這一步會安裝 Stable Diffusion WebUI 的 Python 依賴套件,不需要作額外的設定

免費用 Google Colab 玩 Stable Diffusion WebUI

Model Download/Load

這邊也建議不需要修改,讓他在 WebUI 第一起起來時去抓 Stable Diffusion 1.5 的 model 即可,後續我們可以透過 Google Drive 上傳自己從 Civitai 載的模型

免費用 Google Colab 玩 Stable Diffusion WebUI

ControlNet

此部分也保持預設即可,後續如果有用到 ControlNet 再自行上傳

免費用 Google Colab 玩 Stable Diffusion WebUI

Start Stable-Diffusion

最後一步!Google Colab 預設不讓使用者「架網站」,因此若要從外部連入 Colab 實體,需要用 tunnel 的技巧打通。

免費用 Google Colab 玩 Stable Diffusion WebUI

我建議使用 Ngrok 來作 reverse tunnel,請先到 Ngrok 申請一個免費帳號

免費用 Google Colab 玩 Stable Diffusion WebUI

切換到 Dashboard,點選左邊選單列 Your Authtoken ,再點選右邊的 copy 複製 token

免費用 Google Colab 玩 Stable Diffusion WebUI

將其貼到 Colab 的 Ngrok_token 欄位

免費用 Google Colab 玩 Stable Diffusion WebUI

下方 User 、Password 可選填,避免其他人能直接進入你的 Stable Diffusion WebUI

免費用 Google Colab 玩 Stable Diffusion WebUI

第一次啟動 Stable Diffusion WebUI

回到頁面最上方,點 執行階段 > 全部執行 ,Collab 會自動跑完所有步驟

免費用 Google Colab 玩 Stable Diffusion WebUI

過程中跳出「是否允許存取雲端硬碟」,請點選連線,並選擇正確的帳號授權給他

免費用 Google Colab 玩 Stable Diffusion WebUI

接著會自動下載 Stable Diffusion WebUI source code、安裝依賴套件、以及下載基本模型。第一次會跑比較久,請耐心等候

過一段時間就能看到如下畫面,點擊連結前往 Stable Diffusion WebUI

免費用 Google Colab 玩 Stable Diffusion WebUI

Ngrok 免費帳號第一次連入時會有提示,點 Visit Site 進入

免費用 Google Colab 玩 Stable Diffusion WebUI

剛剛若在最後一步有設定帳密,請在此輸入。若沒設定則不會有此畫面

免費用 Google Colab 玩 Stable Diffusion WebUI

馬上就能看到熟悉的畫面了!

免費用 Google Colab 玩 Stable Diffusion WebUI

特別注意,Google Colab 頁面不能關閉,一旦關閉 WebUI 就會死掉囉!

如何上傳新的模型?

切換至 Google 雲端硬碟,找到 sd 資料夾後進入,其中 stable-diffusin-webui 就是我們 WebUI 的根目錄,放模型的路徑與 local 架的 一模一樣

免費用 Google Colab 玩 Stable Diffusion WebUI

模型檔同樣放在 stable-diffusion-webui/models/Stable-diffusion 資料夾下。

免費用 Google Colab 玩 Stable Diffusion WebUI

這邊有個小技巧,因為模型檔非常大,很容易頂到雲端硬碟容量上限,此時可以用捷徑的方式,將網友分享的 model 備份 新增雲端硬碟捷徑 到 models/Stable-diffusion 下,或是自己多開幾個帳號上傳,並分享給自己建立捷徑,就能突破容量上限並讓 Stable Diffusion WebUI 可以載入!

免費用 Google Colab 玩 Stable Diffusion WebUI
免費用 Google Colab 玩 Stable Diffusion WebUI

使用 Google Colab 跑 Stable Diffusion WebUI 的優缺點

先講講優點:

優點 1:免費!

這真的沒得說,不用買顯卡,只要有電腦、網路、google 帳號就能用,還有什麼比的上!

優點 2:雲端存儲

所有的檔案都會放在雲端硬碟上,可以直接共用並協作。

接下來看看缺點:

缺點 1:冷啟動速度慢

此網友分享的 notebook 偏向「第一次安裝並啟動」的風格,因此初次啟動完關閉後,再次啟動還是需要跑完所有步驟。雖然速度會比第一次快,但整體時間依然需要四到七分鐘不等。

若想跳過幾個步驟,如省略 Install/Update AUTOMATIC1111 repo,可能會遇到 python 變數沒定義到而出錯的問題,這部份需要自行改 code 來解決。

缺點 2:模型載入速度慢

前面提到,Google Colab 類似免洗電腦用完及丟,因此他「沒有記憶」,必須外掛雲端硬碟來放置模型檔案。但 Google Colab 從雲端硬碟抓檔案的速度相當慢,若算圖時常常切換模型,將會浪費很多時間在等待上面。

缺點 3:Colab 傳輸速度慢

推測 Google Colab 避免有心人士用此免費架站,因此對外流量作大幅度的限制。使用時發現算完的圖要大約要五秒不等才會顯示出來。不過這部份倒是還好,可以另開一個頁面,直接從雲端硬碟進去 Stable Diffusion WebUI 下的 output 資料夾下載圖檔即可。

缺點 4:資源分配不定

官方表示免費版不一定有足夠的 GPU 資源,但我這幾次試用起來都能拿到 Tesla T4,可能看使用的時間而定。

想知道自己拿到哪一種 GPU,可以在 notebook 中增加一行指令 !nvidia-smi ,即能看到如下畫面

免費用 Google Colab 玩 Stable Diffusion WebUI

缺點 5:可能未來會被 Google 禁用

最近 Google 會偵測 notebook 裡跑的 code,如果有從 Stable Diffusion WebUI github repo pull code,會跳出一個對話框「善意提醒」,但還是可以使用,只是不確定何時會被封鎖

作一個小結,以學習角度來說,使用 Google Colab 來試試水溫,不但不用負擔昂貴的硬體設備,還能輕易上手,避免複雜的環境問題。但若要專業製圖,可能還是考慮自行購買硬體,或者到 AWS 開一台有 GPU 的 EC2 來跑會比較穩定!以上希望能幫助到大家!

延伸閱讀

不用顯卡也能玩 Stable Diffusion WebUI – 使用 AWS 架設
LoRA 是什麼?如何使用?| Stable Diffusion
如何用 Stable Diffusion 產生高解析度的圖?
最詳細的 Stable diffusion WebUI 操作教學 – txt2img
如何在 M1 Macbook 上跑 Stable Diffusion?

Continue reading
Share:
Deep Learning•Stable Diffusion

不用顯卡也能玩 Stable Diffusion – 使用 AWS 架設

2023-03-31 by J No Comments

想玩 Stable Diffusion,但電腦不夠力,又不想花錢買貴森森的顯卡怎麼辦?除了使用 Google Colab 外還有另一個選擇,就是到 AWS 開有 GPU 的 EC2!以下分享如何透過 AWS CloudFormation 一鍵架設,整體適合有初步雲端或 Linux 經驗的人,初學者照著步驟也能完成,但有些專有名詞可能需要額外研究了解。

CloudFormation 簡介

首先需要開一個 AWS 帳號,若不熟悉的朋友們請估狗一下或問 ChatGPT 就能立刻得到指引。

緊接著點左上角 Services 選單,點 CloudFormation 就能看到如下畫面:

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

CloudFormation 的原理簡單來說,是透過 yaml 檔的方式把 User 設計好的系統架構描述出來,列出需要建立的資源後把檔案餵給他,CloudFormation 就能全部自動幫你建立,不用自己手動去 Web Console 辛苦的開機器。

同時 CloudFormation 也能一鍵清除建立的資源,對於荷包非常友善。刪除後哪天若想再建立一模一樣的架構,丟給他一樣的 yaml 檔即可!就像現在流行的 copilot 可以盡情使喚他!

EC2 選擇與價格評比

一般 Web application 開的機器,不外乎 t 系列、c 系列等對於 CPU 和 Memory 不同的優化等級。但 Stable Diffusion 需要 GPU 作為加持,此時就要開 g 系列或 p 系列。

先上一張費用圖嚇嚇大家XD。好在 p 系列不是選擇範圍內,因為他的規格是頂級豪華型,費用非常昂貴,專門提供給類似 OpenAI 這種專業深度訓練公司使用。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

g 系列相對親民許多。這次我們選擇的是 g4 中搭載 N 卡最小機型 g4dn.xlarge,配有一顆 T4 GPU,4 核 XEON vCPU,以及 16G 記憶體,每小時只需要 0.526 鎂,約莫 15 元新台幣。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

這個價格比我們自己去組一台電腦划算嗎?看使用頻率和情境。T4 的效能差不多和 RTX 2070 接近,二手市場現在 (2023/3)大約是 5000 ~ 12000 之間。取個中間值 8500 元,假設只買顯卡的話,開 g4dn.xlarge 大約可用 566 小時(小時費用以 15 元粗算),且尚未算上電費開銷。若需要額外買 CPU 、 Memory、SSD、主板的話,相對可用小時數還能再提升。因此如果不是重度使用者,又想要比用 Google Colab 有更多的掌控性和儲存空間,其實還蠻適合試試看的。

延伸閱讀:免費用 Google Colab 玩 Stable Diffusion WebUI

準備 Template yaml 檔

整份檔案如下,亦可到 github 下載原始檔

AWSTemplateFormatVersion: '2010-09-09'
Description: A CloudFormation template to deploy the Stable Diffusion Web UI by Automatic1111

Resources:
  EC2Key:
    Type: AWS::EC2::KeyPair
    Properties:
      KeyName: sd-webui-key
      PublicKeyMaterial: ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDGBpILKHwJS...  # 修改為自己的公鑰
  SecurityGroup:
    Type: AWS::EC2::SecurityGroup
    Properties:
      GroupName: sd-webui-sg
      GroupDescription: Security group for StableDiffusion WebUI EC2 instance
      SecurityGroupIngress:
        - IpProtocol: tcp
          FromPort: 22
          ToPort: 22
          CidrIp: 0.0.0.0/0  # 建議修改為自己的IP
        - IpProtocol: tcp
          FromPort: 7860
          ToPort: 7860
          CidrIp: 0.0.0.0/0  # 建議修改為自己的IP
  EC2Instance:
    Type: AWS::EC2::Instance
    Properties:
      InstanceType: g4dn.xlarge
      ImageId: ami-0096760a13eddf1bb
      BlockDeviceMappings:
        - DeviceName: /dev/sda1
          Ebs:
            VolumeSize: 50 # 預設為 50GB,可依需求修改
            VolumeType: gp3
      "Tags" : [
            {"Key" : "Name", "Value" : "sd-webui"},
        ]
      KeyName: !Ref EC2Key
      SecurityGroups:
        - Ref: SecurityGroup
      UserData:
        'Fn::Base64': |
            #!/bin/bash
            sudo apt-get update
            sudo apt-get upgrade -y
            sudo apt install wget git python3 python3-venv build-essential net-tools -y
           
            # install git-lfs
            curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
            sudo apt-get install git-lfs
            sudo -u ubuntu git lfs install --skip-smudge
          
            # install pyenv
            sudo -u ubuntu git clone https://github.com/pyenv/pyenv.git /home/ubuntu/.pyenv
            sudo chown -R ubuntu:ubuntu /home/ubuntu/.pyenv
            echo -e 'if shopt -q login_shell; then' \
                  '\n  export PYENV_ROOT="$HOME/.pyenv"' \
                  '\n  export PATH="$PYENV_ROOT/bin:$PATH"' \
                  '\n eval "$(pyenv init --path)"' \
                  '\nfi' >> /home/ubuntu/.bashrc
            echo -e 'if [ -z "$BASH_VERSION" ]; then'\
                  '\n  export PYENV_ROOT="$HOME/.pyenv"'\
                  '\n  export PATH="$PYENV_ROOT/bin:$PATH"'\
                  '\n  eval "$(pyenv init --path)"'\
                  '\nfi' >> /home/ubuntu/.profile
            echo 'if command -v pyenv >/dev/null; then eval "$(pyenv init -)"; fi' >> /home/ubuntu/.bashrc
          
            # install dependency of installing python 3.10.6 by pyenv
            sudo apt-get install -y make build-essential libssl-dev zlib1g-dev \
                libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncursesw5-dev \
                xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev -y
          
            # clone sd webui
            cd /home/ubuntu
            git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
          
            # clone model and lora
            git clone https://huggingface.co/AnonPerson/ChilloutMix
            mv ChilloutMix/ChilloutMix-ni-fp16.safetensors stable-diffusion-webui/models/Stable-diffusion
            mkdir stable-diffusion-webui/models/Lora
            mv ChilloutMix/*.safetensors stable-diffusion-webui/models/Lora
            rm -Rf ChilloutMix
            sudo chown -R ubuntu:ubuntu stable-diffusion-webui/

  EIP:
    Type: AWS::EC2::EIP
  EIPAssociation:
    Type: AWS::EC2::EIPAssociation
    Properties:
      AllocationId: !GetAtt EIP.AllocationId
      InstanceId: !Ref EC2Instance

CloudFormation template 只是條列出各項需要他幫忙建立的 AWS 資源而已,本身並不複雜。以下分區塊講解每個部分內容。

EC2 Key

首先是 EC2Key ,此區是設定稍候 ssh 進入 EC2 所需的 public key,可以直接將你使用的公鑰貼入,CloudFormation 會幫你設定進 EC2 ,機器開好後就能直接連線,不用額外下載金鑰。

  EC2Key:
    Type: AWS::EC2::KeyPair
    Properties:
      KeyName: sd-webui-key
      PublicKeyMaterial: ssh-rsa AAAAB3NzaC1yc2EAAAADAQAB...  # 修改為自己的公鑰

接著是 SecurityGroup,也就是防火牆設定。因為 Stable Diffusion WebUI 並沒有作帳號權限控管,極度建議限制連入 IP 到 WebUI 的 7860 port,如 115.23.21.32/32。如果沒有固定 IP,建議可以到 Oracle Cloud 開一台終生免費的機器 架設 OpenVPN 作跳板使用。

Security Group

  SecurityGroup:
    Type: AWS::EC2::SecurityGroup
    Properties:
      GroupName: sd-webui-sg
      GroupDescription: Security group for StableDiffusion WebUI EC2 instance
      SecurityGroupIngress:
        - IpProtocol: tcp
          FromPort: 22
          ToPort: 22
          CidrIp: 0.0.0.0/0  # 建議修改為自己的IP
        - IpProtocol: tcp
          FromPort: 7860
          ToPort: 7860
          CidrIp: 0.0.0.0/0  # 建議修改為自己的IP

EC2 Instance

進入最重要的 EC2 環節:

  • InstanceType: 指定 g4dn.xlarge
  • ImageId: 指定 AWS 提供的 Deep Learning AMI GPU PyTorch 1.13.1 (Ubuntu 20.04) 20230322 ,直接幫我們安裝好所需的 GPU 驅動。AWS 會不斷更新 image,屆時大家安裝的版本可能與本文不同,可以到 AMI 目錄中搜尋關鍵字 deep 取得最新版 image id
不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設
截圖時 AMI 版本又更新了,建議部屬前可以先來查一下最新 AMI image id
  • BlockDeviceMappings:設定 50 GB 的 gp3 SSD drive,如果想要更大的硬碟空間可以自行修改
  • KeyName:給定先前設定的 EC2key
  • SecurityGroups:給定先前設定的 SecurityGroup
  • UserData:此區可以給定 EC2 第一次開機時跑的 init script,我們透過他自動化安裝 Stable Diffusion WebUI 基本環境,我們下一個區塊一起細看
  EC2Instance:
    Type: AWS::EC2::Instance
    Properties:
      InstanceType: g4dn.xlarge
      ImageId: ami-0096760a13eddf1bb
      BlockDeviceMappings:
        - DeviceName: /dev/sda1
          Ebs:
            VolumeSize: 50 # 預設為50GB,可依需求修改
            VolumeType: gp3
      "Tags" : [
            {"Key" : "Name", "Value" : "sd-webui"},
        ]
      KeyName: !Ref EC2Key
      SecurityGroups:
        - Ref: SecurityGroup
      UserData:
        'Fn::Base64': |
            #!/bin/bash
            sudo apt-get update
            sudo apt-get upgrade -y...

User Data

以下是 UserData 帶入的 init script,其中做了幾件事:

  1. 先 update 系統,並安裝必要套件
  2. 安裝 Git LFS (Git Large File Storage)
    • 因為 Hugging Face 上的模型檔案都非常巨大,若直接 git 板控會有效能問題
    • 實作上會透過 Git LFS 外掛,將大型檔案上傳至其他地方如 S3,並在 git 中以 text 檔案作為指標 的方式實現版控
    • clone 時 Git LFS 會讀取 text 檔案中指向的實際儲存位置,並到對應路徑下載大檔。如果沒有安裝 Git LFS,clone 下來只會看到 text 檔案指標,而不會自動下載實際的模型檔案。
  3. 因 Stable Diffusion WebUI 指定使用 Python 3.10.6,目前 AWS 提供的系統映像是 Python 3.8 無法使用,所以 安裝 pyenv 由他來幫我們安裝指定的 Python 比較方便
  4. pyenv 安裝 Python 的方式是下載源碼後編譯安裝,因此需要事先安裝依賴套件
  5. clone Stable Diffusion WebUI repository
  6. clone 常用的基本模型,目前是預設 ChilloutMix 和旗下的 LoRA。此部分可依個人喜好調整
  7. 將下載好的模型放到 WebUI 中對應資料夾,並修復權限。因為 EC2 使用 root 來跑 init script,過程中建立的檔案都歸屬於 root,之後若用 ubuntu 跑會有權限問題。
     UserData:
        'Fn::Base64': |
            # 1.
            #!/bin/bash
            sudo apt-get update
            sudo apt-get upgrade -y
            sudo apt install wget git python3 python3-venv build-essential net-tools -y
	          
            # 2.
            # install git-lfs
            curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
            sudo apt-get install git-lfs
            sudo -u ubuntu git lfs install --skip-smudge
          
					  # 3. 
            # install pyenv
            sudo -u ubuntu git clone https://github.com/pyenv/pyenv.git /home/ubuntu/.pyenv
            sudo chown -R ubuntu:ubuntu /home/ubuntu/.pyenv
            echo -e 'if shopt -q login_shell; then' \
                  '\n  export PYENV_ROOT="$HOME/.pyenv"' \
                  '\n  export PATH="$PYENV_ROOT/bin:$PATH"' \
                  '\n eval "$(pyenv init --path)"' \
                  '\nfi' >> /home/ubuntu/.bashrc
            echo -e 'if [ -z "$BASH_VERSION" ]; then'\
                  '\n  export PYENV_ROOT="$HOME/.pyenv"'\
                  '\n  export PATH="$PYENV_ROOT/bin:$PATH"'\
                  '\n  eval "$(pyenv init --path)"'\
                  '\nfi' >> /home/ubuntu/.profile
            echo 'if command -v pyenv >/dev/null; then eval "$(pyenv init -)"; fi' >> /home/ubuntu/.bashrc
	          
					  # 4. 
            # install dependency of installing python 3.10.6 by pyenv
            sudo apt-get install -y make build-essential libssl-dev zlib1g-dev \
                libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncursesw5-dev \
                xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev -y
          
            # 5.
            # clone sd webui
            cd /home/ubuntu
            git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
          
            # 6.
            # clone model and lora
            git clone https://huggingface.co/AnonPerson/ChilloutMix
            mv ChilloutMix/ChilloutMix-ni-fp16.safetensors stable-diffusion-webui/models/Stable-diffusion
            mkdir stable-diffusion-webui/models/Lora
            mv ChilloutMix/*.safetensors stable-diffusion-webui/models/Lora
            rm -Rf ChilloutMix

            # 7.
            sudo chown -R ubuntu:ubuntu stable-diffusion-webui/

Elastic IP

最後建立 Elasic IP,讓 EC2 在關機後重開 IP 也能固定。此步驟為可選,若不需要可以直接拔掉。

  EIP:
    Type: AWS::EC2::EIP
  EIPAssociation:
    Type: AWS::EC2::EIPAssociation
    Properties:
      AllocationId: !GetAtt EIP.AllocationId
      InstanceId: !Ref EC2Instance

CloudFormation 幫我開機器吧!

萬事俱備,現在立即前往 CloudFormation,點擊 建立堆疊

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

選擇 範本已就緒 、上傳範本檔案 ,選擇我們剛寫好的 yaml 檔,按下一步

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

取一個好記得堆疊名稱,此例為 sd-webui

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

設定一些建立的細節,這邊都使用預設值即可,點下一步

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

最後會提供所有設定參數給你檢閱,我們直接按提交

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

接下來 CloudFormation 就會幫你做事了,站起來動一動休息一下吧!

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

什麼!建立失敗?

如果你也照著步驟作的話,肯定會遇到如畫面下方的錯誤

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

因為 g 系列的機器比一般 t 系列來的貴,AWS 擔心使用者在不知情的情況下誤開,導致結算帳單爆增引起爭議,預設情況下會限制開啟有 GPU 的 EC2。

沒關係,依照訊息提示,我們可以到 https://aws.amazon.com/contact-us/ec2-request 申請增加 limit。

進入頁面後,Limit type 選擇 EC2 Instances

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

往下滾可以輸入你想要增加的區域、機型和數量。此例我們選擇便宜的 US West Oregon,Instance Type 選擇 All G instances 。

接下來 New limit value 我犯了一個錯誤,從圖中看到我填入 8,因為我被前面的錯誤訊息影響,讓我以為限制的是 vCPU 量,申請時就填入想要的數值。但其實這邊要填入的是 能開啟的 EC2 instance 數量,所以當時送交後立刻被 AWS 打槍,質疑真的要開這麼多台嗎?

因此這邊建議填入 1 即可,增加一次審核通過的機率。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

往下拉要填入 Case description ,這邊建議越詳細越好,像我第一次只簡單寫一句話就被打槍,建議可以這樣寫

As a deep learning practitioner, I need to increase the service quota of EC2 instances with GPUs in order to train larger and more complex models on AWS.

或是請 ChatGPT 幫你唬爛幾句XD

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

送交後一般來說馬上會有回應表示收到,並表示需要等一到兩天讓他們跑內部審核作業。如果過程中 AWS 客服遲遲未回應,可以這樣催他一下

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

基本上他就會立刻幫你了XD

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

到 Service Quotas 確認的確數值有調升(他還是給了我 8 台的上限)

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

回來繼續開機器

與客服折騰了幾天,終於可以回來繼續開機器。我們重新提交 template 給 CloudFormation,這次總算順利建立完所有資源!

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

回到 EC2 Dashboard,查詢機器的 ip

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

ssh 連入後,切換到 Stable Diffusion WebUI folder,用 pyenv 安裝 Python 3.10.6 ,再鍵入 ./webui.sh 自動安裝 virtualenv 並啟動。其中帶入 --listen 參數是讓 WebUI 可以從外部連入。

$ cd stable-diffusion-webui/
$ pyenv install 3.10.6
$ pyenv global 3.10.6
$ ./webui.sh --listen

回到瀏覽器,鍵入 http://<your_ec2_ip>:7860 就能看到 Stable Diffusion WebUI 囉!

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

進 shell 下 nvidia-smi 驗明正身 GPU 一下吧!的確是 Tesla T4,15G 的 VRAM,在機房爽爽吹冷氣溫度才 27 度

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

如果使用完畢,記得到 EC2 dashboard 把他關掉,這樣才不會繼續算錢!

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

如何刪除所有資源

如果某天不想使用,需要清掉整個系統,請到 CloudFormation 頁面,選擇之前建立的堆疊,右上角點刪除

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

刪除堆疊給他按下去

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

接下來只需坐等 CloudFormation 刪除完畢囉!

實際效能如何?

在 ChilloutMix-ni-fp16 DPM++ SDE Karras 下 1024 x 768 大約快 2s 一張,784 x 512 大約 1s 一張。實際數值和每個人使用的模型與算法還是有差,以下僅供參考

不用顯卡也能玩 Stable Diffusion – 使用 AWS 架設

GPU 看來在機房都有冷氣吹,狂算圖溫度也才 40 出頭,真是舒服~

不用顯卡也能玩 Stable Diffusion – 使用 AWS 架設

其他隱藏的費用

除了 EC2 g4en.xlarge 本身開機時每小時 0.526 美金的費用之外,還有一些相對小的費用在這也公開細節讓大家知道

EBS 費用

EBS 也就是我們機器的硬碟,只要建立了就會算錢。EBS 每個月 0.08 鎂 per GB,因此如果開 50 GB 的話一個月是 4 鎂。若用不到這麼大的空間,可以先開小,等有需要時再調大即可。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

此外 EBS 還會算 IOPS 費用,不過相對容量計費,這部份就小非常多。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

詳細費用對照表請參考官網

Elastic IP 費用

如果 Elastic IP 沒有 attach,或是 attach 的機器是關機的狀態下 AWS 才會額外收費,費用是每小時 0.005 鎂。因為 IP 是稀缺資源,AWS 不希望大家佔用不放。若要省錢的話,可以把 template 中的 Elastic IP 設定拔掉,改用 No-IP 的方式動態指定 domain 來解決 IP 關機後重開會變的問題。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

網路資料傳輸費用

AWS 每個月有免費 100GB 的傳出額度,超過後才會開始收費,傳入則是免費。一般來說只做算圖要超過還蠻難的,這部份可以視為不用錢。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

小結

以上就是用 AWS CloudFormation 模版自動化架設雲端個人 Stable Diffusion WebUI 伺服器的過程,若是手邊沒有夠力顯卡,又想有掌控性的朋友們可以試試看,順便學習一下 AWS!希望能幫助到大家!

延伸閱讀

免費用 Google Colab 玩 Stable Diffusion WebUI
如何在 M1 Macbook 上跑 Stable Diffusion?
最詳細的 Stable diffusion WebUI 操作教學 – txt2img
LoRA 是什麼?如何使用?| Stable Diffusion

參考資料

Create Your Own Stable Diffusion UI on AWS in Minutes

Continue reading
Share:
Deep Learning•Stable Diffusion

Stable Diffusion 的 LoRA 是什麼?如何使用?

2023-03-17 by J No Comments

LoRA 是什麼?為何在 Stable Diffusion 社群討論中常常出現?Prompt 有時看到很奇怪的文字是什麼?本文一次解答上述問題,並用白話文簡介 LoRA 原理,讓大家在操作時更有感覺!

LoRA 是什麼?

在 最詳細的 Stable diffusion WebUI 操作教學 – txt2img | Part 1 中提到,所有算圖的第一步是選擇模型(model,或者說 checkpoint)。

雖然每個 checkpoint 都是 Stable Diffusion model,但因為透過不同圖片訓練,神經元權重不同,因此有各自的風格(簡單想像,大家都是人類,但因為學習、經驗等不同,因此大家都能展現出獨特的自己)。

此時會發現幾個問題:

  • checkpoint 檔案非常大,動輒 2 ~ 7 GB 不等,若需要多種風格,將佔用大量硬碟空間
  • 每個 checkpoint 不能在算圖操作時 直接疊加 ,需先透過 Checkpoint Merger 作混合,產生出新的 checkpoint 才能使用
  • 若要 fine tune model 訓練新的風格,因模型過大,需大量硬體資源才能辦到

為了解決 fine-tuning large-language models 的問題, Microsoft researchers 提出 LoRA: Low-Rank Adaption of Large Language Models 方法。

簡單說明重點:

  • LoRA 透過 inject 的方式,在大型語言模型中,每個 transformer block 前插入一層 trainable layers (rank-decomposition matrices)
  • fine tune 訓練時,固定 model 所有神經元權重,只訓練 inject trainable layers 的權重,因此訓練參數量可以大幅下降
  • 權重參數下降代表檔案大小也變小,因此 LoRA 只有幾百 MB(通常是 151 MB)

若以上太學術看不懂沒關係,可以簡單把 LoRA 當成風格濾鏡來理解。在 Prompt 中加入 LoRA 引用,即能大幅改變算圖的結果,甚至也能同時套用多個 LoRA 來取得混合風格。使用上比單純更換 model 或作 checkpoint merge 更有彈性且多變。

延伸閱讀:Using LoRA for Efficient Stable Diffusion Fine-Tuning

去哪裡下載 LoRA?

在 如何在 M1 Macbook 上跑 Stable Diffusion? 文末有推薦各種風格的 LoRA,或者直接上 Civitai 下載網友分享的 LoRA,還能參考大家的 Prompt

LoRA 是什麼?如何使用?| Stable Diffusion

延伸閱讀:最詳細的 Stable diffusion WebUI 操作教學 – txt2img

如何安裝 LoRA 到 Stable Diffusion WebUI?

將下載好的 LoRA 檔案放入 stable-diffusion-webui/models/Lora 資料夾中即可。

LoRA 是什麼?如何使用?| Stable Diffusion

回到 WebUI,點一下 Refresh 就能看到新增的 LoRA

LoRA 是什麼?如何使用?| Stable Diffusion

延伸閱讀:如何在 M1 Macbook 上跑 Stable Diffusion?

如何使用 LoRA

點想要套用的 LoRA,WebUI 會自動把 LoRA 的名稱加入 Prompt 中。如果熟悉名稱也能直接鍵入節省時間。

LoRA 是什麼?如何使用?| Stable Diffusion

LoRA 名稱冒號旁邊的數字是權重,可以想像成套用的比例,數字越大效果越明顯,反之則越弱。

LoRA 是什麼?如何使用?| Stable Diffusion

套用 LoRA 的效果

以下我們就來看看都是使用基礎模型 ChilloutMix-ni 但套用不同 LoRA 算圖的結果

套用 Korean Doll Likeness

LoRA 是什麼?如何使用?| Stable Diffusion
LoRA 是什麼?如何使用?| Stable Diffusion

套用 Japanese Doll Likeness

LoRA 是什麼?如何使用?| Stable Diffusion
LoRA 是什麼?如何使用?| Stable Diffusion

套用 hanfu

LoRA 是什麼?如何使用?| Stable Diffusion
LoRA 是什麼?如何使用?| Stable Diffusion

套用 墨心 MoXin

LoRA 是什麼?如何使用?| Stable Diffusion
LoRA 是什麼?如何使用?| Stable Diffusion

同時套用兩個 LoRA

既然有特殊國籍的 LoRA (如 Korean Doll Likeness), 能夠混合兩種 LoRA 做出混血妹嗎?可以的!只需調整兩者的權重比例即可。

使用 Korean Doll Likeness + Russian Doll Likeness 作為範例,將比例配置做成對照圖如下:

LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.3, r: 0.3
LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.3, r: 0.5
LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.3, r: 0.7
LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.5, r: 0.3
LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.5, r: 0.5
LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.5, r: 0.7
LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.7, r: 0.3
LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.7, r: 0.5
LoRA 是什麼?如何使用?| Stable Diffusion
k: 0.7, r: 0.7

能發現

  • 當 Korean Doll Likeness 比例相對上升時,五官會變得比較偏東方人,反之五官輪廓則變深
  • 除了相貌外,衣服、背景也會有所改變

因此可以得知,LoRA 因訓練圖片來源偏差性,同樣的 Prompt ,會算出截然不同的結果。

另外也觀察到,當兩個 LoRA 權重都是 0.7 時,畫質發生衰減,因此權重也不能無限往上拉。若要調混合比例,可以透過調整 LoRA 權重比例達成,不一定要把值拉到很大。

以上就是 LoRA 的基本介紹和使用範例,大家可以試試看!

延伸閱讀

如何用 Stable Diffusion 產生高解析度的圖?
最詳細的 Stable diffusion WebUI 操作教學 – txt2img
如何在 M1 Macbook 上跑 Stable Diffusion?
免費用 Google Colab 玩 Stable Diffusion WebUI
不用顯卡也能玩 Stable Diffusion WebUI – 使用 AWS 架設
如何安裝 CUDA、cuDNN 到 Ubuntu 20.04?

Continue reading
Share:
Deep Learning•Stable Diffusion

最詳細的 Stable diffusion WebUI 操作教學 – txt2img

2023-03-14 by J No Comments

本文帶領大家學習如何調整 Stable Diffusion WebUI 上各種參數。我們以 txt2img 為例,帶大家認識基本設定、Sampling method 或 CFG scale 等各種參數調教,以及參數間彼此的影響,讓大家能夠初步上手,熟悉 AI 算圖!

尚未安裝 Stable Diffusion WebUI 的夥伴可以參考上一篇 如何在 M1 Macbook 上跑 Stable Diffusion?,本篇直接進入主題,說明並討論 WebUI 各項參數。

Stable Diffusion Checkpoint

下拉選單選擇基本算圖模型。當新增 model 時可點按旁邊的 refresh 按紐,讓選單新增選項。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

如何下載以及安裝、模型推薦請參考上一篇 如何在 M1 Macbook 上跑 Stable Diffusion? 文末。

Prompt

輸入關鍵字區域,讓 Stable Diffusion 算出你想像中的畫面。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

關鍵字下法與模型訓練時使用的關鍵字有關,不同模型所用的 prompt 可能大不相同。有些關鍵字可能模型並不認得,導致結果不如預期。建議可以多多參考 Civitai 各種模型的專頁,從上面擷取範例來使用並作變化。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Civitai 分享的圖片,大部分會包含 Stable Diffusion 算圖所有參數設置

除了直接下關鍵字,也能使用特殊符號,如小括號 () 來對該關鍵字調整權重,或者中括號 [] 在過程中變換權重。詳細玩法可參考這篇文章的教學。

這邊簡單提示關鍵字方向:

  • 物:畫面中想要呈現的東西,如人物、動物、物品等等。除了告訴 Stable Diffusion 有哪些物品,亦可多加該物的形容詞,如人的穿著、動作、年齡等等描述
  • 地:物體所在地,亦可想像成畫面的背景,讓 Stable Diffusion 知道背景要畫什麼(不然他會自由發揮)
  • 風格:告訴 Stable Diffusion 要以什麼風格呈現圖片,某個畫家?或是照片?需注意的是 不一定 每個模型都有對應風格關鍵詞,有時候直接更換 model 或 LoRA 可能會比較快達成目的
  • 角度:想要「鏡頭」從哪裡拍攝?或是人物視線方向

一開始算出來的圖或許不盡人意,但透過這些原則方向下去組合 Prompt,逐漸迭代出想像中的畫面,也算是一種創作過程 XD。

需注意的是,prompt 會受到資料偏差影響。如 這篇文 中提到,給定藍眼睛和棕色眼睛關鍵詞,畫出來的女性人種也會不同。這是因為資料來源中,藍眼睛大多是歐洲人,棕色眼睛通常是亞洲人導致,因此算圖結果被連帶影響。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
引用自 Stable Diffusion prompt: a definitive guide

Negative Prompt

輸入的字會讓 Stable Diffusion 算圖時, 避免 產生該關鍵字的影像或結果。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

通常大家會下 worst quality 、 grayscale 、 low quality 等等關鍵字,增加算出來的圖像品質。或是一些不想出現的元素,如 fused fingers 、 bad anatomy 、 missing fingers 等等。

Civitai 各模型專頁也有列出 negative prompt,仔細看大部分就是那幾個在換,可以參考貼上。

Sampling method

此參數牽涉到模型設計的數學原理,對使用者來說只要大致了解即可。可以簡單想像他是模型計算中,用不同的方法去逼近答案,因此會影響算出的結果和品質。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

甚至不同 Sampling method 所需的算圖時間也不一樣。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

一般我常用的是 DPM++ 2M Karras、DPM++ SDE Karras 和 Euler。主要是這幾組算法算出來的圖品質比較好,以及大部分模型 demo 圖也是用這幾組參數。大家可以自己多加探索各種選項。

Sampling steps

Stable Diffusion 的原理,可以想成 AI 將一張充滿雜訊的圖(想像古早類比電視沒有訊號的畫面),慢慢 每步 去掉部分雜訊來 畫圖 。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

通常來說, 步數 與 畫質 和 細節 有正相關。注意!只是正相關,但不代表步數超高畫質就好,通常落在 15 ~ 30 步區間,步數越大對畫質影響越少,該如何選擇與使用的 Model 和 Sampling method 有關。

步數愈多,所需時間愈多,而且不同的 Sampling steps 可能算出不同的圖(如角色姿勢差異,後面章節會討論)。

實務上需要多少步數,除了上述原則,蠻多在於經驗和感覺,可以多參考 Civitai 網友分享的參數。

以下是 Sampling steps = 10、15、20、25 的圖,其中 10 的圖有明顯缺陷,15 開始趨向正常,20、25 基本上只有細節差異,畫質肉眼幾乎分不出來。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling steps = 10
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling steps = 15
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling steps = 20
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling steps = 25

Width 和 Height

這個最簡單,就如字面上涵義,決定算圖結果的長寬。看似簡單,卻會有其他影響或限制。如:

  • 因模型設計的限制,最低長寬需要設定 512 x 512。通常將其中一邊改成 768 變成 2:3 的圖片
  • 同樣也是模型的限制,若長寬給定太大,或長寬比例懸殊,有可能會出現多頭怪。若需要高清圖片,此時可先將大小調至適當算圖範圍內,再用之後介紹的 Hires. fix 解決。或算圖後用 Extra 頁面裡的 Upscalling 功能放大圖片
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
引用自 reddit

延伸閱讀:如何用 Stable Diffusion 產生高解析度的圖?

Batch size 和 Batch count

兩個參數名稱有點相似,他們的差異是:

  • Batch size 調整 一次計算過程中,需要同時產出幾張圖片 (一次計算可以視為一個 Batch)
  • Batch count 調整 按下算圖後,總共要跑幾次計算 (幾次 Batch)

簡單想像,當 Batch size 越大,GPU 同時算的圖愈多,越吃記憶體,但可以同時算出好幾張不同的結果。如果你的顯卡記憶體夠,可以考慮拉高 Batch count,增加每次算圖結果的選擇性,又不浪費時間。假設不夠,只能以時間換取空間,拉高 Batch size,讓他花時間重複跑,多生幾張給你選。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

CFG Scale

這個參數是在設定 AI 要多聽你的話(Prompt),通常範圍如下:

  • 1:根本不鳥你,AI 自己亂畫
  • 3:AI 會加入一些自己的想法
  • 7:平衡 AI 的自主性和你給定的 Prompt
  • 15:AI 放棄治療,開始聽你的話
  • 30:完全照你說的畫

實測如下,從左自右分別是 CFG Scale = 3、7、11。若以 Prompt

<lora:Moxin_10:0.7>, masterpiece, (1girl), little girl, smile, Look at the camera Through mirror reflection, black hair, big eyes, ((medium hair)), t shirt, Sitting in front of the mirror,  soft light, (illustration:1.1),(best quality), 8k wallpaper, highly detailed, official art

最左邊 AI 算圖時自動加了奇怪的人偶在右上角,girl 也變成兩位。中間 7 畫面比較接近 Prompt,但他並不是透過鏡子看著鏡頭。11 算最接近 Prompt 要求,但畫質就沒有 CFG Sacle = 3 和 7 好。也就是說,CFG Scale 過高會讓畫質衰減,產生高對比與過飽和的影像。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
CFG Sacle = 3
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
CFG Sacle = 7
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
CFG Sacle = 11

另外,有些 LoRA (如 Moxin),不同的 CFG Scale 還會影響 風格 。如下分別是 CFG Scale 為 2、4、7、10,會發現隨著 CFG Scale 數值上升,風格從隨興變得更為工筆,對比與飽和度也逐漸上升。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
CFG Sacle = 2
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
CFG Sacle = 4
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
CFG Sacle = 7
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
CFG Sacle = 10

因此若要讓算圖結果接近你想要的畫面,建議以調整 Prompt 為主,CFG Scale 為輔。多換幾個關鍵字,或多下幾個更明確的關鍵字來達成目標。CFG Scale 則保持在 7 附近的數值(不要極端大或過小),畫面品質比較好。

Seed

學術角度來說,Seed 是在 latent space 中產生初始 random tansor 用的值。簡單直觀的想像,可以把 Seed 看成是 構圖 的來源。同樣的 Prompt、CFG Scale、Width、Height 等等參數,只要改變 Seed,就能產生完全不一樣的圖。

以下三張都是不同的 Seed,但其他參數固定所算出的圖

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Seed = 3003220920
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Seed = 2307594691
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Seed = 86896456

Stable Diffusion WebUI 預設 Seed = -1,意思是每次算圖都自動產生不同的 Seed 值,方便使用者用同樣的 Prompt 產生不同構圖以供選擇。

最詳細的 Stable diffusion WebUI 操作教學 – txt2img

假設今天算出一張圖不錯,想要固定構圖,並調整其他參數時,可以點 Seed 輸入框旁邊的「回收」按紐,WebUI 會填入此次 Seed value 並固定,此時畫面就能維持 相似 的構圖。

最詳細的 Stable diffusion WebUI 操作教學 – txt2img
最詳細的 Stable diffusion WebUI 操作教學 – txt2img
點按重複使用後的 Seed 值,與上一次算圖用的一樣

註:固定 Seed 只能說 增加構圖相似性,因為算圖過程中有隨機性,畫面細節可能每次略有不同。外加動其他參數也可能影響構圖,使用時需多試幾次找到操控的感覺

如下圖,固定所有參數,包含 Seed,算出的圖片還是有微小的不同

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Seed = 3003220920
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Seed = 3003220920

固定所有參數,包含 Seed, 只改變 Sampling steps , 從左至右分別是 20、25、30 步,發現整體畫面是大致相似的,但細節如臉部表情和衣著、姿勢則是有變化。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 20
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 25
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 30

延伸閱讀:兩階段解決 Stable Diffusion 臉崩問題

Restore faces

有時算圖結果人物臉部五官很詭異,此時可勾選這個選項嘗試解決。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
引用自 Stable Diffusion prompt: a definitive guide

Restore faces 有細部設定,需切換到 Settings tab 裡,點選左邊 Face restoration 選項,於畫面中間選擇 CodeFormer ,下方拉 Bar 可以調整 restore 的強度。

需注意的是, 0 表示最強 restore 效果 ,1 反而是最弱的。預設 0.5,可以依需求調整。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

更多 Sampling steps 和 Seed 的討論

如前所述,通則上來說

  • Sampling steps:控制算圖的步數,與畫質正相關外,還會影響構圖或細節
  • Seed:控制 latent space 中產生初始 random tansor 用的值,與構圖有關

一開始以為 Sampling steps 改變構圖的過程,是在算圖過程中 累積步數時逐漸改變 的。但經過幾次實驗後發現並不是這樣!而是在初期就影響了整體畫面!

也就是說,在調整參數時,除了 Seed 能控制構圖外,Sampling steps 在某些 Sampling method 和模型的搭配下,也可能大幅的影響畫面。

如 ChilloutMix model + Moxin LoRA + DPM++ SDE Karras,設定 Sampling step = 10、15 、20、25 算出的圖,基本上 10 、 15 和 20、25 比是大不相同。20 和 25 大方向還算是相似

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 10
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 15
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 20
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 25

若改用其他參數都不變,改用 Sampling method Euler ,一樣 10、 15、20、25 ,畫面幾乎一致,只有微小細節不同

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 10
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 15
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 20
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 25

若改 ChilloutMix model + Korean Doll Likeness LoRA + DPM++ SDE Karras,Sampling step = 15、20、25、30 相對前例使用 Moxin 來說基本上還算接近,但背景、衣著、角度還是有些不同

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 15
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 20
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 25
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 30

若改用其他參數都不變,改用 Sampling method Euler ,一樣 15、20、25、30 ,畫面幾乎一致,只有微小細節不同

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 15
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 20
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 25
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Sampling step = 30

這行為會遇到什麼問題呢?比如說想透過調整 Sampling steps 取得不同的畫面品質或細節,該怎麼辦?

遇到這種情況,我想到的 workaround 是去 Stable Diffusion WebUI 的 Settings Tab 裡,在 Live previews 子 Menu 中,將

  • Show new live preview image every N sampling steps 調小,比如說 2
  • Image creation progress preview mode 設成 Full
最詳細的 Stable diffusion WebUI 操作教學 - txt2img

這樣每算 2 步,他就會把目前的運算結果以 完整的輸出算法 輸出一張圖到 WebUI 上,此時右鍵下載即可。

但這方法也有極限,只能擷取 Sampling steps 比第一次小的圖 ,若要增加 Sampling steps 就無法,只能希望算出來的圖畫面不要差太多。

Extra Seed Option

在上一篇 最詳細的 Stable diffusion WebUI 操作教學 – txt2img | Part 1 我們解釋過 Seed 的設定與原理,但他還有隱藏設定!

勾選旁邊的 Extra 後,下方會長出 Variation seed 、 Variation strength 、 Resize seed from 等選項,以下我們一一討論。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

Variation Seed

首先來看 Variation seed 和 Variation strength 。假設一個情境,首先固定 Prompt 和其他參數,但改變 Seed 生了兩張圖如下:

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Seed = 2986424963
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Seed = 442495300

我覺得這兩張圖各有優點,想要把兩張合併成一張,此可以使用 Variation seed 功能!我們再看一次設定介面

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

上左圖的 Seed 是 2986424963 ,因此 Seed 欄位保持不變,在 Variation seed 填入上右圖的 Seed 442495300。

接下來告訴他混合比例,透過 Variation strength 拉霸,越往右拉,value 越大,算出的圖會越像填入 Variation seed 的圖(此例為上右圖),反之亦然。

以下分別是 Variation seed = 0、0.33、0.66、1 的算圖結果,能夠明顯觀察出臉部、姿勢、服裝、背景等等漸變過程。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Variation strength = 0
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Variation strength = 0.33
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Variation strength = 0.66
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
Variation strength = 1

Resize seed from

Stable diffusion 算圖時,height 和 width 除了影響最終圖片大小外,也會影響圖片的內容!

實測如下,原圖是 512 x 768,分別將其高改成 728 和 856,728 右手變成舉起來,856 除了衣服改變,還多生了一隻手!

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
512 x 768
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
512 x 728
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
512 x 856

難道一開始沒設定好寬高就沒救了嗎?此時 Resize seed from 即可派上用場!

我們回到剛剛討論 Variation seed 的區塊,此時先把 Variation strength 調為零,關閉融合兩張圖片的功能。

此時,我們原圖是 512 x 784,想要改成 512 x 728:

  • 先將 Resize seed form width 和 Resize seed from height 改成原圖數值 512 和 784
  • 再回頭把 Width 和 Height 調成新圖大小 512 和 728
最詳細的 Stable diffusion WebUI 操作教學 - txt2img

算圖結果如以下,第一張是原圖,第二張高 728,第三張高 856。雖然和原圖還是有些許差異,但相對於直接修改算圖高度,不使用 Resize seed from 功能的結果相比更為接近原圖。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
512 x 768
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
512 x 728
最詳細的 Stable diffusion WebUI 操作教學 - txt2img
512 x 856

此功能看似美好,但也可能算出失敗的圖。我嘗試把 width 改大成 600,height 保持 784,結果算圖結果人好像被壓縮了一樣XD。實作的時候可能要多嘗試幾種比例來找到適合的結果,或是之後再進 PS 裁切。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img
resize 成 600 x 784 時人像發生擠壓

延伸閱讀:LoRA 是什麼?如何使用?| Stable Diffusion

Tiling

此功能讓算圖結果可以無限重複無縫堆疊。常用情境可能是產生花紋的基本元素,或是 2D 遊戲的佈景單元圖。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

將 Tiling 勾選起來,算出的結果如下:

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

因 Tiling 功能,我們可以將該圖自己用 PS 重複堆疊成一張更大的圖而沒有破綻

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

Hires. fix

此功能勾選後,Stable Diffusion 依照寬高設定結果算圖後,再透過 Upscaler 選定的方法,將其解析度放大 Upscale by 設定的倍率。

以下圖為例,原先設定為 512 x 784,開啟 Hires. fix ,選用 Latent 方法將解析度放大 1.5 倍成 1049 x 1607。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

可以透過

  • Hires steps 設定算圖步數(類似 Sampling steps 的概念)
  • Denoising strength 設定和原圖的相似性,數值 越高, 越不像原圖 ,但過低,如小於 0.5,圖片可能開始變得模糊

由於我的 M1 筆電記憶體限制 (32 GB),算超過 1000 以上的圖就會爆記憶體,這邊無法提供算圖結果參考,引用 AUTOMATIC1111 GUI: A Beginner’s Guide 文中的範例:

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

由於 Hires. fix 放大的原理類似 image to image :

  • 先將原圖轉成 latent space (想像圖片被 Stable Diffusion 編碼成一串我們看不懂的數字)
  • 再透過多次算圖步驟生出大圖(如 text to image 算圖步驟)

不是透過 PS 補差點的方法,因此放大的結果可能與原圖有差異。

觀察上圖,能發現在 Denoising strength 為 0.4 時與原圖最相近,但因為數值設定過小,已經發生模糊現象。0.9 與原圖差異最大,0.65 則是畫圖與差異性的平衡。

好用小技巧

以上就是 txt2img tab 內所有常用可調參數的細節介紹。以下另外提供一些小技巧,讓迭代 Prompt 的過程更為輕鬆

自動儲存

Stable Diffusion WebUI 預設開啟自動儲存,就算過程中忘記將算圖結果另存下載,WebUI 也會自動幫我們把每張圖存到設定的位置。

切換到 Settings tab,點左邊 Saving images/grids,確認 Always save all generated images 有勾選。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

再點左邊 Paths for saving ,設定自動儲存圖片的位置。預設會存到 Stable Diffusion WebUI 原始碼根目錄下的 outputs 資料夾中。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

實際去資料夾中查看,可以發現 WebUI 會依照設定將不同算圖方式分資料夾存放,裡面還會再以日期作子資料夾歸類檔案,非常棒!

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

查看圖片 Prompt

如果之前某張算圖結果感覺不錯,想要繼續調整,但卻沒記下當時的 Prompt 和其他設定怎麼辦?

別擔心,Stable Diffusion WebUI 會自動把各項參數寫入 PNG Info 中,只需要切換到 PNG Info tab,將想查看的圖片拉進 Source 區塊,右邊就會出現各項詳細參數。也能直接點按下方快速鍵,將參數帶入 txt2img 或 img2img 等 tab,作更進一步的調整修改。

最詳細的 Stable diffusion WebUI 操作教學 - txt2img

以上就是 Stable Diffusion WebUI txt2img 的入門介紹,相信你已經有了整體概念,接下來只剩下多練習,就能掌握下魔法的技術了!

延伸閱讀

如何在 M1 Macbook 上跑 Stable Diffusion?
LoRA 是什麼?如何使用?| Stable Diffusion
如何用 Stable Diffusion 產生高解析度的圖?
不用顯卡也能玩 Stable Diffusion WebUI – 使用 AWS 架設
如何安裝 CUDA、cuDNN 到 Ubuntu 20.04
使用 Face Recognition 套件快速建立自己的人臉辨識系統!

Continue reading
Share:
Page 1 of 212»

About me

author j

J

雖然大學唸的是生物,但持著興趣與熱情自學,畢業後轉戰硬體工程師,與宅宅工程師們一起過著沒日沒夜的生活。之後憑著一股傻勁與朋友創業,再度轉戰軟體工程師,一手扛起前後端、雙平台 app 開發,過程中雖跌跌撞撞,卻也累計不少經驗。

可惜不是那 1% 的成功人士,於是加入其他成功人士的新創公司,專職開發後端。沒想到卻在採前人坑的過程中,拓寬了眼界,得到了深層的領悟。...more

Categories

  • Angular (5)
  • Arduino (5)
    • ESP32 (2)
    • Raspberry Pi Pico (3)
  • AWS (15)
  • Blockchain (11)
  • Deep Learning (16)
    • LLM (2)
    • Stable Diffusion (9)
  • DevOps (22)
  • Frontend (6)
  • Golang (1)
  • Kafka (2)
  • Python (13)
  • Raspberry Pi (32)
    • Banana Pi (3)
    • Jetson Nano (2)
    • Odroid HC4 (4)
    • Rock Pi (6)
  • RetroArch (2)
  • ROS (2)
  • Wordpress (10)
  • 健身 (1)
  • 創客計畫 (15)
    • AI 神經網路自走車 (8)
    • 智慧家居 (7)
  • 好物推薦 (1)
  • 旅行 (2)
    • 峇里島 (2)
  • 說人話的名詞解釋 (3)
  • 那些踩過的坑 (8)
  • 開發哲學 (3)
  • 閱讀筆記 (4)
  • 面試策略 (2)

© 2023 copyright KodingWork  All rights reserved