叩頂窩客 - KodingWork
  • Stable Diffusion
  • Blockchain
  • Arduino
    • ESP32
    • Raspberry Pi Pico
  • Raspberry Pi
    • Raspberry Pi
    • Odroid HC4
    • Banana Pi
  • 創客計畫
    • AI 神經網路自走車
    • 智慧家居
  • Python
  • AWS
  • 開發哲學
  • 關於作者 J
Stable Diffusion
Blockchain
Arduino
    ESP32
    Raspberry Pi Pico
Raspberry Pi
    Raspberry Pi
    Odroid HC4
    Banana Pi
創客計畫
    AI 神經網路自走車
    智慧家居
Python
AWS
開發哲學
關於作者 J
叩頂窩客 - KodingWork
  • Stable Diffusion
  • Blockchain
  • Arduino
    • ESP32
    • Raspberry Pi Pico
  • Raspberry Pi
    • Raspberry Pi
    • Odroid HC4
    • Banana Pi
  • 創客計畫
    • AI 神經網路自走車
    • 智慧家居
  • Python
  • AWS
  • 開發哲學
  • 關於作者 J
Deep Learning•Stable Diffusion

不用顯卡也能玩 Stable Diffusion – 使用 AWS 架設

2023-03-31 by J No Comments

想玩 Stable Diffusion,但電腦不夠力,又不想花錢買貴森森的顯卡怎麼辦?除了使用 Google Colab 外還有另一個選擇,就是到 AWS 開有 GPU 的 EC2!以下分享如何透過 AWS CloudFormation 一鍵架設,整體適合有初步雲端或 Linux 經驗的人,初學者照著步驟也能完成,但有些專有名詞可能需要額外研究了解。

CloudFormation 簡介

首先需要開一個 AWS 帳號,若不熟悉的朋友們請估狗一下或問 ChatGPT 就能立刻得到指引。

緊接著點左上角 Services 選單,點 CloudFormation 就能看到如下畫面:

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

CloudFormation 的原理簡單來說,是透過 yaml 檔的方式把 User 設計好的系統架構描述出來,列出需要建立的資源後把檔案餵給他,CloudFormation 就能全部自動幫你建立,不用自己手動去 Web Console 辛苦的開機器。

同時 CloudFormation 也能一鍵清除建立的資源,對於荷包非常友善。刪除後哪天若想再建立一模一樣的架構,丟給他一樣的 yaml 檔即可!就像現在流行的 copilot 可以盡情使喚他!

EC2 選擇與價格評比

一般 Web application 開的機器,不外乎 t 系列、c 系列等對於 CPU 和 Memory 不同的優化等級。但 Stable Diffusion 需要 GPU 作為加持,此時就要開 g 系列或 p 系列。

先上一張費用圖嚇嚇大家XD。好在 p 系列不是選擇範圍內,因為他的規格是頂級豪華型,費用非常昂貴,專門提供給類似 OpenAI 這種專業深度訓練公司使用。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

g 系列相對親民許多。這次我們選擇的是 g4 中搭載 N 卡最小機型 g4dn.xlarge,配有一顆 T4 GPU,4 核 XEON vCPU,以及 16G 記憶體,每小時只需要 0.526 鎂,約莫 15 元新台幣。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

這個價格比我們自己去組一台電腦划算嗎?看使用頻率和情境。T4 的效能差不多和 RTX 2070 接近,二手市場現在 (2023/3)大約是 5000 ~ 12000 之間。取個中間值 8500 元,假設只買顯卡的話,開 g4dn.xlarge 大約可用 566 小時(小時費用以 15 元粗算),且尚未算上電費開銷。若需要額外買 CPU 、 Memory、SSD、主板的話,相對可用小時數還能再提升。因此如果不是重度使用者,又想要比用 Google Colab 有更多的掌控性和儲存空間,其實還蠻適合試試看的。

延伸閱讀:免費用 Google Colab 玩 Stable Diffusion WebUI

準備 Template yaml 檔

整份檔案如下,亦可到 github 下載原始檔

AWSTemplateFormatVersion: '2010-09-09'
Description: A CloudFormation template to deploy the Stable Diffusion Web UI by Automatic1111

Resources:
  EC2Key:
    Type: AWS::EC2::KeyPair
    Properties:
      KeyName: sd-webui-key
      PublicKeyMaterial: ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDGBpILKHwJS...  # 修改為自己的公鑰
  SecurityGroup:
    Type: AWS::EC2::SecurityGroup
    Properties:
      GroupName: sd-webui-sg
      GroupDescription: Security group for StableDiffusion WebUI EC2 instance
      SecurityGroupIngress:
        - IpProtocol: tcp
          FromPort: 22
          ToPort: 22
          CidrIp: 0.0.0.0/0  # 建議修改為自己的IP
        - IpProtocol: tcp
          FromPort: 7860
          ToPort: 7860
          CidrIp: 0.0.0.0/0  # 建議修改為自己的IP
  EC2Instance:
    Type: AWS::EC2::Instance
    Properties:
      InstanceType: g4dn.xlarge
      ImageId: ami-0096760a13eddf1bb
      BlockDeviceMappings:
        - DeviceName: /dev/sda1
          Ebs:
            VolumeSize: 50 # 預設為 50GB,可依需求修改
            VolumeType: gp3
      "Tags" : [
            {"Key" : "Name", "Value" : "sd-webui"},
        ]
      KeyName: !Ref EC2Key
      SecurityGroups:
        - Ref: SecurityGroup
      UserData:
        'Fn::Base64': |
            #!/bin/bash
            sudo apt-get update
            sudo apt-get upgrade -y
            sudo apt install wget git python3 python3-venv build-essential net-tools -y
           
            # install git-lfs
            curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
            sudo apt-get install git-lfs
            sudo -u ubuntu git lfs install --skip-smudge
          
            # install pyenv
            sudo -u ubuntu git clone https://github.com/pyenv/pyenv.git /home/ubuntu/.pyenv
            sudo chown -R ubuntu:ubuntu /home/ubuntu/.pyenv
            echo -e 'if shopt -q login_shell; then' \
                  '\n  export PYENV_ROOT="$HOME/.pyenv"' \
                  '\n  export PATH="$PYENV_ROOT/bin:$PATH"' \
                  '\n eval "$(pyenv init --path)"' \
                  '\nfi' >> /home/ubuntu/.bashrc
            echo -e 'if [ -z "$BASH_VERSION" ]; then'\
                  '\n  export PYENV_ROOT="$HOME/.pyenv"'\
                  '\n  export PATH="$PYENV_ROOT/bin:$PATH"'\
                  '\n  eval "$(pyenv init --path)"'\
                  '\nfi' >> /home/ubuntu/.profile
            echo 'if command -v pyenv >/dev/null; then eval "$(pyenv init -)"; fi' >> /home/ubuntu/.bashrc
          
            # install dependency of installing python 3.10.6 by pyenv
            sudo apt-get install -y make build-essential libssl-dev zlib1g-dev \
                libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncursesw5-dev \
                xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev -y
          
            # clone sd webui
            cd /home/ubuntu
            git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
          
            # clone model and lora
            git clone https://huggingface.co/AnonPerson/ChilloutMix
            mv ChilloutMix/ChilloutMix-ni-fp16.safetensors stable-diffusion-webui/models/Stable-diffusion
            mkdir stable-diffusion-webui/models/Lora
            mv ChilloutMix/*.safetensors stable-diffusion-webui/models/Lora
            rm -Rf ChilloutMix
            sudo chown -R ubuntu:ubuntu stable-diffusion-webui/

  EIP:
    Type: AWS::EC2::EIP
  EIPAssociation:
    Type: AWS::EC2::EIPAssociation
    Properties:
      AllocationId: !GetAtt EIP.AllocationId
      InstanceId: !Ref EC2Instance

CloudFormation template 只是條列出各項需要他幫忙建立的 AWS 資源而已,本身並不複雜。以下分區塊講解每個部分內容。

EC2 Key

首先是 EC2Key ,此區是設定稍候 ssh 進入 EC2 所需的 public key,可以直接將你使用的公鑰貼入,CloudFormation 會幫你設定進 EC2 ,機器開好後就能直接連線,不用額外下載金鑰。

  EC2Key:
    Type: AWS::EC2::KeyPair
    Properties:
      KeyName: sd-webui-key
      PublicKeyMaterial: ssh-rsa AAAAB3NzaC1yc2EAAAADAQAB...  # 修改為自己的公鑰

接著是 SecurityGroup,也就是防火牆設定。因為 Stable Diffusion WebUI 並沒有作帳號權限控管,極度建議限制連入 IP 到 WebUI 的 7860 port,如 115.23.21.32/32。如果沒有固定 IP,建議可以到 Oracle Cloud 開一台終生免費的機器 架設 OpenVPN 作跳板使用。

Security Group

  SecurityGroup:
    Type: AWS::EC2::SecurityGroup
    Properties:
      GroupName: sd-webui-sg
      GroupDescription: Security group for StableDiffusion WebUI EC2 instance
      SecurityGroupIngress:
        - IpProtocol: tcp
          FromPort: 22
          ToPort: 22
          CidrIp: 0.0.0.0/0  # 建議修改為自己的IP
        - IpProtocol: tcp
          FromPort: 7860
          ToPort: 7860
          CidrIp: 0.0.0.0/0  # 建議修改為自己的IP

EC2 Instance

進入最重要的 EC2 環節:

  • InstanceType: 指定 g4dn.xlarge
  • ImageId: 指定 AWS 提供的 Deep Learning AMI GPU PyTorch 1.13.1 (Ubuntu 20.04) 20230322 ,直接幫我們安裝好所需的 GPU 驅動。AWS 會不斷更新 image,屆時大家安裝的版本可能與本文不同,可以到 AMI 目錄中搜尋關鍵字 deep 取得最新版 image id
不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設
截圖時 AMI 版本又更新了,建議部屬前可以先來查一下最新 AMI image id
  • BlockDeviceMappings:設定 50 GB 的 gp3 SSD drive,如果想要更大的硬碟空間可以自行修改
  • KeyName:給定先前設定的 EC2key
  • SecurityGroups:給定先前設定的 SecurityGroup
  • UserData:此區可以給定 EC2 第一次開機時跑的 init script,我們透過他自動化安裝 Stable Diffusion WebUI 基本環境,我們下一個區塊一起細看
  EC2Instance:
    Type: AWS::EC2::Instance
    Properties:
      InstanceType: g4dn.xlarge
      ImageId: ami-0096760a13eddf1bb
      BlockDeviceMappings:
        - DeviceName: /dev/sda1
          Ebs:
            VolumeSize: 50 # 預設為50GB,可依需求修改
            VolumeType: gp3
      "Tags" : [
            {"Key" : "Name", "Value" : "sd-webui"},
        ]
      KeyName: !Ref EC2Key
      SecurityGroups:
        - Ref: SecurityGroup
      UserData:
        'Fn::Base64': |
            #!/bin/bash
            sudo apt-get update
            sudo apt-get upgrade -y...

User Data

以下是 UserData 帶入的 init script,其中做了幾件事:

  1. 先 update 系統,並安裝必要套件
  2. 安裝 Git LFS (Git Large File Storage)
    • 因為 Hugging Face 上的模型檔案都非常巨大,若直接 git 板控會有效能問題
    • 實作上會透過 Git LFS 外掛,將大型檔案上傳至其他地方如 S3,並在 git 中以 text 檔案作為指標 的方式實現版控
    • clone 時 Git LFS 會讀取 text 檔案中指向的實際儲存位置,並到對應路徑下載大檔。如果沒有安裝 Git LFS,clone 下來只會看到 text 檔案指標,而不會自動下載實際的模型檔案。
  3. 因 Stable Diffusion WebUI 指定使用 Python 3.10.6,目前 AWS 提供的系統映像是 Python 3.8 無法使用,所以 安裝 pyenv 由他來幫我們安裝指定的 Python 比較方便
  4. pyenv 安裝 Python 的方式是下載源碼後編譯安裝,因此需要事先安裝依賴套件
  5. clone Stable Diffusion WebUI repository
  6. clone 常用的基本模型,目前是預設 ChilloutMix 和旗下的 LoRA。此部分可依個人喜好調整
  7. 將下載好的模型放到 WebUI 中對應資料夾,並修復權限。因為 EC2 使用 root 來跑 init script,過程中建立的檔案都歸屬於 root,之後若用 ubuntu 跑會有權限問題。
     UserData:
        'Fn::Base64': |
            # 1.
            #!/bin/bash
            sudo apt-get update
            sudo apt-get upgrade -y
            sudo apt install wget git python3 python3-venv build-essential net-tools -y
	          
            # 2.
            # install git-lfs
            curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
            sudo apt-get install git-lfs
            sudo -u ubuntu git lfs install --skip-smudge
          
					  # 3. 
            # install pyenv
            sudo -u ubuntu git clone https://github.com/pyenv/pyenv.git /home/ubuntu/.pyenv
            sudo chown -R ubuntu:ubuntu /home/ubuntu/.pyenv
            echo -e 'if shopt -q login_shell; then' \
                  '\n  export PYENV_ROOT="$HOME/.pyenv"' \
                  '\n  export PATH="$PYENV_ROOT/bin:$PATH"' \
                  '\n eval "$(pyenv init --path)"' \
                  '\nfi' >> /home/ubuntu/.bashrc
            echo -e 'if [ -z "$BASH_VERSION" ]; then'\
                  '\n  export PYENV_ROOT="$HOME/.pyenv"'\
                  '\n  export PATH="$PYENV_ROOT/bin:$PATH"'\
                  '\n  eval "$(pyenv init --path)"'\
                  '\nfi' >> /home/ubuntu/.profile
            echo 'if command -v pyenv >/dev/null; then eval "$(pyenv init -)"; fi' >> /home/ubuntu/.bashrc
	          
					  # 4. 
            # install dependency of installing python 3.10.6 by pyenv
            sudo apt-get install -y make build-essential libssl-dev zlib1g-dev \
                libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncursesw5-dev \
                xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev -y
          
            # 5.
            # clone sd webui
            cd /home/ubuntu
            git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
          
            # 6.
            # clone model and lora
            git clone https://huggingface.co/AnonPerson/ChilloutMix
            mv ChilloutMix/ChilloutMix-ni-fp16.safetensors stable-diffusion-webui/models/Stable-diffusion
            mkdir stable-diffusion-webui/models/Lora
            mv ChilloutMix/*.safetensors stable-diffusion-webui/models/Lora
            rm -Rf ChilloutMix

            # 7.
            sudo chown -R ubuntu:ubuntu stable-diffusion-webui/

Elastic IP

最後建立 Elasic IP,讓 EC2 在關機後重開 IP 也能固定。此步驟為可選,若不需要可以直接拔掉。

  EIP:
    Type: AWS::EC2::EIP
  EIPAssociation:
    Type: AWS::EC2::EIPAssociation
    Properties:
      AllocationId: !GetAtt EIP.AllocationId
      InstanceId: !Ref EC2Instance

CloudFormation 幫我開機器吧!

萬事俱備,現在立即前往 CloudFormation,點擊 建立堆疊

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

選擇 範本已就緒 、上傳範本檔案 ,選擇我們剛寫好的 yaml 檔,按下一步

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

取一個好記得堆疊名稱,此例為 sd-webui

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

設定一些建立的細節,這邊都使用預設值即可,點下一步

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

最後會提供所有設定參數給你檢閱,我們直接按提交

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

接下來 CloudFormation 就會幫你做事了,站起來動一動休息一下吧!

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

什麼!建立失敗?

如果你也照著步驟作的話,肯定會遇到如畫面下方的錯誤

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

因為 g 系列的機器比一般 t 系列來的貴,AWS 擔心使用者在不知情的情況下誤開,導致結算帳單爆增引起爭議,預設情況下會限制開啟有 GPU 的 EC2。

沒關係,依照訊息提示,我們可以到 https://aws.amazon.com/contact-us/ec2-request 申請增加 limit。

進入頁面後,Limit type 選擇 EC2 Instances

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

往下滾可以輸入你想要增加的區域、機型和數量。此例我們選擇便宜的 US West Oregon,Instance Type 選擇 All G instances 。

接下來 New limit value 我犯了一個錯誤,從圖中看到我填入 8,因為我被前面的錯誤訊息影響,讓我以為限制的是 vCPU 量,申請時就填入想要的數值。但其實這邊要填入的是 能開啟的 EC2 instance 數量,所以當時送交後立刻被 AWS 打槍,質疑真的要開這麼多台嗎?

因此這邊建議填入 1 即可,增加一次審核通過的機率。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

往下拉要填入 Case description ,這邊建議越詳細越好,像我第一次只簡單寫一句話就被打槍,建議可以這樣寫

As a deep learning practitioner, I need to increase the service quota of EC2 instances with GPUs in order to train larger and more complex models on AWS.

或是請 ChatGPT 幫你唬爛幾句XD

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

送交後一般來說馬上會有回應表示收到,並表示需要等一到兩天讓他們跑內部審核作業。如果過程中 AWS 客服遲遲未回應,可以這樣催他一下

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

基本上他就會立刻幫你了XD

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

到 Service Quotas 確認的確數值有調升(他還是給了我 8 台的上限)

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

回來繼續開機器

與客服折騰了幾天,終於可以回來繼續開機器。我們重新提交 template 給 CloudFormation,這次總算順利建立完所有資源!

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

回到 EC2 Dashboard,查詢機器的 ip

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

ssh 連入後,切換到 Stable Diffusion WebUI folder,用 pyenv 安裝 Python 3.10.6 ,再鍵入 ./webui.sh 自動安裝 virtualenv 並啟動。其中帶入 --listen 參數是讓 WebUI 可以從外部連入。

$ cd stable-diffusion-webui/
$ pyenv install 3.10.6
$ pyenv global 3.10.6
$ ./webui.sh --listen

回到瀏覽器,鍵入 http://<your_ec2_ip>:7860 就能看到 Stable Diffusion WebUI 囉!

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

進 shell 下 nvidia-smi 驗明正身 GPU 一下吧!的確是 Tesla T4,15G 的 VRAM,在機房爽爽吹冷氣溫度才 27 度

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

如果使用完畢,記得到 EC2 dashboard 把他關掉,這樣才不會繼續算錢!

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

如何刪除所有資源

如果某天不想使用,需要清掉整個系統,請到 CloudFormation 頁面,選擇之前建立的堆疊,右上角點刪除

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

刪除堆疊給他按下去

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

接下來只需坐等 CloudFormation 刪除完畢囉!

實際效能如何?

在 ChilloutMix-ni-fp16 DPM++ SDE Karras 下 1024 x 768 大約快 2s 一張,784 x 512 大約 1s 一張。實際數值和每個人使用的模型與算法還是有差,以下僅供參考

不用顯卡也能玩 Stable Diffusion – 使用 AWS 架設

GPU 看來在機房都有冷氣吹,狂算圖溫度也才 40 出頭,真是舒服~

不用顯卡也能玩 Stable Diffusion – 使用 AWS 架設

其他隱藏的費用

除了 EC2 g4en.xlarge 本身開機時每小時 0.526 美金的費用之外,還有一些相對小的費用在這也公開細節讓大家知道

EBS 費用

EBS 也就是我們機器的硬碟,只要建立了就會算錢。EBS 每個月 0.08 鎂 per GB,因此如果開 50 GB 的話一個月是 4 鎂。若用不到這麼大的空間,可以先開小,等有需要時再調大即可。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

此外 EBS 還會算 IOPS 費用,不過相對容量計費,這部份就小非常多。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

詳細費用對照表請參考官網

Elastic IP 費用

如果 Elastic IP 沒有 attach,或是 attach 的機器是關機的狀態下 AWS 才會額外收費,費用是每小時 0.005 鎂。因為 IP 是稀缺資源,AWS 不希望大家佔用不放。若要省錢的話,可以把 template 中的 Elastic IP 設定拔掉,改用 No-IP 的方式動態指定 domain 來解決 IP 關機後重開會變的問題。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

網路資料傳輸費用

AWS 每個月有免費 100GB 的傳出額度,超過後才會開始收費,傳入則是免費。一般來說只做算圖要超過還蠻難的,這部份可以視為不用錢。

不用顯卡也能玩 Stable Diffusion WebUI - 使用 AWS 架設

小結

以上就是用 AWS CloudFormation 模版自動化架設雲端個人 Stable Diffusion WebUI 伺服器的過程,若是手邊沒有夠力顯卡,又想有掌控性的朋友們可以試試看,順便學習一下 AWS!希望能幫助到大家!

延伸閱讀

免費用 Google Colab 玩 Stable Diffusion WebUI
如何在 M1 Macbook 上跑 Stable Diffusion?
最詳細的 Stable diffusion WebUI 操作教學 – txt2img
LoRA 是什麼?如何使用?| Stable Diffusion

參考資料

Create Your Own Stable Diffusion UI on AWS in Minutes

Continue reading
Share:
AWS•DevOps•Wordpress

拯救被入侵的 WordPress 網站!

2023-03-27 by J No Comments

朋友的 WordPress 網站是五年前幫他架設在 AWS EC2 上,這五年來沒有特別的維護與升級,終於(?)在今年的一月被駭客入侵,網站出現一大堆亂七八糟的帳號和色情文章。於是開始拯救與升級 legacy 架構的挑戰,此篇分享整個遷移和升級過程,大家一起來看看吧!

原始狀況描述

  • 2018 年架設後就沒有再做特別的維護
  • EC2 是老舊的 Ubuntu 16.04
  • WordPress v4.9.3 和 php 7.0 fpm 直接安裝在 host 上,透過 nginx 作反向代理
  • AWS RDS 作為資料庫實例 ,運行老舊的 MySQL 5.7,有開啟自動備份
  • 圖片等上傳檔除了本機 EBS 有一份,S3 上也會 sync 一份
  • 今年一月時網站被駭客透過 WordPress 漏洞入侵,建立很多假帳號,並注入一堆有問題的程式碼和檔案
  • 因網站被注入,效能大幅下降導致 SEO 變差,從 google search console 中看到點擊率在一月被入侵後開始受到嚴重影響
拯救被入侵的 WordPress 網站!

拯救被入侵的 WordPress 網站!

緩解入侵

首先必須先緩解掉持續的暴力破解,先幫朋友申請 Cloudflare 並擋在 EC2 前面,再依照之前的文章 防範 WordPress 被攻擊的 8 個方法 設定好防火牆,開啟 on attack 模式,大量阻擋可疑 request。

修改成現代化架構

以目前 Web 架設概念應該要盡可能的讓資料與應用伺服器分離,也就是說應用伺服器應該是無狀態、隨時可替換的。並使用 docker,讓 application 跑在 container 裡面。運行環境跟著 container,某方面來說使 host 與 application 解依賴,因此 host 隨時可更換,不用擔心系統升級等問題。

拯救被入侵的 WordPress 網站!
圖片來源:https://www.docker.com/resources/what-container/

但 WordPress 先天限制,User 上傳的圖檔放在 WordPress source code 目錄之中,若要將上傳的圖片檔案改放置 S3 上可能需要魔改 WordPress 或加裝套件。

比較簡單的作法是把使用者上傳相關的資料夾從 container 掛載出來 實現分離,並將掛載出來的資料 放在另一顆 EBS 上面 。未來若有需要,直接拔掉 EBS 接到另一台 EC2 上即可。

但你懂得,有時候會需要進去手改一下 wp-config.php 或其他主題相關的 source code,因此我會把 WordPress container 中整個 /var/www/html 掛出來,這樣要調整比較方便,不怕 container 移除後重啟導致資料不見。

拯救被入侵的 WordPress 網站!

另外擋案上傳和 php 運行的設定需要調整,因此把 upload.ini 、 php.ini-production 也掛載出來。

   wp:
     depends_on:
       - db
     image: wordpress:5.0.3-php7.3-fpm
     container_name: bgs_wp
     volumes:
       - ./wp_html:/var/www/html
       - ./php_cfg/uploads.ini:/usr/local/etc/php/conf.d/uploads.ini
       - ./php_cfg/php.ini:/usr/local/etc/php/php.ini-production
     networks:
       wp:
     restart: always
     logging:
      driver: "json-file"
      options:
        max-size: "1m"
        max-file: "3"
     environment:
       WORDPRESS_DB_HOST: db:3306
       WORDPRESS_DB_USER: <user>
       WORDPRESS_DB_PASSWORD: <user>
       WORDPRESS_DB_NAME: <db>

資料庫改使用 docker 的方式啟動,將 /var/lib/mysql 資料夾掛載出來(一樣掛到另一顆 EBS 上),讓資料庫檔案可以儲存在外部,避免 container 重建後消失。

同時建立定期備份 script,透過 host cronjob 觸發,將 db dump 到 /tmp/db_dump 再上傳至 S3。 後面會描述備份的實作方式。

這裡把 RDS 拿掉的原因是朋友的網站流量沒有大到需要開獨立的資料庫,透過 docker 全部起在同一台 EC2 上,雖然會喪失 RDS 自動備份功能,但卻能省下原本一半以上的 cost。同時自己建立簡單的備份機制並不難,因此這部份最後決定這樣作。

   db:
     image: mysql/mysql-server:8.0.22
     container_name: bgs_db
     volumes:
       - ./mysql:/var/lib/mysql
       - ./db_dump:/tmp/db_dump
     restart: always
     networks:
       wp:
     command: mysqld --default-authentication-plugin=mysql_native_password
     logging:
      driver: "json-file"
      options:
        max-size: "1m"
        max-file: "3"
     environment:
       MYSQL_ROOT_PASSWORD: <pwd>
       MYSQL_DATABASE: <db>
       MYSQL_USER: <user>
       MYSQL_PASSWORD: <pwd>

nginx 的部分

  • /etc/nginx/conf.d 掛出來,提供 nginx 的設定檔
  • /etc/nginx/ssl 掛出來,提供 SSL key 和 cert
  • /var/www/html 和 WordPress container 掛到同一個目錄上,讓 nginx 可以 pass fastcgi 外,也能直接 host wp-content 或 wp-includes 的靜態檔
   nginx:
     depends_on:
       - wp
     image: nginx:1.23.3
     container_name: bgs_nginx
     restart: always
     ports:
       - "80:80"
       - "443:443"
     networks:
       wp:
     volumes:
       - ./wp_html:/var/www/html
       - ./nginx:/etc/nginx/conf.d
       - ./ssl:/etc/nginx/ssl
     environment:
       TZ: Asia/Taipe

三者結合起來的 docker-compose.yml 如下

version: '3'

services:
   db:
     image: mysql/mysql-server:8.0.22
     container_name: bgs_db
     volumes:
       - ./mysql:/var/lib/mysql
       - ./db_dump:/tmp/db_dump
     restart: always
     networks:
       wp:
     command: mysqld --default-authentication-plugin=mysql_native_password
     logging:
      driver: "json-file"
      options:
        max-size: "1m"
        max-file: "3"
     environment:
       MYSQL_ROOT_PASSWORD: <pwd>
       MYSQL_DATABASE: <db>
       MYSQL_USER: <user>
       MYSQL_PASSWORD: <pwd>

   wp:
     depends_on:
       - db
     image: wordpress:5.0.3-php7.3-fpm
     container_name: bgs_wp
     volumes:
       - ./wp_html:/var/www/html
       - ./php_cfg/uploads.ini:/usr/local/etc/php/conf.d/uploads.ini
       - ./php_cfg/php.ini:/usr/local/etc/php/php.ini-production
     networks:
       wp:
     restart: always
     logging:
      driver: "json-file"
      options:
        max-size: "1m"
        max-file: "3"
     environment:
       WORDPRESS_DB_HOST: db:3306
       WORDPRESS_DB_USER: <user>
       WORDPRESS_DB_PASSWORD: <user>
       WORDPRESS_DB_NAME: <db>

   nginx:
     depends_on:
       - wp
     image: nginx:1.23.3
     container_name: bgs_nginx
     restart: always
     ports:
       - "80:80"
       - "443:443"
     networks:
       wp:
     volumes:
       - ./wp_html:/var/www/html
       - ./nginx:/etc/nginx/conf.d
       - ./ssl:/etc/nginx/ssl
     environment:
       TZ: Asia/Taipei

networks:
   wp:
     name: wp
     driver: bridge

方向有了,開始下手吧!

有了遷移的目標,接下來開始把 legacy 架構的 WordPress 搬過去,同時需要達到以下目標:

  • 駭客 inject 的 source code 不能帶過去
  • WordPress 要從 4.9.3 升級到 5.0.3 版 (目前套用主題最高支援版本)
  • 文章、圖片不能丟失

那就開始動手囉!

Step 1:準備好 new EC2,安裝 docker

這部份不特別描述,大致就是去 aws web console 開一台新的 EC2,更新系統、設定好防火牆、SSH key 和安裝 docker

Step 2:dump 資料庫與複製 uploads 資料

在 aws web console 新建一顆 EBS 並 attach 到 old EC2 上,再到 old EC2 中下指令 format 後掛載

# 確認新的 EBS 裝置名稱
$ lsblk
# 新增的 EBS 完全空白,需要分割並建立磁區
$ sudo mkfs -t xfs /dev/nvme1n1
# 建立 /data folder
$ sudo mkdir /data
# 將 EBS 掛到 /data
$ sudo mount /dev/nvme1n1 /data
# 建立 bgs 資料夾,等一下要搬移資料使用
$ sudo mkdir /data/bgs
# 改變資料夾權限
$ sudo chown ubuntu:ubuntu /data/bgs

透過 old EC2 連接 RDS,將 db dump 到 EBS 上。

$ docker run -it --rm -v /data/bgs/db_dump:/tmp/db_dump mysql:8.0.32  bash -c "mysqldump -h xxxx.xxxx.us-west-2.rds.amazonaws.com -u <user> -pxxxxxxx db > /tmp/db_dump/db_dump.sql --set-gtid-purged=OFF --column-statistics=0

因為我使用 MySQL 8 的 image 對 5.7 作 dump,若直接跑會看到以下錯誤

mysqldump throws: Unknown table 'COLUMN_STATISTICS' in information_schema (1109)

依照這篇討論,加上 --column-statistics=0 參數即可解決

接下來將 old EC2 中的 /var/www/html/wp-content/uploads 整個複製到 EBS 上

$ sudo cp -R /var/www/html/wp-content/uploads /data/bgs/

最後將 EBS 從 old EC2 上拔掉。先在 old EC2 上下 umount 後,再去 aws web console detach EBS。

$ sudo umount /data

Step3:restore 資料庫

在 aws web console 將 EBS attach 到 new EC2,並在 new EC2 中掛載。

# 建立 /data folder
$ sudo mkdir /data
# 將 EBS 掛到 /data
$ sudo mount /dev/nvme1n1 /data

因這顆 EBS 要一直給 new EC2 使用,需設定自動 mount after reboot。

首先查詢 EBS 的 UUID

$ sudo blkid
...
/dev/nvme1n1: UUID="680badd5-9f95-485a-b267-4b2aaddfd1bb" BLOCK_SIZE="512" TYPE="xfs"
...

修改 /etc/fstab 令 Ubuntu 開機時自動掛載 EBS

$ sudo nano /etc/fstab

在檔案最後一行增加以下這一行,儲存離開即可(請依照上一步查尋的 UUID 作替換)

UUID=680badd5-9f95-485a-b267-4b2aaddfd1b  /data  xfs  defaults,nofail  0  2

緊接著 docker 起 MySQL,restore 剛剛 dump 的資料

$ cd /data/bgs
$ docker compose up -d db
$ docker exec -it bgs_db bash -c "mysql -h localhost -u root -pxxxxxx -e \"CREATE DATABASE db;GRANT ALL PRIVILEGES ON db.* TO '<username>'@'%';\""
$ docker exec -it bgs_db bash -c "mysql -h localhost -u root -pxxxxxx db < /tmp/db_dump/db_dump.sql"

完成後,docker 再起 WordPress v4.9.3 + nginx,開啟瀏覽器進入網站。此步是先確定文章等資料有正常匯入,避免直接用 v5 的 WordPress 起可能遇到 migration 問題而不好確認 root cause 並排除。

$ docker compose up -d

此時網頁圖片消失是正常,因為我們還沒有把 uploads 資料夾放入正確路徑。

Step4:升級 WordPress

接下來要升級 WordPress 到 v5.0.3。必須先 down wp container, 並把 4.9.3 初始化的 wp_html 資料夾整個刪掉 ,再將 docker-compose.yml 中的 wp container 修改成 v5.0.3 ,up 啟動讓他重新初始化目錄。

# 移除 wordpress v4 container 
$ docker compose down wp
# 刪掉整個 wp source code
$ sudo rm -Rf wp_html
# 修改 docker compose 中 wordpress 的版本
$ nano docker-compose.yml
# 重新建立 wordpress v5 container
$ docker compose up -d

會這麼搞剛的原因是,Wordpress web 升級頁面預設只能 升級到最新版 ,以目前來說會是 v6.1.1,若要升級到指定版本,只能自己上傳原始碼並作替換。

思考了下,與其我手動上傳,不如清掉目錄檔案,並替換成對應版本的 image 讓他重新初始化來的方便。

替換完成後,瀏覽器再進入 WordPress 一次,此時出現需要 migrate db 提示,大膽給他按下去,不到五秒就會完成了。

升級一切順利,可以進入下一步。

Step 5:還原 uploads 資料

將剛剛從 old EC2 搬過來的 uploads 資料夾,移入 WordPress container 掛出來目錄中對應位置即可。記得修改權限成 www-data ,後續才能透過網頁上傳新的圖片

# 搬移 uploads 資料夾到正確位置
$ sudo mv uploads wp_html/wp-content/
# 修改權限,直接對整個 wp folder 下比較方便
$ sudo chown -R www-data:www-data wp-html

此時再重新進入網站圖片就能正確出現了!但外掛和主題沒有搬過來,此時頁面排版會全部亂掉!沒關係,只需要人工從 wordpress 後台重新安裝即可,如此也能避免將被駭客污染的程式碼帶過來。

清除駭客建立的假帳號

接下來要對假帳號作清理,但假帳號 (Subscriber) 多達一萬五千個!人工手動從 WordPress 後台刪除非常耗時

拯救被入侵的 WordPress 網站!

查了一下,Wordpress 有提供 cli 工具,能透過 user type 過濾出 subscriber 直接作 batch delete。

但 WordPress image 預設沒有安裝 cli 工具,難道還要自己進去安裝?其實不用, WordPress 官方 還有另外推出 tag 為 cli 開頭的 docker image,可以直接起他呼叫指令。

為了後續方便維運操作,簡單寫一個 wp_cli.yml 專門起 wordpress cli container,並將 command 用 sleep infinity override,讓 container 啟動後可以活著但不做事,方便進入裡面下指令操作。

version: '3'

services:
   wp-cli:
     image: wordpress:cli-2.5.0-php7.3
     container_name: bgs_wp_cli
     volumes:
       - ./wp_html:/var/www/html
     networks:
       wp:
     restart: always
     command: sleep infinity
     logging:
      driver: "json-file"
      options:
        max-size: "1m"
        max-file: "3"
     environment:
       WORDPRESS_DB_HOST: db:3306
       WORDPRESS_DB_USER: <user>
       WORDPRESS_DB_PASSWORD: <pwd>
       WORDPRESS_DB_NAME: <db>

networks:
   wp:
     name: wp
     driver: bridge
     external: true

進入 wordpress cli container 開始大量刪除假帳號吧!加參數 --number=10 先刪 10 個確認下,沒問題後拔掉參數一口氣全部刪除!

# at host
$ docker exec -it wp-cli bash
# in container
$ wp user delete $(wp user list --role=subscriber --field=ID --number=10) --reassign=1
拯救被入侵的 WordPress 網站!

刪除可能需要一小段時間,因為他是 一筆筆刪除 user ,沒有使用 bulk delete,刪除量越大越耗時

建立自動化備份

最後要建立自動化備份,首先是 db backup,一樣用 mysqldump 將 db dump 出來, tar 壓縮後,透過 aws cli container sync 到 s3 上,最後再清掉本機上的備份檔。

#!/bin/bash

docker exec -it bgs_db bash -c "mysqldump -h localhost -u root -pxxxxx db > /tmp/db_dump/db.sql"

cd /data/bgs/db_dump/
sudo tar zcvPf /data/bgs/db_dump/db_dump$(date '+%Y%m%d').tar.gz db_dump.sql

docker run --rm -it -v /data/aws:/root/.aws -v /data/bgs/db_dump:/db_dump amazon/aws-cli s3 cp /db_dump/db_dump$(date '+%Y%m%d').tar.gz s3://<bucket>/backup/db/

sudo rm /data/bgs/db_dump/db_dump.sql
sudo rm /data/bgs/db_dump/db_dump$(date '+%Y%m%d').tar.gz

再來是備份 uploads 裡的檔案,一樣透過 aws cli container sync 到 s3

#!/bin/bash
docker run --rm -it -v /data/aws:/root/.aws -v /data/bgs/wp_html/wp-content/uploads:/uploads amazon/aws-cli s3 sync /uploads s3://<bucket>/backup/uploads

將以上兩份 script 透過 crontab 定期執行來達成自動化備份

看看成效吧

自此搬移與升級就算完成了,清理掉駭客 inject 的程式碼並升級到 v5 後,本來首頁的 TTFB 高達 3.33 s,現在只需要 0.6s,下降了 80%

拯救被入侵的 WordPress 網站!
遷移前
拯救被入侵的 WordPress 網站!
遷移並升級後

從 google search console 中能看到修復後點擊率開始回升

拯救被入侵的 WordPress 網站!

但 WordPress 5.0.3 還是很舊,因此後續需要朋友去 survey 合適的主題,替換後再作一次 WordPress 版本升級。

至此分享整個搬遷和升級過程,希望能幫助到有類似需求的人!

延伸閱讀

防範 WordPress 被攻擊的 8 個方法
WordPress 部落格被攻擊全記錄

Continue reading
Share:
AWS•DevOps

你知道 AWS Lambda Memory 大小和 Performance 有關嗎?

2023-02-08 by J No Comments

在設定 AWS Lambda Memory 上限時,是否只考慮實際應用所需呢?這裡有一個陷阱,AWS Lambda Memory 大小和執行實體的 Performance 有關!

你知道 AWS Lambda Memory 大小和 Performance 有關嗎?

AWS Lambda 的計價方式是以每 1 毫秒執行時間為基準,依照 Memory 大小進行階梯定價。因此,Memory 越大的實體,性能越高,執行時間越短,反而可能比 Memory 低的實體更有成本效益!

本篇文章分享實例數據,透過圖表分析思考過程,並提供一些策略給大家參考。

AWS Lambda 的定價方式

AWS Lambda 是 AWS 推出的 Serverless 服務,從官方網頁得知,除了用 實體大小與執行時間 作計費外,還有 暫時性儲存 與 資料傳輸 等等計費。本文僅討論不同 Memory 大小對於執行時間的影響,以及費用的變化。其他的費用在此沒有列入考慮。

你知道 AWS Lambda Memory 大小和 Performance 有關嗎?
從 Lambda 定價表能直接看出,當 Memory 設定越大時,費用也隨之上升,Arm 的價格比 x86 略低一點

直觀想像,開較小的 Memory,總費用會越低。但這個假設是建立在以下兩個條件之上:

  1. 執行同樣的程式碼所需的時間是相同的
  2. 傳輸相同資料所需的時間也是相同的

但是,如果上述兩者都不同呢?或是使用相同的邏輯,相同的記憶體大小,但使用不同的程式語言呢?接下來,我們將透過實驗來回答上述問題。

不同 Memory 大小對執行時間與費用的影響

實驗方式,取用我現成專案的 Lambda 作實驗

  • Lambda 以 Python 實現
  • 外界呼叫 API 打入 AWS API Gateway,調用 Lambda
  • 透過 Lambda 內部邏輯向 Google Sheet 取資料,運算後回傳
  • 每次測試資料皆相同,因此傳輸與計算量固定,僅有 Lambda 運算和網路效能會影響總執行時間
  • 以 Browser 的 Waiting for server response 為計時方法,因此時間包含
    • 打 Google Sheet Api 時間(網路效能)
    • Lambda Python 處理時間(運算效能)
    • Response 回傳的 latency (網路效能,佔比極小,且幾乎固定,可忽略)
  • 每調整一次 Memory 大小,先打一次 API 並紀錄時間為 With Cold Start(因第一次執行時間會包含 cold start time,需剔除所以獨立紀錄),後續再打三次並依序紀錄後取平均值
你知道 AWS Lambda Memory 大小和 Performance 有關嗎?

我們來看看實測數據:

Memory (MB)With Cold Start (s)1st (s)2nd (s)3rd (s)Execution Time (s)Execution Cost (USD)
1285.164.54.394.844.580.000009611
2563.232.782.662.842.760.000011592
5122.071.841.761.841.810.00001505066667
10241.491.41.361.311.360.00002265633333
15361.41.21.231.211.210.00003033333333
30721.251.251.181.211.210.00006066666667

繪製成圖表,我們觀察到

  • 從 128MB 提升到 256 MB,Execution Time 大幅下降。但後續提高 Memory 大小,Time 下降幅度也隨之變少
  • 提升 Memory 前段 Execution Cost 上升緩慢,後段 1536MB → 3072MB Cost 提升大幅增加
你知道 AWS Lambda Memory 大小和 Performance 有關嗎?

想更進一步知道 Cost 上升的同時,Lambda Performance 上升的狀況 ,於是將 Execution Time 取倒數後再畫一次圖。

觀察結果:

  • Performance 幾乎隨 Memory 成線性增長,但在 1536MB → 3072MB 發生停滯,兩者效能一樣
  • 1536 MB 和 3072MB 效能一樣的情況下,3072MB 相對需要付出更多的成本
  • Cost 初期增長比 Performance 慢,後期逐漸加速,成指數成長
你知道 AWS Lambda Memory 大小和 Performance 有關嗎?

有了此發現,我想找出 最高 C/P 值 的甜蜜點,也就是比較 單位美金下可以買到的 Performance 。於是將 Performance 除以 Cost 後,並重新對 Memory 大小作圖。

由圖發現,最高 C/P 值落在 Memory 等於 512 MB 的時候,第二順位為 1024 MB。

你知道 AWS Lambda Memory 大小和 Performance 有關嗎?

如何選擇 Lambda 實體大小

依照以上的實驗結果,提供一些選擇的建議與方向

  • 確認 Lambda 執行時所需最小 Memory 大小,剔除掉小與此值的選擇
  • 嘗試不同 Memory 大小,測量數據並繪製 Performance 除以 Cost 的曲線
  • 依 C/P 值排出 Memory 大小備選
  • 照排出的順序,依序考量每一個 Memory 大小的 Execution Time 和 Cost,選擇可以接受的選項

以我們討論的 Case,將實驗結果以 C/P 值重新排序如下表:

SequenceMemory (MB)Execution Time (s)Execution Cost (USD)
15121.810.00001505066667
210241.360.00002265633333
32562.760.000011592
415361.210.00003033333333
51284.580.000009611
630721.210.00006066666667

選擇策略是

  • 若想省錢,選 512 MB
  • 若想強化效能,可能優先選擇 1024 MB,而不是 1535 MB

因為相對 512 MB,1024 MB 減少了 450 ms ,多 50% 成本,而 1536 MB 只比 1024 MB 再快 150 ms,卻比 512 MB 多 101% 的成本。

另外需要提醒,雖然這篇文章的結果也認為 512 MB 是最佳選擇,但我覺得並不是所有 Case 都一樣結果,會因 Lambda 內部邏輯設計而有差異,建議實際測量一次最準確。

你知道 AWS Lambda Memory 大小和 Performance 有關嗎?
此圖來自 AWS Lambda Performance Tuning & Best Practices, 雖文中也推薦 512 MB,但發現其 Execution Cost 曲線和本文不相同,因此建議實際測量後再做決策

不同程式語言對 Lambda Cold Start 時間的影響

這邊直接引用 AWS Lambda: Cold Start Duration per Language 的結果

你知道 AWS Lambda Memory 大小和 Performance 有關嗎?

大部分語言的 Cold Start 落在 400 ms 內 ,通常 700 ms 內會結束。熱門的 Javascript 和 Python 最快,而讓我訝異的是 Go 竟然還比較慢。C# 則敬陪末座,落在 400ms ~ 900 ms。

雖語言會影響 Cold Start 時間,進而影響 Cost,但相對於 Memory 大小所造成的 Cost 差異,可以說是微乎極微。建議還是選用習慣的語言開發,節省的人力成本可能更高。

影響 Cold Start 時間還有其他因素,如 Memory Size(特定語言)、Lambda Package Size 等等,這已超出本文想討論的範圍,有興趣可以參考 Cold Starts in AWS Lambda。

結論

在本篇文章中,我們透過實驗發現,AWS Lambda Memory 大小和執行實體的 Performance 是有關聯的,當 Memory 大小從 128MB 提升到 256 MB 時,可以大幅減少執行時間,不過增加 Memory 大小對於減少執行時間的效果後續會越來越小。所以,在決定 Memory 大小時,我們應該考慮應用所需的 Memory 大小及費用效益,以確保能獲得最佳的結果。

AWS Lambda Memory 大小與 Performance、Cost 的討論就到這裡,希望能幫助到你!

延伸閱讀

使用 AWS lambda 做免錢的 Cloudflare cache preload
使用 AWS Parameter Store 實現 Config 和 Credentials 外置

參考文章

AWS Lambda Performance Tuning & Best Practices
Cold Starts in AWS Lambda
AWS Lambda: Cold Start Duration per Language
Optimizing your AWS Lambda costs – Part 1

Continue reading
Share:
AWS•Wordpress

使用 AWS lambda 做免錢的 Cloudflare cache preload

2020-12-18 by J No Comments

在 0元用 SBC 架設自己的 WordPress 網站 #3 速度優化 中提到使用 Cloudflare 做 cache,並安裝 WP Cloudflare Super Page Cache 外掛,讓他在發布新文章的時候自動做 preload。

但這個套件是透過 WordPress 主機所在位址對 Cloudflare 做 curl,因此 cache 並沒有發佈到全世界,於是我想到利用 AWS lambda 來實現。以下就來看看如何操作!

Cache Preload 原理

它的原理其實很簡單,比如說我今天新增了一個 A.html,Cloudflare 的 server 上肯定沒有這個檔案,所以當第一個使用者做 GET A.html 的時候,就會發生 cache miss,使他必須等比較久才能下載完成。

使用 AWS lambda 做免錢的 Cloudflare cache preload

但之後的使用者再次 GET A.html 時,因為已經有 cache,速度就會大幅提升!

使用 AWS lambda 做免錢的 Cloudflare cache preload

preload 的原理就是我們自己當作「第一個使用者」,先去對 A.html 做 GET,這樣真實使用者就能直接享用 cache 了!

使用 AWS lambda 做免錢的 Cloudflare cache preload

只是 Cloudflare 在世界各地都有 server,因此 cache 也會有地區性。如果第一個使用者在美國,那 A.html 的 cache 只會存在美國的 server,而日本 server 依然沒有這個 cache。因此我們需要在世界各地發出一樣的 GET A.html,這樣就能把 cache 推到全世界大部分的 Cloudflare server!

Preload script 原理

其實 Cloudflare 有 prefetch 的功能,但是要付費!節省的我當然是把目光轉向每個月有免費扣打的 AWS lambda!這邊我們使用 nodejs 為例

  1. 讀取 sitemap.xml
    以 WordPress 為例,只要安裝了 Yoast SEO,他就會幫你產生 sitemap.xml。透過 script 去抓 sitemap.xml 並解析出所有網址。
const https = require('https')
const xml2js = require('xml2js')

const hostname = '<your hostname>'
const domain = `https://${hostname}`
// Yoast SEO 會再依照類型去區分成不同的子 sitemap,因此這邊我們給定要抓的 sitemap 檔名
const sitemapPost = '/post-sitemap.xml'
const sitemapPage = '/page-sitemap.xml'
const sitemapCategory = '/category-sitemap.xml'
const sitemapPaths = [sitemapPost, sitemapPage, sitemapCategory]

// 給定偽裝成 browser 的 header
const headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36' }


// 從 sitemap 中抓 url
async function parseSitemap() {
    // 一次灑出所有 sitemap 的 request
	let getBodyTasks = sitemapPaths.map(path => getPageBody(path))
	let results = await Promise.all(getBodyTasks)
   
    // 對所有 sitemap 並行解析 xml
	let parseTasks = results.map(r => xml2js.parseStringPromise(r))
	let parseResults = await Promise.all(parseTasks)
	console.log('parse sitemap finish')
   
    // 從 xml 中抓出所有 url,因為 https 套件只需要給定不同的 path,所以這邊同時把 url 中的 domain 去除
	let paths = []
	for (let i in parseResults) {
		for (let j in parseResults[i].urlset.url) {
			paths.push(parseResults[i].urlset.url[j].loc[0].replace(domain, ''))
		}
	}
	return paths
}

function getPageBody(path) {
	return new Promise(resolve => {
		let options = {
			hostname: hostname,
			path: path + '?preview=true',
			headers: headers
		}
		console.log(`start get ${domain}${path}?preview=true`)

		https.get(options, (res) => {
			let body = ''
			res.on('data', data => {
				body += data
			})

			res.on('end', () => {
				resolve(body)
			})
		});
	})
}
  1. 發出 request
    偽裝成 browser 對全部網址發出 GET request 。
// 傳入 paths 灑出所有 request,如果怕一次丟太多 request,可以先把原來的 paths 切成每次丟二十個進來跑
async function startPreload(paths) {
	console.log('preload start')
	await Promise.all(paths.map(p => startRequest(p)))
	console.log('finish')
}

function startRequest(path) {
	return new Promise(resolve => {
		var options = {
			hostname: hostname,
			path: path,
			headers: headers
		}

		var t = new Date();
		https.get(options, (res) => {
			let headers = res.headers

			res.on('data', data => { })

			res.on('end', () => {
				let totalTime = (new Date() - t);
				console.log(`prefetch finish => cache status: ${headers['cf-cache-status']}, age: ${headers['age']}, response time: ${totalTime}ms, url: https://${hostname}${path}`)
				resolve(true)
			})
		});
	})
}
  1. 部署世界各地
    把 lambda 部署到 AWS 各個 AZ,最後透過 API gateway 暴露出接口統一呼叫即可。
使用 AWS lambda 做免錢的 Cloudflare cache preload
依照不同區域分開不同的 api 入口

為了錢錢著想,記得到 API gateway 的 Resource Policy 設定 ip 限制,避免別人亂呼叫浪費扣打哦!可參考官方部落格 How do I use a resource policy to allow certain IP addresses to access my API Gateway REST API?

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": "*",
            "Action": "execute-api:Invoke",
            "Resource": "arn:aws:execute-api:<AZ>:<your_account_id>:<api_gateway_id>/*/*/*"
        },
        {
            "Effect": "Deny",
            "Principal": "*",
            "Action": "execute-api:Invoke",
            "Resource": "arn:aws:execute-api:<AZ>:<your_account_id>:<api_gateway_id>/*/*/*",
            "Condition": {
                "NotIpAddress": {
                    "aws:SourceIp": [
                        "xxx.xxx.xxx.xxx/32",
                        "xxx.xxx.xxx.xxx/32"
                    ]
                }
            }
        }
    ]
}

趕快試試看吧!

延伸閱讀:
0元用 SBC 架設自己的 WordPress 網站 #3 速度優化
使用 AWS Parameter Store 實現 Config 和 Credentials 外置

Continue reading
Share:
AWS•DevOps

使用 AWS Parameter Store 實現 Config 和 Credentials 外置

2020-12-14 by J No Comments

在開發上,很多時候我們必須為不同的環境給予不同的 configure。如果使用第三方 api,還需要設定對應的 credentials。

以往貪圖方便,通常會直接在 code base 裡面指定,或是另外給定一個 .env 檔來切換不同環境所需的變數。但這會有一個缺點,假如今天有一個設定值必須修改,因為我們把設定 hard code 的情況下,變成必須重新上一版才能解決,耗時又費工。同時如果把 credentials 也寫入檔案上 git 的話,也會有資安上的風險。

如果是使用 kubernetes 來做管理的話,可以使用它提供的 config map 和 secrets 來解決。但如果還沒導入 kubernets,有別的通用解決方案嗎?他就是今天要討論的 AWS Paremeter Store。

建立 Parameter

AWS Parameter Store 的 console 頁面歸類在 AWS System Manager 下

使用 AWS Parameter Store 實現 Config 和 Credentials 外置

點入後就可以使用右上角的按鈕 Create parameter

使用 AWS Parameter Store 實現 Config 和 Credentials 外置
使用 AWS Parameter Store 實現 Config 和 Credentials 外置

首先必須為此變數取名字,這邊我推薦使用 slash 間隔的方式來取名。 比如說,我要為 dev 環境下的 koding-work-service 設定他的 db name,就可以使用以下的格式設定:

/dev/microservice/koding-work-service/db/db_name/

每個人的命名方式不同,精神上只要清晰明瞭即可。

往下看有三種不同的 type,主要注意的是 String 和 SecureString。一般 configure 等不需要加密的設定可以使用 String type。但如果是 api token 等 credentials 需要加密,就必須選擇 Secure String type。

假如點選 Secure String type,會跳出 KMS key store 設定,保留使用 My current account 即可。

使用 AWS Parameter Store 實現 Config 和 Credentials 外置

最後就在 value 中填入對應值,點擊 Create Parameter 即可。

 給予 Parameter 權限

要讓 Application 能夠讀取 Parameter Store,我們必須給予適當的權限。首先到 IAM 中,建立一個 Parameter Store read only 的 Policy。其中 Resource 欄位依需求給定。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "ssm:GetParameters",
                "ssm:GetParameter"
            ],
            "Resource": "arn:aws:ssm:ap-southeast-1:xxxxxx:parameter/*"
        }
    ]
}

假設 application 跑在 EC2 上面,我們只需要到對應機器的 EC2 role 中 attach 剛剛新建立好的  Policiy 即可。

透過 boto3 取得 parameter

透過 boto3 中的 ssm client 呼叫 get_parameter() 即可取得參數值。因為在抓參數時通常會同時抓 String 或者是 Secure String,為了方便我會直接給定 WithDecryption=True,這樣兩種 type 都可以順利抓取不出錯。

import boto3

ssm = boto3.client('ssm', region_name=’xxxx’)
param = ssm.get_parameter(Name=’<key_name>’’, WithDecryption=True)['Parameter']['Value']

如此即完成參數外置!趕快試試看吧!

延伸閱讀:
AWS CloudWatch logs 攻略
拯救脆弱系統 – 使用 CloudFront 轉址

Continue reading
Share:
AWS•Kafka

Kafka + Debezium 串流 DB – 原理介紹

2020-11-28 by J No Comments

在 Microservices Patterns (可參考 https://microservices.io) 這本書中提到微服務間的通信可以簡單分為兩類:

  1. 同步通信
  2. 非同步通信

同步其實就是我們熟知的打 API,如 Restful 或 gRPC。使用起來簡單直覺,只要以前有設計過 api 的人都可以簡單上手。但主要缺點如下:

  1. 可用性低
    假想現在對外有一隻 API,打他時後端程式碼必須同時也對 A 和 B service 打 API 下指令。架設 A 可用性 97%,B可用性 95%,整體其實只有 97% x 95% = 92%。只要其中一個服務壞掉,整個 API 就爆了
  2. 需要給定 API 的 url 位置
    如果是使用 kubernetes 等自動管理架構,他會幫你處理掉服務發現的問題,這個缺點就會消失。如果沒有使用它而是自己管理的話,只要移動 container 到不同的機器,ip 就會改變。所有打這個微服務的程式碼都需要做修改。(假如你有使用參數外置的手法,如使用 AWS SSM,那可能只需要去 SSM console 修改一次即可。但還是有人為疏失忘記的可能。)

其它缺點可以直接參考書中內容,這邊就不再贅述。

非同步通信,通常會透過一層消息代理來做中介,負責接收生產者發佈的消息,並派發到訂閱的消費者手中。如 Kafka 或 RabbitMQ 都是常見的消息代理。用這種方式處理訊息傳送有以下好處:

  1. 松耦合
    因為是透過第三方,也就是消息代理,幫你把訊息散播出去,生產者不需要知道要發給誰,也不用擔心消費者突然當掉會影響到自己的可用性,耦合度低,可用性也能提高。
  1. 消息緩存
    訊息發布後會暫存在代理身上。假設剛好發佈的當下消費者死掉,只要他再度復活,代理就會把他沒收到的訊息再次發送給胎他。如此訊息不漏接,可以降低出問題後的所需的復原時間。

其他好處可以參考書本。但同時也會有幾個壞處:

  1. 消息代理的可用性必須很高
    因為所有的訊息都必須透過他來傳送,如果他掛了,想當然爾大家也只能一起葬送。所以通常會起集群,提高可用性。
  1. 開發上較複雜
    使用代理的手法,和以往開發 API 的方式不一樣,非同步處理比較不好思考,需要一些時間去練習增加經驗

不過壞處 1 我覺得好解決,如果是 AWS 可以使用 MSK 服務,把 kafka 託管給他們,解決掉複雜的架設以及集群的維運管理。一切只需要透過 web console 就可以簡單監控操作。架設跨 availability zone 的集群也很簡單,不用再手動一一輸入每個 kakfa 機器的位置,實在太方便!

書中也提到,通常內部通訊會伴隨著資料改變。比如說今天使用者下一筆訂單,所以訂單服務要做兩件事:

  1. 對資料庫寫入一筆新訂單資料
  2. 同時發布新訂單的訊息到 kafka

假如寫入資料庫到發布訊息是透過程式碼來控制的兩個動作,就很有可能在中間發生 exeption,導致資料庫寫入新訂單,但是訊息沒發出來!解法是透過關聯式資料庫的原子性來處理。此時資料庫中需要多建立一張表,比如說 outbox,裡面存放要發到 kafka 的訊息資料。把剛剛的兩件事改成

  1. 對資料庫寫入一筆新訂單資料
  2. 對資料庫寫入發布新訂單的訊息

並且把這兩步包成同一個 transaction,這樣就能透過原子性,只要成功建立新訂單,就能保證有寫入新訂單訊息。

但問題來了,那要怎麼把訊息發布到 kafka?

書中提到比較好的方式是 tailing database transaction log,透過另一套服務監控資料庫日誌,只要發現有資料異動,就將資料發布到 kafka。書中有提到很多服務,這邊我們選用 Debezium。

Debezium 使用的方式是 CDC (Change Data Capture),透過這個技術來監控給定的資料表,一但有所變動,就將變動透過 Kafka Connect 發布至 Kafka,消費者註冊這些 topic,就可以收到最新變動的資料。

可能有人會疑問,那如果 Debezium 掛掉怎麼辦?這不用擔心,資料庫端和 Debezium 都會記錄最後同步到哪一筆資料,只要將 Debezium 重啟,他就能接續串流資料出來!不必人為重新設定。

所以整合來說是這樣的流程:

  1. 使用者下訂單
  2. 訂單服務將訂單資料,和新訂單訊息包成一個 transaction 存到資料庫
  3. Debezium 透過 CDC 監控訊息表,得知有一個新訂單訊息被寫入,於是把他的資料發布到 Kafka 的特定 topic
  4. 其他微服務,如出貨服務,已經事先訂閱此 topic,就會收到此事件,他就可以去做應有的邏輯

基本架構與原理大致是這樣,下一篇 Kafka + Debezium 串流 DB – 實戰步驟 就會分享我架設的經驗,希望能為大家減少試錯的時間!

延伸閱讀:Kafka + Debezium 串流 DB – 實戰步驟

Continue reading
Share:
AWS•Kafka

Kafka + Debezium 串流 DB – 實戰步驟

2020-11-22 by J No Comments

在 Kafka + Debezium 串流 DB – 原理介紹 說明整體的概念,這邊就來分享一下實戰步驟!

由於流程複雜,這邊先簡述一下整理過程,接下來解說會依循以下步驟:

  1. 設定 PostgreSQL,開啟 replication
    • 自建的 PostgreSQL
    • AWS RDS 託管的 PostgreSQL
  2. MSK (AWS 託管的 kafka)參數設定
  3. 預先建立 debezium 本人所需的 topic
  4. 起 debezium
  5. debezium 連結 PostgreSQL
  6. 到 kafdrop 檢查結果
  7. 實用指令大全
  8. Troubleshooting

讓 PostgreSQL 支援 wal2json 並開啟 replication

首先我們先在 db 建立一個有 replication permission 的 role

建立 Replication Permission Role

CREATE ROLE debezium WITH LOGIN PASSWORD '<密碼>';
GRANT rds_replication to debezium;

GRANT CONNECT ON DATABASE <目標 db> TO debezium;

# 切到目標 db (要用該 db 擁有者的帳號,或是用最高權限帳號) 再跑以下指令,讓該帳號可以讀取目標 db

GRANT USAGE ON SCHEMA public TO debezium;
GRANT SELECT ON ALL TABLES IN SCHEMA public TO debezium;
ALTER DEFAULT PRIVILEGES IN SCHEMA public
GRANT SELECT ON TABLES TO debezium;

接著要開啟 db 的 replication 功能。這邊分兩條路解釋,一條是自建 PostgreSQL,通常會在 local 測試用,又分成直接安裝 PostgreSQL 以及使用 Docker 起的。另外一條是使用 AWS RDS,RDS 的設定就會簡單許多。

自建的 PostgreSQL

Step 1:安裝 wal2json 套件

  1. 如果是直接安裝 PostgreSQL的機器 -> 到該機器的 linux shell 下以下指令。
  2. 如果是 Docker 起的 PostgreSQL -> 到 container 裡的 shell 下以下指令。
    (指令出處可參考 這裏)
apt install postgresql-server-dev-9.5 build-essential git

git clone https://github.com/eulerto/wal2json -b master --single-branch \
&& cd wal2json \
&& git checkout d2b7fef021c46e0d429f2c1768de361069e58696 \
&& make && make install \
&& cd .. \
&& rm -rf wal2json

Step 2:給予 replication 權限

修改 pg_hba.conf 檔案,依照對應帳號加入權限

  1. 如果是直接安裝 PostgreSQL 的機器(路徑版號需更換) -> /etc/postgresql/9.4/main/pg_hba.conf
  2. 如果是 Docker 起的 PostgreSQL -> /var/lib/postgresql/data/pg_hba.conf
host all all all trust
host replication <role> all trust 
# 對指定 role 開啟 replication 權限

Step 3:開啟 wal replication slot

修改 postgresql.conf 加入以下 wal 相關設定。這邊 slot 是給四個,可依需求調整數量。

  1. 如果是直接安裝 PostgreSQL 的機器(路徑版號需更換) -> /etc/postgresql/9.4/main/postgresql.conf 
  2. 如果是 Docker 起的 PostgreSQL -> /var/lib/postgresql/data/postgresql.conf 

需注意的是,wal_level 一定要一起設定!不然資料庫會無法啟動!

listen_addresses = '*'
   
max_wal_senders = 4
wal_level = logical
max_replication_slots = 4
shared_preload_libraries = 'wal2json'

之後需重啟資料庫,wal 相關設定才會生效(資料庫重啟會造成 app 應用斷線,如果是在 production 要特別注意 down time)。可到 DB shell 用這個指令確認,如果看到以下回應就算是成功。

postgres=> SHOW wal_level;

 wal_level 
-----------
 logical
(1 row)

AWS RDS 託管的 PostgreSQL

Step 1:修改 Parameters Group 中的設定

在 RDS 頁面的側邊欄點選 「Parameters groups」,再點選右上角橘色的按鈕「Create parameter group」,建立一組新的設定組

Kafka + Debezium 串流 DB - 實戰步驟

依照資料庫版本選擇對應的 Parameter group family,下面名稱可自取

Kafka + Debezium 串流 DB - 實戰步驟

點擊剛剛建立的 parameter group,在上面搜尋 rds.logical_replication,把它改成 1 即可

rds.logical_replication=1
Kafka + Debezium 串流 DB - 實戰步驟
打勾點擊 Edit parameters 後就可以修改

到目標 RDS 的 Modify 頁面,套用剛剛建立的 parameter group 並設定讓他立刻生效

Kafka + Debezium 串流 DB - 實戰步驟

Reboot RDS instance 後,到 db shell 用這個指令確認是否成功開啟

postgres=> SHOW wal_level;

 wal_level 
-----------
 logical
(1 row)

假如不是顯示 logical,先確認 Parameter group 是否有套用到目標 RDS,以及 RDS 在套用後是否有重啟。

MSK (AWS Kafka) 參數設定

架設 MSK (AWS 託管的 Kafka) 這邊就不再闡述,我們直接看參數要如何調整。

首先切換到 MSK 管理頁面,點選 Cluster configurations -> Create cluster configuration

Kafka + Debezium 串流 DB - 實戰步驟

在下面編輯器調整設定值

Kafka + Debezium 串流 DB - 實戰步驟

主要有以下兩個設定值要修改或加入

# 如果沒有設定 auto create topic 到時候串起來會在 debezium log 看到 Error while fetching metadata with correlation id 錯誤,設定為 true 後,如果發布沒有宣告過的 topic,就會自動建立
auto.create.topics.enable=true
 
# 這一行依需求調整,如果資料表中有很大的欄位,比如說 json,這數值就要調大到符合最大資料的大小,不然會在 debezium log 看到以下錯誤
# The message is <xxxx> bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration
message.max.bytes=104857600 

接著切換到目標 kafka cluster 管理頁面,在 configuration 區塊點選 Edit,選擇剛剛建立好的 configure 並套用即可

Kafka + Debezium 串流 DB - 實戰步驟
找到 configuration 區塊,點擊右上角的 Edit
Kafka + Debezium 串流 DB - 實戰步驟
選擇你要的 config

預先建立 debezium 本人所需的 topic

經過實測,雖然有設定 kafka auto create topic,但如果在起 debezium 之前沒有預先宣告 debezium 本身所需的基本 topic,後續就會發生 NOT_ENOUGH_REPLICAS error。所以我們這邊預先宣告給他。

建立 kafka topic 需要使用 kafka shell 介面,這邊我們使用 wurstmeister/kafka 這個 image 來起一次性的 container

docker run --rm -it wurstmeister/kafka:latest bash

進入 shell 後輸入以下指令,注意的是,這邊的 zookeeper 位置只是示意,請自行更換成自己的位置。
這邊我們為 debezium 建立三個 topic,分別是 db-connect-config、db-connect-offset、connect-status。

kafka-topics.sh --zookeeper z-1.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:2181 --create --topic db-connect-config --partitions 1 --replication-factor 3

kafka-topics.sh --zookeeper z-1.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:2181 --create --topic db-connect-offset --partitions 50 --replication-factor 3

kafka-topics.sh --zookeeper z-1.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:2181 --create --topic connect-status --partitions 5 --replication-factor 3

cofig 和 offset 的 replication 和 partition 的數值是參考 debezium 官方文件這一段的描述

CONFIG_STORAGE_TOPIC

This environment variable is required when running the Kafka Connect service. Set this to the name of the Kafka topic where the Kafka Connect services in the group store connector configurations. The topic must have a single partition and be highly replicated (e.g., 3x or more).

OFFSET_STORAGE_TOPIC

This environment variable is required when running the Kafka Connect service. Set this to the name of the Kafka topic where the Kafka Connect services in the group store connector offsets. The topic must have a large number of partitions (e.g., 25 or 50), be highly replicated (e.g., 3x or more) and should be configured for compaction.

簡單來說,config storage topic (我們命名為 db-connect-config),只能有 1 個 partition,但要有高的 replication,建立 3x 以上。這個 topic 是 debezium 用來儲存 connect 的設定資料。
offset storage topic (我們命名為 db-connect-offset),必須要有高的 partition,如 25 或 50 個。且也要有高的 replication,3x 以上。這個 topic 是 debezium 用來儲存 offset。

起 debezium

這邊我們用以下的 docker-compose 起

version: '2.3'
services:
  # kafdrop 是ㄧ個 web 介面,可以監看所有的 topic 設定與內容,可選用
  kafdrop:
    image: obsidiandynamics/kafdrop:3.23.0
    container_name: kafdrop
    restart: always
    ports:
      - 9000:9000
    environment:     
      # 請改成自己的 kafka server 位置                                                                                                                          
      KAFKA_BROKERCONNECT: b-1.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:9092
      JVM_OPTS: "-Xms128M -Xmx256M"
      SERVER_SERVLET_CONTEXTPATH: "/"
      SERVER_PORT: 9000
  
  # 這個就是我們今天的主角之一 debezium
  connect:
    image: debezium/connect
    container_name: connect
    restart: always
    ports:
      - 8083:8083
    environment:
      GROUP_ID: debezium
      # 給定我們剛剛手動建立的兩個 topic 名稱
      CONFIG_STORAGE_TOPIC: db-connect-config
      OFFSET_STORAGE_TOPIC: db-connect-offset
      # 換成自己的 kafka servers
      BOOTSTRAP_SERVERS: b-1.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:9092,b-2.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:9092

      # 這邊參數是這次我依照遇到的問題修改後的,可選
      OFFSET_FLUSH_TIMEOUT_MS: 60000  # default 5000
      OFFSET_FLUSH_INTERVAL_MS: 15000  # default 60000
      MAX_BATCH_SIZE: 32768  # default 2048                                                                                                    
      MAX_QUEUE_SIZE: 131072  # default 8192
      KAFKA_PRODUCER_MAX_REQUEST_SIZE: 10485760
      CONNECT_PRODUCER_MAX_REQUEST_SIZE: 104857600
      HEAP_OPTS: '-Xms4g -Xmx4g'  # default '-Xms1g -Xmx1g'

debezium 連結 PostgreSQL

請先找出剛剛起 debezium 的機器位置,接下來會直接使用 debezium 的 restful api 來設定 connector

// PUT ,可以使用 postman 咖方便
// hostname 換成機器位置
// connector name 換成你為這個 connector 取的名子,好辨識用
// http://<hostname>:8083/connectors/<connector_name>/config

{
     "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
     "tasks.max": "1",
     // 換成你的 db 位置
     "database.hostname": "<your_db>.xxxxxx.ap-southeast-1.rds.amazonaws.com",
     "database.port": "5432",
     // 換成我們一開始為 debezium 建立擁有 replication 權限的帳號密碼
     "database.user": "<user_name>",
     "database.password": "<password>",
     // 換成你要串出來的目標 db 名稱
     "database.dbname" : "<your_db>",
     // 自己取一個能辨識的來源名稱,之後會變成 topic 的前綴
     "database.server.name": "<server_name>",
     // 換成你要串出來的目標 db 名稱
     "database.whitelist": "<your_db>",
     // 換成要串出來的表名稱,可以有很多個,用逗號分隔
     "table.whitelist": "public.<table_name>,public.<table_name>,public.<table_name>",
     // 換成自己的 kafka servers
     "database.history.kafka.bootstrap.servers": "b-2.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:9092,b-1.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:9092,b-3.kafka.xxxxxx.c3.kafka.ap-northeast-1.amazonaws.com:9092",
     // 換成你要串出來的目標 db 名稱
     "database.history.kafka.topic": "schema-changes.<your_db>",
     // 如果是 RDS,用此,否則用 wal2json
     "plugin.name": "wal2json_rds_streaming",
     // 這邊給定 never 有特殊涵義,後面會解釋
     "snapshot.mode": "never",
     // 如果欄位中有 decimal,必須宣告在此,串出來的資料才會正確
     "decimal.handling.mode": "double",
     "database.tcpKeepAlive": true
  }

到 kafdrop 檢查結果

此時隨便在有串出來的資料表中 insert 一筆資料,切到剛剛一起建立的 kafdrop 看看有沒有新的 topic 出現,順便檢查資料內容,就能確定是否成功囉!

Kafka + Debezium 串流 DB - 實戰步驟
首頁上方可以看到目前 kafka nodes 的狀況
Kafka + Debezium 串流 DB - 實戰步驟
首頁下方會列出目前的 topics
Kafka + Debezium 串流 DB - 實戰步驟
點 topic 可以進入詳細頁面,了解目前 topic 的狀況

實用指令大全

kafka 相關 shell 指令

# 建立 topic
kafka-topics.sh --zookeeper z-1.dev-kafka.xxxx.c3.kafka.ap-southeast-1.amazonaws.com:2181 --create --topic test --partitions 1 --replication-factor 1

# 刪除 topic
kafka-topics.sh --zookeeper z-1.dev-kafka.xxxx.c3.kafka.ap-southeast-1.amazonaws.com:2181 --delete --topic test

# list topic
kafka-topics.sh --zookeeper z-1.dev-kafka.xxxx.c3.kafka.ap-southeast-1.amazonaws.com:2181 --list

# describe topic
kafka-topics.sh --zookeeper z-1.dev-kafka.xxxx.c3.kafka.ap-southeast-1.amazonaws.com:2181 --describe --topic db-connect-offset

# send message
echo "test 1" | kafka-console-producer.sh --broker-list b-2.dev-kafka.xxxx.c3.kafka.ap-southeast-1.amazonaws.com:9092 --topic test

# 調整已建立的 topic partition
kafka-topics.sh --zookeeper z-1.dev-kafka.xxxx.c3.kafka.ap-southeast-1.amazonaws.com:2181 --alter --topic 'connect-status' --partitions 2

Kafka re-assign replication

先確認目前狀態

kafka-topics.sh --zookeeper z-1.kafka.xxxx.c3.kafka.ap-northeast-1.amazonaws.com:2181 --describe --topic connect-status

Topic: connect-status   PartitionCount: 5       ReplicationFactor: 1    Configs: cleanup.policy=compact
        Topic: connect-status   Partition: 0    Leader: 1       Replicas: 1     Isr: 1
        Topic: connect-status   Partition: 1    Leader: 2       Replicas: 2     Isr: 2
        Topic: connect-status   Partition: 2    Leader: 1       Replicas: 1     Isr: 1
        Topic: connect-status   Partition: 3    Leader: 2       Replicas: 2     Isr: 2
        Topic: connect-status   Partition: 4    Leader: 1       Replicas: 1     Isr: 1

準備 replication 設定檔 increase-replication-factor.json

{"version":1,
  "partitions":[
     {"topic":"connect-status","partition":0,"replicas":[1,2]},
     {"topic":"connect-status","partition":1,"replicas":[1,2]},
     {"topic":"connect-status","partition":2,"replicas":[1,2]},
     {"topic":"connect-status","partition":3,"replicas":[1,2]},
     {"topic":"connect-status","partition":4,"replicas":[1,2]}
]}

載入

kafka-reassign-partitions.sh --zookeeper z-1.kafka.xxxx.c3.kafka.ap-northeast-1.amazonaws.com:2181 --reassignment-json-file increase-replication-factor.json --execute

debezium 常用 restful api

修改 connector conifg,若不存在則建立
PUT http://<hostname>:8083/connectors/<connector_name>/config

刪除 connect
DELETE http://<hostname>:8083/connectors/<connector_name>

查看已創立的 connector
GET http://<hostname>:8083/connectors/

查看對應的 connector 配置訊息
GET http://<hostname>:8083/connectors/<connector_name>

查看對應的 connector 狀態
GET http://<hostname>:8083/connectors/<connector_name>/status

Troubleshooting

串接 debezium 的過程中遇到各種稀奇古怪的問題,一次在這邊集合起來,希望對你有幫助

Failed to flush, timed out while waiting for producer to flush outstanding 509 messages

debezium offset timeout 參數調大,batch, queue 調大,記憶體調大。在 debezium 的 docker compose 加入以下環境變數

OFFSET_FLUSH_TIMEOUT_MS: 60000  # default 5000
OFFSET_FLUSH_INTERVAL_MS: 15000  # default 60000
MAX_BATCH_SIZE: 32768  # default 2048
MAX_QUEUE_SIZE: 131072  # default 8192
HEAP_OPTS: '-Xms2g -Xmx2g'  # default '-Xms1g -Xmx1g'

解法參考:
https://stackoverflow.com/questions/49868753/debezium-flush-timeout-and-outofmemoryerror-errors-with-mysql
參數定義:
https://debezium.io/documentation/reference/development/engine.html

NOT_ENOUGH_REPLICAS

如果一開始沒有預先為 debezium 設定他本人所需的 topic,就會在 log 看到這個問題,請看 預先建立 debezium 本人所需的 topic

解法參考:
https://medium.com/searce/realtime-cdc-from-mysql-using-aws-msk-with-debezium-28da5a4ca873

資料太多,第一次插上 connector 跑很久

PUT connect config 的參數裡面加

"snapshot.mode": "never"

請看 debezium 連結 PostgreSQL。這問題主要是原始資料表資料非常多。一開始 debezium 預設的模式是 initial,他會把目前表中所有的資料都倒入 kafka,如果表很大,就會跑到天荒地老。所以我們這邊改成 never,設定完 connector 只有該表有變動,才會開始串新的資料到 kafka。如果舊有資料不 care,就可使用 never。

參數定義:
https://debezium.io/documentation/reference/1.1/connectors/postgresql.html#snapshots

No partition metadata for topic

目前研究沒招,只能直接刪掉 kafka 所有的 topic。照理說正常使用不會遇到這個問題,當時遇到的時候可能是不斷嘗試各種設定導致的副作用吧!

解法參考:
https://blog.csdn.net/weixin_34376562/article/details/94612083

db 欄位資料如果是 decimal ,kafka 傳來的資料會錯誤

PUT connector config 的參數裡面加

"decimal.handling.mode": "double"

解法參考:
https://blog.csdn.net/u012551524/article/details/83546765

Database connection failed when writing to copy

PUT connector config 的參數裡面加

"database.tcpKeepAlive": true

The message is 1886584 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

在 debezium docker-compose 加以下環境變數

AFKA_PRODUCER_MAX_REQUEST_SIZE: 10485760       
CONNECT_PRODUCER_MAX_REQUEST_SIZE: 10485760

在 MSK config 加這個

message.max.bytes=104857600

如果是用 docker-compose 起的 kafka,則加這個環境變數

KAFKA_MESSAGE_MAX_BYTES: 104857600

解法參考:
https://stackoverflow.com/questions/46647337/kafka-confluent-producerconfig-change-default-max-request-size-using-docker-ima

out of memory

如果遇到此錯誤

2018-03-27 11:37:46,307 ERROR  Postgres|dbz|records-stream-producer  unexpected exception while streaming logical changes   [io.debezium.connector.postgresql.RecordsStreamProducer]

org.postgresql.util.PSQLException: ERROR: out of memory

  Detail: Cannot enlarge string buffer containing 1073741746 bytes by 1013 more bytes.

  Where: slot "debezium", output plugin "wal2json", in the change callback, associated LSN 8/5A721C

如果是使用 RDS,PUT connector config 的參數修改為以下

"plugin.name": "wal2json_rds_streaming"

如果發生 LSN 太小的問題

如果看到以下 log

2020-11-17 03:17:17,668 INFO Postgres|xxxx|postgres-connector-task Streaming requested from LSN 12049144886512 but received LSN 12046475487160 that is same or smaller so skipping the message [io.debezium.connector.postgresql.connection.AbstractMessageDecoder]

先透過 debezium restful api 刪掉 connector,然後進 db shell 刪掉 slot,再建立 connector

# 檢查有什麼 slot
SELECT * FROM pg_replication_slots ;
 slot_name |  plugin  | slot_type |  datoid  | database | active | active_pid | xmin | catalog_xmin | restart_lsn  
-----------+----------+-----------+----------+----------+--------+------------+------+--------------+--------------
 debezium  | wal2json | logical   | 57326135 | xxxx       | t      |      11640 |      |    275315499 | AFC/EAE14CC0
 
# 刪除掉 slot
select pg_drop_replication_slot('debezium');

這問題目前看來是 debezium 內部 bug 導致,後來升級到最新版就不會再發生了

replication slot already exists

如果在同一台 DB instance 裡開啟一個以上的 debezium connector,就必須對每個 connector 給定 slot name(預設名稱為 debezium)

PUT connect config 的參數裡面加

"slot.name" : "<your slot name>"

Couldn’t obtain encoding for database

如果打 PUT or POST connect config 得到以下回覆訊息,表示 db 可能有防火牆擋住,或是 db 帳密錯誤,或者使用的 db 帳號對該 database 沒有權限導致。

{
    "error_code": 500,
    "message": "Couldn't obtain encoding for database xxxx"
}

結語

設定真的是非常的複雜啊!但設定完後就可以享受鬆耦合帶來的好處!希望大家都能夠順利架設!

相關文章

Kafka + Debezium 串流 DB – 原理介紹

封面圖片備註

單純只是搜尋 streaming 發現這張圖蠻妙的,就放上來了XD
攝影師:Photography Maghradze PH,連結:Pexels

Continue reading
Share:
AWS

拯救脆弱系統 – 使用 CloudFront 轉址

2020-10-11 by J No Comments

在「架構重整 – 使用 Route 53」中有提到,為了將案例中的主要網域 xxxx.com 轉址到 www.xxxx.com,我採用了 CloudFront 的方式來實現。主要是不想另外再用一個 nginx 負責轉址(需要額外的設定與維護),傾向使用 AWS 原生服務來完成,減少管理的資源。實現的方式也很簡單,只需要一個 S3 bucket,前面掛上 CloudFront,並到 Route 53 做對應設置即可。同時也使用 AWS 提供的 SSL 簽證,再也不用花冤望錢繳保護費了!

建立 S3 bucket

  1. 到 S3 建立一個 bucket,名字要和所需轉址的網域完全相同。比如說我們要轉的網址為 koding.work,就到 S3 中建立一個名稱為 koding.work 的 bucket
  2. 到 bucket 中的 Properties > Static website hosting,勾選 Redirect requests,在 Target bucket or domain 中填入 www.koding.work (目標網域),protocol 填入 https
架構重整 - 使用 CloudFront 轉址

建立 CloudFront

  1. 到 CloudFront,點 Create Distribution 建立新的集群
  2. Origin Domain Name 點擊後,會出現下拉選單,要選 xxxx.xxxx..s3-website-xxxxx.amazonaws.com 的 bucket,以這邊來說我們選擇 www.koding.work.s3-website-ap-northeast-1.amazonaws.com
拯救脆弱系統 – 使用 CloudFront 轉址
  1. 往下拉到 Distribution Settings 的部分,Alternate Domain Names (CNAMEs) 填入我們欲轉址的網域,於是填入 koding.work
  2. SSL Certificate 的部分,要先去 AWS Certificate Manager 建立一個 koding.work 的 SSL 憑證,再到這裡勾選 Custom SSL Certificate (example.com),並在下拉選單中選擇 SSL 憑證
架構重整 - 使用 CloudFront 轉址

5. 按 Create Distribution,等候一段時間就完成!

原理解釋

這邊解釋一下上述步驟的原理。

第四步的部分,因為我們是使用 S3 的 static website hosting,而不是只使用他的 bucket,所以 CloudFront 在選擇的時候,要選擇網域中有 s3-website 字眼的特殊 S3 網域為目標。

第五步的部分,因為我們希望使用者輸入 koding.work 的時候可以透過 DNS 指到這個 CloudFront 集群,所以需要特別設定進去,CloudFront 才會知道所對應的 CNAME 網域。

第六步的部分,我們希望無論是 http://koding.work 或是 https://koding.work 都能順利進入 CloudFront,所以需要為他掛上 SSL 憑證。使用 AWS 提供的憑證不需要額外付費,佛心來的一定要使用!

腦中測試

設定完畢後,我們來走一次各種情況的轉址流程。

情況一:使用者輸入 http://koding.work

  1. 透過 Route 53 得知,要指向我們設立的 CloudFront,此時走 HTTP
  2. 透過 CloudFront,proxy 到名稱叫做 koding.work 的 S3 Bucket static website hosting
  3. 透過 S3 的設定得知,要轉向 https://www.koding.work

情況二:使用者輸入 https://koding.work

  1. 透過 Route 53 得知,要指向我們剛剛設立的 CloudFront,但此時走 HTTPS!
  2. 透過 CloudFront ,proxy 到名稱叫做 koding.work 的 S3 Bucket static website hosting
  3. 透過 S3 的設定得知,要轉向 https://www.koding.work

如果我們沒有為 CloudFront 掛上 koding.work 的 SSL 簽證,走到第二步的時候,瀏覽器就會報錯表示簽證驗證失敗!這樣就不能到 S3 那邊進行轉址了!

透過 AWS 的 S3、CloudFront 和 Certificate Manager,我們就能簡單完成網域轉址的問題,不但不用自己管理轉址服務,還能使用免費的 SSL 簽證,實在完美!

延伸閱讀:
拯救脆弱系統 – 使用 Route 53
拯救脆弱系統 – 使用 ELB 與 Docker

Continue reading
Share:
AWS

拯救脆弱系統 – Route 53 設置

2020-10-11 by J No Comments

在「架構重整 – 使用 ELB 與 Docker」中,已經完整描述我如何從 legacy sysytem 轉移至使用 Docker 和 ELB 來建立可用性高的系統架構,但其中沒有提到 Route 53 的設定,因此這邊詳細補充說明一下如何設定 Route 53,以及為何要使用 Route 53。

Route 53 也是 AWS 服務之一,他其實就是 DNS (Doman Name System),可能有人會好奇說,如果是在 Godaddy 等網域公司購買網域,都會附上免費的 DNS 服務,為何需要轉移到 AWS 上面?

為何需要使用 Route 53

架構重整 - Route 53 設置

假設今天沒有使用 ELB,我認為沒有轉移的必要性,但如果使用 ELB,真的必須做轉移,為什麼?

AWS 提供的 ELB 服務對外的 IP 基本上是不固定的,因為 AWS 會使用多台 instance 來建立高可用的 ELB,同時用此架構來抵擋外界的 DDoS 等攻擊。所以當你今天開啟一台 ELB,你只會拿到  ELB 的 domain name,像是這樣

xxxxxxxx.ap-northeast-1.elb.amazonaws.com

在 Godaddy DNS 設定頁面中,A record 只能填寫 IP 而不能寫入網域。CNAME record 雖然能填入網域,卻不能用在 @ (主要紀錄)中。以 koding.work 舉例:

  1. 如果我今天的 ELB 網域名稱是 koding-work-elb-12345.ap-northeast-1.elb.amazonaws.com
  2. 我到 Godaddy DNS 後台,只能設定 www.koding.work CNAME 到 kodiing-work-elb-12345.ap-northeast-1.elb.amazonaws.com (ELB)
  3. 但無法設定 koding.work CNAME 到 kodiing-work-elb-12345.ap-northeast-1.elb.amazonaws.com (ELB)
  4. 想要設定 koding.work A,但後面只能填 ip,所以也不能使用
  5. 想要設定 koding.work CNAME 到 www.koding.work,也會被拒絕
  6. 結論,koding.work 為主網域,只能設定 A record,不能設定 CNAME,所以只有 ip 才能做指向

導致主要網址 koding.work 並不能指向到 ELB,也不能透過 DNS 指向到 www.koding.work,除非要另外使用 nginx 等設置做手動轉址,但這樣管理上會非常繁複。

如果轉移到 Route 53,他的後台可以在設定 A record 的時候,直接指定哪一個 AWS 資源,如我們的目標 ELB,或是 CloudFront、S3 等等。這樣設定上就會很單純且直覺,沒有透過 hack 的手法下去作轉換,所有指向的功能都在 Route 53 中解決。

如何從 Godaddy DNS 改成使用 Route 53

要作轉換也很簡單,先到 Route 53 中開啟一個新的 host zone,填入目標網域名稱。接著到 Godaddy DNS 後台,選擇「使用自訂名稱伺服器」,依序把 Route 53 提供的 NS record 填入 Godaddy 後台中並儲存。由於要將設定散佈到世界各地的伺服器中,完全生效需要幾分鐘的時間。

架構重整 - Route 53 設置
從 Route 53 中取得 NS record
拯救脆弱系統 – Route 53 設置
將 Route 53 的 NS record 貼到 Godaddy 中

實際轉移案例分享

在當時的案例中,情況與我上面的假設略有出入,該案例主要使用的網域為 www.xxxx.com,所以我一開始在做 migrate 的時候,順序是這樣:

  1. 我先開啟了 ELB,並到 godaddy 中把 www.xxxx.com 的 CNAME 設定到 ELB  的網域(原本 CNAME 是指向 xxxx.com)
  2. 原先的 xxxx.com A record 保留舊有 EC2 ip
  3. 使用者如果輸入 www.xxxx.com,會直接進入 ELB 中
  4. 使用者如果輸入 xxxx.com,會先進入舊有 EC2 中,透過 EC2 中的 nginx rewrite 轉址成 www.xxxx.com,再進入 ELB
架構重整 - Route 53 設置
過渡狀態的轉址方式,左邊可以直接進 ELB,右邊則需要先透過舊的 EC2 nginx 轉址

在我逐步要把舊 EC2 廢除時,就發現會遇到 xxxx.com 沒辦法妥善轉址的問題!因此那時的策略是

  1. 先將 DNS 轉移到 Route 53
  2. 設定 CloudFront 負責原先舊 EC2 中 xxxx.com 轉 www.xxxx.com 的任務(可參考 拯救脆弱系統 – 使用 CloudFront 轉址)
  3. 將 Route 53 中 xxxx.com 的 A record 指向 CloudFront
  4. 測試 ok 後逐步把舊 EC2 拔掉
架構重整 - Route 53 設置
最終的轉址方式

到這裡就算是完成了 ELB 轉移的過程,可以放心讓系統自生自滅了(誤)!

延伸閱讀:
拯救脆弱系統 – 使用 CloudFront 轉址
拯救脆弱系統 – 使用 ELB 與 Docker

參考資料:
Route53 AWS 官方文件

封面圖片備註:
我知道圖片裡是 Route 66,只是懶得P圖,直接使用了XD

Continue reading
Share:
AWS

拯救脆弱系統 – 使用 ELB 與 Docker

2020-10-03 by J No Comments

完成 DB migrate to RDS 後,現在的挑戰是要逐步拆解掉舊的 api server。這邊我們將會使用 docker 包裝原來的單塊系統 code base,並搭配 aws 的 ELB (Elastic Load Balancer) 中的 ALB (Application Load Balancer)。先讓我們來了解一下修改前的架構。

原始架構

這邊以簡單示意為主,原先架構有兩台 EC2,第一台會對外接收所有的 request,然後透過 nginx 去依照 path rule 來作分流,一部份本機處理掉,一部分往下送至第二台 EC2 處理。兩台 EC2 都使用相同的單塊 code base 透過 tmux 啟動多 process,每個 process 給定不不同的 port,讓 nginx 可以分流到對應的 process。

架構重整 - 使用 ELB 與 docker
原始 EC2 整體架構圖
架構重整 - 使用 ELB 與 docker
nginx 分流圖

目前這樣的做法有幾個缺點:

  1. 使用 tmux 起 process 在前景,如果沒有一直盯著,很難知道他還是不是活著。如果死掉了必須要人工進去手動重啟
  2. tmux 等於負擔了所有進程的存活,如果他死了,全部都死了
  3. 有多少個 process 就有多少個 port,但沒留下 port 派發的規範。如果增加刪減 process,都必續到第一台手動修改 nginx configuration,並 reload 才能生效
  4. 起 process 的指令非常長,如果一時間死掉或是要調整,都需要回去看筆記
  5. 第一台重要性非常高,除了和第二台一樣負責 api server,他還負責分流,如果當機或被攻擊,後面的第二台並不能立刻補上,可用性不高

過渡期架構

於是在有限的修改時間內,我的計畫如下:

  1. 將原來的單塊系統 dockerize,使用 docker-compose 來啟動,把參數明文記錄下來並 git 版控
  2. 參考舊有的分流方法,重新設定 port 配置規範給各個 container
  3. 最終起至少兩台 EC2,都跑一模一樣的 containers。前面檔著 ALB (ELB 的一種),透過 path rule 來分流到不同的 containers
  4. 過渡期時,ALB 會導流到舊的和新的 EC2(一開始先只跑一台調參數),並逐步調大分流到新的 EC2 比例。
架構重整 - 使用 ELB 與 docker
過渡期 EC2 架構圖
架構重整 - 使用 ELB 與 docker
過渡期 ELB 分流圖

這樣設計有幾個好處:

  1. 新的兩台 EC2 起的 containers 完全一樣,比如說 new EC2 A 起了兩個 app api container,一個 web api container,另一台 new EC2 B 也是一樣的起法,如果其中一台掛掉,另一台還能繼續擋著,雖然處理能力剩下一半,但至少提供了緩衝時間讓我們來處理。
  2. 如果想要增加 app api container,只需要將 docker-compose yaml 中一樣的 setting 複製一塊再貼上,port 遞增即可。
  3. 如果需要手動重啟,只需要使用 docker-compose -f <yml file> restart 即可,統一且好記
  4. 如果 container 死掉,它會自動重啟復活。
  5. 前面使用 ALB 來作分流,一方面如果需要調整 path rule,只要透過 aws web console 就可以處理。明確且容易。
  6. 如果遇到 DDoS 攻擊,ALB 也可以先幫我們擋下來,且對外 ip 再也不是我們的 api server 的 EC2,可以增加安全性。

但也有幾個缺點:

  1. 如果想要增加 container,如 app api container,需要進去 EC2 裡面修改 yml 檔,並手動 docker-compose up -d,讓他建立新的 container,然後還需到 ALB 那邊增加 target group,如此 ALB 才會導流到新的 container。這些操作需要時間且人工。
  2. 雖然 ALB target group 有設定 health check,但無法再 check fail 的時候重啟 container,只能不分流過去。如此雖然可避免 request 導流到壞掉的 container,但負載能力卻會逐步下降,只能人工監控並手動重啟。

如果直接使用 kubernetes 來管理的話會有更多的好處:

  1. 他可以自動管理 container 要在哪個節點
  2. 他可以自動依照負載來伸縮 container 的數量
  3. 不需要再人工設定一堆 port 給 container,只需要使用他裡面的 service 類,就可以簡單無腦的直接下指令讓他伸縮
  4. 它內建 health check,如果發現 container 不健康,會直接殺掉並建立一個新的來取代他

其實我的做法也是參考了 kubernetes 的概念來設計,但時機因素無法架設 kubernetes,只好直接使用目前最熟悉的 docker-compose 來處理。

困難點與解法

不過原來的設計有幾個難處需要克服

  1. 兩台的設定檔不一致
  2. 據前人留下的說法,目前最外面的 EC2 還保留在 ubuntu 12.04 是因為 pdf 套件有系統依賴
  3. 有些使用者上傳的檔案還放在 local 沒有到 s3,所以有些 process 必須跑在前面的第一台 EC2,如果跑在第二台,就會找不到檔案

第一項,不知道是管理上的問題還是需求,兩台設定檔竟然不一致!所以我只能一行行比對,幸好只是缺漏並不是相衝的設定值,於是我取聯集,重新整理成一份設定檔,並透過 volume 的方式掛入 container。

第二項,關於 pdf 套件的問題,其實我之前也有使用過,就是 wkhtmltopdf,我的印像是他應該沒有依賴系統,於是我直接將單塊系統用 docker 包起來跑,發現並沒有異常,可以正常執行,看來有可能是多次傳達後的誤會。

第三項最為麻煩,依我的設計,新的兩台 EC2 必須要能夠互相替補,所以他們必須是無狀態且一致的。如果有些檔案放在 local,就變成有狀態的 conainer,將會大幅增加調配的難度!

所幸 kubernets 裡面也有為這種情況著想,他有一種 volume,是可以掛 AWS 的 EBS (Elastic Block Store) 或 EFS (Elastic File System),提供給有狀態的 container 使用,如 mongo 等等 db,可以將資料寫入 volume,就算他死掉了,重建後資料還會存在。

但 EBS 和 EFS 有所差異,EBS 只能依附在其中一台 EC2 上,意味著如果有多個 container 要存取,他們就只能跑在同一台 EC2,會降低可用性。而 EFS 概念就是網路硬碟,只要是在同一 region 下的 EC2 都可以存取!如此就能自由調度 container 到不同的 EC2 上來執行!

借鏡了這個概念,我調整了設計,同時掛載 EFS 到舊有和新的 EC2 host 上,docker 的部分 再透過 volume 的方式掛入 container,讓她們都能共享同樣的 local files。

架構重整 - 使用 ELB 與 docker
使用 EFS 來解決檔案還在 localhost 的問題

經過實測,可行!只是在 ubuntu 12.04 要掛上 EFS 比較不容易,詳細可參考 EFS 攻略。

最後遇到的問題是,當時還有很多前端的 code 都是放在單塊系統,透過 nginx 來提供給 client。目標是要把前端的 code 放到 s3,但這部分需要更多的時間讓前端去調整,所以應急的方法是如下

  1. 同樣的 code base 另外使用 nginx image 包成一份 image 並起 container
  2. nginx 的設定檔從舊有的 copy 過來,但 root path 要調整成 container 裡面的路徑
  3. ALB 導流規則使用刪去法,先把 api 有關的路徑都過濾掉,剩下的就是前端 SPA 等路由,全部導入 nginx container,讓他去 try files 抓前端的 code 來處理

最終架構

不斷地踩坑和調整,最終的架構圖如下:

架構重整 - 使用 ELB 與 docker
最終架構圖

數月的實測結果,系統果然穩定下來,如果有錯誤我們也相當好調整,比之前的黑盒子好搞數倍。同時也能使用 jenkins 來做 CD,上版不需要再進入 EC2 裡面下指令,真是一個順暢愉快!

最後還是希望能夠完整轉移到 kubernetes 來自動化管理,釋放我們的管理時間!

延伸閱讀:拯救脆弱系統 – Route 53 設置

參考資料:
Create an Application Load Balancer
Target groups for your Application Load Balancers
使用 amazon-efs-utils 工具
安裝 Amazon EFS 文件系統自動

封面圖片備註:要維持系統的穩定度,架構真的很重要!

Continue reading
Share:
Page 1 of 212»

About me

author j

J

雖然大學唸的是生物,但持著興趣與熱情自學,畢業後轉戰硬體工程師,與宅宅工程師們一起過著沒日沒夜的生活。之後憑著一股傻勁與朋友創業,再度轉戰軟體工程師,一手扛起前後端、雙平台 app 開發,過程中雖跌跌撞撞,卻也累計不少經驗。

可惜不是那 1% 的成功人士,於是加入其他成功人士的新創公司,專職開發後端。沒想到卻在採前人坑的過程中,拓寬了眼界,得到了深層的領悟。...more

Categories

  • Angular (5)
  • Arduino (5)
    • ESP32 (2)
    • Raspberry Pi Pico (3)
  • AWS (15)
  • Blockchain (11)
  • Deep Learning (16)
    • LLM (2)
    • Stable Diffusion (9)
  • DevOps (22)
  • Frontend (6)
  • Golang (1)
  • Kafka (2)
  • Python (13)
  • Raspberry Pi (32)
    • Banana Pi (3)
    • Jetson Nano (2)
    • Odroid HC4 (4)
    • Rock Pi (6)
  • RetroArch (2)
  • ROS (2)
  • Wordpress (10)
  • 健身 (1)
  • 創客計畫 (15)
    • AI 神經網路自走車 (8)
    • 智慧家居 (7)
  • 好物推薦 (1)
  • 旅行 (2)
    • 峇里島 (2)
  • 說人話的名詞解釋 (3)
  • 那些踩過的坑 (8)
  • 開發哲學 (3)
  • 閱讀筆記 (4)
  • 面試策略 (2)

© 2023 copyright KodingWork  All rights reserved