叩頂窩客 - KodingWork
  • Stable Diffusion
  • Blockchain
  • Arduino
    • ESP32
    • Raspberry Pi Pico
  • Raspberry Pi
    • Raspberry Pi
    • Odroid HC4
    • Banana Pi
  • 創客計畫
    • AI 神經網路自走車
    • 智慧家居
  • Python
  • AWS
  • 開發哲學
  • 關於作者 J
Stable Diffusion
Blockchain
Arduino
    ESP32
    Raspberry Pi Pico
Raspberry Pi
    Raspberry Pi
    Odroid HC4
    Banana Pi
創客計畫
    AI 神經網路自走車
    智慧家居
Python
AWS
開發哲學
關於作者 J
叩頂窩客 - KodingWork
  • Stable Diffusion
  • Blockchain
  • Arduino
    • ESP32
    • Raspberry Pi Pico
  • Raspberry Pi
    • Raspberry Pi
    • Odroid HC4
    • Banana Pi
  • 創客計畫
    • AI 神經網路自走車
    • 智慧家居
  • Python
  • AWS
  • 開發哲學
  • 關於作者 J
Deep Learning•智慧家居

如何優化 Face Recognition 套件的人臉辨識?

2021-11-16 by J No Comments

上一篇我們討論如何使用 Face Recognition 快速做一個人臉辨識系統,但使用預設參數的情況下可能無法完全符合實際需求,這邊分享一些參數調教的方法,讓大家的辨識系統可以更完美!

如何儲存 Face Encoding 加速載入?

以先前的做法,每次要辨識人臉前,我們都必須把已知人臉的圖片載入後做 encoding,如果程式跑在如 Raspberry pi 等效能較差的終端設備是相當浪費資源的!其實我們可以直接把已知人臉的 encoding 存起來,需要時再讀入使用。 python 內建的 pickle 模組就可以達成這個需求!

我們引入 pickle,把上一篇我們得到的特徵向量資料直接送入 dump,就能將其存入根目錄下的 face.dat 檔。

import pickle

with open('faces.dat', 'wb') as f:
    pickle.dump(known_face_list, f)

下次需要使用時,直接透過 pickle.load() 就能還原!比 json 還方便啊!

with open('faces.dat', 'rb') as f:
    known_face_list = pickle.load(f)

發現有時會誤判人臉?改用 CNN 模型

Face Recognition 預設辨識人臉位置的模型是 HOG (Histograms of Oriented Gradients),原理是透過梯度資訊反應影象目標的邊緣資訊,並透過區域性梯度的大小將影象區域性的外觀和形狀特徵化。相對於 CNN 模型,實測發現 HOG 不太能抓到較小的人臉,或是因光影關係而誤判。此時可以考慮使用 CNN 來做偵測。

CNN 的缺點是需要較大的運算量,純 CPU 計算會比 HOG 慢相當多,建議在有 CUDA 的平台上使用(Face Recognition 支援 CUDA 加速)。

# 辨識臉部位址時,給定 model = 'cnn' 即可
cur_face_locs = face_recognition.face_locations(img, model='cnn')

簡單用以下 code 測試一下在 CPU 跑的速度差異

import time

for fn in test_fn_list:
    img = cv2.imread(fn)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    
    _t = time.time()
    
    face_recognition.face_locations(img) # use HOG model to detect face locations
    
    _t1 = time.time()
    
    face_recognition.face_locations(img, model='cnn') # use CNN model to detect face locations
    
    print(f'HOG: {round(_t1 - _t, 2)} secs, CNN: {round(time.time() - _t1, 2)} secs') 

結果如下 (Macbook 2020 / i5 2Ghz)

測試檔案HOGCNN
孫藝珍-t1.jpeg0.18s3.47s
孫藝珍-t2.jpeg0.16s3.19s
孫藝珍-t3.jpeg0.19s3.93s
玄彬+孫藝珍.jpeg0.41s10.14s

準確度不夠?增加特徵點數量

如果發現誤判未知人臉的機率太高,可以增加 encoding 時使用的特徵點數量。

Face Recognition 預設使用 small(5 個特徵點),可以改用 large(68 個特徵點)測試看看。

# 取得臉部特徵向量時,給定 model = 'large' 即可
cur_face_encodes = face_recognition.face_encodings(img, cur_face_locs, model='large')

驗證一下是否有差,我們來讓電腦辨識 李帝勳 和 潘瑋柏 看看!

辨識圖片如下(照片取自李帝勳 or 潘瑋柏 facebook or 官網):

已知人臉圖片組:

左:lee.jpg,右:pan.jpg

如何優化 Face Recognition 套件的人臉辨識?
如何優化 Face Recognition 套件的人臉辨識?

未知人臉測試圖片組:

左:lee-t1.jpg, 右:lee-t2.jpg

如何優化 Face Recognition 套件的人臉辨識?
如何優化 Face Recognition 套件的人臉辨識?

左:pan-t1.jpg,右:pan-t2.jpg

如何優化 Face Recognition 套件的人臉辨識?
如何優化 Face Recognition 套件的人臉辨識?

結果如下表,pan-t1.jpg 雖然拉高了特徵值數量,演算法還是判斷錯誤,敗給長相相似。不過如果從「區分」人臉的角度來看,拉高特徵值數量時與正確已知人臉距離變近,同時距離差上升,所以還是有增加辨識能力。

測試檔案特徵值數量辨識結果與李帝勳距離與潘瑋柏距離距離差
lee-t1.jpg5李0.40140.44670.0453
68李0.37770.46140.0837
lee-t2.jpg5李0.31710.53300.2159
68李0.30330.55450.2512
pan-t1.jpg5潘0.45010.33950.1106
68潘0.46790.29460.1733
pan-t2.jpg5李0.38220.39570.0135
68李0.38970.40470.0150

試試看這些方法來調教你的人臉辨識系統吧!如果你也有什麼好方法來調教的話歡迎在下面留言讓我知道。如果覺得我文章內容對你有幫助的話,請在文章後面幫我按 5 個讚!讓我知道大家都喜歡什麼內容哦!

範例原始碼在此下載:github

延伸閱讀:
使用 Face Recognition 套件快速建立自己的人臉辨識系統!
用 MotionEye + Raspberry pi 做一個網路監控系統吧!

Continue reading
Share:
Deep Learning•智慧家居

使用 Face Recognition 套件快速建立自己的人臉辨識系統!

2021-11-02 by J No Comments

Face Recognition 是在 github 上開源的 python library,作者透過包裝 dlib 的方式來實現快速且簡單的人臉辨識開發,同時提供已經訓練好的 CNN 人臉偵測模型、resnet 人臉辨識模型,開發者只需要準備好想要辨識的人臉圖片,就可以簡單用幾行 code 實現!就讓我們一起來看看怎麼做吧!

開發前準備

首先安裝所需套件

  1. OpenCV-python:我們使用它來載入圖片或影片
  2. numpy
  3. face-recognition:今日主角
  4. Pillow
pip install opencv-python numpy face-recognition pillow

如何使用 Face Recognition 建立人臉辨識?

Step 1:準備已知和未知的人臉圖片

準備好已知的人臉圖片,最好是一張只有一個人臉,且足夠清晰,這樣我們下一步轉成特徵向量比較方便。同時準備一些「未知」的人臉圖片,用來測試人臉辨識的結果。

為了讓大家在學習的時候眼睛也很舒服,找了帥哥美女的圖片來做練習,分別是

孫藝珍!

使用 Face Recognition 套件快速建立自己的人臉辨識系統!
孫藝珍.jpeg

以及玄彬!!

使用 Face Recognition 套件快速建立自己的人臉辨識系統!
玄彬.jpeg

欣賞完畢後,我們立刻開始吧!

Step 2:將已知人臉轉成特徵向量

我們分別將上述兩張圖片分別命名為「玄彬.jpeg」和「孫藝珍.jpeg」,放在與 notebook 同一個目錄中

在 notebook 一開始先 import 必要的 library

import cv2
import numpy as np
import face_recognition

先宣告一組 data,用來存放已知人臉姓名、檔案路徑以及特徵向量

known_face_list = [
    {
        'name': 'Hyun Bin',
        'filename': '玄彬.jpeg',
        'encode': None,
    },
    {
        'name': 'Son Ye Jin',
        'filename': '孫藝珍.jpeg',
        'encode': None,        
    },
]

接下來我們用 OpenCV 將圖檔讀入後,透過 face recognition 轉成特徵向量塞入剛剛宣告的 data,讓之後步驟可以使用。

其中特別解說一下,如果圖中有多個人臉,方法 face_encodings() 會回傳多個特徵值,如果沒有臉則回傳空陣列。為了寫法方便,已知人臉圖片須確保一張只有一個人臉,如此這邊取特徵值的寫法才不會出錯。

for data in known_face_list:
    img = cv2.imread(data['filename'])
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    data['encode'] = face_recognition.face_encodings(img)[0]

到這就已經把特徵值萃取出來,如果好奇長什麼樣子,可以試著印出看看,會發現是一大長串的數值陣列,他就是人臉的特徵向量。

>>> print(known_face_list)
[
  {
    'name': 'Hyun Bin', 
    'filename': '玄彬.jpeg',
    'encode': array([-8.83631632e-02,  6.91961050e-02,  2.87680216e-02, -5.09743392e-02,......]),
  },
  {
     'name': 'Son Ye Jin',
     'filename': '孫藝珍.jpeg',
     'encode': array([-0.04686793,  0.09257459,  0.03252909, -0.08914616, -0.0796747 ,....]),
  }
]

Step 3:辨識前準備

接下來準備三張孫藝珍的照片,以及孫藝珍和玄彬的合照,我們要來測試人臉辨識

使用 Face Recognition 套件快速建立自己的人臉辨識系統!
使用 Face Recognition 套件快速建立自己的人臉辨識系統!
使用 Face Recognition 套件快速建立自己的人臉辨識系統!
使用 Face Recognition 套件快速建立自己的人臉辨識系統!
test_fn_list = ['孫藝珍-t1.jpeg', '孫藝珍-t2.jpeg', '孫藝珍-t3.jpeg', '玄彬+孫藝珍.jpeg']

首先我們將 data 中的特徵向量先拉出來成一個陣列備用

known_face_encodes = [data['encode'] for data in known_face_list]

這邊的人臉辨識原理是拿未知人臉的特徵向量,一一去比對已知人臉的特徵向量距離,其中距離最接近的已知人臉名字就認為是未知人臉的主人。

使用 Face Recognition 套件快速建立自己的人臉辨識系統!
辨識結果回傳「已知人臉A」

但如果已知人臉中並沒有未知人臉的主人,這個演算法還是會依照距離最小值回傳一個人名,但並不是我們要的結果。

使用 Face Recognition 套件快速建立自己的人臉辨識系統!
辨識結果回傳錯誤的「已知人臉B」

所以我們需要設定一個 tolerance,當最短距離超過此值時,我們認定無法辨識,回傳 unknown。

tolerance = 0.6

Step 4:找出未知圖片中人臉的主人

準備完畢,我們正式進入辨識的程式區塊!

test_fn_list = ['孫藝珍-t1.jpeg', '孫藝珍-t2.jpeg', '孫藝珍-t3.jpeg', '玄彬+孫藝珍.jpeg']

for fn in test_fn_list:
    img = cv2.imread(fn)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    
    cur_face_locs = face_recognition.face_locations(img)
    cur_face_encodes = face_recognition.face_encodings(img, cur_face_locs, model='large')
    
    for cur_face_encode in cur_face_encodes:
        face_distance_list = face_recognition.face_distance(known_face_encodes, cur_face_encode)
        
        min_distance_index = np.argmin(face_distance_list)
        if face_distance_list[min_distance_index] < tolerance:
            result = known_face_list[min_distance_index]['name']
        else:
            result = 'unknown'
            
        print(f'辨識檔案: {fn}, 辨識結果: {result}')

接下來分程式區塊一一解釋:

首先迴圈透過 OpenCV 依序將未知人臉圖片從檔案中讀入。OpenCV 都會以「BGR」的方式讀入的圖片,因此我們要把它轉成「RGB」比較直覺,方便我們後續處理。

img = cv2.imread(fn)
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

接下來透過 face_recognition 的方法 face_locations() 先辨識出人臉的位置,再將此位置丟入 face_encodings() 中進行辨識。

這裡特別把 face_locations 獨立出來處理的原因是,後面我們會修改程式,利用這些位置座標來畫紅框。如果 face_encodings() 呼叫時沒有給定 location,函數內也會再呼叫一次 locations 方法來取位置,所以這樣寫不會比較耗費效能。

cur_face_locs = face_recognition.face_locations(img)
cur_face_encodes = face_recognition.face_encodings(img, cur_face_locs)

未知人臉圖片可能會有多張人臉,所以我們迭代所有未知人臉的特徵向量陣列,並透過 face_distance() 方法,將未知人臉特徵向量一次與所有已知人臉做特徵距離計算。

for cur_face_encode in cur_face_encodes:
    face_distance_list = face_recognition.face_distance(known_face_encodes, cur_face_encode)

透過 numpy 的方法 argmin 從特徵距離陣列中取出最小值的 index,再將最小距離值取出和 tolerance 比對。若小於 tolerance 表示辨識出人名,反之則 unknow。最後再印出結果。

    min_distance_index = np.argmin(face_distance_list)
    if face_distance_list[min_distance_index] < tolerance:
        result = known_face_list[min_distance_index]['name']
    else:
        result = 'unknown'
            
    print(f'辨識檔案: {fn}, 辨識結果: {result}')

解釋完畢,我們立刻來看看辨識結果

辨識檔案: 孫藝珍-t1.jpeg, 辨識結果: Son Ye Jin
辨識檔案: 孫藝珍-t2.jpeg, 辨識結果: Son Ye Jin
辨識檔案: 孫藝珍-t3.jpeg, 辨識結果: Son Ye Jin
辨識檔案: 玄彬+孫藝珍.jpeg, 辨識結果: Hyun Bin
辨識檔案: 玄彬+孫藝珍.jpeg, 辨識結果: Son Ye Jin

看起來蠻理想的!接下來我們將辨識結果畫上圖片看看!

Step 5:開始比對並繪製紅色方框

先準備好一個繪製紅色方框的 utility function,他接收 img 和 match_results,依序拉出裡面的 location 和 name 來繪製。

RED_COLOR = (200, 58, 76)
WHITE_COLOR = (255, 255, 255)

def draw_locations(img, match_results):
    for match_result in match_results:
        y1, x2, y2, x1 = match_result['location']
        cv2.rectangle(img, (x1, y1), (x2, y2), RED_COLOR, 2)
        cv2.rectangle(img, (x1, y2 + 35), (x2, y2), RED_COLOR, cv2.FILLED)
        cv2.putText(img, match_result['name'], (x1 + 10, y2 + 25), cv2.FONT_HERSHEY_COMPLEX, 0.8, WHITE_COLOR, 2)

小小改寫我們上一步的程式後段,依序找出未知人臉名字後,將結果與位置存入 match_results 陣列,最後一次呼叫 draw_locations() 並顯示。

from IPython.display import display
from PIL import Image

for fn in test_fn_list:
    match_results = []
    
    img = cv2.imread(fn)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    
    cur_face_locs = face_recognition.face_locations(img)
    cur_face_encodes = face_recognition.face_encodings(img, cur_face_locs)
    
    for cur_face_encode, cur_face_loc in zip(cur_face_encodes, cur_face_locs):
        face_distance_list = face_recognition.face_distance(known_face_encodes, cur_face_encode)
        
        min_distance_index = np.argmin(face_distance_list)
        if face_distance_list[min_distance_index] < tolerance:
            name = known_face_list[min_distance_index]['name']
        else:
            name = 'unknown'
            
        match_results.append({
            'name': name,
            'location': cur_face_loc,
        })
        
    draw_locations(img, match_results)
    display(Image.fromarray(img)) 

讓我們來看看結果

使用 Face Recognition 套件快速建立自己的人臉辨識系統!
使用 Face Recognition 套件快速建立自己的人臉辨識系統!
使用 Face Recognition 套件快速建立自己的人臉辨識系統!
使用 Face Recognition 套件快速建立自己的人臉辨識系統!

效果還不錯!這些簡單的 code 已經足夠開發自己的人臉辨識系統,並且 deploy 在 Raspberry Pi 之類的單板電腦上。但還有地方可以再優化!下一篇文章:如何優化 Face Recognition 套件的人臉辨識?將會分享我覺得可以調整的地方!如果覺得我文章內容對你有幫助的話,請在文章後面幫我按 5 個讚!讓我知道大家都喜歡什麼內容哦!

範例原始碼在此下載:github

延伸閱讀:
如何優化 Face Recognition 套件的人臉辨識?
用 MotionEye + Raspberry pi 做一個網路監控系統吧!

Continue reading
Share:

About me

author j

J

雖然大學唸的是生物,但持著興趣與熱情自學,畢業後轉戰硬體工程師,與宅宅工程師們一起過著沒日沒夜的生活。之後憑著一股傻勁與朋友創業,再度轉戰軟體工程師,一手扛起前後端、雙平台 app 開發,過程中雖跌跌撞撞,卻也累計不少經驗。

可惜不是那 1% 的成功人士,於是加入其他成功人士的新創公司,專職開發後端。沒想到卻在採前人坑的過程中,拓寬了眼界,得到了深層的領悟。...more

Categories

  • Angular (5)
  • Arduino (5)
    • ESP32 (2)
    • Raspberry Pi Pico (3)
  • AWS (15)
  • Blockchain (11)
  • Deep Learning (16)
    • LLM (2)
    • Stable Diffusion (9)
  • DevOps (22)
  • Frontend (6)
  • Golang (1)
  • Kafka (2)
  • Python (13)
  • Raspberry Pi (32)
    • Banana Pi (3)
    • Jetson Nano (2)
    • Odroid HC4 (4)
    • Rock Pi (6)
  • RetroArch (2)
  • ROS (2)
  • Wordpress (10)
  • 健身 (1)
  • 創客計畫 (15)
    • AI 神經網路自走車 (8)
    • 智慧家居 (7)
  • 好物推薦 (1)
  • 旅行 (2)
    • 峇里島 (2)
  • 說人話的名詞解釋 (3)
  • 那些踩過的坑 (8)
  • 開發哲學 (3)
  • 閱讀筆記 (4)
  • 面試策略 (2)

© 2023 copyright KodingWork  All rights reserved