OpenCV で GrabCut 法による前景背景分離を行ってみる（Python を使用）

1. エグゼクティブサマリー

本記事では，OpenCV の GrabCut 法を用いて，Python で画像およびビデオの前景背景分離を行う方法を説明する．GrabCut 法は，矩形領域の指定により前景と背景を自動分離するアルゴリズムである．本記事では，静止画像（home.jpg，aloeL.jpg）に対する前景分離，動画ファイル（sample1.mp4）に対するフレームごとの前景分離，およびパソコン接続ビデオカメラによるリアルタイム前景分離の3つを扱う．

2. 前準備（必要ソフトウェアの入手）

ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると便利である。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.htmlで詳しく解説しているので、必要に応じて参照してください。

winget install --scope machine --id Python.Python.3.12 -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_pip=1 Include_test=0 Include_launcher=1 InstallLauncherAllUsers=1"

python --version

winget install --scope machine --id Codeium.Windsurf -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --custom "/SP- /SUPPRESSMSGBOXES /NORESTART /CLOSEAPPLICATIONS /DIR=""C:\Program Files\Windsurf"" /MERGETASKS=!runcode,addtopath,associatewithfiles,!desktopicon"
powershell -Command "$env:Path=[System.Environment]::GetEnvironmentVariable('Path','Machine')+';'+[System.Environment]::GetEnvironmentVariable('Path','User'); windsurf --install-extension MS-CEINTL.vscode-language-pack-ja --force; windsurf --install-extension ms-python.python --force; windsurf --install-extension Codeium.windsurfPyright --force"

python -m pip install -U opencv-python opencv-contrib-python

3. 実行のための準備とその確認手順（Windows 前提）

3.1 プログラムファイルの準備

第5章のソースコードをテキストエディタ（メモ帳，Windsurf 等）に貼り付け，以下のファイル名で保存する（文字コード：UTF-8）．

• 静止画像（home.jpg）の前景分離: grabcut_home.py
• 静止画像（aloeL.jpg）の前景分離: grabcut_aloe.py
• 動画ファイル（sample1.mp4）の前景分離: grabcut_video.py
• パソコン接続ビデオカメラの前景分離: grabcut_camera.py

3.2 実行コマンド

コマンドプロンプトでファイルの保存先ディレクトリに移動し，以下を実行する．

実行例（静止画像 home.jpg の場合）：

python grabcut_home.py

実行例（動画ファイル sample1.mp4 の場合）：

python grabcut_video.py

実行例（パソコン接続ビデオカメラの場合）：

python grabcut_camera.py

3.3 動作確認チェックリスト

4. 概要・使い方・実行上の注意

4.1 使用する画像・動画の準備

画像ファイル home.jpg のダウンロードは， コマンドプロンプトを管理者として開き次のコマンドを実行する．

mkdir c:\image
cd c:\image
curl -L https://github.com/opencv/opencv/blob/master/samples/data/home.jpg?raw=true -o home.jpg

上のコマンドがうまく実行できないときは， 別ページを参考にダウンロードを行う．

• 上と同じ手順で aloeL.jpg, aloeR.jpg の2つもダウンロードし，C:\image の下に保存する．

4.2 顔が写った動画ファイル

sample1.mp4

sample1.mp4 を，C:\image の下に保存する．

4.3 静止画像の前景分離（GrabCut 法）

GrabCut 法では，画像全体を矩形領域として指定し，cv2.grabCut で前景と背景を分離する．実行すると，元画像，前景分離結果，マスク画像の3つのウインドウが表示される．前景分離結果は C:\image の下にファイルとして保存される．ソースコードは第5章に掲載する．

画像が表示されるので確認する．ウインドウの右上の「x」をクリックしない．画面の中をクリックしてから，何かのキーを押して閉じる

別の画像（aloeL.jpg）でも同様に前景分離を行うことができる．

4.4 動画ファイルの前景分離

OpenCV による動画表示を行う．動画ファイル sample1.mp4 の各フレームに GrabCut 法を適用し，前景分離を行う．元動画と前景分離結果が並んで表示される．ソースコードは第5章に掲載する．

* 止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

4.5 パソコン接続ビデオカメラの前景分離

パソコンに接続できるビデオカメラを準備し，パソコンに接続しておく．動画ファイルのコードに対し，「v = cv2.VideoCapture(0)」に変えただけである．ソースコードは第5章に掲載する．

* 止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

5. ソースコード

5.1 静止画像の前景分離（home.jpg）

import numpy as np
import cv2
IMROOT = "C:/image/"
bgr = cv2.imread(IMROOT + "home.jpg")
h, w = bgr.shape[:2]
mask = np.zeros((h, w), np.uint8)
bgdModel = np.zeros((1, 65), np.float64)
fgdModel = np.zeros((1, 65), np.float64)
rect = (1, 1, w, h)
cv2.grabCut(bgr, mask, rect, bgdModel, fgdModel, 10, cv2.GC_INIT_WITH_RECT)
mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype("uint8")
bgr2 = bgr * mask2[:, :, np.newaxis]
mask_display = (mask2 * 255).astype("uint8")
cv2.imshow("bgr", bgr)
cv2.imshow("bgr2", bgr2)
cv2.imshow("mask", mask_display)
cv2.imwrite(IMROOT + "home_grabcut.jpg", bgr2)
cv2.waitKey(0)
cv2.destroyAllWindows()

5.2 静止画像の前景分離（aloeL.jpg）

import numpy as np
import cv2
IMROOT = "C:/image/"
bgr = cv2.imread(IMROOT + "aloeL.jpg")
h, w = bgr.shape[:2]
mask = np.zeros((h, w), np.uint8)
bgdModel = np.zeros((1, 65), np.float64)
fgdModel = np.zeros((1, 65), np.float64)
rect = (1, 1, w, h)
cv2.grabCut(bgr, mask, rect, bgdModel, fgdModel, 10, cv2.GC_INIT_WITH_RECT)
mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype("uint8")
bgr2 = bgr * mask2[:, :, np.newaxis]
mask_display = (mask2 * 255).astype("uint8")
cv2.imshow("bgr", bgr)
cv2.imshow("bgr2", bgr2)
cv2.imshow("mask", mask_display)
cv2.imwrite(IMROOT + "aloeL_grabcut.jpg", bgr2)
cv2.waitKey(0)
cv2.destroyAllWindows()

5.3 動画ファイルの前景分離（sample1.mp4）

import cv2
import numpy as np

IMROOT = "C:/image/"
v = cv2.VideoCapture(IMROOT + "sample1.mp4")
while v.isOpened():
    r, bgr = v.read()
    if not r:
        break
    h, w = bgr.shape[:2]
    mask = np.zeros((h, w), np.uint8)
    bgdModel = np.zeros((1, 65), np.float64)
    fgdModel = np.zeros((1, 65), np.float64)
    rect = (1, 1, w, h)
    cv2.grabCut(bgr, mask, rect, bgdModel, fgdModel, 10, cv2.GC_INIT_WITH_RECT)
    mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype("uint8")
    bgr2 = bgr * mask2[:, :, np.newaxis]
    cv2.imshow("bgr", bgr)
    cv2.imshow("bgr2", bgr2)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break
v.release()
cv2.destroyAllWindows()

5.4 パソコン接続ビデオカメラの前景分離

import cv2
import numpy as np

v = cv2.VideoCapture(0)
while v.isOpened():
    r, f = v.read()
    if not r:
        break
    h, w = f.shape[:2]
    mask = np.zeros((h, w), np.uint8)
    bgdModel = np.zeros((1, 65), np.float64)
    fgdModel = np.zeros((1, 65), np.float64)
    rect = (1, 1, w, h)
    cv2.grabCut(f, mask, rect, bgdModel, fgdModel, 10, cv2.GC_INIT_WITH_RECT)
    mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype("uint8")
    img2 = f * mask2[:, :, np.newaxis]
    cv2.imshow("f", f)
    cv2.imshow("img2", img2)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break
v.release()
cv2.destroyAllWindows()

6. まとめ

6.1 GrabCut 法による前景背景分離

cv2.grabCut に矩形領域を指定することで，画像の前景と背景を自動分離できる．マスク配列と背景・前景モデル配列を初期化し，cv2.GC_INIT_WITH_RECT モードで実行する．

6.2 マスクによる前景抽出

GrabCut の出力マスクで，背景（値 0 および 2）を 0，前景（値 1 および 3）を 1 に変換し，元画像に乗算することで前景のみの画像を得る．

6.3 静止画像への適用

home.jpg や aloeL.jpg に対して GrabCut 法を適用し，前景分離結果とマスク画像を表示・保存できる．画像全体を矩形領域として指定する方法で，簡潔に前景分離が実現される．

6.4 動画・カメラ映像への適用

cv2.VideoCapture で動画ファイルまたはビデオカメラからフレームを取得し，各フレームに GrabCut 法を適用することで，動画やリアルタイム映像の前景分離を行える．

6.5 ウインドウ操作の注意

静止画像の場合はウインドウの中をクリックしてからキーを押して閉じる．動画・カメラの場合はウインドウの中をクリックしてから「q」キーを押して閉じる．いずれの場合も，ウインドウ右上の「x」はクリックしない．