OpenCV で GrabCut 法による前景背景分離（OpenCV，Python を使用）

1. エグゼクティブサマリー

Python と OpenCV で，GrabCut 法による前景背景分離を行う．GrabCut 法は，矩形領域の指定により前景と背景を自動的に分離するアルゴリズムである．

処理前

処理後

【サイト内の OpenCV 関連ページ】

OpenCV について [PDF] , [パワーポイント]
OpenCV のインストール，画像表示を行う C++ プログラムの実行手順: 別ページ »で説明
OpenCV と Python を活用した画像・ビデオ処理プログラム: 別ページ »にまとめ
OpenCV 4 の C/C++ プログラム: 別ページ »にまとめている．

【OpenCV の公式情報】

OpenCV の公式ページ: https://opencv.org
GitHub の OpenCV のページ: https://github.com/opencv/opencv/releases

2. 前準備（必要ソフトウェアの入手）

ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると便利である。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.htmlで詳しく解説しているので、必要に応じて参照してください。

Python 3.12 のインストール（Windows 上） [クリックして展開]

以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。

方法1：winget によるインストール

管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
powershell -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $m=[Environment]::GetEnvironmentVariable('Path','Machine'); if($m -notlike \"*$s*\") { [Environment]::SetEnvironmentVariable('Path', \"$p;$s;$m\", 'Machine') }"

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

方法2：インストーラーによるインストール

Python 公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
ダウンロードしたインストーラーを実行する。
初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

AIエディタ Windsurf のインストール（Windows 上） [クリックして展開]

Pythonプログラムの編集・実行には、AIエディタの利用を推奨する。ここでは、Windsurfのインストールを説明する。Windsurf がインストール済みの場合、この手順は不要である。

winget install --scope machine --id Codeium.Windsurf -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --custom "/SP- /SUPPRESSMSGBOXES /NORESTART /CLOSEAPPLICATIONS /DIR=""C:\Program Files\Windsurf"" /MERGETASKS=!runcode,addtopath,associatewithfiles,!desktopicon"
powershell -Command "$env:Path=[System.Environment]::GetEnvironmentVariable('Path','Machine')+';'+[System.Environment]::GetEnvironmentVariable('Path','User'); windsurf --install-extension MS-CEINTL.vscode-language-pack-ja --force; windsurf --install-extension ms-python.python --force; windsurf --install-extension Codeium.windsurfPyright --force"

【関連する外部ページ】

Windsurf の公式ページ: https://windsurf.com/

必要なライブラリのインストール [クリックして展開]

次のコマンドは，旧バージョンを削除し，Python 用 opencv-python のインストールを行う．最後の行はバージョン表示によるインストール確認である．

python -m pip uninstall -y opencv-python
python -m pip uninstall -y opencv-python-headless
python -m pip uninstall -y opencv-contrib-python
python -m pip install -U opencv-python opencv-contrib-python numpy
python -c "import sys, cv2; print(f'Python version: {sys.version}\nOpenCV version: {cv2.__version__}')"

画像ファイル fruits.jpg，home.jpg のダウンロード [クリックして展開]

https://github.com/opencv/opencv/tree/master/samples/data で公開されている fruits.jpg，home.jpg を使用する（謝辞：画像の作者に感謝します）

次のコマンドを実行する．

cd /d c:%HOMEPATH%
curl -L https://github.com/opencv/opencv/blob/master/samples/data/fruits.jpg?raw=true -o fruits.jpg
curl -O https://raw.githubusercontent.com/opencv/opencv/master/samples/data/home.jpg

3. 実行のための準備とその確認手順（Windows 前提）

3.1 プログラムファイルの準備

第5章のソースコードをテキストエディタ（メモ帳，Windsurf 等）に貼り付け，grabcut_fruits.py（fruits.jpg 用）および grabcut_home.py（home.jpg 用）として保存する（文字コード：UTF-8）．

3.2 実行コマンド

コマンドプロンプトでファイルの保存先ディレクトリに移動し，以下を実行する．

python grabcut_fruits.py

home.jpg を処理する場合は以下を実行する．

python grabcut_home.py

Python プログラムの実行

Windows では python （Python ランチャーは py）

Python 開発環境（Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder, PyCharm, PyScripterなど）も便利である．

Python のまとめ: 別ページ »にまとめ

3.3 動作確認チェックリスト

確認項目	期待される結果
画像ファイルの配置	fruits.jpg および home.jpg が LOCALAPPDATA ディレクトリに存在する
ウインドウ表示（fruits.jpg）	「bgr」（元画像），「mask」（マスク画像），「dst」（分離結果）の3つのウインドウが表示される
ウインドウ表示（home.jpg）	「bgr」（元画像），「mask」（マスク画像），「dst」（分離結果）の3つのウインドウが表示される
分離結果の確認	dst ウインドウに，背景が黒く前景が残った画像が表示される
結果画像の保存	LOCALAPPDATA ディレクトリに fruits_grabcut.jpg または home_grabcut.jpg が生成される
ウインドウの閉じ方	画面の中をクリックしてから何かのキーを押すと閉じる（右上の「x」はクリックしない）

4. 概要・使い方・実行上の注意

本プログラムは，OpenCV の cv2.grabCut 関数を使用して画像中の前景と背景を分離する．矩形領域 (1, 1, w, h) を指定し，GrabCut アルゴリズムを10回反復して前景マスクを生成する．このマスクを元画像に適用し，前景のみを抽出した画像を得る．

プログラムは fruits.jpg 用と home.jpg 用の2種類がある．それぞれ元画像（bgr），マスク画像（mask），分離結果（dst）の3つのウインドウを表示し，結果を画像ファイルとして保存する．

画像が表示されるので確認する．ウインドウの右上の「x」をクリックしない．画面の中をクリックしてから，何かのキーを押して閉じる．

fruits.jpg の処理結果：

home.jpg の処理結果：

ソースコードは第5章に掲載している．

5. ソースコード

fruits.jpg に対する前景背景分離

import os, numpy as np, cv2
IMROOT = os.environ['LOCALAPPDATA'] + '/'
bgr = cv2.imread(IMROOT + "fruits.jpg")
h, w = bgr.shape[:2]
mask = np.zeros((h, w), dtype=np.uint8)
bgdModel, fgdModel = np.zeros((1, 65), np.float64), np.zeros((1, 65), np.float64)
cv2.grabCut(bgr, mask, (1, 1, w, h), bgdModel, fgdModel, 10, cv2.GC_INIT_WITH_RECT)
mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype('uint8')
dst = bgr * mask2[:, :, np.newaxis]
cv2.imwrite(IMROOT + "fruits_grabcut.jpg", dst)
cv2.imshow("bgr", bgr)
cv2.imshow("mask", mask2 * 255)
cv2.imshow("dst", dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

home.jpg に対する前景背景分離

import os, numpy as np, cv2
IMROOT = os.environ['LOCALAPPDATA'] + '/'
bgr = cv2.imread(IMROOT + "home.jpg")
h, w = bgr.shape[:2]
mask = np.zeros((h, w), dtype=np.uint8)
bgdModel, fgdModel = np.zeros((1, 65), np.float64), np.zeros((1, 65), np.float64)
cv2.grabCut(bgr, mask, (1, 1, w, h), bgdModel, fgdModel, 10, cv2.GC_INIT_WITH_RECT)
mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype('uint8')
dst = bgr * mask2[:, :, np.newaxis]
cv2.imwrite(IMROOT + "home_grabcut.jpg", dst)
cv2.imshow("bgr", bgr)
cv2.imshow("mask", mask2 * 255)
cv2.imshow("dst", dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

6. まとめ

GrabCut 法による前景背景分離

GrabCut 法は，矩形領域の指定により前景と背景を自動的に分離するアルゴリズムである．OpenCV の cv2.grabCut 関数に矩形領域と反復回数を指定して前景マスクを生成する．

マスクの生成と適用

cv2.grabCut が出力するマスクには，確実な背景（0），確実な前景（1），おそらく背景（2），おそらく前景（3）の4値が含まれる．背景（値0および2）を0，前景（値1および3）を1とした二値マスクを生成し，元画像に適用して前景を抽出する．

矩形領域の指定

cv2.GC_INIT_WITH_RECT モードでは，初期の矩形領域を (x, y, width, height) の形式で指定する．本プログラムでは (1, 1, w, h) を指定し，画像全体に近い範囲を初期矩形として使用している．

マスク画像の可視化

二値マスク mask2 を255倍して表示することで，分離結果を白黒画像として確認できる．

結果画像の保存

cv2.imwrite で分離結果を画像ファイルとして保存する．fruits.jpg の結果は fruits_grabcut.jpg，home.jpg の結果は home_grabcut.jpg となる．