画像の特徴点

【概要】

本資料では、画像の特徴点（画像中の、回転・拡大縮小・明るさの変化があっても安定して再検出でき、別の画像との対応づけ（マッチング）に使える目印となる点。キーポイントとも呼ぶ）の抽出と表示を、VLFeat のコマンドライン処理を中心に学ぶ。具体的には、VLFeat の sift コマンドによる SIFT（Scale-Invariant Feature Transform、拡大縮小に不変な特徴変換）と、mser コマンドによる MSER（Maximally Stable Extremal Regions、最大安定極値領域）を実行し、得られた特徴点を Python（OpenCV）と Octave の二通りで画像上に重ねて表示する。なお MSER は厳密には点ではなく領域を検出する手法であり、本資料ではその領域に当てはめた楕円の中心座標を特徴点の位置として扱う。前準備として、Python、ImageMagick、curl、VLFeat のインストール手順と、サンプル画像の入手方法を扱う。

【目次】

【関連する外部ページ】

【サイト内の関連情報】

第１章　前準備

Python 3.12 のインストール（Windows 上） [クリックして展開]

以下のいずれかの方法で Python 3.12 をインストールする。Python がインストール済みの場合、この手順は不要である。

方法1：winget によるインストール

管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
powershell -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $m=[Environment]::GetEnvironmentVariable('Path','Machine'); if($m -notlike \"*$s*\") { [Environment]::SetEnvironmentVariable('Path', \"$p;$s;$m\", 'Machine') }"

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

方法2：インストーラーによるインストール

  1. Python 公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

ImageMagick のインストール

curl のインストール

VLFeat のインストール

ここで説明のためにサンプルとして使用する画像

curl コマンドを用いてダウンロードできる。あるいは Web ブラウザでもダウンロードできる。 

curl -L https://github.com/opencv/opencv/blob/master/samples/data/fruits.jpg?raw=true -o fruits.jpg

第２章　VLFeat のコマンド（sift コマンド, aib コマンド, mser コマンドなど）

SIFT 実行と結果表示（VLFeat、Python を使用）

  1. SIFT の実行

    VLFeat の sift コマンドと、ImageMagick の magick コマンドを使用する。 次を実行することにより、ファイル fruits.sift ができる。 

    curl -L https://github.com/opencv/opencv/blob/master/samples/data/fruits.jpg?raw=true -o fruits.jpg
magick fruits.jpg fruits.pgm
sift fruits.pgm
  2. 結果の表示

    Python プログラム 

    import cv2
import pandas as pd
bgr = cv2.imread("fruits.jpg")
a = pd.read_table("fruits.sift", sep=' ', header=None)
for i, row in a.iterrows():
    c = cv2.circle(bgr, (int(row[0]), int(row[1])), 3, (0, 0, 255), -1)

cv2.imshow("", bgr)
cv2.waitKey(0)
cv2.destroyAllWindows()

SIFT の結果表示（Octave を使用）

今度は fruits.jpg と fruits.sift を Octave（数値計算ソフトウェア）を用いて表示する。 

S = dlmread("fruits.sift", " ", 1, 0);
[rgb, map, alpha] = imread("fruits.jpg");
mono = rgb2gray( rgb );
colormap( gray(256) );
hold
imshow(mono);
plot(S(:,1), S(:,2), '@');

MSER 実行と結果表示（VLFeat、Python を使用）

  1. MSER の実行

    VLFeat の mser コマンドと、ImageMagick の magick コマンドを使用する。 次を実行することにより、ファイル fruits.frame ができる。 

    curl -L https://github.com/opencv/opencv/blob/master/samples/data/fruits.jpg?raw=true -o fruits.jpg
magick fruits.jpg fruits.pgm
mser fruits.pgm --frames
  2. 結果の表示

    Python プログラム 

    import cv2
import pandas as pd
bgr = cv2.imread("fruits.jpg")
a = pd.read_table("fruits.frame", sep=' ', header=None)
for i, row in a.iterrows():
    c = cv2.circle(bgr, (int(row[0]), int(row[1])), 3, (0, 0, 255), -1)

cv2.imshow("", bgr)
cv2.waitKey(0)
cv2.destroyAllWindows()

MSER の結果表示（Octave を使用）

今度は fruits.jpg と fruits.frame を Octave（数値計算ソフトウェア）を用いて表示する。 

S = dlmread( "fruits.frame", " ", 1, 0 );
[rgb, map, alpha] = imread("fruits.jpg");
mono = rgb2gray( rgb );
colormap( gray(256) );
hold
imshow(mono);
plot(S(:,1), S(:,2), '@');