トップページ -> 最新情報技術の実習と研究ツール -> OpenCV と Python によるコンピュータビジョン、画像処理 -> Python + OpenCV でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど
[サイトマップへ]

Python + OpenCV でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど

目次

サイト内の関連Webページ

前準備

Anaconda のインストール

前準備として，Python 開発環境のAnaconda のインストールが終わっていること．

以下，Windows に Anaconda をインストール済みであるものとして説明を続けます．

OpenCV, spyder パッケージのインストール

Windows では次の手順で行う

  1. Window でコマンドプロンプトを実行

  2. OpenCV, spyder パッケージのインストール

    ※ 「conda install」は、パッケージをインストールするためのコマンド 

    conda install -y spyder opencv

この Web ページで説明のために使用するビデオ

顔が写ったビデオファイル

sample2.mp4 (30秒)

ドライブレコーダー

1-1.avi (3分1秒)

ステレオ画像（夜間）

00008.MTS

作業手順

  1. まず、C:\image のような作業用のディレクトリ（フォルダ）を作る

  2. sample2.mp4, 1-1.avi, 00008.MTS を、C:\image の下に保存

ビデオファイルの表示

Python プログラムを動かしたい．

Anacondaに入っている開発環境 spyder を実行し，右下の ipython コンソールを使うのが簡単．

ビデオファイルの表示例 

import cv2
import numpy as np

v = cv2.VideoCapture("C:/image/sample2.mp4")
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

パソコン接続ビデオカメラの表示例

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

※「v = cv2.VideoCapture(0)」に変えただけ 

import cv2
import numpy as np

v = cv2.VideoCapture(0)
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

ビデオファイルの表示例（必要部分の切り出し）

「bgr[0:400, 0:300, 0:3]」で範囲を指定して、必要部分の切り出しを行っている 

import cv2
import numpy as np

v = cv2.VideoCapture("C:/image/1-1.avi")
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    f = bgr[0:400, 0:300, 0:3]
    cv2.imshow("", f)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

カラーヒストグラム

https://github.com/opencv/opencv/blob/master/samples/python/color_histogram.py で 公開されているプログラムを書き換えて使用 

import numpy as np
import cv2 as cv

# built-in modules
import sys

if __name__ == '__main__':

    hsv_map = np.zeros((180, 256, 3), np.uint8)
    h, s = np.indices(hsv_map.shape[:2])
    hsv_map[:,:,0] = h
    hsv_map[:,:,1] = s
    hsv_map[:,:,2] = 255
    hsv_map = cv.cvtColor(hsv_map, cv.COLOR_HSV2BGR)
    cv.imshow('hsv_map', hsv_map)

    cv.namedWindow('hist', 0)
    hist_scale = 10

    def set_scale(val):
        global hist_scale
        hist_scale = val
    cv.createTrackbar('scale', 'hist', hist_scale, 32, set_scale)

    v = cv.VideoCapture(0)

    while(v.isOpened()):
        r, bgr = v.read()
        if ( r == False ):
            break

        cv.imshow('camera', bgr)

        small = cv.pyrDown(bgr)

        hsv = cv.cvtColor(small, cv.COLOR_BGR2HSV)
        dark = hsv[...,2] < 32
        hsv[dark] = 0
        h = cv.calcHist([hsv], [0, 1], None, [180, 256], [0, 180, 0, 256])

        h = np.clip(h*0.005*hist_scale, 0, 1)
        vis = hsv_map*h[:,:,np.newaxis] / 255.0
        cv.imshow('hist', vis)
        
        if cv.waitKey(1) & 0xFF == ord('q'):
            break

    v.release()
    cv.destroyAllWindows()

連続フレームの差分表示

Python プログラムを動かしたい．

Anacondaに入っている開発環境 spyder を実行し，右下の ipython コンソールを使うのが簡単．

ビデオファイル 

import cv2
import numpy as np
v = cv2.VideoCapture("C:/image/00008.MTS")
r, bgr = v.read()
while(v.isOpened()):
    bgr2 = bgr
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr - bgr2 + 128)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

表示の一部分

もともとのビデオ

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

※「v = cv2.VideoCapture(0)」に変えただけ 

import cv2
import numpy as np
v = cv2.VideoCapture(0)
r, bgr = v.read()
while(v.isOpened()):
    bgr2 = bgr
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr - bgr2 + 128)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

ビデオの背景除去（MOG2法による）

背景が黒，全景が白であるような濃淡画像を作る．

Python プログラムを動かしたい．

Anacondaに入っている開発環境 spyder を実行し，右下の ipython コンソールを使うのが簡単．

ビデオファイル 

import cv2
v = cv2.VideoCapture("C:/image/sample2.mp4")
fgbg = cv2.createBackgroundSubtractorMOG2()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

※「v = cv2.VideoCapture(0)」に変えただけ 

import cv2
v = cv2.VideoCapture(0)
fgbg = cv2.createBackgroundSubtractorMOG2()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

ビデオの背景除去（kNN法による）

背景が黒，全景が白であるような濃淡画像を作ること．別の手法

ビデオファイルでの表示例 

import cv2
v = cv2.VideoCapture("C:/image/sample2.mp4")
fgbg = cv2.createBackgroundSubtractorKNN()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラの表示例

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

※「v = cv2.VideoCapture(0)」に変えただけ 

import cv2
v = cv2.VideoCapture(0)
fgbg = cv2.createBackgroundSubtractorKNN()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

ビデオの背景除去（kNN法による）ののち，元画像と論理積

ビデオファイルでの表示例 

import cv2
v = cv2.VideoCapture("C:/image/sample2.mp4")
fgbg = cv2.createBackgroundSubtractorKNN()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("", cv2.bitwise_and(bgr, bgr, mask=fgmask))
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラの表示例

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

※「v = cv2.VideoCapture(0)」に変えただけ 

import cv2
v = cv2.VideoCapture(0)
fgbg = cv2.createBackgroundSubtractorKNN()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("", cv2.bitwise_and(bgr, bgr, mask=fgmask))
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

トラッキングビジョン

「トラッキングに適するポイント（追跡用の点）」を複数抜き出す（Shi-Tomasi の手法）ことを行ってみる

ビデオファイル 

import cv2
import numpy as np
v = cv2.VideoCapture("C:/image/00008.MTS")
fourcc = cv2.VideoWriter_fourcc(*'XVID')
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    g = cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY)
    d = cv2.goodFeaturesToTrack(g, 80, 0.01, 5, 3)
    if d is not None:
        d = np.int0(d)
        for i in d:
            x,y = i.ravel()
            cv2.circle(bgr, (x,y), 10, 255, -1)
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

※「v = cv2.VideoCapture(0)」に変えただけ 

import cv2
import numpy as np
v = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    g = cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY)
    d = cv2.goodFeaturesToTrack(g, 80, 0.01, 5, 3)
    if d is not None:
        d = np.int0(d)
        for i in d:
            x,y = i.ravel()
            cv2.circle(bgr, (x,y), 10, 255, -1)
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

オプティカルフロー（Farnebackの方法による）

オプティカルフローは，ビデオから「動きの情報」を取り出す

ビデオファイル 

import cv2
import numpy as np
v = cv2.VideoCapture("C:/image/00008.MTS")
fourcc = cv2.VideoWriter_fourcc(*'XVID')
ret, bgr1 = v.read()
prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(bgr1)
hsv[...,1] = 255
while(1):
    ret, bgr2 = v.read()
    next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
    # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    cv2.imshow('source',bgr2)
    cv2.imshow('flow',rgb)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    prvs = next
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

※「v = cv2.VideoCapture(0)」に変えただけ 

import cv2
import numpy as np
v = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
ret, bgr1 = v.read()
prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(bgr1)
hsv[...,1] = 255
while(1):
    ret, bgr2 = v.read()
    next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
    # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    cv2.imshow('source',bgr2)
    cv2.imshow('flow',rgb)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    prvs = next
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

背景除去＋オプティカルフロー（Farnebackの方法による）

ビデオファイル 

import cv2
import numpy as np
v = cv2.VideoCapture("C:/image/00008.MTS")
fourcc = cv2.VideoWriter_fourcc(*'XVID')
ret, bgr1 = v.read()
prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(bgr1)
hsv[...,1] = 255
fgbg = cv2.createBackgroundSubtractorKNN()
fgmask = fgbg.apply(prvs)
prvs = cv2.bitwise_and(prvs, prvs, mask=fgmask)
while(1):
    ret, bgr2 = v.read()
    if ( ret == False ):
        break
    next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
    fgmask = fgbg.apply(next)
    next = cv2.bitwise_and(next, next, mask=fgmask)
    # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    cv2.imshow('source', prvs)
    cv2.imshow('flow',rgb)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    prvs = next
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

※「v = cv2.VideoCapture(0)」に変えただけ 

import cv2
import numpy as np
v = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
ret, bgr1 = v.read()
prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(bgr1)
hsv[...,1] = 255
fgbg = cv2.createBackgroundSubtractorKNN()
fgmask = fgbg.apply(prvs)
prvs = cv2.bitwise_and(prvs, prvs, mask=fgmask)
while(1):
    ret, bgr2 = v.read()
    if ( ret == False ):
        break
    next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
    fgmask = fgbg.apply(next)
    next = cv2.bitwise_and(next, next, mask=fgmask)
    # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    cv2.imshow('source', prvs)
    cv2.imshow('flow',rgb)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    prvs = next
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

https://github.com/opencv/opencv/blob/master/samples/python/stereo_match.py で公開されているプログラムに少し手を加えたもの（video パッケージを使わない。パソコンカメラのみを使う。） 

import numpy as np
import cv2 as cv

def draw_flow(img, flow, step=16):
    h, w = img.shape[:2]
    y, x = np.mgrid[step/2:h:step, step/2:w:step].reshape(2,-1).astype(int)
    fx, fy = flow[y,x].T
    lines = np.vstack([x, y, x+fx, y+fy]).T.reshape(-1, 2, 2)
    lines = np.int32(lines + 0.5)
    vis = cv.cvtColor(img, cv.COLOR_GRAY2BGR)
    cv.polylines(vis, lines, 0, (0, 255, 0))
    for (x1, y1), (x2, y2) in lines:
        cv.circle(vis, (x1, y1), 1, (0, 255, 0), -1)
    return vis


def draw_hsv(flow):
    h, w = flow.shape[:2]
    fx, fy = flow[:,:,0], flow[:,:,1]
    ang = np.arctan2(fy, fx) + np.pi
    v = np.sqrt(fx*fx+fy*fy)
    hsv = np.zeros((h, w, 3), np.uint8)
    hsv[...,0] = ang*(180/np.pi/2)
    hsv[...,1] = 255
    hsv[...,2] = np.minimum(v*4, 255)
    bgr = cv.cvtColor(hsv, cv.COLOR_HSV2BGR)
    return bgr


def warp_flow(img, flow):
    h, w = flow.shape[:2]
    flow = -flow
    flow[:,:,0] += np.arange(w)
    flow[:,:,1] += np.arange(h)[:,np.newaxis]
    res = cv.remap(img, flow, None, cv.INTER_LINEAR)
    return res


if __name__ == '__main__':
    import sys

    cam = cv.VideoCapture(0)
    ret, prev = cam.read()
    prevgray = cv.cvtColor(prev, cv.COLOR_BGR2GRAY)
    show_hsv = False
    show_glitch = False
    use_spatial_propagation = False
    use_temporal_propagation = True
    cur_glitch = prev.copy()
    inst = cv.DISOpticalFlow.create(cv.DISOPTICAL_FLOW_PRESET_MEDIUM)
    inst.setUseSpatialPropagation(use_spatial_propagation)

    flow = None
    while True:
        ret, img = cam.read()
        gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
        if flow is not None and use_temporal_propagation:
            #warp previous flow to get an initial approximation for the current flow:
            flow = inst.calc(prevgray, gray, warp_flow(flow,flow))
        else:
            flow = inst.calc(prevgray, gray, None)
        prevgray = gray

        cv.imshow('flow', draw_flow(gray, flow))
        if show_hsv:
            cv.imshow('flow HSV', draw_hsv(flow))
        if show_glitch:
            cur_glitch = warp_flow(cur_glitch, flow)
            cv.imshow('glitch', cur_glitch)

        ch = 0xFF & cv.waitKey(5)
        if ch == 27:
            break
        if ch == ord('1'):
            show_hsv = not show_hsv
            print('HSV flow visualization is', ['off', 'on'][show_hsv])
        if ch == ord('2'):
            show_glitch = not show_glitch
            if show_glitch:
                cur_glitch = img.copy()
            print('glitch is', ['off', 'on'][show_glitch])
        if ch == ord('3'):
            use_spatial_propagation = not use_spatial_propagation
            inst.setUseSpatialPropagation(use_spatial_propagation)
            print('spatial propagation is', ['off', 'on'][use_spatial_propagation])
        if ch == ord('4'):
            use_temporal_propagation = not use_temporal_propagation
            print('temporal propagation is', ['off', 'on'][use_temporal_propagation])
    cv.destroyAllWindows()