Python + OpenCV でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど

以下，Windows でインストール済みであるものとして説明を続けます．

この Web ページで説明のために使用するビデオ

顔が写ったビデオファイル

ドライブレコーダー

ステレオ画像（夜間）

作業手順

ビデオファイルの表示

ビデオファイルの表示例

import cv2
import numpy as np

IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "sample2.mp4")
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

パソコン接続ビデオカメラの表示例

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
import numpy as np

v = cv2.VideoCapture(0)
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

ビデオファイルの表示例（必要部分の切り出し）

「bgr[0:400, 0:300, 0:3]」で範囲を指定して、必要部分の切り出しを行っている

import cv2
import numpy as np

IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "1-1.avi")
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    f = bgr[0:400, 0:300, 0:3]
    cv2.imshow("", f)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

カラーヒストグラム

https://github.com/opencv/opencv/blob/master/samples/python/color_histogram.py で公開されているプログラムを書き換えて使用

import numpy as np
import cv2 as cv

# built-in modules
import sys

if __name__ == '__main__':

    hsv_map = np.zeros((180, 256, 3), np.uint8)
    h, s = np.indices(hsv_map.shape[:2])
    hsv_map[:,:,0] = h
    hsv_map[:,:,1] = s
    hsv_map[:,:,2] = 255
    hsv_map = cv.cvtColor(hsv_map, cv.COLOR_HSV2BGR)
    cv.imshow('hsv_map', hsv_map)

    cv.namedWindow('hist', 0)
    hist_scale = 10

    def set_scale(val):
        global hist_scale
        hist_scale = val
    cv.createTrackbar('scale', 'hist', hist_scale, 32, set_scale)

    v = cv.VideoCapture(0)

    while(v.isOpened()):
        r, bgr = v.read()
        if ( r == False ):
            break

        cv.imshow('camera', bgr)

        small = cv.pyrDown(bgr)

        hsv = cv.cvtColor(small, cv.COLOR_BGR2HSV)
        dark = hsv[...,2] < 32
        hsv[dark] = 0
        h = cv.calcHist([hsv], [0, 1], None, [180, 256], [0, 180, 0, 256])

        h = np.clip(h*0.005*hist_scale, 0, 1)
        vis = hsv_map*h[:,:,np.newaxis] / 255.0
        cv.imshow('hist', vis)
        
        if cv.waitKey(1) & 0xFF == ord('q'):
            break

    v.release()
    cv.destroyAllWindows()

連続フレームの差分表示

ビデオファイル

import cv2
import numpy as np
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "00008.MTS")
r, bgr = v.read()
while(v.isOpened()):
    bgr2 = bgr
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr - bgr2 + 128)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
import numpy as np
v = cv2.VideoCapture(0)
r, bgr = v.read()
while(v.isOpened()):
    bgr2 = bgr
    r, bgr = v.read()
    if ( r == False ):
        break
    cv2.imshow("", bgr - bgr2 + 128)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

ビデオの背景除去（MOG2法による）

ビデオファイル

import cv2
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "sample2.mp4")
fgbg = cv2.createBackgroundSubtractorMOG2()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
v = cv2.VideoCapture(0)
fgbg = cv2.createBackgroundSubtractorMOG2()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

ビデオの背景除去（kNN法による）

背景が黒，全景が白であるような濃淡画像を作ること．別の手法

ビデオファイルでの表示例

import cv2
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "sample2.mp4")
fgbg = cv2.createBackgroundSubtractorKNN()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラの表示例

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
v = cv2.VideoCapture(0)
fgbg = cv2.createBackgroundSubtractorKNN()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("",fgmask)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

ビデオの背景除去（kNN法による）ののち，元画像と論理積

ビデオファイルでの表示例

import cv2
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "sample2.mp4")
fgbg = cv2.createBackgroundSubtractorKNN()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("", cv2.bitwise_and(bgr, bgr, mask=fgmask))
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラの表示例

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
v = cv2.VideoCapture(0)
fgbg = cv2.createBackgroundSubtractorKNN()
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    fgmask = fgbg.apply(bgr)
    cv2.imshow("", cv2.bitwise_and(bgr, bgr, mask=fgmask))
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

トラッキングビジョン

「トラッキングに適するポイント（追跡用の点）」を複数抜き出す（Shi-Tomasi の手法）ことを行ってみる

ビデオファイル

import cv2
import numpy as np
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "00008.MTS")
fourcc = cv2.VideoWriter_fourcc(*'XVID')
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    g = cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY)
    d = cv2.goodFeaturesToTrack(g, 80, 0.01, 5, 3)
    if d is not None:
        d = np.int0(d)
        for i in d:
            x,y = i.ravel()
            cv2.circle(bgr, (x,y), 10, 255, -1)
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
import numpy as np
v = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
while(v.isOpened()):
    r, bgr = v.read()
    if ( r == False ):
        break
    g = cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY)
    d = cv2.goodFeaturesToTrack(g, 80, 0.01, 5, 3)
    if d is not None:
        d = np.int0(d)
        for i in d:
            x,y = i.ravel()
            cv2.circle(bgr, (x,y), 10, 255, -1)
    cv2.imshow("", bgr)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

オプティカルフロー（Farnebackの方法による）

オプティカルフローは，ビデオから「動きの情報」を取り出す

ビデオファイル

import cv2
import numpy as np
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "00008.MTS")
fourcc = cv2.VideoWriter_fourcc(*'XVID')
ret, bgr1 = v.read()
prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(bgr1)
hsv[...,1] = 255
while(1):
    ret, bgr2 = v.read()
    next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
    # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    cv2.imshow('source',bgr2)
    cv2.imshow('flow',rgb)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    prvs = next
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
import numpy as np
v = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
ret, bgr1 = v.read()
prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(bgr1)
hsv[...,1] = 255
while(1):
    ret, bgr2 = v.read()
    next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
    # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    cv2.imshow('source',bgr2)
    cv2.imshow('flow',rgb)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    prvs = next
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

背景除去＋オプティカルフロー（Farnebackの方法による）

ビデオファイル

import cv2
import numpy as np
IMROOT="C:/image/"
v = cv2.VideoCapture(IMROOT + "00008.MTS")
fourcc = cv2.VideoWriter_fourcc(*'XVID')
ret, bgr1 = v.read()
prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(bgr1)
hsv[...,1] = 255
fgbg = cv2.createBackgroundSubtractorKNN()
fgmask = fgbg.apply(prvs)
prvs = cv2.bitwise_and(prvs, prvs, mask=fgmask)
while(1):
    ret, bgr2 = v.read()
    if ( ret == False ):
        break
    next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
    fgmask = fgbg.apply(next)
    next = cv2.bitwise_and(next, next, mask=fgmask)
    # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    cv2.imshow('source', prvs)
    cv2.imshow('flow',rgb)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    prvs = next
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

パソコン接続ビデオカメラ

パソコン接続できるビデオカメラを準備し，パソコンに接続しておく．

import cv2
import numpy as np
v = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
ret, bgr1 = v.read()
prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(bgr1)
hsv[...,1] = 255
fgbg = cv2.createBackgroundSubtractorKNN()
fgmask = fgbg.apply(prvs)
prvs = cv2.bitwise_and(prvs, prvs, mask=fgmask)
while(1):
    ret, bgr2 = v.read()
    if ( ret == False ):
        break
    next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY)
    fgmask = fgbg.apply(next)
    next = cv2.bitwise_and(next, next, mask=fgmask)
    # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags
    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    cv2.imshow('source', prvs)
    cv2.imshow('flow',rgb)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    prvs = next
v.release()
cv2.destroyAllWindows()

※ 途中で止めたいとき，右上の「x」をクリックしない．画面の中をクリックしてから，「q」のキーを押して閉じる

DIS optical flow

謝辞：https://github.com/opencv/opencv/blob/master/samples/python/stereo_match.py で公開されているプログラムに少し手を加えて使用しています（video パッケージを使わない。パソコンカメラを使うようにしています）

import numpy as np
import cv2 as cv

def draw_flow(img, flow, step=16):
    h, w = img.shape[:2]
    y, x = np.mgrid[step/2:h:step, step/2:w:step].reshape(2,-1).astype(int)
    fx, fy = flow[y,x].T
    lines = np.vstack([x, y, x+fx, y+fy]).T.reshape(-1, 2, 2)
    lines = np.int32(lines + 0.5)
    vis = cv.cvtColor(img, cv.COLOR_GRAY2BGR)
    cv.polylines(vis, lines, 0, (0, 255, 0))
    for (x1, y1), (x2, y2) in lines:
        cv.circle(vis, (x1, y1), 1, (0, 255, 0), -1)
    return vis


def draw_hsv(flow):
    h, w = flow.shape[:2]
    fx, fy = flow[:,:,0], flow[:,:,1]
    ang = np.arctan2(fy, fx) + np.pi
    v = np.sqrt(fx*fx+fy*fy)
    hsv = np.zeros((h, w, 3), np.uint8)
    hsv[...,0] = ang*(180/np.pi/2)
    hsv[...,1] = 255
    hsv[...,2] = np.minimum(v*4, 255)
    bgr = cv.cvtColor(hsv, cv.COLOR_HSV2BGR)
    return bgr


def warp_flow(img, flow):
    h, w = flow.shape[:2]
    flow = -flow
    flow[:,:,0] += np.arange(w)
    flow[:,:,1] += np.arange(h)[:,np.newaxis]
    res = cv.remap(img, flow, None, cv.INTER_LINEAR)
    return res


if __name__ == '__main__':
    import sys

    cam = cv.VideoCapture(0)
    ret, prev = cam.read()
    prevgray = cv.cvtColor(prev, cv.COLOR_BGR2GRAY)
    show_hsv = False
    show_glitch = False
    use_spatial_propagation = False
    use_temporal_propagation = True
    cur_glitch = prev.copy()
    inst = cv.DISOpticalFlow.create(cv.DISOPTICAL_FLOW_PRESET_MEDIUM)
    inst.setUseSpatialPropagation(use_spatial_propagation)

    flow = None
    while True:
        ret, img = cam.read()
        gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
        if flow is not None and use_temporal_propagation:
            #warp previous flow to get an initial approximation for the current flow:
            flow = inst.calc(prevgray, gray, warp_flow(flow,flow))
        else:
            flow = inst.calc(prevgray, gray, None)
        prevgray = gray

        cv.imshow('flow', draw_flow(gray, flow))
        if show_hsv:
            cv.imshow('flow HSV', draw_hsv(flow))
        if show_glitch:
            cur_glitch = warp_flow(cur_glitch, flow)
            cv.imshow('glitch', cur_glitch)

        ch = 0xFF & cv.waitKey(5)
        if ch == 27:
            break
        if ch == ord('1'):
            show_hsv = not show_hsv
            print('HSV flow visualization is', ['off', 'on'][show_hsv])
        if ch == ord('2'):
            show_glitch = not show_glitch
            if show_glitch:
                cur_glitch = img.copy()
            print('glitch is', ['off', 'on'][show_glitch])
        if ch == ord('3'):
            use_spatial_propagation = not use_spatial_propagation
            inst.setUseSpatialPropagation(use_spatial_propagation)
            print('spatial propagation is', ['off', 'on'][use_spatial_propagation])
        if ch == ord('4'):
            use_temporal_propagation = not use_temporal_propagation
            print('temporal propagation is', ['off', 'on'][use_temporal_propagation])
    cv.destroyAllWindows()

Python + OpenCV でビデオのフレーム間差分、トラッキングビジョン、オプティカルフローなど

前準備

Python, 主要パッケージ, OpenCV, git のインストール

この Web ページで説明のために使用するビデオ

顔が写ったビデオファイル

ドライブレコーダー

ステレオ画像（夜間）

作業手順

ビデオファイルの表示

ビデオファイルの表示例

パソコン接続ビデオカメラの表示例

ビデオファイルの表示例（必要部分の切り出し）

カラーヒストグラム

連続フレームの差分表示

ビデオファイル

パソコン接続ビデオカメラ

ビデオの背景除去（MOG2法による）

ビデオファイル

パソコン接続ビデオカメラ

ビデオの背景除去（kNN法による）

ビデオファイルでの表示例

パソコン接続ビデオカメラの表示例

ビデオの背景除去（kNN法による）ののち，元画像と論理積

ビデオファイルでの表示例

パソコン接続ビデオカメラの表示例

トラッキングビジョン

ビデオファイル

パソコン接続ビデオカメラ

オプティカルフロー（Farnebackの方法による）

ビデオファイル

パソコン接続ビデオカメラ

背景除去＋オプティカルフロー（Farnebackの方法による）

ビデオファイル

パソコン接続ビデオカメラ

DIS optical flow