サイト構成 | 連絡先,業績など | コンピュータ実習 | データの扱い | コンピュータ設定 | 教材(公開) | サポートページ |
目次
サイト内の関連Webページ
Python のプログラム作成には、PyCharmなどが便利である.
以下,Windows でインストール済みであるものとして説明を続ける.
sample2.mp4 (30秒)
1-1.avi (3分1秒)
import cv2 import numpy as np IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "sample2.mp4") while(v.isOpened()): r, bgr = v.read() if ( r == False ): break cv2.imshow("", bgr) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.
※「v = cv2.VideoCapture(0)」に変えただけ
import cv2 import numpy as np v = cv2.VideoCapture(0) while(v.isOpened()): r, bgr = v.read() if ( r == False ): break cv2.imshow("", bgr) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
「bgr[0:400, 0:300, 0:3]」で範囲を指定して、必要部分の切り出しを行っている
import cv2 import numpy as np IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "1-1.avi") while(v.isOpened()): r, bgr = v.read() if ( r == False ): break f = bgr[0:400, 0:300, 0:3] cv2.imshow("", f) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
https://github.com/opencv/opencv/blob/master/samples/python/color_histogram.py で 公開されているプログラムを書き換えて使用
import numpy as np import cv2 as cv # built-in modules import sys if __name__ == '__main__': hsv_map = np.zeros((180, 256, 3), np.uint8) h, s = np.indices(hsv_map.shape[:2]) hsv_map[:,:,0] = h hsv_map[:,:,1] = s hsv_map[:,:,2] = 255 hsv_map = cv.cvtColor(hsv_map, cv.COLOR_HSV2BGR) cv.imshow('hsv_map', hsv_map) cv.namedWindow('hist', 0) hist_scale = 10 def set_scale(val): global hist_scale hist_scale = val cv.createTrackbar('scale', 'hist', hist_scale, 32, set_scale) v = cv.VideoCapture(0) while(v.isOpened()): r, bgr = v.read() if ( r == False ): break cv.imshow('camera', bgr) small = cv.pyrDown(bgr) hsv = cv.cvtColor(small, cv.COLOR_BGR2HSV) dark = hsv[...,2] < 32 hsv[dark] = 0 h = cv.calcHist([hsv], [0, 1], None, [180, 256], [0, 180, 0, 256]) h = np.clip(h*0.005*hist_scale, 0, 1) vis = hsv_map*h[:,:,np.newaxis] / 255.0 cv.imshow('hist', vis) if cv.waitKey(1) & 0xFF == ord('q'): break v.release() cv.destroyAllWindows()
import cv2 import numpy as np IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "00008.MTS") r, bgr = v.read() while(v.isOpened()): bgr2 = bgr r, bgr = v.read() if ( r == False ): break cv2.imshow("", bgr - bgr2 + 128) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
表示の一部分
もともとのビデオ
パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.
※「v = cv2.VideoCapture(0)」に変えただけ
import cv2 import numpy as np v = cv2.VideoCapture(0) r, bgr = v.read() while(v.isOpened()): bgr2 = bgr r, bgr = v.read() if ( r == False ): break cv2.imshow("", bgr - bgr2 + 128) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
背景が黒,全景が白であるような濃淡画像を作る.
import cv2 IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "sample2.mp4") fgbg = cv2.createBackgroundSubtractorMOG2() while(v.isOpened()): r, bgr = v.read() if ( r == False ): break fgmask = fgbg.apply(bgr) cv2.imshow("",fgmask) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.
※「v = cv2.VideoCapture(0)」に変えただけ
import cv2 v = cv2.VideoCapture(0) fgbg = cv2.createBackgroundSubtractorMOG2() while(v.isOpened()): r, bgr = v.read() if ( r == False ): break fgmask = fgbg.apply(bgr) cv2.imshow("",fgmask) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
背景が黒,全景が白であるような濃淡画像を作ること.別の手法
import cv2 IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "sample2.mp4") fgbg = cv2.createBackgroundSubtractorKNN() while(v.isOpened()): r, bgr = v.read() if ( r == False ): break fgmask = fgbg.apply(bgr) cv2.imshow("",fgmask) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.
※「v = cv2.VideoCapture(0)」に変えただけ
import cv2 v = cv2.VideoCapture(0) fgbg = cv2.createBackgroundSubtractorKNN() while(v.isOpened()): r, bgr = v.read() if ( r == False ): break fgmask = fgbg.apply(bgr) cv2.imshow("",fgmask) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
import cv2 IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "sample2.mp4") fgbg = cv2.createBackgroundSubtractorKNN() while(v.isOpened()): r, bgr = v.read() if ( r == False ): break fgmask = fgbg.apply(bgr) cv2.imshow("", cv2.bitwise_and(bgr, bgr, mask=fgmask)) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.
※「v = cv2.VideoCapture(0)」に変えただけ
import cv2 v = cv2.VideoCapture(0) fgbg = cv2.createBackgroundSubtractorKNN() while(v.isOpened()): r, bgr = v.read() if ( r == False ): break fgmask = fgbg.apply(bgr) cv2.imshow("", cv2.bitwise_and(bgr, bgr, mask=fgmask)) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
「トラッキングに適するポイント(追跡用の点)」を複数抜き出す(Shi-Tomasi の手法)ことを行ってみる
import cv2 import numpy as np IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "00008.MTS") fourcc = cv2.VideoWriter_fourcc(*'XVID') while(v.isOpened()): r, bgr = v.read() if ( r == False ): break g = cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY) d = cv2.goodFeaturesToTrack(g, 80, 0.01, 5, 3) if d is not None: d = np.int0(d) for i in d: x,y = i.ravel() cv2.circle(bgr, (x,y), 10, 255, -1) cv2.imshow("", bgr) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.
※「v = cv2.VideoCapture(0)」に変えただけ
import cv2 import numpy as np v = cv2.VideoCapture(0) fourcc = cv2.VideoWriter_fourcc(*'XVID') while(v.isOpened()): r, bgr = v.read() if ( r == False ): break g = cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY) d = cv2.goodFeaturesToTrack(g, 80, 0.01, 5, 3) if d is not None: d = np.int0(d) for i in d: x,y = i.ravel() cv2.circle(bgr, (x,y), 10, 255, -1) cv2.imshow("", bgr) if cv2.waitKey(1) & 0xFF == ord('q'): break v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
オプティカルフローは,ビデオから「動きの情報」を取り出す
import cv2 import numpy as np IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "00008.MTS") fourcc = cv2.VideoWriter_fourcc(*'XVID') ret, bgr1 = v.read() prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY) hsv = np.zeros_like(bgr1) hsv[...,1] = 255 while(1): ret, bgr2 = v.read() next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY) # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0) mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1]) hsv[...,0] = ang*180/np.pi/2 hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX) rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR) cv2.imshow('source',bgr2) cv2.imshow('flow',rgb) if cv2.waitKey(1) & 0xFF == ord('q'): break prvs = next v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.
※「v = cv2.VideoCapture(0)」に変えただけ
import cv2 import numpy as np v = cv2.VideoCapture(0) fourcc = cv2.VideoWriter_fourcc(*'XVID') ret, bgr1 = v.read() prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY) hsv = np.zeros_like(bgr1) hsv[...,1] = 255 while(1): ret, bgr2 = v.read() next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY) # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0) mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1]) hsv[...,0] = ang*180/np.pi/2 hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX) rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR) cv2.imshow('source',bgr2) cv2.imshow('flow',rgb) if cv2.waitKey(1) & 0xFF == ord('q'): break prvs = next v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
import cv2 import numpy as np IMROOT="C:/image/" v = cv2.VideoCapture(IMROOT + "00008.MTS") fourcc = cv2.VideoWriter_fourcc(*'XVID') ret, bgr1 = v.read() prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY) hsv = np.zeros_like(bgr1) hsv[...,1] = 255 fgbg = cv2.createBackgroundSubtractorKNN() fgmask = fgbg.apply(prvs) prvs = cv2.bitwise_and(prvs, prvs, mask=fgmask) while(1): ret, bgr2 = v.read() if ( ret == False ): break next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY) fgmask = fgbg.apply(next) next = cv2.bitwise_and(next, next, mask=fgmask) # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0) mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1]) hsv[...,0] = ang*180/np.pi/2 hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX) rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR) cv2.imshow('source', prvs) cv2.imshow('flow',rgb) if cv2.waitKey(1) & 0xFF == ord('q'): break prvs = next v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
パソコン接続できるビデオカメラを準備し,パソコンに接続しておく.
※「v = cv2.VideoCapture(0)」に変えただけ
import cv2 import numpy as np v = cv2.VideoCapture(0) fourcc = cv2.VideoWriter_fourcc(*'XVID') ret, bgr1 = v.read() prvs = cv2.cvtColor(bgr1,cv2.COLOR_BGR2GRAY) hsv = np.zeros_like(bgr1) hsv[...,1] = 255 fgbg = cv2.createBackgroundSubtractorKNN() fgmask = fgbg.apply(prvs) prvs = cv2.bitwise_and(prvs, prvs, mask=fgmask) while(1): ret, bgr2 = v.read() if ( ret == False ): break next = cv2.cvtColor(bgr2, cv2.COLOR_BGR2GRAY) fgmask = fgbg.apply(next) next = cv2.bitwise_and(next, next, mask=fgmask) # pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0) mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1]) hsv[...,0] = ang*180/np.pi/2 hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX) rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR) cv2.imshow('source', prvs) cv2.imshow('flow',rgb) if cv2.waitKey(1) & 0xFF == ord('q'): break prvs = next v.release() cv2.destroyAllWindows()
※ 途中で止めたいとき,右上の「x」をクリックしない.画面の中をクリックしてから,「q」のキーを押して閉じる
謝辞:https://github.com/opencv/opencv/blob/master/samples/python/stereo_match.py で公開されているプログラムに少し手を加えて使用している(video パッケージを使わない。パソコンカメラを使うようにしている)
import numpy as np import cv2 as cv def draw_flow(img, flow, step=16): h, w = img.shape[:2] y, x = np.mgrid[step/2:h:step, step/2:w:step].reshape(2,-1).astype(int) fx, fy = flow[y,x].T lines = np.vstack([x, y, x+fx, y+fy]).T.reshape(-1, 2, 2) lines = np.int32(lines + 0.5) vis = cv.cvtColor(img, cv.COLOR_GRAY2BGR) cv.polylines(vis, lines, 0, (0, 255, 0)) for (x1, y1), (x2, y2) in lines: cv.circle(vis, (x1, y1), 1, (0, 255, 0), -1) return vis def draw_hsv(flow): h, w = flow.shape[:2] fx, fy = flow[:,:,0], flow[:,:,1] ang = np.arctan2(fy, fx) + np.pi v = np.sqrt(fx*fx+fy*fy) hsv = np.zeros((h, w, 3), np.uint8) hsv[...,0] = ang*(180/np.pi/2) hsv[...,1] = 255 hsv[...,2] = np.minimum(v*4, 255) bgr = cv.cvtColor(hsv, cv.COLOR_HSV2BGR) return bgr def warp_flow(img, flow): h, w = flow.shape[:2] flow = -flow flow[:,:,0] += np.arange(w) flow[:,:,1] += np.arange(h)[:,np.newaxis] res = cv.remap(img, flow, None, cv.INTER_LINEAR) return res if __name__ == '__main__': import sys cam = cv.VideoCapture(0) ret, prev = cam.read() prevgray = cv.cvtColor(prev, cv.COLOR_BGR2GRAY) show_hsv = False show_glitch = False use_spatial_propagation = False use_temporal_propagation = True cur_glitch = prev.copy() inst = cv.DISOpticalFlow.create(cv.DISOPTICAL_FLOW_PRESET_MEDIUM) inst.setUseSpatialPropagation(use_spatial_propagation) flow = None while True: ret, img = cam.read() gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY) if flow is not None and use_temporal_propagation: #warp previous flow to get an initial approximation for the current flow: flow = inst.calc(prevgray, gray, warp_flow(flow,flow)) else: flow = inst.calc(prevgray, gray, None) prevgray = gray cv.imshow('flow', draw_flow(gray, flow)) if show_hsv: cv.imshow('flow HSV', draw_hsv(flow)) if show_glitch: cur_glitch = warp_flow(cur_glitch, flow) cv.imshow('glitch', cur_glitch) ch = 0xFF & cv.waitKey(5) if ch == 27: break if ch == ord('1'): show_hsv = not show_hsv print('HSV flow visualization is', ['off', 'on'][show_hsv]) if ch == ord('2'): show_glitch = not show_glitch if show_glitch: cur_glitch = img.copy() print('glitch is', ['off', 'on'][show_glitch]) if ch == ord('3'): use_spatial_propagation = not use_spatial_propagation inst.setUseSpatialPropagation(use_spatial_propagation) print('spatial propagation is', ['off', 'on'][use_spatial_propagation]) if ch == ord('4'): use_temporal_propagation = not use_temporal_propagation print('temporal propagation is', ['off', 'on'][use_temporal_propagation]) cv.destroyAllWindows()