トップページ情報工学を学ぶ人工知能の実行,Python プログラム (Windows 上)DeepGaze による saliency の算出(mpatacchiola/DeepGaze ,Python 3.7, TensorFlow 1.15.5 を使用)(Windows 上)

DeepGaze による saliency の算出(mpatacchiola/DeepGaze ,Python 3.7, TensorFlow 1.15.5 を使用)(Windows 上)

目次

手順の要点: 前準備として,NVIDIA CUDA 10.0, NVIDIA cuDNN 7.6.5, Python 3.7, TensorFlow 1.15.5 等をインストール.

ソフトウェア等の利用条件等は,利用者で確認すること.

謝辞:ソフトウェアの作者に感謝します

参考Webページ https://www.github.com/mpatacchiola/DeepGaze

前準備

Visual Studio Community 2017 のインストール

NVIDIA CUDA 10.0 は Visual Studio Commnity 2017, 2015, 2013, 2012 と連携して動く機能がある.

NVIDIA CUDA 10.0 のインストールの前に, Visual Studio Commnity 2017 のインストールを行う.

Visual Studio Commnity 2017 のインストールは, https://visualstudio.microsoft.com/ja/vs/older-downloads/ で「2017」を選び,「ダウンロード」をクリック. その後表示されるダウンロードの画面で, 「Visual Studio Commnity 2017」を選ぶ.

Git のインストール

Git のページ https://git-scm.com/ からダウンロードしてインストール:

cmake のインストール

cmake のダウンロードページ: https://cmake.org/download/

NVIDIA ドライバ,NVIDIA CUDA ツールキット 10.0,NVIDIA cuDNN 7.6.5 のインストール

GPU は,グラフィックス・プロセッシング・ユニットの略で、コンピュータグラフィックス関連の機能,乗算や加算の並列処理の機能などがある. NVIDIA CUDA ツールキット は,NVIDIA社が提供している GPU 用のプラットフォームである.

インストールの詳細説明

Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 10.0,NVIDIA cuDNN 7.6.5 のインストール: 別ページで説明している.

NVIDIA ドライバのインストール

インストールの要点

インストールの詳細説明

NVIDIA CUDA ツールキット 10.0, NVIDIA cuDNN 7.6.5 のインストール

インストールの詳細説明

Windows での NVIDIA ドライバ,NVIDIA CUDA ツールキット 10.0,NVIDIA cuDNN 7.6.5 のインストール: 別ページで説明している.

インストールの要点

Python 3.7 64 ビット版のインストール,pip と setuptools の更新

① Python 3.7 64 ビット版のインストール(Windows 上)

インストールの詳細説明

https://www.kkaneko.jp/tools/win/python37.html

Python のインストールでの注意点

インストール手順

Windows での Python 3.7 のインストール(あとのトラブルが起きにくいような手順を定めている)

  1. Python の URL を開く

    URL: https://www.python.org

  2. Windows 版の Python 3.7 をダウンロード

    ページの上の方にある「Downloads」をクリック,「Downloads」の下にメニューが出るので,その中の「Windows」をクリック.

    そして,Python 3.7.x (x は数字)を探す.

    そして,Windows の 64ビット版のインストーラをダウンロードしたいので,「Windows x86-64 executable installer」を選ぶ

    [image]
  3. インストール時の設定
    1. いまダウンロードした .exe ファイルを右クリック, 右クリックメニューで「管理者として実行」を選ぶ.

      [image]
    2. Python ランチャーをインストールするために,「Install launcher for all users (recommended)」をチェック.

      ※ すでに Python ランチャーをインストール済みのときは, 「Install launcher for all users (recommended)」がチェックできないようになっている場合がある.そのときは,チェックせずに進む.

    3. Add Python 3.7 to PATH」をチェック.

      [image]
    4. Customize installation」をクリック.

      [image]
    5. オプションの機能 (Optional Features)は,既定(デフォルト)のままでよい. 「Next」をクリック

      [image]
    6. Install for all users」を選んでおいたほうが,複数人で使えて便利という考え方もある.

      そして,Python のインストールディレクトリは,「C:\Program Files\Python37」のように自動設定されることを確認.

      Install」をクリック

      [image]
    7. Disable path length limit」が表示される場合がある.クリックして,パス長の制限を解除する

      [image]
    8. インストールが終了したら,「Close」をクリック
  4. インストールのあと,Windows のスタートメニューに「Python 3.7」が増えていることを確認.
  5. システムの環境変数 Path の確認のため,新しくコマンドプロンプトを開き,次のコマンドを実行.

    pypipパスが通っていることの確認である.

    where py
    where pip
    

    where py では「C:\Windows\py.exe」 が表示され, where pip では「C:\Program Files\Python37\Scripts\pip.exe」 が表示されることを確認.

② pip と setuptools の更新(Windows 上)

  1. Windows で,コマンドプロンプト管理者として実行

    Windowspip を実行するときは,コマンドプロンプト管理者として実行し,それを使って pip を実行することにする.

    コマンドプロンプトを管理者として実行: 別ページで説明している.

  2. 次のコマンドを実行

    py -3.7 -m pip install -U pip setuptools
    

【pip の利用】

pip は,次のコマンドで起動できる.

TensorFlow 1.15.5, Keras 2.3.1 のインストール

コマンドプロンプト管理者として実行し,次のコマンドを実行

py -3.7 -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer scipy pandas matplotlib
# TensorFlow 1.15.5 のため numpy, protobuf の古いバージョンを使用.エラーが出にくいと考えられる numpy 1.16.2, protobuf 3.19.4 を使用
py -3.7 -m pip install -U numpy==1.16.2 protobuf==3.19.4 tensorflow-gpu==1.15.5 keras==2.3.1 scipy==1.5.4
py -3.7 -m pip install git+https://github.com/tensorflow/docs
py -3.7 -m pip install git+https://github.com/tensorflow/examples.git
py -3.7 -m pip install git+https://www.github.com/keras-team/keras-contrib.git

mpatacchiola/DeepGaze のインストール

Windows での手順を下に示す.Ubuntu でも同様の手順になる.

  1. Windows で,コマンドプロンプト管理者として実行
  2. DeepGaze のインストールディレクトリを空にしておく

    cd %HOMEPATH%
    rmdir /s /q deepgaze
    

    [image]
  3. DeepGaze のインストール

    git clone https://github.com/mpatacchiola/deepgaze
    cd deepgaze
    py -3.7 setup.py build
    py -3.7 setup.py install 
    

    [image]
    (以下省略)
  4. 結果の確認

    エラーメッセージが出ていないこと.

このページで説明のために使用するビデオ、写真

  1. C:\facevideo のような作業用のディレクトリ(フォルダ)を作る

    [image]
  2. mp4 形式動画ファイル: sample1.mp4 を、C:\facevideo の下にダウンロード

動画ファイルで動かしてみる

  1. Windows では,コマンドプロンプトを実行.
  2. 作業用のディレクトリ(フォルダ)として,c:\imageを作り, sample1.mp4 を,c:\image の下にダウンロード
    mkdir c:\image
    cd c:\image
    curl -O https://www.kkaneko.jp/sample/face/sample1.mp4
    

    [image]
  3. py -3.7 で,Python プログラムの実行

    Windows でのプログラムを下に示す.Ubuntu でも同様のプログラムになる.

    OpenCV による動画表示を行う.

    「FACEIMAGEROOT + "sample1.mp4"」のところは、実際のファイル名に置き換えること

    import numpy as np
    import cv2
    from deepgaze.saliency_map import FasaSaliencyMapping 
    
    # Using OpenCV the resolution of the webcam is set to these values.
    # You must check which resolution your webcam support and adjust the values in accordance.
    RESOLUTION_WIDTH = 320
    RESOLUTION_HEIGHT = 180
    
    FACEIMAGEROOT="c:/image/"
    v = cv2.VideoCapture(FACEIMAGEROOT + "sample1.mp4")
    
    # Create the main window and move it
    cv2.namedWindow('Video')
    
    # Obtaining the CAM dimension
    w = int(v.get(3))
    h = int(v.get(4))
    
    # Defining the FASA object using the camera resolution
    my_map = FasaSaliencyMapping(h, w)
    
    while True:
        # Capture frame-by-frame
        r, f = v.read()
        if ( r == False ):
            break
        image_salient = my_map.returnMask(f, tot_bins=8, format='BGR2LAB')
        cv2.imshow("", image_salient)
        # Press Q to exit
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    [image]

ビデオカメラで動かしてみる

Windows での手順を下に示す.Ubuntu でも同様の手順になる.

  1. Windows で,コマンドプロンプト管理者として実行
  2. py -3.7 で,Python プログラムの実行

    OpenCV による動画表示を行う.

    import numpy as np
    import cv2
    from deepgaze.saliency_map import FasaSaliencyMapping 
    
    # Using OpenCV the resolution of the webcam is set to these values.
    # You must check which resolution your webcam support and adjust the values in accordance.
    RESOLUTION_WIDTH = 320
    RESOLUTION_HEIGHT = 180
    
    # Open the video stream and set the webcam resolution.
    # It may give problem if your webcam does not support the particular resolution used.
    video_capture = cv2.VideoCapture(0)
    
    # Create the main window and move it
    cv2.namedWindow('Video')
    
    # Obtaining the CAM dimension
    cam_w = int(video_capture.get(3))
    cam_h = int(video_capture.get(4))
    
    # Defining the FASA object using the camera resolution
    my_map = FasaSaliencyMapping(cam_h, cam_w)
    
    while True:
        # Capture frame-by-frame
        r, f = video_capture.read()
        image_salient = my_map.returnMask(f, tot_bins=8, format='BGR2LAB')
        cv2.imshow("", image_salient)
        # Press Q to exit
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    
    v.release()
    cv2.destroyAllWindows()
    

    [image]

    [image]