金子邦彦研究室人工知能オンラインサービス(人工知能関連)ビデオを他人の顔に入れ替える(Simple DeepFace を使用,Google Colab 上での実行)

ビデオを他人の顔に入れ替える(Simple DeepFace を使用,Google Colab 上での実行)

次のURL で公開されている Simple DeepFace を紹介する.

https://www.youtube.com/redirect?redir_token=7_00s5ujPcXOdVowMvyncUy7QGh8MTU5MTAwOTIxMUAxNTkwOTIyODEx&q=https%3A%2F%2Fcolab.research.google.com%2Fgithub%2FAliaksandrSiarohin%2Ffirst-order-model%2Fblob%2Fmaster%2Fdemo.ipynb&stzid=UgxMYgJYSmyLBgHdrjd4AaABAg&event=comments

Simple DeepFace の使い方は,その作者による YouTube 動画が公開されている. その前半部分を https://www.youtube.com/watch?v=peOKeRBU_uQ を行ってみた.

顔の静止画と顔の動画から,新しい動画を生成する.

[image]

Google Colaboratory でノートブックを開く

Google Colaboratory はオンラインの Python 開発環境. 使用するには Google アカウントが必要

  1. Google Colaboratory のWebページを開く

    https://colab.research.google.com

    [image]
  2. ファイル」で、「ノートブックを新規作成」を選ぶ

    [image]
  3. Google アカウントでのログインが求められたときはログインする

    [image]
  4. コードセルの中に Python プログラムを書き、「再生ボタン」をクリック

    [image]
  5. コードセルを追加したいときは、「挿入」で、「コードセル」をクリック

    [image]

実行してみる

  1. 次のノートブックを開く

    https://www.youtube.com/redirect?redir_token=7_00s5ujPcXOdVowMvyncUy7QGh8MTU5MTAwOTIxMUAxNTkwOTIyODEx&q=https%3A%2F%2Fcolab.research.google.com%2Fgithub%2FAliaksandrSiarohin%2Ffirst-order-model%2Fblob%2Fmaster%2Fdemo.ipynb&stzid=UgxMYgJYSmyLBgHdrjd4AaABAg&event=comments

  2. 最初のセルは次のように「!pip3 install PyYAML==5.3.1」を書き加えて実行

    [image]
  3. 次のセルを実行

    [image]
  4. 次のセルを実行

    [image]

    実行すると https://accounts.googlm.com ... へのリンクが表示されるので,クリックして,開く.

    [image]

    その後,Google アカウントでログイン. 表示などをよく確認の上,許可の操作を行う

    [image]
  5. 「このコードをコピーして,アプリケーションに切り替えて貼り付けてください」と表示されるので,コードをコピーする.

    [image]
  6. 「Enter your authorization code:」のところに貼り付けて Enter キー.

    [image]
  7. Google ドライブのフォルダへのリンクが表示されるので,クリックして開く

    [image]
  8. 「Mounted at /content/gdrive」と表示されるので確認
  9. 自分の Google Drive の下に first-order-motion-model というサブフォルダを作り,その中に,画像,ビデオ,その他ファイルを配置する. そのために,次のように操作する.
    1. 「My Drive」の下に, 「first-order-motion-model」というサブフォルダを作る.

      [image]
    2. 先ほど開いた画面で, vox-cpk.pth.tar, vox-adv-cpk.pth.tar のそれぞれについて,次のように操作し, 「first-order-motion-model」にショートカットを作成する.

      右クリックメニューで, 「Add shotcut to Drive」を選び, そのショートカットの作成先として,先ほど作成した 「first-order-motion-model」を選ぶ.

      [image]
    3. 先ほど開いた画面で, 使用したい画像ファイル,動画ファイルを選ぶ.

      右クリックメニューで, 「Add shotcut to Drive」を選び, そのショートカットの作成先として,先ほど作成した 「first-order-motion-model」を選ぶ.

      次のようになる.

      [image]
  10. 次のセルで,使用する画像ファイル名,動画ファイル名 を書き,実行する.

    [image]
  11. 画像ファイルと動画ファイルが表示されるので確認.

    [image]
  12. 次のセルを実行する

    [image]
  13. 次のセルを実行する.ビデオが表示されるので確認する.

    [image]
  14. Google Drive の first-order-motion-model に,自分の使いたい画像ファイルをアップローロする.

    画像ファイルの画素数は 256 x 256 であること.

    [image]
  15. 2つ前のセル(Load driving video and source image のセル)に戻り,画像ファイル名を書き替えて,再実行する.

    [image]
  16. 結果を確認する

    [image]
  17. 「Perform image animation」のセルを再実行する.

    [image]

    生成された動画ファイル: kaneko02.mp4