人工知能応用，データ応用，３次元のまとめ

CuRRET データベース (Columbia-Utrecht Reflectance and Texture Database)

反射率とテクスチャに関するデータベース

• BRDF データベース: 60 以上のサンプルについて，反射率を計測したもの．
• BRDF パラメータデータベース: BRDF モデル（the Oren-Nayar model とthe Koenderink et al. representation の2つ）のフィッティングパラメータ (fitting parameter) を含む．
• BTF データベース: 60 以上のサンプルについての画像テクスチャに関する計測値

CuRRET データベース (Columbia-Utrecht Reflectance and Texture Database)は次の URL で公開されているデータセット（オープンデータ）である．

URL: https://www.cs.columbia.edu/CAVE/software/curet/html/about.php

DeepFace

DeepFace は，ArcFace 法による顔識別の機能や，顔検出，年齢や性別や表情の推定の機能などを持つ．

ArcFace 法は，距離学習の技術の１つである． 画像分類において，種類が不定個であるような画像分類に使うことができる技術である． 顔のみで動くということではないし， 顔の特徴を捉えて工夫されているということもない．

DeepFace の URL: https://github.com/serengil/deepface

ArcFace 法の概要は次の通り

• 顔のコード化：顔画像を，数値ベクトル（数値の並び）に変換する．
• 顔のコードについて，同一人物の顔のコードは近くになるように，違う人物の顔のコードは遠くなるように，顔のコードを作り直す．そのときディープラーニングを使う．これを「距離学習」という．
• 距離学習の学習済みモデルを使う．距離学習がなかったときと比べて，顔認識の精度の向上が期待できる．

【関連項目】 ArcFace 法, 顔検出, 顔識別 (face identification), 顔認識, 顔に関する処理

Google Colaboratory で，DeepFace による顔識別の実行，年齢，性別，表情の推定の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

• ディレクトリ内の全画像ファイルを顔データベースとして，画像とかおデータベースを用いた顔認識 (face recognition)を行い，顔データベースの各画像との距離を表示．
• 年齢，性別，表情の推定．

1. インストールと設定

   !pip3 install deepface
   !git clone --recursive https://github.com/serengil/deepface
   
   from deepface import DeepFace
   import pandas as pd
   pd.set_option('display.max_rows', None)
   print(pd.get_option('display.max_rows'))
   

   

2. 顔画像の準備

   単一のディレクトリ ./deepface/tests/dataset に，処理したい顔画像をすべて入れておく

3. 顔識別の実行

   ディレクトリ内の全画像ファイルとの顔識別を行い，それぞれの顔画像ファイルとの距離を表示．

   df = DeepFace.find(img_path="./deepface/tests/dataset/img38.jpg", db_path="./deepface/tests/dataset", distance_metric='euclidean')
   a = df.sort_values('VGG-Face_euclidean')
   print(a)
   

   

4. 年齢，性別，表情の推定の実行

   obj = DeepFace.analyze(img_path = "./deepface/tests/dataset/img38.jpg", actions = ['age', 'gender', 'emotion'])
   print(obj)
   

   

DeepForge

DeepForge は，ディープラーニングのソフトウェア一式．Webサーバも付属していて，Webブラウザからディープラーニングのソフトウェアの作成，実行，保存が簡単にできる．ソフトウェアの作成は，Webブラウザ上でのエディタでも，Webブラウザ上でのビジュアルなエディタでもできる．ディープラーニングでのニューラルネットワークの構造が図で簡単に確認できて便利

【サイト内の関連ページ】

• Windows での DeepForge のインストールとテスト実行: 別ページで説明してる

【関連する外部ページ】

• DeepForge の公式ページ: https://deepforge.org/

DeepLab2

DeepLab2 は，セグメンテーションの機能を持つ TensorFlow のライブラリである． DeepLab, Panoptic-DeepLab, Axial-Deeplab, Max-DeepLab, Motion-DeepLab, ViP-DeepLab を含む．

DeepLab2 の公式のデモ（Google Colaboratory のページ）の実行により，下図のように panoptic segmentation の結果が表示される．

そのデモのページの URL: https://colab.research.google.com/github/google-research/deeplab2/blob/main/DeepLab_Demo.ipynb#scrollTo=6552FXlAOHnX

【文献】

Mark Weber, Huiyu Wang, Siyuan Qiao, Jun Xie, Maxwell D. Collins, Yukun Zhu, Liangzhe Yuan, Dahun Kim, Qihang Yu, Daniel Cremers, Laura Leal-Taixe, Alan L. Yuille, Florian Schroff, Hartwig Adam, Liang-Chieh Chen, DeepLab2: A TensorFlow Library for Deep Labeling, CoRR, abs/2106.09748v1, 2021.

【サイト内の関連ページ】

https://arxiv.org/pdf/2106.09748v1.pdf

【関連項目】 セマンティック・セグメンテーション (semantic segmentation), panoptic segmentation, depth estimation

Deeplab2 のインストール（Windows 上）

1. プロトコル・バッファ・コンパイラ (protocol buffer compiler) のインストールを行っておく
2. コマンドプロンプトを管理者として開く．
3. Deeplab2 のダウンロード，前提ソフトウエアのインストール

   Deeplab2 を動かすため，protobuf==3.19.6

   cd c:\
   rmdir /s /q c:\deeplab2
   mkdir c:\deeplab2
   cd c:\deeplab2
   git clone https://github.com/google-research/deeplab2.git
   python -m pip install -U tensorflow==2.10.1 protobuf==3.19.6
   

4. protoc を用いてコンパイル

   cd c:\deeplab2
   protoc deeplab2\*.proto --python_out=.
   

   
5. Windows の システム環境変数 PYTHONPATHに，c:\deeplab2 を追加することにより，パスを通す．

   Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

   powershell -command "$oldpath = [System.Environment]::GetEnvironmentVariable(\"PYTHONPATH\", \"Machine\"); $oldpath += \";c:\deeplab2\"; [System.Environment]::SetEnvironmentVariable(\"PYTHONPATH\", $oldpath, \"Machine\")"
   

   
6. 新しくコマンドプロンプトを開き，動作確認

   
   
   cd c:\deeplab2\deeplab2\model
   python deeplab_test.py
   
   
   
   

Deeplab2 のインストール（Ubuntu 上）

ttps://github.com/google-research/deeplab2/blob/main/g3doc/setup/installation.md の記載による．

1. protoc のインストール

   sudo apt -y update
   sudo apt -y install libprotobuf-dev protobuf-compiler protobuf-c-compiler python3-protobuf
   

2. pycocotoos のインストール

   sudo pip3 install tensorflow tf-models-official pillow matplotlib cython 
   sudo pip3 install "git+https://github.com/philferriere/cocoapi.git#egg=pycocotools&subdirectory=PythonAPI"
   
   # install pycocotools
   cd /usr/local
   sudo git clone https://github.com/cocodataset/cocoapi.git
   sudo chown -R $USER cocoapi 
   cd ./cocoapi/PythonAPI
   make
   echo 'export PYTHONPATH=$PYTHONPATH:/usr/local/cocoapi/PythonAPI' >> ~/.bashrc
   

3. DeepLab2 のインストール

   cd /usr/local
   sudo rm -rf deeplab2
   sudo git clone https://github.com/google-research/deeplab2.git
   sudo chown -R $USER deeplab2
   cd /usr/local
   protoc deeplab2/*.proto --python_out=.
   cd /usr/local
   bash deeplab2/compile.sh
   echo 'export PYTHONPATH=$PYTHONPATH:/usr/local' >> ~/.bashrc
   echo 'export PYTHONPATH=$PYTHONPATH:/usr/local/deeplab2' >> ~/.bashrc
   

4. TensorFlow モデルのインストール

   cd /usr/local
   sudo rm -rf models
   sudo git clone https://github.com/tensorflow/models.git
   sudo chown -R $USER models
   cd /usr/local/models/research
   protoc object_detection/protos/*.proto --python_out=.
   protoc lstm_object_detection/protos/*.proto --python_out=.
   cd /usr/local/models/research\delf
   protoc delf/protos/*.proto --python_out=.
   echo 'export PYTHONPATH=$PYTHONPATH:/usr/local/models' >> ~/.bashrc
   

5. DeepLab2 の動作確認

   source ~/.bashrc
   cd /usr/local
   # Model training test (test for custom ops, protobuf)
   python deeplab2/model/deeplab_test.py
   
   # Model evaluator test (test for other packages such as orbit, cocoapi, etc)
   python deeplab2/trainer/evaluator_test.py
   

DeepLabv3

セマンティック・セグメンテーションのモデル． 2017年発表．

• 文献

  Liang-Chieh Chen, George Papandreou, Florian Schroff, Hartwig Adam, Rethinking Atrous Convolution for Semantic Image Segmentation

• 公式のソースコード: https://github.com/tensorflow/models/tree/master/research/deeplab
• MMSegmentation の DeepLabv3 のページ: https://github.com/open-mmlab/mmsegmentation/tree/master/configs/deeplabv3

【関連項目】 Residual Networks (ResNets) , モデル, セマンティック・セグメンテーション

DeepLabv3+

セマンティック・セグメンテーションのモデル． 2018年発表．

• 文献

  Liang-Chieh Chen and Yukun Zhu and George Papandreou and Florian Schroff and Hartwig Adam, Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation, ECCV, 2018.

• 公式のソースコード: https://github.com/tensorflow/models/tree/master/research/deeplab
• MMSegmentation の DeepLabv3+ のページ: https://github.com/open-mmlab/mmsegmentation/tree/master/configs/deeplabv3plus

【関連項目】 Residual Networks (ResNets) , モデル, セマンティック・セグメンテーション

DeepL API の認証キー

DeepL API の認証キーの取得はオンラインで可能である．クレジットカード番号の登録などが必要になる．

【関連する外部ページ】

DeepL Pro のページ: https://www.deepl.com/pro#developer

DeepXi

• 文献 Nicolson Aaron, Paliwal Kuldip K., Deep Xi as a Front-End for Robust Automatic Speech Recognition, 2020.

  PDF: https://arxiv.org/pdf/1906.07319v2.pdf

• GitHub のページ: https://github.com/anicolson/DeepXi
• Papers with Code のページ: https://paperswithcode.com/paper/deep-xi-as-a-front-end-for-robust-automatic

【関連項目】 speech enhancement, speech recognition

Google Colaboratory での DeepXi のインストール

公式の手順 https://github.com/anicolson/DeepXi による．

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

%cd /content
!rm -rf DeepXi
!git clone https://github.com/anicolson/DeepXi.git
%cd DeepXi
!pip3 install -r requirements.txt

Deformable DETR

物体検出の一手法．2021 年発表．

• 文献

  Xizhou Zhu and Weijie Su and Lewei Lu and Bin Li and Xiaogang Wang and Jifeng Dai, Deformable DETR: Deformable Transformers for End-to-End Object Detection, International Conference on Learning Representations, also CoRR, abs/2010.04159v4, 2021.

  PDF: https://arxiv.org/pdf/2010.04159v4.pdf

• 公式の URL: https://openreview.net/forum?id=gZ9hCDWe6ke
• 公式のソースコード (GitHub): https://github.com/fundamentalvision/Deformable-DET
• Papers with Code のページ: https://paperswithcode.com/paper/deformable-detr-deformable-transformers-for-1
• MMDetection のモデル: https://github.com/open-mmlab/mmdetection/blob/master/configs/deformable_detr/README.md

【関連項目】 DETR, MMDetection, 物体検出

Demucs

音源分離（music source separation）を行う 1手法．2019年発表．2021年に hybrid version が発表． 音声と楽器音の混合から，音声や楽器音を分離できる．

• 文献

  Hybrid Spectrogram and Waveform Source Separation, Alexandre Défossez, Proceedings of the ISMIR 2021 Workshop on Music Source Separation, also CoRR, abs/2111.03600v1, 2021.

  PDF: https://arxiv.org/pdf/2111.03600v1.pdf

• 公式のページ (GitHub): https://github.com/facebookresearch/demucs
• 公式のオンラインデモ (Google Colaboratory): https://colab.research.google.com/drive/1dC9nVxk3V_VPjUADsnFu8EiT-xnU1tGH?usp=sharing
• 公式のオンラインデモ (HaggingFace 内): https://huggingface.co/spaces/akhaliq/demucs

【関連用語】 audio source seperation, music source separation

Google Colaboratory で，音声，楽曲の分離 (Demucs を使用）

公式の手順 https://github.com/facebookresearch/demucs による．

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Demucs のインストール

   !pip3 install -U git+https://github.com/facebookresearch/demucs#egg=demucs
   !pip3 show demucs
   

   
2. 処理したいサウンドファイルの準備

   ここでは，1.m4a をダウンロードしている．

   %cd /content
   !curl -O https://www.kkaneko.jp/sample/audio/1.m4a
   

   
3. Demucs の実行

   !demucs 1.m4a
   

   
4. 処理結果のダウンロード

   「1」のところは，処理したサウンドファイルのファイル名にあわせること．

   from google.colab import files
   %cd separated/mdx_extra_q/1
   files.download('drums.wav')
   files.download('bass.wav')
   files.download('other.wav')
   files.download('vocals.wav')
   

   

DenseNet121, DenseNet169

CoRR, abs/1608.06993

Keras の DenseNet121 を用いて DenseNet121 を作成するプログラムは次のようになる． 「weights=None」を指定することにより，最初，重みをランダムに設定する．

m = tf.keras.applications.densenet.DenseNet121(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)

Keras の DenseNet169 を用いて DenseNet169 を作成するプログラムは次のようになる． 「weights=None」を指定することにより，最初，重みをランダムに設定する．

m = tf.keras.applications.densenet.DenseNet169(input_shape=INPUT_SHAPE, weights=None, classes=NUM_CLASSES)

Keras の応用のページ: https://keras.io/ja/applications/

【関連項目】 モデル, 画像分類

PyTorch, torchvision の DenseNet121 学習済みモデルのロード，画像分類のテスト実行

Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

1. 前準備

   前準備として，Python のインストール: 別項目で説明している．, PyTorch のインストール を行う．

   Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

   次に，pip を用いて，pillow のインストールを行う．

   pip install -U pillow
   

2. ImageNet データセット で学習済みのDenseNet121 モデルのロード

   PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

   import torch
   import torchvision.models as models
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   m = models.densenet121(pretrained=True).to(device)
   

3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

   from PIL import Image
   import requests
   
   # ダウンロードとロード
   url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
   response = requests.get(url)
   img = Image.open(requests.get(url, stream=True).raw)
   
   # 確認表示
   display(img)
   

   
4. 画像の前処理．PyTorch で扱えるようにするため．

   from PIL import Image
   from torchvision import transforms
   img = Image.open(filename)
   preprocess = transforms.Compose([
       transforms.Resize(256),
       transforms.CenterCrop(224),
       transforms.ToTensor(),
       transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
   ])
   input_tensor = preprocess(img)
   input_batch = input_tensor.unsqueeze(0)
   

5. 推論 (inference) の実行

   「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

   import torch
   if torch.cuda.is_available():
       input_batch = input_batch.to('cuda')
   
   m.eval()
   with torch.no_grad():
       output = m(input_batch)
   

6. 結果の表示

   import urllib
   url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
   try: urllib.URLopener().retrieve(url, filename)
   except: urllib.request.urlretrieve(url, filename)
   
   with open("imagenet_classes.txt", "r") as f:
       categories = [s.strip() for s in f.readlines()]
   
   # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
   probabilities = torch.nn.functional.softmax(output[0], dim=0)
   print(probabilities)
   
   top5_prob, top5_catid = torch.topk(probabilities, 5)
   for i in range(top5_prob.size(0)):
       print(categories[top5_catid[i]], top5_prob[i].item())
   

   Google Colaboratory での結果

   

   Windows での結果

   

   Linux での結果

   

PyTorch, torchvision の DenseNet169 学習済みモデルのロード，画像分類のテスト実行

Google Colab あるいはパソコン（Windows あるいは Linux）を使用．

1. 前準備

   前準備として，Python のインストール: 別項目で説明している．, PyTorch のインストール を行う．

   Google Colaboratory では， Python, PyTorch はインストール済みなので，インストール操作は不要．

   次に，pip を用いて，pillow のインストールを行う．

   pip install -U pillow
   

2. ImageNet データセット で学習済みのDenseNet169 モデルのロード

   PyTorch, torchvision のモデルについては: https://pytorch.org/vision/stable/models.html に説明がある．

   import torch
   import torchvision.models as models
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   m = models.densenet169(pretrained=True).to(device)
   

3. 画像分類したい画像ファイルのダウンロードとロードと確認表示

   from PIL import Image
   import requests
   from IPython.display import display
   
   # ダウンロードとロード
   url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
   response = requests.get(url)
   img = Image.open(requests.get(url, stream=True).raw)
   
   # 確認表示
   display(img)
   

   
4. 画像の前処理．PyTorch で扱えるようにするため．

   from PIL import Image
   from torchvision import transforms
   img = Image.open(filename)
   preprocess = transforms.Compose([
       transforms.Resize(256),
       transforms.CenterCrop(224),
       transforms.ToTensor(),
       transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
   ])
   input_tensor = preprocess(img)
   input_batch = input_tensor.unsqueeze(0)
   

5. 推論 (inference) の実行

   「m.eval()」は，推論を行うときのためのもの．これを行わないと訓練（学習）が行われる．

   import torch
   if torch.cuda.is_available():
       input_batch = input_batch.to('cuda')
   
   m.eval()
   with torch.no_grad():
       output = m(input_batch)
   

6. 結果の表示

   import urllib
   url, filename = ("https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt", "imagenet_classes.txt")
   try: urllib.URLopener().retrieve(url, filename)
   except: urllib.request.urlretrieve(url, filename)
   
   with open("imagenet_classes.txt", "r") as f:
       categories = [s.strip() for s in f.readlines()]
   
   # The output has unnormalized scores. To get probabilities, you can run a softmax on it.
   probabilities = torch.nn.functional.softmax(output[0], dim=0)
   print(probabilities)
   
   top5_prob, top5_catid = torch.topk(probabilities, 5)
   for i in range(top5_prob.size(0)):
       print(categories[top5_catid[i]], top5_prob[i].item())
   

   Google Colaboratory での結果

   

   Windows での結果

   

   Linux での結果

   

depthimage

depth image は遠近である depth を示す画像． 画素ごとの色や明るさで depth を表示する．

画像からの depth image の推定は，ステレオカメラや動画から視差を得る方法が主流である．

monodepth2 法

単一のカメラでの画像から depth image を推定する方法としては，ディープラーニングを用いる monodepth2 法 (2019 年発表) が知られる．

monodepth2 の GitHub のページ: https://github.com/nianticlabs/monodepth2

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. インストール

   !pip3 install -U numpy pillow matplotlib torch torchvision opencv-python opencv-contrib-python scikit-image
   !git clone --recursive https://github.com/nianticlabs/monodepth2
   

   
2. depth image プログラム実行

   %cd monodepth2
   !python3 test_simple.py --image_path assets/test_image.jpg --model_name mono+stereo_640x192
   

   
3. 画像表示

   from PIL import Image
   Image.open('assets/test_image.jpg').show()
   Image.open('assets/test_image_disp.jpeg').show()
   

   
4. 他の画像で試してみた場合
   
   

Detectron2

【文献】

Yuxin Wu and Alexander Kirillov and Francisco Massa and Wan-Yen Lo and Ross Girshick, Detectron2, https://github.com/facebookresearch/detectron2, 2019.

【サイト内の関連ページ】

物体検出，インスタンス・セグメンテーション，パノプティック・セグメンテーションの実行（Detectron2，PyTorch, Python を使用）（Windows 上）

【関連する外部ページ】

• GitHub のページ: https://github.com/facebookresearch/detectron2
• ドキュメント: https://detectron2.readthedocs.io/en/latest/tutorials/getting_started.html
• 関連プロジェクトのページ: https://github.com/facebookresearch/detectron2/tree/master/projects

【関連項目】 ADE20K データセット, インスタンス・セグメンテーション (instance segmentation)

Google Colaboratory で，Detectron2 のインスタンス・セグメンテーションの実行

インストールは次のページで説明されている．

https://github.com/facebookresearch/detectron2/releases

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. Detectron2 のインストール

   NVIDIA CUDA ツールキット 11.1, PyTorch 1.10 の場合には，次のようになる

   「cu111/torch1.10」のところは， NVIDIA CUDA ツールキット のバージョン， PyTorch のバージョンに合わせる

   !pip3 install detectron2==0.6 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu111/torch1.10/index.html
   

   
6. Detectron2 のソースコードをダウンロード

   必要に応じて，中のファイルを利用できるように準備しておく．

   !curl -LO https://github.com/facebookresearch/detectron2/archive/refs/tags/v0.6.tar.gz
   !tar -xvzof v0.6.tar.gz
   

   
7. coco (common object in context) データセットの中の画像ファイルをダウンロード

   https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

   !curl -O http://images.cocodataset.org/val2017/000000439715.jpg
   from PIL import Image
   Image.open('000000439715.jpg').show()
   

   
8. インスタンス・セグメンテーションの実行

   https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

   「im = cv2.imread('000000439715.jpg')」で，処理したい画像ファイルをロードしている．

   import detectron2
   from detectron2 import model_zoo
   from detectron2.engine import DefaultPredictor
   from detectron2.config import get_cfg
   from detectron2.utils.visualizer import Visualizer
   from detectron2.data import MetadataCatalog, DatasetCatalog
   
   cfg = get_cfg()
   # add project-specific config (e.g., TensorMask) here if you're not running a model in detectron2's core library
   cfg.merge_from_file(model_zoo.get_config_file("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml"))
   cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # set threshold for this model
   # Find a model from detectron2's model zoo. You can use the https://dl.fbaipublicfiles... url as well
   cfg.MODEL.WEIGHTS = model_zoo.get_checkpoint_url("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")
   predictor = DefaultPredictor(cfg)
   
   import cv2
   im = cv2.imread('000000439715.jpg')
   outputs = predictor(im)
   

   
9. インスタンス・セグメンテーションの結果の確認

   https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

   # look at the outputs. See https://detectron2.readthedocs.io/tutorials/models.html#model-output-format for specification
   print(outputs["instances"].pred_classes)
   print(outputs["instances"].pred_boxes)
   

   
10. インスタンス・セグメンテーションの結果の表示

    https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5#scrollTo=FsePPpwZSmqt の記載による

    # We can use `Visualizer` to draw the predictions on the image.
    v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2)
    out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
    import matplotlib.pyplot as plt
    plt.imshow(out.get_image()[:, :, ::-1])
    

    

Windows での Detectron2 のインストールと動作確認

別ページ »で説明している．

Linux での Detectron2 のインストール

python -m pip install detectron2==0.5 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu111/torch1.9/index.html

DETR

物体検出, panoptic segmentation の一手法．2020年発表．

• 文献

  Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko, End-to-End Object Detection with Transformers, ECCV 2020, also CoRR, abs/2005.12872v3, 2020.

  PDF: https://arxiv.org/pdf/2005.12872v3.pdf

• 公式のソースコード (GitHub): https://github.com/facebookresearch/detr
• 公式のデモ (Google Colaboratory): https://colab.research.google.com/github/facebookresearch/detr/blob/colab/notebooks/detr_demo.ipynb
• Papers with Code のページ: https://paperswithcode.com/paper/end-to-end-object-detection-with-transformers
• TensorFlow のモデル: https://github.com/tensorflow/models/tree/master/official/projects/detr
• MMDetection のモデル: https://github.com/open-mmlab/mmdetection/blob/master/configs/detr/README.md

【関連項目】 Deformable DETR, MMDetection, panoptic segmentation, 物体検出,

DiffBIR

【文献】

Xinqi Lin, Jingwen He, Ziyan Chen, Zhaoyang Lyu, Ben Fei, Bo Dai, Wanli Ouyang, Yu Qiao, Chao Dong, DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior, arXiv:2308.15070v1, 2023.

https://arxiv.org/pdf/2308.15070v1.pdf

【関連する外部ページ】

• 公式のデモページ（Google Colaboratory 上）: https://colab.research.google.com/github/camenduru/DiffBIR-colab/blob/main/DiffBIR_colab.ipynb
• DiffBIR の公式の GitHub のページ: https://github.com/XPixelGroup/DiffBIR
• Paper with Code のページ: https://paperswithcode.com/paper/diffbir-towards-blind-image-restoration-with

diffusion model

Jascha Sohl-Dickstein, Eric A. Weiss, Niru Maheswaranathan, Surya Ganguli, Deep Unsupervised Learning using Nonequilibrium Thermodynamics, arXiv:1503.03585 [cs.LG].

display

IPython の display は，画像表示の機能がある． display は，Jupyter Qt Console や Google Colaboratory などで動く

次の Python プログラムは，画像ファイルのダウンロードとロードと確認表示を行う．確認表示で display を用いている．

from PIL import Image
import requests
from IPython.display import display

# ダウンロードとロード
url = 'https://github.com/pytorch/hub/raw/master/images/dog.jpg'
response = requests.get(url)
img = Image.open(requests.get(url, stream=True).raw)

# 確認表示
display(img)

次の Python プログラムは，Iris データセットのロードと確認表示を行う． Pandas データフレームの df にロードしている． 確認表示で display を用いている．

import pandas as pd
from sklearn.datasets import load_iris
from IPython.display import display

iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['species'] = iris.target_names[iris.target]
display(df)

Pandas データフレームのすべての行を表示したいときは，次のように 「pd.set_option('display.max_rows', None)」を使用する

import pandas as pd
from sklearn.datasets import load_iris
from IPython.display import display

iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['species'] = iris.target_names[iris.target]
pd.set_option('display.max_rows', None)
display(df)

Dlib

Dlib は，数多くの機能を持つソフトウェア． Python, C++ のプログラムから使うためのインタフェースを持つ．

Dlib の機能には，機械学習，数値計算，グラフィカルモデル推論，画像処理，スレッド，通信，GUI，データ圧縮・一貫性，テスト，さまざまなユーティリティがある．

Dlib には，顔情報処理に関して，次の機能がある．

• 顔検出 (face detection)
• 顔ランドマーク (facial landmark)の検出
• 顔のアラインメント
• 顔のコード化

ディープニューラルネットワークの学習済みモデルも配布されている

Dlib の URL: http://dlib.net/

Dlib の各種機能は: 別ページ »にまとめ

【関連項目】 FairFace, Max-Margin 物体検出 , 顔検出 (face detection), 顔ランドマーク (facial landmark), 顔のコード化

Windows での Dlib のインストール

Dlib のインストールは，複数の方法がある．

• Windows での Dlib，face_recognition のインストール（ソースコードを使用）: 別ページ »で説明している．
• Windows での Dlib Python のインストール，Dlib のソースコード等と，Dlib の学習済みモデルのダウンロード: 別ページ »で説明

Ubuntu での Dlib のインストール

• Ubuntu での Dlib のインストール手順は， 別ページ »で説明

Dlib の顔検出

Dlib の顔検出 は次の仕組みで行われる．

Dlib には，ディープラーニングの CNN (convolutional neural network) を用いた物体検出 が実装されている． そこでは，Max-Margin 物体検出法が利用されている（文献は次の通り）． それにより，Dlib の顔検出 が行われる．

Davis E. King, Max-Margin Object Detection, CoRR, abs/1502.00046, 2015

Dlib の顔検出の詳しい手順: 別ページ »で説明している．

Docker

Docker は，Windowsなどのオペレーティングシステムの中に， Docker コンテナ という Dockerのエリアを複数作ることができる。 Docker コンテナの中には、ソフトもインストールしたりできるが、 それは、おおもとのWindows などのオペレーティングシステムや，他の Docker コンテナとは隔離される （つまり、Docker コンテナの中のアプリを起動するときは、Docker のコマンドも必要）。 いろんなソフトを試したいときに便利。「サーバ」を立てたいというとき、サーバのソフトを丸ごと Docker コンテナの中に入れておくと、サーバの運用保守（サーバを止めたりと、バージョンアップで入れ替えたりなど）が楽になる可能性がある

【サイト内の主な Docker 関連ページ】

• Docker Desktop のインストール，Ubuntu 22.04 コンテナとイメージの作成（Windows 上）
• Docker Engine，Docker Desktop のインストールと使用法，Docker Compose の「はじめよう」を実行（Ubuntu 22.04 上）
• Docker の概要: [PDF], [PPTX]
• Docker の基本機能: 別ページ »にまとめている．

【関連する外部ページ】

• Install Docker Engine のページ: https://docs.docker.com/engine/install/

Windows での Docker Engine, Docker Desktop のインストールと確認

Docker Desktop のインストール，Ubuntu 22.04 コンテナとイメージの作成（Windows 上）で説明している．

Ubuntu での Docker Engine, Docker Desktop のインストールと確認

Docker Engine，Docker Desktop のインストールと使用法，Docker Compose の「はじめよう」を実行（Ubuntu 22.04 上）: 別ページ »で説明している．

Docker Compose

Docker Compose は， Docker を簡単に管理できるツール．環境変数を個々の Docker コンテナごとに変えるといったことも簡単にできるようになる．

【サイト内の主な Docker 関連ページ】

• Docker Desktop のインストール，Ubuntu 22.04 コンテナとイメージの作成（Windows 上）
• Docker Engine，Docker Desktop のインストールと使用法，Docker Compose の「はじめよう」を実行（Ubuntu 22.04 上）
• Docker の概要: [PDF], [PPTX]
• Docker の基本機能: 別ページ »にまとめている．

Docker を使い Ubuntu 22.04 の bash を使う

次のコマンドを実行する．exit で終了すると，コンテナは削除される（「--rm」を付けている）

docker run --rm -it --name myubuntu ubuntu:22.04
PS1='\h:\w\$ '

Docker の主なコマンド

• docker ps -a: コンテナの一覧表示
• docker ps: 実行中のコンテナの一覧表示
• docker images: イメージの一覧表示
• docker rm ＜コンテナID＞: コンテナの削除
• docker rm ＜イメージID＞: イメージの削除
• docker run ...: コンテナの作成（作成時に，イメージと，コンテナ名を指定できる）
• docker start ＜コンテナ名＞: 起動
• docker exit ＜コンテナ名＞: コンテナを用いてコマンドを実行
• docker system prune: イメージ，実行状態にないコンテナ等をすべて削除

DreamGaussian

DreamGaussianは3Dコンテンツ生成の新しいフレームワークであり、特に画像から3Dモデルを生成する（Image-to-3D）とテキストから3Dモデルを生成する（Text-to-3D）の二つの主要なタスクに対応しています。既存の手法であるNeural Radiance Fields（NeRF）は高品質な結果を出すものの、計算時間が長いという課題がありました。DreamGaussianの特長は、3Dガウススプラッティングモデルを用いることで、メッシュの抽出とUV空間でのテクスチャの精緻化が効率的に行える点です。この新しいアプローチにより、DreamGaussianは既存のNeRFベースの手法よりも高速な3Dコンテンツ生成を実現しています。さらに、実験結果では、DreamGaussianがImage-to-3DとText-to-3Dの両方のタスクで既存の方法よりも高速であることが確認されています。

【文献】

Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng, DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation, arXiv:2309.16653v1, 2023.

https://arxiv.org/pdf/2309.16653v1.pdf

【関連する外部ページ】

• 公式のオンラインデモ（Google Colaboratory）: https://colab.research.google.com/drive/1sLpYmmLS209-e5eHgcuqdryFRRO6ZhFS?usp=sharing
• Image-to-3D の公式のオンラインデモ（Google Colaboratory）: https://colab.research.google.com/drive/1sLpYmmLS209-e5eHgcuqdryFRRO6ZhFS?usp=sharing

  元画像

  

  中間結果（左），最終結果のスクリーンショット（右）

  

  処理結果（３次元データ）: b.obj, b.mtl, b_albedo.png

  処理結果のスクリーンショット（動画）:

  b.mp4

• Text-to-3D の公式のオンラインデモ（Google Colaboratory）: https://colab.research.google.com/github/camenduru/dreamgaussian-colab/blob/main/dreamgaussian_colab.ipynb
  

  処理結果（３次元データ）: icecream_mesh.obj, icecream_mesh.mtl, icecream_mesh_albedo.png, icecream_model.ply

  処理結果のスクリーンショット（動画）: icecream.mp4

• GitHub のページ: https://github.com/dreamgaussian/dreamgaussian
• Paper with Code のページ: https://paperswithcode.com/paper/dreamgaussian-generative-gaussian-splatting

DUTS データセット

DUTS データセットは，saliency detection のためのデータセットである． 10,553枚の訓練画像と5,019枚のテスト画像を含む．

• 訓練画像は ImageNet DET training/val set から収集された．
• テスト画像は ImageNet DET training/val set とSUN データセットから収集された．

いずれも手動でアノテーションされている．

次の URL で公開されているデータセット（オープンデータ）である．

URL: http://saliencydetection.net/duts/

• Papers with Code: https://paperswithcode.com/dataset/duts
• ImageNet データセットの文献

  J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei, Imagenet: A large-scale hierarchical image database, CVPR, 2009.

• SUN データセットの文献

  J. Xiao, J. Hays, K. A. Ehinger, A. Oliva, and A. Torralba, SUN database: Large-scale scene recognition from abbey to zoo, CVPR, 2010.

• DUTS データセットの文献

  Lijun Wang, Huchuan Lu, Yifan Wang, Mengyang Feng, Dong Wang, Baocai Yin, and Xiang Ruan, Learning to detect salient objects with image-level supervision, CVPR, 2017.

  https://openaccess.thecvf.com/content_cvpr_2017/papers/Wang_Learning_to_Detect_CVPR_2017_paper.pdf

Early Stopping

from kernel.callbacks import EarlyStopping
cb = EarlyStopping(monitor='var_loss', patience = 10)

history = m.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test), callbacks=[cb])

EasyOCR

EasyOCR は，多言語の文字認識のソフトウエア． テキスト検出に CRAFT を使用．

学習用のソースコードも公開されている．

【サイト内の関連ページ】

EasyOCR のインストールと動作確認（多言語の文字認識）（Python，PyTorch を使用）（Windows 上）: 別ページ »で説明している．

【関連する外部ページ】

• 公式の GitHub のページ: https://github.com/JaidedAI/EasyOCR
• 公式のオンラインデモ: https://www.jaided.ai/easyocr/

【関連項目】 CRAFT, OCR

Google Colaboratory で，EasyOCR による日本語読み取りの実行

公式の手順 (https://github.com/JaidedAI/EasyOCR)による

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. EasyOCR のインストール

   !pip3 install git+git://github.com/jaidedai/easyocr.git
   

   
2. 処理したい画像ファイルを Google Colaboratory にアップロードする
   
3. OCR の実行

   「ja」は「日本語」の意味．

   import easyocr
   reader = easyocr.Reader(['ja'])
   result = reader.readtext('1.png')
   

   
4. 結果の確認

   from IPython.display import display
   display(result)
   

   

JAIDED AI による EasyOCR のオンラインデモ

JAIDED AI による EasyOCR のオンラインデモの URL: https://www.jaided.ai/easyocr/

EdgeBoxes 法

エッジから，オブジェクトのバンディングボックス（包含矩形）を求める方法．

• 文献

  C. L. Zitnick and P. Doll ́ar. Edge boxes: Locating object proposals from edges, ECCV, 2014.

• Papers with code の EdgeBoxes のページ: https://paperswithcode.com/method/edgeboxes

【関連項目】 物体検出

EfficientDet

zylo117 による EfficientDet の実装 (GitHub) のページ: https://github.com/zylo117

【関連項目】 物体検出

Google Colaboratory で，EfficientDet のインストール

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）

# install requirements
!pip3 install pycocotools numpy opencv-python opencv-contrib-python tqdm tensorboard tensorboardX pyyaml webcolors
!pip3 install torch==1.4.0
!pip3 install torchvision==0.5.0
 
# run the simple inference script
!rm -rf Yet-Another-EfficientDet-PyTorch
!git clone https://github.com/zylo117/Yet-Another-EfficientDet-PyTorch
!mkdir Yet-Another-EfficientDet-PyTorch/weights
!(cd Yet-Another-EfficientDet-PyTorch/weights; curl -L -O https://github.com/zylo117/Yet-Another-Efficient-PyTorch/releases/download/1.0/efficientdet-d0.pth)
!(cd Yet-Another-EfficientDet-PyTorch; python3 efficientdet_test.py)

Eigen 3

Eigen は， 次の機能を持つ C++ テンプレートライブラリ．SSEを使うように最適化されている．

• 線形演算：行列，ベクトル，数値解析，その他関連のアルゴリズム

Eigen の URL: https://eigen.tuxfamily.org/index.php

Windows で Eigen 3 のインストール

Windows での Eigen 3 のインストール: 別ページ »で説明している．

Ubuntu で Eigen のインストール

Ubuntu でインストールを行うには，次のコマンドを実行．

sudo apt -y update
sudo apt -y install libeigen3-dev

ELSED

ELSEDは 線分検知の一手法．2021年発表．

【文献】

Iago Suárez and José M. Buenaposada and Luis Baumela, ELSED: Enhanced Line SEgment Drawing, Pattern Recognition, vol. 127, pages 108619, arXiv:2108.03144, 2022. doi: https://doi.org/10.1016/j.patcog.2022.108619.

arXiv: https://arxiv.org/abs/2108.03144

https://arxiv.org/pdf/2108.03144.pdf

【サイト内の関連ページ】

ELSED のインストールと動作確認（線分検知）（Build Tools, Python を使用）（Windows 上）

【関連する外部ページ】

• ELSED の GitHub のページ: https://github.com/iago-suarez/ELSED
• Google Colab のデモ: https://colab.research.google.com/github/iago-suarez/ELSED/blob/main/Python_ELSED.ipynb
• Paper with Code のページ: https://paperswithcode.com/paper/elsed-enhanced-line-segment-drawing

【関連項目】 線分検知

Emotion-Investigator

SanjayMarreddi の Emotion-Investigator は，顔検出 (face detection)と，Happy, Sad, Disgust, Neutral, Fear, Angry, Surprise の表情推定を行う．

【サイト内の関連ページ】

• 顔検出と表情推定（SanjayMarreddi/Emotion-Investigator，Python，TensorFlow を使用）（Windows 上）別ページ »で説明

【関連する外部ページ】

• SanjayMarreddi/Emotion-Investigator の GitHub の公式ページ: https://github.com/SanjayMarreddi/Emotion-Investigator

ESRGAN

超解像 (super resolution) の一手法．2018 年発表．

• 文献

  Wang, Xintao and Yu, Ke and Wu, Shixiang and Gu, Jinjin and Liu, Yihao and Dong, Chao and Qiao, Yu and Loy, Chen Change, ESRGAN: Enhanced super-resolution generative adversarial networks, The European Conference on Computer Vision Workshops (ECCVW), 2018.

  PDF: https://arxiv.org/pdf/1809.00219v2.pdf

• 公式のソースコード: https://github.com/xinntao/ESRGAN
• Papers with Code のページ: https://paperswithcode.com/paper/esrgan-enhanced-super-resolution-generative
• 超解像に関する Google Colaboratory のノートブック: https://colab.research.google.com/github/AwaleSajil/ISR_simplified/blob/master/ISR_simplified(youtube).ipynb#scrollTo=yn2qU_Gstb12

【関連項目】 GAN (Generative Adversarial Network), image super resolution, video super resolution, 超解像 (super resolution)

Everything

Everything は，Windows で動くファイル検索のソフトウェア．

Everything のページ http://www.voidtools.com/

Windows での Everything のインストール

Windows での cmake のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• wingetを用いてインストールする．

  winget をインストールしたのち，コマンドプロンプトを管理者として開き「winget install Everything」を実行．

• Everything のページ http://www.voidtools.com/ からダウンロードしてインストール:

  詳しくは 別ページ »で説明

FaceForensics++ データセット

FaceForensics++ データセットは，自動合成された顔画像のデータセット

• FaceForensics++ は，977本のyoutube動画を使用．Deepfakes, Face2Face, FaceSwap and NeuralTextures を用いて顔データを操作．1000 個の動画を作成
• 動画は，オクルージョンのない，ほぼ正面の顔が含むように選択されている．

FaceForensics++ データセットは，次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/ondyari/FaceForensics

【関連情報】

• FaceForensics++: Learning to Detect Manipulated Facial Images, Andreas Rssler, Davide Cozzolino, Luisa Verdoliva, Christian Riess, Justus Thies, Matthias Niener
• Papers With Code の FaceForensics++ データセットのページ: https://paperswithcode.com/dataset/faceforensics-1

FairFace (Face Arrtibute Dataset for Balanced Race, Gender, and Age)

性別，年齢，人種に関するバイアス (bias) 等の問題がないとされる顔データセットが発表された．2021年発表． 顔の性別，年齢等の予測の精度向上ができるとされている．

• Karkkainen, Kimmo and Joo, Jungseock, FairFace: Face Attribute Dataset for Balanced Race, Gender, and Age for Bias Measurement and Mitigation, Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1548-1558, 2021
• GitHub のページ: https://github.com/dchen236/FairFace

【関連項目】 dlib, 顔のデータベース, 顔ランドマーク (facial landmark), 顔の性別，年齢等の予測

Google Colaboratory での FairFace デモプログラムの実行

顔の性別，年齢等の予測を行う．

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. ソースコード等のダウンロード

   !git clone https://github.com/dchen236/FairFace 
   

   
3. 公式の GitHub のページの記載により，事前学習済みモデルをダウンロードする

   公式の GitHub のページ: https://github.com/dchen236/FairFace

   ２つのファイルをダウンロードする．

   
4. いまダウンロードしたファイルについて．

   Google Colaboratory 「fair_face_models」という名前のディレクトリを作る． そして，いまダウンロードしたファイルのファイル名を次のように変えて， 「fair_face_models」ディレクトリの下に置く． （ファイル名については，predict.py の中で指定されているファイル名にあわせる）

   
5. 実行する

   %cd FairFace
   !python3 predict.py --csv test_imgs.csv
   

   

   test_imgs.csv には，次の画像ファイルのファイル名が設定されている．

   

   自前の画像で動作確認したいときは，画像ファイル名を書いた csv ファイルを準備する

6. 実行結果の確認

   性別，年齢などが推定されている．

   !cat test_outputs.csv
   

   

Windows での FairFace デモプログラムの実行

顔の性別，年齢等の予測を行う．

1. 前準備として pytorch, dlib のインストール，Git のインストール: 別項目で説明している．

   Git の公式ページ: https://git-scm.com/を行っておくこと

2. ソースコード等のダウンロード

   git clone https://github.com/dchen236/FairFace 
   

3. 公式の GitHub のページの記載により，事前学習済みモデルをダウンロードする

   公式の GitHub のページ: https://github.com/dchen236/FairFace

   ２つのファイルをダウンロードする．

   
4. いまダウンロードしたファイルについて．

   「fair_face_models」という名前のディレクトリを作る． そして，いまダウンロードしたファイルのファイル名を次のように変えて， 「fair_face_models」ディレクトリの下に置く． （ファイル名については，predict.py の中で指定されているファイル名にあわせる）

   
5. 実行する

   cd FairFace
   python predict.py --csv test_imgs.csv
   

   

   test_imgs.csv には，次の画像ファイルのファイル名が設定されている．

   

   自前の画像で動作確認したいときは，画像ファイル名を書いた csv ファイルを準備する

6. 実行結果の確認

   性別，年齢などが推定されている．

   type test_outputs.csv
   

   

Fashion MNIST データセット

Fashion MNIST データセットは，公開されているデータセット（オープンデータ）である．

Fashion MNIST データセットは，10 種類のモノクロ画像と，各画像に付いた ラベル（10 種類の中の種類を示す）から構成されるデータセットである．

• 画像の枚数：合計 70000枚．

  （内訳）70000枚の内訳は次の通りである

  60000枚：教師データ

  10000枚：検証データ

• 画像のサイズ: 28x28 である．
• ラベル
• 0: T-shirt/top
• 1: Trouser
• 2: Pullover
• 3: Dress
• 4: Coat
• 5: Sandal
• 6: Shirt
• 7: Sneaker
• 8: Bag
• 9: Ankle boot

【文献】

Han Xiao, Kashif Rasul, and Roland Vollgraf, Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms, arXiv:1708.07747 [cs.LG], 2017.

【サイト内の関連ページ】

• Fashion MNIST データセットを扱う Python プログラム: 別ページ で説明している．
• Fashion MNIST データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上）（Google Colaboratroy へのリンク有り）

【関連する外部ページ】

• 公式ページ: https://github.com/zalandoresearch/fashion-mnist
• TensorFlow データセットの Fashion MNIST データセット: https://www.tensorflow.org/datasets/catalog/fashion_mnist

【関連項目】 Keras に付属のデータセット, MNIST データセット, TensorFlow データセット, オープンデータ, 画像分類

Python での Fashion MNIST データセットのロード（TensorFlow データセットを使用）

次の Python プログラムは，TensorFlow データセットから，Fashion MNIST データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

次の Python プログラムでは，TensorFlow データセットから，Fashion MNIST データセットのロードを行う． x_train と y_train を 25枚分表示することにより，x_train と y_train が，モノクロ画像であることが確認できる．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
import numpy as np
import tensorflow_datasets as tfds

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

# MNIST データセットのロード
mnist, mnist_metadata = tfds.load('mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = mnist['train'][0], mnist['train'][1], mnist['test'][0], mnist['test'][1]

plt.style.use('default')
plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
# squeeze は，サイズ1の次元を削除．numpy は tf.Tensor を numpy に変換
    plt.imshow(np.squeeze(x_train[i]), cmap=plt.cm.binary)
    plt.xlabel(y_train[i].numpy())

# 確認表示
plt.show()

Python での Fashion MNIST データセットのロード（Keras を使用）

次の Python プログラムは，Keras に付属のデータセットの中にある Fashion MNIST データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

from tensorflow.keras.datasets import fashion_mnist
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

次の Python プログラムは，Keras に付属のデータセットの中にある Fashion MNIST データセットのロードを行う． x_train と y_train を 25枚分表示することにより，x_train と y_train が，モノクロ画像であることが確認できる．

import tensorflow.keras
from tensorflow.keras.datasets import fashion_mnist
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

# Fashion MNIST データセットのロード
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

plt.style.use('default')
plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(x_train[i], cmap=plt.cm.binary)
    plt.xlabel(y_train[i])

# 確認表示
plt.show()

TensorFlow データセットからのロード，学習のための前処理

【TensorFlow データセット から Fashion MNIST データセット をロード】

結果は，TensorFlow の Tensor である．

type は型，shape はサイズ，np.max と np.mi は最大値と最小値．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
import numpy as np
import tensorflow_datasets as tfds

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

# Fashion MNIST データセットのロード
fashion_mnist, fashion_mnist_metadata = tfds.load('fashion_mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = fashion_mnist['train'][0], fashion_mnist['train'][1], fashion_mnist['test'][0], fashion_mnist['test'][1]
print(fashion_mnist_metadata)
# 【x_train, x_test, y_train, y_test の numpy ndarray への変換と，値の範囲の調整（値の範囲が 0 〜 255 であるのを，0 〜 1 に調整）】
x_train = x_train.numpy().astype("float32") / 255.0
x_test = x_test.numpy().astype("float32") / 255.0
y_train = y_train.numpy()
y_test = y_test.numpy()
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))

Fast-Robust-ICP

ICP の一手法

Fast-Robust-ICP のページ（Git Hub）: https://github.com/yaoyx689/Fast-Robust-ICP

【関連項目】 K 近傍探索 (K nearest neighbour), ICP

Google Colaboratory で，Fast-Robust-ICP の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. インストール
   
2. Fast-Robust-ICP の実行

   実行でのオプションについては，Fast-Robust-ICP のページ（Git Hub）: https://github.com/yaoyx689/Fast-Robust-ICP

   

Windows での Fast-Robust-ICP のインストール

ソースコードからビルドする

1. Windows では，前準備として次を行う．
   • Build Tools for Visual Studio 2022 のインストール: 別項目で説明している．
   • Git のインストール: 別項目で説明している．

     Git の公式ページ: https://git-scm.com/

   • cmake のインストール: 別項目で説明している．

     CMake の公式ダウンロードページ: https://cmake.org/download/

   • Eigen 3 のインストール
2. コマンドプロンプトを管理者として開き次のコマンドを実行する．

   c:\Fast-Robust-ICP にインストールされる．

   cd %LOCALAPPDATA%
   rmdir /s /q Fast-Robust-ICP
   git clone --recursive https://github.com/yaoyx689/Fast-Robust-ICP
   cd Fast-Robust-ICP
   rmdir /s /q build
   mkdir build
   cd build
   del CMakeCache.txt
   cmake -G "Visual Studio 17 2022" -T host=x64 ^
       -DCMAKE_INSTALL_PREFIX="c:/Fast-Robust-ICP" ^
       -DEIGEN3_INCLUDE_DIRS="c:/eigen/include;c:/eigen/include/eigen3" ^
   ..
   mklink c:\eigen\include\eigen c:\eigen\include\eigen3 
   cmake --build . --config RELEASE
   del c:\eigen\include\eigen
   

FERET データベース

FERET データベースは顔のデータベース．詳細情報は，次のWebページにある．

https://www.nist.gov/itl/products-and-services/color-feret-database

【関連項目】 顔のデータベース

FFHQ (Flickr-Faces-HQ) データセット

FFHQ (Flickr-Faces-HQ) データセット は，70,000枚の顔画像データセット． 機械学習による顔の生成などの学習や検証に利用できるデータセットである．

• サイズ 1024×102，70,000枚の画像
• 年齢，民族，画像背景はさまざま
• 眼鏡，サングラス，帽子などもさまざま
• Flickr から取得．位置合わせとトリミング済み（Dlib を使用），画像の選別， 顔の彫刻や顔の絵画や顔の写真を除去（Amazon Mechanical Turk を使用）

FFHQ (Flickr-Faces-HQ) データセットは次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/NVlabs/ffhq-dataset

【関連情報】

• 文献

  A Style-Based Generator Architecture for Generative Adversarial Networks, Tero Karras (NVIDIA), Samuli Laine (NVIDIA), Timo Aila (NVIDIA), CoRR, abs/1812.04948

• Papers With Code の FFHQ データセットのページ: https://paperswithcode.com/dataset/ffhq

【関連項目】 顔のデータベース

FFmpeg

FFmpeg は，動画のデコーダとエンコーダに関するソフトウェア．

【サイト内の関連ページ】

• 画像処理ソフト ImageMagick 7, 動画像処理ソフト FFmpeg のインストール（Windows 上）: 別ページ »で説明している．
• FFmpeg のインストール（ビデオのエンコード・デコード）（Windows 上）: 別ページ »で説明

【関連する外部ページ】

FFmpeg の公式ページ: https://ffmpeg.org/

FFTW

FFTW は， 離散フーリエ変換 (DFT) を行う C のプログラム集．1次元に限らず，より高次元でも動く．

【関連する外部ページ】

FFTW の公式ページ: https://www.fftw.org/

Windows での FFTW のインストール

Windows での FFTW3 のインストール（ソースコードを使用）（Build Tools for Visual Studio を利用）

Ubuntu での FFTW のインストール

Ubuntu での FFTW3 のインストール（Ubuntu 上）

FIDTM (FIDT map)

FIDTM(Focal Inverse Distance Transform Map) は， crowd counting の一手法．2021年発表．

従来の density maps での課題を解決し，従来法よりも精度が上回るとされる． FIDT map を用いて頭部を得る LMDS もあわせて提案されている．

• 文献

  Focal Inverse Distance Transform Maps for Crowd Localization and Counting in Dense Crowd, Liang, Dingkang and Xu, Wei and Zhu, Yingying and Zhou, Yu, arXiv preprint arXiv:2102.07925, 2021.

  PDF: https://arxiv.org/pdf/2102.07925.pdf

• FIDTM の公式のソースコード

  https://github.com/dk-liang/FIDTM

• NWPU-Crowd データセットのダウンロード URL: https://drive.google.com/file/d/1drjYZW7hp6bQI39u7ffPYwt4Kno9cLu8/view

crowd coungting の結果の例

• Google Colaboratory のページ

  群衆の数のカウントと位置の把握 (crowd counting) (FIDTM を使用)

  https://colab.research.google.com/drive/1cmeI93PcRc20E70z6X_W3bvH2k1ge2v3?usp=sharing#scrollTo=wyQ3Xe7_gt_t

  このページでは，FIDTMの作者による公式のプログラムおよび学習済みモデルを使用して，群衆の数のカウントと位置の把握 (crowd counting) を行う手順を示している．

  手順は，FIDTM 公式ページの説明通りに進める．難しい点はない．このページでは，Google Colaboratory で簡単に実行できるように，いくつかのコマンドを補っている．説明も補っている．

  URL: https://www.kkaneko.jp/pro/ni/index.html

【関連用語】 crowd counting, JHU-CROWD++ データセット, NWPU-Crowd データセット, ShanghaiTech データセット, UCF-QNRF データセット

fine tuning (ファイン・チューニング)

学習済みモデルを使用する． 学習済みモデルの一部に新しいモデルを合わせた上で，追加のデータを使い学習を行う． このとき，学習済みモデルの部分と，新しいモデルの部分の両方について，パラメータ（重みなど）の調整を行う．

【関連項目】 画像分類 (image classification), 分類, 物体検出

画像分類のモデル DETR での添加学習（woctezuma の Google Colaboratory のページを使用）

woctezuma の Google Colaboratory のページを使用する

URL: https://colab.research.google.com/github/woctezuma/finetune-detr/blob/master/finetune_detr.ipynb#scrollTo=KCrlzjaLQQMm

このプログラムは，物体検出等の機能を持つモデルである DETR を使い， fine tuning (ファイン・チューニング)と，物体検出を行う．

COCO データセットで学習済みの DETR について，確認のため， 物体検出を行ったあと， 風船（baloon）についてのfine tuning (ファイン・チューニング)を行い， 風船（baloon）が検出できるようにしている． 風船（baloon）は，COCO データセット には無い．

1. woctezuma の Google Colaboratory のページを開く

   https://colab.research.google.com/github/woctezuma/finetune-detr/blob/master/finetune_detr.ipynb#scrollTo=KCrlzjaLQQMm

2. torch 1.8.0, torchvision 0.9.0, torchtext 0.9.0 を使うように書き換える

   
   !pip3 uninstall -y torchtext
   !pip3 install torch==1.8.0 torchvision==0.9.0 torchtext==0.9.0
   import torch, torchvision
   print(torch.__version__, torch.cuda.is_available())
   
   torch.set_grad_enabled(False);
   

   
3. ソースコードの要点を確認する．

   COCO データセットのクラス名を確認する．

   orange, apple, banana, doc, person などがある．baloon は無い．

   

   detr_resnet50 の事前学習済みのモデルをダウンロードしている．

   

   しきい値 0.9, 0.7, 0.0 の 3 通りで実行．しきい値を下げるほど，検出できる物体は増えるが，誤検知も増える傾向にある．

   
   

   fine tuning を行うため，風船 (baloon) の画像，そして，風船の領域を示した情報（輪郭線，包含矩形）の情報を使う． 画像は複数．そのうち１枚は次の通り．

   

   過学習は起きていないようである

   

   fine tuning により，風船（baloon）を検出できるようになった． しきい値は 0.9, 0.7 の 2通り．

   
4. 自前のデータでfine tuning を行いたいときは，このページの説明通り，COCO データのフォーマットでデータを準備する．

   そのフォーマットは，/content/data/custom （Google Colaboratory の data/custom の下のファイル）が参考になる．

   自前のデータが準備できたら，Google Colaboratory にアップロードし， 次のコードセルの「/content/data/custom」のところを書き換えて，再度実行する．

   

fname = '/content/5m126sn2pov30qzu3pc49lampcp6.jpg'
im = Image.open(fname)
scores, boxes = detect(im, detr, transform)

URL: https://github.com/woctezuma/finetune-detr

Flang

Flang は，LLVMのサブプロジェクトである．

【サイト内の関連ページ】

• Clang, LLVM, LLD, LLDB のインストール（ソースコード，Build Tools for Visual Studio を使用）（Windows 上）

【関連項目】 LLVM

flann

flann は近似近傍探索の機能を持ったソフトウェア

Windows での flann のインストール

Windows での flann のインストール（Windows 上）: 別ページ »で説明している．

FlexGen

FlexGen は，大規模言語モデル (large language model)を用いた推論で必要とされる計算とメモリの要求を削減する技術． 実験では，大規模言語モデル OPT を，16GB の単一 GPU で実行したとき 100倍以上の高速化が可能であるとされている．

【文献】 Ying Sheng, Lianmin Zheng, Binhang Yuan, Zhuohan Li, Max Ryabinin, Beidi Chen, Percy Liang, Ce Zhang, Ion Stoica, Christopher Ré., High-throughput Generative Inference of Large Language Model with a Single GPU, 2023.

【サイト内の関連ページ】

• FlexGen のインストールと動作確認（大規模言語モデル，チャットボット）（Python，PyTorch を使用）（Windows 上）: 別ページ »で説明している．
• Meta の言語モデルと日本語で対話できる chatBOT プログラム（chatBOT）（FlexGen, DeepL, Python を使用）（Windows 上）: 別ページ »で説明している．
• 対話システム，chatBOT: PDFファイル, パワーポイントファイル

【関連する外部ページ】

FlexGen の GitHub のページ: https://github.com/FMInference/FlexGen

【関連項目】 OPT

FLIC （Frames Labeled In Cinema）データセット

FLIC は， 5003枚の画像（訓練データ: 3987枚，検証データ: 1016枚）で構成されている． 画像の上半身についてアノテーションが行われている． ほとんどの人物がカメラ正面を向いている．

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

次の URL で公開されているデータセット（オープンデータ）である． http://bensapp.github.io/flic-dataset.html

【関連情報】

• 文献

  Sapp, B., Taskar, B.: Modec: Multimodal decomposable models for human pose estimation. In: Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on, IEEE (2013) 3674–3681, https://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Sapp_MODEC_Multimodal_Decomposable_2013_CVPR_paper.pdf

• Papers With Code の FLIC データセットのページ: https://paperswithcode.com/dataset/flic
• TensorFlow データセットの FLIC データセット: https://www.tensorflow.org/datasets/catalog/flic

FordA データセット

FordA データセットは，時系列データである．

FordA データセットは，公開されているデータセット（オープンデータ）である．

URL: http://www.timeseriesclassification.com/description.php?Dataset=FordA

教師データ数：3601

テストデータ数: 1320

モーターセンサーにより計測されたエンジンノイズの計測値．

FSDnoisy18k データセット

20種類， 約 42.5 時間分のサウンドである．

次の URL で公開されているデータセット（オープンデータ）である．

http://www.eduardofonseca.net/FSDnoisy18k/

• 文献

  Eduardo Fonseca, Manoj Plakal, Daniel P. W. Ellis, Frederic Font, Xavier Favory, and Xavier Serra, “Learning Sound Event Classifiers from Web Audio with Noisy Labels”, arXiv preprint arXiv:1901.01189, 2019

【関連項目】 sound data

FZKViewer

URL: https://www.iai.kit.edu/1302.php

Windows での FZKViewer のインストールは 別ページ »で説明している．

FZKViewer で CityGML のファイルを開くときは， File, Open, Open GML File... と操作する．

ファイルが読み込まれると，次のように表示される．

【関連項目】 CityGML

F 検定 (F test)

帰無仮説: 正規分布に従う２群の標準偏差が等しい ． F 検定を，t 検定の行う前の等分散性の検定に使うのは正しくないという指摘もある．

var.test(s1, s2)

【関連項目】 検定

GAN (generative adversarial network)

GAN (Generative Adversarial Network) では， 生成器 (generator) でデータを生成し， 識別機 (discriminator) で，生成されたデータが正当か正当でないかを識別する．

• 文献

  Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, Generative Adversarial Networks, Proceedings of the 27th International Conference on Neural Information Processing Systems 2014

  https://arxiv.org/pdf/1406.2661v1.pdf

• PyTorch-GAN のページ: https://github.com/eriklindernoren/PyTorch-GAN
• Keras-GAN のページ: https://github.com/eriklindernoren/Keras-GAN
• labmlai/annotated_deep_learning_paper_implementations のページ: https://github.com/labmlai/annotated_deep_learning_paper_implementations

【関連項目】 Applications of Deep Neural Networks, Real-ESRGAN, TecoGAN, Wasserstein GAN (WGAN), Wasserstein GAN with Fradient Penalty (WGAN-GP) ディープラーニング

Git

Git はバージョン管理システム．Windows 版の git の１つ「git for Windows」には，MinGWが同封されている．

Git の公式ページ: https://git-scm.com/

Windows でのGit のインストール

Windows での git のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• Git の公式ページ: https://git-scm.com/ からダウンロードしてインストール:

  詳しくは 別ページ »で説明

  1. Git のページを開く

     https://git-scm.com/

  2. 　ダウンロードしたいので「Downloads」をクリック
     
  3. Windows 版が欲しいので 「Windows」をクリック．
     
  4. 64ビット版のインストーラを選ぶ
     
  5. ダウンロードした .exe ファイルを実行

     このとき，ライセンス条項の確認を行う．設定は既定（デフォルト）のままでも問題はない．

• wingetを用いてインストールする．

  winget をインストールしたのち，コマンドプロンプトを管理者として開き「winget install Git」を実行

  

Ubuntu でのGit のインストール

Ubuntu での git のインストールは， 端末で，次のコマンドを実行する．

sudo apt -y update
sudo apt -y install git

GitHub からのファイルのダウンロード

GitHub からのファイルのダウンロードは， curl コマンドで， 次のように行う．

curl -L https://github.com/opencv/opencv/blob/master/samples/data/home.jpg?raw=true -o home.jpg

GlueStick

GlueStick 法はイメージ・マッチングの一手法．2023年発表． 線分を使ったイメージ・マッチングは，照明条件や視点の変化，テクスチャのない領域でもマッチングできるメリットがある． GlueStick 法は，点と線分の両方を利用してイメージ・マッチングを行う． その際にCNNを利用．

【文献】

Rémi Pautrat, Iago Suárez, Yifan Yu, Marc Pollefeys, Viktor Larsson, GlueStick: Robust Image Matching by Sticking Points and Lines Together, ArXiv, 2023. ·

https://arxiv.org/pdf/2304.02008v1.pdf

【関連する外部ページ】

• GlueStick の GitHub のページ: https://github.com/cvg/GlueStick
• Google Colab のデモ: https://colab.research.google.com/github/cvg/GlueStick/blob/main/gluestick_matching_demo.ipynb
• Paper with Code のページ: https://paperswithcode.com/paper/gluestick-robust-image-matching-by-stickin

GNN （グラフニューラルネットワーク）

GNN は、グラフ構造を持つデータを用いた学習を可能とする技術である．

【関連項目】 PyTorch Geometric Temporal

GnuWin

GnuWin は， Win32 版の GNU ツールと，その他類似のオープンソースライセンスのツール

【関連する外部ページ】

• GnuWin の公式ページ: https://gnuwin32.sourceforge.net/index.html
• GnuWin プロジェクトのポータルページ: https://sourceforge.net/projects/getgnuwin32/

Google アカウント

Google アカウントは，Google のオンラインサービス等の利用のときに使うアカウント． Google オンラインサービスの利用条件などは，利用者で確認すること．

Google Colaboratory

Google Colaboratory の利用により， オンラインで，Web ブラウザを用いて，次のことができる．

• Python のソースコード，説明文の編集．説明文には，リンク、添付ファイルを含めることができる．
• ノートブック内での Python プログラムの実行，実行結果の保存
• 「!pip」などの，システム操作
• 共同編集（相手先で、ソースコードの動作確認を行うなど）．

Google Colaboratory は，オンラインで使用する． Google Colaboratory の使用には，Google アカウントの取得が必要．

Google Colaboratory で TensorFlow, Keras のバージョン確認

Google Colaboratory のコードセルで，次の Python プログラムを実行

import tensorflow as tf
print(tf.__version__)

import keras
print(keras.__version__)

Google Colaboratory で NVIDIA CUDA のバージョン確認

Google Colaboratory のコードセルで，次の Python プログラムを実行

!nvcc -V 

Google Colaboratory のコードセルで，次の Python プログラムを実行

import torch
CUDA_VERSION = torch.__version__.split("+")[-1]
print(CUDA_VERSION)

Google Colaboratory で GPU の確認

!nvidia-smi --query-gpu=gpu_name,driver_version,memory.total --format=csv

Google Colaboratory を使用中であるかを判別する Python プログラム

try:
    from google.colab import drive
    USE_COLAB = True
except:
    USE_COLAB = False

Google Colaboratory での実行結果

Windows のコマンドプロンプトでの実行結果

GPU

GPU は，グラフィックス・プロセッシング・ユニット（Graphics Processing Unit）の略である．現在は，３次元のビデオゲーム，さまざまな計算，ディープラーニングの高速な並列処理などに用いられている．

Graphviz

Graphviz はグラフデータ構造の機能を持ったソフトウェアである．

URL: https://graphviz.gitlab.io/

Windows での Graphviz のインストール

Windows での Graphviz のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として開き「winget install Graphviz」を実行
• Graphviz のページ GraphViz の URL: https://graphviz.gitlab.io/ からダウンロードしてインストール:

  詳しくは 別ページ »で説明

インストールの終了後，C:\Program Files\Graphviz\bin にパスを通す．

Ubuntu での Graphviz のインストール

Ubuntu での graphviz のインストール

sudo apt -y update
sudo apt -y install graphviz libgraphviz-dev python3-graphviz

grep

grep は，正規表現で，テキストファイルの中から行を選択する機能を持つソフトウェア．

Windows での grep のインストール

1. GnuWin のページから grep for Windows をダウンロードし，インストール

   http://gnuwin32.sourceforge.net/packages/grep.htm

2. Windows のシステム環境変数 Path に次の値を追加し，パスを通す．

   Windows での環境変数の設定は，マイコンピュータを右クリック → プロパティ→ 詳細設定 → 環境変数をクリック

   Windowsの画面の表示では、「\」（円マーク）が表示される

   • Windows の システム環境変数 Path
   • 追加する値: C:\Program Files(x86)\GnuWin32\bin

gsutil

gsutil は Google Cloud Strage のアクセス機能を持ったアプリケーション

公式ページは https://cloud.google.com/storage/docs/gsutil?hl=ja

Windows では， コマンドプロンプトを管理者として開き， 次のコマンドを実行することにより， gsutil のインストールを行うことができる．

cd %HOMEPATH%
curl -L -O https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe
.\GoogleCloudSDKInstaller.exe

He の初期値

He らの方法 (2015年) では，前層のユニット数（ニューロン数）を n とするとき， sqrt( 2 / n ) を標準偏差とする正規分布に初期化する． ただし，この方法は ReLU に特化した手法であるとされている． この方法を使うとき，層の入力は，正規化済みであること．

Kaiming He, Xiangyu hang, Shaoqing Ren and Jian Sun, Delving Deep into Rectifiers: Surpassing Human-Level, Performance on ImageNet Classification, pp. 1026^1-34.

HDF5

HDF5 は，階層データを扱うライブラリソフトウェア．

Suport th HDF Group の公式ページ: https://support.hdfgroup.org/

Windows での HDF5 のインストール

Windows での HDF5 のインストール（Windows 上）: 別ページ »で説明している．

HELEN データセット

HELENデータセットは，顔画像と，顔のパーツの輪郭のデータセットである．

• 400×400 画素の顔画像2330枚
• 目，眉，鼻，唇，顎の輪郭を手動で作成．輪郭は，194個の顔ランドマークで扱う．

次の URL で公開されているデータセット（オープンデータ）である．

http://www.ifp.illinois.edu/~vuongle2/helen/

【関連情報】

• Le V., Brandt J., Lin Z., Bourdev L., Huang T.S. (2012) Interactive Facial Feature Localization. In: Fitzgibbon A., Lazebnik S., Perona P., Sato Y., Schmid C. (eds) Computer Vision ECCV 2012. ECCV 2012. Lecture Notes in Computer Science, vol 7574. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-33712-3_49
• Papers With Code の Helen データセットのページ: https://paperswithcode.com/dataset/helen

【関連項目】 顔のデータベース

HierText データセット

HierTextは，文字認識，レイアウト解析，テキスト検出に利用できるデータセットである． このデータセットには，Open Imagesデータセットから選ばれた11639枚の画像が含まれており，これらの画像はテキストコンテンツとレイアウト構造が豊富である． さらに，約120万語の単語が提供されている． HierTextのアノテーションは，単語，行，段落のレベルを含んでいる． 訓練セットには8,281枚の画像が含まれ，検証セットには1,724枚の画像が含まれ，さらにテストセットには1,634枚の画像が含まれている．

【サイト内の関連ページ】

HierText データセットのインストール（テキスト検出，文字認識のデータセット）（Windows 上）

【関連する外部ページ】

公式のGitHub のページ https://github.com/google-research-datasets/hiertext

【関連項目】 Unified Scene Text Detection

HMDB51 (a large human motion database) データセット

HMDB51 (a large human motion database) データセット は，人間の行動データセット． 機械学習による行動分類，行動認識，ビデオ検索などの学習や検証に利用できるデータセットである．

• 主に映画から収集．その他，Prelinger archive，YouTube，Google video からも収集．
• 6849個のクリップ
• クリップは，アクションカテゴリ（「ジャンプ」，「キス」，「笑い」など）に分類済み．アクションカテゴリは 51種類．各アクションカテゴリは，最低でも 101個のクリップを含む．
• アクションカテゴリは，次の5つのタイプに分類されている． H.Kuehne，H.Jhuang，E.Garrote，T.Poggio，T.Serreの5種類である．

HMDB51 (a large human motion database) データセット >は次の URL で公開されているデータセット（オープンデータ）である．

https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/#introduction

【関連情報】

• H. Kuehne, H. Jhuang, E. Garrote, T. Poggio and T. Serre, "HMDB: A large video database for human motion recognition," 2011 International Conference on Computer Vision, 2011, pp. 2556-2563, doi: 10.1109/ICCV.2011.6126543.
• Papers With Code の HMDB51 データセットのページ: https://paperswithcode.com/dataset/hmdb51
• PyTorch の HMDB51 データセット: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.HMDB51

Hour Grass Network

Hour Grass Network は，stacked hourglass と呼ばれるアーキテクチャを特色とする CNN (convolutional neural network) である．

姿勢推定 (pose estimation) は，画像から，関節 (joint) の (x,y) 座標を得たり， ヒートマップを得る（ヒートマップでは，画素ごとに値を持ち，その値は，関節である確率が高いほど，高い値になる） 姿勢制御では，さまざまなスケールでの情報を扱うことが課題とされ， stacked hourglass で解決できるとされている． hougrass では，最初にプーリングを行い，その後アップサンプリングを行う． hougrass を直接に並べて stacked hourglass を構成する．

Hour Grass Network の文献は次の通りである．

A. Newell, K. Yang, and J. Deng. Stacked hourglass net- works for human pose estimation. In ECCV, 2016, CoRR, abs/1603.06937.

https://arxiv.org/pdf/1603.06937v2.pdf

【関連項目】 姿勢推定

Windows でのインストールと学習

Hour Grass Network を用いた姿勢推定については，次の文献がある．

qhttps://github.com/bearpaw/pytorch-pose

上の文献では，ディープラーニングにより，人体全身の姿勢推定を行っている． その学習は，次の手順で行う

• https://github.com/bearpaw/pytorch-pose の記載通りに，前もって行っておくこと）．
• Git のインストール: 別項目で説明している．

  Git の公式ページ: https://git-scm.com/

• Python 3.6, Scipy 1.1.0, pytorch で動く

git clone https://github.com/bearpaw/pytorch-pose
py -3.6 -m pip install scipy==1.1.0 imutils easydict progress
py -3.6 -m pip install -U torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
cd pytorch-pose
mkdir .\checkpoint
mkdir .\checkpoint\mpii
mkdir .\checkpoint\mpii\hg_s1_b1
# MPII データセットを用いた学習
py -3.6 .\example\main.py --dataset mpii --arch hg --stack 1 --block 1 --features 256 --checkpoint .\checkpoint\mpii\hg_s1_b1 --anno-path .\data\mpii\mpii_annotations.json --image-path .\mpii\images

HQ-SAM (Segment Anything in High Quality)

HQ-SAMは、既存のSAM（Segment Anything Model）を拡張し、より高精度なゼロショットセグメンテーションを実現する手法である。SAMは、プロンプト（点、バウンディングボックス、粗いマスクなど）を入力として、多様なオブジェクトや視覚構造のセグメンテーションを可能にするモデルである。しかし、SAMは細かい構造を持つオブジェクトに対するセグメンテーションが不十分で、その精度に限界がある。この問題を解決するために、HQ-SAMはSAMを拡張している。HQ-SAMでは、SAMのマスクデコーダに新しい学習可能な「HQ-Output Token」を導入している。さらに、グローバルなセマンティックコンテキストとローカルな境界（バウンダリ）の詳細を両方考慮する「Global-local Feature Fusion」も導入されている。複数のデータセットでの実験により、HQ-SAMが高精度なセグメンテーションマスクを生成できることが確認されている。

【文献】 Ke, Lei and Ye, Mingqiao and Danelljan, Martin and Liu, Yifan and Tai, Yu-Wing and Tang, Chi-Keung and Yu, Fisher, Segment Anything in High Quality, arXiv:2306.01567, 2023.

https://arxiv.org/pdf/2306.01567v1.pdf

【サイト内の関連ページ】

• ゼロショットのセグメンテーション（HQ-SAM，Light HQ-SAM，Python，PyTorch を使用）（Windows 上）: 別ページ »で説明

【関連する外部ページ】

• 公式の GitHub ページ: https://github.com/SysCV/sam-hq
• HQ-SAM （ゼロショットのセグメンテーション）のオンラインデモ（Hugging Face上）: https://huggingface.co/spaces/sam-hq-team/sam-hq
  
• HQ-SAM （ゼロショットのセグメンテーション）のオンラインデモ（Google Colaboratory 上）: https://colab.research.google.com/drive/1QwAbn5hsdqKOD5niuBzuqQX4eLCbNKFL?usp=sharing
  
• Paper with Code のページ: https://paperswithcode.com/paper/segment-anything-in-high-quality

【関連項目】 SAM (Segment Anything Model)

HRNetw32

姿勢推定(pose estimation) の一手法．

【関連項目】 MMPose, 姿勢推定(pose estimation)

Human 3.6M データセット

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

利用には， https://vision.imar.ro/human3.6m/register.php での申請を必要とする．

http://vision.imar.ro/human3.6m/description.php

Catalin Ionescu, Dragos Papava, Vlad Olaru and Cristian Sminchisescu, Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, No. 7, July 2014

iBUG 300-W データセット

iBUG 300-W データセットは， 顔の 68 ランドマーク のデータである．7764枚の顔画像について，手作業で，顔の 68 ランドマークのアノテーションとラベル付が行われている．

顔ランドマーク (facial landmark)は，目，眉，鼻，口，あごのラインなど，顔のパーツの構造を特定でぃる形状予測器 (shape predictor) の学習に使うことができる．

iBUG 300-W データセットの URL: https://ibug.doc.ic.ac.uk/resources/300-W/

【関連項目】 顔の 68 ランドマーク, 顔ランドマーク (facial landmark), 顔のデータベース

image content removal（画像コンテンツの除去）

画像の中で，除去する対象となるオブジェクトの境界などを指定することにより， 指定されたオブジェクトを除去し，除去された部分の画素は， image completion and extrapolation で補う．

次の文献では， 除去する対象となるオブジェクトの境界を正確に指定しなくても， オブジェクトスコアマップ (object score map) を scene parsing network を用いて 推定することにより， image content removal（画像コンテンツの除去）ができるとされている．

• Huang JB, Kang SB, Ahuja N, Kopf J, Image completion using planar structure guidance, ACM Transactions on Graphics (TOG), 2014.

  http://johanneskopf.de/publications/structure_completion/image_completion_using_planar_structure_guidance.pdf

この論文の手法の SunkskyF による実装は，次のページで公開されている．

https://github.com/SunskyF/StructCompletion-python

実行の前準備として，「pip install -U opencv-python opencv-contrib-python」を実行する．demo.py の実行結果は次のとおりである．

【関連項目】 image completion and extrapolation

ImageMagick

• 画像のサイズの例（幅のピクセル数を 100に指定）

  「100x」のように x を付ける．

  convert -resize 100x -unsharp -quality 100 fruits.jpg 1.jpg
  

• 画像のサイズの例（幅のピクセル数を 100に指定）

  「100x」のように x を付ける．

  こちらは，元ファイルを上書き

  mogrify -resize 100x -unsharp -quality 100 fruits.jpg
  

• 画像の幅が 440 より大きい場合には，幅が 440 になるように縮小する．

  for i in *.png; do
  if [ `identify -format "%[width]" $i` -gt 440 ]; then 
      echo $i
      mogrify -resize 440x -unsharp 0x1+0.5+0 -quality 100 $i
  fi
  done
  

【関連項目】 画像データの形式変換， MagickWand

ImageMagick の主なコマンド

• display --画像の表示，変換
• animate --画像を連続表示してアニメーション
• convert --画像ファイル変換，エフェクト
• mogrify --連続画像の変換・エフェクト，一気に画像フォーマットを変換する．
• montage -- 1個の画像ファイルにたくさんの画像を詰め込む
• identify --画像フォーマットを調べる
• combine --画像を結合

sudo apt -y update
sudo apt -y install imagemagick

image matting

前景の色を F，背景の色を B とし，元画像の色は I = alpha * F + (1 - alpha) * B とする． 元画像 I は既知であり，F, B, alpha は未知であるとする． このとき alpha を推定することを image matting という(alpha image matting　ともいう）．

写真や動画の前景背景分離に用いることができる． 物体検出 や salient object detection との違いとしては， ガラスなどの半透明なもの，髪の毛や網のようなもの，そして，前景が必ずしも画面中央に集まっているとは限らず，画面全域にある（網越しに外を見るような場合）を想定していることがある．

【関連情報】

• Papers with Code の image matting のページ: https://paperswithcode.com/task/image-mattin

【関連項目】 GCA, IndexNet, DIM, AIM-500 (Automatic Image Matting-500) データセット

Trimap-based matting

trimap では，次の 3つを考える． 前景である画素は白，背景である画素は黒，transaction である画素は灰色の 3通りに 塗り分けた画像を trimap という．

• 前景 (foregdound)
• 背景 (background)
• transition: どちらであるか判断できないか，細かすぎて，塗分けが困難な領域

Trimap-based matting では， 元画像と，その trimap を用いて image matting を行う． ディープラーニングによる Trimap-based matting の手法としては，Xu らの Deep Image Matting (DIM) (2017年)（文献 [1]) などが知られている．

【関連情報】

• 文献 [1], Xu らの Deep Image Matting (DIM)

  Ning Xu, Brian Price, Scott Cohen, Thomas Huang, Deep Image Matting CVPR 2017, CoRR, https://arxiv.org/abs/1703.03872v3

  https://arxiv.org/pdf/1703.03872v3.pdf

Backgroud matting

Backgroud matting は，image matting において背景画像を用いる． つまり，元画像と，追加の背景画像を用いて image matting を行う． 元画像での背景と，追加の背景画像は同一の場所で撮影されたものが想定されている．そのとき，全に一致しなくてもよい（わずかな位置のずれや照明条件の変化は許容される）．

ディープラーニングによるbackground matting Shanchuan Lin らの Backgroud Matting （2021年）（文献 [2]）などが知られる． Backbone に ResNet50, ASPP (Atrous Spatial Pyramid Pooling, DeepLabv3 のものに従う）．

Background matting では，Trimap を必要としない． ZOOM などのビデオ会議などで，グリーンバックを使わずに，前景と背景を分離するとき， 背景の取得は容易であり， Background matting は有用である．

【関連情報】

• 文献 [2], Shanchuan Lin らの Backgroud Matting

  Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman, Real-Time High-Resolution Background Matting CVPR 2021, also CoRR, abs/2012.07810v1, 2021.

  https://arxiv.org/pdf/2012.07810v1.pdf

Portrait matting

人物や動物に特化した image matting である． 人物や動物が写った写真や動画に対して，image matting を行う． このとき，Trimap や 背景画像などの追加の情報を準備することなく image matting を行う手法が種々提案されている．

Automatic image matting

Trimap や 背景画像などの追加の情報を必要とせず， 人物や動物など以外でも（例えば，半透明のコップ，網ごしの風景写真など） image matting を行うもの． Li らの GFM （文献 [3]）（2020 年）は，ディープラーニングによる Trimap の推定が行われており， Li らの unified semantic model （文献 [4]）（2021 年）は，Salient Opaque, Salient Transparent/Meticulous, Non-Salient の 3種類の画像を扱えるモデルであり，GGM の拡張により，unified semantic model の推定を行っている．

• 文献 [3]

  Jizhizi Li, Jing Zhang, Stephen J Maybank, and Dacheng Tao. End-to-end animal image matting. arXiv preprint arXiv:2010.16188, 2020.

• 文献 [4]

  Jizhizi Li , Jing Zhang and Dacheng Tao, Deep Automatic Natural Image Matting, 2021. https://arxiv.org/pdf/2107.07235v1.pdf

ImageNet データセット

ImageNet データセット は，画像分類や物体検出 のベンチマークである「ImageNet Large Scale Visual Recognition Challenge（ILSVRC）」で使用されている． 機械学習での画像分類 や物体検出 の学習や検証に利用できるデータセットである．

• 14,197,122枚の画像
• 枚数: 60000
• 画像レベルのアノテーション：個々の画像について，あるクラスのオブジェクトの有無（２値）を示るアノテーション
• オブジェクトレベルのアノテーション：画像の中のオブジェクトについて，オブジェクト場所（中心の座標）と幅と高さとオブジェクトのクラスを示すアノテーション
• 画像のサムネイルとURLのみを提供しています（URL をたどって画像を利用する場合には，それぞれの利用条件を利用者で確認すること）

ImegeNet のクラス: 別ファイルに記載している．

ImageNet データセットは次の URL で公開されているデータセット（オープンデータ）である．

ImageNet データセットの URL: https://image-net.org/

【関連情報】

• 文献: CoRR, abs/1409.0575
• Papers With Code の ImageNet データセットのページ: https://paperswithcode.com/dataset/imagenet
• PyTorch の ImageNet データセット: https://pytorch.org/vision/stable/datasets.html#imagenet
• TensorFlow データセットの imagenet2021 データセット: https://www.tensorflow.org/datasets/catalog/imagenet2012

【関連項目】 画像分類, 物体検出

IMDb データセット

IMDb の URL: https://www.imdb.com/

IMDb での映画の批評は，批評文とスコア（１０点満点）である． IMDb データセットでは，7点以上の批評は positive，4点以下の批評は negative としている．つまり，2種類ある． そして，IMDb データセットには，positive か negative の批評のみが含まれている（中間の点数である 5点，6点のものは含まれていない）．そして， positive，negative の批評が同数である． 学習用として，positive，negative がそれぞれ 25000． 検証用として，positive，negative がそれぞれ 25000．

IMDb データセットのURL: https://ai.stanford.edu/%7Eamaas/data/sentiment/

【関連項目】 Keras に付属のデータセット, TensorFlow データセット, オープンデータ,

Python での IMDb データセットのロード（TensorFlow データセットを使用）

次の Python プログラムは，TensorFlow データセットから，IMDb データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

次のプログラムでは，そして確認表示を行う．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
import numpy as np
import tensorflow_datasets as tfds

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

imdb_reviews, imdb_reviews_metadata = tfds.load('imdb_reviews', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = imdb_reviews['train'][0], imdb_reviews['train'][1], imdb_reviews['test'][0], imdb_reviews['test'][1]

# 確認表示
import pandas as pd
display(pd.DataFrame(x_train[0:14], y_train[0:14]))

Python での IMDb データセットのロード（Keras を使用）

IMDb データセットは，次のプログラムでロードできる．

from tensorflow.keras.datasets import imdb
(x_train, y_train), (x_test, y_test) = imdb.load_data()

Imm 顔データベース (IMM Face Database)

40種類の人間の顔を撮影した240枚の画像． 58個の顔ランドマークが付いている．

URL: http://www2.imm.dtu.dk/pubdb/pubs/3160-full.html

M. M. Nordstr{\o}m and M. Larsen and J. Sierakowski and M. B. Stegmann, The IMM Face Database - An Annotated Dataset of 240 Face Images

http://www2.imm.dtu.dk/pubdb/edoc/imm3160.pdf

【関連項目】 顔のデータベース

iNaturalist データセット

画像のデータセット．アノテーションとしてバウンディングボックスが付けられている．Imbalance の大きさを特徴とする．

次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/visipedia/inat_comp/tree/master/2017

• クラス数:5,089
• 学習と検証 (validation) 用の 675,000 枚の画像．テスト用の 183,000 枚の画像．
• バウンディングボックス数: 183,000
• Imbalance 値: 453.44

• 文献 Grant Van Horn, Oisin Mac Aodha, Yang song, Yin Cui, Chen Sun, Alex Shepard, Hartwig Adam, Pietro Perona, Serge Belongie, The iNaturalist Species Classification and Detection Dataset CVPR 2018, 2018.

  https://arxiv.org/pdf/2104.00613v2.pdf

• Papers with Code のページ: https://paperswithcode.com/dataset/inaturalist
• TensorFlow のモデル: https://github.com/tensorflow/models

【関連項目】 画像分類, 物体検出

InsightFace

顔検出 (face detection)，顔のアラインメント， 顔検証 (face verification)， 顔識別 (face identification)の機能を持つ．

• 顔検出 (face detection): RetinaFace, SCRFD, blazeface_paddle をサポートしている．

InsightFace の GitHub のページ: https://github.com/deepinsight/insightface

【関連項目】 ArcFace 法, Chandrika Deb の顔マスク検出, Dlib の顔検出, face alignment, MobileFaceNets, 顔検出 (face detection)

Google Colaboratory で，InsightFace による顔検出及び年齢と性別の予測

公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の顔検出及び年齢と性別の予測のプログラムを変更して実行．

このプログラムは buffalo_l という名前の事前学習済みモデルを使用している．

• 顔検出のモデル: SCRFD-10GF
• 顔認識のモデル: ResNet50@WebFace600K
• 顔のアラインメント: 2d106, 3d68
• 属性: 年齢，性別

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. InsightFace のインストール

   GPU を使わない場合には「onnxruntime-gpu」でなく，「onnxruntime」をインストールすること．

   !pip3 install -U insightface onnxruntime-gpu opencv-python numpy
   

   
2. 顔検出及び年齢と性別の予測の実行

   動作確認のため，公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の，顔検出及び年齢と性別の予測のプログラムを実行する．

   このプログラムは buffalo_l という名前の事前学習済みモデルを使用している．

   • 顔検出のモデル: SCRFD-10GF
   • 顔認識のモデル: ResNet50@WebFace600K
   • 顔のアラインメント: 2d106, 3d68
   • 属性: 年齢，性別

   このプログラムの実行により，result.jpg ファイルができる．

   import cv2
   import numpy as np
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   
   app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
   app.prepare(ctx_id=0, det_size=(640, 640))
   
   img = ins_get_image('t1')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   for i in faces:
     print("gender %s, age %d" % (('F' if i['gender'] == 0 else 'M'), i['age']))
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   cv2.imwrite("./result.jpg", rimg)
   

   
3. 顔検出及び年齢と性別の予測の実行

   顔の画像ファイルは何でも良いが，ここでは，画像ファイルをダウンロードしている．

   !curl -O https://www.kkaneko.jp/sample/face/3284.png
   !curl -O https://www.kkaneko.jp/sample/face/3285.png
   !curl -O https://www.kkaneko.jp/sample/face/3287.png
   !curl -O https://www.kkaneko.jp/sample/face/3288.png
   !curl -O https://www.kkaneko.jp/sample/face/3289.png
   !curl -O https://www.kkaneko.jp/sample/face/3290.png
   

   

   いま準備した画像ファイルについて，顔検出及び年齢と性別の予測の実行

   import cv2
   import numpy as np
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   
   app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
   app.prepare(ctx_id=0, det_size=(640, 640))
   
   files = ['3284.png', '3285.png','3287.png', '3288.png', '3289.png', '3290.png']
   
   for f in files:
       img = cv2.imread(f)
       faces = app.get(img)
       for i in faces:
           print("gender %s, age %d" % (('F' if i['gender'] == 0 else 'M'), i['age']))
       rimg = app.draw_on(img, faces)
       plt.style.use('default')
       plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
       plt.show()
   

   
   
   

InsightFace のインストールと動作確認（顔検出，年齢と性別の推定，顔識別，人体検出）（InsightFace，PyTorch，Python を使用）（Windows 上）

別ページ »で説明している．

InsightFace のインストールと動作確認（顔検出，年齢と性別の推定）（Python, PyTorch を使用）（Ubuntu 上）

別ページ »で説明している．

Iris データセット

Iris データセットは公開されているデータセット（オープンデータ）である．

• 行数: 150行
• 属性: sepal length, sepal width, petal length, petal width, species

【文献】

R.A. Fisher, The use of multiple measurements in taxonomic problems, Annual Eugenics, 7, Part II, pp. 179-188, 1936.

【サイト内の関連ページ】

• Iris データセットについての説明資料: iris.pdf [PDF], [パワーポイント]
• Iris データセットを扱う Python プログラム: 別ページ で説明している．

【関連する外部ページ】

• TensorFlow データセットの iris データセット: https://www.tensorflow.org/datasets/catalog/iris

【関連項目】 オープンデータ, データフレーム

JAX: Autograd and XLA のインストール（Ubuntu 上）

URL: https://github.com/google/jax

Ubuntu でインストールを行うには，次のコマンドを実行．

sudo apt -y install python3-pip
sudo pip3 install -U "jax[cuda111]" -f https://storage.googleapis.com/jax-releases/jax_releases.html

JHU-CROWD++ データセット

画像数は 4822枚である． 各画像の人物数は 0 から 25791 である．

• 文献

  Vishwanath A Sindagi, Rajeev Yasarla, and Vishal M Pa- tel. Jhu-crowd++: Large-scale crowd counting dataset and a benchmark method. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.

• 公式ページ: http://www.crowd-counting.com/

【関連用語】 crowd counting, FIDTM, オープンデータ

Johns Hopkins 大の COVID-19 データレポジトリ

国別，地域別の感染者データ

URL: https://github.com/CSSEGISandData/COVID-19

次の Python プログラムは， Johns Hopkins 大の COVID-19 データレポジトリからデータをダウンロードし，ロードし，表示する．

!curl -LO https://github.com/CSSEGISandData/COVID-19/raw/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv
import pandas as pd
df = pd.read_csv("./time_series_covid19_confirmed_global.csv")
display(df)
display(df.groupby(['Country/Region'], as_index=False).sum())

【関連項目】 時系列データ

JupyterLab

Jupyter Lab は Python プログラム作成に関する種々の機能を持ったソフトウェア．

JupyterLab について：別ページ で説明している．

Jupyter Qt Console

Jupyter Qt Console は Python コンソールの機能を持ったソフトウェア．

Jupyter Qt Console について：別ページ で説明している．

Jupyter ノートブック (Jupyter Notebook)

Jupyter ノートブックは，Pythonなどのプログラムのソースコード，実行結果などを１つのノートとして残す機能をもったノートブック．

Jupyter ノートブック について：別ページ で説明している．

Keras

Keras は 機械学習のAPI の機能を持つ． Python 言語から利用可能． TensorFlow, CNTK, Theano など，さまざまなディープラーニングのフレームワークの上で動く．

Keras の概要

• Keras のモデルは，複数の層が組み合わさったもの．単純に層を積み重ねたもの（シーケンシャル）や，複雑な構成のもの（グラフ）がある
• Keras の層には，活性化関数，層の種類（カーネル，バイアスなど）を設定できる
• Keras の層には，全結合層，畳み込み（コンボリューション）層などの種類がある
• 学習のために，オプティマイザの設定を行う
• Keras のモデルの構成やオプティマイザの設定は，保存できる
• 学習の結果は，重みになる． チェックポイントにより，重みも保存できる．

次のプログラムでは，損失関数を， categorical crossentropy， 最適化法を 確率的勾配降下法 (SGD 法)， 尺度を accuracy に設定している．

m.compile(optimizer=tf.keras.optimizers.SGD(lr=0.01, momentum=0.9, nesterov=True),
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'])

※ 目的関数については： https://keras.io/ja/objectives/

【関連する外部ページ】

• URL: https://keras.io/ja/
• github: https://github.com/fchollet/keras
• Keras 応用: https://keras.io/api/applications/

【サイト内の関連ページ】

• Windows でのインストール詳細（NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウェアを含む）: 別ページ »で説明
• Ubuntu でのインストール詳細（NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウェアを含む）: 別ページ »で説明

【関連項目】 Applications of Deep Neural Networks, TensorFlow, ディープラーニング

Keras のインストール

• Windows でのインストール詳細（NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウェアを含む）: 別ページ »で説明
• Ubuntu でのインストール詳細（NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウェアを含む）: 別ページ »で説明

Keras-GAN のページ

Avatar Erik Linder-Norén により GitHub で公開されているKeras-GAN のページ．

URL は次の通り．

Keras-GAN のページ: https://github.com/eriklindernoren/Keras-GAN  

Keras でのカーネルの初期化

次のプログラムの中の kernel_initializer の部分． 標準偏差を 0.01 になるように重みを設定している．

m.add(Dense(units=100, input_dim=len(768[0])), kernel.iniializer.TruncatedNormal(stddev=0.01))  

Keras での学習

教師データ x_train と y_train (x_train は入力データの numpy 配列もしくは numpy 配列のリスト，y_train はクラス番号の numpy 配列）を用いて， バッチサイズが 32，エポック数を 10 として学習したいときには，次のコマンドを用いる．

history = m.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test))

Keras での検証（バリデーション）

Keras での学習において，「validation_data」を付けることで，検証（バリデーション）が行われる．

このとき，検証（バリデーション）に使うデータ（x_test, y_test）をいろいろ変えながら，Kerasでの検証（バリデーション）を行う．

history = m.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test))

結果（上のプログラムでは history）を見て，過学習や学習不足を判断する．history は次のようなプログラムで表示できる．

import pandas as pd
h = pd.DataFrame(history.history)
h['epoch'] = history.epoch
print(h)

Keras でのコンパイル

Keras のモデルのコンパイルにおいては， オプティマイザ（最適化器）と 損失関数とメトリクスの指定を行う必要がある．

Keras でのモデル m のコンパイルのプログラムは「m.compile」のように書く．

Keras に付属のデータセット

データセットは，データの集まりのこと． Python の keras には，次のデータセットを簡単にダウンロードできる機能がある．

• CIFAR-10 データセット: カラー画像 60000枚, カテゴリーラベル (category label)

  CIFAR-10 データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import cifar10
  (x_train, y_train), (x_test, y_test) = cifar10.load_data()
  

• CIFAR100 データセット: カラー画像 60000枚, カテゴリーラベル (category label)

  CIFAR-100 データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import cifar100
  (x_train, y_train), (x_test, y_test) = cifar100.load_data(label_mode='fine')
  

• IMDb データセット: 25000 の映画レビュー

  IMDb データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import imdb
  (x_train, y_train), (x_test, y_test) = imdb.load_data()
  

• Reuters newswire topics データセット: ニュースワイヤ 11228, ラベル

  Reuters newswire topics データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import reuters
  (x_train, y_train), (x_test, y_test) = reuters.load_data()
  

• MNIST データセット: 濃淡画像 70000枚, ラベル

  MNIST データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import mnist
  (x_train, y_train), (x_test, y_test) = mnist.load_data()
  

• Fashion MNIST データセット: 濃淡画像 70000枚, ラベル

  Fashion MNIST データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import fashion_mnist
  (x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()
  

• Boston housing price 回帰データセット: 13属性

  Boston housing price 回帰データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import boston_housing
  (x_train, y_train), (x_test, y_test) = boston_housing.load_data()
  

keras に付属のデータセットを取得するときのオプションについては， https://keras.io/ja/datasets/(日本語版), https://keras.io/api/datasets/(英語版) に説明されている．

【関連項目】 Boston housing price 回帰データセット, CIFAR-10 データセット, CIFAR100 データセット, IMDb データセット, Reuters newswire topics データセット, MNIST データセット, Fashion MNIST データセット  

Keras の応用

Keras の応用としては， MobileNetV2， Inception-ResNet， ResNet50， DenseNet121, DenseNet169， NASNetなどの画像分類のモデルがある． （その詳細は，https://keras.io/ja/applications/）

Keras では，これらモデルについて，ImageNet データセット での学習済みモデルを，次のようなプログラムで，簡単に使えるようにすることができる．

from tensorflow.keras.applications.mobilenet_v3 import MobileNetV3
m = MobileNetV3(weights='imagenet')

【関連項目】 ResNet50, ResNet101, ResNet152, その他の ResNet, Inception-ResNet, DenseNet121, DenseNet169, NASNet, MobileNetV2

Keras で利用可能な画像分類のモデルは，https://keras.io/api/applications/index.html で説明されている．

Kinetics Human Action Video Dataset (Kinetics Human Action Video データセット)

400/600/700 種類の人間の行動をカバーする最大65万のビデオクリップの URL リンク集とアノテーションである． それぞれのクリップには，１つの行動クラスがアノテーションされている． ビデオの長さは，約10秒である． 機械学習による行動分類，行動認識，ビデオ検索などの学習や検証に利用できるデータセットである．

ディープラーニングで，人間の行動推定に利用できる．

• 約65万のビデオクリップのURLリンク
• 楽器の演奏などの人間と物体のインタラクション，握手やハグなどの人間と人間のインタラクションを網羅
• 行動クラスの数は 400/600/700
• 各ビデオクリップには1つの行動クラスがアノテーションされている．
• 各ビデオクリップの長さは約10秒である．

Kinetics データセット >は次の URL で公開されているデータセット（オープンデータ）である．

https://deepmind.com/research/open-source/kinetics

【関連情報】

• URL: http://human-pose.mpi-inf.mpg.de/
• URL: https://deepmind.com/research/open-source/kinetics
• 文献

  W. Kay, J. Carreira, K. Simonyan, B. Zhang, C. Hillier, S. Vijayanarasimhan, F. Viola, T. Green, T. Back, P. Natsev, M. Suleyman, and A. Zisserman. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017.

  https://arxiv.org/pdf/1705.06950v1.pdf

• Papers With Code の Kinetics データセットのページ: https://paperswithcode.com/dataset/kinetics
• PyTorch の Kinetics データセット: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.Kinetics400

Google Colaboratory で，Kinetics データセットのダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O https://storage.googleapis.com/deepmind-media/Datasets/kinetics700_2020.tar.gz
!tar -xvzof kinetics700_2020.tar.gz
!ls kinetics700_2020

Windows での Kinetics データセットのダウンロード

mkdir c:\data
mkdir c:\data\kinetics
cd c:\data\kinetics
curl -O https://storage.googleapis.com/deepmind-media/Datasets/kinetics700_2020.tar.gz
"c:\Program Files\7-Zip\7z.exe" x kinetics700_2020.tar.gz
"c:\Program Files\7-Zip\7z.exe" x kinetics700_2020.tar

KITTI データセット

カラーのカメラ，モノクロのステレオカメラ，３次元レーザースキャナなどのさまざまなセンサーのデータから構成される．

• 数時間分の交通シナリオ
• セマンティック・セグメンテーションのグランドトゥルースが含まれているわけではない

http://www.cvlibs.net/datasets/kitti

【関連情報】

• A. Geiger, P. Lenz and R. Urtasun, "Are we ready for autonomous driving? The KITTI vision benchmark suite," 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012, pp. 3354-3361, doi: 10.1109/CVPR.2012.6248074.
• Papers With Code の KITTI データセットのページ: https://paperswithcode.com/dataset/kitti
• PyTorch の KITTI データセット: https://pytorch.org/vision/stable/datasets.html
• TensorFlow データセット の KITTI データセット: https://www.tensorflow.org/datasets/catalog/kitti

【関連項目】 オープンデータ, 物体検出

KITTY オドメトリデータセットのダウンロード

車両からの観測画像と車両の自己位置のデータ．ビジュアルオドメトリに使用．

URL: https://github.com/uoip/monoVO-python

1. テスト用の画像データのダウンロードと展開（解凍）

   テスト画像データをダウンロードしたい．再度，uoip / monoVO-python の Web ページを開く

   https://github.com/uoip/monoVO-python

2. 「KITTY odometry data set (grayscale, 22 GB)」をクリック．
   
3. 濃淡 (grayscale) 画像が欲しいので，「Download odometry data set (grayscale, 22GB)」をクリック．

   これは，画像データの .zip ファイルである（多数の .png形式の画像ファイルを zip 形式に固めたものである）．

   
4. メールアドレスを登録し，「Request Download Link」をクリック．
   
5. 電子メールで通知が送られてくるので確認の上，電子メールの中のリンクをクリックする．
   • 件名を確認し，他のメールと勘違いしていないことをよく確認したうえでリンクをクリックすること．
   • 通知が送られるまで，それほど時間はかからない．
   • 電子メールの中身を他の人に見せる（他の人に代理作業を頼む）のはマナー違反
6. リンクをクリックするので、ダウンロードが始まるので確認する．

   ※ ダウンロードには時間がかかる

7. いまダウンロードしたテスト用画像データの .zip ファイルを，分かりやすいディレクトリ（日本語を含まないこと）に展開（解凍）する．

   Windows での展開（解凍）に便利な 7-Zip: 別ページ »で説明

   この .zip ファイルは，C:\data_odometry_gray\dataset に展開（解凍）したものとして，説明を続けるので，適切に読み替えてください．

8. 展開（解凍）してできたファイルを確認する．
   • .png 形式のファイルが多数ある
   • ファイル名は6桁の数字の連番になっている
   • 多数のディレクトリに分かれている
   

KITTI データセットのビジュアライザ

https://github.com/navoshta/KITTI-Dataset

KITTI データセットの Python インタフェース

https://github.com/utiasSTARS/pykitti

K 近傍探索 (K nearest neighbour)

K 近傍探索 (K nearest neighbour)のアルゴリズムは，次の性質を持つ．

• 事前に、データを複数準備（事前データ）。
• それぞれのデータに、ラベルがついている。
• 新しいデータが１つある。それを、事前データそれぞれすべてと類似度を計算する。
• 類似度が高いもの数個を選ぶ。そして、選ばれた数個のラベルについて多数決を取る
• その結果得られたラベルを識別結果とする

【関連項目】 Fast-Robust-ICP, libnabo, libpointmatcher

ks_1033_data

ks_1033_data は，次のページで CSV ファイルと Excel ファイルで公開されているデータセット（オープンデータ）である．

https://github.com/wireservice/csvkit/tree/master/examples/realdata

【関連項目】 オープンデータ, データフレーム

Google Colaboratory で，ks_1033_data データセットのダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O https://github.com/wireservice/csvkit/tree/master/examples/realdata/ks_1033_data.csv
!ls -al ks_1033_data.csv

L2 正則化

正則化の一手法である． L2 正則化では，重みの二乗の合計に比例したペナルティを，重みに与える．

import tensorflow.compat.v2 as tf
tf.keras.layers.Dense(128, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(0.001))

LabelMe インタフェース

LabelMe インタフェースは，アノテーションのツール．

• 文献

  Russell BC, Torralba A, Murphy KP, Freeman WT, Labelme: a database and web-based tool for image annotation. Int’l Journal of Computer Vision, 2008.

• 公式ページ (GitHub のページ): https://github.com/wkentaro/labelme

【関連項目】 アノテーション (annotation)

Windows での LabelMe のインストールと確認

公式ページ https://github.com/wkentaro/labelmeの記載に従う．

1. インストール

   Windows では，コマンドプロン プトを管理者として実行し， 次のコマンドを実行する．

   python -m pip install labelme
   

2. 確認のため「labelme」で起動
   

LAION

LAION-2B の画像数は約20億枚． LAION-5B の画像数は約50億枚．

【関連する外部ページ】

LAION の公式ページ: https://laion.ai/

LaMa

LaMa は，Image Inpainting （イメージ・インペインティング）のための技術である．2021年発表．

Image Inpainting （イメージ・インペインティング） 画像の欠落部分を補うことで，画像の中の不要な部分を消すときにも役立つ．

LaMa のデモページ

• LaMa のデモページの URL: https://colab.research.google.com/github/saic-mdal/lama/blob/master/colab/LaMa_inpainting.ipynb#scrollTo=-VZWySTMeGDM
• LaMa のデモページの実行結果の例
  
  

【関連項目】 image inpainting

Windows での Lama Cleaner のインストール

Windows での Lama Cleaner のインストール: 別ページで説明してリウ．

LAPACK

lapack は，行列に関する種々の問題（連立１次方程式，固有値問題，などなど多数）を解く機能を持つソフトウェア．BLAS の機能を使う．

netlib の lapack のページ: http://www.netlib.org/lapack

lapack 参照実装の Web ページ: https://github.com/Reference-LAPACK/lapack-release

【関連項目】 BLAS, clapack, OpenBLAS

Windows での LAPACK のインストール

Windows での LAPACK のインストール（Windows 上）: 別ページ »で説明している．

Ubuntu での LAPACK のインストール

Ubuntu でインストールを行うには，次のコマンドを実行．

sudo apt -y update
sudo apt -y install libopenblas-dev liblapack-dev

LAPACK のプログラム例

dgeev()関数 （固有値と固有ベクトル）を使用．

#include<stdio.h>

// CLAPACK ではなく LAPACK を直接呼び出す．

// CLAPACK については，次の URL を見よ．
//   see http://www.netlib.org/clapack/clapack.h

// ?geev : simple driver for eigenvalues/vectors

// 決まり文句 (CLAPACK との互換用）

#define doublereal double
#define integer long int

extern
  integer dgeev_(char *jobvl, char *jobvr, integer *n, doublereal *a,
         integer *lda, doublereal *wr, doublereal *wi, doublereal *vl,
         integer *ldvl, doublereal *vr, integer *ldvr, doublereal *work,
         integer *lwork, integer *info);

integer eigenvalues( integer n, doublereal *a, doublereal *wr, doublereal *wi ) {
  /* LAPACK の _dgeev() を使って固有値（だけ）を求める */

  integer n3 = n * n * n;
  integer info;

  doublereal *vl = (doublereal *)calloc(sizeof(doublereal), n * n);
  doublereal *vr = (doublereal *)calloc(sizeof(doublereal), n * n);
  doublereal *work = (doublereal *)calloc(sizeof(doublereal), n3);


  (void) dgeev_(
        /* char *jobvl */      "N",  /* "N" なので左固有ベクトルを計算しない */
        /* char *jobvr */      "N",  /* "N" なので右固有ベクトルを計算しない */
        /* integer *n */       &n,   /* 正方行列の次数 */
        /* doublereal *a, */   a,    /* A */
        /* integer *lda, */    &n,   /* A 用の作業領域 */
        /* doublereal *wr, */  wr,   /* 固有値の実部 */
        /* doublereal *wi, */  wi,   /* 固有値の虚部 */
        /* doublereal *vl, */  vl,   /* 左固有値 */
        /* integer *ldvl, */   &n,   /* 左固有値の作業用 */
        /* doublereal *vr, */  vr,   /* 右固有値 */
        /* integer *ldvr, */   &n,   /* 左固有値の作業用 */
        /* doublereal *work, */ work, /* 作業用 */
        /* integer *lwork, */  &n3,   /* 作業用の行列の次元 */
        /* integer *info */    &info);

  free( work );
  free( vr );
  free( vl );

  return info;

}

integer eigenvalues_rightvectors( integer n, doublereal *a, doublereal *wr, doublereal *wi, doublereal *vr ) {
  /* LAPACK の _dgeev() を使って固有値と右固有ベクトルを求める */
  /* A * v(j) = lambda(j) * v(j), v(j) is the right eigen vector */

  integer n3 = n * n * n;
  integer info;

  doublereal *vl = (doublereal *)calloc(sizeof(doublereal), n * n);
  doublereal *work = (doublereal *)calloc(sizeof(doublereal), n3);


  (void) dgeev_(
        /* char *jobvl */      "N",  /* "N" なので左固有ベクトルを計算しない */
        /* char *jobvr */      "V",  /* "V" なので右固有ベクトルを計算する */
        /* integer *n */       &n,   /* 正方行列の次数 */
        /* doublereal *a, */   a,    /* A */
        /* integer *lda, */    &n,   /* A 用の作業領域 */
        /* doublereal *wr, */  wr,   /* 固有値の実部 */
        /* doublereal *wi, */  wi,   /* 固有値の虚部 */
        /* doublereal *vl, */  vl,   /* 左固有値 */
        /* integer *ldvl, */   &n,   /* 左固有値の作業用 */
        /* doublereal *vr, */  vr,   /* 右固有値 */
        /* integer *ldvr, */   &n,   /* 左固有値の作業用 */
        /* doublereal *work, */ work, /* 作業用 */
        /* integer *lwork, */  &n3,   /* 作業用の行列の次元 */
        /* integer *info */    &info);

  free( work );
  free( vl );

  return info;
}

int main( integer argc, char **argv ) {
  int i;
  integer n = 10;
  doublereal *a  = (doublereal *)calloc(sizeof(doublereal), n * n);
  doublereal *wr = (doublereal *)calloc(sizeof(doublereal), n);
  doublereal *wi = (doublereal *)calloc(sizeof(doublereal), n); 
  /* doublereal *vr = (doublereal *)calloc(sizeof(doublereal), n * n); */

  eigenvalues( n, a, wr, wi );
  for(i = 0; i < n; i++) {
    printf("%5d %15.7e %15.7e\n", i + 1, *(wr + i), *(wi + i));
  }

  free(wi);
  free(wr);
  free(a);

  return 0;
}

Leeds Sports Pose Dataset (LSP データセット）

スポーツ選手を中心としで，Flickr から収集した2000枚の画像に， 姿勢（ポース）についてのアノテーションを行ったもの． 最も目立つ人物が，およそ150ピクセルになるようにスケーリングされている． 各画像には，14個のジョイント（関節）の位置がアノテーションされている． オリジナル画像の帰属 (attribution) とFlickrのURLは，各画像ファイルのJPEGコメントに記載されている．

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

次の URL で公開されているデータセット（オープンデータ）である．

URL: https://dbcollection.readthedocs.io/en/latest/datasets/leeds_sports_pose_extended.html

【関連情報】

• 文献

  Sam Johnson, and Mark Everingham. Clustered Pose and Nonlinear Appearance Models for Human Pose Estimation. In Frédéric Labrosse, Reyer Zwiggelaar, Yonghuai Liu, and Bernie Tiddeman, editors, Proceedings of the British Machine Vision Conference, pages 12.1-12.11. BMVA Press, September 2010. doi:10.5244/C.24.12.

  http://www.bmva.org/bmvc/2010/conference/paper12/paper12.pdf

• Papers With Code の LSP データセットのページ: https://paperswithcode.com/dataset/lsp
• open-mmlab での記事

  https://github.com/open-mmlab/mmpose/blob/master/docs/en/tasks/3d_body_mesh.md#lsp

Google Colaboratory で，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O http://sam.johnson.io/research/lsp_dataset.zip
!curl -O http://sam.johnson.io/research/lspet_dataset.zip
!unzip lsp_dataset.zip -d lsp_dataset
!unzip lspet_dataset.zip -d lspet_dataset
!ls -la lspet_dataset

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/file/d/1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS/view

Windows での，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

Windows の場合．次により c:\data\lsp にダウンロードされる．

mkdir c:\data
mkdir c:\data\lsp
mkdir c:\data\lsp\images
cd c:\data\lsp\images
curl -O http://sam.johnson.io/research/lsp_dataset.zip
curl -O http://sam.johnson.io/research/lspet_dataset.zip
powershell -command "Expand-Archive -DestinationPath . -Path lsp_dataset.zip"
powershell -command "Expand-Archive -DestinationPath . -Path lspet_dataset.zip"

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/file/d/1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS/view

Ubuntu での，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

Ubuntu の場合．次により，/usr/local/data/lsp/images にダウンロードされる．

mkdir -p /usr/local/data/lsp/images
cd /usr/local/data/lsp/images
curl -O http://sam.johnson.io/research/lsp_dataset.zip
curl -O http://sam.johnson.io/research/lspet_dataset.zip
unzip lsp_dataset.zip -d lsp_dataset
unzip lspet_dataset.zip -d lspet_dataset

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/file/d/1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS/view

LFW データセット

LFWデータセットには，「in-the-wild」のラベル付きの顔のデータベースである． 合計で 13,233枚，5,749人の顔画像が含まれている．

機械学習による顔認識の学習や検証に利用できるデータセットである．

• 5749 人の顔について，IDが付いている．
• 1680 人については，2つ以上の画像に写っている．他の人は，1宇野画像ににも写っている．

• 文献

  Gary B. Huang, Marwan Mattar, Tamara Berg, Eric Learned-Miller. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. Workshop on Faces in ’Real-Life’ Images: Detection, Alignment, and Recognition, Erik Learned-Miller and Andras Ferencz and Frdric Jurie, Oct 2008, Marseille, France. inria-00321923

  http://vis-www.cs.umass.edu/lfw/lfw.pdf

• E. Learned-Miller, G. B. Huang, A. RoyChowdhury, H. Li, and G. Hua. Labeled faces in the wild: A survey. In Advances in Face Detection and Facial Image Analysis, pages 189–248. Springer, 2016.
• Papers With Code の LFW データセットのページ: https://paperswithcode.com/dataset/lfw
• PyTorch のLFW データセット:
• TensorFlow データセットの LFW データセット: https://www.tensorflow.org/datasets/catalog/lfw

【関連項目】 顔認識 (face recognition), 顔のデータベース

libc++

libc++ は，LLVMのサブプロジェクトである．

libc++ は，C++ の標準ライブラリである．

【関連する外部ページ】

• libc++ の公式ページ: https://libcxx.llvm.org/

【関連項目】 LLVM

libiconv

Windows での libiconv のインストール

Windows での libiconv のインストール（Windows 上）: 別ページ »で説明している．

libnabo

libnabo は，K 近傍探索 (K nearest neighbour) の機能を持つライブラリ．

ANN よりも高速だとされている．

• 文献

  Elseberg, J. and Magnenat, S. and Siegwart, R. and N{\"u}chter, A., Comparison of nearest-neighbor-search strategies and implementations for efficient shape registration, Journal of Software Engineering for Robotics (JOSER), pages 2-12, vol. 3, no. 1, 2012.

• libnabo の URL: https://github.com/ethz-asl/libnabo

【関連項目】 K 近傍探索 (K nearest neighbour)

Windows での libnabo のインストール

ソースコードからビルドする

https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md の手順に従う．

1. Windows では，前準備として次を行う．
   • Build Tools for Visual Studio 2022 のインストール: 別項目で説明している．
   • Git のインストール: 別項目で説明している．

     Git の公式ページ: https://git-scm.com/

   • Boost のインストール
   • Eigen 3 のインストール
   • grep のインストール
2. インストール

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   c:\libnabo にインストールされる．

   cd %LOCALAPPDATA%
   rmdir /s /q libnabo
   git clone --recursive https://github.com/ethz-asl/libnabo
   cd libnabo
   rmdir /s /q build
   mkdir build
   cd build
   del CMakeCache.txt
   cmake -G "Visual Studio 17 2022" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libnabo" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DLIBNABO_BUILD_PYTHON=OFF ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
   ..
   msbuild /m:2 libnabo.sln -p:Configuration=Release
   

3. テストプログラムのビルド

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   c:\libnabo にインストールされる．

   cd %LOCALAPPDATA%\libnabo\examples
   del CMakeCache.txt
   cmake -G "Visual Studio 17 2022" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libnabo" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DLIBNABO_BUILD_PYTHON=OFF ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
   ..
   msbuild /m:2 libnabo.sln -p:Configuration=Release
   

Ubuntu での libnabo のインストール

Ubuntu でインストールを行うには，次のコマンドを実行．

/usr/local/libnabo にインストールされる．

sudo apt -y update
sudo apt -y install libboost-all-dev libeigen3-dev git cmake cmake-curses-gui cmake-gui

cd /tmp
sudo rm -rf libnabo
sudo git clone --recursive https://github.com/ethz-asl/libnabo
sudo chown -R $USER libnabo

cd /tmp/libnabo
mkdir build
cd build
cmake \
    -DCMAKE_BUILD_TYPE=Release \
    -DCMAKE_INSTALL_PREFIX="/usr/local" \
    -DCMAKE_BUILD_TYPE=RelWithDebInfo \
..
make 
sudo make install
cd /tmp/libnabo/examples
cmake \
    -DCMAKE_BUILD_TYPE=Release \
    -DCMAKE_INSTALL_PREFIX="/usr/local" \
    -DCMAKE_BUILD_TYPE=RelWithDebInfo \
..
make 
sudo make install

liboctave

自分で，C++ のプログラムを書き，liboctave の機能を呼び出すことが簡単にできる．

liboctave の C++ プログラムの見本

「clock_t c = clock();」と「fprintf( stderr, "done, elapsed time = %f [sec]", ( (double)clock() - (double)c ) / CLOCKS_PER_SEC ); 」の2行は経過時間の測定のためです．

#include<stdio.h>
#include<time.h>
#include<octave/config.h>
#include<octave/Matrix.h>

// 正方行列のサイズを指定
#define DIM 2000

int main( int argc, char **argv )
{
  fprintf( stderr, "start, \n" );
  clock_t c = clock();

  // 行列の積と固有値／固有ベクトル
  Matrix X(DIM, DIM);
  Matrix Y(DIM, DIM, 1.0);
  Matrix Z = X * Y;
  EIG eig(X);

  fprintf( stderr, "done, elapsed time = %f [sec]", ( (double)clock() - (double)c ) / CLOCKS_PER_SEC );
  return 0;
}

Octave の 関数 conv2 を用いて，2次元の畳み込み（コンボリューション）を行う．

関数 conv2 は，Octave ソースコードの DLD-FUNCTIONS/conv2.cc で定義されているので，「#include<octave/conv2.cc>」を含める．

「clock_t c = clock();」と「fprintf( stderr, "done, elapsed time = %f [sec]", ( (double)clock() - (double)c ) / CLOCKS_PER_SEC ); 」の2行は経過時間の測定のため．

// liboctave を用いた 2次元畳み込み（コンボリューション）
#include<stdio.h>
#include<time.h>
#include<octave/config.h>
#include<octave/Matrix.h>
#include<octave/conv2.cc>

// 正方行列のサイズを指定
#define DIM 2000
#define DIM2 21

int main( int argc, char **argv )
{
  printf( "start, \n" );
  clock_t c = clock();

  MArray2<double> a(DIM, DIM);
  MArray2<double> b(DIM2, DIM2);
  MArray<double> r(DIM, DIM);
  r = conv2(a, b, SHAPE_FULL);

  printf( "done, elapsed time = %f [sec]", ( (double)clock() - (double)c ) / CLOCKS_PER_SEC );

  return 0;
}

libpointmatcher

Iterative Closest Point (ICP) の機能を持ち， 点群 (point cloud) のアラインメントを行うことができる． point-to-point の ICP と，point-to-plane ICP の機能を持つ． point-to-point の ICP では，剛体変換だけでなく，スケールの変更にも対応している．

• 文献

  François Pomerleau, Francis Colas, Roland Siegwart, Stéphane Magnenat, Comparing ICP Variants on Real-World Data Sets, Autonomous Robots, vol. 34, no. 3, pages: 133-148, 2013.

• 文献

  François Pomerleau, Stéphane Magnenat, Francis Colas, Ming Liu, Roland Siegwart, Tracking a Depth Camera: Parameter Exploration for Fast ICP, Proc. of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE Press, pages: 3824-3829, 2011.

• GitHub のページ: https://github.com/ethz-asl/libpointmatcher

【関連項目】 K 近傍探索 (K nearest neighbour), ICP

Windows での libpointmatcher のインストール

ソースコードからビルドする

https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md の手順に従う．

1. Windows では，前準備として次を行う．
   • Build Tools for Visual Studio 2022 のインストール: 別項目で説明している．
   • Git のインストール: 別項目で説明している．

     Git の公式ページ: https://git-scm.com/

   • cmake のインストール: 別項目で説明している．

     CMake の公式ダウンロードページ: https://cmake.org/download/

   • Boost のインストール
   • Boost のバージョンとインクルードディレクトリの確認

     次のコマンドで確認する．ここで確認したことは，のちほど，使用する．

     dir "c:\boost\build\include"
     

     
   • Eigen 3 のインストール
   • libnabo のインストール
2. インストール

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   エラーを回避するために「/bigobj」を設定．

   c:\libpointmatcher にインストールされる．

   「boost-1_83」のところは，先ほど確認したインクルードディレクトリに一致させること．

   cd %LOCALAPPDATA%
   rmdir /s /q libpointmatcher
   git clone --recursive https://github.com/ethz-asl/libpointmatcher
   cd libpointmatcher
   rmdir /s /q build
   mkdir build
   cd build
   del CMakeCache.txt
   cmake -G "Visual Studio 17 2022" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libpointmatcher" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DBoost_USE_STATIC_LIBS=ON ^
       -DBOOST_ROOT="c:/boost/build" ^
       -DBoost_INCLUDE_DIR="c:/boost/build/include/boost-1_83" ^
       -DBoost_DIR="c:/boost/build" ^
       -Dlibnabo_DIR="%LOCALAPPDATA%/libnabo/build" ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
       -DCMAKE_C_FLAGS="/DWIN32 /D_WINDOWS /W0 /utf-8 /bigobj" ^
       -DCMAKE_CXX_FLAGS="/DWIN32 /D_WINDOWS /GR /EHsc /W0 /utf-8 /bigobj" ^
   ..
   msbuild /m:2 libpointmatcher.sln -p:Configuration=Release
   

Ubuntu での libpointmatcher のインストール

ソースコードからビルドする

公式ページの https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md

1. 前準備

   libnabo のインストール が必要．

2. インストール

   Ubuntu でインストールを行うには，次のコマンドを実行．

   /usr/local/libpointmatcher にインストールされる．

   sudo apt -y update
   sudo apt -y install libboost-all-dev libeigen3-dev git cmake cmake-curses-gui cmake-gui
   
   cd /tmp
   sudo rm -rf libpointmatcher
   git clone --recursive https://github.com/ethz-asl/libpointmatcher
   sudo chown -R $USER libpointmatcher
   
   cd /tmp/libpointmatcher
   mkdir build
   cd build
   cmake \
       -DCMAKE_BUILD_TYPE=Release \
       -DCMAKE_INSTALL_PREFIX="/usr/local" \
       -DCMAKE_BUILD_TYPE=RelWithDebInfo \
   ..
   make
   sudo make install
   

librosa

librosa は， 音声，音楽の機能をもった Python のパッケージである． 主な機能としては，音源分離（music source separation），スペクトログラム， 音声ファイルの読み込み，テンポ（tempo）の推定がある．

【文献】

McFee, Brian, Colin Raffel, Dawen Liang, Daniel PW Ellis, Matt McVicar, Eric Battenberg, and Oriol Nieto. “librosa: Audio and music signal analysis in python.” In Proceedings of the 14th python in science conference, pp. 18-25. 2015.

【関連する外部ページ】

• 公式のドキュメントのページ: https://librosa.org/doc/latest/index.html
• 公式の GitHub のページ: https://github.com/librosa/librosa

【関連項目】 short-time Fourier transform, 音声, 音楽, sound, 音データ（sound data）

Google Colaboratory で，パワースペクトログラムの表示（librosa を使用）

次のプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

次のプログラムは，librosa に付属の音声データである trumpet について，パワースペクトログラムを表示する． 次のプログラムでは，横軸は時間，縦軸は線形スケール（linear scale）で表された周波数である パワースペクトログラムを表示する． stft は short-time Fourier transform を行う． そして，その振幅により色をプロットする．

ここのプログラムのソースコードは， http://librosa.org/doc/main/auto_examples/plot_display.html#sphx-glr-auto-examples-plot-display-py のものを使用(ISC ライセンス）．

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

import librosa
import librosa.display

y, sr = librosa.load(librosa.ex('trumpet'))
D = librosa.stft(y)  # STFT of y
S_db = librosa.amplitude_to_db(np.abs(D), ref=np.max)
plt.figure()
librosa.display.specshow(S_db, x_axis='time', y_axis='linear', sr=sr)
plt.colorbar()

Windows での librosa のインストール

librosa のインストールと動作確認（音声処理）（Python を使用）（Windows 上）: 別ページ »で説明している．

Ubuntu での librosa のインストール

Ubuntu での librosa のインストールは，次のようなコマンドで行う．

sudo apt -y install ffmpeg
sudo pip3 install -U numba librosa

インストールするバージョンを指定する場合には，次のように操作する． 「==」のあとはバージョン指定であり，使用したいバージョンを指定する．

sudo apt -y install ffmpeg
sudo pip3 install -U numba==0.48.0 librosa==0.7.0 

ソースコードを使用してインストールする場合には次のように操作する．

sudo apt -y install ffmpeg
sudo pip3 install git+https://github.com/librosa/librosa

LLD

LLD は，LLVMのサブプロジェクトである．

LLD は，高速に動作するリンカーの機能を持つ．

【関連する外部ページ】

• LLD の公式ページ: https://lld.llvm.org/

【サイト内の関連ページ】

• Clang, LLVM, LLD, LLDB のインストール（ソースコード，Build Tools for Visual Studio を使用）（Windows 上）

【関連項目】 LLVM

LLaMA (Large Language Model Meta AI)

LLaMA (Large Language Model Meta AI) は，Meta によって開発された大規模言語モデル (large language model) である． LLaMA には，パラメーター数が7B、13B、33B、65B（1Bは10億）の4つのバージョンがある．

【文献】

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample, LLaMA: Open and Efficient Foundation Language Models, https://arxiv.org/abs/2302.13971v1

【関連する外部ページ】

• GitHub の公式ページ: https://github.com/facebookresearch/llama
• Paper with Code のページ: https://paperswithcode.com/paper/llama-open-and-efficient-foundation-language-1

【関連項目】 大規模言語モデル

LLDB

LLDB は，LLVMのサブプロジェクトである．

LLDB は，デバッガの機能を持つ．

【関連する外部ページ】

• LLDB の公式ページ: https://lldb.llvm.org/

【サイト内の関連ページ】

• Clang, LLVM, LLD, LLDB のインストール（ソースコード，Build Tools for Visual Studio を使用）（Windows 上）

【関連項目】 LLVM

LLVM

LLVM には，コンパイラ，ツールチェーンに関するさまざまなサブプロジェクトとして， LVM Core, Clang, LLD, LLDB, libc++ などのサブプロジェクトがある．

【サイト内の関連ページ】

• LLVM のインストール（vcpkg を使用）（Windows 上）
• Clang, LLVM, LLD, LLDB のインストール（ソースコード，Build Tools for Visual Studio を使用）（Windows 上）

【関連する外部ページ】

• LLVM の公式ページ: https://llvm.org/
• LLVM のインストールの公式ページ: https://llvm.org/docs/GettingStarted.html
• Clang の公式ページ: https://clang.llvm.org/

【関連項目】 Clang, libc++, LLD, LLDB

Windows での LLVM のインストール

Windows での LLVM のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として開き「winget install LLVM」を実行
• コマンドプロンプトを管理者として開き次のコマンドを実行する．

  12.0.1 のところは，インストールしたいバージョン番号を指定すること．

  curl -LO https://github.com/llvm/llvm-project/releases/download/llvmorg-12.0.1/LLVM-12.0.1-win64.exe
  .\LLVM-12.0.1-win64.exe
  

Ubuntu での LLVM のインストール

Ubuntu でインストールを行うには，次のコマンドを実行．

sudo apt -y update
sudo apt -y install llvm

locate コマンド

Linux では，locate コマンドを用いてファイル検索を行うことができる．

• Ubuntu でのインストール: sudo apt -y install mlocate

  mlocate に m が付いているのは書き間違いではない．

LoRA

LoRA は大規模言語モデルの学習の手法の１つである． LoRA は， 大規模言語モデルの学習において，ランク分解行列のペアを用いた学習を特徴とする． 学習可能なパラメータの数を削減を可能にしている． 具体的には，ランク分解行列のペアを用いることで，元の重み行列を低ランクな行列の積として近似することができ，これによって，元の重み行列の次元数を削減し，学習可能なパラメータ数を削減することができる．

【関連項目】 大規模言語モデル

LPIPS (Learned Perceptual Image Patch Similarity)

画像の類似尺度．Richard Zhang らにより 2018年に提案された．

• Windows でのインストール: python -m pip install lpips
• Ubuntu でのインストール: sudo pip3 install lpips

公式ページには，次の Python プログラムのソースコードが掲載されている．

import lpips
loss_fn_alex = lpips.LPIPS(net='alex') # best forward scores
loss_fn_vgg = lpips.LPIPS(net='vgg') # closer to "traditional" perceptual loss, when used for optimization

import torch
img0 = torch.zeros(1,3,64,64) # image should be RGB, IMPORTANT: normalized to [-1,1]
img1 = torch.zeros(1,3,64,64)
d = loss_fn_alex(img0, img1)

このソースコードの Google Colaboratory での実行結果は次の通りである．

• 文献

  Richard Zhang, Phillip Isola, Alexei A. Efros, Eli Shechtman, Oliver Wang, The Unreasonable Effectiveness of Deep Features as a Perceptual Metric, CVPR 2018, also CORR, abs/1801.03924v2

  https://arxiv.org/pdf/1801.03924v2.pdf

• Papers with Code のページ: https://paperswithcode.com/paper/the-unreasonable-effectiveness-of-deep
• GitHub のページ: https://github.com/richzhang/PerceptualSimilarity

【関連項目】SSIM

LReLU (Leaky rectified linear unit)

LReLU (Leaky rectified linear unit) は，次の関数である．

f(x) = x (x>=0), alpha * x (x<0)

LReLUは，活性化関数としてよく使用されるもののうちの１つである． 活性化関数は，ニューロンの入力の合計から，そのニューロンの活性度の値を決めるためのもの． （他には，ReLU，シグモイド関数，ステップ関数，ソフトマックス関数などがある．

Keras で LReLU を使うときは，次のように書く．

m.add(LeakyReLU(alpha=0.01)

LS3D-W データセット

LS3D-W データセットは，３次元の顔ランドマーク (facial landmark)のデータセット．

これは，AFLW，300VW，iBUG 300-W，FDDB の顔画像から生成されたデータセットである．

利用には， https://www.adrianbulat.com/face-alignment での申請を必要とする．

生成手順については，次の文献に記載されている

Bulat, Adrian and Tzimiropoulos, Georgios, International Conference on Computer Vision, 2017, https://openaccess.thecvf.com/content_ICCV_2017/papers/Bulat_How_Far_Are_ICCV_2017_paper.pdf

【関連項目】 顔ランドマーク (facial landmark)

LSTM (Long Short-Term Memory)

LSTM 層を含むようなニューラルネットワークは，次の特徴を持つ

• リカレントニューラルネットワークの一種である
• 状態を維持することで，リカレントニューラルネットワークでの勾配消失問題の解決を目指している．

【関連項目】 Applications of Deep Neural Networks, ディープラーニング, リカレントニューラルネットワーク

LSTM 層(Long Short-Term Memory layer)

LSTM 層では，内部に「状態」を維持する． 状態は，ニューロンの動作のたびに変化するものである． （ふつうのニューロンでは，入力の値から出力が計算される．「状態」という考え方はない）． LSTM 層のニューロンは，今の入力，１つ前の時間の入力，１つ前の時間での状態から出力を求める．

LSUN (Large-scale Scene UNderstanding Challenge) データセット

LSUN (Large-scale Scene UNderstanding Challenge) データセット は， ラベル付きの画像データセットである． 機械学習での画像分類や画像生成の学習や検証に利用できるデータセット．

• 約100万枚のラベル付き画像
• 10種類のシーンカテゴリ
• 20種類のオブジェクトカテゴリが含まれている．

【関連情報】

• 文献

  Fisher Yu, Ari Seff, Yinda Zhang, Shuran Song, Thomas Funkhouser and Jianxiong Xiao, LSUN: Construction of a Large-scale Image Dataset using Deep Learning with Humans in the Loop, arXiv:1506.03365

• Papers With Code の LSUN データセットのページ: https://paperswithcode.com/dataset/lsun
• PyTorch の LSUN データセット https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.LSUN
• TensorFlow データセットの LSUN データセット https://www.tensorflow.org/datasets/catalog/lsun

【関連項目】 顔のデータベース

LVIS データセット

シーン解析(scene parsing)，インスタンス・セグメンテーション (instance segmentation)のデータセット

URL: https://www.lvisdataset.org/

【関連項目】 インスタンス・セグメンテーション (instance segmentation), オープンデータ, シーン解析(scene parsing)

MagickWand

MagickWand プログラムの実行

1. MagickWand のサイトから wand.c を入手．

   このプログラムは，サムネイル画像を生成するプログラム．

2. コンパイル

   以下のコマンドを実行．

   gcc `MagickWand-config --cflags --cppflags` -o wand.exe wand.c `MagickWand-config --ldflags --libs`
   

   または

   gcc -I/usr/include/ImageMagick -o wand.exe wand.c -L/usr/lib -L/usr/X11R6/lib -lMagickWand -lMagickCore -lfreetype -lz
   

3. 実行

   wand.c は，画像ファイルから，サムネイル（縮小画像）を作るプログラム．

   次のコマンドにより実行．

   ./wand.exe ＜画像ファイル名＞ ＜サムネイル・ファイル名＞
   

【関連項目】 ImageMagick

mallorbc の whisper_mic

Whisper でのマイクの使用を可能にする． 利用可能な言語モデルは，tiny，base，small，medium，large

• GitHub のページ: https://github.com/mallorbc/whisper_mic

【関連項目】 Whisper

mAP id="

機械学習による物体検出では， 「mAP」は，「mean average precision」の意味である．

Mapillary Vistas Dataset (MVD)

ストリート（街角）の25,000 枚の画像． インスタンスレベルのアノテーション， 124 のセマンティッククラス．

次の URL で公開されているデータセット（オープンデータ）である．

URL: https://www.mapillary.com/dataset/vistas

• 文献

  G. Neuhold, T. Ollmann, S. Rota Bulo, and P. Kontschieder. The mapillary vistas dataset for semantic understanding of street scenes. In ICCV, 2017.

  https://openaccess.thecvf.com/content_ICCV_2017/papers/Neuhold_The_Mapillary_Vistas_ICCV_2017_paper.pdf

【関連項目】 セマンティック・セグメンテーション (semantic segmentation), インスタンス・セグメンテーション (instance segmentation)

Mask R-CNN

セグメンテーション，物体検出，キーポイント検出等に使用されるモデル．

FPN (Feature Pyramid Network), ResNeXt101 や ResNeXt50 や ResNet101 や ResNet50 を使用．

COCO データセットで学習済みのモデル，Jupyter ノートブック (Jupyter Notebook) のデモ demo.ipynb が公開されている．

• 文献 Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick, Mask R-CNN, ICCV 2017, also, CoRR, abs/1703.06870v3 2017.

  PDF: https://arxiv.org/pdf/1703.06870v3.pdf

• 公式のソースコード (GitHub): https://github.com/BupyeongHealer/Mask_RCNN_tf_2.x
• Papers with Code のページ: https://paperswithcode.com/paper/mask-r-cnn
• TensorFlow のモデル: https://github.com/tensorflow/models
• Detectron2: https://github.com/facebookresearch/detectron2, Detectron2 のチュートリアル: https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5
• matterport の GitHub のページ: https://github.com/matterport/Mask_RCNN

【関連項目】 Detectron2, MMDetection, PANet (Path Aggregation Network), 物体検出, セグメンテーション (segmentation), keypoint detection

付属の Jupyter ノートブック (Jupyter Notebook) のデモ

Jupyter ノートブック (Jupyter Notebook) のデモが付属している．主なものは次の通り． 動作させるには，Mask R-CNN のインストールが終わっていること（下に記載）． 学習: train_shapes.ipynb 仕組み: inspect_model.ipynb 重みの視覚化: inspect_weights.ipynb

Windows での Mask R-CNN のインストール

1. Git のインストール: 別項目で説明している．

   Git の公式ページ: https://git-scm.com/

2. コマンドプロンプトを管理者として開き次のコマンドを実行する．

   cd %LOCALAPPDATA%
   rmdir /s /q Mask_RCNN
   git clone --recursive https://github.com/matterport/Mask_RCNN
   cd Mask_RCNN
   python -m pip install -U -r requirements.txt
   python setup.py install
   

Ubuntu での Mask R-CNN のインストール

1. Ubuntu でインストールを行うには，次のコマンドを実行．

   sudo apt -y update
   sudo apt -y install git
   
   cd /usr/local
   sudo rm -rf Mask_RCNN
   sudo git clone --recursive https://github.com/matterport/Mask_RCNN
   sudo chown -R $USER Mask_RCNN
   
   # システム Python の環境とは別の Python の仮想環境（システム Python を使用）を作成
   sudo apt -y update
   sudo apt -y install python3-venv
   python3 -m venv ~/a
   source ~/a/bin/activate
   
   cd /usr/local/Mask_RCNN
   sudo pip3 install -U -r requirements.txt
   sudo pip3 list
   python setup.py install
   

matplotlib

matplotlib は，オープンソースの Python のプロットライブラリ．

matplotlib を用いた散布図の描画は，別ページ »で説明している．

matplotlib を用いたグラフ描画の例は次の通り．

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

x = np.linspace(0, 6, 100)
plt.style.use('ggplot')
plt.plot(x, np.sin(x))

matplotlib を用いて，OpenCV のカラー画像を表示する例は次の通り．

import cv2
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

bgr = cv2.imread("126.png")
plt.style.use('default')
plt.imshow(cv2.cvtColor(bgr, cv2.COLOR_BGR2RGB))
plt.show()

普通に Matplotlib を用いてOpenCV 画像の表示を表示すると，小さく表示される．

「plt.style.use('default')」の実行により，Matplotlib での OpenCV 画像の表示が大きくなる．

【サイト内の関連ページ】 Matplotlib（Python のまとめページ内）

【関連項目】 display

Windows での matplotlib のインストール

Windows での matplotlib, seaborn のインストールは， コマンドプロンプトを管理者として開き そのコマンドプロンプトで，次のコマンドを実行することで行う．

python -m pip install -U matplotlib seaborn

Ubuntu での matplotlib のインストール

Ubuntu での matplotlib, seaborn のインストールは， 次のコマンドを実行することで行う．

sudo apt -y update
sudo apt -y install python3-matplotlib python3-seaborn

Max-Margin 物体検出 (Max-Margin Object Detection)

画像からの物体検出 のための学習法である． 当時の，従来の，単純な物体検出 法よりも高速であり， 他の種々の物体検出 法よりも精度が劣らないとされている． サブサンプリングを行わずに，サブウインドウ（画像分類のために使用されるもの）の全体での最適化を行うことを特徴としている．

• 文献

  Davis E. King, Max-Margin Object Detection, CoRR, abs/1502.00046, 2015.

  https://arxiv.org/pdf/1502.00046v1.pdf

• Papers with code のページ: https://paperswithcode.com/paper/max-margin-object-detection

【関連項目】 物体検出

MeCab

MeCab は，形態素解析の機能を持ったソフトウェア．

Windows での MeCab のインストール

公式ページからダウンロードしてインストールする．その詳細は，別ページ »で説明している．

Merkaartor

Merkaartor は， OpenStreetMap の編集ソフトウェア． OpenStreetMap，ESRI Shape データ，Bing，Spatialite を扱う機能がある． Windows 版，Linux 版，Mac OS X 版もある．ソースコードは公開されている．

【サイト内の関連ページ】

• Windows での Merkaartor のインストール，OpenStreetMap データのダウンロード（Windows 上）: 別ページ »で説明している．
• Ubuntu での Merkaartor のインストール，OpenStreetMap データのダウンロード（Ubuntu 上）: 別ページ »で説明

【関連する外部ページ】

Merkaartor の公式ページ: http://merkaartor.be

GitHub のページ: https://github.com/openstreetmap/merkaartor/

MeshLab

MeshLab は, ３次元データ（３次元点群データや，メッシュデータ）について表示, 簡易編集, データの間引き, 形式変換, 張り合わせ, 分割, 解析などが行えるソフトウェア

URL: http://meshlab.sourceforge.net/

【関連項目】 メッシュ簡略化 (Mesh Simplification) , メッシュ平滑化 (Mesh Smoothing)

Windows での MeshLab のインストール

Windows での MeshLab のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として開き「winget install MeshLab」を実行
• MeshLab のページ http://meshlab.sourceforge.net/ からダウンロードしてインストール:

  詳しくは: 別ページ »で説明

Ubuntu での MeshLab のインストール

Ubuntu でのインストール: 別ページ »で説明している．

Meshroom

Meshroom は フォトグラメトリ のソフトウェアである． Structure from Motion を，GUI を用いて簡単に行うことができる． 動作画面の一部は次の通りである． カメラの撮影位置と，オブジェクトの３次元形状が表示されている．

meshroom の URL （ここから Meshroom をダウンロード可能）: https://alicevision.org/

【関連項目】 3次元再構成 (3D reconstruction), OpenMVG, OpenMMLab, Structure from Motion (SfM)

Metis

Windows での Metis のインストール

Windows での Metis のインストール: 別ページ »で説明している． Ubuntu での Metis のインストール: 別ページ »で説明している．

MhLiao の DB

テキスト検知 (text detection), テキスト認識 (text recognition) の機能を持つ．

文献

Liao, Minghui and Wan, Zhaoyi and Yao, Cong and Chen, Kai and Bai, Xiang, Real-time Scene Text Detection with Differentiable Binarization, Proc. AAAI, 2020.

【関連項目】 テキスト検知 (text detection), テキスト認識 (text recognition)

Google Colaboratory でのインストール

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

%cd /content
!rm -rf DB
!git clone https://github.com/MhLiao/DB.git
%cd DB
!pip3 install -r requirement.txt
%cd assets/ops/dcn/
!python3 setup.py build_ext --inplace

MIT Scene Parsing Benchmark

ADE20K データセット から派生した， シーン解析(scene parsing) のデータと， オブジェクトのパーツ (object parts) のセグメンテーションのデータ．

• 20,000 枚以上の画像
• ADE20K データセット のカテゴリのうち，150 のカテゴリを使用．人，車，ベッドなど，
• ピクセル単位で，オブジェクトとオブジェクトパーツのラベルがアノテーションされている．

次の URL で公開されているデータセット（オープンデータ）である．

http://sceneparsing.csail.mit.edu/

【関連情報】

• MIT Scene Parsing Benchmark: http://sceneparsing.csail.mit.edu/
• Instruction for the Instance Segmentation Task: https://github.com/CSAILVision/placeschallenge/tree/master/instancesegmentation
• TensorFlow データセットの scene parse 150 データセット: https://www.tensorflow.org/datasets/catalog/scene_parse150

【関連項目】 ADE20K データセット, CASILVision, セマンティック・セグメンテーション (semantic segmentation), シーン解析(scene parsing)， インスタンス・セグメンテーション (instance segmentation)

Windows でのダウンロードと展開

c:\date 下にダウンロード，展開する．

Windows では，コマンドプロン プトを管理者として実行し， 次のコマンドを実行する．

mkdir c:\data
cd c:\data
curl -O http://data.csail.mit.edu/places/ADEchallenge/ADEChallengeData2016.zip
rmdir /s /q ADEChallengeData2016
powershell -command "Expand-Archive -DestinationPath . -Path ADEChallengeData2016.zip"

ファイルの配置は次のようになる．

ADEChallengeData2016/
  annotations/
  images/
  objectInfo150.txt
  sceneCategories.txt

MiVOS

MiVOSは、対話型のビデオオブジェクトセグメンテーション(interactive video object segmentation)の新しい手法として提案されている。このシステムはユーザーのインタラクションを取り入れつつ、特定のフレームでのセグメンテーション結果を他のフレームに効果的に伝搬させることができる。インタラクションと伝搬を分離するため、MiVOSはInteraction-to-Mask、Propagation、そしてDifference-Aware Fusionの3つの主要モジュールを採用している。2021年発表。

【文献】

Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation, Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung, NeurIPS, also arXiv:2106.05210v2, 2021.

https://arxiv.org/pdf/2106.05210v2.pdf

Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion, Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung, CVPR, also, arXiv:2103.07941v3, 2021.

https://arxiv.org/pdf/2103.07941v3.pdf

【サイト内の関連ページ】

【サイト内の関連ページ】

• MiVOS のインストールと動作（Windows 上）別ページ »で説明している．

【関連する外部ページ】

• GitHub の公式のページ(STCNバージョン) https://github.com/hkchengrex/MiVOS/tree/MiVOS-STCN
• GitHub の公式ページ: https://github.com/hkchengrex/MiVOS
• Paper with Code のページ: https://paperswithcode.com/paper/modular-interactive-video-object-segmentation

mixamo

キャラクタと動きのアセットを公開しているサイト．fbx形式でダウンロードできる．

URL: https://www.mixamo.com

【関連用語】 3次元コンピュータグラフィックス, human pose, human motion

MMAction2

MMAction2 は， OpenMMLab の構成物で，動作認識 (action recognition)の機能を提供する．

• 文献

  MMAction2 Contributors, OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark, https://github.com/open-mmlab/mmaction2, 2020.

• MMAction2 の GitHub のページ: https://github.com/open-mmlab/mmaction2
• MMAction2 の公式ドキュメント: https://mmaction2.readthedocs.io/en/latest/
• MMAction2 の訓練，検証，推論の公式チュートリアル: https://colab.research.google.com/github/open-mmlab/mmaction2/blob/master/demo/mmaction2_tutorial.ipynb
• MMAction2 の公式の学習済みモデル: https://mmaction2.readthedocs.io/en/latest/model_zoo/recognition.html
• MMAction2 の公式のデモのドキュメント: https://github.com/open-mmlab/mmaction2/blob/master/demo/README.md#skeleton-based-action-recognition-demo

【関連項目】 AVA, MMCV, OpenMMLab, PoseC3D, Spatio-Temporal Action Recognition, Temporal Segment Networks (TSN), スケルトンベースの動作認識 (skelton-based action recognition), 動作認識 (action recognition)

Google Colaboratory で MMAction2 による動作認識 (action recognition)，スケルトンベースの動作認識，Spatio-Temporal Action Recognition の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

3. MIM, MMClassification, MMSegmentation, MMDetection, MMTracking, MMPose のインストール．MMPose のインストール後は numpy, scipy の更新も行う．

   https://github.com/open-mmlab/mmpose/blob/master/docs/en/install.md#install-mmposeに記載の手順による．

   MMCV 1.6.2 をインストールしたので，MMDetection は 2系列になる（3系列は動かない）(2023年4月時点)．

   !python -m pip install -U openmim opencv-python
   !python -m pip install -U mmcv-full==1.6.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmclassification.git
   !python -m pip install -U mmdet==2.28.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmsegmentation.git
   !python -m pip install -U git+https://github.com/open-mmlab/mmtracking.git
   !python -m pip install -U git+https://github.com/open-mmlab/mmpose.git
   !apt -y install python3-numpy
   !apt -y install python3-scipy
   !python -c "import mmcls; print(mmcls.__version__)"
   !python -c "import mmdet; print(mmdet.__version__)"
   !python -c "import mmseg; print(mmseg.__version__)"
   !python -c "import mmtrack; print(mmtrack.__version__)"
   !python -c "import mmpose; print(mmpose.__version__)"
   
   !pip3 install git+https://github.com/votchallenge/toolkit.git
   

   
4. MMAction2 のインストール

   !mim install mmaction2 -f https://github.com/open-mmlab/mmaction2.git
   !pip3 show mmaction2
   
   %cd /content
   !rm -rf mmaction2
   !git clone https://github.com/open-mmlab/mmaction2.git
   %cd mmaction2
   !pip3 install -r requirements/optional.txt
   

   
5. MMAction2 の学習済みモデルのダウンロード

   Temporal Segment Networks (TSN), ResNet50, ImageNet, Kinetics-400 のものをダウンロード．

   MMAction2 の Temporal Segment Networks (TSN) の説明ページ: https://github.com/open-mmlab/mmaction2/blob/master/configs/recognition/tsn/README.md

   !curl -O https://download.openmmlab.com/mmaction/recognition/tsn/tsn_r50_1x1x3_100e_kinetics400_rgb/tsn_r50_1x1x3_100e_kinetics400_rgb_20200614-e508be42.pth
   !mkdir checkpoints
   !mv tsn_r50_1x1x3_100e_kinetics400_rgb_20200614-e508be42.pth checkpoints
   

   
6. Temporal Segment Networks (TSN) による動作認識 (action recognition)（MMAction2 を使用）

   公式のチュートリアル: https://github.com/open-mmlab/mmaction2/blob/master/demo/mmaction2_tutorial.ipynb に記載のプログラムを使用

   このプログラムは，Temporal Segment Networks (TSN), ResNet50, ImageNet, Kinetics-400 を使用

   import torch
   from mmaction.apis import inference_recognizer, init_recognizer
   
   # Choose to use a config and initialize the recognizer
   config = 'configs/recognition/tsn/tsn_r50_video_inference_1x1x3_100e_kinetics400_rgb.py'
   # Setup a checkpoint file to load
   checkpoint = 'checkpoints/tsn_r50_1x1x3_100e_kinetics400_rgb_20200614-e508be42.pth'
   
   # Initialize the recognizer
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_recognizer(config, checkpoint, device=device)
   
   # Use the recognizer to do inference
   video = 'demo/demo.mp4'
   label = 'tools/data/kinetics/label_map_k400.txt'
   results = inference_recognizer(model, video)
   
   labels = open(label).readlines()
   labels = [x.strip() for x in labels]
   results = [(labels[k[0]], k[1]) for k in results]
   
   # Let's show the results
   for result in results:
       print(f'{result[0]}: ', result[1])
   

   
7. MMAction2 の学習済みモデルのダウンロード

   PoseC3D, SlowOnly-R50, NTU120_XSub のものをダウンロード．

   MMAction2 の PoseC3D の説明ページ: https://github.com/open-mmlab/mmaction2/blob/master/configs/skeleton/posec3d/README.md

   !curl -O https://download.openmmlab.com/mmaction/skeleton/posec3d/slowonly_r50_u48_240e_ntu120_xsub_keypoint/slowonly_r50_u48_240e_ntu120_xsub_keypoint-6736b03f.pth
   !mkdir checkpoints
   !mv slowonly_r50_u48_240e_ntu120_xsub_keypoint-6736b03f.pth checkpoints
   

   
8. PoseC3D によるスケルトンベースの動作認識 (skelton-based action recognition)（MMAction2 を使用）

   MMAction2 の公式のデモのドキュメント: https://github.com/open-mmlab/mmaction2/blob/master/demo/README.md#skeleton-based-action-recognition-demo に記載のプログラムを使用

   このプログラムは， 人物検出(human detection) に Faster RCNN を使用． 姿勢推定(pose estimation) に HRNetw32 を使用． スケルトンベースの動作認識 (skelton-based action recognition)に，PoseC3D, SlowOnly-R50, NTU120_XSub を使用．

   !python3 demo/demo_skeleton.py demo/ntu_sample.avi demo/skeleton_demo.mp4 \
       --config configs/skeleton/posec3d/slowonly_r50_u48_240e_ntu120_xsub_keypoint.py \
       --checkpoint checkpoints/slowonly_r50_u48_240e_ntu120_xsub_keypoint-6736b03f.pth \
       --det-config demo/faster_rcnn_r50_fpn_2x_coco.py \
       --det-checkpoint http://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_2x_coco/faster_rcnn_r50_fpn_2x_coco_bbox_mAP-0.384_20200504_210434-a5d8aa15.pth \
       --det-score-thr 0.9 \
       --pose-config demo/hrnet_w32_coco_256x192.py \
       --pose-checkpoint https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w32_coco_256x192-c78dce93_20200708.pth \
       --label-map tools/data/skeleton/label_map_ntu120.txt
   

   

   mmaction/demo/skeleton_demo.mp4 を確認

   
9. MMAction2 の学習済みモデルのダウンロード

   AVA, OmniSource, ResNet101 のものをダウンロード．

   MMAction2 の AVA の説明ページ: https://github.com/open-mmlab/mmaction2/blob/master/configs/detection/ava/README.md

   !curl -O https://download.openmmlab.com/mmaction/detection/ava/slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb/slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb_20201217-16378594.pth
   !mkdir checkpoints
   !mv slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb_20201217-16378594.pth checkpoints
   

   
10. AVA による Spatio-Temporal Action Recognition （MMAction2 を使用）

    MMAction2 の公式のデモのドキュメント: https://github.com/open-mmlab/mmaction2/blob/master/demo/README.md#skeleton-based-action-recognition-demo に記載のプログラムを使用

    このプログラムは， 人物検出(human detection) に Faster RCNN を使用． 動作認識 (action recognition)に，SlowOnly-8x8-R101 を使用． ８フレームごとに予測を行い，４フレームごとに１フレームを出力する．

    !python3 demo/demo_spatiotemporal_det.py --video demo/demo.mp4 \
        --config configs/detection/ava/slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb.py \
        --checkpoint checkpoints/slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb_20201217-16378594.pth \
        --det-config demo/faster_rcnn_r50_fpn_2x_coco.py \
        --det-checkpoint http://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_2x_coco/faster_rcnn_r50_fpn_2x_coco_bbox_mAP-0.384_20200504_210434-a5d8aa15.pth \
        --det-score-thr 0.9 \
        --action-score-thr 0.5 \
        --label-map tools/data/ava/label_map.txt \
        --predict-stepsize 8 \
        --output-stepsize 4 \
        --output-fps 6
    

    

    mmaction/demo/stdet_demo.mp4 を確認

    

MMPretrain (MMClassification)

MMPretrain (MMClassification) は， OpenMMLab の構成物で， 画像分類のツールボックスとベンチマークの機能を提供する．

【文献】

MMClassification Contributors, OpenMMLab's Image Classification Toolbox and Benchmark, https://github.com/open-mmlab/mmclassification, 2020.

【サイト内の関連ページ】

画像分類の実行（MMPretrain，PyTorch，Python を使用）（Windows 上）

【関連する外部ページ】

• MMPretrain の GitHub のページ: https://github.com/open-mmlab/mmpretrain
• MMPretrain の公式ドキュメント: https://mmpretrain.readthedocs.io/en/latest/
• MMPretrain での訓練（公式ドキュメント）: https://mmpretrain.readthedocs.io/en/latest/user_guides/train.html
• MMPretrain の公式の学習済みモデル: https://mmpretrain.readthedocs.io/en/latest/modelzoo_statistics.html
• MMPretrain の model zoo のページ: https://github.com/open-mmlab/mmpretrain/blob/master/docs/en/model_zoo.md

【関連項目】 OpenMMLab, MMCV, MMFewShot

Google Colaboratory で，MMClassification による画像分類の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. MIM のインストール

   !pip3 install git+https://github.com/open-mmlab/mim.git
   

2. MMCV, MMClassification のインストール．

   https://mmclassification.readthedocs.io/en/latest/install.html の記載の手順による

   %cd /content
   !rm -rf mmclassification
   !git clone https://github.com/open-mmlab/mmclassification.git
   %cd mmclassification
   !git checkout dev
   !mim install -e .
   !pip3 show mmcls
   

   
3. MMClassification の学習済みモデルのダウンロード

   ResNet50, ImageNet-1k のものをダウンロード．

   MMClassification の ResNet の説明ページ: https://github.com/open-mmlab/mmclassification/tree/master/configs/resnet

   !curl -O https://download.openmmlab.com/mmclassification/v0/resnet/resnet50_8xb32_in1k_20210831-ea4938fc.pth
   !mkdir checkpoints
   !mv resnet50_8xb32_in1k_20210831-ea4938fc.pth checkpoints
   

   
4. ResNet50による画像分類の実行（MMClassification を使用）

   このプログラムは，ResNet50, ImageNet-1k を使用．

   import torch
   from mmcls.apis import inference_model, init_model, show_result_pyplot
   
   fimg = 'demo/demo.JPEG'
   fconfig = 'configs/resnet/resnet50_8xb32_in1k.py'
   fcheckpoint = 'checkpoints/resnet50_8xb32_in1k_20210831-ea4938fc.pth'
   
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_model(fconfig, fcheckpoint, device=device)
   result = inference_model(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result)
   

   

Windows で，MMClassification のインストールと，画像分類の実行

MMClassification のインストールと動作確認（画像分類）（PyTorch，Python を使用）: 別ページ »で説明している．

MMCV

MMCV は， OpenMMLab の構成物で，基礎的な機能を提供する．

【文献】

MMCV Contributors, MMCV: OpenMMLab Computer Vision Foundation, https://github.com/open-mmlab/mmcv, 2018.

【関連する外部ページ】

• MMCV の GitHub のページ: https://github.com/open-mmlab/mmcv
• MMCV の公式ドキュメント: https://mmcv.readthedocs.io/en/latest/

【関連項目】 OpenMMLab, MMAction2, MMClassification MMDetection, MMFewShot, MMFlow, MMGen, MMPose, MMSegmentation, MMSegmentation3D, MMSelfSup, MMTracking

Google Colaboratory での MMCV のインストール

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）NVIDIA CUDA ツールキット のバージョンを確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

Windows での MMCV のインストール

MMCV のインストールと動作確認（画像表示など）（PyTorch，Python を使用）: 別ページ »で説明している．

Ubuntu での MMCV のインストール

MMCV 1.7.1 のインストール

インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

sudo apt install -y python3-terminaltables
sudo apt install -y python3-opencv
python3 -m pip uninstall mmcv mmcv-full
python3 -m pip install mmcv==1.6.2

MMDetection

MMDetection は， OpenMMLab の構成物で，物体検出， インスタンス・セグメンテーション (instance segmentation), パノプティック・セグメンテーション (panoptic segmentation) の機能を提供する．

【文献】

Chen, Kai and Wang, Jiaqi and Pang, Jiangmiao and Cao, Yuhang and Xiong, Yu and Li, Xiaoxiao and Sun, Shuyang and Feng, Wansen and Liu, Ziwei and Xu, Jiarui and Zhang, Zheng and Cheng, Dazhi and Zhu, Chenchen and Cheng, Tianheng and Zhao, Qijie and Li, Buyu and Lu, Xin and Zhu, Rui and Wu, Yue and Dai, Jifeng and Wang, Jingdong and Shi, Jianping and Ouyang, Wanli and Loy, Chen Change and Lin, Dahua, MMDetection: Open MMLab Detection Toolbox and Benchmark, arXiv:1906.07155, 2019.

【サイト内の関連ページ】

物体検出の実行（MMDetection，PyTorch，Python を使用）（Windows 上）

【関連する外部ページ】

• MMDetection の GitHub のページ: https://github.com/open-mmlab/mmdetection
• MMDetection の公式ドキュメント: https://mmdetection.readthedocs.io
• MMDetection の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmdetection/blob/master/demo/MMDet_Tutorial.ipynb
• MMDetection の公式の学習済みモデル: https://github.com/open-mmlab/mmdetection/blob/master/docs/en/model_zoo.md

【関連項目】 DETR, Deformable DETR, Mask R-CNN, MMCV, MMFewShot, MMPose, MMSegmentation, MMSegmentation3D, MMSelfSup, MMTracking, OpenMMLab, RetinaNet, Seesaw Loss, SSD, YOLOv3, YOLOv4, YOLOX, インスタンス・セグメンテーション (instance segmentation), パノプティック・セグメンテーション (panoptic segmentation) 物体検出

Google Colaboratory で，MMDetection による物体検出とセグメンテーションの実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. MIM のインストール

   !pip3 install git+https://github.com/open-mmlab/mim.git
   

2. MMCV, MMDetection のインストール．

   https://github.com/open-mmlab/mmdetection/blob/master/docs/en/get_started.md に記載の手順による

   
   !mim install mmdet
   !pip3 show mmdet
   

   
3. MMDetection のソースコード等のダウンロード

   あとで使用する

   %cd /content
   !rm -rf mmdetection
   !git clone https://github.com/open-mmlab/mmdetection.git
   %cd mmdetection
   

   
4. MMDetection の学習済みモデルのダウンロード

   Mask R-CNN, FPN (Feature Pyramid Network), Lr schd = 3x のものをダウンロード．

   MMDetection の Mask R-CNN の説明ページ: https://github.com/open-mmlab/mmdetection/tree/master/configs/mask_rcnn

   !curl -O https://download.openmmlab.com/mmdetection/v2.0/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth
   !mkdir checkpoints
   !mv mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth checkpoints
   

   
5. Mask R-CNN による 物体検出とセグメンテーションの実行（MMDetectionを使用）

   MMDetection の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmdetection/blob/master/demo/MMDet_Tutorial.ipynb に記載のプログラムを使用

   このプログラムは，Mask R-CNN, FPN (Feature Pyramid Network), Lr schd = 3x を使用．

   import torch
   from mmdet.apis import inference_detector, init_detector, show_result_pyplot
   
   fimg = 'demo/demo.jpg'
   fconfig = 'configs/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco.py'
   fcheckpoint = 'checkpoints/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth'
   
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_detector(fconfig, fcheckpoint, device=device)
   result = inference_detector(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result, score_thr=0.3) 
   

   

Windows で，MMDetection のインストールと，物体検出の実行

MMDetection のインストールと動作確認（物体検出）（PyTorch，Python を使用）: 別ページ »で説明している．

Ubuntu での MMDetection のインストール

1. インストール

   「git checkout v0.14.0」は，バージョン 2.14.0 を指定している． これは，https://mmdetection3d.readthedocs.io/en/latest/get_started.html での2021/08 時点の説明による．将来はバージョン番号が変わる可能性があり，このページを確認してから，インストールを行うこと．

   Ubuntu でインストールを行うには，次のコマンドを実行．

   sudo apt -y update
   sudo apt -y install git
   
   cd /usr/local
   sudo git clone https://github.com/open-mmlab/mmdetection.git
   sudo chown -R $USER mmdetection
   cd mmdetection
   git checkout v2.14.0
   sudo pip3 install -r requirements\build.txt
   python3 setup.py develop
   pip3 install instaboostfast
   # for panoptic segmentation
   pip3 install git+https://github.com/cocodataset/panopticapi.git
   # for LVIS dataset
   pip3  install git+https://github.com/lvis-dataset/lvis-api.git
   

2. 動作確認

   Ubuntu の場合は， mmcv のドキュメント: https://mmcv.readthedocs.io/en/latest/ の手順がそのまま使えそうである．

MMEditing

MMEditing は， OpenMMLab の構成物で， イメージ・インペインティング(image inpainting)，画像のノイズ除去 (画像のノイズ除去 (image restoration)), イメージ・マッティング (image matting), 超解像 (super resolution), 画像生成の機能を持つ．

• 文献

  MMEditing Contributors, OpenMMLab Editing Estimation Toolbox and Benchmark, https://github.com/open-mmlab/mmediting, 2020.

• MMEditing の GitHub のページ: https://github.com/open-mmlab/mmediting
• MMEditing の公式ドキュメント: https://mmediting-jm.readthedocs.io/en/latest/
• MMEditing の image matting の公式チュートリアル: https://github.com/open-mmlab/mmediting/blob/master/demo/matting_tutorial.ipynb
• MMEditing の 画像のノイズ除去 (image restoration) の公式チュートリアル: https://github.com/open-mmlab/mmediting/blob/master/demo/restorer_basic_tutorial.ipynb
• MMEditing の公式の学習済みモデル: https://mmediting-jm.readthedocs.io/en/latest/model_zoo.html

【関連項目】 MMCV, OpenMMLab, SRCNN, ESRGAN, EDvR, BasicVSR image inpainting, 画像のノイズ除去 (image restoration), イメージ・マッティング (image matting), 超解像 (super resolution), generation

Google Colaboratory で MMEditing の SRCNN, ESRGAN, EDVR, BasicVSR による超解像 (super resolution) の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

6. MIM, MMEditing のインストール

   !python -m pip install -U openmim opencv-python
   
   %cd /content
   !rm -rf mmediting
   !git clone https://github.com/open-mmlab/mmediting.git
   %cd mmediting
   !pip3 install -r requirements/build.txt
   !pip3 install .
   

   
7. MMEditing のデモファイルのダウンロード

   %cd /content/mmediting
   !curl -O https://download.openmmlab.com/mmediting/demo_files.zip 
   !rm -rf demo_files
   !unzip demo_files 
   

   
8. 超解像 (super resolution) の実行
   • SRCNN による画像の超解像 (super resolution) の実行

     学習済みモデルを使用．

     MMEditing の SRCNN の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/srcnn/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/restoration_demo.py ./configs/restorers/srcnn/srcnn_x4k915_g1_1000k_div2k.py https://download.openmmlab.com/mmediting/restorers/srcnn/srcnn_x4k915_1x16_1000k_div2k_20200608-4186f232.pth ./demo_files/lq_images/bird.png ./outputs/bird_SRCNN.png
     
     from PIL import Image
     Image.open('./demo_files/lq_images/bird.png').show()
     Image.open('./outputs/bird_SRCNN.png').show()
     

     
   • ESRGAN による画像の超解像 (super resolution) の実行

     学習済みモデルを使用．

     MMEditing の ESRGAN の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/esrgan/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/restoration_demo.py ./configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py https://download.openmmlab.com/mmediting/restorers/esrgan/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth ./demo_files/lq_images/bird.png ./outputs/bird_ESRGAN.png
     
     from PIL import Image
     Image.open('./demo_files/lq_images/bird.png').show()
     Image.open('./outputs/bird_ESRGAN.png').show()
     

     
   • EDVR による連続画像の超解像 (super resolution) の実行

     学習済みモデルを使用．

     MMEditing の EDVR の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/edvr/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/restoration_video_demo.py ./configs/restorers/edvr/edvrm_wotsa_x4_g8_600k_reds.py https://download.openmmlab.com/mmediting/restorers/edvr/edvrm_wotsa_x4_8x4_600k_reds_20200522-0570e567.pth demo_files/lq_sequences/city/ ./outputs/city_EDVR --window_size=5
     
     from PIL import Image
     Image.open('./demo_files/lq_sequences/city/00000000.png').show()
     Image.open('./outputs/city_EDVR/00000000.png').show()
     Image.open('./demo_files/lq_sequences/city/00000001.png').show()
     Image.open('./outputs/city_EDVR/00000001.png').show()
     Image.open('./demo_files/lq_sequences/city/00000002.png').show()
     Image.open('./outputs/city_EDVR/00000002.png').show()
     Image.open('./demo_files/lq_sequences/city/00000003.png').show()
     Image.open('./outputs/city_EDVR/00000003.png').show()
     Image.open('./demo_files/lq_sequences/city/00000004.png').show()
     Image.open('./outputs/city_EDVR/00000004.png').show()
     Image.open('./demo_files/lq_sequences/city/00000005.png').show()
     Image.open('./outputs/city_EDVR/00000005.png').show()
     

     
     
   • BasicVSR (Recurrent framework) の実行

     学習済みモデルを使用．

     MMEditing の EDVR の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/edvr/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/restoration_video_demo.py ./configs/restorers/basicvsr/basicvsr_reds4.py https://download.openmmlab.com/mmediting/restorers/basicvsr/basicvsr_reds4_20120409-0e599677.pth demo_files/lq_sequences/city/ ./outputs/city_BasicVSR
     
     from PIL import Image
     Image.open('./demo_files/lq_sequences/city/00000000.png').show()
     Image.open('./outputs/city_BasicVSR/00000000.png').show()
     Image.open('./demo_files/lq_sequences/city/00000001.png').show()
     Image.open('./outputs/city_BasicVSR/00000001.png').show()
     Image.open('./demo_files/lq_sequences/city/00000002.png').show()
     Image.open('./outputs/city_BasicVSR/00000002.png').show()
     Image.open('./demo_files/lq_sequences/city/00000003.png').show()
     Image.open('./outputs/city_BasicVSR/00000003.png').show()
     Image.open('./demo_files/lq_sequences/city/00000004.png').show()
     Image.open('./outputs/city_BasicVSR/00000004.png').show()
     Image.open('./demo_files/lq_sequences/city/00000005.png').show()
     Image.open('./outputs/city_BasicVSR/00000005.png').show()
     

     
     
9. image inpainting の実行
   • DeepFillv2 による image impainting の実行

     学習済みモデルを使用．

     MMEditing の DeepFillv2 の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/inpainting/deepfillv2/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/inpainting_demo.py configs/inpainting/deepfillv2/deepfillv2_256x256_8x2_celeba.py https://download.openmmlab.com/mmediting/inpainting/deepfillv2/deepfillv2_256x256_8x2_celeba_20200619-c96e5f12.pth tests/data/image/celeba_test.png tests/data/image/bbox_mask.png tests/data/pred/inpainting_celeba.png
     
     from PIL import Image
     Image.open('./tests/data/image/celeba_test.png').show()
     Image.open('./tests/data/pred/inpainting_celeba.png').show()
     

     
   • Global&Local による image impainting の実行

     学習済みモデルを使用．

     MMEditing の Global&Local の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/inpainting/global_local/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/inpainting_demo.py configs/inpainting/global_local/gl_256x256_8x12_celeba.py https://download.openmmlab.com/mmediting/inpainting/global_local/gl_256x256_8x12_celeba_20200619-5af0493f.pth tests/data/image/celeba_test.png tests/data/image/bbox_mask.png tests/data/pred/inpainting_celeba.png
     
     from PIL import Image
     Image.open('./tests/data/image/celeba_test.png').show()
     Image.open('./tests/data/pred/inpainting_celeba.png').show()
     

     
10. image matting の実行
    • GCA による image matting の実行

      学習済みモデルを使用．

      MMEditing の GCA の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/gca/README.md

      コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

      !python3 demo/matting_demo.py configs/mattors/gca/gca_r34_4x10_200k_comp1k.py https://download.openmmlab.com/mmediting/mattors/gca/gca_r34_4x10_200k_comp1k_SAD-34.77_20200604_213848-4369bea0.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png
      
      from PIL import Image
      Image.open('./tests/data/merged/GT05.jpg'))
      Image.open('./tests/data/trimap/GT05.png').show()
      Image.open('./tests/data/pred/GT05.png').show()
      

      
      
      
    • IndexNet による image matting の実行

      学習済みモデルを使用．

      MMEditing の IndexNet の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/indexnet/README.md

      コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

      !python3 demo/matting_demo.py configs/mattors/indexnet/indexnet_mobv2_1x16_78k_comp1k.py https://download.openmmlab.com/mmediting/mattors/indexnet/indexnet_mobv2_1x16_78k_comp1k_SAD-45.6_20200618_173817-26dd258d.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png
      
      from PIL import Image
      Image.open('./tests/data/merged/GT05.jpg'))
      Image.open('./tests/data/trimap/GT05.png').show()
      Image.open('./tests/data/pred/GT05.png').show()
      

      
      
      
    • DIM による image matting の実行

      学習済みモデルを使用．

      MMEditing の DIM の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/dim/README.md

      コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

      !python3 demo/matting_demo.py configs/mattors/dim/dim_stage3_v16_pln_1x1_1000k_comp1k.py https://download.openmmlab.com/mmediting/mattors/dim/dim_stage3_v16_pln_1x1_1000k_comp1k_SAD-50.6_20200609_111851-647f24b6.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png
      from PIL import Image
      Image.open('./tests/data/merged/GT05.jpg'))
      Image.open('./tests/data/trimap/GT05.png').show()
      Image.open('./tests/data/pred/GT05.png').show()
      

      
      
      

MMFewShot

MMFewShot は， OpenMMLab の構成物で， Few Shot Classification, Few Shot Detection の機能を提供する．

【文献】

mmfewshot Contributors, OpenMMLab Few Shot Learning Toolbox and Benchmark, https://github.com/open-mmlab/mmfewshot, 2021.

【関連する外部ページ】

• MMFewShot の公式ドキュメント: https://mmfewshot.readthedocs.io
• MMFewShot のデモの公式ドキュメント: https://github.com/open-mmlab/mmfewshot/blob/main/demo/README.md MMFewShot の公式の学習済みモデル: https://github.com/open-mmlab/mmfewshot/blob/main/docs/en/model_zoo.md

【関連項目】 Few Shot Detection, OpenMMLab, MMClassification, MMCV, MMDetection,

Google Colaboratory で，MMFewShot による Few Shot Detection の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. MIM のインストール

   !pip3 install git+https://github.com/open-mmlab/mim.git
   

3. MMCV, MMDetection, MMClassification のインストール．

   https://mmclassification.readthedocs.io/en/latest/install.html, https://github.com/open-mmlab/mmdetection/blob/master/docs/en/get_started.md に記載の手順による

   
   !mim install mmdet
   !pip3 show mmdet
   cd /content
   !rm -rf mmclassification
   !git clone https://github.com/open-mmlab/mmclassification.git
   %cd mmclassification
   !git checkout dev
   !mim install -e .
   !pip3 show mmcls
   

   
4. MMFewShot のインストール

   https://github.com/open-mmlab/mmfewshot/blob/main/docs/en/install.md に記載の手順による．

   %cd /content
   !rm -rf mmfewshot
   !git clone https://github.com/open-mmlab/mmfewshot.git
   %cd mmfewshot
   !pip3 install -r requirements/build.txt
   !python3 setup.py develop
   !pip3 show mmfewshot
   

   
5. Few Shot Detection の実行

   %cd /content/mmfewshot
   import os
   from mmdet.apis import show_result_pyplot
   from mmfewshot.detection.apis import (inference_detector, init_detector, process_support_images)
   %matplotlib inline
   import matplotlib.pyplot as plt
   import torch
   import torchvision.models as models
   from IPython.display import display
   
   fconfig = 'configs/detection/attention_rpn/coco/attention-rpn_r50_c4_4xb2_coco_base-training.py'
   fcheckpoint = 'https://download.openmmlab.com/mmfewshot/detection/attention_rpn/coco/attention-rpn_r50_c4_4xb2_coco_base-training_20211102_003348-da28cdfd.pth'
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   fsupport_images_dir = 'demo/demo_detection_images/support_images'
   
   model = init_detector(fconfig,fcheckpoint, device=device)
   
   files = os.listdir(fsupport_images_dir)
   support_images = [
       os.path.join(fsupport_images_dir, file) for file in files
   ]
   classes = [file.split('.')[0] for file in files]
   support_labels = [[file.split('.')[0]] for file in files]
   print("support_images")
   display(support_images)
   print("classes")
   display(classes)
   print("support_labels")
   display(support_labels)
   process_support_images(model, support_images, support_labels, classes=classes)
   
   # single image
   fimage = 'demo/demo_detection_images/query_images/demo_query.jpg'
   fscore_thr = 0.3
   result = inference_detector(model, fimage)
   show_result_pyplot(model, fimage, result, score_thr=fscore_thr)
   

   

Windows で，MMFewShot のインストールと，物体検出の実行

MMCV 1.6.0, MMDetection 2.25.0，MMFewShot のインストールと動作確認（画像分類，物体検出）（PyTorch，Python を使用）: 別ページ »で説明している．

MMFlow

MMFlow は， OpenMMLab の構成物で，オプティカルフローの機能を提供する．

【文献 】

MMFlow Contributors, MMFlow: OpenMMLab Optical Flow Toolbox and Benchmark, https://github.com/open-mmlab/mmflow, 2021.

【関連する外部ページ 】

• MMFlow の GitHub のページ: https://github.com/open-mmlab/mmflow
• MMFlow の公式ドキュメント: https://mmflow.readthedocs.io
• MMFlow の公式のデモ（プログラムやデータなど）: https://github.com/open-mmlab/mmflow/tree/master/demo
• MMFlow の公式の学習済みモデル: https://github.com/open-mmlab/mmflow/blob/master/docs/en/model_zoo.md

【関連項目】 OpenMMLab, MMCV, optical flow

Windows で，MMFlow のインストールとオプティカルフローの実行

MMFlow のインストールと動作確認（オプティカルフロー）（PyTorch，Python を使用）: 別ページ »で説明している．

Google Colaboratory で MMFlow によるオプティカルフローの算出

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMFlow のインストール

   !rm -rf mmflow
   !git clone https://github.com/open-mmlab/mmflow.git
   %cd mmflow
   !pip3 install -r requirements/build.txt
   !pip3 install .
   

   
6. 動画ファイルに対して，オプティカルフローを算出

   学習済みモデルを使用．

   !curl -O https://download.openmmlab.com/mmflow/raft/raft_8x2_100k_mixed_368x768.pth
   !python3 demo/video_demo.py demo/demo.mp4 \
       configs/raft/raft_8x2_100k_mixed_368x768.py \
       raft_8x2_100k_mixed_368x768.pth \
       raft_demo.mp4 --gt demo/demo_gt.mp4
   

   

   結果として raft_demo_gt.mp4 ができるので，ダウンロードして，表示して確認する．

MMGen

Google Colaboratory で MMGEN による StyleGAN の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

6. MIM, MMGen のインストール

   !python -m pip install -U openmim opencv-python
   
   !rm -rf mmgeneration
   !git clone https://github.com/open-mmlab/mmgeneration.git
   %cd mmgeneration
   !pip3 install -r requirements/build.txt
   !pip3 install .
   

   
7. StyleGAN を実行

   https://github.com/open-mmlab/mmgeneration/blob/master/docs/en/get_started.md に記載のプログラムを使用

   学習済みモデルを使用．

   from mmgen.apis import init_model, sample_uncoditional_model
   
   config_file = 'configs/styleganv2/stylegan2_c2_lsun-church_256_b4x8_800k.py'
   # you can download this checkpoint in advance and use a local file path.
   checkpoint_file = 'https://download.openmmlab.com/mmgen/stylegan2/official_weights/stylegan2-church-config-f-official_20210327_172657-1d42b7d1.pth'
   device = 'cuda:0'
   # init a generatvie
   model = init_model(config_file, checkpoint_file, device=device)
   # sample images
   fake_imgs = sample_uncoditional_model(model, 4)
   
   import numpy as np
   import matplotlib.pyplot as plt
   plt.style.use('default')
   for i in fake_imgs:
       plt.imshow(np.stack([i[2], i[1], i[0]], axis=2))
       plt.show()
   

   

MMPose

MMPose は， OpenMMLab の構成物で，２次元の姿勢推定，３次元の姿勢推定の機能を提供する．

【関連項目】 OpenMMLab, MMCV, MMDetection, MMTracking, 物体検出 2次元の姿勢推定, 姿勢推定, 人体の姿勢推定, 手の姿勢推定,

Google Colaboratory で，MMPose による姿勢推定の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

3. MIM, MMClassification, MMSegmentation, MMDetection, MMTracking, MMPose のインストール．MMPose のインストール後は numpy, scipy の更新も行う．

   https://github.com/open-mmlab/mmpose/blob/master/docs/en/install.md#install-mmposeに記載の手順による．

   MMCV 1.6.2 をインストールしたので，MMDetection は 2系列になる（3系列は動かない）(2023年4月時点)．

   !python -m pip install -U openmim opencv-python
   !python -m pip install -U mmcv-full==1.6.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmclassification.git
   !python -m pip install -U mmdet==2.28.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmsegmentation.git
   !python -m pip install -U git+https://github.com/open-mmlab/mmtracking.git
   !python -m pip install -U git+https://github.com/open-mmlab/mmpose.git
   !apt -y install python3-numpy
   !apt -y install python3-scipy
   !python -c "import mmcls; print(mmcls.__version__)"
   !python -c "import mmdet; print(mmdet.__version__)"
   !python -c "import mmseg; print(mmseg.__version__)"
   !python -c "import mmtrack; print(mmtrack.__version__)"
   !python -c "import mmpose; print(mmpose.__version__)"
   
   !pip3 install git+https://github.com/votchallenge/toolkit.git
   

   
4. 姿勢推定の実行

   公式のデモプログラム（https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_human_pose_demo.md）を使用．

   • 人体の２次元姿勢推定

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_human_pose_demo.md で説明されているプログラムを使用．

     人体の検出 (human detection) に，MMDetection を使用し， 姿勢推定に，MMPoseを使用．

     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         --img-root tests/data/coco/ \
         --img 000000000785.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000000785.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         --img-root tests/data/coco/ \
         --img 000000040083.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000040083.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         --img-root tests/data/coco/ \
         --img 000000196141.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000196141.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         --img-root tests/data/coco/ \
         --img 000000197388.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000197388.jpg').show()
     

     
     
   • 全身の２次元姿勢推定

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_wholebody_pose_demo.md で説明されているプログラムを使用．

     人体の検出 (human detection) に，MMDetection を使用し， 姿勢推定に，MMPoseを使用．

     １つ上の結果（人体の２次元姿勢推定）と比べて，顔の部分に違いがある．

     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/wholebody/2d_kpt_sview_rgb_img/topdown_heatmap/coco-wholebody/hrnet_w48_coco_wholebody_384x288_dark_plus.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_wholebody_384x288_dark-f5726563_20200918.pth \
         --img-root tests/data/coco/ \
         --img 000000000785.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000000785.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/wholebody/2d_kpt_sview_rgb_img/topdown_heatmap/coco-wholebody/hrnet_w48_coco_wholebody_384x288_dark_plus.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_wholebody_384x288_dark-f5726563_20200918.pth \
         --img-root tests/data/coco/ \
         --img 000000040083.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000040083.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/wholebody/2d_kpt_sview_rgb_img/topdown_heatmap/coco-wholebody/hrnet_w48_coco_wholebody_384x288_dark_plus.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_wholebody_384x288_dark-f5726563_20200918.pth \
         --img-root tests/data/coco/ \
         --img 000000196141.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000196141.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/wholebody/2d_kpt_sview_rgb_img/topdown_heatmap/coco-wholebody/hrnet_w48_coco_wholebody_384x288_dark_plus.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_wholebody_384x288_dark-f5726563_20200918.pth \
         --img-root tests/data/coco/ \
         --img 000000197388.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000197388.jpg').show()
     

     
     
   • 手の２次元姿勢推定

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_hand_demo.md で説明されているプログラムを使用．

     人体の検出 (human detection) に，MMDetection を使用し， 姿勢推定に，MMPoseを使用．

     !python3 demo/top_down_img_demo_with_mmdet.py demo/mmdetection_cfg/cascade_rcnn_x101_64x4d_fpn_1class.py \
         https://download.openmmlab.com/mmpose/mmdet_pretrained/cascade_rcnn_x101_64x4d_fpn_20e_onehand10k-dac19597_20201030.pth \
         configs/hand/2d_kpt_sview_rgb_img/topdown_heatmap/onehand10k/res50_onehand10k_256x256.py \
         https://download.openmmlab.com/mmpose/top_down/resnet/res50_onehand10k_256x256-e67998f6_20200813.pth \
         --img-root tests/data/onehand10k/ \
         --img 1402.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_1402.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py demo/mmdetection_cfg/cascade_rcnn_x101_64x4d_fpn_1class.py \
         https://download.openmmlab.com/mmpose/mmdet_pretrained/cascade_rcnn_x101_64x4d_fpn_20e_onehand10k-dac19597_20201030.pth \
         configs/hand/2d_kpt_sview_rgb_img/topdown_heatmap/onehand10k/res50_onehand10k_256x256.py \
         https://download.openmmlab.com/mmpose/top_down/resnet/res50_onehand10k_256x256-e67998f6_20200813.pth \
         --img-root tests/data/onehand10k/ \
         --img 784.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_784.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py demo/mmdetection_cfg/cascade_rcnn_x101_64x4d_fpn_1class.py \
         https://download.openmmlab.com/mmpose/mmdet_pretrained/cascade_rcnn_x101_64x4d_fpn_20e_onehand10k-dac19597_20201030.pth \
         configs/hand/2d_kpt_sview_rgb_img/topdown_heatmap/onehand10k/res50_onehand10k_256x256.py \
         https://download.openmmlab.com/mmpose/top_down/resnet/res50_onehand10k_256x256-e67998f6_20200813.pth \
         --img-root tests/data/onehand10k/ \
         --img 9.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_9.jpg').show()
     

     
     
     
   • 顔のランドマーク検出

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_face_demo.md で説明されているプログラムを使用．

     顔検出 に，Dlib と ageitgey/face_recognition (https://github.com/ageitgey/face_recognition) を使用． 顔のランドマーク検出に，MMPoseを使用．

     
     
   • 人体の３次元姿勢推定

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/3d_human_pose_demo.md で説明されているプログラムを使用．

     !python3 demo/body3d_two_stage_video_demo.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         configs/body/3d_kpt_sview_rgb_vid/video_pose_lift/h36m/videopose3d_h36m_243frames_fullconv_supervised_cpn_ft.py \
         https://download.openmmlab.com/mmpose/body3d/videopose/videopose_h36m_243frames_fullconv_supervised_cpn_ft-88f5abbb_20210527.pth \
         --video-path demo/resources/demo.mp4 \
         --out-video-root vis_results \
         --rebase-keypoint-height
     

     

Windows で，MMPose のインストールと人体の姿勢推定の実行

MMPose のインストールと動作確認（姿勢推定，関節角度の推定）（PyTorch，Python を使用）（Windows 上）: 別ページ »で説明している．

MMSegmentation

MMSegmentation は， OpenMMLab の構成物で，セグメンテーションの機能を提供する．

【文献】

MMSegmentation Contributors, MMSegmentation: OpenMMLab Semantic Segmentation Toolbox and Benchmark, https://github.com/open-mmlab/mmsegmentation, 2020.

【サイト内の関連ページ】

セマンティック・セグメンテーションの実行（MMSegmentation，PyTorch，Python を使用）（Windows 上）

【関連する外部ページ】

• MMSegmentation の公式ドキュメント: https://mmsegmentation.readthedocs.io
• MMSegmentation の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmsegmentation/blob/master/demo/MMSegmentation_Tutorial.ipynb
• MMSegmentation の公式の学習済みモデル: https://mmsegmentation.readthedocs.io/en/latest/model_zoo.html

【関連項目】 OpenMMLab, MMCV, MMSelfSup

Google Colaboratory でセマンティック・セグメンテーションの実行（MMSegmentation, DeepLabv3 を使用）

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

6. MIM, MMDetection, MMSegmentation のインストール

   MMCV 1.7.1 をインストールしたので，MMDetection は 2系列になる（3系列は動かない）(2023年4月時点)．

   !python -m pip install -U openmim opencv-python
   !python -m pip install -U mmcv-full==1.7.1
   !python -m pip install -U mmdet==2.28.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmsegmentation.git
   !python -c "import mmdet; print(mmdet.__version__)"
   !python -c "import mmseg; print(mmseg.__version__)"
   

7. セマンティック・セグメンテーションの実行（MMSegmentation, Cityscapes データセットで学習済みのDeepLabv3+ を使用）

   次のプログラムは，MMSegmentation の機能を利用して，DeepLabv3+ を用いたセマンティック・セグメンテーションを行う．

   • Cityscapes データセットで学習済みのDeepLabv3+ を使用

     詳しくは，MMSegmentation の DeepLabv3+ のページ: https://github.com/open-mmlab/mmsegmentation/tree/master/configs/deeplabv3plus

   • 処理する画像の画像ファイル名は「fimg = 'demo/demo.png'」で設定

   セマンティック・セグメンテーションの結果として得られる クラスが，色分けで表示される．

   import torch
   from mmseg.apis import inference_segmentor, init_segmentor, show_result_pyplot
   import mmcv
   
   fimg = 'demo/demo.png'
   # DeepLabv3
   fconfig = 'configs/deeplabv3/deeplabv3_r101-d8_fp16_512x1024_80k_cityscapes.py'
   fcheckpoint = 'https://download.openmmlab.com/mmsegmentation/v0.5/deeplabv3/deeplabv3_r101-d8_fp16_512x1024_80k_cityscapes/deeplabv3_r101-d8_fp16_512x1024_80k_cityscapes_20200717_230920-774d9cec.pth'
   # DeepLabv3+
   fconfig = 'configs/deeplabv3plus/deeplabv3plus_r101-d8_fp16_512x1024_80k_cityscapes.py'
   fcheckpoint = 'https://download.openmmlab.com/mmsegmentation/v0.5/deeplabv3plus/deeplabv3plus_r101-d8_fp16_512x1024_80k_cityscapes/deeplabv3plus_r101-d8_fp16_512x1024_80k_cityscapes_20200717_230920-f1104f4b.pth'
   # OCRNet
   #fconfig = 'configs/ocrnet/ocrnet_hr48_512x1024_40k_cityscapes.py'
   #fcheckpoint = 'https://download.openmmlab.com/mmsegmentation/v0.5/ocrnet/ocrnet_hr48_512x1024_40k_cityscapes/ocrnet_hr48_512x1024_40k_cityscapes_20200601_033336-55b32491.pth'
   # SegFormer
   #fconfig = 'configs/segformer/segformer_mit-b2_8x1_1024x1024_160k_cityscapes.py'
   #fcheckpoint = 'https://download.openmmlab.com/mmsegmentation/v0.5/segformer/segformer_mit-b2_8x1_1024x1024_160k_cityscapes/segformer_mit-b2_8x1_1024x1024_160k_cityscapes_20211207_134205-6096669a.pth'
   
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_segmentor(fconfig, fcheckpoint, device=device)
   result = inference_segmentor(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result, opacity=0.5)