人工知能，データサイエンス，データベース，３次元のまとめ

【文献】

Han Xiao, Kashif Rasul, and Roland Vollgraf, Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms, arXiv:1708.07747 [cs.LG], 2017.

【サイト内の関連ページ】

• Fashion MNIST データセットを扱う Python プログラム: 別ページ で説明している．
• Fashion MNIST データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上，Google Colaboratroy の両方を記載）

【関連する外部ページ】

• 公式ページ: https://github.com/zalandoresearch/fashion-mnist
• TensorFlow データセットの Fashion MNIST データセット: https://www.tensorflow.org/datasets/catalog/fashion_mnist

【関連項目】 Keras に付属のデータセット, MNIST データセット, TensorFlow データセット, オープンデータ, 画像分類

Python での Fashion MNIST データセットのロード（TensorFlow データセットを使用）

次の Python プログラムは，TensorFlow データセットから，Fashion MNIST データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

次の Python プログラムでは，TensorFlow データセットから，Fashion MNIST データセットのロードを行う． x_train と y_train を 25枚分表示することにより，x_train と y_train が，モノクロ画像であることが確認できる．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
import numpy as np
import tensorflow_datasets as tfds

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

# MNIST データセットのロード
mnist, mnist_metadata = tfds.load('mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = mnist['train'][0], mnist['train'][1], mnist['test'][0], mnist['test'][1]

plt.style.use('default')
plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
# squeeze は，サイズ1の次元を削除．numpy は tf.Tensor を numpy に変換
    plt.imshow(np.squeeze(x_train[i]), cmap=plt.cm.binary)
    plt.xlabel(y_train[i].numpy())

# 確認表示
plt.show()

Python での Fashion MNIST データセットのロード（Keras を使用）

次の Python プログラムは，Keras に付属のデータセットの中にある Fashion MNIST データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

from tensorflow.keras.datasets import fashion_mnist
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

次の Python プログラムは，Keras に付属のデータセットの中にある Fashion MNIST データセットのロードを行う． x_train と y_train を 25枚分表示することにより，x_train と y_train が，モノクロ画像であることが確認できる．

import tensorflow.keras
from tensorflow.keras.datasets import fashion_mnist
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

# Fashion MNIST データセットのロード
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

plt.style.use('default')
plt.figure(figsize=(10,10))
for i in range(25):
    plt.subplot(5,5,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(x_train[i], cmap=plt.cm.binary)
    plt.xlabel(y_train[i])

# 確認表示
plt.show()

TensorFlow データセットからのロード，学習のための前処理

【TensorFlow データセット から Fashion MNIST データセット をロード】

結果は，TensorFlow の Tensor である．

type は型，shape はサイズ，np.max と np.mi は最大値と最小値．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
import numpy as np
import tensorflow_datasets as tfds

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

# Fashion MNIST データセットのロード
fashion_mnist, fashion_mnist_metadata = tfds.load('fashion_mnist', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = fashion_mnist['train'][0], fashion_mnist['train'][1], fashion_mnist['test'][0], fashion_mnist['test'][1]
print(fashion_mnist_metadata)
# 【x_train, x_test, y_train, y_test の numpy ndarray への変換と，値の範囲の調整（値の範囲が 0 〜 255 であるのを，0 〜 1 に調整）】
x_train = x_train.numpy().astype("float32") / 255.0
x_test = x_test.numpy().astype("float32") / 255.0
y_train = y_train.numpy()
y_test = y_test.numpy()
print(type(x_train), x_train.shape, np.max(x_train), np.min(x_train))
print(type(x_test), x_test.shape, np.max(x_test), np.min(x_test))
print(type(y_train), y_train.shape, np.max(y_train), np.min(y_train))
print(type(y_test), y_test.shape, np.max(y_test), np.min(y_test))

Fast-Robust-ICP

ICP の一手法

Fast-Robust-ICP のページ（Git Hub）: https://github.com/yaoyx689/Fast-Robust-ICP

【関連項目】 K 近傍探索 (K nearest neighbour), ICP

Google Colaboratory で，Fast-Robust-ICP の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. インストール
   
2. Fast-Robust-ICP の実行

   実行でのオプションについては，Fast-Robust-ICP のページ（Git Hub）: https://github.com/yaoyx689/Fast-Robust-ICP

   

Windows での Fast-Robust-ICP のインストール

ソースコードからビルドする

1. Windows では，前準備として次を行う．
   • Build Tools for Visual Studio 2022 のインストール: 別項目で説明している．
   • Git のインストール: 別項目で説明している．

     Git の公式ページ: https://git-scm.com/

   • cmake のインストール: 別項目で説明している．

     CMake の公式ダウンロードページ: https://cmake.org/download/

   • Eigen 3 のインストール
2. コマンドプロンプトを管理者として開き次のコマンドを実行する．

   c:\Fast-Robust-ICP にインストールされる．

   cd %LOCALAPPDATA%
   rmdir /s /q Fast-Robust-ICP
   git clone --recursive https://github.com/yaoyx689/Fast-Robust-ICP
   cd Fast-Robust-ICP
   rmdir /s /q build
   mkdir build
   cd build
   del CMakeCache.txt
   rmdir /s /q CMakeFiles\
   cmake -G "Visual Studio 17 2022" -T host=x64 ^
       -DCMAKE_INSTALL_PREFIX="c:/Fast-Robust-ICP" ^
       -DEIGEN3_INCLUDE_DIRS="c:/eigen/include;c:/eigen/include/eigen3" ^
   ..
   mklink c:\eigen\include\eigen c:\eigen\include\eigen3 
   cmake --build . --config RELEASE
   del c:\eigen\include\eigen
   

FERET データベース

FERET データベースは顔のデータベース．詳細情報は，次のWebページにある．

https://www.nist.gov/itl/products-and-services/color-feret-database

【関連項目】 顔のデータベース

FFHQ (Flickr-Faces-HQ) データセット

FFHQ (Flickr-Faces-HQ) データセット は，70,000枚の顔画像データセット． 機械学習による顔の生成などの学習や検証に利用できるデータセットである．

• サイズ 1024×102，70,000枚の画像
• 年齢，民族，画像背景はさまざま
• 眼鏡，サングラス，帽子などもさまざま
• Flickr から取得．位置合わせとトリミング済み（Dlib を使用），画像の選別， 顔の彫刻や顔の絵画や顔の写真を除去（Amazon Mechanical Turk を使用）

FFHQ (Flickr-Faces-HQ) データセットは次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/NVlabs/ffhq-dataset

【関連情報】

• 文献

  A Style-Based Generator Architecture for Generative Adversarial Networks, Tero Karras (NVIDIA), Samuli Laine (NVIDIA), Timo Aila (NVIDIA), CoRR, abs/1812.04948

• Papers With Code の FFHQ データセットのページ: https://paperswithcode.com/dataset/ffhq

【関連項目】 顔のデータベース

FFmpeg

FFmpeg は，動画のデコーダとエンコーダに関するソフトウェア．

【サイト内の関連ページ】

• 画像処理ソフト ImageMagick 7, 動画像処理ソフト FFmpeg のインストール（Windows 上）: 別ページ »で説明
• FFmpeg のインストール（ビデオのエンコード・デコード）（Windows 上）: 別ページ »で説明

【関連する外部ページ】

FFmpeg の公式ページ: https://ffmpeg.org/

FFTW

FFTW は， 離散フーリエ変換 (DFT) を行う C のプログラム集．1次元に限らず，より高次元でも動く．

【関連する外部ページ】

FFTW の公式ページ: https://www.fftw.org/

Windows での FFTW のインストール

Windows での FFTW3 のインストール（ソースコードを使用）（Build Tools for Visual Studio を利用）

Ubuntu での FFTW のインストール

Ubuntu での FFTW3 のインストール（Ubuntu 上）

FIDTM (FIDT map)

FIDTM(Focal Inverse Distance Transform Map) は， crowd counting の一手法．2021年発表．

従来の density maps での課題を解決し，従来法よりも精度が上回るとされる． FIDT map を用いて頭部を得る LMDS もあわせて提案されている．

• 文献

  Focal Inverse Distance Transform Maps for Crowd Localization and Counting in Dense Crowd, Liang, Dingkang and Xu, Wei and Zhu, Yingying and Zhou, Yu, arXiv preprint arXiv:2102.07925, 2021.

  PDF: https://arxiv.org/pdf/2102.07925.pdf

• FIDTM の公式のソースコード

  https://github.com/dk-liang/FIDTM

• NWPU-Crowd データセットのダウンロード URL: https://drive.google.com/file/d/1drjYZW7hp6bQI39u7ffPYwt4Kno9cLu8/view

crowd coungting の結果の例

• Google Colaboratory のページ

  群衆の数のカウントと位置の把握 (crowd counting) (FIDTM を使用)

  https://colab.research.google.com/drive/1cmeI93PcRc20E70z6X_W3bvH2k1ge2v3?usp=sharing#scrollTo=wyQ3Xe7_gt_t

  このページでは，FIDTMの作者による公式のプログラムおよび学習済みモデルを使用して，群衆の数のカウントと位置の把握 (crowd counting) を行う手順を示している．

  手順は，FIDTM 公式ページの説明通りに進める．難しい点はない．このページでは，Google Colaboratory で簡単に実行できるように，いくつかのコマンドを補っている．説明も補っている．

  URL: https://www.kkaneko.jp/pro/ni/index.html

【関連用語】 crowd counting, JHU-CROWD++ データセット, NWPU-Crowd データセット, ShanghaiTech データセット, UCF-QNRF データセット

fine tuning (ファイン・チューニング)

学習済みモデルを使用する． 学習済みモデルの一部に新しいモデルを合わせた上で，追加のデータを使い学習を行う． このとき，学習済みモデルの部分と，新しいモデルの部分の両方について，パラメータ（重みなど）の調整を行う．

【関連項目】 画像分類 (image classification), 分類, 物体検出

画像分類のモデル DETR での添加学習（woctezuma の Google Colaboratory のページを使用）

woctezuma の Google Colaboratory のページを使用する

URL: https://colab.research.google.com/github/woctezuma/finetune-detr/blob/master/finetune_detr.ipynb#scrollTo=KCrlzjaLQQMm

このプログラムは，物体検出等の機能を持つモデルである DETR を使い， fine tuning (ファイン・チューニング)と，物体検出を行う．

COCO データセットで学習済みの DETR について，確認のため， 物体検出を行ったあと， 風船（baloon）についてのfine tuning (ファイン・チューニング)を行い， 風船（baloon）が検出できるようにしている． 風船（baloon）は，COCO データセット には無い．

1. woctezuma の Google Colaboratory のページを開く

   https://colab.research.google.com/github/woctezuma/finetune-detr/blob/master/finetune_detr.ipynb#scrollTo=KCrlzjaLQQMm

2. torch 1.8.0, torchvision 0.9.0, torchtext 0.9.0 を使うように書き換える

   
   !pip3 uninstall -y torchtext
   !pip3 install torch==1.8.0 torchvision==0.9.0 torchtext==0.9.0
   import torch, torchvision
   print(torch.__version__, torch.cuda.is_available())
   
   torch.set_grad_enabled(False);
   

   
3. ソースコードの要点を確認する．

   COCO データセットのクラス名を確認する．

   orange, apple, banana, doc, person などがある．baloon は無い．

   

   detr_resnet50 の事前学習済みのモデルをダウンロードしている．

   

   しきい値 0.9, 0.7, 0.0 の 3 通りで実行．しきい値を下げるほど，検出できる物体は増えるが，誤検知も増える傾向にある．

   
   

   fine tuning を行うため，風船 (baloon) の画像，そして，風船の領域を示した情報（輪郭線，包含矩形）の情報を使う． 画像は複数．そのうち１枚は次の通り．

   

   過学習は起きていないようである

   

   fine tuning により，風船（baloon）を検出できるようになった． しきい値は 0.9, 0.7 の 2通り．

   
4. 自前のデータでfine tuning を行いたいときは，このページの説明通り，COCO データのフォーマットでデータを準備する．

   そのフォーマットは，/content/data/custom （Google Colaboratory の data/custom の下のファイル）が参考になる．

   自前のデータが準備できたら，Google Colaboratory にアップロードし， 次のコードセルの「/content/data/custom」のところを書き換えて，再度実行する．

   

fname = '/content/5m126sn2pov30qzu3pc49lampcp6.jpg'
im = Image.open(fname)
scores, boxes = detect(im, detr, transform)

URL: https://github.com/woctezuma/finetune-detr

Flang

Flang は，LLVMのサブプロジェクトである．

【サイト内の関連ページ】

• Clang, LLVM, LLD, LLDB のインストール（ソースコード，Build Tools for Visual Studio を使用）（Windows 上）

【関連項目】 LLVM

flann

flann は近似近傍探索の機能を持ったソフトウェア

Windows での flann のインストール

Windows での flann のインストール（Windows 上）: 別ページ »で説明

FlexGen

FlexGen は，大規模言語モデル (large language model)を用いた推論で必要とされる計算とメモリの要求を削減する技術． 実験では，大規模言語モデル OPT を，16GB の単一 GPU で実行したとき 100倍以上の高速化が可能であるとされている．

【文献】 Ying Sheng, Lianmin Zheng, Binhang Yuan, Zhuohan Li, Max Ryabinin, Beidi Chen, Percy Liang, Ce Zhang, Ion Stoica, Christopher Ré., High-throughput Generative Inference of Large Language Model with a Single GPU, 2023.

【サイト内の関連ページ】

• FlexGen のインストールと動作確認（大規模言語モデル，チャットボット）（Python，PyTorch を使用）（Windows 上）: 別ページ »で説明
• Meta の言語モデルと日本語で対話できる chatBOT プログラム（chatBOT）（FlexGen, DeepL, Python を使用）（Windows 上）: 別ページ »で説明
• 対話システム，chatBOT: PDFファイル, パワーポイントファイル

【関連する外部ページ】

FlexGen の GitHub のページ: https://github.com/FMInference/FlexGen

【関連項目】 OPT

FLIC （Frames Labeled In Cinema）データセット

FLIC は， 5003枚の画像（訓練データ: 3987枚，検証データ: 1016枚）で構成されている． 画像の上半身についてアノテーションが行われている． ほとんどの人物がカメラ正面を向いている．

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

次の URL で公開されているデータセット（オープンデータ）である． http://bensapp.github.io/flic-dataset.html

【関連情報】

• 文献

  Sapp, B., Taskar, B.: Modec: Multimodal decomposable models for human pose estimation. In: Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on, IEEE (2013) 3674–3681, https://www.cv-foundation.org/openaccess/content_cvpr_2013/papers/Sapp_MODEC_Multimodal_Decomposable_2013_CVPR_paper.pdf

• Papers With Code の FLIC データセットのページ: https://paperswithcode.com/dataset/flic
• TensorFlow データセットの FLIC データセット: https://www.tensorflow.org/datasets/catalog/flic

FordA データセット

FordA データセットは，時系列データである．

FordA データセットは，公開されているデータセット（オープンデータ）である．

URL: http://www.timeseriesclassification.com/description.php?Dataset=FordA

教師データ数：3601

テストデータ数: 1320

モーターセンサーにより計測されたエンジンノイズの計測値．

FSDnoisy18k データセット

20種類， 約 42.5 時間分のサウンドである．

次の URL で公開されているデータセット（オープンデータ）である．

http://www.eduardofonseca.net/FSDnoisy18k/

• 文献

  Eduardo Fonseca, Manoj Plakal, Daniel P. W. Ellis, Frederic Font, Xavier Favory, and Xavier Serra, “Learning Sound Event Classifiers from Web Audio with Noisy Labels”, arXiv preprint arXiv:1901.01189, 2019

【関連項目】 sound data

FZKViewer

URL: https://www.iai.kit.edu/1302.php

Windows での FZKViewer のインストールは 別ページ »で説明

FZKViewer で CityGML のファイルを開くときは， File, Open, Open GML File... と操作する．

ファイルが読み込まれると，次のように表示される．

【関連項目】 CityGML

F 検定 (F test)

帰無仮説: 正規分布に従う２群の標準偏差が等しい ． F 検定を，t 検定の行う前の等分散性の検定に使うのは正しくないという指摘もある．

var.test(s1, s2)

【関連項目】 検定

GAN (generative adversarial network)

GAN (Generative Adversarial Network) では， 生成器 (generator) でデータを生成し， 識別機 (discriminator) で，生成されたデータが正当か正当でないかを識別する．

• 文献

  Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, Generative Adversarial Networks, Proceedings of the 27th International Conference on Neural Information Processing Systems 2014

  https://arxiv.org/pdf/1406.2661v1.pdf

• PyTorch-GAN のページ: https://github.com/eriklindernoren/PyTorch-GAN
• Keras-GAN のページ: https://github.com/eriklindernoren/Keras-GAN
• labmlai/annotated_deep_learning_paper_implementations のページ: https://github.com/labmlai/annotated_deep_learning_paper_implementations

【関連項目】 Applications of Deep Neural Networks, Real-ESRGAN, TecoGAN, Wasserstein GAN (WGAN), Wasserstein GAN with Fradient Penalty (WGAN-GP) ディープラーニング

バージョン管理システム Git

Git は、ソフトウェアの開発において使用されているバージョン管理システムである．git clone コマンドは、リモートリポジトリからソースコードをローカルマシンにコピー（クローン）するために使用される．シンプルなコマンドで，リモートリポジトリ全体のコピーや，リモートリポジトリとの同期を行えることが特徴である．

Windows 上で Git をインストールするには，公式ウェブサイト (https://git-scm.com/) から 64-bit Git for Windows Setup をダウンロードし，インストーラーの指示に従ってインストールを進める．ほとんどの設定は既定 (デフォルト) のままで問題ないが，PATH 環境変数の設定画面では 2 番目のオプションを選択することが推奨される．

次のコマンドの実行により，https://github.com/username/repository.git で指定されたリモートリポジトリを，現在のディレクトリにある repository というディレクトリにクローンできる．

git clone https://github.com/username/repository.git

次のコマンドは，特定のブランチを指定してリポジトリをクローンしている．-b オプションは，クローンするブランチを指定する．この例では、v1.0 というブランチを指定している．

git -b v1.0 clone https://github.com/username/repository.git

【サイト内の関連ページ】 Windows での Git のインストール: 別ページ »で説明

【関連する外部ページ】 Git の公式ページ: https://git-scm.com/

Ubuntu でのGit のインストール

Ubuntu での git のインストールは， 端末で，次のコマンドを実行する．

sudo apt -y update
sudo apt -y install git

GitHub からのファイルのダウンロード

GitHub からのファイルのダウンロードは， curl コマンドで， 次のように行う．

curl -L https://github.com/opencv/opencv/blob/master/samples/data/home.jpg?raw=true -o home.jpg

GlueStick

GlueStick 法はイメージ・マッチングの一手法．2023年発表． 線分を使ったイメージ・マッチングは，照明条件や視点の変化，テクスチャのない領域でもマッチングできるメリットがある． GlueStick 法は，点と線分の両方を利用してイメージ・マッチングを行う． その際にCNNを利用．

【文献】

Rémi Pautrat, Iago Suárez, Yifan Yu, Marc Pollefeys, Viktor Larsson, GlueStick: Robust Image Matching by Sticking Points and Lines Together, ArXiv, 2023. ·

https://arxiv.org/pdf/2304.02008v1.pdf

【関連する外部ページ】

• GlueStick の GitHub のページ: https://github.com/cvg/GlueStick
• Google Colab のデモ: https://colab.research.google.com/github/cvg/GlueStick/blob/main/gluestick_matching_demo.ipynb
• Paper with Code のページ: https://paperswithcode.com/paper/gluestick-robust-image-matching-by-stickin

GNN （グラフニューラルネットワーク）

GNN は、グラフ構造を持つデータを用いた学習を可能とする技術である．

【関連項目】 PyTorch Geometric Temporal

GnuWin

GnuWin は， Win32 版の GNU ツールと，その他類似のオープンソースライセンスのツール

【関連する外部ページ】

• GnuWin の公式ページ: https://gnuwin32.sourceforge.net/index.html
• GnuWin プロジェクトのポータルページ: https://sourceforge.net/projects/getgnuwin32/

Google アカウント

Google アカウントは，Google のオンラインサービス等の利用のときに使うアカウント． Google オンラインサービスの利用条件などは，利用者で確認すること．

Google Colaboratory

Google Colaboratory の利用により， オンラインで，Web ブラウザを用いて，次のことができる．

• Python のソースコード，説明文の編集．説明文には，リンク、添付ファイルを含めることができる．
• ノートブック内での Python プログラムの実行，実行結果の保存
• 「!pip」などの，システム操作
• 共同編集（相手先で、ソースコードの動作確認を行うなど）．

Google Colaboratory は，オンラインで使用する． Google Colaboratory の使用には，Google アカウントの取得が必要．

Google Colaboratory で TensorFlow, Keras のバージョン確認

Google Colaboratory のコードセルで，次の Python プログラムを実行

import tensorflow as tf
print(tf.__version__)

import keras
print(keras.__version__)

Google Colaboratory で NVIDIA CUDA のバージョン確認

Google Colaboratory では，NVIDIA CUDA のバージョン確認のために，コードセルで，次の Python プログラムを実行

!nvcc -V

Google Colaboratory のコードセルで，次の Python プログラムを実行

import torch
CUDA_VERSION = torch.__version__.split("+")[-1]
print(CUDA_VERSION)

Google Colaboratory で GPU の確認

!nvidia-smi --query-gpu=gpu_name,driver_version,memory.total --format=csv

Google Colaboratory を使用中であるかを判別する Python プログラム

try:
    from google.colab import drive
    USE_COLAB = True
except:
    USE_COLAB = False

Google Colaboratory での実行結果

Windows のコマンドプロンプトでの実行結果

GPUとは

GPUは，グラフィックス・プロセッシング・ユニット（Graphics Processing Unit）の略です．その高い並列計算能力から，３次元コンピュータグラフィックス，３次元ゲーム，動画編集，科学計算，ディープラーニングなど，並列処理が必要な幅広い分野で活用されています．

Graphviz

Graphviz はグラフデータ構造の機能を持ったソフトウェアである．

URL: https://graphviz.gitlab.io/

Windows での Graphviz のインストール

Windows での Graphviz のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として開き「winget install Graphviz」を実行
• Graphviz のページ GraphViz の URL: https://graphviz.gitlab.io/ からダウンロードしてインストール:

  詳しくは 別ページ »で説明

インストールの終了後，C:\Program Files\Graphviz\bin にパスを通す．

Ubuntu での Graphviz のインストール

Ubuntu での graphviz のインストール

sudo apt -y update
sudo apt -y install graphviz libgraphviz-dev python3-graphviz

grep

grep は，正規表現で，テキストファイルの中から行を選択する機能を持つソフトウェア．

Windows での grep のインストール

1. GnuWin のページから grep for Windows をダウンロードし，インストール

   http://gnuwin32.sourceforge.net/packages/grep.htm

2. Windows のシステム環境変数 Path に次の値を追加し，パスを通す．

   Windows での環境変数の設定は，マイコンピュータを右クリック → プロパティ→ 詳細設定 → 環境変数をクリック

   Windows の画面の表示では、「\」（円マーク）が表示される

   • Windows の システム環境変数 Path
   • 追加する値: C:\Program Files(x86)\GnuWin32\bin

gsutil

gsutil は Google Cloud Strage のアクセス機能を持ったアプリケーション

公式ページは https://cloud.google.com/storage/docs/gsutil?hl=ja

Windows では， コマンドプロンプトを管理者として開き， 次のコマンドを実行することにより， gsutil のインストールを行うことができる．

cd /d c:%HOMEPATH%
curl -L -O https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe
.\GoogleCloudSDKInstaller.exe

He の初期値

He らの方法 (2015年) では，前層のユニット数（ニューロン数）を n とするとき， sqrt( 2 / n ) を標準偏差とする正規分布に初期化する． ただし，この方法は ReLU に特化した手法であるとされている． この方法を使うとき，層の入力は，正規化済みであること．

Kaiming He, Xiangyu hang, Shaoqing Ren and Jian Sun, Delving Deep into Rectifiers: Surpassing Human-Level, Performance on ImageNet Classification, pp. 1026^1-34.

HDF5

HDF5 は，階層データを扱うライブラリソフトウェア．

Suport th HDF Group の公式ページ: https://support.hdfgroup.org/

Windows での HDF5 のインストール

Windows での HDF5 のインストール（Windows 上）: 別ページ »で説明

HELEN データセット

HELENデータセットは，顔画像と，顔のパーツの輪郭のデータセットである．

• 400×400 画素の顔画像2330枚
• 目，眉，鼻，唇，顎の輪郭を手動で作成．輪郭は，194個の顔ランドマークで扱う．

次の URL で公開されているデータセット（オープンデータ）である．

http://www.ifp.illinois.edu/~vuongle2/helen/

【関連情報】

• Le V., Brandt J., Lin Z., Bourdev L., Huang T.S. (2012) Interactive Facial Feature Localization. In: Fitzgibbon A., Lazebnik S., Perona P., Sato Y., Schmid C. (eds) Computer Vision ECCV 2012. ECCV 2012. Lecture Notes in Computer Science, vol 7574. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-33712-3_49
• Papers With Code の Helen データセットのページ: https://paperswithcode.com/dataset/helen

【関連項目】 顔のデータベース

HierText データセット

HierTextは，文字認識，レイアウト解析，テキスト検出に利用できるデータセットである． このデータセットには，Open Imagesデータセットから選ばれた11639枚の画像が含まれており，これらの画像はテキストコンテンツとレイアウト構造が豊富である． さらに，約120万語の単語が提供されている． HierTextのアノテーションは，単語，行，段落のレベルを含んでいる． 訓練セットには8,281枚の画像が含まれ，検証セットには1,724枚の画像が含まれ，さらにテストセットには1,634枚の画像が含まれている．

【サイト内の関連ページ】 HierText データセットのインストール（テキスト検出，文字認識のデータセット）（Windows 上）

【関連する外部ページ】

公式のGitHub のページ https://github.com/google-research-datasets/hiertext

【関連項目】 Unified Scene Text Detection

HMDB51 (a large human motion database) データセット

HMDB51 (a large human motion database) データセット は，人間の行動データセット． 機械学習による行動分類，行動認識，ビデオ検索などの学習や検証に利用できるデータセットである．

• 主に映画から収集．その他，Prelinger archive，YouTube，Google video からも収集．
• 6849個のクリップ
• クリップは，アクションカテゴリ（「ジャンプ」，「キス」，「笑い」など）に分類済み．アクションカテゴリは 51種類．各アクションカテゴリは，最低でも 101個のクリップを含む．
• アクションカテゴリは，次の5つのタイプに分類されている． H.Kuehne，H.Jhuang，E.Garrote，T.Poggio，T.Serreの5種類である．

HMDB51 (a large human motion database) データセット >は次の URL で公開されているデータセット（オープンデータ）である．

https://serre-lab.clps.brown.edu/resource/hmdb-a-large-human-motion-database/#introduction

【関連情報】

• H. Kuehne, H. Jhuang, E. Garrote, T. Poggio and T. Serre, "HMDB: A large video database for human motion recognition," 2011 International Conference on Computer Vision, 2011, pp. 2556-2563, doi: 10.1109/ICCV.2011.6126543.
• Papers With Code の HMDB51 データセットのページ: https://paperswithcode.com/dataset/hmdb51
• PyTorch の HMDB51 データセット: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.HMDB51

Hour Grass Network

Hour Grass Network は，stacked hourglass と呼ばれるアーキテクチャを特色とする CNN (convolutional neural network) である．

姿勢推定 (pose estimation) は，画像から，関節 (joint) の (x,y) 座標を得たり， ヒートマップを得る（ヒートマップでは，画素ごとに値を持ち，その値は，関節である確率が高いほど，高い値になる） 姿勢制御では，さまざまなスケールでの情報を扱うことが課題とされ， stacked hourglass で解決できるとされている． hougrass では，最初にプーリングを行い，その後アップサンプリングを行う． hougrass を直接に並べて stacked hourglass を構成する．

Hour Grass Network の文献は次の通りである．

A. Newell, K. Yang, and J. Deng. Stacked hourglass net- works for human pose estimation. In ECCV, 2016, CoRR, abs/1603.06937.

https://arxiv.org/pdf/1603.06937v2.pdf

【関連項目】 姿勢推定

Windows でのインストールと学習

Hour Grass Network を用いた姿勢推定については，次の文献がある．

qhttps://github.com/bearpaw/pytorch-pose

上の文献では，ディープラーニングにより，人体全身の姿勢推定を行っている． その学習は，次の手順で行う

• https://github.com/bearpaw/pytorch-pose の記載通りに，前もって行っておくこと）．
• Git のインストール: 別項目で説明している．

  Git の公式ページ: https://git-scm.com/

• Python 3.6, Scipy 1.1.0, pytorch で動く

git clone https://github.com/bearpaw/pytorch-pose
py -3.6 -m pip install scipy==1.1.0 imutils easydict progress
py -3.6 -m pip install -U torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
cd pytorch-pose
mkdir .\checkpoint
mkdir .\checkpoint\mpii
mkdir .\checkpoint\mpii\hg_s1_b1
# MPII データセットを用いた学習
py -3.6 .\example\main.py --dataset mpii --arch hg --stack 1 --block 1 --features 256 --checkpoint .\checkpoint\mpii\hg_s1_b1 --anno-path .\data\mpii\mpii_annotations.json --image-path .\mpii\images

HQ-SAM (Segment Anything in High Quality)

HQ-SAMは、既存のSAM（Segment Anything Model）を拡張し、より高精度なゼロショットセグメンテーションを実現する手法である．SAMは、プロンプト（点、バウンディングボックス、粗いマスクなど）を入力として、多様なオブジェクトや視覚構造のセグメンテーションを可能にするモデルである．しかし、SAMは細かい構造を持つオブジェクトに対するセグメンテーションが不十分で、その精度に限界がある．この問題を解決するために、HQ-SAMはSAMを拡張している．HQ-SAMでは、SAMのマスクデコーダに新しい学習可能な「HQ-Output Token」を導入している．さらに、グローバルなセマンティックコンテキストとローカルな境界（バウンダリ）の詳細を両方考慮する「Global-local Feature Fusion」も導入されている．複数のデータセットでの実験により、HQ-SAMが高精度なセグメンテーションマスクを生成できることが確認されている．

【文献】 Ke, Lei and Ye, Mingqiao and Danelljan, Martin and Liu, Yifan and Tai, Yu-Wing and Tang, Chi-Keung and Yu, Fisher, Segment Anything in High Quality, arXiv:2306.01567, 2023.

https://arxiv.org/pdf/2306.01567v1.pdf

【サイト内の関連ページ】

• ゼロショットのセグメンテーション（HQ-SAM，Light HQ-SAM，Python，PyTorch を使用）（Windows 上）: 別ページ »で説明

【関連する外部ページ】

• 公式の GitHub ページ: https://github.com/SysCV/sam-hq
• HQ-SAM （ゼロショットのセグメンテーション）のオンラインデモ（Hugging Face上）: https://huggingface.co/spaces/sam-hq-team/sam-hq
  
• HQ-SAM （ゼロショットのセグメンテーション）のオンラインデモ（Google Colaboratory 上）: https://colab.research.google.com/drive/1QwAbn5hsdqKOD5niuBzuqQX4eLCbNKFL?usp=sharing
  
• Paper with Code のページ: https://paperswithcode.com/paper/segment-anything-in-high-quality

【関連項目】 SAM (Segment Anything Model)

HRNetw32

姿勢推定(pose estimation) の一手法．

【関連項目】 MMPose, 姿勢推定(pose estimation)

Human 3.6M データセット

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

利用には， https://vision.imar.ro/human3.6m/register.php での申請を必要とする．

http://vision.imar.ro/human3.6m/description.php

Catalin Ionescu, Dragos Papava, Vlad Olaru and Cristian Sminchisescu, Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, No. 7, July 2014

iBUG 300-W データセット

iBUG 300-W データセットは， 顔の 68 ランドマーク のデータである．7764枚の顔画像について，手作業で，顔の 68 ランドマークのアノテーションとラベル付が行われている．

顔ランドマーク (facial landmark)は，目，眉，鼻，口，あごのラインなど，顔のパーツの構造を特定でぃる形状予測器 (shape predictor) の学習に使うことができる．

iBUG 300-W データセットの URL: https://ibug.doc.ic.ac.uk/resources/300-W/

【関連項目】 顔の 68 ランドマーク, 顔ランドマーク (facial landmark), 顔のデータベース

image content removal（画像コンテンツの除去）

画像の中で，除去する対象となるオブジェクトの境界などを指定することにより， 指定されたオブジェクトを除去し，除去された部分の画素は， image completion and extrapolation で補う．

次の文献では， 除去する対象となるオブジェクトの境界を正確に指定しなくても， オブジェクトスコアマップ (object score map) を scene parsing network を用いて 推定することにより， image content removal（画像コンテンツの除去）ができるとされている．

• Huang JB, Kang SB, Ahuja N, Kopf J, Image completion using planar structure guidance, ACM Transactions on Graphics (TOG), 2014.

  http://johanneskopf.de/publications/structure_completion/image_completion_using_planar_structure_guidance.pdf

この論文の手法の SunkskyF による実装は，次のページで公開されている．

https://github.com/SunskyF/StructCompletion-python

実行の前準備として，「pip install -U opencv-python opencv-contrib-python」を実行する．demo.py の実行結果は次のとおりである．

【関連項目】 image completion and extrapolation

ImageMagick

• 画像のサイズの例（幅のピクセル数を 100に指定）

  「100x」のように x を付ける．

  convert -resize 100x -unsharp -quality 100 fruits.jpg 1.jpg
  

• 画像のサイズの例（幅のピクセル数を 100に指定）

  「100x」のように x を付ける．

  こちらは，元ファイルを上書き

  mogrify -resize 100x -unsharp -quality 100 fruits.jpg
  

• 画像の幅が 440 より大きい場合には，幅が 440 になるように縮小する．

  for i in *.png; do
  if [ `identify -format "%[width]" $i` -gt 440 ]; then
      echo $i
      mogrify -resize 440x -unsharp 0x1+0.5+0 -quality 100 $i
  fi
  done
  

【関連項目】 画像データの形式変換， MagickWand

ImageMagick の主なコマンド

• display --画像の表示，変換
• animate --画像を連続表示してアニメーション
• convert --画像ファイル変換，エフェクト
• mogrify --連続画像の変換・エフェクト，一気に画像フォーマットを変換する．
• montage -- 1個の画像ファイルにたくさんの画像を詰め込む
• identify --画像フォーマットを調べる
• combine --画像を結合

sudo apt -y update
sudo apt -y install imagemagick

image matting

前景の色を F，背景の色を B とし，元画像の色は I = alpha * F + (1 - alpha) * B とする． 元画像 I は既知であり，F, B, alpha は未知であるとする． このとき alpha を推定することを image matting という(alpha image matting　ともいう）．

写真や動画の前景背景分離に用いることができる． 物体検出 や salient object detection との違いとしては， ガラスなどの半透明なもの，髪の毛や網のようなもの，そして，前景が必ずしも画面中央に集まっているとは限らず，画面全域にある（網越しに外を見るような場合）を想定していることがある．

【関連情報】

• Papers with Code の image matting のページ: https://paperswithcode.com/task/image-mattin

【関連項目】 GCA, IndexNet, DIM, AIM-500 (Automatic Image Matting-500) データセット

Trimap-based matting

trimap では，次の 3つを考える． 前景である画素は白，背景である画素は黒，transaction である画素は灰色の 3通りに 塗り分けた画像を trimap という．

• 前景 (foregdound)
• 背景 (background)
• transition: どちらであるか判断できないか，細かすぎて，塗分けが困難な領域

Trimap-based matting では， 元画像と，その trimap を用いて image matting を行う． ディープラーニングによる Trimap-based matting の手法としては，Xu らの Deep Image Matting (DIM) (2017年)（文献 [1]) などが知られている．

【関連情報】

• 文献 [1], Xu らの Deep Image Matting (DIM)

  Ning Xu, Brian Price, Scott Cohen, Thomas Huang, Deep Image Matting CVPR 2017, CoRR, https://arxiv.org/abs/1703.03872v3

  https://arxiv.org/pdf/1703.03872v3.pdf

Backgroud matting

Backgroud matting は，image matting において背景画像を用いる． つまり，元画像と，追加の背景画像を用いて image matting を行う． 元画像での背景と，追加の背景画像は同一の場所で撮影されたものが想定されている．そのとき，全に一致しなくてもよい（わずかな位置のずれや照明条件の変化は許容される）．

ディープラーニングによるbackground matting Shanchuan Lin らの Backgroud Matting （2021年）（文献 [2]）などが知られる． Backbone に ResNet50, ASPP (Atrous Spatial Pyramid Pooling, DeepLabv3 のものに従う）．

Background matting では，Trimap を必要としない． ZOOM などのビデオ会議などで，グリーンバックを使わずに，前景と背景を分離するとき， 背景の取得は容易であり， Background matting は有用である．

【関連情報】

• 文献 [2], Shanchuan Lin らの Backgroud Matting

  Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman, Real-Time High-Resolution Background Matting CVPR 2021, also CoRR, abs/2012.07810v1, 2021.

  https://arxiv.org/pdf/2012.07810v1.pdf

Portrait matting

人物や動物に特化した image matting である． 人物や動物が写った写真や動画に対して，image matting を行う． このとき，Trimap や 背景画像などの追加の情報を準備することなく image matting を行う手法が種々提案されている．

Automatic image matting

Trimap や 背景画像などの追加の情報を必要とせず， 人物や動物など以外でも（例えば，半透明のコップ，網ごしの風景写真など） image matting を行うもの． Li らの GFM （文献 [3]）（2020 年）は，ディープラーニングによる Trimap の推定が行われており， Li らの unified semantic model （文献 [4]）（2021 年）は，Salient Opaque, Salient Transparent/Meticulous, Non-Salient の 3種類の画像を扱えるモデルであり，GGM の拡張により，unified semantic model の推定を行っている．

• 文献 [3]

  Jizhizi Li, Jing Zhang, Stephen J Maybank, and Dacheng Tao. End-to-end animal image matting. arXiv preprint arXiv:2010.16188, 2020.

• 文献 [4]

  Jizhizi Li , Jing Zhang and Dacheng Tao, Deep Automatic Natural Image Matting, 2021. https://arxiv.org/pdf/2107.07235v1.pdf

ImageNet データセット

ImageNet データセットは、画像分類や物体検出のタスクで利用されるデータセット． 機械学習における画像分類や物体検出のタスクで、学習、検証、テストに利用される． ImageNet-1K は ImageNet データセットのサブセットで、ImageNet Large Scale Visual Recognition Challenge（ILSVRC）でベンチマークで使用されている．

• 画像の総数: 14,197,122枚（ImageNet-1K では約120万枚）
• クラス数: 約20,000種類（ImageNet-1K では1000種類）、さまざまな種類を網羅
• ラベル付き画像：

  画像が、ある特定のクラスのオブジェクトを含んでいるか（「有」、「無」の二値）

• 物体検出のアノテーション

  画像内（ImageNet-1K では約45万枚）のオブジェクト（ImageNet-1K では約150万以上）の位置と大きさ（中心の座標、幅、高さ）、クラス

• 画像情報：画像のサムネイルとURL．URLを使用して画像をダウンロードする場合、各画像の利用条件を利用者が確認こと

ImageNet-1K の 1000クラスの表示

このプログラムはImageNet-1Kの1000クラスのデータファイル（クラス番号とクラス名のデータファイル）をダウンロードし、JSONに変換して保存した後、クラス番号とクラス名をすべて表示します．インターネット接続が必要で、requestsライブラリが必要です．

import requests
import json

def download_file(url, filename):
    """指定されたURLからファイルをダウンロードし、ローカルに保存する"""
    response = requests.get(url)
    with open(filename, 'wb') as file:
        file.write(response.content)

def convert_txt_to_json(txt_file, json_file):
    """テキストファイルをJSON形式に変換し、保存する"""
    imagenet_classes = {}
    with open(txt_file, "r") as f:
        for i, line in enumerate(f):
            imagenet_classes[str(i)] = line.strip()
    with open(json_file, "w") as f:
        json.dump(imagenet_classes, f)

def display_classes(json_file):
    """JSONファイルからクラス情報を読み込み、表示する"""
    with open(json_file) as f:
        imagenet_classes = json.load(f)
    for class_id, class_name in imagenet_classes.items():
        print(f"Class ID: {class_id}, Class Name: {class_name}")

# メイン処理
if __name__ == "__main__":
    url = "https://raw.githubusercontent.com/pytorch/hub/master/imagenet_classes.txt"
    txt_filename = "imagenet_classes.txt"
    json_filename = "imagenet_class_index.json"
    # ファイルのダウンロード
    download_file(url, txt_filename)
    # テキストファイルをJSONに変換
    convert_txt_to_json(txt_filename, json_filename)
    # クラス情報の表示
    display_classes(json_filename)

ImegeNet のクラス: 別ファイルに記載している．

ImageNet データセットは次の URL で公開されているデータセット（オープンデータ）である．

ImageNet データセットの URL: https://image-net.org/

【関連する外部ページ】

• 文献: abs/1409.0575
• Papers With Code の ImageNet データセットのページ: https://paperswithcode.com/dataset/imagenet
• PyTorch の ImageNet データセット: https://pytorch.org/vision/stable/datasets.html#imagenet
• TensorFlow データセットの imagenet2021 データセット: https://www.tensorflow.org/datasets/catalog/imagenet2012

【関連項目】 画像分類, 物体検出

IMDb データセット

IMDb の URL: https://www.imdb.com/

IMDb での映画の批評は，批評文とスコア（１０点満点）である． IMDb データセットでは，7点以上の批評は positive，4点以下の批評は negative としている．つまり，2種類ある． そして，IMDb データセットには，positive か negative の批評のみが含まれている（中間の点数である 5点，6点のものは含まれていない）．そして， positive，negative の批評が同数である． 学習用として，positive，negative がそれぞれ 25000． 検証用として，positive，negative がそれぞれ 25000．

IMDb データセットのURL: https://ai.stanford.edu/%7Eamaas/data/sentiment/

【関連項目】 Keras に付属のデータセット, TensorFlow データセット, オープンデータ,

Python での IMDb データセットのロード（TensorFlow データセットを使用）

次の Python プログラムは，TensorFlow データセットから，IMDb データセットのロードを行う． x_train, y_train が学習用のデータ．x_test, y_test が検証用のデータになる．

次のプログラムでは，そして確認表示を行う．

tensorflow_datasets の loadで， 「batch_size = -1」を指定して，一括読み込みを行っている．

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf
import numpy as np
import tensorflow_datasets as tfds

%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

imdb_reviews, imdb_reviews_metadata = tfds.load('imdb_reviews', with_info = True, shuffle_files=True, as_supervised=True, batch_size = -1)
x_train, y_train, x_test, y_test = imdb_reviews['train'][0], imdb_reviews['train'][1], imdb_reviews['test'][0], imdb_reviews['test'][1]

# 確認表示
import pandas as pd
display(pd.DataFrame(x_train[0:14], y_train[0:14]))

Python での IMDb データセットのロード（Keras を使用）

IMDb データセットは，次のプログラムでロードできる．

from tensorflow.keras.datasets import imdb
(x_train, y_train), (x_test, y_test) = imdb.load_data()

Imm 顔データベース (IMM Face Database)

40種類の人間の顔を撮影した240枚の画像． 58個の顔ランドマークが付いている．

URL: http://www2.imm.dtu.dk/pubdb/pubs/3160-full.html

M. M. Nordstr{\o}m and M. Larsen and J. Sierakowski and M. B. Stegmann, The IMM Face Database - An Annotated Dataset of 240 Face Images

http://www2.imm.dtu.dk/pubdb/edoc/imm3160.pdf

【関連項目】 顔のデータベース

iNaturalist データセット

画像のデータセット．アノテーションとしてバウンディングボックスが付けられている．Imbalance の大きさを特徴とする．

次の URL で公開されているデータセット（オープンデータ）である．

URL: https://github.com/visipedia/inat_comp/tree/master/2017

• クラス数:5,089
• 学習と検証 (validation) 用の 675,000 枚の画像．テスト用の 183,000 枚の画像．
• バウンディングボックス数: 183,000
• Imbalance 値: 453.44

• 文献 Grant Van Horn, Oisin Mac Aodha, Yang song, Yin Cui, Chen Sun, Alex Shepard, Hartwig Adam, Pietro Perona, Serge Belongie, The iNaturalist Species Classification and Detection Dataset CVPR 2018, 2018.

  https://arxiv.org/pdf/2104.00613v2.pdf

• Papers with Code のページ: https://paperswithcode.com/dataset/inaturalist
• TensorFlow のモデル: https://github.com/tensorflow/models

【関連項目】 画像分類, 物体検出

InsightFace

顔検出 (face detection)，顔のアラインメント， 顔検証 (face verification)， 顔識別 (face identification)の機能を持つ．

• 顔検出 (face detection): RetinaFace, SCRFD, blazeface_paddle をサポートしている．

InsightFace の GitHub のページ: https://github.com/deepinsight/insightface

【関連項目】 ArcFace 法, Chandrika Deb の顔マスク検出, Dlib の顔検出, face alignment, MobileFaceNets, 顔検出 (face detection)

Google Colaboratory で，InsightFace による顔検出及び年齢と性別の予測

公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の顔検出及び年齢と性別の予測のプログラムを変更して実行．

このプログラムは buffalo_l という名前の事前学習済みモデルを使用している．

• 顔検出のモデル: SCRFD-10GF
• 顔認識のモデル: ResNet50@WebFace600K
• 顔のアラインメント: 2d106, 3d68
• 属性: 年齢，性別

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. InsightFace のインストール

   GPU を使わない場合には「onnxruntime-gpu」でなく，「onnxruntime」をインストールすること．

   !pip3 install -U insightface onnxruntime-gpu opencv-python numpy
   

   
2. 顔検出及び年齢と性別の予測の実行

   動作確認のため，公式ページ (https://github.com/deepinsight/insightface/tree/master/python-package) に記載の，顔検出及び年齢と性別の予測のプログラムを実行する．

   このプログラムは buffalo_l という名前の事前学習済みモデルを使用している．

   • 顔検出のモデル: SCRFD-10GF
   • 顔認識のモデル: ResNet50@WebFace600K
   • 顔のアラインメント: 2d106, 3d68
   • 属性: 年齢，性別

   このプログラムの実行により，result.jpg ファイルができる．

   import cv2
   import numpy as np
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   
   app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
   app.prepare(ctx_id=0, det_size=(640, 640))
   
   img = ins_get_image('t1')
   faces = app.get(img)
   rimg = app.draw_on(img, faces)
   for i in faces:
     print("gender %s, age %d" % (('F' if i['gender'] == 0 else 'M'), i['age']))
   plt.style.use('default')
   plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
   plt.show()
   cv2.imwrite("./result.jpg", rimg)
   

   
3. 顔検出及び年齢と性別の予測の実行

   顔の画像ファイルは何でも良いが，ここでは，画像ファイルをダウンロードしている．

   !curl -O https://www.kkaneko.jp/sample/face/3284.png
   !curl -O https://www.kkaneko.jp/sample/face/3285.png
   !curl -O https://www.kkaneko.jp/sample/face/3287.png
   !curl -O https://www.kkaneko.jp/sample/face/3288.png
   !curl -O https://www.kkaneko.jp/sample/face/3289.png
   !curl -O https://www.kkaneko.jp/sample/face/3290.png
   

   

   いま準備した画像ファイルについて，顔検出及び年齢と性別の予測の実行

   import cv2
   import numpy as np
   %matplotlib inline
   import matplotlib.pyplot as plt
   import warnings
   warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings
   import insightface
   from insightface.app import FaceAnalysis
   from insightface.data import get_image as ins_get_image
   
   app = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
   app.prepare(ctx_id=0, det_size=(640, 640))
   
   files = ['3284.png', '3285.png','3287.png', '3288.png', '3289.png', '3290.png']
   
   for f in files:
       img = cv2.imread(f)
       faces = app.get(img)
       for i in faces:
           print("gender %s, age %d" % (('F' if i['gender'] == 0 else 'M'), i['age']))
       rimg = app.draw_on(img, faces)
       plt.style.use('default')
       plt.imshow(cv2.cvtColor(rimg, cv2.COLOR_BGR2RGB))
       plt.show()
   

   
   
   

顔検出，年齢と性別の推定，顔識別，人体検出（InsightFace のインストールと動作確認）（PyTorch，Python を使用）（Windows 上）

別ページ »で説明

InsightFace のインストールと動作確認（顔検出，年齢と性別の推定）（Python, PyTorch を使用）（Ubuntu 上）

別ページ »で説明

Iris データセット

Iris データセットは公開されているデータセット（オープンデータ）である．

• 行数: 150行
• 属性: sepal length, sepal width, petal length, petal width, species

【文献】

R.A. Fisher, The use of multiple measurements in taxonomic problems, Annual Eugenics, 7, Part II, pp. 179-188, 1936.

【サイト内の関連ページ】

• Iris データセットについての説明資料: iris.pdf [PDF], [パワーポイント]
• Iris データセットを扱う Python プログラム: 別ページ で説明している．

【関連する外部ページ】

• TensorFlow データセットの iris データセット: https://www.tensorflow.org/datasets/catalog/iris

【関連項目】 オープンデータ, データフレーム

JAX: Autograd and XLA のインストール（Ubuntu 上）

URL: https://github.com/google/jax

Ubuntu でインストールを行うには，次のコマンドを実行．

sudo apt -y install python3-pip
sudo pip3 install -U "jax[cuda111]" -f https://storage.googleapis.com/jax-releases/jax_releases.html

JHU-CROWD++ データセット

画像数は 4822枚である． 各画像の人物数は 0 から 25791 である．

• 文献

  Vishwanath A Sindagi, Rajeev Yasarla, and Vishal M Pa- tel. Jhu-crowd++: Large-scale crowd counting dataset and a benchmark method. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.

• 公式ページ: http://www.crowd-counting.com/

【関連用語】 crowd counting, FIDTM, オープンデータ

Johns Hopkins 大の COVID-19 データレポジトリ

国別，地域別の感染者データ

URL: https://github.com/CSSEGISandData/COVID-19

次の Python プログラムは， Johns Hopkins 大の COVID-19 データレポジトリからデータをダウンロードし，ロードし，表示する．

!curl -LO https://github.com/CSSEGISandData/COVID-19/raw/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv
import pandas as pd
df = pd.read_csv("./time_series_covid19_confirmed_global.csv")
display(df)
display(df.groupby(['Country/Region'], as_index=False).sum())

【関連項目】 時系列データ

JupyterLab

Jupyter Lab は Python プログラム作成に関する種々の機能を持ったソフトウェア．

JupyterLab について：別ページ で説明している．

Jupyter Qt Console

Jupyter Qt Console は Python コンソールの機能を持ったソフトウェア．

Jupyter Qt Console について：別ページ で説明している．

Jupyter ノートブック (Jupyter Notebook)

Jupyter ノートブック (Jupyter Notebook)は，Pythonなどのプログラムのソースコード，実行結果などを１つのノートとして残す機能をもったノートブック．

Jupyter ノートブック について：別ページ で説明している．

Keras

Keras は 機械学習のAPI の機能を持つ． Python 言語から利用可能． TensorFlow, CNTK, Theano など，さまざまなディープラーニングのフレームワークの上で動く．

Keras の概要

• Keras のモデルは，複数の層が組み合わさったもの．単純に層を積み重ねたもの（シーケンシャル）や，複雑な構成のもの（グラフ）がある
• Keras の層には，活性化関数，層の種類（カーネル，バイアスなど）を設定できる
• Keras の層には，全結合層，畳み込み（コンボリューション）層などの種類がある
• 学習のために，オプティマイザの設定を行う
• Keras のモデルの構成やオプティマイザの設定は，保存できる
• 学習の結果は，重みになる． チェックポイントにより，重みも保存できる．

次のプログラムでは，損失関数を， categorical crossentropy， 最適化法を 確率的勾配降下法 (SGD 法)， 尺度を accuracy に設定している．

m.compile(optimizer=tf.keras.optimizers.SGD(lr=0.01, momentum=0.9, nesterov=True),
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'])

* 目的関数については： https://keras.io/ja/objectives/

【関連する外部ページ】

• URL: https://keras.io/ja/
• github: https://github.com/fchollet/keras
• Keras 応用: https://keras.io/api/applications/

【サイト内の関連ページ】

• Windows でのインストール詳細（NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウェアを含む）: 別ページ »で説明
• Ubuntu でのインストール詳細（NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウェアを含む）: 別ページ »で説明

【関連項目】 Applications of Deep Neural Networks, TensorFlow, ディープラーニング

Keras のインストール

• Windows でのインストール詳細（NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウェアを含む）: 別ページ »で説明
• Ubuntu でのインストール詳細（NVIDIA ドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウェアを含む）: 別ページ »で説明

Keras-GAN のページ

Avatar Erik Linder-Norén により GitHub で公開されているKeras-GAN のページ．

URL は次の通り．

Keras-GAN のページ: https://github.com/eriklindernoren/Keras-GAN  

Keras でのカーネルの初期化

次のプログラムの中の kernel_initializer の部分． 標準偏差を 0.01 になるように重みを設定している．

m.add(Dense(units=100, input_dim=len(768[0])), kernel.iniializer.TruncatedNormal(stddev=0.01))

Keras での学習

教師データ x_train と y_train (x_train は入力データの numpy 配列もしくは numpy 配列のリスト，y_train はクラス番号の numpy 配列）を用いて， バッチサイズが 32，エポック数を 10 として学習したいときには，次のコマンドを用いる．

history = m.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test))

Keras での検証（バリデーション）

Keras での学習において，「validation_data」を付けることで，検証（バリデーション）が行われる．

このとき，検証（バリデーション）に使うデータ（x_test, y_test）をいろいろ変えながら，Kerasでの検証（バリデーション）を行う．

history = m.fit(x_train, y_train, batch_size=32, epochs=50, validation_data=(x_test, y_test))

結果（上のプログラムでは history）を見て，過学習や学習不足を判断する．history は次のようなプログラムで表示できる．

import pandas as pd
h = pd.DataFrame(history.history)
h['epoch'] = history.epoch
print(h)

Keras でのコンパイル

Keras のモデルのコンパイルにおいては， オプティマイザ（最適化器）と 損失関数とメトリクスの指定を行う必要がある．

Keras でのモデル m のコンパイルのプログラムは「m.compile」のように書く．

Keras に付属のデータセット

データセットは，データの集まりのこと． Python の keras には，次のデータセットを簡単にダウンロードできる機能がある．

• CIFAR-10 データセット: カラー画像 60000枚, カテゴリーラベル (category label)

  CIFAR-10 データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import cifar10
  (x_train, y_train), (x_test, y_test) = cifar10.load_data()
  

• CIFAR100 データセット: カラー画像 60000枚, カテゴリーラベル (category label)

  CIFAR-100 データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import cifar100
  (x_train, y_train), (x_test, y_test) = cifar100.load_data(label_mode='fine')
  

• IMDb データセット: 25000 の映画レビュー

  IMDb データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import imdb
  (x_train, y_train), (x_test, y_test) = imdb.load_data()
  

• Reuters newswire topics データセット: ニュースワイヤ 11228, ラベル

  Reuters newswire topics データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import reuters
  (x_train, y_train), (x_test, y_test) = reuters.load_data()
  

• MNIST データセット: 濃淡画像 70000枚, ラベル

  MNIST データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import mnist
  (x_train, y_train), (x_test, y_test) = mnist.load_data()
  

• Fashion MNIST データセット: 濃淡画像 70000枚, ラベル

  Fashion MNIST データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import fashion_mnist
  (x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()
  

• Boston housing price 回帰データセット: 13属性

  Boston housing price 回帰データセットは，次のプログラムでロードできる．

  【Keras のプログラム】

  from tensorflow.keras.datasets import boston_housing
  (x_train, y_train), (x_test, y_test) = boston_housing.load_data()
  

keras に付属のデータセットを取得するときのオプションについては， https://keras.io/ja/datasets/(日本語版), https://keras.io/api/datasets/(英語版) に説明されている．

【関連項目】 Boston housing price 回帰データセット, CIFAR-10 データセット, CIFAR100 データセット, IMDb データセット, Reuters newswire topics データセット, MNIST データセット, Fashion MNIST データセット  

Keras の応用

Keras の応用としては， MobileNetV2， Inception-ResNet， ResNet50， DenseNet121, DenseNet169， NASNetなどの画像分類のモデルがある． （その詳細は，https://keras.io/ja/applications/）

Keras では，これらモデルについて，ImageNet データセット での学習済みモデルを，次のようなプログラムで，簡単に使えるようにすることができる．

from tensorflow.keras.applications.mobilenet_v3 import MobileNetV3
m = MobileNetV3(weights='imagenet')

【関連項目】 ResNet50, ResNet101, ResNet152, その他の ResNet, Inception-ResNet, DenseNet121, DenseNet169, NASNet, MobileNetV2

Keras で利用可能な画像分類のモデルは，https://keras.io/api/applications/index.html で説明されている．

Kinetics Human Action Video Dataset (Kinetics Human Action Video データセット)

400/600/700 種類の人間の行動をカバーする最大65万のビデオクリップの URL リンク集とアノテーションである． それぞれのクリップには，１つの行動クラスがアノテーションされている． ビデオの長さは，約10秒である． 機械学習による行動分類，行動認識，ビデオ検索などの学習や検証に利用できるデータセットである．

ディープラーニングで，人間の行動推定に利用できる．

• 約65万のビデオクリップのURLリンク
• 楽器の演奏などの人間と物体のインタラクション，握手やハグなどの人間と人間のインタラクションを網羅
• 行動クラスの数は 400/600/700
• 各ビデオクリップには1つの行動クラスがアノテーションされている．
• 各ビデオクリップの長さは約10秒である．

Kinetics データセット >は次の URL で公開されているデータセット（オープンデータ）である．

https://deepmind.com/research/open-source/kinetics

【関連情報】

• URL: http://human-pose.mpi-inf.mpg.de/
• URL: https://deepmind.com/research/open-source/kinetics
• 文献

  W. Kay, J. Carreira, K. Simonyan, B. Zhang, C. Hillier, S. Vijayanarasimhan, F. Viola, T. Green, T. Back, P. Natsev, M. Suleyman, and A. Zisserman. The kinetics human action video dataset. arXiv preprint arXiv:1705.06950, 2017.

  https://arxiv.org/pdf/1705.06950v1.pdf

• Papers With Code の Kinetics データセットのページ: https://paperswithcode.com/dataset/kinetics
• PyTorch の Kinetics データセット: https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.Kinetics400

Google Colaboratory で，Kinetics データセットのダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O https://storage.googleapis.com/deepmind-media/Datasets/kinetics700_2020.tar.gz
!tar -xvzof kinetics700_2020.tar.gz
!ls kinetics700_2020

Windows での Kinetics データセットのダウンロード

Windowsで次のように操作する．

mkdir /p c:\data
mkdir /p c:\data\kinetics
cd c:\data\kinetics
curl -O https://storage.googleapis.com/deepmind-media/Datasets/kinetics700_2020.tar.gz
"c:\Program Files\7-Zip\7z.exe" x kinetics700_2020.tar.gz
"c:\Program Files\7-Zip\7z.exe" x kinetics700_2020.tar

KITTI データセット

カラーのカメラ，モノクロのステレオカメラ，３次元レーザースキャナなどのさまざまなセンサーのデータから構成される．

• 数時間分の交通シナリオ
• セマンティック・セグメンテーションのグランドトゥルースが含まれているわけではない

http://www.cvlibs.net/datasets/kitti

【関連情報】

• A. Geiger, P. Lenz and R. Urtasun, "Are we ready for autonomous driving? The KITTI vision benchmark suite," 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012, pp. 3354-3361, doi: 10.1109/CVPR.2012.6248074.
• Papers With Code の KITTI データセットのページ: https://paperswithcode.com/dataset/kitti
• PyTorch の KITTI データセット: https://pytorch.org/vision/stable/datasets.html
• TensorFlow データセット の KITTI データセット: https://www.tensorflow.org/datasets/catalog/kitti

【関連項目】 オープンデータ, 物体検出

KITTY オドメトリデータセットのダウンロード

車両からの観測画像と車両の自己位置のデータ．ビジュアルオドメトリに使用．

URL: https://github.com/uoip/monoVO-python

1. テスト用の画像データのダウンロードと展開（解凍）

   テスト画像データをダウンロードしたい．再度，uoip / monoVO-python の Web ページを開く

   https://github.com/uoip/monoVO-python

2. 「KITTY odometry data set (grayscale, 22 GB)」をクリック．
   
3. 濃淡 (grayscale) 画像が欲しいので，「Download odometry data set (grayscale, 22GB)」をクリック．

   これは，画像データの .zip ファイルである（多数の .png形式の画像ファイルを zip 形式に固めたものである）．

   
4. メールアドレスを登録し，「Request Download Link」をクリック．
   
5. 電子メールで通知が送られてくるので確認の上，電子メールの中のリンクをクリックする．
   • 件名を確認し，他のメールと勘違いしていないことをよく確認したうえでリンクをクリックすること．
   • 通知が送られるまで，それほど時間はかからない．
   • 電子メールの中身を他の人に見せる（他の人に代理作業を頼む）のはマナー違反
6. リンクをクリックするので、ダウンロードが始まるので確認する．

   * ダウンロードには時間がかかる

7. いまダウンロードしたテスト用画像データの .zip ファイルを，分かりやすいディレクトリ（日本語を含まないこと）に展開（解凍）する．

   Windows での展開（解凍）に便利な 7-Zip: 別ページ »で説明

   この .zip ファイルは，C:\data_odometry_gray\dataset に展開（解凍）したものとして，説明を続けるので，適切に読み替えてください．

8. 展開（解凍）してできたファイルを確認する．
   • .png 形式のファイルが多数ある
   • ファイル名は6桁の数字の連番になっている
   • 多数のディレクトリに分かれている
   

KITTI データセットのビジュアライザ

https://github.com/navoshta/KITTI-Dataset

KITTI データセットの Python インタフェース

https://github.com/utiasSTARS/pykitti

K 近傍探索 (K nearest neighbour)

K 近傍探索 (K nearest neighbour)のアルゴリズムは，次の性質を持つ．

• 事前に、データを複数準備（事前データ）．
• それぞれのデータに、ラベルがついている．
• 新しいデータが１つある．それを、事前データそれぞれすべてと類似度を計算する．
• 類似度が高いもの数個を選ぶ．そして、選ばれた数個のラベルについて多数決を取る
• その結果得られたラベルを識別結果とする

【関連項目】 Fast-Robust-ICP, libnabo, libpointmatcher

ks_1033_data

ks_1033_data は，次のページで CSV ファイルと Excel ファイルで公開されているデータセット（オープンデータ）である．

https://github.com/wireservice/csvkit/tree/master/examples/realdata

【関連項目】 オープンデータ, データフレーム

Google Colaboratory で，ks_1033_data データセットのダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O https://github.com/wireservice/csvkit/tree/master/examples/realdata/ks_1033_data.csv
!ls -al ks_1033_data.csv

L2 正則化

正則化の一手法である． L2 正則化では，重みの二乗の合計に比例したペナルティを，重みに与える．

import tensorflow.compat.v2 as tf
tf.keras.layers.Dense(128, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(0.001))

LabelMe インタフェース

LabelMe インタフェースは，アノテーションのツール．

• 文献

  Russell BC, Torralba A, Murphy KP, Freeman WT, Labelme: a database and web-based tool for image annotation. Int’l Journal of Computer Vision, 2008.

• 公式ページ (GitHub のページ): https://github.com/wkentaro/labelme

【関連項目】 アノテーション (annotation)

Windows での LabelMe のインストールと確認

公式ページ https://github.com/wkentaro/labelmeの記載に従う．

1. インストール

   Windows では，コマンドプロンプトを管理者として実行し， 次のコマンドを実行する．

   python -m pip install labelme
   

2. 確認のため「labelme」で起動
   

LAION

LAION-2B の画像数は約20億枚． LAION-5B の画像数は約50億枚．

【関連する外部ページ】

LAION の公式ページ: https://laion.ai/

LaMa

LaMa は，Image Inpainting （イメージ・インペインティング）のための技術である．2021年発表．

Image Inpainting （イメージ・インペインティング） 画像の欠落部分を補うことで，画像の中の不要な部分を消すときにも役立つ．

LaMa のデモページ

• LaMa のデモページの URL: https://colab.research.google.com/github/saic-mdal/lama/blob/master/colab/LaMa_inpainting.ipynb#scrollTo=-VZWySTMeGDM
• LaMa のデモページの実行結果の例
  
  

【関連項目】 image inpainting

Windows での Lama Cleaner のインストール

Windows での Lama Cleaner のインストール: 別ページで説明してリウ．

LAPACK

lapack は，行列に関する種々の問題（連立１次方程式，固有値問題，などなど多数）を解く機能を持つソフトウェア．BLAS の機能を使う．

netlib の lapack のページ: http://www.netlib.org/lapack

lapack 参照実装の Web ページ: https://github.com/Reference-LAPACK/lapack-release

【関連項目】 BLAS, clapack, OpenBLAS

Windows での LAPACK のインストール

Windows での LAPACK のインストール（Windows 上）: 別ページ »で説明

Ubuntu での LAPACK のインストール

Ubuntu でインストールを行うには，次のコマンドを実行．

sudo apt -y update
sudo apt -y install libopenblas-dev liblapack-dev

LAPACK のプログラム例

dgeev()関数 （固有値と固有ベクトル）を使用．

#include<stdio.h>

// CLAPACK ではなく LAPACK を直接呼び出す．

// CLAPACK については，次の URL を見よ．
//   see http://www.netlib.org/clapack/clapack.h

// ?geev : simple driver for eigenvalues/vectors

// 決まり文句 (CLAPACK との互換用）

#define doublereal double
#define integer long int

extern
  integer dgeev_(char *jobvl, char *jobvr, integer *n, doublereal *a,
         integer *lda, doublereal *wr, doublereal *wi, doublereal *vl,
         integer *ldvl, doublereal *vr, integer *ldvr, doublereal *work,
         integer *lwork, integer *info);

integer eigenvalues( integer n, doublereal *a, doublereal *wr, doublereal *wi ) {
  /* LAPACK の _dgeev() を使って固有値（だけ）を求める */

  integer n3 = n * n * n;
  integer info;

  doublereal *vl = (doublereal *)calloc(sizeof(doublereal), n * n);
  doublereal *vr = (doublereal *)calloc(sizeof(doublereal), n * n);
  doublereal *work = (doublereal *)calloc(sizeof(doublereal), n3);


  (void) dgeev_(
        /* char *jobvl */      "N",  /* "N" なので左固有ベクトルを計算しない */
        /* char *jobvr */      "N",  /* "N" なので右固有ベクトルを計算しない */
        /* integer *n */       &n,   /* 正方行列の次数 */
        /* doublereal *a, */   a,    /* A */
        /* integer *lda, */    &n,   /* A 用の作業領域 */
        /* doublereal *wr, */  wr,   /* 固有値の実部 */
        /* doublereal *wi, */  wi,   /* 固有値の虚部 */
        /* doublereal *vl, */  vl,   /* 左固有値 */
        /* integer *ldvl, */   &n,   /* 左固有値の作業用 */
        /* doublereal *vr, */  vr,   /* 右固有値 */
        /* integer *ldvr, */   &n,   /* 左固有値の作業用 */
        /* doublereal *work, */ work, /* 作業用 */
        /* integer *lwork, */  &n3,   /* 作業用の行列の次元 */
        /* integer *info */    &info);

  free( work );
  free( vr );
  free( vl );

  return info;

}

integer eigenvalues_rightvectors( integer n, doublereal *a, doublereal *wr, doublereal *wi, doublereal *vr ) {
  /* LAPACK の _dgeev() を使って固有値と右固有ベクトルを求める */
  /* A * v(j) = lambda(j) * v(j), v(j) is the right eigen vector */

  integer n3 = n * n * n;
  integer info;

  doublereal *vl = (doublereal *)calloc(sizeof(doublereal), n * n);
  doublereal *work = (doublereal *)calloc(sizeof(doublereal), n3);


  (void) dgeev_(
        /* char *jobvl */      "N",  /* "N" なので左固有ベクトルを計算しない */
        /* char *jobvr */      "V",  /* "V" なので右固有ベクトルを計算する */
        /* integer *n */       &n,   /* 正方行列の次数 */
        /* doublereal *a, */   a,    /* A */
        /* integer *lda, */    &n,   /* A 用の作業領域 */
        /* doublereal *wr, */  wr,   /* 固有値の実部 */
        /* doublereal *wi, */  wi,   /* 固有値の虚部 */
        /* doublereal *vl, */  vl,   /* 左固有値 */
        /* integer *ldvl, */   &n,   /* 左固有値の作業用 */
        /* doublereal *vr, */  vr,   /* 右固有値 */
        /* integer *ldvr, */   &n,   /* 左固有値の作業用 */
        /* doublereal *work, */ work, /* 作業用 */
        /* integer *lwork, */  &n3,   /* 作業用の行列の次元 */
        /* integer *info */    &info);

  free( work );
  free( vl );

  return info;
}

int main( integer argc, char **argv ) {
  int i;
  integer n = 10;
  doublereal *a  = (doublereal *)calloc(sizeof(doublereal), n * n);
  doublereal *wr = (doublereal *)calloc(sizeof(doublereal), n);
  doublereal *wi = (doublereal *)calloc(sizeof(doublereal), n);
  /* doublereal *vr = (doublereal *)calloc(sizeof(doublereal), n * n); */

  eigenvalues( n, a, wr, wi );
  for(i = 0; i < n; i++) {
    printf("%5d %15.7e %15.7e\n", i + 1, *(wr + i), *(wi + i));
  }

  free(wi);
  free(wr);
  free(a);

  return 0;
}

Leeds Sports Pose Dataset (LSP データセット）

スポーツ選手を中心としで，Flickr から収集した2000枚の画像に， 姿勢（ポース）についてのアノテーションを行ったもの． 最も目立つ人物が，およそ150ピクセルになるようにスケーリングされている． 各画像には，14個のジョイント（関節）の位置がアノテーションされている． オリジナル画像の帰属 (attribution) とFlickrのURLは，各画像ファイルのJPEGコメントに記載されている．

ディープラーニングにより姿勢推定を行うためのデータとして利用できる．

次の URL で公開されているデータセット（オープンデータ）である．

URL: https://dbcollection.readthedocs.io/en/latest/datasets/leeds_sports_pose_extended.html

【関連情報】

• 文献

  Sam Johnson, and Mark Everingham. Clustered Pose and Nonlinear Appearance Models for Human Pose Estimation. In Frédéric Labrosse, Reyer Zwiggelaar, Yonghuai Liu, and Bernie Tiddeman, editors, Proceedings of the British Machine Vision Conference, pages 12.1-12.11. BMVA Press, September 2010. doi:10.5244/C.24.12.

  http://www.bmva.org/bmvc/2010/conference/paper12/paper12.pdf

• Papers With Code の LSP データセットのページ: https://paperswithcode.com/dataset/lsp
• open-mmlab での記事

  https://github.com/open-mmlab/mmpose/blob/master/docs/en/tasks/3d_body_mesh.md#lsp

Google Colaboratory で，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

次のコマンドは Google Colaboratory で動く（コードセルを作り，実行する）．

!curl -O http://sam.johnson.io/research/lsp_dataset.zip
!curl -O http://sam.johnson.io/research/lspet_dataset.zip
!unzip lsp_dataset.zip -d lsp_dataset
!unzip lspet_dataset.zip -d lspet_dataset
!ls -la lspet_dataset

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/file/d/1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS/view

Windows での，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

Windows の場合．次により c:\data\lsp にダウンロードされる．

mkdir /p c:\data
mkdir /p c:\data\lsp
mkdir /p c:\data\lsp\images
cd c:\data\lsp\images
curl -O http://sam.johnson.io/research/lsp_dataset.zip
curl -O http://sam.johnson.io/research/lspet_dataset.zip
powershell -command "Expand-Archive -DestinationPath . -Path lsp_dataset.zip"
powershell -command "Expand-Archive -DestinationPath . -Path lspet_dataset.zip"

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/file/d/1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS/view

Ubuntu での，Leeds Sports Pose Dataset (LSP データセット）のダウンロード

Ubuntu の場合．次により，/usr/local/data/lsp/images にダウンロードされる．

mkdir -p /usr/local/data/lsp/images
cd /usr/local/data/lsp/images
curl -O http://sam.johnson.io/research/lsp_dataset.zip
curl -O http://sam.johnson.io/research/lspet_dataset.zip
unzip lsp_dataset.zip -d lsp_dataset
unzip lspet_dataset.zip -d lspet_dataset

アノテーションファイルは，次の URL からダウンロードできる．

https://drive.google.com/file/d/1GZxlTLuMfA3VRvz2jyv8fhJDqElNrgKS/view

LFW データセット

LFWデータセットには，「in-the-wild」のラベル付きの顔のデータベースである． 合計で 13,233枚，5,749人の顔画像が含まれている．

機械学習による顔認識の学習や検証に利用できるデータセットである．

• 5749 人の顔について，IDが付いている．
• 1680 人については，2つ以上の画像に写っている．他の人は，1宇野画像ににも写っている．

• 文献

  Gary B. Huang, Marwan Mattar, Tamara Berg, Eric Learned-Miller. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. Workshop on Faces in ’Real-Life’ Images: Detection, Alignment, and Recognition, Erik Learned-Miller and Andras Ferencz and Frdric Jurie, Oct 2008, Marseille, France. inria-00321923

  http://vis-www.cs.umass.edu/lfw/lfw.pdf

• E. Learned-Miller, G. B. Huang, A. RoyChowdhury, H. Li, and G. Hua. Labeled faces in the wild: A survey. In Advances in Face Detection and Facial Image Analysis, pages 189–248. Springer, 2016.
• Papers With Code の LFW データセットのページ: https://paperswithcode.com/dataset/lfw
• PyTorch のLFW データセット:
• TensorFlow データセットの LFW データセット: https://www.tensorflow.org/datasets/catalog/lfw

【関連項目】 顔認識 (face recognition), 顔のデータベース

libc++

libc++ は，LLVMのサブプロジェクトである．

libc++ は，C++ の標準ライブラリである．

【関連する外部ページ】

• libc++ の公式ページ: https://libcxx.llvm.org/

【関連項目】 LLVM

libiconv

Windows での libiconv のインストール

Windows での libiconv のインストール（Windows 上）: 別ページ »で説明

libnabo

libnabo は，K 近傍探索 (K nearest neighbour) の機能を持つライブラリ．

ANN よりも高速だとされている．

• 文献

  Elseberg, J. and Magnenat, S. and Siegwart, R. and N{\"u}chter, A., Comparison of nearest-neighbor-search strategies and implementations for efficient shape registration, Journal of Software Engineering for Robotics (JOSER), pages 2-12, vol. 3, no. 1, 2012.

• libnabo の URL: https://github.com/ethz-asl/libnabo

【関連項目】 K 近傍探索 (K nearest neighbour)

Windows での libnabo のインストール

ソースコードからビルドする

https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md の手順に従う．

1. Windows では，前準備として次を行う．
   • Build Tools for Visual Studio 2022 のインストール: 別項目で説明している．
   • Git のインストール: 別項目で説明している．

     Git の公式ページ: https://git-scm.com/

   • Boost のインストール
   • Eigen 3 のインストール
   • grep のインストール
2. インストール

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   c:\libnabo にインストールされる．

   cd %LOCALAPPDATA%
   rmdir /s /q libnabo
   git clone --recursive https://github.com/ethz-asl/libnabo
   cd libnabo
   rmdir /s /q build
   mkdir build
   cd build
   del CMakeCache.txt
   rmdir /s /q CMakeFiles\
   cmake -G "Visual Studio 17 2022" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libnabo" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DLIBNABO_BUILD_PYTHON=OFF ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
   ..
   msbuild /m:2 libnabo.sln -p:Configuration=Release
   

3. テストプログラムのビルド

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   c:\libnabo にインストールされる．

   cd %LOCALAPPDATA%\libnabo\examples
   del CMakeCache.txt
   rmdir /s /q CMakeFiles\
   cmake -G "Visual Studio 17 2022" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libnabo" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DLIBNABO_BUILD_PYTHON=OFF ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
   ..
   msbuild /m:2 libnabo.sln -p:Configuration=Release
   

Ubuntu での libnabo のインストール

Ubuntu でインストールを行うには，次のコマンドを実行．

/usr/local/libnabo にインストールされる．

sudo apt -y update
sudo apt -y install libboost-all-dev libeigen3-dev git cmake cmake-curses-gui cmake-gui

cd /tmp
sudo rm -rf libnabo
sudo git clone --recursive https://github.com/ethz-asl/libnabo
sudo chown -R $USER libnabo

cd /tmp/libnabo
mkdir build
cd build
cmake \
    -DCMAKE_BUILD_TYPE=Release \
    -DCMAKE_INSTALL_PREFIX="/usr/local" \
    -DCMAKE_BUILD_TYPE=RelWithDebInfo \
..
make
sudo make install
cd /tmp/libnabo/examples
cmake \
    -DCMAKE_BUILD_TYPE=Release \
    -DCMAKE_INSTALL_PREFIX="/usr/local" \
    -DCMAKE_BUILD_TYPE=RelWithDebInfo \
..
make
sudo make install

liboctave

自分で，C++ のプログラムを書き，liboctave の機能を呼び出すことが簡単にできる．

liboctave の C++ プログラムの見本

「clock_t c = clock();」と「fprintf( stderr, "done, elapsed time = %f [sec]", ( (double)clock() - (double)c ) / CLOCKS_PER_SEC ); 」の2行は経過時間の測定のためです．

#include<stdio.h>
#include<time.h>
#include<octave/config.h>
#include<octave/Matrix.h>

// 正方行列のサイズを指定
#define DIM 2000

int main( int argc, char **argv )
{
  fprintf( stderr, "start, \n" );
  clock_t c = clock();

  // 行列の積と固有値／固有ベクトル
  Matrix X(DIM, DIM);
  Matrix Y(DIM, DIM, 1.0);
  Matrix Z = X * Y;
  EIG eig(X);

  fprintf( stderr, "done, elapsed time = %f [sec]", ( (double)clock() - (double)c ) / CLOCKS_PER_SEC );
  return 0;
}

Octave の 関数 conv2 を用いて，2次元の畳み込み（コンボリューション）を行う．

関数 conv2 は，Octave ソースコードの DLD-FUNCTIONS/conv2.cc で定義されているので，「#include<octave/conv2.cc>」を含める．

「clock_t c = clock();」と「fprintf( stderr, "done, elapsed time = %f [sec]", ( (double)clock() - (double)c ) / CLOCKS_PER_SEC ); 」の2行は経過時間の測定のため．

// liboctave を用いた 2次元畳み込み（コンボリューション）
#include<stdio.h>
#include<time.h>
#include<octave/config.h>
#include<octave/Matrix.h>
#include<octave/conv2.cc>

// 正方行列のサイズを指定
#define DIM 2000
#define DIM2 21

int main( int argc, char **argv )
{
  printf( "start, \n" );
  clock_t c = clock();

  MArray2<double> a(DIM, DIM);
  MArray2<double> b(DIM2, DIM2);
  MArray<double> r(DIM, DIM);
  r = conv2(a, b, SHAPE_FULL);

  printf( "done, elapsed time = %f [sec]", ( (double)clock() - (double)c ) / CLOCKS_PER_SEC );

  return 0;
}

libpointmatcher

Iterative Closest Point (ICP) の機能を持ち， 点群 (point cloud) のアラインメントを行うことができる． point-to-point の ICP と，point-to-plane ICP の機能を持つ． point-to-point の ICP では，剛体変換だけでなく，スケールの変更にも対応している．

• 文献

  François Pomerleau, Francis Colas, Roland Siegwart, Stéphane Magnenat, Comparing ICP Variants on Real-World Data Sets, Autonomous Robots, vol. 34, no. 3, pages: 133-148, 2013.

• 文献

  François Pomerleau, Stéphane Magnenat, Francis Colas, Ming Liu, Roland Siegwart, Tracking a Depth Camera: Parameter Exploration for Fast ICP, Proc. of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE Press, pages: 3824-3829, 2011.

• GitHub のページ: https://github.com/ethz-asl/libpointmatcher

【関連項目】 K 近傍探索 (K nearest neighbour), ICP

Windows での libpointmatcher のインストール

ソースコードからビルドする

https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md の手順に従う．

1. Windows では，前準備として次を行う．
   • Build Tools for Visual Studio 2022 のインストール: 別項目で説明している．
   • Git のインストール: 別項目で説明している．

     Git の公式ページ: https://git-scm.com/

   • cmake のインストール: 別項目で説明している．

     CMake の公式ダウンロードページ: https://cmake.org/download/

   • Boost のインストール
   • Boost のバージョンとインクルードディレクトリの確認

     次のコマンドで確認する．ここで確認したことは，のちほど，使用する．

     dir "c:\boost\build\include"
     

     
   • Eigen 3 のインストール
   • libnabo のインストール
2. インストール

   Visual Studio の x64 Native Tools コマンドプロンプトを管理者として実行する． 次のコマンドを実行する．

   エラーを回避するために「/bigobj」を設定．

   c:\libpointmatcher にインストールされる．

   「boost-1_86」のところは，先ほど確認したインクルードディレクトリに一致させること．

   cd %LOCALAPPDATA%
   rmdir /s /q libpointmatcher
   git clone --recursive https://github.com/ethz-asl/libpointmatcher
   cd libpointmatcher
   rmdir /s /q build
   mkdir build
   cd build
   del CMakeCache.txt
   rmdir /s /q CMakeFiles\
   cmake -G "Visual Studio 17 2022" -T host=x64 ^
       -DCMAKE_BUILD_TYPE=Release ^
       -DCMAKE_INSTALL_PREFIX="c:/libpointmatcher" ^
       -DEIGEN_INCLUDE_DIR="c:/eigen/include/eigen3" ^
       -DBoost_USE_STATIC_LIBS=ON ^
       -DBOOST_ROOT="c:/boost/build" ^
       -DBoost_INCLUDE_DIR="c:/boost/build/include/boost-1_86" ^
       -DBoost_DIR="c:/boost/build" ^
       -Dlibnabo_DIR="%LOCALAPPDATA%/libnabo/build" ^
       -DCMAKE_BUILD_TYPE=RelWithDebInfo ^
       -DCMAKE_C_FLAGS="/DWIN32 /D_WINDOWS /W0 /utf-8 /bigobj" ^
       -DCMAKE_CXX_FLAGS="/DWIN32 /D_WINDOWS /GR /EHsc /W0 /utf-8 /bigobj" ^
   ..
   msbuild /m:2 libpointmatcher.sln -p:Configuration=Release
   

Ubuntu での libpointmatcher のインストール

ソースコードからビルドする

公式ページの https://github.com/CAOR-MINES-ParisTech/libpointmatcher/blob/master/doc/CompilationWindows.md

1. 前準備

   libnabo のインストール が必要．

2. インストール

   Ubuntu でインストールを行うには，次のコマンドを実行．

   /usr/local/libpointmatcher にインストールされる．

   sudo apt -y update
   sudo apt -y install libboost-all-dev libeigen3-dev git cmake cmake-curses-gui cmake-gui
   
   cd /tmp
   sudo rm -rf libpointmatcher
   git clone --recursive https://github.com/ethz-asl/libpointmatcher
   sudo chown -R $USER libpointmatcher
   
   cd /tmp/libpointmatcher
   mkdir build
   cd build
   cmake \
       -DCMAKE_BUILD_TYPE=Release \
       -DCMAKE_INSTALL_PREFIX="/usr/local" \
       -DCMAKE_BUILD_TYPE=RelWithDebInfo \
   ..
   make
   sudo make install
   

librosa

librosa は， 音声，音楽の機能をもった Python のパッケージである． 主な機能としては，音源分離（music source separation），スペクトログラム， 音声ファイルの読み込み，テンポ（tempo）の推定がある．

【文献】

McFee, Brian, Colin Raffel, Dawen Liang, Daniel PW Ellis, Matt McVicar, Eric Battenberg, and Oriol Nieto. “librosa: Audio and music signal analysis in python.” In Proceedings of the 14th python in science conference, pp. 18-25. 2015.

【関連する外部ページ】

• 公式のドキュメントのページ: https://librosa.org/doc/latest/index.html
• 公式の GitHub のページ: https://github.com/librosa/librosa

【関連項目】 short-time Fourier transform, 音声, 音楽, sound, 音データ（sound data）

Google Colaboratory で，パワースペクトログラムの表示（librosa を使用）

次のプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

次のプログラムは，librosa に付属の音声データである trumpet について，パワースペクトログラムを表示する． 次のプログラムでは，横軸は時間，縦軸は線形スケール（linear scale）で表された周波数である パワースペクトログラムを表示する． stft は short-time Fourier transform を行う． そして，その振幅により色をプロットする．

ここのプログラムのソースコードは， http://librosa.org/doc/main/auto_examples/plot_display.html#sphx-glr-auto-examples-plot-display-py のものを使用(ISC ライセンス）．

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

import librosa
import librosa.display

y, sr = librosa.load(librosa.ex('trumpet'))
D = librosa.stft(y)  # STFT of y
S_db = librosa.amplitude_to_db(np.abs(D), ref=np.max)
plt.figure()
librosa.display.specshow(S_db, x_axis='time', y_axis='linear', sr=sr)
plt.colorbar()

Windows での librosa のインストール

librosa のインストールと動作確認（音声処理）（Python を使用）（Windows 上）: 別ページ »で説明

Ubuntu での librosa のインストール

Ubuntu での librosa のインストールは，次のようなコマンドで行う．

sudo apt -y install ffmpeg
sudo pip3 install -U numba librosa

インストールするバージョンを指定する場合には，次のように操作する． 「==」のあとはバージョン指定であり，使用したいバージョンを指定する．

sudo apt -y install ffmpeg
sudo pip3 install -U numba==0.48.0 librosa==0.7.0

ソースコードを使用してインストールする場合には次のように操作する．

sudo apt -y install ffmpeg
sudo pip3 install git+https://github.com/librosa/librosa

LLD

LLD は，LLVMのサブプロジェクトである．

LLD は，高速に動作するリンカーの機能を持つ．

【関連する外部ページ】

• LLD の公式ページ: https://lld.llvm.org/

【サイト内の関連ページ】

• Clang, LLVM, LLD, LLDB のインストール（ソースコード，Build Tools for Visual Studio を使用）（Windows 上）

【関連項目】 LLVM

LLaMA (Large Language Model Meta AI)

LLaMA (Large Language Model Meta AI) は，Meta によって開発された大規模言語モデル (large language model) である． LLaMA には，パラメーター数が7B、13B、33B、65B（1Bは10億）の4つのバージョンがある．

【文献】

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample, LLaMA: Open and Efficient Foundation Language Models, https://arxiv.org/abs/2302.13971v1

【関連する外部ページ】

• GitHub の公式ページ: https://github.com/facebookresearch/llama
• Paper with Code のページ: https://paperswithcode.com/paper/llama-open-and-efficient-foundation-language-1

【関連項目】 大規模言語モデル

LLDB

LLDB は，LLVMのサブプロジェクトである．

LLDB は，デバッガの機能を持つ．

【関連する外部ページ】

• LLDB の公式ページ: https://lldb.llvm.org/

【サイト内の関連ページ】

• Clang, LLVM, LLD, LLDB のインストール（ソースコード，Build Tools for Visual Studio を使用）（Windows 上）

【関連項目】 LLVM

LLVM

LLVM には，コンパイラ，ツールチェーンに関するさまざまなサブプロジェクトとして， LVM Core, Clang, LLD, LLDB, libc++ などのサブプロジェクトがある．

【サイト内の関連ページ】

• LLVM，Clang のインストール（winget を使用）（Windows 上）
• Clang, LLVM, LLD, LLDB のインストール（ソースコード，Build Tools for Visual Studio を使用）（Windows 上）

【関連する外部ページ】

• LLVM の公式ページ: https://llvm.org/
• LLVM のインストールの公式ページ: https://llvm.org/docs/GettingStarted.html
• Clang の公式ページ: https://clang.llvm.org/

【関連項目】 Clang, libc++, LLD, LLDB

Windows での LLVM のインストール

Windows での LLVM のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として開き「winget install LLVM」を実行
• コマンドプロンプトを管理者として開き次のコマンドを実行する．

  12.0.1 のところは，インストールしたいバージョン番号を指定すること．

  curl -LO https://github.com/llvm/llvm-project/releases/download/llvmorg-12.0.1/LLVM-12.0.1-win64.exe
  .\LLVM-12.0.1-win64.exe
  

Ubuntu での LLVM のインストール

Ubuntu でインストールを行うには，次のコマンドを実行．

sudo apt -y update
sudo apt -y install llvm

locate コマンド

Linux では，locate コマンドを用いてファイル検索を行うことができる．

• Ubuntu でのインストール: sudo apt -y install mlocate

  mlocate に m が付いているのは書き間違いではない．

LoRA

LoRA は大規模言語モデルの学習の手法の１つである． LoRA は， 大規模言語モデルの学習において，ランク分解行列のペアを用いた学習を特徴とする． 学習可能なパラメータの数を削減を可能にしている． 具体的には，ランク分解行列のペアを用いることで，元の重み行列を低ランクな行列の積として近似することができ，これによって，元の重み行列の次元数を削減し，学習可能なパラメータ数を削減することができる．

【関連項目】 大規模言語モデル

LPIPS (Learned Perceptual Image Patch Similarity)

画像の類似尺度．Richard Zhang らにより 2018年に提案された．

• Windows でのインストール: python -m pip install lpips
• Ubuntu でのインストール: sudo pip3 install lpips

公式ページには，次の Python プログラムのソースコードが掲載されている．

import lpips
loss_fn_alex = lpips.LPIPS(net='alex') # best forward scores
loss_fn_vgg = lpips.LPIPS(net='vgg') # closer to "traditional" perceptual loss, when used for optimization

import torch
img0 = torch.zeros(1,3,64,64) # image should be RGB, IMPORTANT: normalized to [-1,1]
img1 = torch.zeros(1,3,64,64)
d = loss_fn_alex(img0, img1)

このソースコードの Google Colaboratory での実行結果は次の通りである．

• 文献

  Richard Zhang, Phillip Isola, Alexei A. Efros, Eli Shechtman, Oliver Wang, The Unreasonable Effectiveness of Deep Features as a Perceptual Metric, CVPR 2018, also CORR, abs/1801.03924v2

  https://arxiv.org/pdf/1801.03924v2.pdf

• Papers with Code のページ: https://paperswithcode.com/paper/the-unreasonable-effectiveness-of-deep
• GitHub のページ: https://github.com/richzhang/PerceptualSimilarity

【関連項目】 SSIM

LReLU (Leaky rectified linear unit)

LReLU (Leaky rectified linear unit) は，次の関数である．

f(x) = x (x>=0), alpha * x (x<0)

LReLUは，活性化関数としてよく使用されるもののうちの１つである． 活性化関数は，ニューロンの入力の合計から，そのニューロンの活性度の値を決めるためのもの． （他には，ReLU，シグモイド関数，ステップ関数，ソフトマックス関数などがある．

Keras で LReLU を使うときは，次のように書く．

m.add(LeakyReLU(alpha=0.01)

LS3D-W データセット

LS3D-W データセットは，３次元の顔ランドマーク (facial landmark)のデータセット．

これは，AFLW，300VW，iBUG 300-W，FDDB の顔画像から生成されたデータセットである．

利用には， https://www.adrianbulat.com/face-alignment での申請を必要とする．

生成手順については，次の文献に記載されている

Bulat, Adrian and Tzimiropoulos, Georgios, International Conference on Computer Vision, 2017, https://openaccess.thecvf.com/content_ICCV_2017/papers/Bulat_How_Far_Are_ICCV_2017_paper.pdf

【関連項目】 顔ランドマーク (facial landmark)

LSTM (Long Short-Term Memory)

LSTM 層を含むようなニューラルネットワークは，次の特徴を持つ

• リカレントニューラルネットワークの一種である
• 状態を維持することで，リカレントニューラルネットワークでの勾配消失問題の解決を目指している．

【関連項目】 Applications of Deep Neural Networks, ディープラーニング, リカレントニューラルネットワーク

LSTM 層(Long Short-Term Memory layer)

LSTM 層では，内部に「状態」を維持する． 状態は，ニューロンの動作のたびに変化するものである． （ふつうのニューロンでは，入力の値から出力が計算される．「状態」という考え方はない）． LSTM 層のニューロンは，今の入力，１つ前の時間の入力，１つ前の時間での状態から出力を求める．

LSUN (Large-scale Scene UNderstanding Challenge) データセット

LSUN (Large-scale Scene UNderstanding Challenge) データセット は， ラベル付きの画像データセットである． 機械学習での画像分類や画像生成の学習や検証に利用できるデータセット．

• 約100万枚のラベル付き画像
• 10種類のシーンカテゴリ
• 20種類のオブジェクトカテゴリが含まれている．

【関連情報】

• 文献

  Fisher Yu, Ari Seff, Yinda Zhang, Shuran Song, Thomas Funkhouser and Jianxiong Xiao, LSUN: Construction of a Large-scale Image Dataset using Deep Learning with Humans in the Loop, arXiv:1506.03365

• Papers With Code の LSUN データセットのページ: https://paperswithcode.com/dataset/lsun
• PyTorch の LSUN データセット https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.LSUN
• TensorFlow データセットの LSUN データセット https://www.tensorflow.org/datasets/catalog/lsun

【関連項目】 顔のデータベース

LVIS データセット

シーン解析(scene parsing)，インスタンス・セグメンテーション (instance segmentation)のデータセット

URL: https://www.lvisdataset.org/

【関連項目】 インスタンス・セグメンテーション (instance segmentation), オープンデータ, シーン解析(scene parsing)

MagickWand

MagickWand プログラムの実行

1. MagickWand のサイトから wand.c を入手．

   このプログラムは，サムネイル画像を生成するプログラム．

2. コンパイル

   以下のコマンドを実行．

   gcc `MagickWand-config --cflags --cppflags` -o wand.exe wand.c `MagickWand-config --ldflags --libs`
   

   または

   gcc -I/usr/include/ImageMagick -o wand.exe wand.c -L/usr/lib -L/usr/X11R6/lib -lMagickWand -lMagickCore -lfreetype -lz
   

3. 実行

   wand.c は，画像ファイルから，サムネイル（縮小画像）を作るプログラム．

   次のコマンドにより実行．

   ./wand.exe ＜画像ファイル名＞ ＜サムネイル・ファイル名＞
   

【関連項目】 ImageMagick

mallorbc の whisper_mic

Whisper でのマイクの使用を可能にする． 利用可能な言語モデルは，tiny，base，small，medium，large

• GitHub のページ: https://github.com/mallorbc/whisper_mic

【関連項目】 Whisper

mAP id="

機械学習による物体検出では， 「mAP」は，「mean average precision」の意味である．

Mapillary Vistas Dataset (MVD)

ストリート（街角）の25,000 枚の画像． インスタンスレベルのアノテーション， 124 のセマンティッククラス．

次の URL で公開されているデータセット（オープンデータ）である．

URL: https://www.mapillary.com/dataset/vistas

• 文献

  G. Neuhold, T. Ollmann, S. Rota Bulo, and P. Kontschieder. The mapillary vistas dataset for semantic understanding of street scenes. In ICCV, 2017.

  https://openaccess.thecvf.com/content_ICCV_2017/papers/Neuhold_The_Mapillary_Vistas_ICCV_2017_paper.pdf

【関連項目】 セマンティック・セグメンテーション (semantic segmentation), インスタンス・セグメンテーション (instance segmentation)

Mask R-CNN

セグメンテーション，物体検出，キーポイント検出等に使用されるモデル．

FPN (Feature Pyramid Network), ResNeXt101 や ResNeXt50 や ResNet101 や ResNet50 を使用．

COCO データセットで学習済みのモデル，Jupyter ノートブック (Jupyter Notebook) のデモ demo.ipynb が公開されている．

• 文献 Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick, Mask R-CNN, ICCV 2017, also, CoRR, abs/1703.06870v3 2017.

  PDF: https://arxiv.org/pdf/1703.06870v3.pdf

• 公式のソースコード (GitHub): https://github.com/BupyeongHealer/Mask_RCNN_tf_2.x
• Papers with Code のページ: https://paperswithcode.com/paper/mask-r-cnn
• TensorFlow のモデル: https://github.com/tensorflow/models
• Detectron2: https://github.com/facebookresearch/detectron2, Detectron2 のチュートリアル: https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5
• matterport の GitHub のページ: https://github.com/matterport/Mask_RCNN

【関連項目】 Detectron2, MMDetection, PANet (Path Aggregation Network), 物体検出, セグメンテーション (segmentation), keypoint detection

付属の Jupyter ノートブック (Jupyter Notebook) のデモ

Jupyter ノートブック (Jupyter Notebook) のデモが付属している．主なものは次の通り． 動作させるには，Mask R-CNN のインストールが終わっていること（下に記載）． 学習: train_shapes.ipynb 仕組み: inspect_model.ipynb 重みの視覚化: inspect_weights.ipynb

Windows での Mask R-CNN のインストール

1. Git のインストール: 別項目で説明している．

   Git の公式ページ: https://git-scm.com/

2. コマンドプロンプトを管理者として開き次のコマンドを実行する．

   cd %LOCALAPPDATA%
   rmdir /s /q Mask_RCNN
   git clone --recursive https://github.com/matterport/Mask_RCNN
   cd Mask_RCNN
   python -m pip install -U -r requirements.txt
   python setup.py install
   

Ubuntu での Mask R-CNN のインストール

1. Ubuntu でインストールを行うには，次のコマンドを実行．

   sudo apt -y update
   sudo apt -y install git
   
   cd /usr/local
   sudo rm -rf Mask_RCNN
   sudo git clone --recursive https://github.com/matterport/Mask_RCNN
   sudo chown -R $USER Mask_RCNN
   
   # システム Python の環境とは別の Python の仮想環境（システム Python を使用）を作成
   sudo apt -y update
   sudo apt -y install python3-venv
   python3 -m venv ~/a
   source ~/a/bin/activate
   
   cd /usr/local/Mask_RCNN
   sudo pip3 install -U -r requirements.txt
   sudo pip3 list
   python setup.py install
   

matplotlib

matplotlib は，オープンソースの Python のプロットライブラリ．

matplotlib を用いた散布図の描画は，別ページ »で説明

matplotlib を用いたグラフ描画の例は次の通り．

import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

x = np.linspace(0, 6, 100)
plt.style.use('ggplot')
plt.plot(x, np.sin(x))

matplotlib を用いて，OpenCV のカラー画像を表示する例は次の通り．

import cv2
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

bgr = cv2.imread("126.png")
plt.style.use('default')
plt.imshow(cv2.cvtColor(bgr, cv2.COLOR_BGR2RGB))
plt.show()

普通に Matplotlib を用いてOpenCV 画像の表示を表示すると，小さく表示される．

「plt.style.use('default')」の実行により，Matplotlib での OpenCV 画像の表示が大きくなる．

【サイト内の関連ページ】 Matplotlib（Python のまとめページ内）

【関連項目】 display

Windows での matplotlib のインストール

Windows での matplotlib, seaborn のインストールは， コマンドプロンプトを管理者として開き そのコマンドプロンプトで，次のコマンドを実行することで行う．

python -m pip install -U matplotlib seaborn

Ubuntu での matplotlib のインストール

Ubuntu での matplotlib, seaborn のインストールは， 次のコマンドを実行することで行う．

sudo apt -y update
sudo apt -y install python3-matplotlib python3-seaborn

Max-Margin 物体検出 (Max-Margin Object Detection)

画像からの物体検出 のための学習法である． 当時の，従来の，単純な物体検出 法よりも高速であり， 他の種々の物体検出 法よりも精度が劣らないとされている． サブサンプリングを行わずに，サブウインドウ（画像分類のために使用されるもの）の全体での最適化を行うことを特徴としている．

• 文献

  Davis E. King, Max-Margin Object Detection, CoRR, abs/1502.00046, 2015.

  https://arxiv.org/pdf/1502.00046v1.pdf

• Papers with code のページ: https://paperswithcode.com/paper/max-margin-object-detection

【関連項目】 物体検出

MeCab

MeCab は，形態素解析の機能を持ったソフトウェア．

Windows での MeCab のインストール

公式ページからダウンロードしてインストールする．その詳細は，別ページ »で説明

Merkaartor

Merkaartor は， OpenStreetMap の編集ソフトウェア． OpenStreetMap，ESRI Shape データ，Bing，Spatialite を扱う機能がある． Windows 版，Linux 版，Mac OS X 版もある．ソースコードは公開されている．

【サイト内の関連ページ】

• Windows での Merkaartor のインストール，OpenStreetMap データのダウンロード（Windows 上）: 別ページ »で説明
• Ubuntu での Merkaartor のインストール，OpenStreetMap データのダウンロード（Ubuntu 上）: 別ページ »で説明

【関連する外部ページ】

Merkaartor の公式ページ: http://merkaartor.be

GitHub のページ: https://github.com/openstreetmap/merkaartor/

MeshLab

MeshLab は, ３次元データ（３次元点群データや，メッシュデータ）について表示, 簡易編集, データの間引き, 形式変換, 張り合わせ, 分割, 解析などが行えるソフトウェア

URL: http://meshlab.sourceforge.net/

【関連項目】 メッシュ簡略化 (Mesh Simplification) , メッシュ平滑化 (Mesh Smoothing)

Windows での MeshLab のインストール

Windows での MeshLab のインストールには，複数の方法がある．次のいずれかによりインストールできる．

• winget をインストールしたのち，コマンドプロンプトを管理者として開き「winget install MeshLab」を実行
• MeshLab のページ http://meshlab.sourceforge.net/ からダウンロードしてインストール:

  詳しくは: 別ページ »で説明

Ubuntu での Meshlab のインストール

Ubuntu での MeshLab のインストール: 別ページ »で説明

Meshroom

Meshroom は フォトグラメトリ のソフトウェアである． Structure from Motion を，GUI を用いて簡単に行うことができる． 動作画面の一部は次の通りである． カメラの撮影位置と，オブジェクトの３次元形状が表示されている．

meshroom の URL （ここから Meshroom をダウンロード可能）: https://alicevision.org/

【関連項目】 3次元再構成 (3D reconstruction), OpenMVG, OpenMMLab, Structure from Motion (SfM)

Metis

Windows での Metis のインストール

Windows での Metis のインストール: 別ページ »で説明 Ubuntu での Metis のインストール: 別ページ »で説明

MhLiao の DB

テキスト検知 (text detection), テキスト認識 (text recognition) の機能を持つ．

文献

Liao, Minghui and Wan, Zhaoyi and Yao, Cong and Chen, Kai and Bai, Xiang, Real-time Scene Text Detection with Differentiable Binarization, Proc. AAAI, 2020.

【関連項目】 テキスト検知 (text detection), テキスト認識 (text recognition)

Google Colaboratory でのインストール

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

%cd /content
!rm -rf DB
!git clone https://github.com/MhLiao/DB.git
%cd DB
!pip3 install -r requirement.txt
%cd assets/ops/dcn/
!python3 setup.py build_ext --inplace

MIT Scene Parsing Benchmark

ADE20K データセット から派生した， シーン解析(scene parsing) のデータと， オブジェクトのパーツ (object parts) のセグメンテーションのデータ．

• 20,000 枚以上の画像
• ADE20K データセット のカテゴリのうち，150 のカテゴリを使用．人，車，ベッドなど，
• ピクセル単位で，オブジェクトとオブジェクトパーツのラベルがアノテーションされている．

次の URL で公開されているデータセット（オープンデータ）である．

http://sceneparsing.csail.mit.edu/

【関連情報】

• MIT Scene Parsing Benchmark: http://sceneparsing.csail.mit.edu/
• Instruction for the Instance Segmentation Task: https://github.com/CSAILVision/placeschallenge/tree/master/instancesegmentation
• TensorFlow データセットの scene parse 150 データセット: https://www.tensorflow.org/datasets/catalog/scene_parse150

【関連項目】 ADE20K データセット, CASILVision, セマンティック・セグメンテーション (semantic segmentation), シーン解析(scene parsing)， インスタンス・セグメンテーション (instance segmentation)

Windows でのダウンロードと展開

c:\date 下にダウンロード，展開する．

Windows では，コマンドプロンプトを管理者として実行し， 次のコマンドを実行する．

mkdir /p c:\data
cd c:\data
curl -O http://data.csail.mit.edu/places/ADEchallenge/ADEChallengeData2016.zip
rmdir /s /q ADEChallengeData2016
powershell -command "Expand-Archive -DestinationPath . -Path ADEChallengeData2016.zip"

ファイルの配置は次のようになる．

ADEChallengeData2016/
  annotations/
  images/
  objectInfo150.txt
  sceneCategories.txt

MiVOS

MiVOSは、対話型のビデオオブジェクトセグメンテーション(interactive video object segmentation)の新しい手法として提案されている．このシステムはユーザーのインタラクションを取り入れつつ、特定のフレームでのセグメンテーション結果を他のフレームに効果的に伝搬させることができる．インタラクションと伝搬を分離するため、MiVOSはInteraction-to-Mask、Propagation、そしてDifference-Aware Fusionの3つの主要モジュールを採用している．2021年発表．

【文献】

Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation, Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung, NeurIPS, also arXiv:2106.05210v2, 2021.

https://arxiv.org/pdf/2106.05210v2.pdf

Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion, Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung, CVPR, also, arXiv:2103.07941v3, 2021.

https://arxiv.org/pdf/2103.07941v3.pdf

【サイト内の関連ページ】

【サイト内の関連ページ】

• MiVOS のインストールと動作（Windows 上）別ページ »で説明

【関連する外部ページ】

• GitHub の公式のページ(STCNバージョン) https://github.com/hkchengrex/MiVOS/tree/MiVOS-STCN
• GitHub の公式ページ: https://github.com/hkchengrex/MiVOS
• Paper with Code のページ: https://paperswithcode.com/paper/modular-interactive-video-object-segmentation

mixamo

キャラクタと動きのアセットを公開しているサイト．fbx形式でダウンロードできる．

URL: https://www.mixamo.com

【関連用語】 3次元コンピュータグラフィックス, human pose, human motion

MMAction2

MMAction2 は， OpenMMLab の構成物で，動作認識 (action recognition)の機能を提供する．

• 文献

  MMAction2 Contributors, OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark, https://github.com/open-mmlab/mmaction2, 2020.

• MMAction2 の GitHub のページ: https://github.com/open-mmlab/mmaction2
• MMAction2 の公式ドキュメント: https://mmaction2.readthedocs.io/en/latest/
• MMAction2 の訓練，検証，推論の公式チュートリアル: https://colab.research.google.com/github/open-mmlab/mmaction2/blob/master/demo/mmaction2_tutorial.ipynb
• MMAction2 の公式の学習済みモデル: https://mmaction2.readthedocs.io/en/latest/model_zoo/recognition.html
• MMAction2 の公式のデモのドキュメント: https://github.com/open-mmlab/mmaction2/blob/master/demo/README.md#skeleton-based-action-recognition-demo

【関連項目】 AVA, MMCV, OpenMMLab, PoseC3D, Spatio-Temporal Action Recognition, Temporal Segment Networks (TSN), スケルトンベースの動作認識 (skelton-based action recognition), 動作認識 (action recognition)

Google Colaboratory で MMAction2 による動作認識 (action recognition)，スケルトンベースの動作認識，Spatio-Temporal Action Recognition の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. MMCV 1.6.2 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

3. MIM, MMClassification, MMSegmentation, MMDetection, MMTracking, MMPose のインストール．MMPose のインストール後は numpy, scipy の更新も行う．

   https://github.com/open-mmlab/mmpose/blob/master/docs/en/install.md#install-mmposeに記載の手順による．

   MMCV 1.6.2 をインストールしたので，MMDetection は 2系列になる（3系列は動かない）(2023年4月時点)．

   !python -m pip install -U openmim opencv-python
   !python -m pip install -U mmcv-full==1.6.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmclassification.git
   !python -m pip install -U mmdet==2.28.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmsegmentation.git
   !python -m pip install -U git+https://github.com/open-mmlab/mmtracking.git
   !python -m pip install -U git+https://github.com/open-mmlab/mmpose.git
   !apt -y install python3-numpy
   !apt -y install python3-scipy
   !python -c "import mmcls; print(mmcls.__version__)"
   !python -c "import mmdet; print(mmdet.__version__)"
   !python -c "import mmseg; print(mmseg.__version__)"
   !python -c "import mmtrack; print(mmtrack.__version__)"
   !python -c "import mmpose; print(mmpose.__version__)"
   
   !pip3 install git+https://github.com/votchallenge/toolkit.git
   

   
4. MMAction2 のインストール

   !mim install mmaction2 -f https://github.com/open-mmlab/mmaction2.git
   !pip3 show mmaction2
   
   %cd /content
   !rm -rf mmaction2
   !git clone https://github.com/open-mmlab/mmaction2.git
   %cd mmaction2
   !pip3 install -r requirements/optional.txt
   

   
5. MMAction2 の学習済みモデルのダウンロード

   Temporal Segment Networks (TSN), ResNet50, ImageNet, Kinetics-400 のものをダウンロード．

   MMAction2 の Temporal Segment Networks (TSN) の説明ページ: https://github.com/open-mmlab/mmaction2/blob/master/configs/recognition/tsn/README.md

   !curl -O https://download.openmmlab.com/mmaction/recognition/tsn/tsn_r50_1x1x3_100e_kinetics400_rgb/tsn_r50_1x1x3_100e_kinetics400_rgb_20200614-e508be42.pth
   !mkdir checkpoints
   !mv tsn_r50_1x1x3_100e_kinetics400_rgb_20200614-e508be42.pth checkpoints
   

   
6. Temporal Segment Networks (TSN) による動作認識 (action recognition)（MMAction2 を使用）

   公式のチュートリアル: https://github.com/open-mmlab/mmaction2/blob/master/demo/mmaction2_tutorial.ipynb に記載のプログラムを使用

   このプログラムは，Temporal Segment Networks (TSN), ResNet50, ImageNet, Kinetics-400 を使用

   import torch
   from mmaction.apis import inference_recognizer, init_recognizer
   
   # Choose to use a config and initialize the recognizer
   config = 'configs/recognition/tsn/tsn_r50_video_inference_1x1x3_100e_kinetics400_rgb.py'
   # Setup a checkpoint file to load
   checkpoint = 'checkpoints/tsn_r50_1x1x3_100e_kinetics400_rgb_20200614-e508be42.pth'
   
   # Initialize the recognizer
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_recognizer(config, checkpoint, device=device)
   
   # Use the recognizer to do inference
   video = 'demo/demo.mp4'
   label = 'tools/data/kinetics/label_map_k400.txt'
   results = inference_recognizer(model, video)
   
   labels = open(label).readlines()
   labels = [x.strip() for x in labels]
   results = [(labels[k[0]], k[1]) for k in results]
   
   # Let's show the results
   for result in results:
       print(f'{result[0]}: ', result[1])
   

   
7. MMAction2 の学習済みモデルのダウンロード

   PoseC3D, SlowOnly-R50, NTU120_XSub のものをダウンロード．

   MMAction2 の PoseC3D の説明ページ: https://github.com/open-mmlab/mmaction2/blob/master/configs/skeleton/posec3d/README.md

   !curl -O https://download.openmmlab.com/mmaction/skeleton/posec3d/slowonly_r50_u48_240e_ntu120_xsub_keypoint/slowonly_r50_u48_240e_ntu120_xsub_keypoint-6736b03f.pth
   !mkdir checkpoints
   !mv slowonly_r50_u48_240e_ntu120_xsub_keypoint-6736b03f.pth checkpoints
   

   
8. PoseC3D によるスケルトンベースの動作認識 (skelton-based action recognition)（MMAction2 を使用）

   MMAction2 の公式のデモのドキュメント: https://github.com/open-mmlab/mmaction2/blob/master/demo/README.md#skeleton-based-action-recognition-demo に記載のプログラムを使用

   このプログラムは， 人物検出(human detection) に Faster RCNN を使用． 姿勢推定(pose estimation) に HRNetw32 を使用． スケルトンベースの動作認識 (skelton-based action recognition)に，PoseC3D, SlowOnly-R50, NTU120_XSub を使用．

   !python3 demo/demo_skeleton.py demo/ntu_sample.avi demo/skeleton_demo.mp4 \
       --config configs/skeleton/posec3d/slowonly_r50_u48_240e_ntu120_xsub_keypoint.py \
       --checkpoint checkpoints/slowonly_r50_u48_240e_ntu120_xsub_keypoint-6736b03f.pth \
       --det-config demo/faster_rcnn_r50_fpn_2x_coco.py \
       --det-checkpoint http://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_2x_coco/faster_rcnn_r50_fpn_2x_coco_bbox_mAP-0.384_20200504_210434-a5d8aa15.pth \
       --det-score-thr 0.9 \
       --pose-config demo/hrnet_w32_coco_256x192.py \
       --pose-checkpoint https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w32_coco_256x192-c78dce93_20200708.pth \
       --label-map tools/data/skeleton/label_map_ntu120.txt
   

   

   mmaction/demo/skeleton_demo.mp4 を確認

   
9. MMAction2 の学習済みモデルのダウンロード

   AVA, OmniSource, ResNet101 のものをダウンロード．

   MMAction2 の AVA の説明ページ: https://github.com/open-mmlab/mmaction2/blob/master/configs/detection/ava/README.md

   !curl -O https://download.openmmlab.com/mmaction/detection/ava/slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb/slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb_20201217-16378594.pth
   !mkdir checkpoints
   !mv slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb_20201217-16378594.pth checkpoints
   

   
10. AVA による Spatio-Temporal Action Recognition （MMAction2 を使用）

    MMAction2 の公式のデモのドキュメント: https://github.com/open-mmlab/mmaction2/blob/master/demo/README.md#skeleton-based-action-recognition-demo に記載のプログラムを使用

    このプログラムは， 人物検出(human detection) に Faster RCNN を使用． 動作認識 (action recognition)に，SlowOnly-8x8-R101 を使用． ８フレームごとに予測を行い，４フレームごとに１フレームを出力する．

    !python3 demo/demo_spatiotemporal_det.py --video demo/demo.mp4 \
        --config configs/detection/ava/slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb.py \
        --checkpoint checkpoints/slowonly_omnisource_pretrained_r101_8x8x1_20e_ava_rgb_20201217-16378594.pth \
        --det-config demo/faster_rcnn_r50_fpn_2x_coco.py \
        --det-checkpoint http://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_2x_coco/faster_rcnn_r50_fpn_2x_coco_bbox_mAP-0.384_20200504_210434-a5d8aa15.pth \
        --det-score-thr 0.9 \
        --action-score-thr 0.5 \
        --label-map tools/data/ava/label_map.txt \
        --predict-stepsize 8 \
        --output-stepsize 4 \
        --output-fps 6
    

    

    mmaction/demo/stdet_demo.mp4 を確認

    

MMPretrain

MMPretrain は， OpenMMLab の構成物で， 画像分類のツールボックスとベンチマークの機能を提供する．

【文献】

MMClassification Contributors, OpenMMLab's Image Classification Toolbox and Benchmark, https://github.com/open-mmlab/mmclassification, 2020.

【サイト内の関連ページ】 画像分類（MMPretrain のインストールと動作確認）（PyTorch，Python を使用）（Windows 上）

【関連する外部ページ】

• MMPretrain の GitHub のページ: https://github.com/open-mmlab/mmpretrain
• MMPretrain の公式ドキュメント: https://mmpretrain.readthedocs.io/en/latest/
• MMPretrain での訓練（公式ドキュメント）: https://mmpretrain.readthedocs.io/en/latest/user_guides/train.html
• MMPretrain の公式の学習済みモデル: https://mmpretrain.readthedocs.io/en/latest/modelzoo_statistics.html
• MMPretrain の model zoo のページ: https://github.com/open-mmlab/mmpretrain/blob/master/docs/en/model_zoo.md

【関連項目】 OpenMMLab, MMCV, MMFewShot

Google Colaboratory で，MMClassification による画像分類の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. MIM のインストール

   !pip3 install git+https://github.com/open-mmlab/mim.git
   

2. MMCV, MMClassification のインストール．

   https://mmclassification.readthedocs.io/en/latest/install.html の記載の手順による

   %cd /content
   !rm -rf mmclassification
   !git clone https://github.com/open-mmlab/mmclassification.git
   %cd mmclassification
   !git checkout dev
   !mim install -e .
   !pip3 show mmcls
   

   
3. MMClassification の学習済みモデルのダウンロード

   ResNet50, ImageNet-1k のものをダウンロード．

   MMClassification の ResNet の説明ページ: https://github.com/open-mmlab/mmclassification/tree/master/configs/resnet

   !curl -O https://download.openmmlab.com/mmclassification/v0/resnet/resnet50_8xb32_in1k_20210831-ea4938fc.pth
   !mkdir checkpoints
   !mv resnet50_8xb32_in1k_20210831-ea4938fc.pth checkpoints
   

   
4. ResNet50による画像分類の実行（MMClassification を使用）

   このプログラムは，ResNet50, ImageNet-1k を使用．

   import torch
   from mmcls.apis import inference_model, init_model, show_result_pyplot
   
   fimg = 'demo/demo.JPEG'
   fconfig = 'configs/resnet/resnet50_8xb32_in1k.py'
   fcheckpoint = 'checkpoints/resnet50_8xb32_in1k_20210831-ea4938fc.pth'
   
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_model(fconfig, fcheckpoint, device=device)
   result = inference_model(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result)
   

   

Windows で，MMClassification のインストールと，画像分類の実行

MMClassification のインストールと動作確認（画像分類）（PyTorch，Python を使用）: 別ページ »で説明

MMCV

MMCV は， OpenMMLab の構成物で，基礎的な機能を提供する．

【文献】

MMCV Contributors, MMCV: OpenMMLab Computer Vision Foundation, https://github.com/open-mmlab/mmcv, 2018.

【関連する外部ページ】

• MMCV の GitHub のページ: https://github.com/open-mmlab/mmcv
• MMCV の公式ドキュメント: https://mmcv.readthedocs.io/en/latest/

【関連項目】 OpenMMLab, MMAction2, MMClassification MMDetection, MMFewShot, MMFlow, MMGen, MMPose, MMSegmentation, MMSegmentation3D, MMSelfSup, MMTracking

Google Colaboratory での MMCV のインストール

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）NVIDIA CUDA ツールキット のバージョンを確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMCV 1.6.2 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

Windows での MMCV のインストール

MMCV のインストールと動作確認（画像表示など）（PyTorch，Python を使用）: 別ページ »で説明

Ubuntu での MMCV のインストール

MMCV 1.7.1 のインストール

インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

sudo apt install -y python3-terminaltables
sudo apt install -y python3-opencv
python3 -m pip uninstall -y mmcv mmcv-full
python3 -m pip install mmcv==1.6.2

MMDetection

MMDetection は， OpenMMLab の構成物で，物体検出， インスタンス・セグメンテーション (instance segmentation), パノプティック・セグメンテーション (panoptic segmentation) の機能を提供する．

【文献】

Chen, Kai and Wang, Jiaqi and Pang, Jiangmiao and Cao, Yuhang and Xiong, Yu and Li, Xiaoxiao and Sun, Shuyang and Feng, Wansen and Liu, Ziwei and Xu, Jiarui and Zhang, Zheng and Cheng, Dazhi and Zhu, Chenchen and Cheng, Tianheng and Zhao, Qijie and Li, Buyu and Lu, Xin and Zhu, Rui and Wu, Yue and Dai, Jifeng and Wang, Jingdong and Shi, Jianping and Ouyang, Wanli and Loy, Chen Change and Lin, Dahua, MMDetection: Open MMLab Detection Toolbox and Benchmark, arXiv:1906.07155, 2019.

【サイト内の関連ページ】 物体検出の実行（MMDetection，PyTorch，Python を使用）（Windows 上）

【関連する外部ページ】

• MMDetection の GitHub のページ: https://github.com/open-mmlab/mmdetection
• MMDetection の公式ドキュメント: https://mmdetection.readthedocs.io
• MMDetection の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmdetection/blob/master/demo/MMDet_Tutorial.ipynb
• MMDetection の公式の学習済みモデル: https://github.com/open-mmlab/mmdetection/blob/master/docs/en/model_zoo.md

【関連項目】 DETR, Deformable DETR, Mask R-CNN, MMCV, MMFewShot, MMPose, MMSegmentation, MMSegmentation3D, MMSelfSup, MMTracking, OpenMMLab, RetinaNet, Seesaw Loss, SSD, YOLOv3, YOLOv4, YOLOX, インスタンス・セグメンテーション (instance segmentation), パノプティック・セグメンテーション (panoptic segmentation) 物体検出

Google Colaboratory で，MMDetection による物体検出とセグメンテーションの実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. MIM のインストール

   !pip3 install git+https://github.com/open-mmlab/mim.git
   

2. MMCV, MMDetection のインストール．

   https://github.com/open-mmlab/mmdetection/blob/master/docs/en/get_started.md に記載の手順による

   
   !mim install mmdet
   !pip3 show mmdet
   

   
3. MMDetection のソースコード等のダウンロード

   あとで使用する

   %cd /content
   !rm -rf mmdetection
   !git clone https://github.com/open-mmlab/mmdetection.git
   %cd mmdetection
   

   
4. MMDetection の学習済みモデルのダウンロード

   Mask R-CNN, FPN (Feature Pyramid Network), Lr schd = 3x のものをダウンロード．

   MMDetection の Mask R-CNN の説明ページ: https://github.com/open-mmlab/mmdetection/tree/master/configs/mask_rcnn

   !curl -O https://download.openmmlab.com/mmdetection/v2.0/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth
   !mkdir checkpoints
   !mv mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth checkpoints
   

   
5. Mask R-CNN による 物体検出とセグメンテーションの実行（MMDetectionを使用）

   MMDetection の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmdetection/blob/master/demo/MMDet_Tutorial.ipynb に記載のプログラムを使用

   このプログラムは，Mask R-CNN, FPN (Feature Pyramid Network), Lr schd = 3x を使用．

   import torch
   from mmdet.apis import inference_detector, init_detector, show_result_pyplot
   
   fimg = 'demo/demo.jpg'
   fconfig = 'configs/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco.py'
   fcheckpoint = 'checkpoints/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth'
   
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_detector(fconfig, fcheckpoint, device=device)
   result = inference_detector(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result, score_thr=0.3)
   

   

Windows で，MMDetection のインストールと，物体検出の実行

MMDetection のインストールと動作確認（物体検出）（PyTorch，Python を使用）: 別ページ »で説明

Ubuntu での MMDetection のインストール

1. インストール

   「git checkout v0.14.0」は，バージョン 2.14.0 を指定している． これは，https://mmdetection3d.readthedocs.io/en/latest/get_started.html での2021/08 時点の説明による．将来はバージョン番号が変わる可能性があり，このページを確認してから，インストールを行うこと．

   Ubuntu でインストールを行うには，次のコマンドを実行．

   sudo apt -y update
   sudo apt -y install git
   
   cd /usr/local
   sudo git clone https://github.com/open-mmlab/mmdetection.git
   sudo chown -R $USER mmdetection
   cd mmdetection
   git checkout v2.14.0
   sudo pip3 install -r requirements\build.txt
   python3 setup.py develop
   pip3 install instaboostfast
   # for panoptic segmentation
   pip3 install git+https://github.com/cocodataset/panopticapi.git
   # for LVIS dataset
   pip3  install git+https://github.com/lvis-dataset/lvis-api.git
   

2. 動作確認

   Ubuntu の場合は， mmcv のドキュメント: https://mmcv.readthedocs.io/en/latest/ の手順がそのまま使えそうである．

MMEditing

MMEditing は， OpenMMLab の構成物で， イメージ・インペインティング(image inpainting)，画像のノイズ除去 (画像のノイズ除去 (image restoration)), イメージ・マッティング (image matting), 超解像 (super resolution), 画像生成の機能を持つ．

• 文献

  MMEditing Contributors, OpenMMLab Editing Estimation Toolbox and Benchmark, https://github.com/open-mmlab/mmediting, 2020.

• MMEditing の GitHub のページ: https://github.com/open-mmlab/mmediting
• MMEditing の公式ドキュメント: https://mmediting-jm.readthedocs.io/en/latest/
• MMEditing の image matting の公式チュートリアル: https://github.com/open-mmlab/mmediting/blob/master/demo/matting_tutorial.ipynb
• MMEditing の 画像のノイズ除去 (image restoration) の公式チュートリアル: https://github.com/open-mmlab/mmediting/blob/master/demo/restorer_basic_tutorial.ipynb
• MMEditing の公式の学習済みモデル: https://mmediting-jm.readthedocs.io/en/latest/model_zoo.html

【関連項目】 MMCV, OpenMMLab, SRCNN, ESRGAN, EDvR, BasicVSR image inpainting, 画像のノイズ除去 (image restoration), イメージ・マッティング (image matting), 超解像 (super resolution), generation

Google Colaboratory で MMEditing の SRCNN, ESRGAN, EDVR, BasicVSR による超解像 (super resolution) の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

6. MIM, MMEditing のインストール

   !python -m pip install -U openmim opencv-python
   
   %cd /content
   !rm -rf mmediting
   !git clone https://github.com/open-mmlab/mmediting.git
   %cd mmediting
   !pip3 install -r requirements/build.txt
   !pip3 install .
   

   
7. MMEditing のデモファイルのダウンロード

   %cd /content/mmediting
   !curl -O https://download.openmmlab.com/mmediting/demo_files.zip
   !rm -rf demo_files
   !unzip demo_files
   

   
8. 超解像 (super resolution) の実行
   • SRCNN による画像の超解像 (super resolution) の実行

     学習済みモデルを使用．

     MMEditing の SRCNN の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/srcnn/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/restoration_demo.py ./configs/restorers/srcnn/srcnn_x4k915_g1_1000k_div2k.py https://download.openmmlab.com/mmediting/restorers/srcnn/srcnn_x4k915_1x16_1000k_div2k_20200608-4186f232.pth ./demo_files/lq_images/bird.png ./outputs/bird_SRCNN.png
     
     from PIL import Image
     Image.open('./demo_files/lq_images/bird.png').show()
     Image.open('./outputs/bird_SRCNN.png').show()
     

     
   • ESRGAN による画像の超解像 (super resolution) の実行

     学習済みモデルを使用．

     MMEditing の ESRGAN の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/esrgan/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/restoration_demo.py ./configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py https://download.openmmlab.com/mmediting/restorers/esrgan/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth ./demo_files/lq_images/bird.png ./outputs/bird_ESRGAN.png
     
     from PIL import Image
     Image.open('./demo_files/lq_images/bird.png').show()
     Image.open('./outputs/bird_ESRGAN.png').show()
     

     
   • EDVR による連続画像の超解像 (super resolution) の実行

     学習済みモデルを使用．

     MMEditing の EDVR の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/edvr/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/restoration_video_demo.py ./configs/restorers/edvr/edvrm_wotsa_x4_g8_600k_reds.py https://download.openmmlab.com/mmediting/restorers/edvr/edvrm_wotsa_x4_8x4_600k_reds_20200522-0570e567.pth demo_files/lq_sequences/city/ ./outputs/city_EDVR --window_size=5
     
     from PIL import Image
     Image.open('./demo_files/lq_sequences/city/00000000.png').show()
     Image.open('./outputs/city_EDVR/00000000.png').show()
     Image.open('./demo_files/lq_sequences/city/00000001.png').show()
     Image.open('./outputs/city_EDVR/00000001.png').show()
     Image.open('./demo_files/lq_sequences/city/00000002.png').show()
     Image.open('./outputs/city_EDVR/00000002.png').show()
     Image.open('./demo_files/lq_sequences/city/00000003.png').show()
     Image.open('./outputs/city_EDVR/00000003.png').show()
     Image.open('./demo_files/lq_sequences/city/00000004.png').show()
     Image.open('./outputs/city_EDVR/00000004.png').show()
     Image.open('./demo_files/lq_sequences/city/00000005.png').show()
     Image.open('./outputs/city_EDVR/00000005.png').show()
     

     
     
   • BasicVSR (Recurrent framework) の実行

     学習済みモデルを使用．

     MMEditing の EDVR の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/restorers/edvr/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/restoration_video_demo.py ./configs/restorers/basicvsr/basicvsr_reds4.py https://download.openmmlab.com/mmediting/restorers/basicvsr/basicvsr_reds4_20120409-0e599677.pth demo_files/lq_sequences/city/ ./outputs/city_BasicVSR
     
     from PIL import Image
     Image.open('./demo_files/lq_sequences/city/00000000.png').show()
     Image.open('./outputs/city_BasicVSR/00000000.png').show()
     Image.open('./demo_files/lq_sequences/city/00000001.png').show()
     Image.open('./outputs/city_BasicVSR/00000001.png').show()
     Image.open('./demo_files/lq_sequences/city/00000002.png').show()
     Image.open('./outputs/city_BasicVSR/00000002.png').show()
     Image.open('./demo_files/lq_sequences/city/00000003.png').show()
     Image.open('./outputs/city_BasicVSR/00000003.png').show()
     Image.open('./demo_files/lq_sequences/city/00000004.png').show()
     Image.open('./outputs/city_BasicVSR/00000004.png').show()
     Image.open('./demo_files/lq_sequences/city/00000005.png').show()
     Image.open('./outputs/city_BasicVSR/00000005.png').show()
     

     
     
9. image inpainting の実行
   • DeepFillv2 による image impainting の実行

     学習済みモデルを使用．

     MMEditing の DeepFillv2 の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/inpainting/deepfillv2/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/inpainting_demo.py configs/inpainting/deepfillv2/deepfillv2_256x256_8x2_celeba.py https://download.openmmlab.com/mmediting/inpainting/deepfillv2/deepfillv2_256x256_8x2_celeba_20200619-c96e5f12.pth tests/data/image/celeba_test.png tests/data/image/bbox_mask.png tests/data/pred/inpainting_celeba.png
     
     from PIL import Image
     Image.open('./tests/data/image/celeba_test.png').show()
     Image.open('./tests/data/pred/inpainting_celeba.png').show()
     

     
   • Global&Local による image impainting の実行

     学習済みモデルを使用．

     MMEditing の Global&Local の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/inpainting/global_local/README.md

     コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

     !python3 demo/inpainting_demo.py configs/inpainting/global_local/gl_256x256_8x12_celeba.py https://download.openmmlab.com/mmediting/inpainting/global_local/gl_256x256_8x12_celeba_20200619-5af0493f.pth tests/data/image/celeba_test.png tests/data/image/bbox_mask.png tests/data/pred/inpainting_celeba.png
     
     from PIL import Image
     Image.open('./tests/data/image/celeba_test.png').show()
     Image.open('./tests/data/pred/inpainting_celeba.png').show()
     

     
10. image matting の実行
    • GCA による image matting の実行

      学習済みモデルを使用．

      MMEditing の GCA の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/gca/README.md

      コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

      !python3 demo/matting_demo.py configs/mattors/gca/gca_r34_4x10_200k_comp1k.py https://download.openmmlab.com/mmediting/mattors/gca/gca_r34_4x10_200k_comp1k_SAD-34.77_20200604_213848-4369bea0.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png
      
      from PIL import Image
      Image.open('./tests/data/merged/GT05.jpg'))
      Image.open('./tests/data/trimap/GT05.png').show()
      Image.open('./tests/data/pred/GT05.png').show()
      

      
      
      
    • IndexNet による image matting の実行

      学習済みモデルを使用．

      MMEditing の IndexNet の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/indexnet/README.md

      コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

      !python3 demo/matting_demo.py configs/mattors/indexnet/indexnet_mobv2_1x16_78k_comp1k.py https://download.openmmlab.com/mmediting/mattors/indexnet/indexnet_mobv2_1x16_78k_comp1k_SAD-45.6_20200618_173817-26dd258d.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png
      
      from PIL import Image
      Image.open('./tests/data/merged/GT05.jpg'))
      Image.open('./tests/data/trimap/GT05.png').show()
      Image.open('./tests/data/pred/GT05.png').show()
      

      
      
      
    • DIM による image matting の実行

      学習済みモデルを使用．

      MMEditing の DIM の説明ページ: https://github.com/open-mmlab/mmediting/blob/master/configs/mattors/dim/README.md

      コマンドの説明: https://github.com/open-mmlab/mmediting/blob/master/docs/en/getting_started.md

      !python3 demo/matting_demo.py configs/mattors/dim/dim_stage3_v16_pln_1x1_1000k_comp1k.py https://download.openmmlab.com/mmediting/mattors/dim/dim_stage3_v16_pln_1x1_1000k_comp1k_SAD-50.6_20200609_111851-647f24b6.pth tests/data/merged/GT05.jpg tests/data/trimap/GT05.png tests/data/pred/GT05.png
      from PIL import Image
      Image.open('./tests/data/merged/GT05.jpg'))
      Image.open('./tests/data/trimap/GT05.png').show()
      Image.open('./tests/data/pred/GT05.png').show()
      

      
      
      

MMFewShot

MMFewShot は， OpenMMLab の構成物で， Few Shot Classification, Few Shot Detection の機能を提供する．

【文献】

mmfewshot Contributors, OpenMMLab Few Shot Learning Toolbox and Benchmark, https://github.com/open-mmlab/mmfewshot, 2021.

【関連する外部ページ】

• MMFewShot の公式ドキュメント: https://mmfewshot.readthedocs.io
• MMFewShot のデモの公式ドキュメント: https://github.com/open-mmlab/mmfewshot/blob/main/demo/README.md MMFewShot の公式の学習済みモデル: https://github.com/open-mmlab/mmfewshot/blob/main/docs/en/model_zoo.md

【関連項目】 Few Shot Detection, OpenMMLab, MMClassification, MMCV, MMDetection,

Google Colaboratory で，MMFewShot による Few Shot Detection の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. MIM のインストール

   !pip3 install git+https://github.com/open-mmlab/mim.git
   

3. MMCV, MMDetection, MMClassification のインストール．

   https://mmclassification.readthedocs.io/en/latest/install.html, https://github.com/open-mmlab/mmdetection/blob/master/docs/en/get_started.md に記載の手順による

   
   !mim install mmdet
   !pip3 show mmdet
   cd /content
   !rm -rf mmclassification
   !git clone https://github.com/open-mmlab/mmclassification.git
   %cd mmclassification
   !git checkout dev
   !mim install -e .
   !pip3 show mmcls
   

   
4. MMFewShot のインストール

   https://github.com/open-mmlab/mmfewshot/blob/main/docs/en/install.md に記載の手順による．

   %cd /content
   !rm -rf mmfewshot
   !git clone https://github.com/open-mmlab/mmfewshot.git
   %cd mmfewshot
   !pip3 install -r requirements/build.txt
   !python3 setup.py develop
   !pip3 show mmfewshot
   

   
5. Few Shot Detection の実行

   %cd /content/mmfewshot
   import os
   from mmdet.apis import show_result_pyplot
   from mmfewshot.detection.apis import (inference_detector, init_detector, process_support_images)
   %matplotlib inline
   import matplotlib.pyplot as plt
   import torch
   import torchvision.models as models
   from IPython.display import display
   
   fconfig = 'configs/detection/attention_rpn/coco/attention-rpn_r50_c4_4xb2_coco_base-training.py'
   fcheckpoint = 'https://download.openmmlab.com/mmfewshot/detection/attention_rpn/coco/attention-rpn_r50_c4_4xb2_coco_base-training_20211102_003348-da28cdfd.pth'
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   fsupport_images_dir = 'demo/demo_detection_images/support_images'
   
   model = init_detector(fconfig,fcheckpoint, device=device)
   
   files = os.listdir(fsupport_images_dir)
   support_images = [
       os.path.join(fsupport_images_dir, file) for file in files
   ]
   classes = [file.split('.')[0] for file in files]
   support_labels = [[file.split('.')[0]] for file in files]
   print("support_images")
   display(support_images)
   print("classes")
   display(classes)
   print("support_labels")
   display(support_labels)
   process_support_images(model, support_images, support_labels, classes=classes)
   
   # single image
   fimage = 'demo/demo_detection_images/query_images/demo_query.jpg'
   fscore_thr = 0.3
   result = inference_detector(model, fimage)
   show_result_pyplot(model, fimage, result, score_thr=fscore_thr)
   

   

Windows で，MMFewShot のインストールと，物体検出の実行

MMCV 1.6.0, MMDetection 2.25.0，MMFewShot のインストールと動作確認（画像分類，物体検出）（PyTorch，Python を使用）: 別ページ »で説明

MMFlow

MMFlow は， OpenMMLab の構成物で，オプティカルフローの機能を提供する．

【文献 】

MMFlow Contributors, MMFlow: OpenMMLab Optical Flow Toolbox and Benchmark, https://github.com/open-mmlab/mmflow, 2021.

【関連する外部ページ 】

• MMFlow の GitHub のページ: https://github.com/open-mmlab/mmflow
• MMFlow の公式ドキュメント: https://mmflow.readthedocs.io
• MMFlow の公式のデモ（プログラムやデータなど）: https://github.com/open-mmlab/mmflow/tree/master/demo
• MMFlow の公式の学習済みモデル: https://github.com/open-mmlab/mmflow/blob/master/docs/en/model_zoo.md

【関連項目】 OpenMMLab, MMCV, optical flow

Windows で，MMFlow のインストールとオプティカルフローの実行

MMFlow のインストールと動作確認（オプティカルフロー）（PyTorch，Python を使用）: 別ページ »で説明

Google Colaboratory で MMFlow によるオプティカルフローの算出

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMFlow のインストール

   !rm -rf mmflow
   !git clone https://github.com/open-mmlab/mmflow.git
   %cd mmflow
   !pip3 install -r requirements/build.txt
   !pip3 install .
   

   
6. 動画ファイルに対して，オプティカルフローを算出

   学習済みモデルを使用．

   !curl -O https://download.openmmlab.com/mmflow/raft/raft_8x2_100k_mixed_368x768.pth
   !python3 demo/video_demo.py demo/demo.mp4 \
       configs/raft/raft_8x2_100k_mixed_368x768.py \
       raft_8x2_100k_mixed_368x768.pth \
       raft_demo.mp4 --gt demo/demo_gt.mp4
   

   

   結果として raft_demo_gt.mp4 ができるので，ダウンロードして，表示して確認する．

MMGen

Google Colaboratory で MMGEN による StyleGAN の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

6. MIM, MMGen のインストール

   !python -m pip install -U openmim opencv-python
   
   !rm -rf mmgeneration
   !git clone https://github.com/open-mmlab/mmgeneration.git
   %cd mmgeneration
   !pip3 install -r requirements/build.txt
   !pip3 install .
   

   
7. StyleGAN を実行

   https://github.com/open-mmlab/mmgeneration/blob/master/docs/en/get_started.md に記載のプログラムを使用

   学習済みモデルを使用．

   from mmgen.apis import init_model, sample_uncoditional_model
   
   config_file = 'configs/styleganv2/stylegan2_c2_lsun-church_256_b4x8_800k.py'
   # you can download this checkpoint in advance and use a local file path.
   checkpoint_file = 'https://download.openmmlab.com/mmgen/stylegan2/official_weights/stylegan2-church-config-f-official_20210327_172657-1d42b7d1.pth'
   device = 'cuda:0'
   # init a generatvie
   model = init_model(config_file, checkpoint_file, device=device)
   # sample images
   fake_imgs = sample_uncoditional_model(model, 4)
   
   import numpy as np
   import matplotlib.pyplot as plt
   plt.style.use('default')
   for i in fake_imgs:
       plt.imshow(np.stack([i[2], i[1], i[0]], axis=2))
       plt.show()
   

   

MMPose

MMPose は， OpenMMLab の構成物で，２次元の姿勢推定，３次元の姿勢推定の機能を提供する．

【関連項目】 OpenMMLab, MMCV, MMDetection, MMTracking, 物体検出 2次元の姿勢推定, 姿勢推定, 人体の姿勢推定, 手の姿勢推定,

Google Colaboratory で，MMPose による姿勢推定の実行

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

3. MIM, MMClassification, MMSegmentation, MMDetection, MMTracking, MMPose のインストール．MMPose のインストール後は numpy, scipy の更新も行う．

   https://github.com/open-mmlab/mmpose/blob/master/docs/en/install.md#install-mmposeに記載の手順による．

   MMCV 1.6.2 をインストールしたので，MMDetection は 2系列になる（3系列は動かない）(2023年4月時点)．

   !python -m pip install -U openmim opencv-python
   !python -m pip install -U mmcv-full==1.6.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmclassification.git
   !python -m pip install -U mmdet==2.28.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmsegmentation.git
   !python -m pip install -U git+https://github.com/open-mmlab/mmtracking.git
   !python -m pip install -U git+https://github.com/open-mmlab/mmpose.git
   !apt -y install python3-numpy
   !apt -y install python3-scipy
   !python -c "import mmcls; print(mmcls.__version__)"
   !python -c "import mmdet; print(mmdet.__version__)"
   !python -c "import mmseg; print(mmseg.__version__)"
   !python -c "import mmtrack; print(mmtrack.__version__)"
   !python -c "import mmpose; print(mmpose.__version__)"
   
   !pip3 install git+https://github.com/votchallenge/toolkit.git
   

   
4. 姿勢推定の実行

   公式のデモプログラム（https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_human_pose_demo.md）を使用．

   • 人体の２次元姿勢推定

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_human_pose_demo.md で説明されているプログラムを使用．

     人体の検出 (human detection) に，MMDetection を使用し， 姿勢推定に，MMPoseを使用．

     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         --img-root tests/data/coco/ \
         --img 000000000785.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000000785.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         --img-root tests/data/coco/ \
         --img 000000040083.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000040083.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         --img-root tests/data/coco/ \
         --img 000000196141.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000196141.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         --img-root tests/data/coco/ \
         --img 000000197388.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000197388.jpg').show()
     

     
     
   • 全身の２次元姿勢推定

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_wholebody_pose_demo.md で説明されているプログラムを使用．

     人体の検出 (human detection) に，MMDetection を使用し， 姿勢推定に，MMPoseを使用．

     １つ上の結果（人体の２次元姿勢推定）と比べて，顔の部分に違いがある．

     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/wholebody/2d_kpt_sview_rgb_img/topdown_heatmap/coco-wholebody/hrnet_w48_coco_wholebody_384x288_dark_plus.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_wholebody_384x288_dark-f5726563_20200918.pth \
         --img-root tests/data/coco/ \
         --img 000000000785.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000000785.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/wholebody/2d_kpt_sview_rgb_img/topdown_heatmap/coco-wholebody/hrnet_w48_coco_wholebody_384x288_dark_plus.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_wholebody_384x288_dark-f5726563_20200918.pth \
         --img-root tests/data/coco/ \
         --img 000000040083.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000040083.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/wholebody/2d_kpt_sview_rgb_img/topdown_heatmap/coco-wholebody/hrnet_w48_coco_wholebody_384x288_dark_plus.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_wholebody_384x288_dark-f5726563_20200918.pth \
         --img-root tests/data/coco/ \
         --img 000000196141.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000196141.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/wholebody/2d_kpt_sview_rgb_img/topdown_heatmap/coco-wholebody/hrnet_w48_coco_wholebody_384x288_dark_plus.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_wholebody_384x288_dark-f5726563_20200918.pth \
         --img-root tests/data/coco/ \
         --img 000000197388.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_000000197388.jpg').show()
     

     
     
   • 手の２次元姿勢推定

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_hand_demo.md で説明されているプログラムを使用．

     人体の検出 (human detection) に，MMDetection を使用し， 姿勢推定に，MMPoseを使用．

     !python3 demo/top_down_img_demo_with_mmdet.py demo/mmdetection_cfg/cascade_rcnn_x101_64x4d_fpn_1class.py \
         https://download.openmmlab.com/mmpose/mmdet_pretrained/cascade_rcnn_x101_64x4d_fpn_20e_onehand10k-dac19597_20201030.pth \
         configs/hand/2d_kpt_sview_rgb_img/topdown_heatmap/onehand10k/res50_onehand10k_256x256.py \
         https://download.openmmlab.com/mmpose/top_down/resnet/res50_onehand10k_256x256-e67998f6_20200813.pth \
         --img-root tests/data/onehand10k/ \
         --img 1402.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_1402.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py demo/mmdetection_cfg/cascade_rcnn_x101_64x4d_fpn_1class.py \
         https://download.openmmlab.com/mmpose/mmdet_pretrained/cascade_rcnn_x101_64x4d_fpn_20e_onehand10k-dac19597_20201030.pth \
         configs/hand/2d_kpt_sview_rgb_img/topdown_heatmap/onehand10k/res50_onehand10k_256x256.py \
         https://download.openmmlab.com/mmpose/top_down/resnet/res50_onehand10k_256x256-e67998f6_20200813.pth \
         --img-root tests/data/onehand10k/ \
         --img 784.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_784.jpg').show()
     
     !python3 demo/top_down_img_demo_with_mmdet.py demo/mmdetection_cfg/cascade_rcnn_x101_64x4d_fpn_1class.py \
         https://download.openmmlab.com/mmpose/mmdet_pretrained/cascade_rcnn_x101_64x4d_fpn_20e_onehand10k-dac19597_20201030.pth \
         configs/hand/2d_kpt_sview_rgb_img/topdown_heatmap/onehand10k/res50_onehand10k_256x256.py \
         https://download.openmmlab.com/mmpose/top_down/resnet/res50_onehand10k_256x256-e67998f6_20200813.pth \
         --img-root tests/data/onehand10k/ \
         --img 9.jpg \
         --out-img-root vis_results
     
     from PIL import Image
     Image.open('./vis_results/vis_9.jpg').show()
     

     
     
     
   • 顔のランドマーク検出

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/2d_face_demo.md で説明されているプログラムを使用．

     顔検出 に，Dlib と ageitgey/face_recognition (https://github.com/ageitgey/face_recognition) を使用． 顔のランドマーク検出に，MMPoseを使用．

     
     
   • 人体の３次元姿勢推定

     公式ページの https://github.com/open-mmlab/mmpose/blob/master/demo/docs/3d_human_pose_demo.md で説明されているプログラムを使用．

     !python3 demo/body3d_two_stage_video_demo.py \
         demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py \
         https://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
         configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py \
         https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth \
         configs/body/3d_kpt_sview_rgb_vid/video_pose_lift/h36m/videopose3d_h36m_243frames_fullconv_supervised_cpn_ft.py \
         https://download.openmmlab.com/mmpose/body3d/videopose/videopose_h36m_243frames_fullconv_supervised_cpn_ft-88f5abbb_20210527.pth \
         --video-path demo/resources/demo.mp4 \
         --out-video-root vis_results \
         --rebase-keypoint-height
     

     

Windows で，MMPose のインストールと人体の姿勢推定の実行

MMPose のインストールと動作確認（姿勢推定，関節角度の推定）（PyTorch，Python を使用）（Windows 上）: 別ページ »で説明

MMSegmentation

MMSegmentation は， OpenMMLab の構成物で，セグメンテーションの機能を提供する．

【文献】

MMSegmentation Contributors, MMSegmentation: OpenMMLab Semantic Segmentation Toolbox and Benchmark, https://github.com/open-mmlab/mmsegmentation, 2020.

【サイト内の関連ページ】 セマンティック・セグメンテーション（MMSegmentation のインストールと動作確認）（PyTorch，Python を使用）（Windows 上）

【関連する外部ページ】

• MMSegmentation の公式ドキュメント: https://mmsegmentation.readthedocs.io
• MMSegmentation の訓練，検証，推論の公式チュートリアル: https://github.com/open-mmlab/mmsegmentation/blob/master/demo/MMSegmentation_Tutorial.ipynb
• MMSegmentation の公式の学習済みモデル: https://mmsegmentation.readthedocs.io/en/latest/model_zoo.html

【関連項目】 OpenMMLab, MMCV, MMSelfSup

Google Colaboratory でセマンティック・セグメンテーションの実行（MMSegmentation, DeepLabv3 を使用）

次のコマンドやプログラムは Google Colaboratory で動く（コードセルを作り，実行する）．

1. Google Colaboratory で，ランタイムのタイプを GPU に設定する．
2. まず，PyTorch のバージョンを確認

   PyTorch は，ディープラーニングのフレームワークの 機能を持つ Pythonのパッケージ

   次のプログラム実行により，PyTorch のバージョンが「1.10.0+cu111」のように表示される．

   import torch
   print(torch.__version__)
   

3. NVIDIA CUDA ツールキット のバージョンを確認 （２）**NVIDIA CUDA ツールキット のバージョン**を確認 NVIDIA CUDA ツールキット は，NVIDIA社が提供している GPU 用のツールキットである．GPU を用いた演算のプログラム作成や動作のための各種機能を備えている．ディープラーニングでも利用されている．

   次のプログラム実行により，NVIDIA CUDA ツールキットのバージョンが「cu111」のように表示される．

   import torch
   CUDA_VERSION = torch.__version__.split("+")[-1]
   print(CUDA_VERSION)
   

   
4. PyTorch のバージョンを確認

   import torch
   TORCH_VERSION = ".".join(torch.__version__.split(".")[:2])
   print(TORCH_VERSION)
   

   
5. MMCV 1.7.1 のインストール

   インストール手順は， https://mmcv.readthedocs.io/en/latest/get_started/installation.html に記載の手順による

   MMTracking が MMVC 1.6.2 に依存している (2023年4月時点)． MMTracking の利用を想定して MMCV 1.6.2 をインストールする．

   !python -c "import torch; print(torch.__version__)"
   !apt remove python3-pycocotools
   !pip uninstall -y pycocotools
   !pip install mmpycocotools
   !apt install -y python3-terminaltables
   !apt install -y python3-opencv
   !pip install mmcv-full==1.6.2
   !python3 -c "from mmcv.ops import get_compiling_cuda_version, get_compiler_version; print(get_compiling_cuda_version(), get_compiler_version())"
   

6. MIM, MMDetection, MMSegmentation のインストール

   MMCV 1.7.1 をインストールしたので，MMDetection は 2系列になる（3系列は動かない）(2023年4月時点)．

   !python -m pip install -U openmim opencv-python
   !python -m pip install -U mmcv-full==1.7.1
   !python -m pip install -U mmdet==2.28.2
   !python -m pip install -U git+https://github.com/open-mmlab/mmsegmentation.git
   !python -c "import mmdet; print(mmdet.__version__)"
   !python -c "import mmseg; print(mmseg.__version__)"
   

7. セマンティック・セグメンテーションの実行（MMSegmentation, Cityscapes データセットで学習済みのDeepLabv3+ を使用）

   次のプログラムは，MMSegmentation の機能を利用して，DeepLabv3+ を用いたセマンティック・セグメンテーションを行う．

   • Cityscapes データセットで学習済みのDeepLabv3+ を使用

     詳しくは，MMSegmentation の DeepLabv3+ のページ: https://github.com/open-mmlab/mmsegmentation/tree/master/configs/deeplabv3plus

   • 処理する画像の画像ファイル名は「fimg = 'demo/demo.png'」で設定

   セマンティック・セグメンテーションの結果として得られる クラスが，色分けで表示される．

   import torch
   from mmseg.apis import inference_segmentor, init_segmentor, show_result_pyplot
   import mmcv
   
   fimg = 'demo/demo.png'
   # DeepLabv3
   fconfig = 'configs/deeplabv3/deeplabv3_r101-d8_fp16_512x1024_80k_cityscapes.py'
   fcheckpoint = 'https://download.openmmlab.com/mmsegmentation/v0.5/deeplabv3/deeplabv3_r101-d8_fp16_512x1024_80k_cityscapes/deeplabv3_r101-d8_fp16_512x1024_80k_cityscapes_20200717_230920-774d9cec.pth'
   # DeepLabv3+
   fconfig = 'configs/deeplabv3plus/deeplabv3plus_r101-d8_fp16_512x1024_80k_cityscapes.py'
   fcheckpoint = 'https://download.openmmlab.com/mmsegmentation/v0.5/deeplabv3plus/deeplabv3plus_r101-d8_fp16_512x1024_80k_cityscapes/deeplabv3plus_r101-d8_fp16_512x1024_80k_cityscapes_20200717_230920-f1104f4b.pth'
   # OCRNet
   #fconfig = 'configs/ocrnet/ocrnet_hr48_512x1024_40k_cityscapes.py'
   #fcheckpoint = 'https://download.openmmlab.com/mmsegmentation/v0.5/ocrnet/ocrnet_hr48_512x1024_40k_cityscapes/ocrnet_hr48_512x1024_40k_cityscapes_20200601_033336-55b32491.pth'
   # SegFormer
   #fconfig = 'configs/segformer/segformer_mit-b2_8x1_1024x1024_160k_cityscapes.py'
   #fcheckpoint = 'https://download.openmmlab.com/mmsegmentation/v0.5/segformer/segformer_mit-b2_8x1_1024x1024_160k_cityscapes/segformer_mit-b2_8x1_1024x1024_160k_cityscapes_20211207_134205-6096669a.pth'
   
   device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
   model = init_segmentor(fconfig, fcheckpoint, device=device)
   result = inference_segmentor(model, fimg)
   print(result)
   show_result_pyplot(model, fimg, result, opacity=0.5)