Windows で動く人工知能関係 Pythonアプリケーション，オープンソースソフトウエア）

単純な分類（Python プログラム）

数層の単純なニューラルネットワーク（全結合，畳み込みニューラルネットワーク）を使用

ニューラルネットワークの作成，学習，検証（Python プログラム）

• MNIST データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上，Google Colaboratroy の両方を記載）
• Fashion MNIST データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上，Google Colaboratroy の両方を記載）
• CIFAR-10 データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上，Google Colaboratroy の両方を記載）
• CIFAR-100 データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上，Google Colaboratroy の両方を記載）
• IMDb データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上，Google Colaboratroy の両方を記載）

TensorFlow データセットのパイプライン（Python プログラム）

• TensorFlow のパイプラインを用いたMNIST データセットによる学習と分類（TensorFlow データセット，TensorFlow，Python を使用）（Windows 上，Google Colaboratroy の両方を記載）

1. 画像認識

画像分類 (image classification)

画像分類（MMPretrain のインストールと動作確認）（PyTorch，Python を使用）（Windows 上）

• 画像分類の実行（ImageNet で学習済みの ConvNeXtBase モデル，TensorFlow, keras_cv を使用）（Windows 上）

物体検出，画像のセグメンテーション (object detection, image segmentation)

• 物体検出，セグメンテーション，画像分類，物体検出の再学習と転移学習（YOLOv8，PyTorch，Python を使用）（Windows 上）
  
  
• 物体検出，物体検出のための追加学習の実行（YOLOv5，PyTorch，Python を使用）（Windows 上）
• 物体検出，姿勢推定の実行（YOLOv7，PyTorch，Python を使用）（Windows 上）
• Detectron2 のインストールと動作確認（物体検出，インスタンス・セグメンテーション，パノプティック・セグメンテーション）（PyTorch, Python を使用）（Windows 上）

  物体検出

  

  インスタンス・セグメンテーション

  

  パノプティック・セグメンテーション

  
• 物体検出の実行（UniDet，PyTorch, Python を使用）（Windows 上）
  
• 物体検出の実行（MMDetection，PyTorch，Python を使用）（Windows 上）
  
• セマンティック・セグメンテーション（MMSegmentation のインストールと動作確認）（PyTorch，Python を使用）（Windows 上）
  
• AlexryAB/darknet のインストールと動作確認（Scaled YOLO v4 による物体検出）（Windows 上）
• bonlime/keras-deeplab-v3-plus のインストールと動作確認（セマンティック・セグメンテーション）（Deeplab v3+，Python を使用）（Windows 上）
• PixelLib のインストールと動作確認（セマンティック・セグメンテーション，インスタンス・セグメンテーション）（TensorFlow 2.0.4, Python 3.7 を使用）
• PixelLib のインストールと動作確認（Mask R-CNN，特定クラスのインスタンス・セグメンテーション）（TensorFlow 2.0.4, Python 3.7 を使用）
• nicolov の DilatedNet のインストールと動作確認（セマンティック・セグメンテーション）（TensorFlow 1.15.5，Keras 2.3.1，Python 3.7 を使用）（Windows 上）
• matterport/Mask_RCNN のインストールと動作確認（Mask RCNN によるインスタンス・セグメンテーション）（Python 3.7，TensorFlow 1.15.5, Keras 2.3.1 を使用）（Windows 上）

トラッキング・ビジョン

• ポイント・トラッキング（CoTracker，Python を使用）（Windows 上）
  
• トラッキング・ビジョン，物体検出，セグメンテーション，姿勢推定（yolo_tracking，Python，PyTorch を使用）（Windows 上）
  
• マルチオブジェクトトラッキング（MOT）と人物再識別（BoT-SORT，Python 3.9，PyTorch 1.14を使用）（Windows 上）
  

インタラクティブ・ビデオオブジェクトセグメンテーション

• MiVOS のインストールと動作（Windows 上）
  

画像の増量

• 画像の増量を行う Python プログラム（Python，opencv-python を使用）（Windows 上）

Zero Shot や Few Shot による物体検出やセグメンテーション，SAM

• ゼロショットの物体検出（Grounding DINO，Python，PyTorch を使用）（Windows 上）
  
• Recognize Anything のインストールと動作確認（ゼロショットの画像タグ付け）（Python，PyTorch を使用）（Windows 上）
  
• FastSAM のインストールと動作確認（セグメンテーション）（PyTorch を使用）（Windows 上）
• ゼロショットのセグメンテーション（Segment Anything Model，Python，PyTorch を使用）（Windows 上）
  
  
• ゼロショットのセグメンテーション（HQ-SAM，Light HQ-SAM，Python，PyTorch を使用）（Windows 上）
  
  
• MMDetection，MMFewShot のインストールと動作確認（画像分類，物体検出）（PyTorch，Python を使用）（Windows 上）

教師なし学習によるセグメンテーション

• 教師なし学習による物体検出とインスタンスセグメンテーション（CutLER，VideoCutLER，Detectron2, PyTorch, Python を使用）（Windows 上）

顕著オブジェクト (salient object)

• BASNet のインストールとテスト実行（顕著オブジェクトの検出）（Python，PyTorch を使用）（Windows 上）

2. Stable Diffusion，画像生成，スタイル変換，超解像，ノイズ除去，インペインティング，マッティング

Stable Diffusion

• Stable Diffusion XL 1.0 (SDXL 1.0) のインストール，画像生成（img2txt），画像変換（img2img），APIを利用して複数画像を一括生成（AUTOMATIC1111，Python，PyTorch を使用）（Windows 上）

  画像生成 (txt2img)，画像変換 (img2img)

  

  複数の画像を一度に画像生成

  
• Stable Diffusion XL を用いて複数の画像を一度に生成するアプリケーション（AUTOMATIC1111 の txt2img の API，Python，PyTorch を使用）（Windows 上）
  
• Fooocus のインストール，Stable Diffusion XL (SDXL) による画像生成の実行（Fooocus，Stable Diffusion XL，PyTorch，Python を使用）（Windows 上）
  
• ImaginAIry のインストールと動作確認（Text to Imge，画像編集，Prompt Based Masking，Image to Image）（Stable Diffusion，InstructPix2Pix，Stable Diffusion 2 Depth，Python を使用）（Windows 上）

画像生成，超解像，アップコンバート，画像のノイズ除去，イメージ・インペインティング，イメージ・マッティング

• 画像復元（DiffBIR，Python，PyTorch を使用）（Windows 上）
  
• MMGeneration のインストールと動作確認（StyleGAN など）（PyTorch，Python を使用）（Windows 上）
• MMEditing のインストールと動作確認（超解像，画像のノイズ除去，イメージ・インペインティング，イメージ・マッティング）（PyTorch，Python を使用）（Windows 上）
• Real-ESRGAN のインストールと動作確認（超解像）（Python，PyTorch を使用）（Windows 上）
• JingyunLiang/SwinIR のインストールと動作確認（超解像，画像のノイズ除去）（Python，PyTorch を使用）（Windows 上）
• idealo/image-super-resolution のインストールと超解像の実行（超解像）（Python，TensorFlow を使用）（Windows 上）
• Waifu2x-converter-cpp，waifu2x-converter-glsl のインストールと動作確認（超解像）（Windows 上）
• jmiller656/EDSR-TensorFlow のインストールと動作確認（超解像）（Python 3.7，TensorFlow 1.15.5, scipy 1.1.0 を使用）（Windows 上）
• yu4u/noise2noise のインストールと動作確認（画像のノイズ除去）（TensorFlow 1.15.5，Python 3.7 を使用）（Windows 上）
• Lama Cleaner のインストール，動作確認（イメージ・インペインティング）（Python を使用）（Windows 上）

• upscayl へのリンク（アップコンバートのツール）

  https://github.com/upscayl/upscayl

Text-Image モデル

• OpenCLIP のインストールと動作確認（Image-Text）（Python，PyTorch を使用）（Windows 上）

教師なし学習による画像復元

• 教師データ無しでの画像復元 (DmitryUlyanov/deep-image-prior，Python，CUDA 9.2，pytorch, torchvision を使用)

プロンプトや画像からの立体生成

• Shap-E のインストールと動作確認（テキストや画像からの立体生成）（Python，PyTorch を使用）（Windows 上）

発声動画の生成

音声と画像ファイルから発声動画を生成するなど

• 発声動画の生成（SadTalker，Python，PyTorch を使用）（Windows 上）

顔の生成

• ZZUTK/Face-Aging-CAAE のインストールとテスト実行（さまざまな年齢の顔画像の合成）（Python 3.7，TensorFlow 1.15.5, scipy 1.1.0 を使用）（Windows 上）
• DCGANの例、carpedm20/DCGAN-tensorflow を使い，新しい顔を生成してみる

3. 対話型AI，チャットボット，大規模言語モデル (large language model)

日本語言語モデル

• 日本語言語モデルJapanese StableLM Base Alpha 7Bを Windows で動かす（Python，PyTorch を使用）（Windows 上）
  
• 日本語対応のLLM，チャットボット（Text generation web UI，日本語 LLM cyberagent/open-calm を使用）（Windows 上）

言語モデル

• Llama 2 のダウンロード（Windows 上）
• privateGPT のインストールと動作確認（大規模言語モデルと対話型AI）（Build Tools, Python を使用）（Windows 上）
• FlexGen のインストールと動作確認（大規模言語モデル，チャットボット）（Python，PyTorch を使用）（Windows 上）
• Alpaca.cpp のインストールと動作確認（大規模言語モデル）（Windows 上）
• GPT-2, BERT を使ってみる（huggingface/transformers を利用）（Google Colab あるいは Windows あるいは Ubuntu 上）

OpenAI API，チャットボットのプログラム

• ChatGPT へのコマンドや Python プログラムからのアクセス（Open Interpreter，Python を使用）（Windows 上）
  
• チャットボットアプリケーションのプログラム（Python，LangChain，OpenAI API を使用）（Windows 上）
  
• チャットボットのための Web アプリケーションのひな形の Python と HTML プログラム（投稿された文章をそのまま返す）（Python を使用）（Windows 上）

関連技術

• ChatGPT の回答のファクトチェック（factool，Python を使用）（Windows 上）

  ChatGPT の回答の中の「徳川家康は日本のほとんどを統制下に置いた」が 「徳川家康は日本の一部を統制下に置いた」に修正されている．

  

4. 自然言語処理，文字認識

日本語処理

• MeCab のインストール（形態素解析）（Windows 上）
• MeCab をソースコードからビルドしてインストール（形態素解析）（Windows 上）（書きかけ）
• Web ページのダウンロード，単語に切り分け，形態素解析（Python, Mecab, BeautifulSoap を使用）
• R システムで形態素解析，TF/IDF （RMecab を使用）

Bag of Words，TF/IDF，Latent Semantic Indexing，Latent Dirichlet Allocation，類似検索

• 日本語文のコーパス（ドキュメントの集まり）から 辞書，Bag of Words, Latent Semantic Indexing (LSI)，Latent Dirichlet Allocation (LDA) を作る（Python，gensim を使用）
• 英文のコーパス（ドキュメントの集まり）から 辞書，Bag of Words, Latent Semantic Indexing (LSI)，Latent Dirichlet Allocation (LDA) を作る
• 日本語文のドキュメントの類似検索（Latent Semantic Indexing による）（Python，gensim を使用）
• 日本語文のドキュメントの類似検索（Latent Dirichlet Allocation による）（Python，gensim を使用）

• gensim を使ってみるl
• Document2Vec を使ってみる

テキスト検出

• Unified Scene Text Detection のインストー1ルとテスト実行（テキスト検出）（Python，TensorFlow を使用）（Windows 上）
• CRAFT のインストールと動作確認（テキスト検出）（Python，PyTorch を使用）（Windows 上）

文字認識，ナンバープレート認識

• EasyOCR のインストールと動作確認（多言語の文字認識）（Python，PyTorch を使用）（Windows 上）
• Tesseract OCR 5.3.3 のインストールと動作確認（多言語の文字認識）（Windows 上）
• OpenALPR 2.3.0 のインストールと動作確認（ナンバープレート認識）（Windows 上）
  * OpenALPR は，欧米などの乗用車のナンバープレート認識ソフトウェア．

5. 音声

音声認識，文字起こし

• Whisper のインストール，Whisper を使う Python プログラム（音声からの文字起こし，翻訳）（Python，PyTorch を使用）（Windows 上）
  
• SpeechRecognizer のインストールと動作確認（音声認識）（Python を使用）（Windows 上）
• 音声からの文字起こし（Speech-To-Text）（Google ドキュメント、VB-CABLE を利用）（Windows 上）

音声合成

• Python で音声合成（Windowsの標準機能，Python，pywin32 を使用）（Windows 上）
• マイクロソフトスピーチプラットフォームを使ってみる
• 音声合成（TTS），プロンプトとして音声を与えて音声合成（voice cloning）（VALL-E X，Python，PyTorch を使用）（Windows 上）
• 多言語の音声合成（Bark，Python，PyTorch を使用）（Windows 上）
• coqui-ai TTS のインストールと動作確認（多言語の音声変換，音声合成）（Python，PyTorch を使用）（Windows 上）
• pyopenjtalk のインストールと動作確認（日本語の音声合成）（Open JTalk，htvoice，Python を使用）（Windows 上）
• espeak のインストールと動作確認（音声合成）（Python を使用）（Windows 上）

音声処理

• librosa のインストールと動作確認（音声処理）（Python を使用）（Windows 上）
• Parselmouth のインストールと動作確認（Praat 用の Python ライブラリ，振幅やスペクトログラムの表示など）（Python を使用）（Windows 上）
• spectrum のインストールと動作確認（スペクトログラム，PSD による Yule Walker 法）（Python を使用）（Windows 上）

音源分離（audio source separation）

• asteroid のインストールと動作確認（音源分離）（Python，PyTorch を使用）（Windows 上）

音声のノイズ除去

• APO Ewualizer Download のページ: https://equalizerapo.com/download.html

音楽生成

• MusicGen のインストールと動作確認（作曲）（Python，PyTorch を使用）（Windows 上）

ピッチ推定（pitch estimation）

• CREPE のインストール，CREPE を用いた音声分析プログラム（音のピッチ推定）（Python，TensorFlow を使用）（Windows 上）

6. コンピュータビジョン

画像の基本機能

• MMCV 2 のインストールと動作確認（画像表示など）（PyTorch，Python を使用）（Windows 上）
• MMFlow のインストールと動作確認（オプティカルフロー）（PyTorch，Python を使用）（Windows 上）

ビデオ処理，ビデオの安定化

ビデオの安定化は，ビデオの揺れ（手ぶれ，カメラ搭載機器の揺れなどの緩和）を行う．

• VidGear のインストールと動作確認（ビデオの安定化，その他ビデオ処理のライブラリ）（Python を使用）（Windows 上）

線分検知

• ELSED のインストールと動作確認（線分検知）（Build Tools, Python を使用）（Windows 上）

消失点推定

• neurvps のインストールと動作確認（消失点推定）（Python，PyTorch を使用）（Windows 上）

セグメンテーション

• SLIC (scikit-image に含まれる）のインストールと動作確認（スーパーピクセル）（Python を使用）（Windows 上）

画像補正

• chasank/Image-Rectification のインストールと画像補正の実行（画像補正）（Python を使用）（Windows 上）

  画像補正は，画像を射影変換することにより，斜め方向からの撮影画像を正面画像に変換する． 意図しないカメラ回転（ロール、ピッチ、ヨー）を含む画像を正面画像に補正できる．

  

位置合わせ

• vishwa91/pyimreg のインストールと動作確認（画像の位置合わせ）（Windows 上）

Python 用 opencv-python のインストール（Windows 上）: 別ページ »で説明

ステレオマッチング

• ArtyZiff35/3D_Reconstruction_From_Stereo_Images のインストールとステレオ画像からの３次元モデルの生成（ステレオ画像，深度マップ，色付き３次元点群）（Python を使用）（Windows 上）

7. トラッキング・ビジョン

• MMTracking のインストールと動作確認（トラッキングビジョン）（PyTorch，Python，MMCV，MMDetection を使用）（Windows 上）

8. ビジュアルオドメトリ

• uoip/monoVO-python のインストールと動作確認（ビジュアルオドメトリ）（Windows 上）

9. 姿勢推定 (Pose Estimation)

OpenPose（人体の姿勢推定，モーションキャプチャ）

• 人体の３次元位置推定（MHFormer，Python，PyTorch を使用）
• MMPose のインストールと動作確認（姿勢推定，関節角度の推定）（PyTorch，Python を使用）（Windows 上）
• OpenPose 1.7.0 のインストール，デモの実行（Windows 上）
• OpenPose 最新版のインストール，デモの実行（ソースコードを使用）（Windows 上）

頭部の姿勢推定

• mpatacchiola/DeepGaze のインストールと動作確認（頭部の姿勢推定）（Python 3.7, TensorFlow 1.15.5 を使用）（Windows 上）
• lincolnhard/head-pose-estimation のインストールと動作確認（Dlib，Python を使用）（Windows 上）

まばたき，眼球運動

• berenslab/uneye のインストールと動作確認（まばたき，眼球運動の検出）（PyTorch, Python を使用）（Windows 上）

瞳孔の検出

• TobiasRoeddiger/PupilTracker のインストールと動作確認（瞳孔の検出）（Dlib，Python を使用）（Windows 上）

10. ３次元再構成

• COLMAP 3.8 のインストールと３次元再構成の実行（COLMAP 3.8 を使用）（Windows 上）
• COLMAP のインストールと３次元再構成の実行（COLMAP のソースコード，vcpkgm, Visual Studio Community 2019 を使用）（Windows 上）

11. 顔情報処理（顔検出，顔認識，表情推定，年齢推定，顔のランドマーク，マスク有り顔，肌色領域）

顔情報処理

• 顔認識，表情や性別や年齢の推定（DeepFace，Python，TensorFlow を使用）（Windows 上）
• facetorch のインストールと動作確認（顔検知，表情推定，顔認証，アラインメント，ディープフェイクかの判定）（Python，PyTorch を使用）（Windows 上）
• 顔検出，年齢と性別の推定，顔識別，人体検出（InsightFace のインストールと動作確認）（PyTorch，Python を使用）（Windows 上）
• 顔検出と表情推定（SanjayMarreddi/Emotion-Investigator，Python，TensorFlow を使用）（Windows 上）

  

• 顔検出，顔識別（Dlib，face_recognition のインストールと動作確認）（Python を使用）（Windows 上）
• Dlib Python，face_recognition のインストールと動作確認（顔検出，顔ランドマーク，顔識別）（Python を使用）（Windows 上）
• 1adrianb/face-alignment のインストールと動作確認（顔の２次元，３次元のランドマーク）（PyTorch，Python 3.7 を使用）（Windows 上）
• ipazc/MTCNN のインストールと動作確認（顔検出）（Python を使用）（Windows 上）
• chen0040/keras-face のインストールと動作確認（顔認識）（TensorFlow 1.15.5，Python 3.7 を使用）（Windows 上）

  DeepFace, VGG16 + Simase (2手法)による顔識別

• ezgiakcora/Facial-Expression-Keras のインストールと動作確認（表情推定）（Dlib，Python を使用）（Windows 上）

マスク有り顔

• chandrikadeb7 / Face-Mask-Detection のインストールと動作確認（マスク有り顔，マスクなし顔の検出）（Python，TensorFlow を使用）（Windows 上）

肌色領域

• mpatacchiola/DeepGaze のインストールと動作確認（肌色領域の抜き出し，saliency の検出）（TensorFlow 1.15.5，Python 3.7 を使用）（Windows 上）

  https://github.com/mpatacchiola/deepgaze で公開されているプログラムを利用

• 肌色領域検出プログラム skindetect.py プログラムの紹介

  https://gist.github.com/parosky/7890436 で公開されている 肌色領域検出プログラムを紹介

12. 予測

• PyTorch Geometric Temporal のインストールと動作確認（予測）（Python，PyTorch を使用）（Windows 上）

13. データセット

• COCO 2017 データセットのダウンロードとカテゴリ情報や画像情報の確認（Windows 上）
• HierText データセットのインストール（テキスト検出，文字認識のデータセット）（Windows 上）

14. 人工知能開発環境，ツール

• Kaggle のインストール，データの一覧表示（Python, kaggle を使用）
• DeepForge のインストール（Windows 上）
• DeepForge を使ってみる
• Windows で Unity ML-Agents + Python 環境を作る（Chocolatey, Anaconda を利用）（Chocolatey, Anaconda を利用）