AI アプリ・ショーケース(Windows用アプリと説明と利用ガイド)
最新のAIアプリ・技術の体験
お断り:コード及び資料作成にAI を積極的に活用。 人間が作成しても、AIを利用しても、コード及び資料にミスが残るのは避けられない。 その点について、コードにミスがあっても結果を人間で確認できるような作り方を心がけた。
【サイト内の関連サイト】
- AIタスクを整理、それぞれを体験・確認できるためのコードと資料: https://www.kkaneko.jp/ai/labo/index.html
本ページとの違い:本ページは、実応用を意識。
瞳孔・虹彩・脈波のリアルタイム計測
本プログラムは、Web カメラの映像または動画ファイルから、右眼と左眼それぞれの眼球運動・瞬目・瞳孔の大きさ、および頭部の姿勢を計測するツールである。結果は画面に表示し、CSV ファイルに記録する。「右眼」「左眼」は被験者から見た左右である。動作環境は Windows であり、GPU がなくても CPU だけで動作する。
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
参考プロンプト: prompt.md
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
ローカル翻訳エンジンと試用 GUI(日本語・英語・中国語(簡体字)・インドネシア語)
日本語・英語・中国語(簡体字)・インドネシア語の4言語を、利用者のPC上で相互に翻訳するツールである。ネットワークを使うのはモデルの初回ダウンロード時だけであり、翻訳する文章は外部へ送信されない。
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
参考プロンプト: prompt.md
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
日本の自然・里山風景ジェネレーター
日本の自然・里山風景の 3D モデルを、乱数とノイズ関数を用いた手続き的(プロシージャル)な計算で生成するツールである。乱数の初期値であるシード値を変えるごとに、異なる 3D モデル(以下、シーン)が生成される。生成したシーンを他の 3D ソフトウェアで利用することもできる。
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
参考プロンプト: prompt.txt
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
YOLOE-26 オープンボキャブラリー検出
本プログラムは、映像中の物体を、学習時に決められた種類に限らず利用者が指定した対象として、検出し、領域を塗り分け(インスタンスセグメンテーション)、追跡する Windows 用の GUI アプリケーションである。対象の指定には次の3つの方法がある。英語の語句で指定する方法(テキストプロンプト)、映像上で例を囲む方法(視覚プロンプト)、何も指定せずモデルに内蔵された語彙を使う方法(プロンプトフリー)である。
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
参考プロンプト: prompt.md
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
AI画像理解と3次元体験(マウス操作版・カメラ不要)
本プログラムは、体験教材である。画像処理とAIによる3次元情報の推定を、マウス操作で実際に動かしながら学ぶことを目的とする。カメラとマイクは使わない。Wikimedia Commonsで公開されている教材動画(街の交通の映像と、運動する人物の映像)を、AIで解析した結果と重ねて表示する。
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
アドベンチャーゲーム(カメラを通して操作)
Webカメラに映った利用者の姿を画素単位で背景から切り抜き、ゲームの背景画に合成して表示する、Windows用のゲームである。操作には体の動きを使い、マウスやコントローラーは使わない。利用者は、画面の上から落ちてくるアイテムに体を重ね、その位置で体を素早く動かして命中させ、得点を得る。
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
参考プロンプト: prompt.md
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
からだが光と音になる3次元・魔法の鏡(AI によるモーションキャプチャの体験)(カメラを通して操作)
本プログラムは、1台のWebカメラの画像から最大4人の身体の3次元姿勢をAIで推定し、身体の上下・左右・前後の動きを、光の粒子と合成音にリアルタイムに変換するWindows用の体験・学習・実験プログラムである。体験者はマウスやキーボードに触れず、身体の動きとポーズだけで操作できる。
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
参考プロンプト: prompt.md
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
AIのあたまの中 - 科学・AIミュージアム(カメラを通して操作)
Windows PC と Webカメラ1台で動き、カメラの前に立った人の顔・手・全身をその場で解析して、結果を画面に表示する。目的は次の2つである。
- 自分の体の動きに合わせて結果が変わるのを見ることで、AIによる画像解析と3次元の情報処理の考え方を体験として理解できるようにする。
- 画面に表示する数値は、すべてその場で計測・計算した値とする。演出のために作った値は表示しない。
操作は画面に触れずに行える。待機画面でカメラが人の顔を検出すると、第1章が始まる。画面上のボタンは、人差し指の先を1.2秒間かざすと押したことになる。
プログラムの動作の様子の動画:[動画]
参考プロンプト: prompt.md
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始)( クレジット: 「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成)
オープンワールドゲーム・風見村の鬼退治
本プログラム『蒼風剣譚(そうふうけんたん) ― 風見村の鬼退治 ―』は、Python と 3D ゲームエンジン Panda3D で動く三人称視点の 3D アクションアドベンチャーゲームである。プレイヤーは旅の剣士となり、鬼に襲われた風見村を探索する。村にいる鬼を退治し、丘の上の社(やしろ)にいる大鬼を倒すことが目的である。
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
2次元入力・2クラス分類のニューラルネットワーク体験・学習・実験
本プログラムは、ニューラルネットワークの入門者が、基礎概念を実際に学習を動かしながら確かめるための教材である。題材は、2次元の入力(X1, X2)をクラス +1(青)とクラス −1(オレンジ)の2クラスに分類する問題である。GoogleのTensorFlow Playgroundを参考にしている。
AI技術の基礎体験
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
参考プロンプト: prompt.md
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
日本語文学作品の感情極性分析
本プログラムは、青空文庫に収録された日本の近代文学作品の本文を、文ごとに肯定(POSITIVE)・中立(NEUTRAL)・否定(NEGATIVE)の3種類に分類し、原理の異なる2つの手法の判定を突き合わせる実験・学習用のツールである。2つの手法は次のとおりである。
- 手法1(AI):文全体の文脈を読み取る事前学習済み言語モデル(BERT)による分類器
- 手法2(辞書):日本語評価極性辞書に登録された肯定・否定の語を、文中で数え上げる規則による判定
プログラムの動作の様子の動画:[動画]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
参考プロンプト: prompt.md
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
街路交通シミュレータ 3D ― SUMO による微視的交通流シミュレーションと、深層強化学習(DQN)による信号制御
本プログラムは、交差点の車線数、信号制御、交通量などの条件を画面上で変え、その条件のもとで生じる交通流を微視的交通流シミュレータ SUMO で計算し、3 次元の画面に表示するツールである。信号制御には、定周期制御、感応制御、マックスプレッシャー制御に加えて、深層強化学習(DQN)で現示(同時に青を表示する進行方向の組み合わせ)を選ぶ方式を備える。
プログラムの動作の様子の動画:[動画]
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
暗い動画を明るく鮮明にする
本プログラムは、夜間や照明の乏しい環境で撮影された映像の暗部を、学習済みの畳み込みニューラルネットワークと画像処理の組み合わせによって視認できる明るさに変換する。入力はカメラ映像、動画ファイル、デモ映像の3種類に対応し、CPUのみの環境でもCUDA対応GPUの環境でも動作する。
暗い映像は、明るさを一律に上げるだけでは明るい部分の飽和(白飛び)やノイズの増幅が起こる。本プログラムは、画素ごとに異なる強調カーブを推定するモデルで暗部を伸張したうえで、シーンに応じた後処理を順に適用する。これにより、点光源の飽和を抑えながら暗部の情報を引き出し、ノイズを抑えて文字や輪郭を読み取りやすくする。
プログラムの動作の様子の動画:[動画]
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成
日本語・インドネシア語・英語・中国語のリアルタイム音声翻訳システム
日本語・インドネシア語・英語・中国語の 4 言語について、マイクに入力された発話または音声ファイルを音声認識で文字に変換し、指定した言語へ翻訳して画面に表示する Windows アプリケーションである。音声認識・翻訳・音声合成はすべてこの PC 上で実行されるため、発話の内容が外部のサービスへ送られることはない。通信が発生するのは、各モデルを初めて使うときのダウンロードだけである。推論は認識・翻訳とも CTranslate2 で行う。
説明ページ: [HTML]
実行ファイル: [exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
グランドピアノ音色の比較試聴
本プログラムは、同一の演奏データを2種類の生成方式で音響合成し、両者の音色の違いを比較試聴するためのツールである。演奏データには、J.S.バッハ作曲「平均律クラヴィーア曲集第1巻」前奏曲第1番(BWV846)の冒頭8小節に終止和音を加えたものが用いられる。
プログラムの動作の様子の動画:[動画]
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画, クレジット: 「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成)
コントラバス音色の比較試聴
本プログラムは、同一の演奏データを2種類の生成方式で音響合成し、コントラバスの音色の違いを奏法ごとに比較試聴するためのツールである。奏法は次の5種類から選ぶ。
プログラムの動作の様子の動画:[動画]
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明ページ: [HTML]
説明資料: [PDF], [PPTX] , [動画, クレジット: 「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成)
カメラ映像を用いた視線方向・サッカード・頭部姿勢推定ツール
文章読解中の両眼の視線方向とサッカード(衝動性眼球運動)を、赤外線照明を用いない市販のウェブカメラ 1 台で計測する、実験用の Windows 用ツールである。専用のアイトラッカーがない環境でも、読解中の眼球運動を記録し、数量として扱えるようにすることを目指す。
プログラムの動作の様子の動画:[動画]
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
コード内で使用しているソフトのライセンス文と著作権表示: LICENSE.txt, LICENSE-3RD-PARTY.txt
説明ページ: [HTML]
説明資料: [PDF], [PPTX], [動画](クリックして再生開始)
顔特徴量:顔の映像から眠気・集中・緊張・情動の変化を読み取る
このプログラムは、カメラまたは動画ファイルに映る顔の映像から、眠気・集中・緊張・陽性情動の4つの状態が数十秒から数時間の間にどのように変化しているかを推定します。推定の結果は、根拠となる特徴量の推移とともに画面にリアルタイムで表示されます。
プログラムの動作の様子の動画:[動画]
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
コード内で使用しているソフトのライセンス文と著作権表示: LICENSE.txt, LICENSE-3RD-PARTY.txt
説明ページ: [HTML]
説明資料: [PDF], [PPTX], [動画](クリックして再生開始)( クレジット: 「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成)
ブルドン管
圧力計とブルドン管 - 手振りでで操作する体験型展示アプリ
手の動きだけでポンプを操作し、ブルドン管圧力計の指針が動くしくみを観察できる体験型の展示アプリである。ブルドン管圧力計は、内部の圧力で管が変形する量を、歯車で指針の回転に変えて、圧力を示す圧力計である。マウスとキーボードは操作に使わない。カメラに映った手の形と位置を学習済みのAIモデルで推定し、その結果を空気圧回路(ポンプ、弁、空気タンクの組)の操作に変える。
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明ページ: [HTML]
説明資料: [PDF], [PPTX], [動画](クリックして再生開始)( クレジット: 「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成)
ブルドン管の溶接の条件と溶接欠陥が管の強度に与える影響
圧力計の受圧素子であるブルドン管を対象に、溶接の条件と溶接欠陥が管の強度に与える影響を、物理モデルとベイズ推定によって評価するシミュレータである。評価の対象は、管とソケットの接合部と、管の先端の封止部である。溶接条件の設定と、溶接継手の品質評価に使う。
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明ページ: [HTML]
説明資料: [PDF], [PPTX], [動画](クリックして再生開始)( クレジット: 「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成)
ツール類
範囲キャプチャ録画
本プログラムは、画面の指定した範囲を音声付きで録画し、MP4 ファイル(映像 H.264、音声 AAC)として保存する Windows 用のツールである。操作手順の解説動画や資料用の動画を作れる。
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明ページ: [HTML]
説明資料: [PDF], [PPTX], [動画](クリックして再生開始)( クレジット: 「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成)
範囲スクリーンショット
画面の指定した範囲を撮影し、文字が劣化しない PNG 画像として保存したり、クリップボードにコピーしたりする Windows 用のツールである。撮影した画像には、説明用の赤い四角形を描き込める。資料や操作手順書に画面の画像を貼り付ける利用者を想定している。
実行ファイル:[exe]
実行ファイル(exe)は、Chrome または Firefox を用いてダウンロードすることを推奨。初回実行時に、SmartScreenの「WindowsによってPCが保護されました」の警告画面が出ます。警告画面で「詳細情報」をクリック、「実行」をクリックで続行できます。
説明ページ: [HTML]
説明資料: [PDF], [PPTX], [動画](クリックして再生開始)( クレジット: 「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成)