# 指示：Windows環境向け「体感するAI・3次元情報科学インタラクティブ展示システム」の開発

Windows上で動作する、小中高校生を中心とする来場者がAI・画像処理・3次元空間認識の仕組みをハンズフリーで直感的に体験できる常設展示水準のプログラム（Pythonスクリプト一式）を設計・実装してください。

---

## 1. 体験設計（UX）と視覚デザイン

画面の前に立った瞬間に引き込まれ、「触って楽しかった！」「最新のコンピュータやAIの中身ってこうなっていたんだ！」と直感的な驚きと知的好奇心を得られる体験を創出してください。

### 視認性・文字設計の最重要指針

* **小さな文字の排除**: 画面上に小さな文字を長々と大量に並べるUIは、見学者が読む気を失い不快感を与えます。常時表示の細かい解説テキストは極力排除してください。
* **特大テロップと局所フォーカス吹き出し**:
* 各テーマの核心（例:「キミの顔から心拍数を測る！」「指先からバーチャル空間を操る！」など）は、**画面中央や足元に遠くからでも一目で読める特大サイズのテロップ**としてテンポよく表示してください。
* AIの判定値や計算結果が動く箇所には、**視認性の高い大きな文字の「吹き出し」やターゲット枠**を局所的に重ねて直感的に提示してください。


* **学術的正確性と親しみやすさの両立**:
* メイン画面のリアルタイム演出は子どもたちに直感的に伝わる表現に徹しつつ、専門用語（時系列色空間変化、主成分分析、3次元アフィン変換、信頼度スコア、ベクトル場など）も適切な注釈やヘルプ画面で併記し、科学展示としての厳密さを担保してください。



---

## 2. システム構成とテーマ設計

誰もいないときは数理曲線（リサージュ曲線等）の光粒子が舞う待機画面（Attract Mode）とし、カメラの前に人が立つと自動で第1章がスタートします（一定時間不在で待機画面へ復帰）。

各章は約25〜30秒で自動進行し、「IT・AI・3次元」の最前線を身体全体で体感できる以下の5章構成とします。

### 第1章：カメラで見えるキミの生命反応 〜生体画像センシング（rPPG）〜

* **狙い**: 「単なるWebカメラで、触れずに心臓の鼓動（心拍）が読み取れる」という生体情報科学の驚きを体感させる。
* **演出**: 顔検出により額（ひたい）や頬の微小な色変化（血流に伴うRGB各チャネルの微細な色変動）を局所抽出し、脈波波形（心拍グラフ）と推定BPM数値を大きな吹き出しでライブ表示。
* **テロップ例**: 「カメラがキミの心拍をみつめている！」「顔の血流からドキドキ（脈拍）を計算中！」

### 第2章：顔のパーツをとらえる

* **狙い**: 「AIはどうやって人間の目鼻立ちを正確に把握し、ARエフェクトを重ねているのか」を解き明かす。自由自在にリアルタイム3Dフェイスモーフィングすることも検討
* **演出**: 400点以上の顔メッシュランドマークを捉え、表情（まばたき、口の開閉、眉の上下）を検知。目や口の開き具合に連動してデジタルエフェクト（瞳の発光、幾何学ワイヤーフレームの展開）を重畳し、幾何変換の仕組みを提示。
* **テロップ例**: 「大きく口をあけたり、ウインクしてみよう！」「400個のポイントがキミの表情を完全トレース！」

### 第3章：空間をつかむバーチャルハンド 〜3Dジェスチャ＆空中エアキャンバス〜

* **狙い**: 「キーボードやマウスを使わず、手と指の関節座標を3次元で読み取って操作する」次世代UIを体感させる。
* **演出**: 手の21関節の3D座標をトラッキングし、人差し指の先端から空間に光の軌跡（3Dリボン描画）を描き出す。親指と人差し指をつまむ（ピンチ動作）と描画色の切り替えや全消去が行える空中操作の爽快感を与える。
* **テロップ例**: 「空中に指で絵をかいてみよう！」「指先をつまむと色がチェンジ！」「カメラが指の関節を立体認識！」

### 第4章：等身大のキミをデジタルツイン化 〜3次元骨格ポーズ＆サイバーアバター〜

* **狙い**: 「1台のカメラから全身の奥行き（Z座標）を推定し、仮想世界に自分を再現する」技術の凄さを直感させる。
* **演出**: 全身33箇所の骨格ランドマークから、腰を中心とした3次元ワールド座標を計算。画面の半分に「横や斜めから見た仮想3D空間」を同時表示し、本人が動くと仮想空間のアバター骨格がリアルタイムに立体連動して動く様子を見せる。
* **テロップ例**: 「大きくジャンプしたり、ポーズをとってみよう！」「平らなカメラから立体データをつくる！」「画面の中にもう一人のキミが出現！」

### 第5章：キミの動きが宇宙を動かす 〜AIフローによる超能力粒子シミュレーション〜

* **狙い**: 「自分の身体の動きが物理法則（流体・ベクトル場）と直接シンクロする」圧倒的な没入感を与える。
* **演出**: 全身のオプティカルフロー（速度場）に連動し、数千個の光粒子が台風のように渦を巻き、腕を振ると衝撃波のように弾け飛ぶ。空中に浮かぶ光のコアに触れると斥力のモードと、渦＋吸い込みのモードが切り替わる。
* **テロップ例**: 「腕を大きくふって光の嵐をまきおこそう！」「キミのパワーで空間の重力がかわる！」「光のコアにタッチしてみよう！」

---

## 3. ハンズフリー操作・UI・機能要件

1. **空中ボタン（Touchless Interaction）**:
* 画面端のボタン（第1〜5章、AI可視化、固定など）に人差し指先端を一定時間かざす（Dwell Time判定）ことで、画面に触れずに操作可能。


2. **AI内部状態の可視化トグル（キー/UI操作でON/OFF）**:
* 3Dランドマーク点群、フローベクトル、顔メッシュ、各モデルの推論ステータス、処理FPS、フレーム間隔（$\Delta t$）などを一括オーバーレイ表示。


3. **表示モード切り替え（Fキー）**:
* ノートPC向け（縦768画素基準: 1366×768等）と、4K・高精細モニタ向け（全画面）をワンキーで切り替え可能。Per-Monitor DPI Awareに対応し、高DPI環境でも拡大ボケを防ぐこと。


4. **入力ソース選択**:
* Webカメラ（低遅延・DirectShow）、ローカル動画ファイル、自動取得デモ動画をサポート。カメラ切断時の自動再接続機能およびフレームドロップログ記録機構を備えること。


5. **ヘルプ画面（タブ切り替え）**:
* 操作方法（キー、マウス、空中操作）。
* 各章で使用している数理モデル・AIアルゴリズムの学術的解説。
* オープンデータ・MediaPipe等のライセンス・使用条件を、「大学・教育機関での利用」**と**「商用利用」に明確に区別して記載。



---

## 4. 技術的制約とモデル選定

1. **実行環境**:
* OS: Windows 10/11 (64bit)
* 言語: Python 3.9以上
* 必要リソース（メモリ、ディスク、推論デバイス要件）を画面やコード内に明示すること。


2. **モデルの選定と入手**:
* 2023年以降の安定した公式タスクAPI（MediaPipe Tasks Python APIのVision Landmarker/Segmenter等）の学習済みモデルを使用すること。
* モデルやデモアセットは、初回起動時に公式リポジトリから起動画面で進捗を表示しながら自動ダウンロードし、整合性を担保してローカルにキャッシュすること。実在する公式配布元のみを指定し、動作確認状況も偽りなく記載すること。
* 日本語を含むディレクトリパス環境でも確実にモデルを読み込める実装（バイト列からのメモリ読み込み等）にすること。



---

## 5. コードの品質・信頼性向上の設計指針

1. **例外・クラッシュを起こさない堅牢な設計**:
* 単にエラーメッセージを出して止まる処理や、中途半端な劣化フォールバックは排除し、入力値の境界クリッピングやNone判定を徹底して「そもそもエラーが起きない」コード構造にすること。


2. **学術的正確性とUIの分離**:
* 内部コードのコメント、数理計算、ヘルプ画面では大学・研究水準の正確な学術用語（テンソル、勾配ノルム、離散近似、事後確率など）を厳密に使用すること。
* 一方で、リアルタイムのメイン画面は直感的な大文字テロップやグラフィカルな表現に徹し、利用者が直感で理解できるようメリハリをつけること。


3. **コードの簡潔性と抽象化**:
* 描画ルーチンやテキスト合成パイプラインを適切に関数化し、冗長なコードを排除して総行数をコンパクトに抑えること。



---

## 6. 判断に迷ったときの優先順位

**法令・ライセンス・安全性 ＞ Windowsで動作すること ＞ 主要機能の実現 ＞ AI体験の豊かさ（視認性・演出含む）**

---

## 7. 出力形式

* Windows上で即座に実行可能な、完成した単一のPythonスクリプト全体（省略なし）を出力してください。
* 実行方法、必要なライブラリのインストール手順（pipコマンド）、動作条件（CPU/メモリ/カメラ要件）を必要最小限で添えてください。
