研究室ガイド（金子邦彦研究室）

18. 7/3 中間発表、学会原稿準備開始

• テンプレート（書き方の見本）は、このページで公開。 下の「研究室ガイダンス資料（クリックして展開）」のところ

  年間スケジュールなどは、研究室ガイダンス: [PDFファイル]で確認できる

• テーマ探求

  下にある過去の活動履歴

  AIサンプルプログラム集: https://www.kkaneko.jp/ai/labo/index.html

  ソースコード、実行結果を確認しながら、技術への理解を深める。自分のパソコンで動作させることにもチャレンジ。現在までの取り組みと今後の予定をわかりやすく書く（中間発表）。自分なりの工夫を試しシェアする（学会発表原稿）

• ゼミ、研究の進め方に関する心構え

  [PDF], [パワーポイント] （同じ内容，クリックしてダウンロード）

17. 7/2 顔情報処理

https://www.kkaneko.jp/cc/aitasks/face_processing.htmlf

6/26 休校

16. 6/25 画像からの３次元推定

【各自の準備】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）

そして，以下のコマンドを実行．

pip install --no-user timm opencv-python numpy open3d pillow transformers

次のページで演習。動作結果（画像、動画）を付けているので確認して欲しい

URL: https://www.kkaneko.jp/cc/aitasks/3dintro.html

15. 6/17 AI エージェント

1. コマンドプロンプトを管理者として開き、次のコマンドを実行。それによりモデルをインストール。Ollama をインストール（インストール済の場合は更新される）

winget uninstall --id Ollama.Ollama -e --silent --disable-interactivity --accept-source-agreements
REM   uninstall 後にプロセスが残ることがあるため再度停止
taskkill /IM ollama.exe /F >nul 2>&1
taskkill /IM "ollama app.exe" /F >nul 2>&1
winget install --id Ollama.Ollama -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --custom "/DIR=C:\Ollama"
winget upgrade --id Ollama.Ollama -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --custom "/DIR=C:\Ollama"
ollama pull LiquidAI/lfm2.5-1.2b-instruct
ollama pull gemma4:e2b-it-qat

２．次のページの演習１から各自実行して欲しい。明日結果を共有。

演習１、 Super Agent Party（SAP）の前準備と用途例、演習 2．VRM 学習コンパニオン（2D／3D デスクトップキャラクター）、・・・と進めて欲しい、

うまく行かなかった場合でも有用な情報になるので共有して欲しい

URL: https://www.kkaneko.jp/cc/wininst/super-agent-party.html

14.6/11 コンピュータビジョン

スライド資料

[PDF], [パワーポイント] （同じ内容, クリックしてダウンロード）

URL: https://www.kkaneko.jp/cc/aitasks/image_understand_guide.html

13.6/5 3D姿勢推定・モーションキャプチャの応用演習：生活・社会に根ざした全身動作の活用

掲載が遅くなり申し訳ございませんでした。

URL: https://www.kkaneko.jp/cc/aitasks/mymocapapp.html

12.6/4 3Dモーションキャプチャと3Dアバター駆動

スライド資料

[PDF], [パワーポイント] （同じ内容, クリックしてダウンロード）

【各自の準備】

管理者権限でコマンドプロンプトを起動する（手順：Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）

そして，以下のコマンドを実行．

pip uninstall -y opencv-python-headless opencv-contrib-python-headless opencv-python
pip install --no-user --force-reinstall opencv-contrib-python
pip install -U --no-user open3d pygltflib mediapipe opencv-contrib-python numpy

URL: https://www.kkaneko.jp/cc/aitasks/mocap.html

３Dの表示画面はマウスで回転可能

11.5/29 AIアシスタントのローカル実行、知識管理

就職情報2026（情報工学科）のアンケートに毎月回答（但し、就職委員から個別に指示が行われる場合がある）

動画

[動画]

11.5/28 AIアシスタントのローカル実行、知識管理

URL: https://www.kkaneko.jp/cc/aitasks/rag.html

1. 「Ollama, Gemma 4:e4b モデルのインストール」はすでに終わっている

2. 使用するパソコンの搭載メモリ量が 32GB より少ないときは、このページの演習１０まで。

この資料を仕上げていきたいので、うまく動かない箇所を教えて欲しい。

10.5/22 MediaPipe を用いた AI 実行

URL: https://www.kkaneko.jp/cc/aitasks/mediapipe.html の後半

9.5/21 MediaPipe を用いた AI 実行

URL: https://www.kkaneko.jp/cc/aitasks/mediapipe.html の後半

1. WebVTuber スタジオ

• 概要：MediaPipe の Face／Pose／Hand Landmarker を併用し，Web カメラ映像から口・瞬き・視線に関する 13 個のブレンドシェイプ値，頭部姿勢の yaw・pitch・roll，左肩と両手人差し指先の座標をフレームごとに抽出する．
• 概念・理解：AI が顔・体・手を同時に認識できること，表情の度合いが 0〜1 の数値で表されること，首の向き（左右・上下・傾き）が 3 つの角度で表されること，画面上の位置が 0〜1 の正規化座標で表されること．
• 実行手順：管理者権限で pip install --no-user mediapipe opencv-python を実行→Web カメラ接続→スクリプト実行（初回はモデルが自動ダウンロードされる）→ESC キーで終了．
• 観察ポイント：口の開閉・瞬き・視線移動・首振りに応じた各値の変化，正規化座標と画素座標の対応，3 タスク同時実行時のフレームレート．
• 工夫・アドバイス：13 個の値を CSV 出力することで VRM アバター制御に発展できる．

2. AR フォトスタジオ

• 概要：MediaPipe の Image Segmenter（6 クラス）・Face Detector・Face Landmarker を併用し，背景・髪・服を画素単位で分離して塗り替え，顔矩形と頭部姿勢行列を取得する．
• 概念・理解：AI が画像の画素ごとに「背景」「髪」「服」などを判別できること，判別結果を用いて色を塗り替えられること，顔の位置を矩形で囲む処理と顔の細部を点で捉える処理は別の役割であること．
• 実行手順：管理者権限で pip install --no-user mediapipe opencv-python numpy を実行→Web カメラ接続→スクリプト実行→ESC キーで終了．
• 観察ポイント：背景・髪・服の塗り分け精度と境界の崩れ，頭部移動時のマスク追従，逆光や低照度での精度低下，コンソール出力の頭部姿勢行列の変化．
• 工夫・アドバイス：cv2.addWeighted によるαブレンドで自然な髪色変換が可能である．背景クラスを風景画像に置換することで仮想背景機能を実装できる．頭部姿勢行列を用いることで立体スタンプの重畳に発展できる．

8.5/14 シミュレーションと 3 次元コンピュータグラフィックス体験からの学び

準備作業，プログラム実行体験，各自考察（参考資料あり）

https://www.kkaneko.jp/db/panda/panda3dapp.html

7.5/8 Chat AI の実行

Super-Agent-Party の用途例

• VRM 学習コンパニオン（2D／3D デスクトップキャラクター）
  VRM モデル・モーション・3D シーンを差し替えできる．ASR・TTS・表情同期（enabledExpressions）と組み合わせることで，発話途中で割り込める音声対話キャラクターを構築でき，デスクトップ脇に学習相手を常駐させて英会話や暗唱を練習する用途で利用できる．OBS への透過配信と双方向 VMC プロトコル連携にも対応する．
• ロールプレイ型対話学習（複数キャラクターによる同時対話）
  .png 形式のキャラクターカードを取り込み，各カードに個別の TTS 音色・アバター・絵文字を割り当てることができ，英会話練習で英語話者 2 体の対話を観察する用途や，歴史上の人物同士の対話を生成する用途で利用できる．長期記憶（memorySettings）とマルチロールグループチャットにより，AI 同士の多人数ロールプレイを実現できる．
• AI 物語生成アシスタント（インタラクティブストーリー）
  【開発者】→【拡張機能】にリポジトリ URL（例：https://github.com/heshengtao/sap-story-adventure）を入力して Story Adventure 拡張機能を導入できる．worlds.json を編集することで世界観の設定や物語の生成ができ，創作演習・シナリオライティング教材・分岐型読解教材として利用できる．
• 研究室・サークル用 Discord ボット
  QQ・WeChat・Feishu・DingTalk・Telegram・Discord・Slack・Bilibili・YouTube・Twitch へのワンクリックデプロイに対応する．Bot トークン入力・システムプロンプト・ナレッジベースの切り替えにより，FAQ 応答ボットや議事録要約ボットを運用でき，研究室や学生サークルで学内手続き・機材予約・論文締切の問い合わせ対応を自動化する用途で利用できる．
• 個人用学習秘書（PDF ナレッジベース付き）
  PDF をドラッグ＆ドロップすると，チャンク分割とベクトル化が自動で行われる．埋め込みモデルプロバイダー（selectedProvider）・取得件数（top_n）・リランキング（is_rerank）・呼び出しタイミング（when：before_thinking／after_thinking）といった RAG パラメータを GUI で変更でき，講義資料・教科書・参考論文を根拠に回答する専用 AI を用意する用途や，RAG パラメータの影響を観測する用途で利用できる．

6.5/7 Chat AI の実行

URL: https://www.kkaneko.jp/cc/wininst/super-agent-party.html

説明資料: [PDF], [パワーポイント] （同じ内容）

5.5/1 ゼミ

MediaPipe の用途例

• WebVTuber スタジオ
  Face／Pose／Hand Landmarker の出力を ARKit 互換係数で VRM アバターに反映する．顔の表情・全身姿勢・手指形状をリアルタイムに 3D キャラクターへ転写する機能を実現する．ライブ配信・遠隔授業・匿名での講演収録において，演者の素顔を露出せずに表現力を維持する用途で利用できる．
• AR フォトスタジオ（背景・髪色・服色・顔フィルタの一括変換）
  Image Segmenter の 6 クラスマスクと Face Detector で背景・髪・服を一括変換する．人物・髪・衣服の領域を画素単位で分離し，色や質感を差し替える機能を実現する．オンライン会議の背景除去・SNS 向けの外観シミュレーション・プライバシー配慮が必要な映像素材の生成に利用できる．
• AR「なんでも図鑑」スカベンジャーハント／類似画像検索
  Object Detector と Image Embedder のコサイン類似度により，自前コレクションの近傍検索を行う．COCO 80 クラスで物体位置を特定し，ImageNet 由来の約 1000 クラスで細分類したうえで，独自画像群と照合する機能を実現する．博物館の展示解説・地域生物観察・研究室備品の棚卸しなどで，カメラに写したものを即座に同定する用途で利用できる．
• ジェスチャ操作の音楽パフォーマンス／スマートコントローラ
  Hand Landmarker の指先座標と Gesture Recognizer の 7 クラスで楽器や機器を操作する．指先の空間位置と 7 種類の組み込みジェスチャを入力信号化する機能を実現する．エアピアノなどの音楽パフォーマンス教材・プレゼンテーションの非接触操作・調理現場など手が塞がる場面でのスマート家電制御に利用できる．
• 「音響シーン × 多言語テキスト」モニタリングダッシュボード
  YAMNet 521 クラスと BERT 感情極性により，音響シーンとテキストを同一タイムラインに可視化する．拍手・笑い声・警報音などの音響イベント検出と，コメント文の感情極性判定を同期表示する機能を実現する．授業の盛り上がり分析・ライブ配信のモデレーション・イベント会場の雰囲気モニタリングにおいて，ASR（自動音声認識）に依存せずに状況把握する用途で利用できる．

4.4/30 11:00 MediaPipe による 12 種類の AI タスク実行（Windows）

MediaPipe Tasks API により，物体検出，セグメンテーション，姿勢・手・顔・ジェスチャー認識，音声分類，テキスト処理の 12 タスクを Windows 上で実行する．各 Python スクリプトはモデル自動ダウンロード，ファイル選択，推論，結果表示の 4 段階で統一されており，改変と Web カメラ連携への拡張が容易である．

AI 実行で精度・性能が不足する場合は，設定変更，学習済みモデルの選択，前処理，他技術の利用，追加学習などを検討する．

URL: https://www.kkaneko.jp/cc/aitasks/mediapipe.html

説明資料: [PDF], [パワーポイント] （同じ内容）, [動画]

3.4/13 研究室ガイダンス

集合しての活動日，研究室ゼミ，スケジュール，進め方などを説明する（資料は下にある）．

2.4/23 11:00 情報工学の学び，プログラミングは研究の道具・触って確かめよう

[PDF], [パワーポイント] （同じ内容，クリックしてダウンロード）

使用サイト

Python Compiler Online（Python 学習サイト） https://pythoncompiler.io/

演習 1

import matplotlib.pyplot as plt
months = [4, 5, 6, 7, 8, 9, 10, 11, 12, 1, 2, 3]
temperature = [15.2, 20.1, 23.5, 28.3, 30.1, 25.8, 19.4, 12.6, 7.3, 4.8, 5.5, 10.2]
plt.plot(months, temperature, marker='o')
plt.title('Monthly Average Temperature')
plt.show()

演習 2

import matplotlib.pyplot as plt
import matplotlib.patches as patches

fig, ax = plt.subplots()
colors = ["purple", "orange", "cyan"]  # 色のリスト
for i in range(3):                     # 3回繰り返す
    ax.add_patch(patches.Rectangle(
        (i * 60, 0), 40, 40,           # 位置(x,y), 幅, 高さ
        facecolor=colors[i],           # 塗りつぶし色
        edgecolor="black"              # 枠線の色
    ))

ax.set_xlim(-10, 190)
ax.set_ylim(-10, 60)
ax.set_aspect("equal")                # 縦横比を揃える
plt.show()

1.4/16 12:00

昼食会，スケジュール・集合日確認

研究の心構え，研究の進め方，中間発表へ向けて，心配なことがあるとき

秋までのスケジュール：中間発表（7月），学会発表原稿（8月），プレゼン（10月）

指導教員，仲間，AIへの相談

説明資料: 研究室ガイダンス

• 中間発表ポスターサンプル[PDF], 中間発表ポスターサンプル[パワーポイント] （パワーポイントは、セレッソの「情報４年生」からも入手可能）
• 学会発表原稿サンプル （テンプレートは別途配布予定）
• 学会発表プレゼンサンプル （テンプレートは別途配布予定）

HP掲載資料: AIをあなたの研究アシスタントとして適切に使う

1. まず自分で考え，AIは比較材料として使う。
2. AIの回答には誤りや架空の情報が含まれる場合がある。必ず正確性を確認すること（例：元論文を確認）。
3. 聞き方を変えて繰り返し試すことで，より良い回答を引き出せる。
4. AIの回答で終わりにするのでなく，自分で追加調査，独自の考察，実際の検証などを行い，「自分の成果」をメインにすること。

１．私の興味・関心に沿った卒業研究テーマの提案（対象：情報工学科4年生，研究期間：約10か月）

《プロンプトのサンプル》

AIに相談するために、言葉で、AI二プロンプトという指示を出します。

末尾に記載する私の興味・関心に基づき，研究テーマを複数提案してください。

■ ゴール
私の興味・関心に沿った卒業研究テーマの提案（対象：情報工学科4年生，研究期間：約10か月）

■ 背景
情報工学科4年生の卒業研究には以下の特性がある．
- 多くの学生にとって初めての研究であり，適切な範囲設定やリサーチギャップの特定に不慣れである
- 研究期間が約10か月に限られる
- 利用環境は一般的なPCが中心である

こうした制約のもとで，興味・関心と実現可能性のバランスがとれたテーマ設定が重要となる．

■ 手順と形式
以下の項目をテーマごとに記載すること。

- 「テーマ名」と「研究の範囲」
- 類似研究の調査結果（既存研究の概要とリサーチギャップ）
  文献を挙げる際は，著者・タイトル・発表年・掲載先を明記する。
- 研究としての成立要件の確認と根拠。成立要件は以下の3点とする：
  ・新規性
  ・特別なハードウェアを必要としない実現可能性
  ・約9か月での完了可能性
  懸念があれば正直に指摘し，対策案も示す。
- 「何をやるか」と「何をやらないか（除外理由含む）」

■ 出力の制約
- 各項目の根拠や理由を簡潔に付記すること
- 判断や評価を行う場合は，その根拠を明示すること
- 専門用語には初出時にカッコ書きで簡単な補足説明を付け，情報工学科の4年生が理解できる記述とすること
- 出力を作成したら，正確性・論理性の観点で品質を確認したうえで表示すること。文献やURLは可能な限り実際にアクセスし確認すること

■ 私の興味・関心
（ここに記入）

２．決まったテーマを，具体的な研究課題と最初に取り組むべき作業に落とし込むこと（対象：情報工学科4年生，研究期間：約10か月）

《プロンプトのサンプル》

末尾に記載する私の研究テーマに基づき，研究の具体化について思考・整理してください．


ヒント：このプロンプトの末尾「私のアイデア」のところに、前のAIからの回答を付けるときには、次のような記載を追加することで、より適切な提案が得られる可能性がある。
「ここから先の資料はAIが生成した比較材料です．自分自身の研究計画案を持った上で参照してください．記載された計画には不正確な箇所が含まれている前提で，原論文を探し検証してください．」

■ ゴール
決まったテーマを，具体的な研究課題と最初に取り組むべき作業に落とし込むこと

■ 背景
テーマが決まった後，それを検証可能な問いと具体的な作業に落とし込む段階である．
研究初心者にとってはこの絞り込みが難しい．

■ 出力に含める項目
1. 研究テーマの要素分解：テーマに含まれるキーワードや概念を分解・整理する
2. リサーチクエスチョンの候補：テーマから導出できる具体的な問いを3〜5件提示する
3. 各問いの評価：以下の観点で簡潔に評価する
   - 新規性：既存研究との差別化の可能性
   - 実現可能性：今後約9か月間の卒業論文期間で取り組めるか
   - 検証可能性：実験やデータで答えが出せるか
4. 推奨する最初の作業ステップ：最も有望な問いについて，着手すべき作業を順序付きで3〜5件示す
5. 関連する研究キーワード：文献調査の起点となるキーワードを5〜10件提示する
6. 利用可能なオープンデータがあれば、名称、概要、URL、利用の意義を説明する

■ 出力の制約
- 推測や主観的評価は排除すること
- 各項目の根拠や理由を簡潔に付記すること
- 専門用語には初出時にカッコ書きで簡単な補足説明を付け，情報工学科の4年生が理解できる記述とすること
- 出力を作成したら，正確性・論理性の観点で品質を確認したうえで表示すること。文献やURLは可能な限り実際にアクセスし確認すること

■ 私の研究テーマ
（ここに記入）

３．私の取り組みの実現に適するツールやライブラリの深掘り調査

《プロンプトのサンプル》

末尾に記載する私の取り組み予定に基づき，ツールやライブラリの深掘り調査を行ってください。

回答の先頭に，次の文をそのまま記載すること：
「この資料はAIが生成した調査結果です．調査結果には不正確な箇所が含まれている前提で活用してください．」

■ 背景
情報工学科4年生の卒業研究において，研究に必要な技術が学部授業でカバーされていないことが多い．
そのため，ツールやライブラリを自力で調査・評価する能力が求められる．

■ ゴール
私の取り組みの実現に適するツールやライブラリの深掘り調査（対象：情報工学科4年生）

■ 調査項目
私の取り組みについて，ツールやライブラリごとに以下を記載すること．

- 公式ドキュメントのURL
- 同種の候補の数と主な候補名
- ライセンス形態と商用利用の可否
- 開発の継続状況（最終更新日，リリース頻度など）
- 既知の欠点や制約
- 採用を推奨する理由（他の候補との比較に基づくこと）

調査の終了条件：主要な候補を比較し，推奨順位を付けられる状態とする．

■ 出力の制約
- 判断には根拠を明示し，推測や主観的評価は排除すること
- 専門用語には初出時にカッコ書きで簡単な補足説明を付け，情報工学科の4年生が理解できる記述とすること
- 出力を作成したら，正確性・論理性の観点で品質を確認したうえで表示すること。文献やURLは可能な限り実際にアクセスし確認すること

■ 私の取り組み
（ここに記入）

４．私のアイデアの実現可能性を評価し，検証・試行の具体的な手順を示すこと．

《プロンプトのサンプル》

末尾に記載する私のアイデアに基づき，アイデアの試行や検証について具体的な手順を提案してください．

回答の先頭に，次の文をそのまま記載すること：
「この資料はAIが生成した調査結果です．調査結果には不正確な箇所が含まれている前提で活用してください．」

■ 背景
アイデアの検証と試行のために，新しいツールやライブラリの使用やプログラミングが必要である．
しかし，ツールやプログラミングに不慣れなため，環境構築やコードの誤りが原因で，有望なアイデアを誤って「見込みなし」と判断するリスクがある．

■ ゴール
私のアイデアの実現可能性を評価し，検証・試行の具体的な手順を示すこと．
対象読者は情報工学科4年生とする．

■ 調査項目
私のアイデアについて，候補となるアイデアごとに以下の項目を記載すること．

1. 概要と理由
   - アイデアの概要説明と検証の必要性（すでに検証済みの事実を繰り返さない）

2. アイデアの実現可能性レビュー
   - 「実現できそうか」：技術的に実現可能かどうかの判定と根拠
   - 「罠があるか」：導入時・実装時に陥りやすい問題点（依存関係の競合，非推奨APIなど）
   - 「代案はあるか」：問題が判明した場合の代替手段

3. 長所・短所の比較
   - アイデアの長所と短所を，根拠とともに整理すること

4. 検証・試行の手順
   以下の順序で，ツールやPythonに不慣れな人が迷わずに実行できる手順を示すこと．
   (a) 環境構築：インストールコマンド，必要なバージョン，動作確認方法
   (b) 最小限の動作確認コード：コピー＆ペーストで動作する完全なコードと，その実行方法
   (c) アイデアの検証コード：私のアイデアに即した検証用コードと，期待される出力
   (d) 判定基準：「この出力が得られれば実現可能」「この出力なら方針変更が必要」という判断の目安

5. アイデアの新規性の確認
   以下の観点から，アイデアのどこに新しさがあるかを調査すること．
   - 同じ目的の既存ツール・ライブラリ・研究がすでに存在するか
   - 存在する場合，私のアイデアとの違いは何か
   - 既存技術の新しい組み合わせや，新しい適用対象といえる部分はあるか
   調査結果をもとに，「このアイデアの新しさはここにある」と説明できる文を1～2文で示すこと．
   卒業研究の発表や論文で，新規性の説明として使用することを想定している．

■ 出力の制約
- 判断には根拠を明示し，推測や主観的評価は排除すること
- 専門用語には初出時にカッコ書きで簡単な補足説明を付けること
- コードを示す場合は，コピー＆ペーストでそのまま動作する完全なコードとすること
- 文献やURLは可能な限り実際にアクセスし，リンク切れでないことを確認すること
- 出力を作成したら，正確性・論理性の観点で品質を確認したうえで表示すること
- 可能な限り多くの検索を実行し，情報の裏付けを取ること

■ 私のアイデア
（ここに記入）