2023年度卒業研究サポートページ

卒業研究

受講準備

研究室のパソコンを使用する。

自身のパソコンで研究したいというときは、下のページを参考に、自身でセットアップする必要がある。（そういうことが楽しいと思える人はぜひ挑戦すべきである。応援する）

https://www.kkaneko.jp/tools/win/tools.html

集合時間

火曜日の１０時５０分、木曜日の１０時５０分。

（学生のみの活動となる場合がある）

受講上の注意

  1. 中間発表（７月予定）、学会発表準備と発表（７月、１０月、１−２月）、卒論提出（１２月予定）、卒論プレゼン（１２月予定）を予定する。
  2. 課題：集合時に指示する。

    自主的な調査・学習（インプット）、自身が実施した実験手順・実験結果・考察、その他自身の考えを根拠やデータと共に説明する活動（アウトプット）を重視した課題である。

    最初は集合してミーティング等を行い、その後、各自に分かれての自主活動である。２－３時間以上程度を目安とする。集合時間以外でも、自主的に登校することもある。必要に応じて、集合時間以外の登校をしてもらう場合がある。各自の判断で欠席する場合がある（卒業論文では公認欠席という考え方は採用せず、欠席した場合は自身で補うか、教員と相談しつつ補充する）。

  3. 出欠は、教員が様子を確認している。
  4. 進路指導や連絡のため、学生に電子メール連絡することがある。
  5. 成績評価

    日頃の登校しての活動状況や、中間発表、学会発表準備と発表、卒論提出、卒論プレゼンなどから判断する。

    卒業研究の評価は、他の授業とは異なる。頑張って取り組んだか（そのためには、まず研究を楽しみ、熱中し、自主的に取り組み、自立することが大切である）、成長できたか、基本的なルール（卒業論文のプレゼンの制限時間、中間発表や卒業論文の分量、書き方、締め切り、内容についてのルールを守ったかが大切である）。

    GPAスコア(学業成績評価指標の一つ)２の目安

    登校してのグループ活動に問題ない。自主的に調査し、実験計画を立て、実験し、自身なりの工夫を行っている。そして、自身が修得できた専門知識、使用している技術（アルゴリズムや仕組み）の説明、実験手順の説明、自身が行った工夫について、他の教員に説明でき、質問に答えることができる。中間発表のポスターや卒業論文や卒業論文のプレゼンについては、分量や内容についてルールを守っている。卒業論文のプレゼンについては時間制限（４分５０秒から５分１０秒程度で発表を終えることを目安）を守ることができている。

    GPAスコア４の目安

    次の点で優れていること。

    • 専門知識：専門的な知識や技術を、自主的に学んでいる。仲間に教えたり、仲間から教わったりしている。
    • 調査・分析能力：自身が直面した課題について、関連する情報を自身で収集しながら、解決に取り組んでいる。困ったときは仲間や教員に相談している。
    • プログラミング：研究で使用するプログラムについて、自身なりに工夫ができる。そのためにPython言語(汎用プログラミング言語)の理解と、実践能力の成長に意欲的である。
    • マネジメント：宿題などは早めに終えて余裕を持ち、時間を有効に活用している。そして、締め切り前には自身で良く確認したり、教員に前もって質問したりなどで、ミスを減らすように努力している。
    • コミュニケーション：仲間や教員に説明ができる。このことは、他の人とともに高めあうことである。学会発表や、チーム内の意見交換（よく人の話を聞いたり、自身の意見を言うことができる）に積極的である。
    • 問題解決能力：最初、失敗した、うまくいかないと思ってもあきらめずに、論理的に、実験結果や調査結果などを積み重ねながら、解決策を見つける。AI(人工知能)やデータベース(構造化された情報の集まり)の研究では、データのとり方を工夫したり、プログラム内の設定を工夫したり、プログラムのアルゴリズムを工夫したり、今までのやり方に固執せずに、別にやり方をたくさん試したりなどに、自律的に、意欲的に挑戦する。困ったときは、仲間や教員に助けてもらうことが大切である。そして、研究で使っているプログラムについて、仕組みをよく理解しておくことも大切である。

質問の仕方

メールでも質問できる。

金子邦彦（かねこ くにひこ） email_icon

授業計画

卒業研究の関連資料

フィードバック 10/11 の発表に対して

（10/18 については待っていてほしい）

学生の研究テーマは興味深く、多岐にわたる内容である。それぞれの研究がさらに進展することを期待する。

アドバイスは、皆の研究力を高め、卒業研究の満足感を高めるためのものである。アドバイスの通りに研究する必要はなく、常に自身で考え行動し、楽しく、思い通りに研究することは大切である。研究の満足感を上げるためには、リサーチや実験を辛抱強く繰り返すことも大切である。

そして、各自の発表のまとめも記載しているので、他の人の研究を深く知り参考にしたり、あるいは「自身の研究を分かりやすく発表したい」ときに活用すること。

毎回の活動記録

昨年の卒論ファイルのうち４名分：昨年の卒論ファイル（研究室のパソコンからアクセスできる）

Transformer(自然言語処理等で使われる深層学習モデル)を扱うプログラム：

https://colab.research.google.com/drive/1L9n5E0_BTRy1q0jE1I2xT3MTuSpceVSY?usp=sharing

12/20 Segment Anything

EdgeSAM

【文献】
Segment Anything Model（SAM）(汎用画像セグメンテーションモデル)は、スマートフォンなどのエッジデバイスで効率的に動作することを目的としている。SAMにおける画像エンコーダはVision Transformer（ViT）(画像認識用Transformer)を基にしていたが、エッジデバイスに適した畳み込みニューラルネットワーク（CNN）(画像処理に強いニューラル網)ベースのものに変更された。この変更においても、SAMのエンコーダ・デコーダアーキテクチャは保持されている。さらに、プロンプトエンコーダとマスクデコーダの両方を蒸留（distillation）(機械学習で知識を小型モデルに継承)プロセスに含めることで、プロンプトとマスク生成の間の複雑な相互作用を効果的に扱う工夫が行われている。実験では、EdgeSAMはSAMよりも高速であり、元のSAMと匹敵する精度を実現していることを示している。

文献

Chong Zhou, Xiangtai Li, Chen Change Loy, Bo Dai, EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM, arXiv:2312.06660v1, 2023.

https://arxiv.org/pdf/2312.06660v1.pdf

【関連する外部ページ】

深さ推定

Magigold Depth Estimation(単眼画像からの奥行き推定AI)

12/13

Alpha-CLIP(特定領域に注目するCLIP改良版)

Zeyi Sun, Ye Fang, Tong Wu, Pan Zhang, Yuhang Zang, Shu Kong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang, Alpha-CLIP: A CLIP Model Focusing on Wherever You Want, arXiv:2312.03818v1, 2023.

CLIP(画像とテキストを関連付けるAI)は、画像とテキストからセマンティックな特徴を抽出するモデルである。これは、テキストと画像の内容を関連付けることで、画像内のオブジェクトやシーンを理解するのに役立つ。Alpha-CLIPは、CLIPの改良版で、特に画像の特定の関心領域（Interest Region）に焦点を当てることができる。これにより、画像全体ではなく、特定の部分の詳細な理解や、その部分に対するより精密な制御が可能になる。Alpha-CLIPは、追加のアルファチャンネルを通じて関心領域を指定し、これらの領域に関連するテキストとペアになった大量のデータで微調整される。これにより、モデルは特定の領域に焦点を合わせながらも、画像全体のコンテキストを維持することができる。実験では、Alpha-CLIPは画像認識、マルチモーダル大規模言語モデル、2D生成、3Dコンピュータグラフィックス(3DCG:3次元空間の画像を生成する技術)生成などのタスクで、従来のCLIPモデルを上回る性能を示した。Alpha-CLIPをDiffusionモデルと組み合わせることで、画像の変化タスクにおいて、より制御可能なコンテンツ生成が可能になる。これは、従来のCLIPモデルでは困難だった、複雑な画像からの主題抽出や、特定の領域に焦点を当てた画像生成を可能にする。

https://arxiv.org/pdf/2312.03818v1.pdf

HuggingFace のデモページ: https://huggingface.co/spaces/Zery/Alpha_CLIP_ImgVar

12/12. 高解像度の画像生成AI

DemoFusion(高解像度画像生成フレームワーク)

DemoFusion: Democratising High-Resolution Image Generation With No $$$, Ruoyi Du, Dongliang Chang, Timothy Hospedales, Yi-Zhe Song, Zhanyu Ma, arXiv:2311.16973v1, 2023.

https://arxiv.org/pdf/2311.16973v1.pdf

DemoFusionは、潜在拡散モデル（LDM）(高品質な画像生成AI手法)を活用し、高解像度画像の生成を目指す新しいフレームワークである。この論文では、プログレッシブアップスケーリング(段階的に解像度を上げる手法)、スキップ残差、拡張サンプリングを用いて、高解像度画像を生成するDemoFusionを提案している。実験結果からは、追加の学習を必要とせずに、高解像度画像生成の品質を向上させることが可能であることが示されている。DemoFusion を用いることにより、ユーザーは初期段階で低解像度の画像をプレビューし、レイアウトやスタイルに満足した後、高解像度へと進むことができる。

次のデモのページでは、画像と、画像をなるべく正しく具体的に説明する「プロンプト」を与えることにより、高解像度化を行う。

https://huggingface.co/spaces/radames/Enhance-This-DemoFusion-SDXL

12/6. モノクロ画像からの深さ推定 (Depth Estimation)

AdelaiDepth(単眼画像からの深度推定手法)

【概要】
単一の画像からの深度推定（単眼深度推定）と、３次元シーンの再構成に関する一手法である。従来の単眼深度推定では、未知の深度シフト (depth shift) と、未知のカメラ焦点距離により、正確な結果が得られないとしている。本手法では、この問題の解決のために、単眼深度推定ののち、３次元点群エンコーダを使用して深度シフトとカメラ焦点距離を推定する二段階フレームワークを提案している。仕組みとしては、深度予測モジュールと点群再構築モジュールから構成されている。深度予測モジュールは畳み込みニューラルネットワークを利用して、単眼震度推定を行う。点群再構築モジュールは、ポイントクラウドエンコーダネットワークを活用して、深度シフトとカメラ焦点距離の調整係数を推定する。実験結果からは、ポイントクラウド再構築モジュールが単一の画像から正確な3D形状を回復できること、および深度予測モジュールが良好な推定結果を得ることが確認された。

デモページで画像をアップロードして試すことができる。

AdelaiDepth の Google Colaboratory のデモページ（AdelaiDepth ResNet101）: https://colab.research.google.com/drive/1rDLZBtiUgsFJrrL-xOgTVWxj6PMK9swq?usp=sharing

AdelaiDepth の GitHub のページ: https://github.com/aim-uofa/AdelaiDepth

12/5. LLaVA

LLaVAは、多モーダルな大規模言語モデル（Large Language Model）に特化しており、視覚と言語の両方のデータを効率的に処理できるように設計されている。このフレームワークは、既存の多モーダルモデルをさらに強化するための改良が施されている。LLaVAは二つの主要な特長を持つ。一つ目は、多層パーセプトロン（multilayer perceptron; MLP）(基本的なニューラル網構造)を使用した視覚-言語クロスモーダルコネクタである。これにより、視覚と言語のデータがより効率的に統合される。二つ目は、視覚的質問応答（Visual Question Answering; VQA）(画像内容に関する質問に答えるAI)データの追加である。これにより、モデルは視覚的な情報に基づいて質問に答える能力が向上する。

論文

Liu, Haotian and Li, Chunyuan and Li, Yuheng and Lee, Yong Jae, Improved Baselines with Visual Instruction Tuning, arXiv:2310.03744, 2023.

Liu, Haotian and Li, Chunyuan and Wu, Qingyang and Lee, Yong Jae, Visual Instruction Tuning, arXiv:2304.08485, 2023.

11/29. 動作認識

MMAction2(動作認識のためのAIツールキット)は動作検出、動作認識の機能を持つ。

【サイト内の関連ページ】

次のページでは、Kinetic-400(動作認識用大規模データセット)で学習済みのモデルを用いた動作認識のプログラムを示している。

動作認識、動作認識を行う Python プログラム（MMAction，Python，PyTorch を使用）（Windows 上）: 別ページ »で説明

実行結果の例

上の実行結果を得た動画ファイル

demo.mp4

11/28. Concept Sliders

【概要】

「Concept Sliders」(拡散モデルの精密制御技術)は、拡散モデルを用いた画像生成において、テキストプロンプトの変更だけでは難しい属性の精密な制御を可能にする新技術である。従来の方法では、画像の全体的な構造が大きく変わることが問題であったが、Concept Slidersは特定の概念に対応するパラメータ方向を学習し、画像の特定の属性を増減させることで、視覚的な内容の変更、現実感の向上、手の歪みの修正などの応用が可能になる。この技術により、画像生成の制御が容易になり、複数のSlidersを組み合わせることで、より複雑な制御が実現できる。

【資料】 [PDF], [パワーポイント]

【文献】

Rohit Gandikota, Joanna Materzynska, Tingrui Zhou, Antonio Torralba, David Bau, Concept Sliders: LoRA(大規模モデルの低負荷チューニング) Adaptors for Precise Control in Diffusion Models, arXiv:2311.12092v1, 2023.

【関連する外部ページ】

58. 対話AI 11/22

【資料】 [PDF]

【関連する外部ページ】

WebLangChain(ウェブ情報利用の言語モデル連携): https://weblangchain.vercel.app/

57. 人体の姿勢推定 11/21

動画: 動画

【資料】

[PDF], [パワーポイント]

【サイト内の関連ページ】

人体の３次元位置推定（MHFormer(人体の3次元姿勢推定AIモデル)，Python，PyTorch を使用）（Windows 上）: 別ページ »で説明

56. 顔情報処理 11/16

オンラインデモ。実行のためにカメラ付きのパソコンを準備すること。

https://visagetechnologies.com/demo/

説明資料: [PDF], [パワーポイント]

ミヨシ電子株式会社からのメッセージがあった。情報工学の人材を求めているとのことである。https://www.miyoshi.elec.co.jp/information/business/business_top.html

卒業研究についての情報工学科からの案内を、各自、再度よく読んでおくこと。

https://cerezo.fukuyama-u.ac.jp/ct/course_342000_news_1430607

55. テキスト生成モデルとチャットモデル 11/8

テキスト生成モデルとチャットモデルの基本概念とChatGPT(対話型AIモデル)の特徴を紹介する。テキスト生成モデルは任意の入力から新たなテキストを生成し、チャットモデルは人間との対話を目的としてリアルタイムの応答を生成する。ChatGPTはチャットモデルの一種であり、テキスト生成モデルの能力ももち、対話から学習し応答を改善する能力を持つ。また、OpenAI API(OpenAIのAIモデル利用インターフェース)キーを取得することで、OpenAIのモデルにアクセスできる。ChatGPTとLangChain(言語モデルアプリ開発フレームワーク)を利用したいくつかのプログラムの実行手順も説明している。まず、ライブラリのインストールや環境設定ファイルの作成を行う。プログラムは、LangChainの公式サイトのものを一部変更して使用している。メモリを用いたチャットモデルや検索拡張生成（RAG）(外部情報検索と連携する文章生成)を利用する方法も説明している。

説明資料: 2023-11-08.pdf, 2023-11-08.pptx

54. ビジュアルな質問応答 11/7

53. 発声動画の生成 11/1

プロンプトからの動画生成

次のサイトは Stable Diffusion を使用して、プロンプトから2秒程度の動画を生成する。

https://huggingface.co/spaces/guoyww/AnimateDiff (AnimateDiff: テキストから動画を生成するAI)

https://openxlab.org.cn/apps/detail/Masbfca/AnimateDiff

52. 発声動画の生成 10/31

発声動画の生成

音声と画像ファイルから発声動画を生成するなど

左が元画像、右が生成された動画

使用した音声

1.m4a

【サイト内の関連ページ】

【関連する外部ページ】

51. 発表リハーサル

全員により発表リハーサルを実施した。

50. ビデオオブジェクトセグメンテーション 10/24

Cutie のビデオオブジェクトセグメンテーションのデモ（Google Colaboratory のページ）

公式の Google Colaboratory 上のデモページ: https://colab.research.google.com/drive/1yo43XTbjxuWA7XgCUO9qxAi7wBI6HzvP?usp=sharing#scrollTo=qYv3kbaQT2w4

URL: https://hkchengrex.github.io/Cutie

案内

１．進路について

２．明日のリハーサルについて

下に（10/18 の回のところ）注意事項を記載しているので、繰り返し、よく読んでおくこと。

49. 画像分類 10/18

timm(PyTorch画像モデルライブラリ)，Python を使用。画像分類に使用するモデルをプログラム内で簡単に選択可能である。下は、最近のモデルである eva02 を使用。

説明ページ: 画像分類の実行（timm のインストールと動作確認）（Python，PyTorch を使用）（Windows 上）

案内

案内

2023年度(第74回)電気・情報関連学会中国支部連合大会

発表10分、質疑3分

https://rentai-chugoku.org/cfp.html

パワーポイントファイルのテンプレート template.pptx （卒業論文発表でこのファイルを使用しても問題ない）

プレゼンテーションの構成の例

  1. イントロダクション (1分)
    • 最初のページで、自身の氏名と「福山大学工学部」を言う。
    • 研究の背景と重要性。
    • 全体の流れの概要を予告する。
  2. 目的 (2分)
    • 実験を行う目的。
    • 解明したい問題点。
    • 期待する成果や影響。
  3. 実験方法 (2分)
    • 使用したAI技術とその選定理由。
    • 実験設計。
    • データ収集方法。
  4. データ (3分)
    • 得られた数値や観察点。
    • グラフやチャートでの可視化。
    • 重要な発見。
  5. 解釈、結論、考察、次の行動 (2分)
    • データから何が読み取れるか。
    • 何がうまくいき、何がうまくいかなかったのか。
    • 結果に対する自身の考えや解釈。
    • 結果から学び取るべきこと。
    • 次に取るべきステップや改善点（但し「自身が行う次の行動に限って説明すること）。

なお、スライドの各ページのタイトルは、上を気にすることなく、自由につけてよい。内容を表すタイトルが良い。

書き方で気をつけること

プレゼンテーションでは、文章の書き方に気をつけて、準備に十分な時間をかける。

具体的でわかりやすい説明を心がけること。

  1. 目的の説明
    • 良くない例: "本研究では深層学習の画像認識についての研究である。"

      曖昧で、具体性が欠けている。

    • 良い例: "本研究の目的は、深層学習を用いて画像認識の精度を5%向上させることである。"

      具体的な数値や目標が明示されている。

  2. 実験方法の説明
    • 良くない例: "自身でインターネットで顔のデータを集めた。"

      何をどうしたのかが全くわからない。

    • 良い例: "データ収集のために、URL ●● から、オープンソースの画像データセット ○○ 枚を用いた。"

      方法が明確で、説得力がある。

  3. データの解説
    • 良くない例: "うまくいく場合とうまくいかない場合があった。撮影の仕方が影響していた。"

      何がどれほど良好なのかが不明瞭である。

    • 良い例: "撮影のときに正面から撮影する場合５枚と、斜めから撮影する場合５枚で比較すると、画像認識の精度が平均で4.8%向上した。"

      結果が具体的な数値で示されている。

  4. 次の行動
    • 良くない例: "実験で使うデータを増やす必要がある。"

      具体的な行動計画が見えない。

    • 良い例: "11月までに、●●のデータを●個増やし、同じ方法で再実験して確認する。その結果を用いて ○○ を確認する。"

一般的な注意点

項目ごとの注意点

プレゼンテーション当日

マナー

48. ゼロショットのセグメンテーション

SAM （ゼロショットセグメンテーション(事前学習なし特定対象の領域分割)）のオンラインデモ

https://segment-anything.com/demo#

「Upload an image」により、画像のアップロードが可能である。

47. 10/10 (1回目)

日本語対応のLLM，チャットボット（ELYZA-japanese-Llama-2-7b(日本語対応大規模言語モデル)，transformer，Python，PyTorch を使用）（Windows 上）: 別ページ »で説明

卒業研究のメリット，心構え: [PDF], [パワーポイント]

個人発表

47. 10/10 (2回目)

行動を開始するためのアドバイス

行動を持続するためのアドバイス

発表についてのアドバイス

実験結果の報告

フィードバックの受け取り

自立的に前進する

資料作成のアドバイス

46. 10/4

AI に関するオンラインデモのリンク集: https://www.kkaneko.jp/ai/online/index.html

Text-to-3D(テキストから3Dモデル生成技術)の公式のオンラインデモ（Google Colaboratory）: https://colab.research.google.com/github/camenduru/dreamgaussian-colab/blob/main/dreamgaussian_colab.ipynb

Google Colaboratory なので、各自で修正して実行可能である。そして、処理結果（３次元データ）は、簡単な操作でダウンロードできる。

処理結果（３次元データ）: icecream_mesh.obj, icecream_mesh.mtl, icecream_mesh_albedo.png, icecream_model.ply

処理結果のスクリーンショット（動画）（リンクが切れていたので修正した）: icecream.mp4

45. 10/3

写真からの立体データの生成（Image-to-3D(画像から3Dモデル生成技術)）

写真１枚から、テクスチャ付きの立体データを生成する。

DreamGaussian(高速3D生成AIモデル) の Image-to-3D の公式のオンラインデモ（Google Colaboratory）: https://colab.research.google.com/drive/1sLpYmmLS209-e5eHgcuqdryFRRO6ZhFS?usp=sharing

写真１枚から、テクスチャ付きの立体データを生成する。

元画像の例

中間結果

最終結果

スクリーンショット

処理結果（３次元データ）: b.obj, b.mtl, b_albedo.png

処理結果のスクリーンショット（動画）:

b.mp4

使い方のヒント

研究を進める中で、先行研究や、教員や仲間のアドバイスに基づいて行動することは、とても良いことである。でも大切なことは、先行研究や他の人のアドバイスが全てではないということである。もし先行研究や他の人のアドバイスでうまくいかなかったとしても、それで終わりではない。そこで「終わり」にするのは、自身の成長や可能性をそこで閉ざしてしまうことになる。学びの過程では、自身で考察し、さまざまな方法を試すことが大切である。そのとき、失敗は避けることができない、失敗から学ぶことが大切だと思ってほしい。失敗から、次に生かす知識やスキルが増えていく。研究では、まだ解明されていない謎に挑戦するものである。もし先行研究や他の人のアドバイスでうまくいかなかったことを、次の行動に生かしてほしい。そのような態度は、研究の成功と満足感につながる。自己アピールや自信をつけるためにも大切である。

プレッシャーに負けないように、自身で小さなゴールを立てて、成長を実感すること。

登校して個人ワークに取り組むことは、気分転換、環境変化にもなり、やる気アップにつながる。規則正しい生活、趣味の没頭などのリフレッシュも大切である。

「少しだけやってみる」という考え方も大切である。それだけで、勉強や課題を継続できるきっかけをつかむことができる場合も多い。

いろいろな方法を試すこと。

面談

全員と面談する。進路関係。

面談用のシート: sheet2.docx

データベース研究室 課題

宿題がある。

44. 9/26

複数オブジェクトのトラッキング(MOT)(動画内で複数対象を追跡する技術)

結果を保存した動画ファイル：trackanything.mp4

オブジェクト・トラッキングとセグメンテーション（Track Anything(汎用的な物体追跡・セグメンテーションAI)，Python，PyTorch を使用）（Windows 上）: 別ページ »で説明

43. 9/25

ゼロショットのセグメンテーション

ゼロショットのセグメンテーション）（HQ-SAM(高品質なSAMの改良版)，Python，PyTorch を使用）（Windows 上）: 別ページ »で説明

42. 9/19 (1回目)

画像復元(劣化した画像の品質を改善する技術)

元画像と処理結果

画像復元（DiffBIR(拡散モデルを用いた画像復元AI)，Python，PyTorch を使用）（Windows 上）: 別ページ »で説明

41. 9/19 (2回目)

ポイントトラッキング(動画内の特定点を追跡する技術)は、動画像内のポイントについて、追跡を行う。

インストールと動作の手順

ポイント・トラッキング（co-tracker(ポイント追跡AIモデル)，Python を使用）（Windows 上）別ページ »で説明

40. 9/14

MOT は、動画での物体検出やセグメンテーションにおいて、違うフレームでの結果に対して、同一オブジェクトには同一番号を与える仕組みである。

39. 9/12

ChatGPT へのコマンドや Python プログラムからのアクセス（Open Interpreter(自然言語でPC操作するAIツール)，Python を使用）（Windows 上）別ページ »で説明

38. 9/7

37. 9/5

ゼロショットのビデオオブジェクトセグメンテーション。

動画を与えると物体検出、インスタンスセグメンテーションが行われる。

実行結果の動画

cutlerwebcam.mp4

Windows 上のインストールと実行

教師なし学習による物体検出とインスタンスセグメンテーション（CutLER(動画の教師なし物体検出AI)，VideoCutLER，Detectron2(物体検出などのためのAIライブラリ), PyTorch, Python を使用）（Windows 上）

公式の Google Colaboratory 上のデモページ: https://colab.research.google.com/drive/18nIqkBr68TkK8dHdarxTco6svHUJGggY?usp=sharing#scrollTo=RyXr0xsZB897

36. 8/31

MOT は、動画での物体検出やセグメンテーションにおいて、違うフレームでの結果に対して、同一オブジェクトには同一番号を与える仕組みである。

yolo_tracking のインストールと使用法

https://www.kkaneko.jp/ai/win/yolo_tracking.html

yolo_tracking でのトラッキング・ビジョンの実行結果



35. 8/29

表情推定

34. 8/24

33. 8/10

物体検出、セグメンテーション、画像分類、物体検出の再学習と転移学習(既存モデル知識を新タスクに応用)（YOLOv8(YOLOの最新版の一つ)，PyTorch，Python を使用）（Windows 上）

32. 8/8

１．中間発表への質問回答は８月１０日が締め切りである。

２．学会発表の準備を各自にお願いしている。

①「課題解決」、「技術理解」、「根拠提供」を進める
・自身が何を工夫したか。工夫する前と工夫した後を比べるとどう変化したかを、データやスクリーンショットで示す。
・楽しむこと！

②原稿作成

著者は、本人、金子邦彦の２名。

次のページの「Word版」を使って原稿を作成。
https://rentai-chugoku.org/guideline.html

③ワードファイルを金子あてに送る。　金子による確認に2－3日かかる場合がある。　共同執筆する。

④各自で、オンラインで申し込む。このとき「ワードファイル」をアップロードする。著者は本人と金子の２名である。連絡責任著者は著者２である。メールアドレスの入れ間違いが無いこと。

https://rentai-chugoku.org/apply.html

焦る必要はない。８月２４日の昼ごろまでに終えること。

【詳細情報】
・申込者氏名：　本人の氏名
・E-mail：　大学のメールアドレス　（大事な連絡が来る！）
・発表部門：
　AI（ニューラルネット）を研究で使っている人
　　第一希望：２６．計算機応用
　　第二希望：２４．ニューラルネット
　それ以外の人
　　第一希望：２６．計算機応用
　　第二希望：２５．情報処理
　著者数：２
　著者１氏名：　本人の氏名，大学，福山大学，工学部，大学のメールアドレス
　著者２氏名：　金子　邦彦，大学，福山大学，工学部，kaneko@fukuyama-u.ac.jp
  講演者（発表者）：　「著者１」を選ぶ　（本人を選ぶ）
　学会選択：電子情報通信学会
　状態：手続き中
　学生／一般：　学生
　自身の年齢を記入すること

　連絡責任著者：　「著者２」を選ぶ　（金子を選ぶ）
　役職：　教授
　郵便番号：7290292
　住所： 広島県福山市東村町字三蔵９８５−１福山大学工学部情報工学科

⑤８月２４日１０時５０分の集合のときに、「困っていること」がないか、確認する。心配しすぎないこと。

⑥「課題解決」、「技術理解」、「根拠提供」を進めるため、８月下旬に追加実験を頼む場合がある。
　原稿の書き替えではない。
　（⑦プレゼンの時に利用。卒論でも利用。）　

⑦　プレゼン
　10月28日 (土) 9:00 - 17:15
　・ZOOM　＋　パワーポイントで発表
　・機材準備が面倒と思うので、学校に来て発表することを推奨
　・スーツを推奨
　・プレゼンの準備は各自行う
　・発表は８分。
　・急用ができた場合には連絡すること（代理で発表する）

プレゼン能力は１２月予定の卒論発表会でも役に立つ。

31. 8/3

30. 8/1

29. 7/27

ポスターに関するフィードバックを実施した。

28. 7/25

27. 7/20

日本語の大規模言語モデルについて追加説明し、現時点の技術に不足があるように感じたとしても、各自「課題解決」、「技術理解」、「根拠提供」をポスター準備で考えてほしいと伝えた。来週、再来週も全員活動し、各自で工夫を進めていくことにより、課題解決力、自主性、挑戦力を発揮してもらう。

7/25 は各自ポスターを読み上げて説明する。他の仲間に伝えることを行ってもらう。ポスターファイルは、このページで公開していく。

26. 7/18

25. 7/13

Blosm for Blender(Blender用OSMデータ連携アドオン)で Google Tile API(Google Mapsの地図タイルAPI)のデータをダウンロード。福山市の３次元データをパソコンの Blender で表示。（基本は全世界ダウンロード可能。サービスは登録必要で所定の料金が必要）

Google Tile API, 福山市中心街、最高品質でダウンロード

以上の画像についての表示: Map data ©2023 Google

その根拠: sample/lab/fukuyamacity.blend

24. 7/11

Blosm for Blender

OpenStreetMap(自由編集可能な世界地図データ)福山大学周辺。一部の建物、道路、地形、水域を確認できる。

中間発表の案内

https://cerezo.fukuyama-u.ac.jp/ct/course_342000_news_1361123?action=status

教員とのコミュニケーションが必要である。

21. 6/29 10:50-

6/29 （火曜日）は金子は最初２－３分だけ出席する。自由参加とする。

来週には、各自発表の計画がある。

20. 6/27 10:50-

6/27 （火曜日）は金子は欠席する。自由参加とする。

SAM (segment anything)は、自由なプロンプトを英語で指定して、セグメンテーションを行う技術である。

そのうち、FastSAM(高速化されたSAM)について、FastSAM のインストールと動作確認（セグメンテーション）（PyTorch を使用）（Windows 上）を、別ページ »で説明する。

全体のセグメンテーション

「the yellow dog」というプロンプトを指定してセグメンテーション

19. 6/22 10:50-

顔検出、年齢と性別の推定、顔識別、人体検出: 別ページ »で説明

18. 6/20 10:50-

17. 6/15 10:50-

自由参加である。金子は欠席する。

16. 6/13 10:50-

プログラミングとAIについて理解を深め、自信を高める。作業の自動化、実験などでも役に立つ。自己アピール、自身に自信を持つことも大切である。

[PDF], [パワーポイント]

15. 6/8 10:50-

各自のアウトプット

話題：問題、仮説、実験手順、結果、考察。引用文献。

次のことを意識してみること：具体的に。わかりやすく伝える。失敗は気にしない。テーマは自身の興味を持つものを選ぶ。解決困難な課題や、すでに解決済みの課題を選んでしまっている場合は、自身で納得のいくまでやり抜いてから気づくというのも良いし、教員や仲間から事前にアドバイスを得るのも良い。解決可能な課題を見つけ、熱中して取り組むことが理想である。研究は何が終われば終了ということはなく、粘り強く活動を継続することになる。

石原：「対話によるデータアクセス」、「3次元再構成」

小林：「画像理解」

曽根田：「3次元の福山市の再現」、「3次元再構成」

檀上：「未来予測、AI活用」

中村：「画像理解」

宮：「未来予測、変化要因の分析」

森井：「画像理解」

14. 6/5 10:50-

物体検出の回

【研究室の記事，資料】 物体検出の実行（UniDet(統一的物体検出モデル)，PyTorch, Python を使用）（Windows 上）

13. 5/31 10:50-

消失点推定の回

【研究室の記事，資料】 neurvps(消失点推定AIモデル)のインストールと動作確認（消失点推定）（Python，PyTorch を使用）（Windows 上）

宿題：6/7 は、各自発表とする。

自身が楽しいと思えることについて発表する。

具体的な経験、体験を伝えてもらう。

今後やりたいこと、自身の研究が何の役に立ちそうか、自身で解いてみたい課題は何か。

12. 5/29 10:50-

テキスト検出の回

卒業研究では、ICTの基本スキル、自主的活動、問題解決を行ってもらう。実験は「失敗した」と決めつけるのではなく、「うまく行った範囲で何の役に立つかを考え、実行してみる」か「成功するまで、辛抱強く継続する」かを考えてもらうもの。

【研究室の記事，資料】 Unified Scene Text Detection(統一的シーン文字検出AI)のインストールとテスト実行（テキスト検出）（Python，TensorFlow を使用）（Windows 上）

テキスト検出

テキスト検出

11. 5/25 10:50-

Unreal Engine 5 の紹介。３次元ビデオゲーム、３次元のアプリを制作するとき役立つ。

【研究室の記事，資料】

10. 5/23 10:50-

某社人事教育担当者が訪問する。メーカーでの仕事内容、教育等を含め情報交換すること。

【研究室の記事，資料】

9. 5/18 10:50-

画像補正、線分検知

安否確認訓練の説明　ー＞　説明資料

【資料】 PDFファイル, パワーポイントファイル

【研究室の記事，資料】

8. 5/16 10:50-

セグメンテーション

セグメンテーションに関する説明など：sotu2023-05-16.pptx

次の資料の関係部分を説明する。PDFファイル, パワーポイントファイル をよく読み、

【研究室の記事，資料】

外部リンク:

OneFormer(統一的画像セグメンテーションAI): https://huggingface.co/spaces/shi-labs/OneFormer

7. 5/9 10:50- (1回目)

ChatGPT

【研究室の記事，資料】

【外部ページ】

【宿題】

引き続き、次の資料のページ３５から５３。PDFファイル, パワーポイントファイル をよく読み、ChatGPT の活用、実験の実施、ICT スキルの自主的な取得を進めること。仲間の助けを積極的に求めること。

補足説明

7. 5/7 10:50- (2回目のはずだが原文は7. 表記)

実験の実施（結果、考察、手順の説明を目指す）。ChatBot などの対話型AIの適切な活用、引き続き、自己研鑽力、パソコン活用スキル。Windowsパソコンでの物体検出 YOLOv7。

【研究室の記事，資料】

【外部ページ】

【宿題】

引き続き、次の資料のページ３５から５３。PDFファイル, パワーポイントファイル をよく読み、ChatGPT の活用、実験の実施、ICT スキルの自主的な取得を進めること。仲間の助けを積極的に求めること。

6. 5/2 10:50-

引き続き、自己研鑽力、パソコン活用スキルを目指す。

【各自のアウトプット】

各自が学んだり、活動していること。

5. 4/27 10:50-

引き続き、自己研鑽力、パソコン活用スキルを目指す。

各自からのアウトプット：各自が学んだり、活動していること。

【研究室の記事，資料】

【外部ページ】

4. 4/25 10:50-

研究のためのより良い行動。各自の自己研鑽。研究室のパソコンに何がインストールされているか。

最新技術をパソコンにインストールし、操作できる実力は、将来、自身で学び挑戦し成長する基礎になる。

【各自のアウトプット】

各自、いま、何を学び、何を作り上げてみたいか、何を体験してみたいのか、さらに詳しく話すことができるように準備（4/25 に各自、話してもらう。）という宿題であった。各自のさらなる調査を希望する（１−２年以内の最新技術、関連する学問分野の知識、自身が体験してみたいこと、研究を通して社会に貢献する可能性について）。

石原：「対話によるデータアクセス」、「3次元再構成」

小林：「画像理解」

曽根田：「3次元の福山市の再現」、「3次元再構成」

檀上：「未来予測、AI活用」

中村：「画像理解」

宮：「未来予測、変化要因の分析」

森井：「画像理解」

【研究室の記事，資料】

【宿題】

  1. まずは、研究室ホームページを参照する。

    https://www.kkaneko.jp

    AI、3D技術、データベースの技術情報。

  2. 興味を持った技術をインストールして試してみる。

    自身で探すこと自体も宿題である。最新技術を実践的に体験する。数は自由（多くても良いし、1つか2つをじっくりでも良い）。

  3. 既にインストール済みのソフト（前ページ）は、再インストールする必要はない。
  4. オンラインデモのページも活用すること。

    https://www.kkaneko.jp/ai/online/

  5. 4/27,5/2 に口頭で、他の仲間に披露（パソコンを利用可）。

3. 4/20 10:50-

「研究」について知る。Python を活用する。

【各自のアウトプット】

研究テーマの調査について。次の資料のページ７〜１２の部分、PDFファイル, パワーポイントファイル（卒業研究のメリット、心構え）。

各自の研究テーマに関する調査を自身で行い、自身の興味関心を確認するという宿題であった。

各自、次の分野を踏まえ、口頭でアウトプットしてもらう。

石原：「対話によるデータアクセス」 チャットボット chatGPT を勉強してみたい。GPT-4（今年最新）。顧客からの問い合わせ対応や業務効率化。AI応用。福山大学の複雑な何かにこたえることができるチャットボットを作ってみたい。

小林：「画像理解」 画像理解。センシング。便利なのはいいが、AI の悪用が気になる。AI の誤作動を発生させるような攻撃があることを知り、AI の弱点を実験していきたい。

曽根田：「3次元の福山市の再現」、「3次元再構成」

檀上：「未来予測、AI活用」 未来予測。交通事故で役に立っている。自転車のヘルメットの義務化のニュースがあった、ヘルメットを要因として、事故の軽減の結果が得られる。世界のコンテストで交通事故関連のデータが公開されているらしいので、調べてみたい。面白そうである。

中村：「画像理解」 画像理解。画像の意味を理解する技術、物体検出（物体の位置や大きさを検出）、セグメンテーション（物体の境界や形）。画像理解は、周りの道路標識を理解するなどで、自動運転に役に立つ。自動運転について研究してみたい。

宮：「未来予測、変化要因の分析」 自身なりに考察、調査中である。

森井：「画像理解」 画像理解　画像分類、物体検出、セグメンテーションがある。CNN、Transformer などを利用。自動運転で活用されている。状況判断に利用。医療ではX線やMRIの解析に利用されている。まずは、画像理解の仕組みを知ること、画像のよる状況判断の仕組みを知ることから開始したい。

【研究室の記事，資料】

【宿題】

  1. この活動を受けて、各自、今後１ヶ月で何を行ってみたいかを考察する。音声認識、音声合成、AIの能力を知るか。物体検出してみるとき何を対象にするか。

    ●

    各自、いま、何を学び、何を作り上げてみたいか、何を体験してみたいのか、さらに詳しく話すことができるように準備（4/25 に各自、話してもらう）。各自のさらなる調査を希望する（１−２年以内の最新技術、関連する学問分野の知識、自身が体験してみたいこと、研究を通して社会に貢献する可能性について）。

  2. 研究室では、パソコンで Python プログラムを動かす（パソコンで動かす、Google Colaboratory など補助的に使う）という方針である。

    ● Python 実行スキル

    研究室のパソコン利用を推奨する。（自身のパソコンで Python を動かすためにはインストールが必要である。興味のある人は質問すること）。

    1. python コマンドで python プログラムを実行する。コマンドプロンプトを開き、次のコマンドを実行する。 
      python
print(1 + 2)
exit()
    2. jupyter qtconsole で python プログラムを実行する。コマンドプロンプトを開き、次のコマンドを実行する。 
      python -m jupyter qtconsole

      次のプログラムを実行する。

      次のプログラムは、NumPy(Pythonの数値計算ライブラリ)と Matplotlib(Pythonのグラフ描画ライブラリ)を使用して、0から6までの範囲のsin関数のグラフを描画する。warnings モジュールを使用して Matplotlib の警告表示を抑制し、Matplotlib では、デフォルトのスタイルを使用する。

      import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')   # Suppress Matplotlib warnings

x = np.linspace(0, 6, 100)
plt.style.use('default')
plt.plot(x, np.sin(x))

      実行で問題なかったかを確認（スキル習得の自己確認）。

    Python プログラミングの基礎に興味のある人は、次のページを活用するなどで、各自で補充すること。

    Pythonプログラミング講座：基礎から応用まで(全15回の教材)

2. 4/18 10:50-

研究テーマ選びを考える。研究レポートの書き方。

各自がアウトプットする。チームワークが大切である。チーム内で、役割分担は行っても良い。そのために、チームメンバーの中で、スキル、得意分野などを把握し、活用することも考える。チーム内のコミュニケーション手段やツールも考える。

【各自のアウトプット】

テーマ選びと理由の明確化。アウトプットしやすい自身なりのやり方を自身で考察する。研究の意義や価値を意識する。

【今後１ヶ月間の活動のテーマ】

石原：「対話によるデータアクセス」、「3次元再構成」

小林：「画像理解」

曽根田：「3次元の福山市の再現」、「3次元再構成」

檀上：「未来予測、AI活用」

中村：「画像理解」

宮：「未来予測、変化要因の分析」

森井：「画像理解」

自身で選んだテーマについて、他の仲間に説明すること（面白そう、やってみたいと思った理由。何の役に立ちそうか。なぜ、興味を持ったか）。

【研究室の記事，資料】

【宿題】

1. 4/13 10:50-

研究を開始する。卒業研究説明を行う。

【研究室の記事，資料】

【宿題の目的と注意点】

【宿題】 １ヶ月間のテーマ選び

各自、テーマを選んで、メールで提出すること（火曜日まで）。

そして、次回の集まりで、自身で選んだテーマについて、他の仲間に説明すること（面白そう、やってみたいと思った理由。何の役に立ちそうか。なぜ、興味を持ったか）。

テーマ案