研究室のパソコンを使用します。
自分のパソコンで研究したいというときは、下のページを参考に、ご自身でセットアップする必要があります。(そういうことが楽しいと思える人はぜひ挑戦してください。応援します)
https://www.kkaneko.jp/tools/win/tools.html
火曜日の10時50分,木曜日の10時50分
(学生のみの活動となる場合があります)
自主的に調査、学習を行うインプット。自分が実施した実験手順、実験結果、考察、その他自分の考えを根拠やデータをつけて説明するアウトプットを重視した課題になります。
最初は、集合して、ミーティング等を行い、その後、各自分かれての自主活動になります。2-3時間以上程度を目安とします。集合時間以外でも,自主的に登校することもあります.必要に応じて,集合時間以外の登校を行っていただく場合があります.各自の判断で,欠席する場合があります(卒業論文では,公認欠席という考え方はとらず,欠席した場合には,自分で補充するか,先生と相談しながら補充してもらいます)
日頃の登校しての活動状況や、中間発表、学会発表準備と発表、卒論提出、卒論プレゼンなどから判断します。
卒業研究の評価は,他の授業とは異なります.頑張って取り組んだか(そのためには,まず,研究を楽しむこと,熱中すること,自主的に取り組むこと,自立することが大切です),成長できたか,基本的なルール(卒業論文のプレゼンの制限時間,中間発表や卒業論文の分量,書き方,締め切り,内容についてのルールを守ったかが大切になります)
GPAスコア2の目安
登校してのグループ活動に問題ない。自主的に調査し、実験計画を立て、実験し、自分なりの工夫を行っている。 そして、自分が修得できた専門知識、使用している技術(アルゴリズムや仕組み)の説明、実験手順の説明、自分が行った工夫について、他の先生に説明でき、質問に答えることができる。 中間発表のポスターや卒業論文や卒業論文のプレゼンについては、分量や、内容についてルールを守っている。 卒業論文のプレゼンについては時間制限(4分50秒から5分10秒程度で発表を終えることを目安)を守ることができている。
GPAスコア4の目安
次の点で優れている
メールでも質問できます。
(10/18 については待っていてください)
学生の研究テーマは興味深く、多岐にわたる内容となっています。それぞれの研究がさらに進展することを期待しています
アドバイスは、皆さんの研究力を高め、卒業研究の満足感を高めるためのアドバイスです。アドバイスの通りに研究する必要はなく、常に、自分で考え行動し、楽しく、思い通りに研究することは大切です。研究の満足感をあげるためには、リサーチや実験を辛抱強く繰り返すことも大切です。
そして,各自の発表のまとめも書いていますので,他の人の研究を深く知り参考にしたり,あるいは「自分の研究を分かりやすく発表したい」ときに活用してください
良いポイント: 実際のシステム DocsBot を使用しての実験を行い、具体的な問題点を特定している。そのことで、今後の研究の方向性が明確になっている。大きな前進です。
アドバイス: ハルシネーションや根拠の少ない返答の原因を特定するために、さまざまな質問を与え、ふるまいを観察してみる。
良いポイント:実際の問題(夜間のナンバープレート認識)を自分で定め、具体的な技術(ヒストグラム均等化)を使用して解決を試みている。夜間のナンバープレート認識は有用性が高い研究である。
アドバイス:他の画像前処理技術(例: ガンマ補正)も試して、夜間の画像の品質を向上させ、それによる認識精度の変化を確認することもできる。
良いポイント: 実際のゲームエンジン(UnrealEngine)を使用しての実装を行っている。今後、ユーザーのフィードバックを取り入れる計画を持っている。そのため、第三者のフィードバックを受けることができ、さらにが期待できる。
アドバイス: プレイヤーの反応や感想を具体的に集めていく。そして、ITやAIの技術を使った、具体的なゲームコンテンツ制作にもチャレンジし、自作したゲームコンテンツについてのプレイヤーの反応や感想も集めてみる。
良いポイント: 静止画での実験を行うことで、基本的な技術の理解と検証が進んでいる。より高度なリアルタイム検出への挑戦を計画している。前進しながら研究を進めるアプローチである。
アドバイス: InsightFace を使用しているようである。さまざまなシチュエーションの顔検出を行い、実際の環境での考察してみる。ランドマークを使った応用(表情推定、個人識別)のリサーチも考えてみる。
良いポイント: 実際のシチュエーションの動画を使用しての実験を行い、複数人の追跡の追加実験を予定している。実際の環境での応用を意識していることもよいポイントである。
アドバイス: ディープラーニングを用いた追跡手法(例: DeepSORT, 10/24 の回の Cutie)を導入し、精度の向上を考察してみる。
良いポイント: 大量の画像データを用いての学習を実施し、実際の道路環境での標識の検出を行い、その問題点を特定している。このように実データを使い問題点を特定していることは、現実の問題解決に繋がる研究である。
アドバイス: 遠くの小さな標識に対する検出精度を向上については、「アンカーボックスのサイズ」や「アスペクト比の調整」が役に立つというような過去の研究を自分でリサーチ。
良いポイント: サンプルを使用しての比較実験を行い、具体的な問題点を探索し、技術の向上を目指す研究である。
アドバイス: サンプルとして与える棒人間の描き方のバリエーションを試してみる。Stable Diffusion のバリエーションをリサーチしてみる
昨年の卒論ファイルのうち4名分:昨年の卒論ファイル (研究室のパソコンからアクセスできます)
Transformer を扱うプログラム
https://colab.research.google.com/drive/1L9n5E0_BTRy1q0jE1I2xT3MTuSpceVSY?usp=sharing
EdgeSAM
【文献】 Segment Anything Model(SAM)は、スマートフォンなどのエッジデバイスで効率的に動作することを目的としている。SAMにおける画像エンコーダはVision Transformer(ViT)を基にしていたが、エッジデバイスに適した畳み込みニューラルネットワーク(CNN)ベースのものに変更された。この変更においても、SAMのエンコーダ・デコーダアーキテクチャは保持されている。さらに、プロンプトエンコーダとマスクデコーダの両方を蒸留(distillation)プロセスに含めることで、プロンプトとマスク生成の間の複雑な相互作用を効果的に扱う工夫が行われている。実験では、EdgeSAMはSAMよりも高速であり、元のSAMと匹敵する精度を実現していることを示している。
文献
Chong Zhou, Xiangtai Li, Chen Change Loy, Bo Dai, EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM, arXiv:2312.06660v1, 2023.
https://arxiv.org/pdf/2312.06660v1.pdf
【関連する外部ページ】
Alpha-CLIP
Zeyi Sun, Ye Fang, Tong Wu, Pan Zhang, Yuhang Zang, Shu Kong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang, Alpha-CLIP: A CLIP Model Focusing on Wherever You Want, arXiv:2312.03818v1, 2023.
CLIPは、画像とテキストからセマンティックな特徴を抽出するモデルです。これは、テキストと画像の内容を関連付けることで、画像内のオブジェクトやシーンを理解するのに役立ちます。 Alpha-CLIPは、CLIPの改良版で、特に画像の特定の関心領域(Interest Region)に焦点を当てることができます。これにより、画像全体ではなく、特定の部分の詳細な理解や、その部分に対するより精密な制御が可能になります。 Alpha-CLIPは、追加のアルファチャンネルを通じて関心領域を指定し、これらの領域に関連するテキストとペアになった大量のデータで微調整されます。これにより、モデルは特定の領域に焦点を合わせながらも、画像全体のコンテキストを維持することができます。 実験では、Alpha-CLIPは画像認識、マルチモーダル大規模言語モデル、2D生成、3D生成などのタスクで、従来のCLIPモデルを上回る性能を示しました。 Alpha-CLIPをDiffusionモデルと組み合わせることで、画像の変化タスクにおいて、より制御可能なコンテンツ生成が可能になります。これは、従来のCLIPモデルでは困難だった、複雑な画像からの主題抽出や、特定の領域に焦点を当てた画像生成を可能にします。
https://arxiv.org/pdf/2312.03818v1.pdf
HuggingFace のデモページ: https://huggingface.co/spaces/Zery/Alpha_CLIP_ImgVar
DemoFusion
DemoFusion: Democratising High-Resolution Image Generation With No $$$, Ruoyi Du, Dongliang Chang, Timothy Hospedales, Yi-Zhe Song, Zhanyu Ma, arXiv:2311.16973v1, 2023.
https://arxiv.org/pdf/2311.16973v1.pdf
DemoFusionは、潜在拡散モデル(LDM)を活用し、高解像度画像の生成を目指す新しいフレームワークである。この論文では、プログレッシブアップスケーリング、スキップ残差、拡張サンプリングを用いて、高解像度画像を生成するDemoFusionを提案しています。実験結果からは、追加の学習を必要とせずに、高解像度画像生成の品質を向上させることが可能であることが示されている。DemoFusion を用いることにより、ユーザーは初期段階で低解像度の画像をプレビューし、レイアウトやスタイルに満足した後、高解像度へと進むことができる。
次のデモのページでは、画像と,画像をなるべく正しく具体的に説明する「プロンプト」 を与えることにより,高解像度化を行う.
https://huggingface.co/spaces/radames/Enhance-This-DemoFusion-SDXL
AdelaiDepth
【概要】 単一の画像からの深度推定(単眼深度推定)と、3次元シーンの再構成に関する一手法である。 従来の単眼深度推定では、未知の深度シフト (depth shift) と、未知のカメラ焦点距離により、正確な結果が得られないとしている。本手法では、この問題の解決のために、単眼深度推定ののち、3次元点群エンコーダを使用して深度シフトとカメラ焦点距離を推定する二段階フレームワークを提案している。仕組みとしては、深度予測モジュールと点群再構築モジュールから構成されている。深度予測モジュールは畳み込みニューラルネットワークを利用して、単眼震度推定を行う。点群再構築モジュールは、ポイントクラウドエンコーダネットワークを活用して、深度シフトとカメラ焦点距離の調整係数を推定する。実験結果からは、ポイントクラウド再構築モジュールが単一の画像から正確な3D形状を回復できること、および深度予測モジュールが良好な推定結果を得ることが確認された。
デモページで画像をアップロードして試すことができる.
AdelaiDepth の Google Colaboratory のデモページ(AdelaiDepth ResNet101): https://colab.research.google.com/drive/1rDLZBtiUgsFJrrL-xOgTVWxj6PMK9swq?usp=sharing
AdelaiDepth の GitHub のページ: https://github.com/aim-uofa/AdelaiDepth
説明資料: 2023-11-07.pdf, 2023-11-07.pptx
LLaVAは、多モーダルな大規模言語モデル(Large Language Model)に特化しており、視覚と言語の両方のデータを効率的に処理できるように設計されています。このフレームワークは、既存の多モーダルモデルをさらに強化するための改良が施されています。 LLaVAは二つの主要な特長を持っています。一つ目は、多層パーセプトロン(multilayer perceptron; MLP)を使用した視覚-言語クロスモーダルコネクタです。これにより、視覚と言語のデータがより効率的に統合されます。二つ目は、視覚的質問応答(Visual Question Answering; VQA)データの追加です。これにより、モデルは視覚的な情報に基づいて質問に答える能力が向上します。
論文
Liu, Haotian and Li, Chunyuan and Li, Yuheng and Lee, Yong Jae, Improved Baselines with Visual Instruction Tuning, arXiv:2310.03744, 2023.
Liu, Haotian and Li, Chunyuan and Wu, Qingyang and Lee, Yong Jae, Visual Instruction Tuning, arXiv:2304.08485, 2023.
MMAction2 は動作検出,動作認識の機能を持つ.
【サイト内の関連ページ】
次のページでは,Kinetic-400 で学習済みのモデルを用いた動作認識のプログラムを示している.
動作認識,動作認識を行う Python プログラム(MMAction,Python,PyTorch を使用)(Windows 上): 別ページ »で説明している.
実行結果の例
上の実行結果を得た動画ファイル
【概要】
「Concept Sliders」は、拡散モデルを用いた画像生成において、テキストプロンプトの変更だけでは難しい属性の精密な制御を可能にする新技術です。従来の方法では、画像の全体的な構造が大きく変わることが問題でしたが、Concept Slidersは特定の概念に対応するパラメータ方向を学習し、画像の特定の属性を増減させることで、視覚的な内容の変更、現実感の向上、手の歪みの修正などの応用が可能になります。この技術により、画像生成の制御が容易になり、複数のSlidersを組み合わせることで、より複雑な制御が実現できます。
【資料】
【文献】
Rohit Gandikota, Joanna Materzynska, Tingrui Zhou, Antonio Torralba, David Bau, Concept Sliders: LoRA Adaptors for Precise Control in Diffusion Models, arXiv:2311.12092v1, 2023.
【関連する外部ページ】
【資料】
【関連する外部ページ】
WebLangChain: https://weblangchain.vercel.app/
動画: 動画
【資料】
【サイト内の関連ページ】
人体の3次元位置推定(MHFormer,Python,PyTorch を使用)(Windows 上): 別ページ »で説明している.
オンラインデモ.実行のためにカメラ付きのパソコンを準備してください.
https://visagetechnologies.com/demo/
ミヨシ電子株式会社からのメッセージがありました.情報工学の人材を求めているということです. https://www.miyoshi.elec.co.jp/information/business/business_top.html
卒業研究についての情報工学科からの案内を,各自,再度よく読んでおくこと.
https://cerezo.fukuyama-u.ac.jp/ct/course_342000_news_1430607
テキスト生成モデルとチャットモデルの基本概念とChatGPTの特徴を紹介する。テキスト生成モデルは任意の入力から新たなテキストを生成し、チャットモデルは人間との対話を目的としてリアルタイムの応答を生成する。ChatGPTはチャットモデルの一種であり、テキスト生成モデルの能力ももち、対話から学習し応答を改善する能力を持る。また、OpenAIのAPIキーを取得することで、OpenAIのモデルにアクセスできる。ChatGPTとLangChainを利用したいくつかのプログラムの実行手順も説明している。まず、ライブラリのインストールや環境設定ファイルの作成を行う。プログラムは、LangChainの公式サイトのものを一部変更して使用している。メモリを用いたチャットモデルや検索拡張生成(RAG)を利用する方法も説明している。
説明資料: 2023-11-08.pdf, 2023-11-08.pptx
プロンプトからの動画生成
次のサイトは Stable Diffusion を使用して,プロンプトから2秒程度の動画を生成する.
https://huggingface.co/spaces/guoyww/AnimateDiff
https://openxlab.org.cn/apps/detail/Masbfca/AnimateDiff
発声動画の生成
音声と画像ファイルから発声動画を生成するなど
左が元画像,右が生成された動画
使用した音声
【サイト内の関連ページ】
【関連する外部ページ】
全員により発表リハーサルを実施
Cutie のビデオオブジェクトセグメンテーションのデモ(Google Colaboratory のページ)
公式の Google Colaboratory 上のデモページ: https://colab.research.google.com/drive/1yo43XTbjxuWA7XgCUO9qxAi7wBI6HzvP?usp=sharing#scrollTo=qYv3kbaQT2w4
URL: https://hkchengrex.github.io/Cutie
案内
1.進路について
2.明日のリハーサルについて
下に(10/18 の回のところ)注意事項を書いているので,繰り返し,よく読んでおく
データは、表やグラフでビジュアルに示し、 色付け、必要な統計処理を行う(平均、近似線、検定) 細かすぎる値は四捨五入
timm,Python を使用.画像分類に使用するモデルをプログラム内で簡単に選択可能. 下は,最近のモデルである eva02 を使用.
説明ページ: 画像分類の実行(timm,Python,PyTorch を使用)(Windows 上)
案内
案内
2023年度(第74回)電気・情報関連学会中国支部連合大会
発表10分,質疑3分
https://rentai-chugoku.org/cfp.html
パワーポイントファイルのテンプレート template.pptx (卒業論文発表でこのファイルを使用しても問題ありません)
プレゼンテーションの構成の例
なお,スライドの各ページのタイトルは,上を気にすることなく,自由につけてください.内容を表すタイトルが良いです.
書き方で気をつけること
プレゼンテーションでは,文章の書き方に気をつけて,準備に十分な時間をかける.
具体的でわかりやすい説明を心がけてください.
曖昧で、具体性が欠けている。
具体的な数値や目標が明示されている。
何をどうしたのかが全くわからない。
方法が明確で、説得力がある。
何がどれほど良好なのかが不明瞭。
結果が具体的な数値で示されている。
具体的な行動計画が見えない。
一般的な注意点
時間内に説明ができるように何度も練習
専門用語を避け、誰にでも理解できる言葉を使う。
スライドは補助であり、主役はあなたです。スライドに過度なアニメーションや装飾は避ける。
項目ごとの注意点
具体的かつ明確に。目的が具体的に明瞭に示すことで、その後の説明がやりやすくなる。
シンプルな説明を行う。必要以上の詳細は避け、主要な手法となるポイントだけを強調。
複雑なデータはシンプルな形(グラフや表)で視覚化。見た人はすぐに理解できるように。
主観的な意見は含めないこと。データに基づいた客観的な解釈を心がける。
実行可能かつ具体的な行動計画を提示。
プレゼンテーション当日
パソコン,マイクなど、必要な機材がちゃんと動作するか事前に確認。
発表が長引かないように、時計やタイマーで時間を厳守。発表時間は10分です.
質疑応答で予期せぬ質問が来た場合も、冷静に対処する気持ちを持つ。
マナー
https://segment-anything.com/demo#
「Upload an image」により,画像のアップロードが可能
日本語対応のLLM,チャットボット(ELYZA-japanese-Llama-2-7b,transformer,Python,PyTorch を使用)(Windows 上): 別ページ »で説明している.
卒業研究のメリット,心構え: [PDF], [パワーポイント]
個人発表
行動を開始するためのアドバイス
行動を持続するためのアドバイス
発表についてのアドバイス
実験結果の報告
フィードバックの受け取り
自立的に前進する
資料作成のアドバイス
AI に関するオンラインデモのリンク集: https://www.kkaneko.jp/ai/online/index.html
Text-to-3D の公式のオンラインデモ(Google Colaboratory): https://colab.research.google.com/github/camenduru/dreamgaussian-colab/blob/main/dreamgaussian_colab.ipynb
Google Colaboratory なので,各自で修正して実行可能. そして,処理結果(3次元データ)は,簡単な操作でダウンロードできる.
処理結果(3次元データ): icecream_mesh.obj, icecream_mesh.mtl, icecream_mesh_albedo.png, icecream_model.ply
処理結果のスクリーンショット(動画)(リンクが切れていたので修正しました): icecream.mp4
写真からの立体データの生成(Image-to-3D)
写真1枚から,テクスチャ付きの立体データを生成
DreamGaussian の Image-to-3D の公式のオンラインデモ(Google Colaboratory): https://colab.research.google.com/drive/1sLpYmmLS209-e5eHgcuqdryFRRO6ZhFS?usp=sharing
写真1枚から,テクスチャ付きの立体データを生成
元画像の例
中間結果
最終結果
スクリーンショット
処理結果(3次元データ): b.obj, b.mtl, b_albedo.png
処理結果のスクリーンショット(動画):
使い方のヒント
研究を進める中で,先行研究や,先生や仲間のアドバイスに基づいて行動することは、とても良いことです. でも大切なことは,先行研究や他の人のアドバイスが全てではないということです. もし先行研究や他の人のアドバイスでうまくいかなかったとしても、それで終わりではありません。 そこで「終わり」にするのは,自分の成長や可能性をそこで閉ざしてしまうことになります. 学びの過程では,自分自身で考察し,さまざまな方法を試すことが大切です. そのとき,失敗は避けることができない,失敗から学ぶことが大切だと思ってください. 失敗から、次に生かす知識やスキルが増えていきます. 研究では,まだ解明されていない謎にチャレンジするものです. もし先行研究や他の人のアドバイスでうまくいかなかったことを、次の行動に生かしてください. そのような態度は,研究の成功と満足感に繋がります.自己アピールや自信をつけるためにも大切です.
プレッシャーに負けないように,自分で小さなゴールを立てて,成長を実感してください.
登校して個人ワークに取り組むことは,気分転換,環境変化にもなり,やる気アップに繋がります.規則正しい生活,趣味の没頭などのリフレッシュも大切です.
「少しだけやってみる」という考え方も大切です.それだけで,勉強や課題を継続できるきっかけをつかむことができる場合も多いです.
いろいろな方法を試してください.
面談
全員と面談します.進路関係
面談用のシート: sheet2.docx
データベース研究室 課題
宿題があります.
各自で実験を実施し,結果を得て考察する.来週の火曜日または水曜日に実験についての説明を行ってください。
実験テーマは各自で自由に選んでください。
口頭発表でもよく、パワーポイントを使用しても構いません(自分の行いやすい方を選んでください)
複数オブジェクトのトラッキング(MOT)
結果を保存した動画ファイル:trackanything.mp4
オブジェクト・トラッキングとセグメンテーション(Track Anything,Python,PyTorch を使用)(Windows 上): 別ページ »で説明している.
ゼロショットのセグメンテーション
ゼロショットのセグメンテーション)(HQ-SAM,Python,PyTorch を使用)(Windows 上): 別ページ »で説明している.
画像復元
元画像と処理結果
画像復元(DiffBIR,Python,PyTorch を使用)(Windows 上): 別ページ »で説明している.
ポイントトラッキングは,動画像内のポイントについて,追跡を行う.
インストールと動作の手順
ポイント・トラッキング(co-tracker,Python を使用)(Windows 上)別ページ »で説明
MOT は, 動画での物体検出やセグメンテーションにおいて,違うフレームでの結果に対して, 同一オブジェクトには同一番号を与える仕組み.
動画ファイルをアップロードできる.アップロードしたら,コードセル内のファイル名を次のように書き換える.
結果が保存されるディレクトリを確認
このディレクトリから,動画などの結果をダウンロードできる.結果を確認
結果の動画ファイル:kaneko_sample_video.avi
yolo_tracking のインストールと使用法 https://www.kkaneko.jp/ai/win/yolo_tracking.html
yolo_tracking でのトラッキング・ビジョンの実行結果
ChatGPT へのコマンドや Python プログラムからのアクセス(Open Interpreter,Python を使用)(Windows 上)別ページ »で説明
ChatGPT の回答の中の「徳川家康は日本のほとんどを統制下に置いた」が 「徳川家康は日本の一部を統制下に置いた」に修正されている.
ゼロショットのビデオオブジェクトセグメンテーション.
動画を与えると物体検出,インスタンスセグメンテーションが行われる
実行結果の動画
Windows 上のインストールと実行
教師なし学習による物体検出とインスタンスセグメンテーション(CutLER,VideoCutLER,Detectron2, PyTorch, Python を使用)(Windows 上)
公式の Google Colaboratory 上のデモページ: https://colab.research.google.com/drive/18nIqkBr68TkK8dHdarxTco6svHUJGggY?usp=sharing#scrollTo=RyXr0xsZB897
MOT は, 動画での物体検出やセグメンテーションにおいて,違うフレームでの結果に対して, 同一オブジェクトには同一番号を与える仕組み.
yolo_tracking のインストールと使用法 https://www.kkaneko.jp/ai/win/yolo_tracking.html
yolo_tracking でのトラッキング・ビジョンの実行結果
表情推定
DeepFace の文献
Serengil, Sefik Ilkin and Ozpinar, Alper, HyperExtended LightFace: A Facial Attribute Analysis Framework, 2021 International Conference on Engineering and Emerging Technologies (ICEET), pp.1-4, 2021.
準備
Windows で,コマンドプロンプトを管理者として実行し,次のコマンドを実行
python -m pip install deepface
表情推定は次のコマンドで行うことができる.
deepface analyze 1.jpg
1.jpg は次の画像
表情や年齢や性別の推定結果は次の通り
facetorch のインストールと実行(顔検出,表情推定など): 別ページ »で説明している.
顔検出と表情推定(SanjayMarreddi/Emotion-Investigator,Python,TensorFlow を使用)(Windows 上)別ページ »で説明
物体検出,物体検出のための追加学習の実行(YOLOv8,PyTorch,Python を使用)(Windows 上)
1.中間発表への質問回答は8月10日が締め切りです.
2.学会発表の準備を各自にお願いしています.
①「課題解決」,「技術理解」,「根拠提供」を進める ・自分が何を工夫したか.工夫する前と工夫した後を比べるとどう変化したかを,データやスクリーンショットで示す. ・楽しみましょう! ②原稿作成 著者は,本人,金子邦彦の2名. 次のページの「Word版」を使って原稿を作成. https://rentai-chugoku.org/guideline.html ③ワードファイルを金子あてに送る. 金子による確認に2-3日かかる場合がある. 共同執筆します. ④各自で,オンラインで申し込む.このとき「ワードファイル」をアップロード.著者は本人と金子の2名です.連絡責任著者は著者2です.メールアドレスの入れ間違いが無いこと. https://rentai-chugoku.org/apply.html 焦る必要はありません.8月24日の昼ごろまでに終えていただきます. 【詳細情報】 ・申込者氏名: 本人の氏名 ・E-mail: 大学のメールアドレス (大事な連絡が来ます!) ・発表部門: AI(ニューラルネット)を研究で使っている人 第一希望:26.計算機応用 第二希望:24.ニューラルネット それ以外の人 第一希望:26.計算機応用 第二希望:25.情報処理 著者数:2 著者1氏名: 本人の氏名,大学,福山大学,工学部,大学のメールアドレス 著者2氏名: 金子 邦彦,大学,福山大学,工学部,kaneko@fukuyama-u.ac.jp 講演者(発表者): 「著者1」を選ぶ (本人を選ぶ) 学会選択:電子情報通信学会 状態:手続き中 学生/一般: 学生 自分の年齢を記入してください 連絡責任著者: 「著者2」を選ぶ (金子を選ぶ) 役職: 教授 郵便番号:7290292 住所: 広島県福山市東村町字三蔵985−1福山大学工学部情報工学科 ⑤8月24日10時50分の集合のときに,「困っていること」がないか,確認します.心配しすぎないこと. ⑥「課題解決」,「技術理解」,「根拠提供」を進めるため,8月下旬に追加実験を頼む場合があります 原稿の書き替えではありません. (⑦プレゼンの時に利用.卒論でも利用.) ⑦ プレゼン 10月28日 (土) 9:00 - 17:15 ・ZOOM + パワーポイントで発表 ・機材準備が面倒と思うので,学校に来て発表することをお薦め ・スーツをお薦め ・プレゼンの準備は各自行う ・発表は8分. ・急用ができた場合には連絡ください(代理で発表します) プレゼン能力は12月予定の卒論発表会でも役に立ちます.
Windows パソコンでチャットボットを動かす.OpenAI APIを使用(OpenAI API は登録必要で,基本有料のサービス)
Stable Diffusion XL (SDXL) バージョン 1.0, パソコンにインストールして動作
Stable Diffusion XL 1.0 (SDXL 1.0) のインストール,画像生成(img2txt),画像変換(img2img),APIを利用して複数画像を一括生成(AUTOMATIC1111,Python,PyTorch を使用)(Windows 上): 別ページ »で説明,
AI で,画像の学習をしている人は必見.精度向上のために試してみることができます.ぜひ,今日にでも拡張を開始してみてください.
画像の増量を行う Python プログラム(Python,opencv-python を使用)(Windows 上): 別ページ »で説明,
各自,追加実験に集中していただき,「課題解決」,「技術理解」,「根拠提供」の説明を充実させた学会発表原稿を作っていただきます.7/25 から 8/10 までこのための期間とします.
人工知能(AI)を用いての顔検知と顔の表情推定の研究である。将来は、ビデオ会議で、好印象を与える方法を研究する。リアルタイムで顔の表情を検出・評価するシステムをWindows パソコンに実装した。PythonとDlibを用いて、7つの異なる表情を識別し、その確率を数値表示できる。Windows パソコンで動作し、0.01〜0.06秒の間隔でリアルタイムに表情推定できることを確認した。大きな表情の変化は検出できるが、微細な変化は難しいことが分かり、今後 Dlib 以外の方法も評価する予定である。最終的には、表情変換(altering face expressions)の技術を用いて、オンライン会議での表情を適切に伝え、相手に好印象を与えることを目指す。
福山大学に関する質問応答システムの開発を行った。このシステムは、UglyRobotのDocsBot AIを利用し、カスタマイズされたチャットボットを活用することにより,福山大学に関する情報に答える能力を有している。開発ではDocsBot AIを設定し、福山大学に関する資料をアップロードしてカスタマイズを行った。実際の動作テストで、大学の学部の情報や住所についての質問に対して回答が得られることが確認できた。ただし、チャットボットの回答の多様性に関しては調整が必要で、プロンプトの工夫を通じて改善を試みた。
現実世界を再現した3次元のゲーム世界の構築を行っている。この研究では、国土交通省が提供する3D都市モデル「PLATEAU」、Google Earth API、およびテキストや画像から3次元モデルを生成する技術「Shap-e」を組み合わせてゲーム世界を製作しているた。具体的には、PLATEAUから福山大学周辺の地形と建物を取得し、Shap-eを用いて植物やオブジェクトを生成、Google Earth APIで都心部の詳細な3Dモデルを取得した。ゲームのシステムやキャラクターのアニメーションはUnreal Engine 5とBlenderを使用して制作され、結果としてより現実に近い3次元ゲーム世界を実現した。
2022年に約16,000件の道路標識違反による交通事故が発生したことを受け、100種類以上の日本の道路標識をAIで高精度に検出するシステムの開発を目指している。最初に、3種類、180枚の道路標識画像を使用し、YOLOv8で学習を行ったところ、画像が小さかったり一部が隠れている場合の道路標識の誤検出が多いことを確認。そこで、画像データセットを20倍に拡張し、再学習を実行した。その結果、誤検出は少し増加したものの、全体の検出率は約96%まで向上し、改善を確認した。
DocsBotを利用して福山大学に関する情報に的確に回答するチャットボットの研究開発
Google Earth や国土交通省が提供する3D都市モデル「PLATEAU」から地形と建物を使用し、カスタマイズしてリアルなゲーム世界を構築。人工知能の導入が、新しいゲームの面白さ(ゲーム体験や機能)をもたらす可能性を探求している。
オンライン会議上での表情の誤解を防ぐために, リアルタイムでの表情推定を行い,オンライン会議の質を向上させることを目指している. 現在は,PythonとDlibを用いて、7種類の表情を判別するシステムを作り実験し, 微妙な表情の認識や,より好印象な表情へ画像を置き換えること目指している. 5420033.pptx
人工知能を活用して道路標識の種類を検出するシステムを研究開発.YOLOv8を使用し,一定の精度で検出ができることを確認.
学生食堂の提供メニューの分析と改善を行い,利用者の好みや健康に合った食事選択を支援.
内定を得た人は,次を提出
https://cerezo.fukuyama-u.ac.jp/ct/course_1079468_report_1317734
(記入例) 7月22日:A社より内定
未内定の人は,次を提出するか,あるいは,金子宛のメールでもよい.
https://cerezo.fukuyama-u.ac.jp/ct/course_1079468_report_1317734
(記入例) 就職課訪問済み,履歴書等の作成済み,今までのエントリー:3社,IT系を中心に活動中
(記入例) 7月は期末試験と単位取得に集中.活動休止.8月から再開,頑張る
日時 8月2日(水)13:10~14:10 場所 1号館1階 01102教室(予定) 企業名 タカヤ株式会社 所在地 岡山県井原市井原町661-1 事業内容 電子機器関連製品の企画・開発・調達・製造ほか 職 種 設計開発職・システムエンジニア・生産技術職・総合事務職 ※設計開発職のみ理工系学生限定となります。 対 象 全学部全学科 [https://www.takaya.co.jp/] 卒業生が活躍している企業です 希望する学生は、就職課に申込んでください(電話084-936-1333) なお、学内で行う単独企業説明会については、セレッソにも掲載していますので見てください
ポスターに関するフィードバックを実施
https://cerezo.fukuyama-u.ac.jp/ct/course_342000_news_1361123
日本語の大規模言語モデルについて追加説明し,現時点の技術に不足があるように感じたとしても, 各自「課題解決」,「技術理解」,「根拠提供」をポスター準備で考えてほしいとお伝えします. 来週,再来週も全員活動していただき,各自で工夫を進めていくことにより、課題解決力、自主性、挑戦力を発揮していただきます.
7/25 は各自ポスターを読み上げて説明.他の仲間に伝えることを行っていただく.ポスターファイルは,このページで公開していきます.
日本語対応のLLM,チャットボット(Text generation web UI,日本語 LLM cyberagent/open-calm を使用)(Windows 上)
Stable Diffusion XL, SDXL 0.9: A Leap Forward in AI Image Generation のオンラインデモ
https://clipdrop.co/stable-diffusion
説明資料:
プロンプトを用いた画像の変換
Google Tile API, 福山市中心街,最高品質でダウンロード
以上の画像についての表示: Map data ©2023 Google
その根拠: sample/lab/fukuyamacity.blend
Blosm for Blender
OpenStreetMap 福山大学周辺.一部の建物,道路,地形,水域を確認できる.
中間発表の案内
https://cerezo.fukuyama-u.ac.jp/ct/course_342000_news_1361123?action=status
教員とのコミュニケーションが必要です.
6/29 (来週火曜日)は金子は最初2−3分だけ出席します.自由参加とします.
来週には,各自発表の絵画あります.
6/27 (来週火曜日)は金子は欠席します.自由参加とします.
SAM (segment anythin)は,自由なプロンプトを英語で指定して,セグメンテーションを行う技術です.
そのうち,FastSAM について, FastSAM のインストールと動作確認(セグメンテーション)(PyTorch を使用)(Windows 上)を, 別ページ »で説明している.
全体のセグメンテーション
「the yellow dog」というプロンプトを指定してセグメンテーション
顔検出,年齢と性別の推定,顔識別,人体検出: 別ページ »で説明している.
自由参加です.金子は欠席します.
うまく動かなくなっていたので,動くように記載を変更しました.
プログラミングとAIについて理解を深め,自信を高めよう. 作業の自動化,実験などでも役に立ちます.自己アピール,自分に自信を持つことも大切です.
各自のアウトプット
話題:問題,仮設,実験手順,結果,考察.引用文献
次のことを意識してみてください:具体的に.わかりやすく伝える.失敗は気にしない.テーマは自分の興味を持つものを選ぶ.解決困難な課題や,すでに解決済みの課題を選んでしまっている場合は,自分で納得のいくまでやり抜いてから気づくというのも良いし,先生や仲間から事前にアドバイスを得るのも良い.解決可能な課題を見つけ,熱中して取り組むことが理想です.研究は何が終われば終了ということはなく,粘り強く活動を継続することになります.
石原:「対話によるデータアクセス」,「3次元再構成」
小林:「画像理解」
曽根田:「3次元の福山市の再現」,「3次元再構成」
檀上:「未来予測、AI活用」
中村:「画像理解」
宮:「未来予測、変化要因の分析」
森井:「画像理解」
物体検出の回
【研究室の記事,資料】
物体検出の実行(UniDet,PyTorch, Python を使用)(Windows 上)
消失点推定の回
【研究室の記事,資料】
neurvps のインストールと動作確認(消失点推定)(Python,PyTorch を使用)(Windows 上)
宿題:6/7 は,各自発表とする
自分が楽しいと思えることについて発表する.
具体的な経験,体験を伝えていただく
今後やりたいこと,自分の研究がなんの役に立ちそうか,自分で説いてみたい課題はなにか
テキスト検出の回
卒業研究では,ICTの基本スキル,自主的活動,問題解決を行っていただく. 実験は「失敗した」と決めつけるのではなく,「うまく行った範囲で何の役に立つかを考え,実行してみる」か「成功するまで,辛抱強く継続する」かを考えていただくもの.
【研究室の記事,資料】
Unified Scene Text Detection のインストールとテスト実行(テキスト検出)(Python,TensorFlow を使用)(Windows 上)
テキスト検出
テキスト検出
Unreal Engine 5 の紹介.3次元ビデオゲーム,3次元のアプリを制作するとき役立つ.
【研究室の記事,資料】
Unreal Engine 5 の動作画面など:[PDF] のページ21から26
Unreal Engine 5 のインストールのために準備するもの
Epic Games アカウントのサインアップしてから, Epic Games Launcher (Epic ゲームズ・ランチャー)をインストール そして, Epic Games Launcher (Epic ゲームズ・ランチャー)を起動し, その中のメニューで,Unreal Engine 5 をインストール
某社人事教育担当者が訪問します.メーカーでの仕事内容,教育等を含め情報交換してください.
【研究室の記事,資料】
画像補正,線分検知
安否確認訓練の説明 ー> 説明資料
【資料】
【研究室の記事,資料】
セグメンテーション
セグメンテーションに関する説明など:sotu2023-05-16.pptx
次の資料の関係部分を説明します.PDFファイル, パワーポイントファイル をよく読み,
【研究室の記事,資料】
外部リンク: OneFormer: https://huggingface.co/spaces/shi-labs/OneFormer
ChatGPT
【研究室の記事,資料】
【外部ページ】
【宿題】
引き続き,次の資料のページ35から53.PDFファイル, パワーポイントファイル をよく読み, ChatGPT の活用,実験の実施,ICT スキルの自主的な取得を進めること.仲間の助けを積極的に求めること
補足説明
うまく動いた部分を分析し、その利用価値や改善点を考えること、そして、他の人とアイデアを共有する人を歓迎します
失敗やうまく動かなかった部分だけに焦点を当てず、全体を俯瞰して学びを得ることが重要です
実験の実施(結果,考察,手順の説明を目指す).ChatBot などの対話型AIの適切な活用, 引き続き,自己研鑽力,パソコン活用スキル.Windowsパソコンでの物体検出 YOLOv7.
【研究室の記事,資料】
パソコンのカメラについて物体検出を行い,確認表示.
python detect.py --weights yolov7.pt --conf 0.25 --img-size 1024 --source 0
【外部ページ】
【宿題】
引き続き,次の資料のページ35から53.PDFファイル, パワーポイントファイル をよく読み, ChatGPT の活用,実験の実施,ICT スキルの自主的な取得を進めること.仲間の助けを積極的に求めること
引き続き,自己研鑽力,パソコン活用スキルを目指す.
【各自のアウトプット】
各自が学んだり,活動していること.
引き続き,自己研鑽力,パソコン活用スキルを目指す.
各自からのアウトプット:各自が学んだり,活動していること.
【研究室の記事,資料】
【外部ページ】
研究のためのより良い行動.各自の自己研鑽.研究室のパソコンに何がインストールされているか.
最新技術をパソコンにインストールし、操作できる実力は、 将来、自分で学び挑戦し成長する基礎になります。
【各自のアウトプット】
各自,いま,何を学び,何を作り上げてみたいか,何を体験してみたいのか,さらに詳しく話すことができるように準備(4/25 に各自,話していただきます.)という宿題でした. 各自のさらなる調査を希望します(1−2年以内の最新技術,関連する学問分野の知識,自分が体験してみたいこと,研究を通して社会に貢献する可能性について)
石原:「対話によるデータアクセス」,「3次元再構成」
小林:「画像理解」
曽根田:「3次元の福山市の再現」,「3次元再構成」
檀上:「未来予測、AI活用」
中村:「画像理解」
宮:「未来予測、変化要因の分析」
森井:「画像理解」
【研究室の記事,資料】
【宿題】
AI、3D技術、データベースの技術情報
自分で探すこと自体も宿題. 最新技術を実践的に体験。 数は自由(多くても良いし、1つか2つをじっくりでも良い)
「研究」について知る.Python を活用する.
【各自のアウトプット】
研究テーマの調査について.次の資料のページ7〜12の部分,PDFファイル, パワーポイントファイル(卒業研究のメリット,心構え)
各自の研究テーマに関する調査を自分で行い,自分の興味関心を確認するという宿題でした.
各自,次の分野を踏まえ,口頭でアウトプットしていただく.
石原:「対話によるデータアクセス」 チャットボット chatGPT を勉強してみたい。GPT-4(今年最新)。顧客からの問い合わせ対応や業務効率化。AI応用.福山大学の複雑な何かにこたえることができるチャットボットを作ってみたい
小林:「画像理解」 画像理解。センシング。便利なのはいいが、AI の悪用が気になる。AI の誤作動を発生させるような攻撃があることを知り、AI の弱点を実験していきたい
曽根田:「3次元の福山市の再現」,「3次元再構成」
檀上:「未来予測、AI活用」 未来予測。交通事故で役に立っています。自転車のヘルメットの義務化のニュースがありました、ヘルメットを要因として、事故の軽減の結果が得られます。世界のコンテストで交通事故関連のデータが公開されているらしいので、調べてみたい。面白そう。
中村:「画像理解」 画像理解。画像の意味を理解する技術、物体検出(物体の位置や大きさを検出)、セグメンテーション(物体の境界や形)。画像理解は、周りの道路標識を理解するなどで、自動運転に役に立ちます。自動運転について研究してみたいです。
宮:「未来予測、変化要因の分析」 自分なりに考察,調査中です.
森井:「画像理解」 画像理解 画像分類、物体検出、セグメンテーションがある。CNN,Transformer などを利用。自動運転で活用されている。状況判断に利用。医療ではX線やMRIの解析に利用されている。まずは,画像理解の仕組みを知ること,画像のよる状況判断の仕組みを知ることから開始したい.
【研究室の記事,資料】
1. プログラミング,Python [PDF], [パワーポイント], [スライド HTML], SlideShare: https://www.slideshare.net/kunihikokaneko1/pf1-pythongoogle-colaboratory-255571700
2. 式,変数 [PDF], [パワーポイント], [スライド HTML], SlideShare: https://www.slideshare.net/kunihikokaneko1/pf2-255569639
3. 計算誤差,データの種類 [PDF], [パワーポイント], [スライド HTML], SlideShare: https://www.slideshare.net/kunihikokaneko1/pf3-255569645
4. 式の抽象化と関数 [PDF], [パワーポイント], [スライド HTML], SlideShare: https://www.slideshare.net/kunihikokaneko1/pf6-255569696
パソコンで Python プログラムを動かす動かし方:コマンドプロンプト,python コマンド,jupyter qtconsole, spyder
【宿題】
●
各自,いま,何を学び,何を作り上げてみたいか,何を体験してみたいのか,さらに詳しく話すことができるように準備(4/25 に各自,話していただきます.). 各自のさらなる調査を希望します(1−2年以内の最新技術,関連する学問分野の知識,自分が体験してみたいこと,研究を通して社会に貢献する可能性について)
● Python 実行スキル
研究室のパソコン利用をおすすめします.(自分のパソコンで Python を動かすためにはインストールが必要です.興味のある人は質問してください)
1. python コマンドで python プログラムを実行.コマンドプロンプトを開き,次のコマンドを実行
python print(1 + 2) exit()
2. jupyter qtconsole で python プログラムを実行.コマンドプロンプトを開き,次のコマンドを実行
python -m jupyter qtconsole
次のプログラムを実行
import numpy as np %matplotlib inline import matplotlib.pyplot as plt import warnings warnings.filterwarnings('ignore') # Suppress Matplotlib warnings x = np.linspace(0, 6, 100) plt.style.use('default') plt.plot(x, np.sin(x))
実行で問題なかったかを確認(スキル習得の自己確認).
Python プログラミングの基礎に興味のある人は,次のページを活用するなどで,各自で補充.
研究テーマ選びを考える.研究レポートの書き方
各自がアウトプットする.チームワークが大切.チーム内で,役割分担は行っても良い.そのために,チームメンバーの中で,スキル,得意分野などを把握し、活用することも考える. チーム内のコミュニケーション手段やツールも考える.
【各自のアウトプット】
テーマ選びと理由の明確化.アウトプットしやすい自分なりのやり方を自分で考察.研究の意義や価値を意識.
【今後1ヶ月間の活動のテーマ】
石原:「対話によるデータアクセス」,「3次元再構成」
小林:「画像理解」
曽根田:「3次元の福山市の再現」,「3次元再構成」
檀上:「未来予測、AI活用」
中村:「画像理解」
宮:「未来予測、変化要因の分析」
森井:「画像理解」
【研究室の記事,資料】
【宿題】
卒業研究のメリット,心構え:PDFファイル, パワーポイントファイル
各自の研究テーマに関する調査を自分で行い,興味関心を確認する。4/20 まで。
4/20 に各自,みんなの前で口頭説明することにより,アウトプットする。チームワークを歓迎。
研究を開始する.卒業研究説明を行う
【研究室の記事,資料】
火曜日の10時50分,木曜日の10時50分
大学では IT に関する専門知識を学び、プログラミング、データベース、ネットワーク、人工知能などの技術力を習得してきました。 これらの技術力は、就職後役立つものであり、自分自身の成長や業務遂行に必要です。 (自信を持って自分が習得した技術力をアピールしましょう。その技術力をどのように活かすか、どのような業務やプロジェクトで活躍できるかを考えてみましょう)。
課題解決能力は、ITの仕事でも、とても重要なスキルの一つです。学生時代に、プログラム作成や、ITシステム制作など、大学の宿題、自主制作、卒業研究などを通して、さまざまな課題に直面し、解決した経験があるということは、大きなアピール・ポイントになります。 (その際には、自分がどのように課題に直面し、自力で、あるいは仲間や先生と相談しながら、どのように解決したのかを具体的に伝えてください)
ITの仕事では、顧客やチームメンバーとのコミュニケーションが欠かせません。 いままでの授業や卒業研究での、グループでのプロジェクト活動を通じて、自主的に勉強を行い、学んだことや考察したこと、調査・実験結果を仲間や先生と共有することで、コミュニケーション能力を向上させた体験は、大きなアピール・ポイントです。 (また、今後もコミュニケーション能力を磨くために、どのような取り組みをしていくかを考えてみてください)
【宿題の目的と注意点】
【宿題】 1ヶ月間のテーマ選び
各自,テーマを選んで,メールで提出してください(火曜日まで)
そして,次回の集まりで,自分で選んだテーマについて,他の仲間に説明してください(面白そう,やってみたいと思った理由.何の役に立ちそうか.なぜ,興味を持ったか)
テーマ案