街路交通シミュレータ 3D ― SUMO による微視的交通流シミュレーションと、深層強化学習(DQN)による信号制御(Windows 用)|金子邦彦研究室

街路交通シミュレータ 3D ― SUMO による微視的交通流シミュレーションと、深層強化学習(DQN)による信号制御(Windows 用)

プログラムの動作の様子の動画:[動画]

説明資料: [PDF], [PPTX] , [動画](クリックして再生開始), クレジット:動画は「VOICEVOX:青山龍星」、「Vrew」、「Gemini」を用いて作成

本資料とコードの作成にAIを使用。

このプログラムの理念と目的

本プログラムは、交差点の車線数、信号制御、交通量などの条件を画面上で変え、その条件のもとで生じる交通流を微視的交通流シミュレータ SUMO で計算し、3 次元の画面に表示するツールである。信号制御には、定周期制御、感応制御、マックスプレッシャー制御に加えて、深層強化学習(DQN)で現示(同時に青を表示する進行方向の組み合わせ)を選ぶ方式を備える。

計算は「エピソード」を単位として行う。エピソードは、設定した長さ(既定は 3600 s)のシミュレーション 1 回分であり、終了すると結果を履歴に記録し、既定の設定では次のエピソードを自動的に開始する。各エピソードの中では、SUMO が「計算ステップ」(既定は 0.5 s)ごとに全車両の位置と速度を更新する。

想定する利用者と、得られる効果は次のとおりである。

計算はブラックボックスとせず、入力(生成した道路網ファイル、信号の現示、経路)、途中経過(時系列、交差点と車線の状態)、出力(評価指標とその履歴)を、メイン画面とは別のタブで確認できる。

特徴

機能概要

道路網と交通

信号制御

評価指標と出力

指標の定義

指標定義
旅行時間車両が道路網に入ってから出るまでの時間。
出発遅れ車両を発生させた時刻から、実際に道路網に入った時刻までの時間。流入口の先が詰まると大きくなる。
待ち時間・停止車両数待ち時間は速度 0.1 m/s 未満の状態で過ごした時間の合計である。停止車両数も同じ基準(SUMO の停止の判定と同じ)で数える。
損失時間SUMO が計算する値で、希望速度で走行した場合と比べた遅れの時間。希望速度は 規制速度 × 速度係数 であり、車種の最高速度を上限とする。
空間平均速度その時刻に道路網内にいる全車両の瞬時速度の算術平均。
速度低下率1 − 車線上の車両の平均速度 ÷ 規制速度。車両がいない車線は 0 とする。
CO2 排出量道路網内の全車両について、SUMO の排出モデルによる推計値を累計した値。排出原単位は、総排出量を総走行台キロで割った値である。
テレポート回数車両がテレポート時間以上進めないときなどに、SUMO が車両を経路上の先の車線に移した回数。0 でない場合は、行き詰まりなど、通常の走行では解消できない状態が起きている。

画面操作およびキー操作

画面の構成

画面上部のタブで「シミュレーション」「検証」「操作方法・解説」を切り替える。シミュレーションは、どのタブを表示していても進む。

領域内容と操作
上部右側のボタン「一時停止」と「再開」、「1 ステップ」(一時停止して 1 計算ステップだけ進める。エピソードが終了した状態では次のエピソードを開始する)、「リセット」(現在の設定でエピソードを最初からやり直す。結果は履歴に記録しない)、再生速度の「−」「+」がある。再生速度は実時間に対するシミュレーション時間の比で、0.25 倍から 128 倍まで選べる。計算が追いつかないときは、実際の倍率を括弧内に表示する。右端には、シミュレーション時刻、エピソードの長さ、エピソード番号を表示する。
3D 画面(シミュレーションタブの左側)左上に信号制御の方式、道路網内の車両数、挿入待ちの車両数、出発台数、到着台数、空間平均速度、停止車両数、平均旅行時間、平均待ち時間、テレポート回数を、下部に停止車両数と空間平均速度の直近 600 s のグラフ、右下に色分けの凡例を表示する。「表示」タブの「交差点と流入交通量の表示」がオン(既定)のときは、各交差点の上に、現在の現示、信号表示(青・黄・全赤)、その表示の経過時間と残り時間を表示する。残り時間は、定周期制御では青の終了まで、感応制御では最大青時間に達するまで(車両が途切れると、それより早く切り替わる場合がある)、マックスプレッシャー制御と強化学習では最小青時間を満たすまでの時間である。同じ設定がオンのときは、各流入口に、その時刻の流入交通量も表示する。
設定パネル(シミュレーションタブの右側)設定項目を「道路」「信号」「交通量」「車両/SUMO」「強化学習」「表示」のタブに分けて並べる。スライダーはつまみをドラッグして値を変え、選択肢は左右の三角のボタンで切り替える。項目にマウスを重ねると、パネル下部に説明と反映のしかたを表示する。「再生成」「再開始」の印がある項目は、最後に値を変えてから 0.8 秒後にエピソードを最初から開始する(「再生成」はその前に道路網を作り直す)。「初期化」の印がある項目は、変更すると Q ネットワークの重みと経験リプレイを初期化する。
選択した車両の情報3D 画面で車両をクリックすると、右上にその車両の速度、希望速度、累積待ち時間、損失時間などを表示する。この欄の「追従」「運転席」ボタンで視点を切り替えられる。
検証タブ「入力データ」(全設定値、生成した道路網ファイルと設定ファイル、信号現示表、経路一覧)、「途中経過」(時系列のグラフ、交差点ごとの現示と方角別の停止車両数、車線ごとの状態)、「出力・比較」(評価指標、旅行時間の度数分布、エピソードの履歴、CSV の書き出し)、「強化学習の内部状態」(状態ベクトル、Q 値、直近の経験と学習の目標値、損失と報酬の推移)、「イベントログ」(設定の変更、道路網の再生成、エピソードの開始と終了の記録)の 5 つの画面がある。各グラフには、計算の定義と読み方の注意を添えている。
操作方法・解説タブ操作方法と、追従モデル、信号制御の方式、強化学習、評価指標の技術解説を表示する。

マウス操作

操作動作
左ドラッグ視点の回転。追従視点と運転席視点では、見る方向を左右に変える。
右ドラッグ、中ボタンでのドラッグ視点の平行移動。追従視点と運転席視点では、俯瞰の視点に戻る。
ホイール3D 画面では拡大と縮小(俯瞰の視点のとき)。パネル、表、文字列の上では一覧を送る。
3D 画面での左クリック車両をクリックすると、その車両を選択する。交差点の中心付近(約 30 m 以内)をクリックすると、その交差点を「強化学習の内部状態」と「信号」タブの青時間の表示対象にする。何もない所をクリックすると、車両の選択を解除する。

キー操作

キー動作
Space一時停止と再開を切り替える。
+ / −再生速度を上げる・下げる。
F1 / F2 / F3「シミュレーション」「検証」「操作方法・解説」のタブに切り替える。
W A S D、矢印キー俯瞰の視点で、視点を平行移動する。スライダーまたは選択肢にマウスを重ねているときは、← → でその値を 1 目盛りずつ変える。
Q / E俯瞰の視点で、視点を回転する。
Z / X俯瞰の視点で、拡大・縮小する。
C視点を 俯瞰 → 追従 → 運転席 の順に切り替える。追従と運転席は、車両を選択しているときに使える。
Esc追従視点・運転席視点では俯瞰の視点に戻る。俯瞰の視点では、道路網全体を表示する。
Page Up / Page Down設定パネル、検証タブ、解説タブで、マウスの下にある一覧を 1 画面分送る。

使用技術

交通流の計算

強化学習(DQN)

画面の表示

実行上の注意点

ソースコード実行のための前準備

Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

[Windows での Python 3.12 のインストール手順を見るには、ここをクリック]

Windows での Python 3.12 のインストール

以下のいずれかの方法でPython 3.12をインストールする。Pythonがインストール済みの場合、この手順は不要である。

方法 1:winget によるインストール

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして、コマンド全体をコマンドプロンプトにコピー&ペーストする。

--scope machine を指定することで、システム全体(全ユーザー向け)にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動するとPATHが反映される。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""
if not "%ERRORLEVEL%"=="0" ( color 0c & echo Python 3.12 のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; if(Test-Path $p){$k=[Microsoft.Win32.Registry]::LocalMachine.OpenSubKey('SYSTEM\CurrentControlSet\Control\Session Manager\Environment',$true); $c=$k.GetValue('Path','',[Microsoft.Win32.RegistryValueOptions]::DoNotExpandEnvironmentNames); $t=$k.GetValueKind('Path'); $new=$c; if((';'+$new+';') -notlike \"*;$p;*\"){$new=$p+';'+$new}; if((';'+$new+';') -notlike \"*;$s;*\"){$new=$s+';'+$new}; if($new -ne $c){$k.SetValue('Path',$new,$t)}; $k.Close()}"

REM 現在のセッションにも反映(システムPATHを再取得して連結)
for /f "usebackq tokens=2,*" %A in (`reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path`) do set "PATH=%B"

REM pip / wheel の更新
python -m pip install --no-user -U pip wheel
if not "%ERRORLEVEL%"=="0" ( color 0c & echo pip / wheel の更新に失敗しました & ping 127.0.0.1 -n 6 >nul & color )

方法 2:インストーラーによるインストール

  1. Python公式サイト(https://www.python.org/downloads/)にアクセスし、「Download Python 3.x.x」ボタンからWindows用インストーラーをダウンロードする。
  2. ダウンロードしたインストーラーを実行する。
  3. 初期画面の下部に表示される「Add python.exe to PATH」にチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
  4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号(例:Python 3.12.x)が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code(プログラムを編集するソフトウェア。以下、VS Code)を整える。

[Windows での Visual Studio Code のインストールと Python 用の設定手順を見るには、ここをクリック]

Windows での Visual Studio Code のインストールと Python 用の設定手順

1. VS Code と拡張機能のインストール

以下のコマンドにより,既存の VS Code を削除し,全ユーザー共有の設定で再インストールしたうえで,拡張機能(VS Code に機能を追加するソフトウェア)をまとめて導入する.

【インストールコマンドの実行方法】

管理者権限でコマンドプロンプトを起動する(手順:Windows キーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。そして,コマンド全体をコマンドプロンプトにコピー&ペーストする。

インストールコマンド


REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
REM Build Tools + Desktop development with C++(VCTools)+ 追加コンポーネント(一括)
REM 未インストール時: winget で新規インストール
REM インストール済み時: setup.exe modify でコンポーネント追加(バージョンは変更しない)
winget list --id Microsoft.VisualStudio.BuildTools 2>nul | findstr /i "BuildTools" >nul 2>&1
if %ERRORLEVEL% EQU 0 (
    for /f "usebackq delims=" %P in (`"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe" -products Microsoft.VisualStudio.Product.BuildTools -property installationPath`) do start /wait "" "C:\Program Files (x86)\Microsoft Visual Studio\Installer\setup.exe" modify --installPath "%P" --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64 --includeRecommended --quiet --norestart --nocache
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のコンポーネント追加に失敗しました & ping 127.0.0.1 -n 6 >nul & color )
) else (
    winget install --scope machine --id Microsoft.VisualStudio.BuildTools -e --silent --disable-interactivity --force --accept-source-agreements --accept-package-agreements --override "--quiet --wait --norestart --nocache --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended --add Microsoft.VisualStudio.Workload.MSBuildTools --add Microsoft.VisualStudio.Component.VC.CMake.Project --add Microsoft.VisualStudio.Component.VC.Llvm.Clang --add Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.v143.x86.x64"
    if not "%ERRORLEVEL%"=="0" ( color 0c & echo Build Tools のインストールに失敗しました & ping 127.0.0.1 -n 6 >nul & color )
)

REM 全ユーザー共有の拡張機能フォルダ
if not exist "C:\ProgramData\vscode-extensions" mkdir "C:\ProgramData\vscode-extensions"
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code"
if exist "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk"
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM (%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す)
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions

REM settings.json を作成(自動更新オフ、Python、Claude Code 設定)
if not exist "%APPDATA%\Code\User" mkdir "%APPDATA%\Code\User"
python -c "import json,os;data={'update.mode':'none','update.enableWindowsBackgroundUpdates':False,'extensions.autoUpdate':False,'python.defaultInterpreterPath':r'C:\Program Files\Python312\python.exe','claudeCode.environmentVariables':[{'name':'ANTHROPIC_API_KEY','value':'not-needed'},{'name':'ANTHROPIC_AUTH_TOKEN','value':'ollama'},{'name':'ANTHROPIC_BASE_URL','value':'http://localhost:11434'},{'name':'ANTHROPIC_MODEL','value':'glm-4.7-flash'},{'name':'CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC','value':'1'}]};p=os.path.join(os.environ['APPDATA'],'Code','User','settings.json');open(p,'w',encoding='utf-8').write(json.dumps(data,indent=4));print('Done:',p)"

REM 自動更新の抑止ポリシー(settings.json に加えて、レジストリ側でも明示的にオフ)
reg add "HKLM\SOFTWARE\Policies\Microsoft\VSCode" /v "UpdateMode" /t REG_SZ /d "none" /f
echo === セットアップ完了 ===

2. Python インタプリタの選択

同一マシンに複数の Python がインストールされている場合,VS Code で使用する Python 本体(インタプリタ:Python プログラムを解釈・実行するソフトウェア)を選択する必要がある.

  1. コマンドパレット(コマンド名で機能を呼び出す VS Code の入力欄)を開く(Ctrl+Shift+P)
  2. Python: Select Interpreter と入力する
  3. 表示される一覧から,使用する Python(例:C:\Program Files\Python312\python.exe)を選択する.

必要なライブラリをシステム領域にインストール

管理者権限でコマンドプロンプトを起動する (手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。

以下を実行する。

REM インストール
pip install -U --no-user eclipse-sumo libsumo pygame-ce moderngl PyGLM numpy

ソースコード

保存し、Visual Studio Code などで実行する。