nuScenes データセット
【概要】
nuScenes は,Motional 社(旧 nuTonomy 社)が公開している自動運転向けデータセットである。LIDAR,RADAR,カメラ,IMU,GPS を搭載した実車で,Boston と Singapore の 2 都市において収集された。3次元バウンディングボックスのアノテーションが付いており,3次元物体検出やトラッキングの研究を主な用途として想定している。 このページでは,nuScenes データセットの構成と,ダウンロード手順,開発キット(devkit)のインストール手順をまとめる。
【目次】
【関連する外部ページ】
【サイト内の関連情報】
第1章 データセットの構成
- 2つの都市: Boston, Singapore
- センサー: 1x LIDAR, 5x RADAR, 6x camera, IMU, GPS
- シーン
- カメライメージ数: 1,400,000
- LIDAR スイープ数: 390,000
- RADAR スイープ数: 1,400,000
- シーン数: 1,000
- 1 シーンの長さ: 20秒
- アノテーション
- オブジェクト・クラス数: 23
- 3次元バウンディングボックス数: 1,400,000
ヒント: フルセット(nuScenes full dataset)は数百 GB と大きい。 まず動作確認をしたい場合は,10 シーンだけを含む小さなサブセット v1.0-mini をダウンロードするとよい。
第2章 データセットのダウンロード
利用条件(ライセンス)を必ず確認すること。利用条件に同意できない場合は,利用(ダウンロード)しないこと。 非商用利用向けのライセンス(nuScenes Terms of Use)で公開されており,商用利用には別途ライセンスが必要である。
- Web ブラウザで,nuScenes のページを開く。
- 「Download」のリンクをクリックする。
- ダウンロードにはアカウントが必要である。画面の指示に従い,アカウントを作成(Sign Up)し,ログインする(すでにアカウントがある場合はそのままログインする)。
- 利用条件(Terms of Use)を確認し,同意できる場合のみ続行する。
- ダウンロードするデータを選ぶ。まず試したい場合は「Mini」(v1.0-mini)を,本格的に使う場合は「Full dataset」の Trainval,Test などを選び,ダウンロードを実行する。
- ダウンロードしたアーカイブ(.tgz など)を展開する。展開すると,samples(アノテーション付きキーフレームのセンサーデータ),sweeps(アノテーションなしの中間フレーム),maps(地図),v1.0-*(アノテーションなどのメタデータ,JSON 形式)のディレクトリ構成になる。
第3章 開発キット(nuscenes-devkit)のインストール
データセットを Python から扱うために,開発キット nuscenes-devkit をインストールする。
管理者権限でコマンドプロンプトを起動する
(手順:Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」)。
次のコマンドを実行してパッケージをインストールする。
pip install --no-user nuscenes-devkit
インストールが完了したら,動作確認として,Python で v1.0-mini を読み込み,シーンの一覧を表示してみる
(データセットを C:\nuscenes の下に展開した場合の例)。
from nuscenes.nuscenes import NuScenes
nusc = NuScenes(version='v1.0-mini', dataroot='C:/nuscenes', verbose=True)
nusc.list_scenes()
より詳しい使い方は,GitHub の README.md とチュートリアル(tutorials ディレクトリの Jupyter ノートブック)に従うこと。
考察ポイント
- LIDAR,RADAR,カメラのそれぞれの長所と短所(距離の精度,天候への強さ,色やテクスチャの情報など)を整理し,複数センサーを組み合わせる(センサーフュージョン)意義を考えてみること。
- アノテーションはキーフレーム(2 Hz)にのみ付与されている。センサーの取得周期とアノテーション周期が異なる理由を考えてみること。
- KITTI(別ページで説明)と比べ,収集都市,センサー構成,アノテーションの規模がどう違うかを整理してみること。