フレームを描かず「変化の瞬間」を探す――イベントカメラAIを支える新しいCGシミュレーション

普通のカメラは「一枚、また一枚」と世界を切り取る。イベントカメラは違う。画素ごとに明るさが変化した瞬間だけを、座標、時刻、変化の向きとともに非同期で出力する。高速で動く物体をマイクロ秒級で追い、必要な変化だけを送るため、低遅延・低消費電力という強みを持つ。一方で、その特殊なデータ形式はAI開発の入り口に大きな壁を作ってきた。大量で多様な学習データを集めにくいのである。^[1]

千葉大学大学院融合理工学府博士前期課程の真鍋悠一郎氏（研究当時）、同大大学院情報学研究院の久保尋之准教授、早稲田大学理工学術院の森島繁生教授、一橋大学大学院ソーシャル・データサイエンス研究科の谷田川達也准教授らの研究チームは、この難題に対し「大量のフレームを描く」発想そのものを見直した。物理的に忠実なパストレーシングで任意時刻の明るさを計算し、イベントが発生する時刻だけを効率的に絞り込むシミュレーション手法を開発した。論文は2026年9月17日、IEEE Transactions on Visualization and Computer Graphicsにオンライン掲載された。^[2]

イベントカメラは「映像」を撮らない

30fpsの通常カメラなら、1秒間に30枚の画像を作る。画面の大半が変化していなくても、全画素を繰り返し読み出す。イベントカメラは、各画素が独立して明るさの変化を監視し、設定したしきい値を超えたときだけイベントを発生させる。

ソニーセミコンダクタソリューションズの説明では、イベントデータには画素の座標、時間、明るくなったか暗くなったかを示す極性が含まれる。全画素が非同期で動くため、動きがない場所はほとんどデータを出さず、急激な変化にはすぐ反応できる。^[3]

学習データ不足という逆説

イベントカメラは、高速物体追跡、ロボットナビゲーション、3D計測、設備振動監視などに向く。自動運転でも、車両や歩行者の急な動きを低遅延で捉えられる可能性がある。だが実機は通常のRGBカメラほど普及しておらず、条件を変えながら大規模なデータセットを撮影するのは容易ではない。^[1]

AIにとって、センサーの優秀さと学習データの豊富さは別問題だ。実世界で珍しい事故寸前の動き、極端な照明、高速回転物、雨や反射などを大量に再現するには費用も安全上の制約もある。そこで仮想3Dシーンから人工的にイベントデータを作る「シミュレーション」が重要になる。

従来法は「高fps動画を作ってから変換」していた

単純な方法は、CG空間を非常に高いフレームレートで描画し、隣り合うフレーム間の輝度変化からイベントを推定することだ。しかしイベントカメラの本質は、固定されたフレーム時刻の間に起きる変化まで検出する点にある。フレーム数を減らせばイベントを取りこぼし、増やせば計算量が膨らむ。

研究チームは、0.1秒の仮想シーンに20個のキーフレームを設定し、比較用の高時間分解能参照データでは2万480フレームを描画した。そこまで細かく描けば精度は上がるが、大規模データセット作成には重すぎる。^[1]

パストレーシングを時間探索に使う

パストレーシングは、カメラから見た光が物体表面で反射・散乱し、光源へ届く経路を確率的に追跡して画素の明るさを求めるレンダリング手法だ。映画や高品質CGで現実的な光を再現するために使われるが、計算負荷は高い。

今回の手法では、パストレーシングを「高品質な画像を一枚完成させる」ためだけに使わない。任意の時刻で、その画素の明るさがイベント発生しきい値へ到達したかを評価する。そして二分探索に似た方法で時間区間を狭め、イベント発生時刻を求める。

明るさ変化の少ない画素は何度も調べる必要がない。変化が大きい画素ほど細かく時間を探索する。この「イベント適応型時間細分化」が、イベントカメラの非同期性とCG計算を直接結び付ける。

ノイズのあるパストレーシングで、いつ発生したかをどう決めるか

パストレーシングは確率的計算なので、同じ画素でも有限回のサンプリングでは値にばらつきが生じる。イベント発生しきい値の近くで、そのノイズを本当の明るさ変化と誤認すれば、偽イベントや時刻誤差につながる。

研究チームは統計的仮説検定を組み込み、追加サンプルが必要な画素を判断した。さらにGPU上ではストリームコンパクションを用い、「まだ評価が必要な画素」だけを処理対象に残す。早稲田大学の発表によれば、この最適化で、二分探索のみの素朴な実装に比べ計算時間を最短で約3分の1にできた。^[1]

3つの仮想世界で試した

評価には、奥の箱が高速に揺れる動的Cornell Box、跳ねるボール、炎が変化する暖炉という3シーンを使用した。これらは、剛体運動、複数物体、複雑で不規則な光変動という異なる難しさを持つ。

既存のフレームベース手法では、フレーム間で起きた明るさ変化を捉えきれず、イベント列に不連続や取りこぼしが現れる例があった。新手法は参照データに近い、時間的に整合したイベント列を生成したと研究チームは報告している。^[2]

ただし、この結果は3つの合成シーンを使った研究評価である。市街地全体、悪天候、複雑な材質、実センサー固有のノイズや画素ばらつきまで、現実世界のあらゆる条件で検証済みという意味ではない。

2008年、「フレームを捨てる」カメラが現れた

イベントベースビジョンの歴史は、現在の自動運転AIブームより古い。Patrick Lichtsteiner、Christoph Posch、Tobi Delbrückらが2008年に発表した128×128画素の非同期時間コントラストセンサーは、各画素が連続時間で相対輝度変化を検出し、イベントとして出力する代表的な初期DVS（Dynamic Vision Sensor）だった。論文では120dBのダイナミックレンジと15マイクロ秒級の最小遅延が報告された。^[4]

この発想は「ニューロモルフィック・ビジョン」とも呼ばれる。網膜が視覚情報を一様な静止画として送るのではなく、変化に強く反応する仕組みを電子回路へ取り込もうとする系譜だ。

日本ではセンサー自体も産業化が進んだ

日本企業もイベントカメラの実用化に深く関わる。ソニーセミコンダクタソリューションズはフランスのPropheseeと共同開発し、2021年に積層型イベントベースビジョンセンサーIMX636とIMX637を商品化した。各画素が輝度変化だけを非同期で読み出し、低消費電力と低遅延を両立する。IMX636は1280×720画素で、4.86マイクロメートル画素を採用した。^[5]

ソニーは用途として、設備振動、溶接や切削の火花、高速物体、3D計測などを挙げる。実際、イベントセンサーは「研究室だけの特殊カメラ」から、産業機器に組み込める部品へ移りつつある。^[3]

なぜ自動運転に「仮想イベント」が必要なのか

自動運転のAIは、通常カメラ、LiDAR、レーダーなど複数のセンサーを組み合わせる。イベントカメラがそこへ加われば、高速運動や明暗差の大きい場面で補助的な情報源になり得る。しかし、AIを訓練するには「正解付きデータ」が必要だ。

仮想環境なら、車、歩行者、信号、照明、速度、カメラ軌道を自由に変えられる。しかも物体の真の位置や速度をCG側が知っているため、教師データを自動生成しやすい。今回の手法は、その仮想環境からイベントセンサーらしい時系列データをより忠実に取り出す基盤になり得る。

ただし、シミュレーションだけで実車安全性を証明できるわけではない。現物センサーには個体差、温度依存性、回路ノイズ、背景イベント、レンズ特性、LEDフリッカーなどがある。合成データで学習したモデルを現実へ移す「sim-to-real」の検証は別に必要だ。

ロボットでは「速さ」より「反応までの時間」が重要になる

ロボットアーム、ドローン、移動ロボットでは、画像1枚を待ってから全画面を解析する時間そのものが制御遅れになる。イベントカメラは変化が起きた画素を即時に伝えるため、制御系へ必要な情報を早く渡せる可能性がある。

しかし、その長所を生かすAIを作るには、従来の「画像認識」と違うネットワーク、時系列処理、評価指標が必要になる。センサーだけ高速でも、学習アルゴリズムとデータ基盤が追いつかなければシステム全体は速くならない。

今回の研究が本当に短縮したもの

「計算時間を3分の1」と聞くと、すべてのイベントカメラAI開発が3倍速くなるように見えるが、そうではない。早稲田大学の発表が示すのは、特定の比較条件で、GPU最適化と統計的判定を組み合わせた実装が、二分探索のみのパストレーシング実装に対して最短で約3分の1の計算時間になったという結果だ。^[1]

価値は数字そのものより、「高忠実度」と「大量生成」の両立へ一歩進んだことにある。イベントカメラは高速だからこそ、正確なシミュレーションには膨大な時間分解能が必要になる。その矛盾を、イベントが必要な時刻だけ探すことで緩和した。

次に必要なのは、現実との誤差を測ること

この技術が自動運転やロボット向けの実用的な学習基盤になるには、実センサーと合成イベント列の差を定量化し、センサー固有のノイズやしきい値ばらつきをモデルへ入れ、より大規模で複雑なシーンへ拡張する必要がある。

一方で、研究の方向性は明快だ。AI開発では「センサーを作る」だけでは足りない。そのセンサーが見る世界を仮想空間でも再現し、珍しい状況、危険な状況、まだ現実では集められない状況を安全に学習させる必要がある。

イベントカメラは、フレームという100年以上続いた映像の単位から離れるセンサーだ。今回の研究は、そのセンサーを訓練するCG側もまた、フレーム中心の発想から離れようとしている。カメラが「変化だけを見る」なら、シミュレーターも「変化が起きる瞬間だけを探す」。その対称性に、この研究の最も面白いところがある。