生成AIは「時間」をどう捉えるのか――東大・沙川貴大教授が熱力学から探る

「コップが落ちた。割れた。」を逆から読むと

「コップが床に落ちた。コップが割れた」。順序を逆にして「コップが割れた。コップが床に落ちた」と書けば、文法は通じても、出来事を説明する文章としては奇妙だ。人間は、原因と結果が並ぶ自然な順番を苦もなく見分ける。では、文章を次々に書く生成AIは、その違いをどのような形で捉えているのだろうか。

東京大学大学院工学系研究科の沙川貴大教授は、時間の向きを逆にしたときの「起こりにくさ」を数理的に測る枠組みを、自己回帰生成モデルに拡張した。研究は2026年11月５日、米国物理学会の査読付き学術誌『PRX Intelligence』に掲載され、東京大学と科学技術振興機構（JST）が６日に発表した。生成AIの「理解」を証明する研究ではないが、文章の順序に関する性質を比較する、新たな定量的な道具を示している。

生成AIと天気予報に、共通する数学がある

自己回帰生成モデルとは、すでに得られた出力をもとに、次に何が現れるかの確率を決めるモデルの総称だ。文章生成なら直前までの語句を手がかりに次のトークンを選ぶ。もっと古典的な分野では、雑音を含む観測信号から状態を推定するカルマンフィルタも、設定によって同じ枠組みで理解できる。

論文が扱うのはトランスフォーマーだけではない。再帰型ニューラルネットワーク、状態空間モデル、Mamba、カルマンフィルタなどを視野に入れる。いずれにも、過去の情報をモデル内部の状態に整理し、その状態から次の出力の確率を計算するという共通項がある。流行のAIに既存の物理学の言葉を貼っただけではなく、異なる数理モデルを一つの理論の中に置いたことが重要だ。

「エントロピー生成」は、サーバーの熱ではない

熱力学では、温かい物体から冷たい物体へ熱が流れるような不可逆的な変化を、エントロピー生成という概念で捉える。確率過程の研究では、通常の時間順序で生じる経路と、逆向きの順序で生じる経路との確率の違いによって、不可逆性を記述できる。

今回の研究で測るエントロピー生成は、生成モデルがつくる「出力の並び」の非対称性である。GPUの消費電力や半導体から放出される熱を測定したのではない。計算機の省電力化を実証した研究でもない。この違いを押さえなければ、熱力学という単語がかえって成果を誤解させる。

最後の一語だけでは決まらない――非マルコフ性の壁

さいころのように、次の状態を決めるのに現在の状態だけを知ればよい仕組みは、マルコフ過程の代表例として説明される。一方、文章の次の語は直前の一語だけでは決まらない。数段落前の名前、話題、条件にも依存する。こうした履歴への依存は、観測された出力列を「非マルコフ過程」として扱う理由になる。

過去の履歴を可能な組み合わせのすべてについて調べるのは、長い文章では事実上不可能になる。沙川教授の理論は、内部状態が履歴から決定され、出力確率が計算できるという自己回帰モデルの構造を利用する。順方向と逆方向の尤度を評価することで、履歴の組み合わせを総当たりせず不可逆性を推定できる点に計算上の意義がある。

語順をひっくり返しても、意味の実験にはならない

研究チームは言語モデルGPT-2とQwen3-4B-Baseを使い、テキストの順序に関する実証的な検討を行った。だが、単語を一つずつ逆に並べれば、日本語でも英語でもほとんどの文章は文法として崩れてしまう。それでは「時間の順序」を学んだのか、単に不自然な語順を嫌うのか判別しにくい。

そこで研究では、文の中の単語の順番はそのままに、文と文の順番を反転する方法を導入した。これならば文章全体に現れる出来事の進行を問い、語順の文法上の不自然さという大きな障害を減らせる。研究の見せ場は、いわば「逆再生」の単位を調整したところにある。

因果のある物語で、より大きな非対称性

出来事が順番に起こる文章群と、相互に独立した事実を並べる文章群を比較したところ、前者では文の順序を反転させた際の確率的な不自然さが大きくなる傾向が確認された。論文はGPT-2で５つの文章群のうち３つ、より大きなQwen3-4B-Baseによる再評価では５つすべてで、統計的に有意な違いが見られたと報告する。

これは興味深いが、因果関係を本当の意味で推論できると示したわけではない。文章の表面的な合図や学習資料の特徴が結果に影響した可能性は残る。また、評価した文章群は商用の生成AIに指示して作られた。独立した人手で設計されたデータや、厳密に統制された因果課題での検証が今後必要になる。

「世界モデル」を測る物差しになり得るか

AIが文章の記号だけを覚えるのか、それとも、物体の位置や出来事の前後関係のような世界の構造を、内部にある程度表現しているのか。これをめぐる議論で使われるのが「世界モデル」という言葉だ。研究者は、言語モデルがそのような表現を獲得している可能性を検討している。

しかし、時間順序を含む文章の確率をうまく区別できたとしても、それだけで豊かな常識、物理的理解、あるいは意識が存在すると結論することはできない。今回の測定が示すのは、出力列が逆順になったときの確率分布の違いである。世界モデルの内実は、その指標が何に反応し、どこで失敗するかを丹念に調べて初めて見えてくる。

過去を未来から推測する――数式のもう一つの成果

この研究の理論的な中心は、不可逆性を全体の数値として求めることだけではない。研究では、未来に残された情報から過去の観測を推測する「遡及的推論」という見方を用い、エントロピー生成を各時点のゼロ以上の寄与の和として厳密に分解した。

さらに各時点の寄与は、未来を内部状態に圧縮するときに情報が失われる「圧縮損失」と、順方向の予測に設計したモデルを逆方向へ使うと生じる「モデル不一致」に分けられる。何が不可逆性の原因になっているかを、情報処理の構造へ結び付けて考える手がかりを与える。

カルマンフィルタがつなぐ、AI以前からの歴史

19世紀の熱力学から、20世紀の統計力学、確率過程の理論へ。時間の向きは長く物理学の中心的な問題だった。一方、1960年にルドルフ・カルマンが提案したフィルタは、雑音を含むデータから状態を推定する工学の基礎となり、航法や制御などに広く使われてきた。

機械学習では2017年のトランスフォーマーの登場以降、過去の文脈を大量に利用した文章生成が急速に進展した。今回の論文は、確率的な測定・制御の歴史と最新の言語モデルを、同じ数学の対象にする。線形ガウス系としてのカルマンフィルタでは、不可逆性を解析的にも導き、計算による推定と照合した。

測れることと、理解したことは違う

論文の価値は「AIの知能の秘密を解いた」と宣言することではない。計測しづらかった非マルコフ的な生成過程に、計算可能な指標と厳密な分解を与えた点にある。沙川教授による単著論文は、モデルや課題を変えた追試につながる土台を提示した。

今後、現実に即した時間順序のデータ、因果と単なる相関を分ける実験、異なる言語やモデル構造での再現性が問われる。モデルが昨日と明日をどれほど区別できるかを測ることは、人間と同じ意味で時間を理解していると認定することではない。その厳密な線引きこそ、生成AIを科学として探るために欠かせない。