生成AIは出来事の順序を学ぶのか――東大・沙川貴大教授が「自己回帰生成モデルの熱力学」を構築

「コップが落ちた。割れた」――AIは出来事の順序を知っているのか

「コップが床に落ちた。コップが割れた」。この二つの文は自然につながる。順序を逆にして「コップが割れた。コップが床に落ちた」とすれば、同じ語句が並んでいても、出来事の説明としては奇妙になる。人間なら、その違和感の理由を重力や衝突、ガラスが割れる仕組みなどに結び付けて考えられる。文章を次々に生成するAIは、どこまで似た順序を学んでいるのだろうか。

東京大学大学院工学系研究科物理工学専攻の沙川貴大（さがわ・たかひろ）教授は、生成AIが出す文章の「時間の向き」を物理学の方法で測る理論を構築した。2026年11月６日に東京大学と科学技術振興機構（JST）が発表し、論文は５日付の査読付き学術誌『PRX Intelligence』に掲載された。華やかな生成AIの機能を増やす技術ではない。AIが何を学んだのかを外から問い直す、基礎研究である。

熱力学で測るのは機械の発熱ではない

「熱力学」と「AI」が並ぶと、巨大なデータセンターで消費する電力や、計算用半導体が放つ熱を思い浮かべるかもしれない。しかし今回の研究が定義する「エントロピー生成」は、それらの物理的な発熱量や電力量を直接測った数値ではない。生成された一連の文章や信号について、順方向と逆方向では生じる確率がどれほど違うかという「不可逆性」の指標である。大学の公式説明も、この区別を明記している。

たとえば、出来事の自然な順序では生成されやすい文章が、逆順では生成されにくいなら、その差から一方向性を調べられる。研究の意義は、この考えを厳密な確率論に落とし込み、非常に複雑な履歴をもつ生成モデルにも使える計算方法を示したことだ。エネルギー効率を改善したと主張する記事にすり替えては、成果の中心を見失う。

沙川貴大教授と、情報と熱の接点を探る研究史

熱力学第二法則は、熱が自然に高温側から低温側へ移ることなどを説明する。一方、情報理論は、ある事象についてどれほど不確かさがあるかを定量化する。二つの学問は「エントロピー」という言葉を共有するが、何を対象に測るかは同じではない。19世紀の熱機関、20世紀の情報理論、そして21世紀の情報熱力学へと、この接点をめぐる研究は続いてきた。

沙川教授は今回、突然AI研究に転じたわけではない。植田正仁氏との2008年の論文では、測定結果を利用する量子フィードバック操作と熱力学第二法則を論じ、2010年には測定で得た情報を考慮する非平衡過程の関係式を発表した。情報の取得と制御が熱力学にどう関わるかを追ってきた理論研究が、文章を生む確率モデルという新しい対象に広がったと見ることができる。

次の一語を選ぶ「自己回帰」のしくみ

現在の多くの文章生成モデルは、直前までの文章を手掛かりに次の「トークン」を確率的に選び、これを繰り返す。トークンは単語と必ずしも一対一ではなく、日本語では文字列の一部などにもなる。こうしたモデルを「自己回帰生成モデル」と呼ぶ。出力の履歴からモデル内部の状態を計算し、その状態に基づいて次の出力確率を決める点が共通する。

2017年の論文『Attention Is All You Need』は、注意機構を中心にしたトランスフォーマーを提案した。その後、大規模言語モデルが急速に発展した。ただし今回の理論はトランスフォーマーだけを対象にしない。再帰型ニューラルネットワークや状態空間モデル、信号処理で使うカルマンフィルターにも適用できるよう一般化されている。これは流行のAI製品に固有の測定法ではなく、逐次生成のしくみを横断する枠組みである。

難関だった「非マルコフ性」をどう扱ったか

通常の単純なマルコフ過程では、次に起きる事象の確率は現在の状態だけで記述できる。しかし文章の続きは、直前の単語だけでは決まらない。登場人物が前の段落で何をしたか、話題がどこへ移ったかという長い履歴が関係する。観測された単語列は一般に「非マルコフ過程」になる。

観測できる出力列だけで前後の確率の比を評価しようとすると、あり得る過去の組み合わせが膨大になる。沙川教授は、モデルが過去の履歴を内部の潜在状態へまとめ、そこから次を生成する構造を利用した。全履歴を機械的に列挙しなくても、モデルから得た系列を用いてエントロピー生成を効率よく推定できることを理論的に示した。計算量が指数関数的に増える難題を避けた点が、方法論上の重要な前進である。

一語ずつ逆にすると、文法の問題が混ざる

実際の言語モデルで「不可逆性」を測ると、もっとも大きな違いが出来事の因果関係から生まれるとは限らない。単語やトークンをすべて逆順にすれば、言語として不自然になりやすい。一般的な日本語の文章も、語順を逆から並べれば壊れる。文法的な不自然さを検出しただけで「現実世界を理解した」と結論づけることはできない。

そこで研究では、文中の語順はそのままに、文の並びだけを逆転させる「文単位」のエントロピー生成を導入した。冒頭のコップの例なら、「床に落ちた」「割れた」という各文は保ち、文の順序だけを交換する。これによって、単なるトークンの逆転に比べ、出来事の時間的な並びに関わる特徴を分析しやすくした。

GPT-2とQwen3-4B-Baseで何が見えたのか

論文は学習済みのオープンモデルGPT-2（1億2400万パラメータ）を検証に用い、より大きいQwen3-4B-Baseでも傾向を確かめた。互いに独立した事実を並べた文章群と、出来事が順を追って進む文章群を比較したところ、後者の方が文単位のエントロピー生成が大きい傾向を示した。前後の順序を入れ替えると相対的に生成されにくくなる、という結果である。

これは、モデルの生成確率に出来事の順序に関する情報が反映され得ることを示唆する。一方、AIがガラスの破損を物理的に理解した証明でも、「因果関係を推論できる」ことの総合試験でもない。論文は確率分布の性質を調べており、現実世界への頑健な理解や推論能力を直接実証したわけではない。

「世界モデル」を測るという大きな問い

AI研究で言う「世界モデル」は、外部世界の物体、関係、変化、出来事のつながりについて、モデル内部に形成される表現を指す。人間のような自覚や体験があるという意味ではない。文章の大量学習から、時間的な順序や位置関係などの規則性を内部に取り込む可能性は議論されてきた。

今回の成果は、そうした表現に直接ラベルを貼る道具ではない。生成した文章の確率が順方向と逆方向でどれだけ非対称かを測り、言語モデルの内部に何が反映されているかを間接的に探る。研究者が「世界モデルの定量的理解に向けて」と慎重に表現しているのは、実験から言えることと、今後確かめたいことを区別するためだ。

数式に現れる「過去を未来から推定する」作業

理論には、もう一つ重要な構造がある。全体のエントロピー生成を、各時刻ごとのゼロ以上の寄与に厳密に分解できることだ。その各項は、未来側の情報から過去側を振り返って推定する「遡及推論」によって表され、情報の圧縮による損失と、モデルが確率的な関係を捉え損ねる不一致という意味づけが与えられる。

逐次生成を一つの総合点だけで評価するのでなく、どの段階で時間の非対称性が生じるかを理論的に整理できる可能性がある。さらに、線形ガウス型の特別な場合にはカルマンフィルターに対応する解析式も得られる。AIだけでなく、古典的な推定・信号処理にも通じる枠組みとして提案されている。

実験の限界――文章は商用AIで作られた

最も注意すべき点は、比較に使った文章群の作り方だ。東京大学の公式発表によれば、実験で評価した文章群は商用の生成AIに指示を与えて作成した。ある文章が「出来事の順序を含む」か、「独立した事実の列」かという区分も、厳密な因果関係の公理から自動的に導いたものではない。

そのため今後は、時間順序や因果関係を明確に定義したデータセット、人手で検証した文章、言語やモデルを変えた追試が必要となる。示された傾向がどの程度一般的なのか、文体・長さ・学習データによってどう変わるかも未解明だ。大規模商用モデル全般の能力を実証したと読むべきではない。

計算機の電力問題と切り離し、意味を正しく伝える

生成AIの電力消費や計算機の発熱は、社会にとって重要な問題である。だが今回の「エントロピー生成」は言語などの系列が持つ時間方向の確率的非対称性を測る。シリコンチップの温度、GPUの消費電力量、データセンターの排熱を測定した研究ではない。既存の情報熱力学の歴史と関係していても、指標の対象を混同してはいけない。

論文は2026年11月５日付で公刊された理論研究で、GPT-2などを用いた概念実証を含む。人間並みの理解を示したとも、AIの省エネ化に成功したとも述べていない。検証すべき問いは残るが、生成AIの振る舞いを「もっともらしい答えを出したか」だけでなく、生成過程の統計的な構造から調べる道を拓いたことは確かだ。

文を逆から読むと、AIの理解の輪郭が見えるか

「落ちた。割れた」を逆から書く。その小さな操作が、AIが世界の出来事をどう並べて扱うのかという大きな問いにつながる。言葉の表面だけを見ていては分からないモデルの性質を、確率と熱力学の道具を使って見通そうとする試みだ。

歴史を振り返れば、熱機関の研究から生まれた概念が情報理論へ広がり、情報と制御の研究を経て、いま文章生成モデルの分析へ届いたことになる。沙川教授の研究が示すのはAIの「心」の解答ではない。むしろ、何を測り、何がまだ測れていないかを厳密に示すことの価値である。