田澤右京のホームページ

知性を数理モデル化する

人類はこれまでに様々なものを想像し、発展を遂げてきました。自然科学や技術開発から芸術活動に至るまで、人類の様々な営みには知性が必要不可欠です。このことから、人類を人類たらしめているのは知性だと言っても過言ではないでしょう。

では、脳はどのように知性を示すのでしょうか？私の研究の目標は、脳が知性を示す仕組みを数理的に明らかにすることです。そのために、知的に振る舞うことができる脳型知能モデルの構築に取り組んでいます。モデルの構築にあたっては、認識から行動に至るまでの幅広い脳機能を統一的に説明する「自由エネルギー原理」という脳の理論を基礎とすることで、汎用的なモデルの構築を目指します。自由エネルギー原理の詳細については、私のチュートリアル動画を参照ください。

さて、知性を数理モデル化すると言うだけでは、知性という言葉の意味するところが広範かつ曖昧なため、具体性に欠けます。私の研究では、私が知性の重要な構成要素だと考えている「個々の具体的な経験を抽象化し、未知の状況に適応する能力」をモデル化の対象としており、特に以下の3つの能力をモデル化することを目指しています。
1. 抽象的な表現の獲得
2. 抽象的な表現を活用した転移学習, 汎化
3. 抽象的な表現を利用する際に、状況に応じて適切な抽象度の表現を選択して利用する能力
図1はこれらの能力の使用例です。モデル構築のための具体的なアイデア, 手法については、論文投稿等の成果物をお待ちください...。

そもそも知性って何？

そもそも知性, 知的な振る舞いとは何なのでしょうか？私がこれまで周りの方々に同様の質問をした際の回答を以下に示します。

• 状況に応じて柔軟に行動できること, 環境に適応できること
• 汎化能力（e.g., 学んだことを応用できる人が賢いと思う）
• 発想力の高さ（e.g., 自分が到底思いつけないようなアイディアを出せる人が賢いと思う）
• 計算・演算能力の高さ（e.g., 難しい問題や課題を解ける, あるいはそれらを早く解ける人が賢いと思う）
• 判断, 行動の合理性（e.g., 感情に左右されない人が賢いと思う）
• 博識であること（...興味深いことに、博識であることは知性と無関係だと言う人もいました）

私は先ほど答えの一例として、抽象的な表現の獲得とそれを用いた高い汎化性能という案を示しました。しかし、知性には他にも重要で興味深い構成要素 (例えばメタ学習) が存在すると考えています。
さて、ここまでの話を踏まえて、あなたにとって知性とは何でしょうか？もしこれまでに示されたものと異なる視点をお持ちの方がいれば、是非Google Formからご意見をお聞かせください。あるいは直接メールを送っていただいても良いです。いかなる意見も歓迎します。私が興味を惹かれる視点, 考え方があれば研究の良いきっかけになって非常に助かります。

自由エネルギー原理は脳内実装可能か？

自由エネルギー原理は、知覚, 行動, 学習といった様々な脳機能を「自由エネルギー最小化」という情報理論に基づいた単一の計算原理によって説明しようとする脳理論です。中でも、行動を自由エネルギー最小化による推論の一種と捉える枠組みは「能動的推論」と呼ばれ、近年注目を集めています。一方で、自由エネルギー原理は脳の働きを抽象的な計算として記述する現象論的な理論として発展してきたため、その計算がいかにして実際の脳において実現されるのかは十分に検討されていませんでした。

この問題に対しIsomura et al. (2022)は、生理学的に妥当な仮定に基づく神経回路モデルであるcanonical neural networksの神経活動とシナプス可塑性が、自由エネルギー最小化により能動的推論を行うエージェントの推論および学習と数学的に等価であることを示しました。すなわち、神経ダイナミクスを別の視点から見ると、外界を推論し行動を選択していると解釈できることが理論的に示されたのです。この理論的予測は実際の神経系を用いた実験によって検証されつつあります。Isomura et al. (2023)は培養神経回路を用いた実験により、神経活動やシナプス結合強度の変化が自由エネルギー最小化により定量的に予測できることを示しました。さらに、Isomura et al. (2025)はゼブラフィッシュを用いた実験により、個体ごとに異なる学習過程も自由エネルギー最小化により予測できることを報告しています。

これらの研究は、自由エネルギー原理が、観察された現象を事後的に説明するだけの抽象的な理論ではないことを示しています。自由エネルギー原理は、具体的な神経ダイナミクスとの対応関係を持ち、実験データに対して定量的な予測を導くことのできる、反証可能な脳理論として発展しつつあります。つまり「自由エネルギー原理は脳内実装可能か？」という問いへの答えは、canonical neural networksという実装方法に関する具体的な仮説と、それを支持する実験的証拠の蓄積によって、現在進行形で形づくられつつあるのです。

スケールに依らない脳モデル

自由エネルギー原理は脳内実装可能か？で述べたように、canonical neural networks (以下CanonNNsと略す) は、自由エネルギー原理を脳の神経回路によって実現する方法の有力な候補です。しかし、ここには一つの問題が残されています。自由エネルギー原理は、知覚, 学習, 個体の行動に至るまでの幅広い現象を説明する理論です。一方CanonNNsは、もともと個々の神経細胞の活動を記述するモデルとして定式化されています。つまり、単一の神経細胞を記述するモデルと、個体全体の振る舞いを説明する理論との間には、扱うスケールのミスマッチが存在します。

この問題を考えるために、私たちはCanonNNsの「粗視化」に取り組んでいます。粗視化とは、多数の要素からなる細かな状態を、より大きな単位にまとめて記述する操作です。例えば、多数の神経細胞の活動を、それらの平均的な活動によって表現することが粗視化の一例です。驚くべきことに、CanonNNsを粗視化したところ、神経集団の活動を表す統計量もまた、もとのCanonNNsと同じ形式のダイナミクスに従うことが理論的に示されました。これは、CanonNNsが単一の神経細胞を記述する式であると同時に、神経細胞の集団を記述する式でもあることを意味します。さらに、この粗視化は一度だけでなく、繰り返し適用することができます。個々の神経細胞を小さな神経集団へ、小さな神経集団をより大きな脳領域へと段階的にまとめていくことで、CanonNNsは単一細胞から行動に至るまで、異なるスケールに共通する神経ダイナミクスの数理構造を与える可能性があります。現在、この理論的な発見を、実データを用いて検証しています。詳細な理論と検証結果については、近々論文として公開する予定です。

シナプス刈り込みはベイズ最適な生成モデル選択と等価

出版済みの論文では掲載誌であるNeural Networksのスコープを考慮し、神経科学一般の背景から研究を導入しました。ここでは視点を変えて、自由エネルギー原理とベイズ推論の枠組みにおいて、自分たちの研究成果が持つ意義を紹介します。

ベイズ推論が上手くいくかどうかは、脳が持つ「生成モデル」が外界を適切に反映しているかに大きく依存します。生成モデルとは、外界において感覚情報が生み出される過程について、エージェント（例えば脳）が持っている仮定です。脳はこの生成モデルを用いて、観測された感覚情報の原因を推論すると考えられています。多くの研究では、生成モデルの構造はエージェントの設計者によってあらかじめ与えられ、その生成モデルの下で外界の状態を推論し、モデルパラメータを最適化することに焦点が当てられています。しかし、実際の脳には外界の因果構造を正しく反映した生成モデルが初めから与えられているわけではないので、どのような要素の間に因果関係が存在するのかを学習する必要があります。すなわち、脳は経験を通してモデルパラメータを学習するだけでなく、生成モデルの構造そのものも自律的に獲得しなければなりません。

このように、最も適切な生成モデルを選ぶことは「モデル選択」と呼ばれます。自由エネルギー原理の提唱者であるKarl Fristonらも、Bayesian model reduction（BMR）と呼ばれる方法を用いて、不要なモデルパラメータを取り除き、より単純で適切な生成モデルを選択する枠組みを提案しています。しかし、BMRは生成モデルをどのように選択すべきかを数理的に記述するものの、その計算が実際の脳において実現される仕組みについては、現象論的な議論に留まっていました。したがって、モデル選択の脳内実装方法に関する状況は自由エネルギー原理は脳内実装可能か？の項目で紹介したときと同様で、(自由エネルギー原理に対するcanonical neural networksのように、)神経回路の具体的な変化とベイズモデル選択との間に明確な数学的対応を与え、実験データから定量的に検証可能である神経実装仮説は提案されていませんでした.

この問題に対し私たちは、canonical neural networksにシナプス結合の切断、すなわち「シナプス刈り込み」を導入することで、ベイズ最適なモデル選択と数学的に等価なシナプス刈り込みのダイナミクスを理論的に導きました。これは、シナプス刈り込みにより、神経回路が経験に基づいて生成モデルの構造 (すなわち外界に存在する因果関係の構造) を自律的に学習できることを意味します。つまり、私たちの研究は先の文脈において、モデル選択の具体的な脳内実装方法を提案したことになります。研究の詳細については、論文, プレスリリース, 論文の解説動画を参照ください。以下では論文に目を通していただいた前提で、工学と生物学の観点から追加のポイントを補足します。

• 今回の研究では生成モデルにモデル選択を内蔵させることでモデル選択の問題を解決しています。つまり、先の「モデルパラメータの学習」と「モデル構造の選択」という二者の切り分けを無くし、後者を前者に包含させることにより問題を単純化しています。この設計方針は今回扱った問題設定を超えて一般化できる方針だと思われます。
• シナプス刈り込みはたびたび「不要な結合」を切断するプロセスだと説明されます。ここで「不要な結合は何をもって不要と判断されるのか？」という疑問が生じます。今回の研究はこの問いに対して「不要な結合とは、ベイズ最適化の観点から推論に寄与しない結合である」と答えるものです。

最後に余談ですが、私たちはこのシナプス刈り込みに基礎を置くモデル選択手法にBayesian synaptic model pruning (BSyMP) という名前を与えました。論文で示したように、BSyMPにより神経回路 (あるいはそれと等価な生成モデル) の構造が十分にシンプルになることが数理的に保証されています。実はこの性質がBSyMPという名前の由来になっています (The structure will be simple; it will B SyMPle)。

興味の変遷

もし気が向いたら実験研究をしていた頃からの興味の変遷について何か書くかもしれません。