「脳型学習」でCNNと強化学習を訓練、Sakana AIが示す「生物学的制約」のコスト

東京を拠点とするAIスタートアップのSakana AIは、脳の学習メカニズムを模したアルゴリズムを用いて、畳み込みニューラルネットワーク（CNN）と強化学習の訓練に成功したとする論文を公開した。従来のAIで主流の「誤差逆伝播法（バックプロパゲーション）」を使わず、生物学的な制約である「デールの法則」を満たしながら実用的なタスクをこなせることを実証した。この成果は、超低消費電力なニューロモーフィックチップや光コンピューティングなどの次世代ハードウェアでのAI実行に道を拓く可能性がある。

■バックプロパゲーションからの脱却と「デールの法則」

スマートフォンのカメラから大規模言語モデル、動画の推薦エンジンに至るまで、現代のあらゆるニューラルネットワークは、約40年前に開発された「誤差逆伝播法（バックプロパゲーション）」という同一のアルゴリズムで訓練されている。この手法は極めて強力に機能する。しかし、神経科学者たちが1989年以降指摘してきたように、バックプロパゲーションは脳が実行不可能とされる数学的演算を必要とする。この問題は、共同発見者の一人であるフランシス・クリックも指摘しており、数十年にわたり代替手法の研究を促してきた。

東京を拠点とするSakana AIが2026年7月17日にarXivで公開した論文「Diffusing Blame」は、脳の実際の学習方法を模したニューラルネットワーク訓練の、これまでで最も高度な実証結果を示した。そして初めて、この実証に畳み込みニューラルネットワーク（CNN）と強化学習が含まれることになった。

この手法により、バックプロパゲーションやランダムなフィードバック行列を使わず、さらに「個々のニューロンは興奮性か抑制性のどちらか一方のみの作用を持ち、両方は持たない」という生物学的な制約を満たしながら、MNISTで96.7%、CIFAR-10で61.7%の精度を達成した。バックプロパゲーションを使用しない競合手法との差は、CIFAR-10で7.4ポイントにとどまる。この差こそが、現時点での技術において、生物学的に正しい訓練を行うために支払う「精度面でのコスト（生物学税）」と言える。

■デールの法則がディープラーニングで無視される理由

英国の神経科学者ヘンリー・ハレット・デールにちなみ、1954年にノーベル賞受賞者のジョン・エックルスによって定式化された「デールの法則」は、1つのニューロンがすべてのシナプスで同じ化学伝達物質を放出するというものである。実際、ニューロンは興奮性（隣接するニューロンの発火を促す）か抑制性（発火を抑制する）のいずれかに分類され、同一のニューロンが両方の役割を果たすことはない。

しかし、バックプロパゲーションで訓練された標準的なニューラルネットワークは、この規則を日常的に破っている。1つの人工ニューロンが、ある下流のニューロンに対しては正の重み（興奮性結合）を持ち、別のニューロンに対しては負の重み（抑制性結合）を持つことが可能だからだ。これはアーキテクチャ上便利で数学的にも強力だが、生物学的なニューロンではあり得ない挙動である。

これが重要となる工学的な理由は、単なる美学にとどまらない。メモリと演算を同一の場所に配置することで、従来のGPUのわずかな電力で動作するように設計された「ニューロモーフィックチップ」は、シナプスの重みを物理的な非負の量（光システムにおける光の強度や、アナログメモリセルの電荷レベルなど）としてエンコードすることが多い。そのため、任意の正負の重みを必要とするアルリズムは、こうしたハードウェア上でネイティブに動作させることができない。非負の重みのみで動作する学習規則は、生物学的に忠実であるだけでなく、標準的なディープラーニングが対応できない次世代ハードウェアに直接デプロイできるという実用的な強みを持つ。

■誤差拡散法（Error Diffusion）によるウェイト・トランスポート問題の回避

Sakana AIの論文の中心にあるアルゴリズムは、2000年頃に金子氏によって最初に提案された「誤差拡散法（Error Diffusion）」である。この手法は四半世紀の間、バイナリ分類や単純なMNISTデータセットでのみ実証されるにとどまり、研究者の関心を引くにとどまっていた。この手法の魅力は「局所性」にある。誤差拡散法における各重みの更新は、信号を送信するニューロンの活動、受信するニューロンの活性化関数の微分、そしてネットワーク全体で共有される1つのグローバルなエラー符号という、わずか3つの信号のみに依存する。

この最後の部分が、バックプロパゲーションとの決定的な違いである。バックプロパゲーションは、順方向の重み行列の完全な数学的転置行列を使用して、ネットワーク全体に誤差信号を逆方向に送信する。これはグローバルな協調を必要とし、生物学的には不可能な操作である。一方、誤差拡散法は、ネットワークが正しい方向か間違った方向のどちらにエラーを起こしたかを示す、正または負の1つの符号値のみを送信する。転置行列も、レイヤーごとの勾配計算も不要である。

バックプロパゲーションを使用しない競合手法として最も近いのは「直接フィードバックアライメント（DFA）」である。DFAは、初期化時に固定され更新されないランダムなフィードバック行列を使用することで、ウェイト・トランスポート問題を回避する。DFAはMNISTで97.6%、CIFAR-10で69.1%という優れた性能を示すが、デールの法則には準拠していない。研究チームは、同規模のDFAネットワークにおいて約284万個の負の重みを発見した。つまり、DFAは「ウェイト・トランスポートの回避」という基準は満たすものの、「デールの法則」という別の基準は満たしていない。誤差拡散法は、その両方を満たしている。

■性能向上をもたらした3つのエンジニアリング手法

2025年の小松大学の藤田和久氏による研究など、これまでの取り組みでは、誤差拡散法を用いたフラットな非畳み込みネットワークでCIFAR-10において約55.2%の精度を達成していた。Sakana AIのチームは、この基本アルゴリズムに3つの革新的な工夫を加え、初めて畳み込みネットワークでの実行に成功した。

1つ目の工夫は「デュアルストリーム・アーキテクチャ」である。すべての学習可能な重みを非負に保ちつつ抑制効果を可能にするため、各レイヤーを「興奮性」と「抑制性」の2つの並列ストリームに分割した。ストリーム間の接続は、順方向パスにおいてハードコードされた否定符号を介して抑制性として固定される。どちらのストリームでも重みが負になることはない。このアプローチにより、1レイヤーあたりのパラメータ数はシングルストリームの約4倍になるが、生物学的な忠実性は完全に保たれる。

2つ目は「剰余エラー・ルーティング（modulo error routing）」である。元の誤差拡散法はバイナリ出力しか処理できなかった。これを多クラス問題に拡張するため、各隠れユニットに固定の出力チャネルを割り当てた。ユニットiは、出力クラス数をCとしたとき、「i modulo C」のチャネルからエラーフィードバックを受け取る。フィードバック経路をランダムに割り当てるDFAとは異なり、誤差拡散法は決定論的で構造化された対応関係を使用する。

3つ目は、分類に特化した一連の補正技術である。これには、深いレイヤーを通過する際のエラー信号の減衰を防ぐ「レイヤー固有のシグモイド幅」、1対他分類における正負のターゲットの不均衡による抑制バイアスを補正する「バッチ中心化クラス誤差」、そして興奮性ストリームに抑制性ストリームの3倍の初期優位性を与える「非対称な重み初期化」が含まれる。

■単一ベンチマーク評価への警鐘

この論文の重要な発見の一つは、評価手法に関するものである。開発された3つの工夫を個別に除外してその寄与度を評価したところ、使用するベンチマークによってそれぞれの重要性が完全に逆転することが明らかになった。

MNISTでは、レイヤー固有のシグモイド幅を除外すると精度が71.4ポイントも低下し、ランダムに予測するのと同等のレベルまで崩壊した。一方で、バッチ中心化を除外しても0.3ポイントの低下にとどまった。しかしCIFAR-10では状況が完全に逆転し、バッチ中心化の除外が致命的な失敗要因となり、精度が47.9ポイント低下して5回中4回の訓練が完全に失敗した。一方で、シグモイド幅の影響は軽微だった。

研究チームはこれを、タスク依存の「信用割り当て（credit assignment）のボトルネック」の証拠であると解釈している。学習における根本的な障害はタスクの構造や難易度によって異なり、単一のベンチマークのみで評価を行うとこれを見落とすことになる。これは、MNISTで優れた性能を示す学習アルゴリズムが、CIFAR-10に適用された際には異なる根本的な問題を解決している可能性があるという、重要な警告を示している。

■強化学習への応用とオープンエンドな環境での優位性

この論文の最も重要な拡張は、誤差拡散法と、強化学習エージェントの訓練で主流のアルゴリズムである「PPO（Proximal Policy Optimization）」との統合である。物理ベースの歩行タスクである「Brax」や、オープンエンドな生存環境である「Craftax」でテストされたこの手法（ED-PPOと呼ばれる）は、明確な実験的比較を示している。

Braxの標準的な歩行ベンチマークである「HalfCheetah」において、ED-PPOは標準的なバックプロパゲーションベースのPPOを大幅に上回る累積報酬（5,494対3,520）を記録し、DFA-PPOと同等の性能を示した。また、「Ant」タスクでは3つの手法すべてが同等の性能を示した。しかし、Minecraftを模したオープンエンドな環境である「Craftax」では、DFA-PPOが最も低いスコア（19.8、標準PPOは27.0）となり、ED-PPOはその中間のスコアを獲得した。

Craftaxの結果は注目に値する。固定された出力次元を持つ構造化されたタスクで十分に機能するDFAのランダムフィードバックは、多様でオープンエンドな目標に対して柔軟な信用割り当てが必要なタスクでは失敗する傾向がある。一方で、各ユニットが特定の出力チャネルに決定論的にリンクされている誤差拡散法の構造化ルーティングは、この状況をより適切に処理できるとみられる。

■ハードウェアへの適合と「無料の」モデル圧縮

論文では、ベンチマークの数値にとどまらない、3つの具体的な工学的意義が示されている。

第一に、非負の重み制約と固定符号の抑制ルーティングは、シナプスの大きさが非負の物理量としてエンコードされるニューロモーフィックや光ハードウェアの基盤にきれいにマッピングされる。これにより、IntelのLoihi 2プラットフォームや光ニューラルネットワークチップ、アナログインメモリコンピューティングシステムなど、従来のディープラーニングがネイティブに対応できない計算アーキテクチャへのデプロイが可能になる。

第二に、非負の重みの下限が、暗黙的なモデル圧縮（プルーニング）を生み出す。訓練後、全重みの37.3%が許容される最小値に収束し、実質的に剪定される。特にストリーム間の抑制性接続は最も積極的に剪定され、全結合レイヤーでは最大68.8%のスパース性（疎性）に達した。このスパース性は、明示的な正則化やプルーニング手順なしに、アーキテクチャの制約の結果として自然に発生する。エッジデバイスへのデプロイにおいて、この「無料の」圧縮は実用的なメリットとなる。

第三に、専用の抑制性ストリームが急激な勾配の逸脱を抑える構造的メカニズムを提供するため、破滅的忘却が未解決の課題となっている継続学習やオープンエンドな学習設定において、安定性を向上させる可能性がある。

■Sakana AIの狙いと今後の展望

生物学的に妥当な学習は、歴史的に計算神経科学のニッチな分野として追究されてきたが、実用的な意義を持たせるほどの資金やリソースを持つ研究所が取り組むことは稀だった。Sakana AIは神経科学の研究所ではない。元Google Brainの研究者であるデビッド・ハ氏と、Transformerの共同執筆者であるライオン・ジョーンズ氏によって2023年7月に設立された同社は、2025年11月のシリーズB資金調達で約3億7900万ドル（約614億円、1ドル=162円換算）を調達し、評価額は約26億5000万ドル（約4,293億円）に達した。投資家にはNVIDIA、Google、三菱UFJフィナンシャル・グループ、In-Q-Telなどが名を連ねる。

同社は、ゼロからの訓練ではなく進化的探索を通じて事前学習済みモデルを組み合わせる「進化的モデルマージ」や、科学的研究ワークフローを自動化する「AI Scientist」プロジェクトでよく知られている。デールの法則に準拠したバックプロパゲーションフリーの学習に関する本格的な研究を発表したことは、同社の研究アジェンダの意図的な拡大を示している。

論文では、CIFAR-10やそれ以上の難易度のベンチマークにおいて依然として優位にある勾配降下法（バックプロパゲーション）と同等の性能を達成したとは主張していない。主張されているのは、脳が実際に動作している制約が、実用的な機械学習と矛盾しないこと、そして生物学制約のある学習とない学習の性能差が、現在では明確に数値化され、縮まりつつあるということである。

■注目ポイントQ&A

●ウェイト・トランスポート問題とは何ですか？

誤差逆伝播法（バックプロパゲーション）において、誤差信号を逆方向に送る際、順方向の重み行列の完全な転置行列を必要とする問題です。これはネットワーク全体のグローバルな協調を必要とするため、生物の脳では不可能な操作であると指摘されています。

●デールの法則に準拠することのメリットは何ですか？

脳のニューロンのように「興奮性」か「抑制性」のどちらか一方の作用しか持たない（重みが非負である）という制約を満たすことで、メモリと演算を同一の場所に配置するニューロモーフィックチップや光ニューラルネットワークなどの次世代ハードウェア上で、アルゴリズムを直接実行できるようになります。

●今回の手法でモデルが自然に圧縮されるのはなぜですか？

重みが非負でなければならないという制約により、訓練後に全体の37.3%の重みが最小値に収束し、実質的に剪定（プルーニング）されるためです。これにより、明示的な圧縮処理を行わずにスパースなモデルが得られ、エッジデバイスでの低消費電力化に貢献します。

●Sakana AIの評価額と投資家は？

2025年11月のシリーズB資金調達を経て、評価額は約26億5000万ドル（約4,293億円、1ドル=162円換算）に達しています。投資家には、NVIDIA、Google、三菱UFJフィナンシャル・グループ、In-Q-Telなどが名を連ねています。

元記事: Brain-Like Learning Rule Cracks Convolutional Networks: Sakana AI Measures the Biology Tax