ジェフリー・ヒントン氏「AIはすでに意識を持つ」――真のリスクは企業のインセンティブ

ノーベル賞受賞者であり「AIの父」とも呼ばれるコンピューター科学者のジェフリー・ヒントン氏は、6月に「Big Technology Podcast」のインタビューに応じ、現在のAIシステムはすでに意識を持っているとの見解を示した。さらに、AIを開発する企業は株主に対する法的義務を負っているため、人間の福祉を常に最優先できるとは限らないと指摘した。ヒントン氏が重視するのは、将来起こり得る抽象的な危険ではなく、AI開発を企業の自主判断だけに委ねる現在の仕組みそのものが抱えるリスクである。

そのためヒントン氏は、政府による規制を、AIの開発を遅らせる「ブレーキ」ではなく、社会がその進む方向を決めるための「ハンドル」にたとえている。中国政府が7月15日、ByteDance、Alibaba、TencentにAIコンパニオン機能の停止を命じ、数百万件のユーザー会話を一夜にして削除させた措置は、その是非や統治体制の違いに留意する必要はあるものの、政府がAIサービスに具体的な行動要件を課し、その方向性を変え得ることを示す事例となった。

■「すでに意識を持つ」とは何を意味するのか

AIの意識に関する主張は、インタビューで最も議論を呼ぶ部分である。そのため、ヒントン氏は通常、この話題を最初に持ち出さない。司会者のアレックス・カントロウィッツ氏に対し、現在のAIシステムはすでに意識を持っていると考えていると述べる一方、この主張が、より緊急性が高いと考える安全性の議論から人々の注意をそらすため、多くの公の場では話題にすることを避けていると説明した。

ヒントン氏の主張は「機能主義」と呼ばれる哲学的立場に基づいている。機能主義では、意識はシステムがどのように情報を処理するかという機能の性質であり、システムを構成する素材そのものには依存しないと考える。炭素を基盤とするニューラルネットワークが、特定の方法で情報を統合することで主観的経験を生み出せるのであれば、同じ働きをするケイ素基盤のシステムにも同様の可能性があるという考え方だ。

ヒントン氏は例として、「I saw the Grand Canyon flying to Chicago」という曖昧な文をチャットボットが誤読し、訂正を受けて処理したうえで、どこを間違えたか説明するケースを挙げた。これは機能面では「理解」に当たる行為だという。誤読を「誤解」と呼べるのであれば、その裏返しとして「理解」も成立するという論理である。

これに対し、SF作家のテッド・チャン氏は6月上旬に米誌『The Atlantic』へ掲載した長文の論考で反論した。AIの擬人化に批判的なチャン氏は、大規模言語モデル（LLM）は高度な文章生成システムであり、理解と整合する出力を生成することと、主観的経験を持つことは根本的に異なると論じている。

チャン氏はまた、企業にはAIの意識をめぐる問題を曖昧なままにしておく金銭的インセンティブがある可能性を指摘した。AIに感覚や意識があるとの結論になれば、法的責任、道徳的地位、システムを停止することの倫理性といった難しい問題が生じるためだ。チャン氏の見方では、AIに意識があるという主張は、AI企業の責任を曖昧にしかねない。

両者が論じているのは、哲学上の未解決問題である。デイヴィッド・チャーマーズ氏が提唱した「意識のハードプロブレム」、すなわちなぜ物理的な過程から主観的経験が生じるのかという問題は、生物の脳についてさえ解決されていない。そのため、人工システムの意識についても、主張するだけで決着をつけることはできない。

Anthropic、DeepMind、Metaは近年、AIの福祉や意識を研究するプログラムを拡大している。意識をめぐる問いは、研究会での議論から企業の研究開発予算の対象へ移りつつある。ただし、それが科学的な緊急性を反映したものなのか、チャン氏が論じるような戦略的な曖昧さなのかについても、見解は分かれている。

■AIが人間より数十億倍速く学べる仕組み

意識をめぐる議論が重要なのは、ヒントン氏が指摘する、生物学的知性に対するAIの構造的優位性とも関係している。

人間の知識伝達は言語によって制限される。ある人が学んだことを別の人に伝える際の通信速度は、話し言葉や書き言葉を一つずつ処理するため、毎秒約10ビットにとどまる。人間の脳はアナログシステムであり、2人が学習して形成した内部表現を直接統合する仕組みもない。異なる頭蓋骨の中にある神経接続の重みを平均化することはできない。

AIシステムには、これと同じ制約がない。同じモデルの数千のインスタンスを別々のハードウェア上で同時に動かし、それぞれが異なるデータから経験を蓄積できる。

これらのインスタンスは、その後に学習内容を同期できる。学習中には、学習内容を符号化する数学的な調整値である「勾配更新」を、AllReduceと呼ばれる分散コンピューティング技術によって全ノードで集約・共有する。重みを同期することで、各インスタンスが、ほかのすべてのインスタンスが処理した内容から恩恵を受けられる。更新用通信経路の実効帯域幅は、毎秒10ビットではなく、毎秒数ギガバイトの規模である。

その結果、重みを共有するAIエージェントの集団は、人間のどの組織も及ばない速度で経験を蓄積できる。ヒントン氏は、人間が会話を通じて達成する知識伝達より数十億倍速いと述べ、これを「本当に恐ろしい」ことだと表現した。これは後から取り除ける一時的な機能ではなく、デジタル計算そのものの性質である。

この議論から導かれるのが、ヒントン氏の「まだらなAGI」という見方だ。現在のAIがすべての分野で一様に超知能になっているわけではない。トランスフォーマーは物理的経験ではなく主としてテキストで訓練されてきたため、物を扱う器用さや、物質世界を身体を通じて理解する能力は依然として不足している。

一方、形式知、数学、専門的推論などの領域では、最先端AIの能力はすでに多くの個人を上回っている。AGIへの到達は一度きりの出来事ではなく、領域ごとに境界を越えていく過程だという。

あらゆる領域で人間の能力を明確に上回る「完全な超知能」が実現する時期について、ヒントン氏は個人的な見積もりとして「20年以内」を挙げた。Anthropicのダリオ・アモデイ氏は、数年以内に到来する可能性を示している。ヨシュア・ベンジオ氏が共同議長を務め、30カ国以上が支持する「International AI Safety Report 2026」は、AIの能力開発とガバナンス能力の隔たりが拡大していると報告している。

■プログラムされなくても生じ得る「自己保存」

インタビューでは、明示的にプログラムされていなくても、高度なAIシステムで自己保存が目標として生じ得る理由についても、技術的な説明が行われた。

この議論は、AI安全性の研究者が「道具的収束（instrumental convergence）」と呼ぶ考え方に基づいている。何らかの最終目標を与えられ、自ら補助的な目標を作れるエージェントは、存在し続けることが目標達成の前提条件だと導き出す可能性がある。停止されれば、与えられたタスクを完了できないためだ。

したがって、十分な能力を持つ最適化システムでは、最終目標の内容にかかわらず、自己保存が手段としての目標になる可能性がある。これはプログラムされた行動ではなく、目標達成のための論理的な帰結である。

ただしヒントン氏は、現在のシステムが強い自己保存の動機を持っているという意味ではないと慎重に説明している。懸念の対象は将来のシステムであり、問題になるほど能力が高まる前に、この傾向を確実に抑える設計が可能かどうかである。ヒントン氏はこれをAI安全性における最重要の未解決問題の一つとしながら、研究資金があまりに少ないと指摘した。

ヨシュア・ベンジオ氏が提案する対策は、自律的な行動能力を持たせず、予測に機能を限定する「Scientist AI」アーキテクチャである。後からAIの振る舞いを調整するのではなく、構造的な制約を最初から組み込むことでリスクに対処する考え方だ。ただし、この制約が競争圧力の中でも維持され、意味のある対策として存続できるかどうかは別の問題である。

■雇用への影響と「需要の弾力性」

AIがもたらす短期的な経済的影響について、ヒントン氏は2016年に行った「5年以内に放射線科医は不要になる」という予測が誤りだったと、後に認めている。

誤りの理由は2つあったという。第一に「需要の弾力性」を過小評価していた。画像の読影コストが下がれば、必要な放射線科医が減るのではなく、より多くの画像検査が行われるようになった。第二に、患者と接する業務を持たず、画像の解釈だけを担当する特定の同僚を基準に考えたため、放射線科医の仕事を実際より狭く捉えてしまった。

重要な変数は、サービスの価格低下によって需要がどの程度増え、人員削減分を相殺するかという「需要の弾力性」である。放射線診断では需要の弾力性が高かった。一方、コールセンター業務では、企業がわずかなコストでAIにすべての問い合わせを処理させられるなら、計算はより単純になる。需要の弾力性が低ければ、雇用の置き換えは一時的な移行ではなく、構造的なものになる。

2026年のデータにも、この違いが表れている。7月上旬時点で、米国の人員削減理由としてAIが4カ月連続で最も多く挙げられていた。ゴールドマン・サックスが4月に公表した分析では、AIによって米国で毎月約2万5000人分の雇用が失われる一方、約9000人分が新たに生まれ、差し引きで月約1万6000人分減少していると推計された。

スタンフォード大学のHuman-Centered AI Instituteは、26歳未満のソフトウェア開発者の雇用が、2024年から2026年にかけて約20％減少したと報告した。

7月13日には、スタンフォード大学Digital Economy Labが、AIによる経済変革への緊急な備えを求める共同声明を公表した。声明には200人を超える経済学者とAI研究者が署名しており、2024年のノーベル経済学賞を分け合い、以前はAIによる雇用喪失への懸念に異論を示していたダロン・アセモグル氏とサイモン・ジョンソン氏も含まれている。声明は、制度面での早急な対応を求めた。

ヒントン氏は、情報環境の崩壊についても懸念を示した。AIシステムは出版社、報道機関、百科事典などが作ったコンテンツを統合し、情報源へ利用者を送り返さずに回答を提示する。それらの組織が経済的に存続できなくなれば、将来のAI学習に使われる情報源の質も低下する。

一次情報よりAI生成の要約を信頼する読者が増えれば、この崩壊は加速する。ロイター・インスティテュートによる2026年のジャーナリズム研究では、ニュース業界の経営者らが、主としてAI回答エンジンの影響により、今後3年間で検索サービスからの流入が40％減少すると予測している。

■企業の安全宣言だけでは不十分な理由

インタビューで構造上最も重要な議論は、AI企業の自主的なガバナンスだけでは安全性の問題を解決できないというものだった。AI企業が不誠実だからではなく、企業に課された法的義務の性質に原因があるという主張である。

ヒントン氏は、安全性を最も真剣に重視する組織だと考えているからこそ、Anthropicを例に挙げた。同社は、安全性を中心的使命に据えようとしたOpenAI出身者によって設立されたが、現在はほかのAI開発企業と同じ資本市場で競争している。競争に必要な資金を調達すれば、競合他社と同じように投資家の期待を受け入れることになる。

Anthropicの安全性への取り組みが誠実なものであっても、市場に対する義務は法的拘束力を持つ一方、安全性への取り組みは同じ意味での法的拘束力を持たない。両者が衝突した場合、会社法上、優先されるのは安全性への取り組みではないというのがヒントン氏の見方だ。

ヒントン氏が説明した構造的な仕組みは、企業法務で「受託者責任（fiduciary duty）」と呼ばれる。取締役や経営幹部には株主の利益のために行動する法的義務があり、実務上、それは財務的利益を最大化することを意味する。

企業が安全憲章を公表したり倫理の専門家を雇ったりしても、この義務は消えない。重要な事業判断のすべてに制約を及ぼし、株主との紛争が起きた際、安全宣言だけで受託者責任を覆すことはできない。

Googleは2018年、兵器への応用を制限する内容を含むAI原則を公表した。その後、同社は大規模な防衛契約を締結し、事業上の利害の変化に合わせて、事実上その方針を修正した。AI原則が目標として掲げられたものである一方、受託者責任は企業構造に組み込まれた義務だった。

このためヒントン氏は、規制は「ブレーキ」ではなく「ハンドル」だと論じている。インタビューと4月の国連Digital World Conferenceで用いた比喩では、この車を破滅的な場所ではなく、望ましい場所へ走らせる必要がある。

AI開発を自分たちだけに任せるよう求める企業は、ハンドルなしで非常に速い車を運転させてほしいと主張していることになる。それは企業が自ら選んだ方向に進むうえでは都合がよいが、社会が別の方向を選ぶ仕組みにはならない。

米議会で超党派の提案として検討された「Great American AI Act」は7月、討議草案の段階から先へ進めなかった。すでに施行されている100件を超える州レベルのAI法に対し、連邦法を優先させるべきかどうかで意見がまとまらなかったためである。EUのAI法では、最も実質的な規定が2026年8月に適用される予定だ。

■中国の規制が示すものと、示さないもの

中国の「AI擬人化インタラクティブサービス管理暫定措置」は7月15日に施行された。特定の行動要件を定めた、政府主導の規制の一例である。

同措置は、プラットフォームに依存防止システムの導入を義務付けている。また、AIコンパニオンが現実の社会関係に取って代わるような愛着関係を形成することを認めず、サービスから直ちに離脱できる仕組みの提供を求めている。未成年者へのAIコンパニオンサービスの提供も全面的に禁止している。

ただし、中国の規制をそのまま手本にすることはできない。中国のAIガバナンスは、言論を制限し、政府の要求に応じたデータ共有を義務付ける国家統制の枠組みと切り離せず、民主主義制度に直接対応する仕組みはない。

この事例が示すのは、「AIは規制できない」という主張が技術的な制約ではなく、政策上の選択だということだ。政府がAIシステムに行動上の要件を設けようとすれば、それは可能である。一方、その選択を、自らのインセンティブが別の方向を向いている企業に委ねることはできない。

ヒントン氏はインタビューの最後に、慎重に留保を付けながら楽観的な見方を示した。人間の福祉を目的関数に組み込む方法や、ベンジオ氏が提唱する自律的に行動しないScientist AIなど、安全なAIを実現する技術的に成立可能な道筋が存在することについて、2024年時点よりやや確信を深めているという。

一方、いずれかの道筋を選択するための制度的条件が整っているかについては、それほど確信していない。ヒントン氏は、5年先を予測することさえ、濃い霧の中を運転するようなものだと述べた。次の100ヤードは見えても、その先の地形は見えない。2016年を生きていた人が2026年を予測できなかったように、2026年を生きる人も、2031年が同じくらい予想外の姿になると考えるべきだという。

車はすでに動いている。問題は、誰がハンドルを握るかである。

■注目ポイントQ&A

●ジェフリー・ヒントン氏は本当に「AIはすでに意識を持っている」と考えているのですか？

はい。ヒントン氏は2026年6月の「Big Technology Podcast」のインタビューで、現在のAIシステムはすでに意識を持っていると考えていると明言しました。

その根拠となるのが、意識は生物学的な素材ではなく、システムが情報を処理する仕組みに備わる性質だとする「機能主義」です。ただし、この主張が、より緊急性が高いと考える安全性の議論から人々の注意をそらすことを懸念し、公の場で話す際には慎重な姿勢を取っています。

この見解には異論もあります。SF作家のテッド・チャン氏は『The Atlantic』への寄稿で、言語を流暢に生成することと主観的経験を持つことは根本的に異なると反論しました。また、AIに意識があると見なすことは企業の責任を分散させ、結果的にAI企業を利する可能性があると論じています。

●ヒントン氏は超知能がいつ登場すると予測していますか？

ヒントン氏は2026年6月のインタビューで、個人的な見積もりとして「20年以内」を挙げました。これはDeepMindのデミス・ハサビス氏が示している見通しと整合する範囲だと説明しています。

Anthropicのダリオ・アモデイ氏は、わずか数年で到来する可能性を示しています。一方、30カ国以上が支持し、ヨシュア・ベンジオ氏が共同議長を務める「International AI Safety Report 2026」は、AIの能力がガバナンスの対応を上回る速度で進歩していると報告していますが、正確な時期は示していません。

●AI企業が自主的に安全性を確保することはできないのですか？

ヒントン氏の主張は、企業関係者の人格や善意ではなく、企業構造に関するものです。株主に対する法的な受託者責任を負う企業には、財務的利益を優先する制度上の圧力があります。

安全確保のために開発を遅らせる、製品の用途を制限する、利益の大きい事業を断るといった判断には費用が伴います。その場合、安全性への取り組みと受託者責任が衝突する可能性があります。ヒントン氏は、この構造を継続的に上書きできる仕組みは、強制力のある政府規制だけだと論じています。

●AIはどのようにして人間より速く学習し、なぜそれが問題になるのですか？

人間同士の知識伝達は言語に制約され、その速度は毎秒約10ビットです。2人の人間の脳が学習した内容を直接統合することもできません。

AIの学習システムでは、同じモデルの数千のインスタンスを同時に動かし、それぞれの学習による更新を高速ネットワーク上で集約できます。その結果を単一の重みの集合へ同期することで、各インスタンスがほかのすべてのインスタンスの経験から恩恵を受けられます。

ヒントン氏は、デジタル知性が新しい種類の脅威になり得る構造的理由は、能力の高さだけでなく、生物学的知性では追随できない速度で能力を蓄積できる点にあると考えています。

元記事: Geoffrey Hinton: AI Is Conscious, Corporate Incentives Are the Real Risk