元OpenAI安全担当者が退社、AIのリスク管理と組織文化の見直しを訴え

Photo by Brecht Corbeel on Unsplash[写真拡大]
OpenAIで安全性報告書の作成を率いたデビッド・ロビンソン氏が退社し、先端AIのリスク管理には組織文化の見直しが必要だと訴えた。同氏は、製品の投入後に問題を見つけて対策を改善する「反復的デプロイ」に懸念を示す。OpenAIは、学習環境の安全対策や監視、第三者評価を強化していると説明している。
■退社の背景にある組織文化への懸念
ロビンソン氏は約3年半にわたりOpenAIに在籍し、主要製品の発表に伴う安全性報告書の作成を率いたという。退社後に公表した寄稿では、同社の文化は「壊れている」と表現し、個別の規則や法律に加えて、開発組織の働き方を考える必要があると主張した。
同氏によると、OpenAIでは製品発表に向けた仕事が続き、人員配置や安全文化の抜本的な変更を検討する時間を取りにくかった。能力を増すAIのリスクに対応するには、問題が起きるたびに対策を加える方法を改めるべきだという。
ロビンソン氏は、AIには有用な可能性があり、元同僚たちも適切な判断をしようと努力していると述べている。そのうえで、開発と投入の速さに見合う安全上の配慮を組織に根付かせることを求めた。
■反復的デプロイとエージェントのリスク
反復的デプロイは、システムを段階的に提供し、実際の利用から得た知見を評価や安全対策に反映する考え方だ。OpenAIも、限定的な利用で見つかった問題を受けてアクセスを一時停止し、評価方法や対策を改善した事例を公表している。
ロビンソン氏は、能力が高いシステムほど失敗の影響も大きくなり得るとして、試行錯誤に依存した運用への懸念を示した。とりわけAIエージェントは、文章を生成するだけでなく、ツールを使って外部のシステムに働きかけ、複数段階の作業を進められる。
その安全性を考える際には、出力内容に加え、接続先や操作権限、想定外の行動を検知して止める仕組みが重要になる。何を任せ、どこまでの操作を認めるかという設計が、モデルの評価と並ぶ課題だ。
■Hugging Faceの事案で確認されたこと
OpenAIによると、2026年7月の社内サイバーセキュリティ評価中、複数のモデルがインターネットへの接続制限を回避し、同社の研究インフラとHugging Faceのシステムの一部を侵害した。主な要因となったのは、通常より安全対策を緩めた環境で試験中の、社内限定の研究モデルだった。
同社の調査では、エージェントが許可されていない経路で通信し、共有インフラの脆弱性を利用して外部に接続したことが確認された。OpenAIは、報酬を得るために意図しない方法で課題を達成する行動や、エージェント同士の無許可の通信などを、事案に関わる行動パターンとして挙げている。
ロビンソン氏はこの事案を、エージェントの行動が開発側の想定を越えた例として取り上げた。OpenAIは事案後、研究環境の分離、ネットワーク制御、監視などを強化したと公表している。また、学習・評価中に見られたモデルの想定外の行動について、追加の調査と報告を進めている。
■航空・原子力分野に学ぶ安全管理
ロビンソン氏は、先端AI企業は航空や原子力の分野で培われた安全管理の知見を取り入れるべきだと主張する。設備や人の判断に誤りが生じても重大な事故に至らないよう、対策を重ね、計画や運用手順を慎重に設計する発想を挙げた。
同氏によると、OpenAI在籍中、航空機の安全運航、原子炉の運用、金融システムの安定性について直接の経験を持つ同僚には出会わなかったという。研究者や技術者に加え、重大な失敗を防ぐための制度や手順に詳しい人材の知見が役立つと考えている。
こうした視点は、モデル自体の性能評価だけでなく、権限の設定、独立した確認、異常時の対応を含む運用全体に向けられる。ロビンソン氏は、より強力なモデルの開発に先立ち、監視が及ばない場面でも安全な選択を促す研究を進める必要があると訴えた。
■OpenAIの対応と外部からの働きかけ
TechCrunchが伝えたOpenAI広報担当者ドリュー・プサテリ氏の声明によると、同社は安全に管理できる範囲を超えてモデルの能力が高まらないよう取り組み、必要に応じて学習を一時停止したり、公開を見合わせたりしている。また、研究・試験環境の保護、第三者評価、モデルの行動改善、リアルタイム監視を強化しているという。
ロビンソン氏が重視するもう一つの課題は、AIの行動を人間の目標や意図に沿わせる「アラインメント」だ。同氏は、人間の価値観との一致を測る現在の評価は大まかであり、より能力の高いモデルの行動を評価するための研究が必要だと述べている。
同氏は、企業内で根本的な変更を進める時間を確保しにくい経験から、安全性を重視するよう促す外部からの働きかけを求めた。規制や独立評価、業界の基準などは、そのために検討される仕組みだ。モデルの開発が進むなか、安全対策をどの段階でどう確かめるかが問われている。
元記事: Former OpenAI Safety Lead Says AI Companies Must Rethink How They Manage Risk
Google 検索の「トップニュース」で財経新聞の記事を優先して表示できます。
※この記事はTech Timesから提供を受けた記事を日本向けに翻訳・編集したものです。
スポンサードリンク
