米国で病院・大学などの監査書類をChat GPTで調査するプログラム「AERO」始動 誤判定率の非公表に懸念高まる

2026年7月14日 15:32

印刷

記事提供元:Tech Times

米国保健福祉省(HHS)は、ChatGPTを活用して医療機関や非営利団体などの監査記録をスキャンし、違反を検出する新プログラム「AERO」を2026年5月に開始した。しかし、このシステムは誤判定率が公表されておらず、判定ミスによって組織が連邦政府からの資金提供を全面的に失うリスクが懸念されている。本記事では、このAI運用の法的・技術的な問題点と、今後の規制期限について解説する。

■誤判定率が非公表のまま始動した「AERO」プログラム

米国政府は、連邦政府の医療関連資金を受け取るすべての病院、非営利団体、大学、および州のメディケイド(低所得者向け医療保険)機関を対象に、過去5年間のコンプライアンス記録をChatGPTでスキャンする取り組みを開始した。しかし、このツールがどれほどの頻度で誤判定を下すかについては公表されていない。

「AERO(Audit Enforcement and Risk Oversight:監査執行・リスク監視)」と呼ばれるこのイニシアチブは、米国保健福祉省(HHS)が2026年5月21日に立ち上げたものである。公募による調達プロセスや、検証研究の公表、執行開始の具体的なスケジュール明示などがないまま導入された。HHSが明確に示しているのは、AIによって問題ありと判定された組織が被る不利益のみである。対象組織は、一時的な支払保留や、すべての連邦プログラムへの参加を永久に禁じる排除措置により、連邦資金を完全に失う可能性がある。

■大規模言語モデルが抱える「ハルシネーション」の技術的限界

このシステム配備における構造的な問題は、単に開示書類に誤判定率が記載されていないことだけに留まらない。ChatGPTのような大規模言語モデル(LLM)は、テキストのパターンを予測することで「もっともらしい」出力を生成するが、特定の事実関係について自身が不確実である場合に、それを警告する内部メカニズムを持たない。

2026年4月に学術誌『Nature』に掲載された研究では、事前学習済みモデルにおいて、学習不可能な事実に対する「ハルシネーション(幻覚)」の発生は統計的に避けられないことが正式に実証されている。これは、AEROが問いかける「この被授与者は不備を解消したか、それともしていないか」という質問のカテゴリーそのものである。連邦データベース内の監査コンプライアンス状況は、是正措置が6カ月後に提出されてスキャンに反映されなかった場合でも、あるいは最初から全く提出されていなかった場合でも、テキスト上は酷似して見える。

独立系患者安全組織であるECRIは、年次報告書「2026年版医療技術ハザード・トップ10」の中で、ChatGPTの誤用を今年最大の医療技術ハザードに指定した。ECRIは、汎用ツールは「医療機器として規制されておらず、医療目的の検証も行われていない」と明示的に指摘している。それにもかかわらず、HHSは組織の連邦資金を永久に絶つ可能性のある執行決定に、このようなツールを配備したのである。

■2026年9月22日の期限が迫る「高影響AI」の規制

現在、重要な期限へのカウントダウンが進んでいる。行政管理予算局(OMB)の覚書「M-25-21」に基づき、政府の給付金やサービスへの個人アクセスに重大な影響を与える「高影響AI(High Impact AI)」を配備する連邦機関は、最低限のリスク管理策を2026年9月22日までにOMBに報告しなければならない。これには、配備前テスト、継続的な監視、そして人間によるレビューと是正プロセスが含まれる。

これらの要件に準拠していない高影響AIのユースケースは、使用を中止しなければならない。HHSは、AEROがこの枠組みの下で評価されたかどうか、また準拠した人間によるレビュープロセスが整備されているかどうかを公表していない。もし9月22日の報告書で要件を満たしていないことが確認されれば、HHSは法的にプログラムの停止を余儀なくされる可能性がある。

■AEROが実際にスキャンするものと、その対象範囲

このプログラムの仕組みは、世間のイメージよりも限定的である。AEROは、メディケア(高齢者向け医療保険)やメディケイドの請求データを直接スキャンして不正請求を検出するわけではない。対象となるのは「シングル監査(Single Audit)」報告書である。これは、年間100万ドル(約1億6200万円、1ドル=162円換算)以上の連邦資金を支出する州、地方自治体、非営利団体、高等教育機関が連邦監査クリアリングハウス(FAC)に提出を義務付けられている年次コンプライアンス書類である。

これらの文書は、政府サービス局(GSA)の連邦監査クリアリングハウスで公開検索できるが、歴史的にほとんどレビューされてこなかった。このプログラムを率いるHHS財務担当次官補兼最高財務責任者(CFO)のグスタフ・キアレッロ氏は、Wall Street Journalの報道に対し、監査は「提出されても誰も何もしない状態だった」と率直に語っている。AEROの立ち上げ前にHHSがバックログを調査したところ、一部の不備が5年以上も放置されていたり、数百の受給者が義務付けられた監査を全く提出しておらず、中には2年以上遅延しているケースもあったという。

AEROのLLMパイプラインは、これらの公開済みコンプライアンス文書を取り込み、「慢性的な不遵守」「繰り返される不備」「内部統制の重大な弱点」「監査提出の遅延」の4つのカテゴリーをスキャンする。対象が医療請求や個人健康情報(PHI)ではなく、公開されている財務コンプライアンス報告書であるため、これまでの政府AIプロジェクトの足かせとなっていたHIPAA(医療保険の相互運用性と責任に関する法律)やデータローカリゼーション(データの国内保存義務)の複雑な問題を回避できている。これこそがAEROの調達における革新であり、HHSは公募や複数年にわたる承認プロセスを経ることなく、既存のデータに市販のChatGPTを適用することで、わずか数カ月でこの執行パイプラインを構築した。

キアレッロ氏がWall Street Journalに語ったところによると、この取り組みはミネソタ州での児童福祉不正調査を機に始まった。同氏は、HHSにおける年間無駄遣いや不正支出は1000億ドルから2000億ドル(約16兆2000億円〜32兆4000億円)に上ると見積もっている。ただし、この数値は確認された不正の測定値ではなく、AI配備の規模を正当化するために示された省全体が抱える潜在的リスク額の見積もりである。

■影響を受ける組織と、連鎖するリスク

AEROの対象となる組織の範囲は、一般に認識されているよりも広い。シングル監査法の対象となる「年間100万ドル以上の連邦資金を支出する団体」には、州のメディケイド機関、公立病院システム、大学医療センター、連邦認定資格のあるヘルスセンター、ヘッドスタート(幼児教育支援プログラム)、薬物依存症治療プロバイダー、連邦研究助成金の受給者が含まれる。地方の薬物乱用クリニックを運営する非営利団体から、州の児童保健機関、連邦研究助成金を持つ公立大学まで、すべてが同じ執行対象リストに載る可能性がある。

執行措置は段階的だが、潜在的に深刻である。HHSは、是正措置が取られるまでの一時的な支払い保留、すでに発生した特定費用の不承認、プログラム資金の交付停止または終了、そして最終的には連邦資金の受け取りを永久に禁止する資格停止手続きの開始など、一連の措置を概説している。HHSは全50州の知事と財務担当者に書簡を送り、この新しい取り組みを通知したが、是正措置の期限や資金保留を開始するスケジュールは明記されていない。

さらに、National Law Reviewが指摘する法的な問題により、リスクはさらに予測困難になっている。州のメディケイド機関に対するAEROの検出結果が、元の監査不備とは無関係の病院などの下位受給者(サブレシピアント)に連鎖する可能性がある。現在完全にコンプライアンスを遵守している組織であっても、自らコントロールできない中間機関の不備によって影響を受ける可能性がある。

■政府自身のAIプレイブックや行政手続法との整合性

AEROに対する主な法的課題は、ChatGPTが間違いを犯すかどうかだけではない。HHSが導入に用いたプロセスが合法であるか、また生成された出力が法的に執行措置の根拠になり得るかという点である。

AEROは、執行方針の重大な変更に求められる行政手続法(APA)の「通告と意見公募(パブリックコメント)」プロセスを経ず、プレスリリースと知事宛ての書簡のみで発表された。どの組織も、過去のコンプライアンスデータに適用される前に、AIのモデリング手法を検証したり、前提条件に異議を唱えたり、意見を述べたりする機会を与えられなかった。エール大学の『Journal on Regulation』や『Regulatory Review』の法学者は、政府機関が意思決定の合理的かつ文書化された事実根拠を示すことを求めるAPAの「恣意的・専断的」を回避するために、ChatGPTや類似のLLMに依存することはできないと結論付けている。ペンシルベニア大学のキャリー・コグリアネーゼ教授を含む複数の法学者の分析によると、推論プロセスを説明できない不透明なAIの出力は、この基準を満たさない。

また、National Law Reviewは、HHS自身が公表している内部基準「信頼できるAIプレイブック(Trustworthy AI Playbook)」において、権利に影響を与えるAIを配備する前に、バイアス調査、人間の監視、透明性の確保、およびOMBの事前承認を求めていることを指摘している。AEROが開始前にこれらの要件を満たしていたという公的な証拠はない。

トランプ政権は、ニューヨーク州のメディケイド不正調査に関わる少なくとも1つのケースで誤ったデータを使用したことをAP通信に対して認めており、データエラーが実際の執行措置につながった具体例が存在する。消費者擁護団体「パブリック・シチズン」の共同代表であるロブ・ワイスマン氏は、政権が政治的立場の異なる州に対してAEROの検出結果を公平に適用しているかどうかに疑問を呈している。AEROの開始前、政権はミネソタ州から数億ドル、カリフォルニア州から10億ドル(約1620億円)以上のメディケイド資金を保留しており、批評家からは民主党知事の州が不当に対象にされているとの批判が出ている。

■ChatGPTによる検出の仕組みと、失敗するシナリオ

AEROでChatGPTが実行しているパイプラインは、技術的には「文書のパターン認識タスク」であり、不正の最終決定ではない。連邦監査クリアリングハウスは、各組織のデータ収集フォーム(Form SF-SAC)を含むシングル監査報告書を保存している。LLMはこれらの構造化・半構造化データをスキャンし、複数年にわたる慢性的な繰り返し、内部統制の重大な弱点、提出漏れなどのパターンを特定する。これは、人間の監査人が数万件の提出書類から同時に見つけ出すのがほぼ不可能なタスクであり、LLMに適した用途と言える。

問題は境界線上のケースで発生する。ある組織がコンプライアンスの不備を是正し、その文書を提出したものの、それがAEROの5年間のスキャン対象期間外の後の期にファイルされた場合、モデルは以前の不備が未解決であると判断する可能性がある。また、過去の指摘事項が是正計画によって対処されたものの、FACの記録に「完了」と明確に記録されていない場合、モデルは自身の不確実性をフラグ立てする手段を持たない。政府監査院(GAO)の2024年の報告書によると、FACのデータ品質には欠落があり、「シングル監査の提出義務があるが提出していない受給者を特定できない」などの不備が指摘されているが、AIは事実関係が曖昧であっても、未解決であると自信に満ちた出力を生成してしまう。

これは仮定の話ではない。LLMのハルシネーションに関するNatureの論文は、事実記録が一貫性を欠き、不完全で、複数の文書バージョンに分散している場合に最もエラーが発生しやすいことを示しており、これはFACの過去のデータの多くに当てはまる。AEROの執行書簡を受け取った組織にとっての問題は、AIの出力が確率の推定値ではなく、確定的な事実として提示されることである。誤判定率や手法が公開されていないため、境界線上のケースでどれほど誤りが発生しているかを評価する公的な基準が存在しない。

■OpenAIと政府の関係がもたらす監視への懸念

HHSがAEROにChatGPTを採用したことは、OpenAIにとって商業的・法的に複雑な時期と重なっている。同社は2026年5月22日、ゴールドマン・サックスとモルガン・スタンレーを主幹事として、証券取引委員会(SEC)にIPO(新規公開株式)の登録届出書草案を非公開で提出した。2026年7月現在、アドバイザーらは当初予想されていた2026年第4四半期ではなく2027年の上場を目指すかどうかを検討しており、CEOのサム・アルトマン氏は1兆ドル未満の評価額での上場は受け入れられないと述べている。また、同社は米国政府に5%の株式を付与することについて初期の協議に入っているとFinancial Timesが2026年7月2日に報じたが、これには議会の承認が必要であり、まだ構想段階である。

一方で、複数の州の司法長官連合が2026年6月13日にOpenAIに対して召喚状を送り、消費者データや健康データの取り扱い、モデルの挙動に関する文書の提出を求めた。この共同調査は、同社がSECへの非公開申請を確認したのと同じ週に開始された。この調査は、歴史的な上場を目指すと同時に連邦政府との関係を深めようとしている同社に、規制上の複雑さをもたらしている。

法学者やガバナンスの専門家が懸念するのは、政府がAIプラットフォームの主要顧客であり、同時にその株式保有を検討している場合、独立した監査や調達競争、検証要件といった通常の監視メカニズムが独立性を失うことである。AEROは、検証研究やRFP(提案依頼書)なしで商用AI製品を導入し、その正確性を評価しないまま数千の組織に執行措置を及ぼしている実態を示している。

■政府AI調達の新たなテンプレートとしてのAERO

AEROがもたらす重要な側面の一つは、連邦機関がAIを購入・配備する際の前例(テンプレート)になることである。HHSは、公募や複数年の承認プロセスを経ずに、既存のデータに市販のChatGPTを適用して執行パイプラインを構築した。キアレッロ氏は記者団に対し、他の連邦機関もこのモデルを容易に模倣できると語っている。このテンプレートが拡大すれば、標準的な連邦調達プロセスを完全にバイパスし、既存の公開データに対して商用AIを配備する新たな調達パラダイムが確立されることになる。

だからこそ、2026年9月22日のM-25-21の期限は、AERO単体を超えて重要な意味を持つ。もしHHSの報告書によって、AEROに人間のレビュープロセスや配備前検証、文書化された誤判定率が欠如していることが明らかになり、OMBが不適合システムの停止を求めた場合、政府機関は「沈黙による適合」を宣言して重大なAIを配備することはできないという先例ができる。逆に、AEROが要件を満たしていると判断されるか、適用除外(ウェイバー)を受け取った場合、連邦機関が執行措置を伴うLLMを導入するにあたって、いかに少ない手続きで済むかという前例を作ることになる。

法専門家は、AEROの検出結果に関連する最初の「虚偽請求取締法(False Claims Act)」訴訟が、数カ月以内に司法省(DOJ)を通じて動き出すと予想している。DOJはAERO開始の6日後である2026年5月27日に執行加速メモを発行し、給付金詐欺事件を60〜120日以内に処理するよう検察官に指示した。裁判所がこれらのケースでAIが生成したフラグを十分な証拠根拠として扱うか、それともAPAの合理的根拠基準を満たさないブラックボックス出力として扱うかが、今後の政府AI執行プログラムの試金石となるだろう。

■注目ポイントQ&A

●AEROは具体的に何をスキャンしますか?また、組織の連邦資金を直接凍結できますか?

AEROは、年間100万ドル以上の連邦資金を支出する組織が提出する「シングル監査報告書」をスキャンします。メディケイドやメディケアの請求データを直接スキャンするわけではありません。ただし、AEROの検出結果に基づき、HHSは一時的な支払い保留、費用の不承認、プログラムの停止、または連邦プログラムからの永久的な排除(資格停止)などの執行措置を取ることができます。AEROによる書簡を受け取った場合、コンプライアンス弁護士は、回答前に情報自由法(FOIA)請求を行い、AIの手法や検証データ、OMBの承認文書を開示させることを推奨しています。

●HHSが誤判定率を公表しないまま、ChatGPTを執行判断に関与させることの何が問題なのですか?

大規模言語モデルは、自身が「知らない」ことを認識できない構造になっています。テキストのパターンから統計的に最もらしい回答を生成するため、特定の事実(指摘事項が解決されたか否かなど)が不確実であっても、自信に満ちたトーンで誤った回答を出力します。また、元データとなる連邦監査クリアリングハウスの記録自体に欠落や不備があることが政府監査院(GAO)によって指摘されており、不完全なデータに基づいてAIが誤った不遵守の判定を下し、それに対して組織が事前に反論するプロセスが明示されていないことが問題視されています。

●2026年9月22日の期限とは何ですか?満たせなかった場合はどうなりますか?

OMB(行政管理予算局)の覚書「M-25-21」に基づき、政府給付へのアクセスに重大な影響を与える「高影響AI」を導入している連邦機関は、2026年9月22日までに最低限のリスク管理策(配備前テスト、継続的監視、人間によるレビュープロセスなど)を報告しなければなりません。これに準拠していないシステムは使用を中止する必要があります。AEROがこの要件を満たしていないと報告された場合、プログラムの停止を余儀なくされるか、OMBとHHSの間でガバナンス上の対立が生じる可能性があります。

●AEROの判定に対して裁判で争うことはできますか?

現時点では容易ではありませんが、今後AERO関連の訴訟を通じて司法判断の枠組みが形成されると予想されています。主な法的論点は、行政手続法(APA)の「恣意的一方的基準」です。意思決定に合理的な事実根拠を求めるこの基準に対し、推論プロセスを説明できないブラックボックスなAI出力は適合しないという指摘があります。訴訟に先立ち、FOIA(情報自由法)請求を行ってAIのトレーニングデータや検証スタディ、OMB事前承認文書を収集し、行政記録を構築することが推奨されています。

元記事: ChatGPT Now Threatens Medicaid Funding for Hospitals Nationwide: Error Rate Unpublished

※この記事はTech Timesから提供を受けた記事を日本向けに翻訳・編集したものです。

関連キーワード

関連記事