DOGEがエラーだらけのAIツールを使って医療サービス関連の契約をキャンセル可能かどうか判断していたことが判明

政府効率化省(DOGE)はアメリカ政府の無駄を削減することを目的として活動しており、政府が結んださまざまな契約を調査して、キャンセルできるかどうかを判断しています。2025年3月にDOGEへ参加した起業家兼エンジニアのサヒール・ラヴィンギア氏は、退役軍人への給付や医療サービス提供を担うアメリカ合衆国退役軍人省の契約を審査するためのAIツールを開発しましたが、わずか2カ月未満という短期間でDOGEを追い出されてしまいました。そんなラヴィンギア氏が開発したAIツールは不十分であり、数多くのエラーが発生していたことが、非営利報道機関のProPublicaによって報じられました。

DOGE Developed Error-Prone AI to Help Kill Veterans Affairs Contracts — ProPublica
https://www.propublica.org/article/trump-doge-veterans-affairs-ai-contracts-health-care

Inside the AI Tool Used by DOGE to Review Veterans Affairs Contracts — ProPublica
https://www.propublica.org/article/inside-ai-tool-doge-veterans-affairs-contracts-sahil-lavingia

ProPublica Explains How DOGE's AI Cut Support for Veterans Care - emptywheel
https://www.emptywheel.net/2025/06/06/propublica-explains-how-doges-ai-cut-support-for-veterans-care/

ラヴィンギア氏はインターネットを利用した決済サービス・Gumroadの設立者であり、2025年3月17日に退役軍人省の契約審査に関わるソフトウェアエンジニアとしてDOGEに加わりました。ラヴィンギア氏は、民間企業と比べて政府機関が持つインパクトは大きいと感じており、以前から連邦政府のためにコードを書いてみたいと思っていたとのこと。

もともとは「契約書のPDFを探し、担当者に連絡を取って必要性を判断する」という面倒だった業務を効率化するため、ラヴィンギア氏はAIを用いたツールを作成しました。「MUNCHABLE(食べられる、おいしそうといった意味)」と名付けられたこのAIツールは、「契約書のPDFを反復処理する」「テキストを抽出する」「大規模言語モデルを使用して契約がキャンセルできるかどうかを判断する」「フラグが立てられた契約書をまとめる」という機能を持っていました。

ラヴィンギア氏はDOGEの全体会議でイーロン・マスク氏と話す機会があり、その際に書いたコードをオープンソースにしてもいいかどうか尋ね、「イエス」と回答をもらったとのこと。そのためラヴィンギア氏は、退役軍人省の契約を審査するために作成したAIツールのコードをGitHubで公開しています。

GitHub - slavingia/va
https://github.com/slavingia/va

DOGEに参加してから約3週間後、ラヴィンギア氏はニューヨークの自宅に戻ってリモートワークを始めました。その間、「DOGEの透明性を最大限に高めたい」というマスク氏の言葉を信じ、オンラインメディアであるFast Companyのインタビューに答えました。その中でラヴィンギア氏は、「正直に言って、政府は思ったほど非効率的ではありませんでした。もっと簡単に成果が上がると期待していたのですが」と、かなり率直な印象を語っています。

Thanks to DOGE, Gumroad’s founder has a second job with the VA - Fast Company
https://www.fastcompany.com/91330297/doge-sahil-lavignia-gumroad

このインタビュー記事が公開された翌日の2025年5月9日、突如としてラヴィンギア氏はDOGEへのアクセス権を取り消され、DOGEから追い出されることになりました。この結果についてラヴィンギア氏は、連邦政府のためにコードを書く機会が得られたのはよかったものの、退役軍人の障害年金申請におけるUXの改善や申請処理の自動化といった、当初期待していたような成果を上げることができず残念だと語っています。

ラヴィンギア氏は自身がDOGEでどのような仕事をしていたのかについて、ブログで説明しています。

DOGE Days
https://sahillavingia.com/doge

DOGEを解雇された後のラヴィンギア氏は海外メディア・NPRの取材に対し、「連邦政府が無駄遣いや不正、職権乱用で満ちているとは感じませんでした」「政府は数十年にわたり、常に厳しい監視の目にさらされてきました。そのため個人的には、政府の効率性に驚かされたというのが正直なところです。これは、政府がさらに効率化できないという意味ではありません。紙やファックスの廃止などは可能ですが、これらは必ずしも不正や無駄、職権乱用ではありません。これらは単に、アメリカ連邦政府を21世紀にふさわしい形に近代化・改善する余地がるということです」と語りました。

Former engineer shares his experience working for DOGE : NPR
https://www.npr.org/2025/06/02/nx-s1-5417994/former-doge-engineer-shares-his-experience-working-for-the-cost-cutting-unit

ProPublicaは、ラヴィンギア氏が開発したAIツールのコードと、ある情報源から入手した「AIツールがフラグ付けした契約書」を6人の専門家に調査してもらったところ、全員がスクリプトに欠陥があると指摘したと報じています。

たとえば、AIツールは契約の規模を適切に解釈できないことが多く、頻繁に内容を誤読して契約金額を水増ししていたとのこと。AIツールは1000件以上の契約について「契約金額は3400万ドル(約49億円)」と判断していたものの、中には数千ドル(約数十万円)ほどしかない契約もあったと報告されています。

また、AIツールでは契約書の最初の1万文字(約2500語)のみを確認するように指示されていました。これについてラヴィンギア氏は、退役軍人省がすでに契約していた古いAIしか使うことができず、このAIは1万文字しか処理できなかったからだと説明しています。

さらに、AIツールは「直接的な患者ケア」に関する契約を不要だと判断しないように指示されていましたが、この判断もあやふやだったことが指摘されています。中には、治療中の患者の体勢を変える重要な装置の保守点検に関する契約も、削減可能な契約として分類される事例があったとのことです。

ラヴィンギア氏はProPublicaの取材に対し、「間違いはあったと思います。それは確かです。間違いは常に起こります。私は決して、誰かに私のコードを実行し、その通りに従うことをオススメしません」と述べ、AIツールの出力を精査せずにそのまま契約を打ち切ることは、Googleマップが「そのまま進んで」と指示したからそのまま湖に突っ込むようなものだと主張しました。

AIツールは2000件以上の契約について「キャンセル可能」と判定しましたが、実際にどれほどの契約がAIツールに従ってキャンセルされたのか、あるいは今後キャンセルされる見込みがあるのかは不明です。退役軍人省は全体で600件の契約をキャンセルしたと語っていますが、その内訳はほとんどわかっていません。なお、これまでにDOGEの削減リストに掲載された退役軍人省の契約は24件で、その中には「がん治療の改善に役立つ遺伝子配列解析装置の保守契約」「退役軍人省の研究プロジェクトを支援するための血液サンプル分析契約」「看護師が提供するケアを測定・改善するための追加ツールの提供契約」などが含まれていたとのことです。

今回の一件は、ソーシャルニュースサイトのHacker Newsでも大きな話題となっています。

Doge Developed Error-Prone AI Tool to "Munch" Veterans Affairs Contracts | Hacker News
https://news.ycombinator.com/item?id=44199887

あるユーザーは「間違いがあるとわかっていたならなぜコードを書いたんだ？楽しみたかっただけ？」とコメントしたほか、「シリコンバレーの連中は社会全体に無関心なんだ」といったコメントもみられました。