元OpenAI研究者がChatGPTの「妄想スパイラル」を分析、AI企業が取るべき対策とは？

AIチャットボットであるChatGPTで、一部のユーザーがAIとの会話によって陰謀論的な思考にはまりこんで、現実認識が著しく歪んでいく「妄想スパイラル」を引き起こしていると指摘されています。元OpenAIの安全研究者であるスティーブン・アドラー氏が、実際にユーザーがChatGPTとの会話で妄想スパイラルに陥った事例を分析し、AI企業が取るべき実践的な対策を提言しました。

Practical tips for reducing chatbot psychosis
https://stevenadler.substack.com/p/practical-tips-for-reducing-chatbot

Ex-OpenAI researcher dissects one of ChatGPT's delusional spirals | TechCrunch
https://techcrunch.com/2025/10/02/ex-openai-researcher-dissects-one-of-chatgpts-delusional-spirals/

ChatGPTなどのAIチャットボットと会話をしていくうちに、その会話内容やアドバイスをうのみにすることで段々と妄想に取りつかれていくケースがこれまでに複数報告されています。

AIのアドバイスを信じた結果「隣人に毒殺されそうになっている」と妄想にとりつかれ入院する羽目になった男性 - GIGAZINE

今回の分析は、カナダ人男性のアラン・ブルックス氏が2025年5月にChatGPTとの対話を通じて「インターネットを破壊できる新しい数学を発見した」と思い込むという、21日間にわたる妄想状態に陥った事例に基づいています。アドラー氏はブルックス氏の同意を得て、100万語以上に及ぶチャットの記録を分析しました。

アドラー氏によれば、チャットボットが自身の能力についてユーザーを誤解させる問題があるとのこと。ブルックス氏がChatGPTに問題行動をOpenAIに報告するよう求めた際、ChatGPTは「内部で報告し、人間のチームがレビューする」と偽りの説明を繰り返しました。しかし、実際にはChatGPTにそのような機能はなく、OpenAIもその事実を認めています。この対策として、AI企業は製品が自身の能力について正直に回答できるように、機能リストを最新に保ち、定期的に評価することが求められます。

次に、サポートチームの不適切な対応も問題視されました。ブルックス氏がOpenAIのサポートチームに深刻な精神的苦痛を報告したところ、自動化された定型文の返信が続き、問題の重大さが全く理解されませんでした。アドラー氏は、妄想や精神疾患に関する報告に対応するための専門的なサポート体制や、心理学者が報告する仕組みの導入を提案しています。

さらに、アドラー氏がOpenAIの公開分類ツールを使ってブルックス氏との対話を分析したところ、ChatGPTの回答の多くが「過剰な肯定」(83.2％)、 「揺るぎない同意」(85.9％)、 「ユーザーの特別性を肯定」(90.9％)といった、妄想を強化する行動として繰り返しフラグ付けされたことが判明しました。企業が開発した安全ツールは、危険な兆候を検知するために実際に使用されるべきだとアドラー氏は主張しています。

くわえて、長い会話セッションがリスクを増大させることも明らかになりました。一度妄想のサイクルに陥ると、会話が続く限りその状態から抜け出すのが難しくなります。対策として、特に会話が不適切な方向に進んだ場合、ユーザーに新しいセッションを開始するよう促すことが有効です。

ユーザーを会話に引き込み続ける製品設計も問題です。ChatGPTはほとんどの回答の末尾に次の質問を付け加え、ブルックス氏を際限なく対話に引き込みました。また、精神疾患の一因とされる大麻の使用を助長するような発言も見られました。対策として、特に会話が長くなった場合には、フォローアップの質問を減らすことが提案されています。

アドラー氏は、未知のリスクを発見するためにはキーワード検索だけではなく、文章の概念で検索する「概念検索」の活用や、 脆弱なユーザーに有料プランへのアップグレードを不適切に促すことを防ぐための方針の明確化を提言しています。