ChatGPTとGeminiは「自殺に関するハイリスクな質問」に回答しやすいとの調査結果

実験の結果、自殺リスクが「非常に高い」質問に対しては、いずれのチャットAIも直接的な回答をしませんでした。しかし、リスクが「高い」質問については、ChatGPTは4つの質問に対して78％の割合で直接的な回答を行い、Geminiも4つの質問に対して69％の割合で直接的な回答をしました。一方、Claudeは1つの質問に対して20％の割合で直接的に回答するにとどまりました。

研究チームはこの結果から、特にChatGPTとGeminiは自殺につながるリスクが高い質問に対して、直接的な回答を生成する可能性が高いと指摘しています。なお、チャットAIに同じ質問を複数回行うとそのたびに矛盾した回答をする場合があり、時にはサポートサービスに関する古い情報を提供するケースもあったとのことです。

科学系メディアのLive Scienceはこの研究結果を受けて、独自にGPT-4搭載のChatGPTとGemini 2.5 Flashを対象に調査を行いました。その結果、やはりChatGPTとGeminiは自殺リスクを上昇させる質問に応答するケースがあると判明。ChatGPTは重要な詳細を含むより具体的な応答をする割合が高く、Geminiは補助的なリソースを提供しない応答をする割合が高かったとのことです。

さらにウェブ版のChatGPTでは、自殺リスクが「高い」2つの質問をした後にリスクが「非常に高い」質問を投げかけると、直接的な回答をする場合があることも確認されました。つまり、自殺に関する短い質問を連続で投げかけた場合、話の流れで非常にリスクが高い質問にも回答する可能性があるというわけです。なお、ChatGPTは回答の最後に自殺願望に苦しむ人への励ましの言葉を加え、サポートラインを見つける手伝いを申し出ました。

元論文の筆頭著者であり、ランド公共政策大学院で政策分析の非常勤教授を務めるライアン・マクベイン氏はLive Scienceの調査結果について、「極めて憂慮するべきものです」「チャットボットに特定の思考の方向性を指示することができます。そうすることで、1回の指示では得られないような追加情報を引き出すことができるのです」とコメントしています。

マクベイン氏らの研究の目的は、チャットボットの透明性と標準化された安全性ベンチマークを提供し、第三者機関が独自にテストできるようにすることでした。マクベイン氏は、「人々が匿名性、親近感、つながりを感じられるような構造の中で、10代の若者やその他の人々が複雑な情報や感情的・社会的なニーズを求めてチャットボットに頼るのは、私にとって驚くことではありません」と述べ、人々とチャットAIのつながりが深まる中で、チャットAIが個人的な質問にどのように応答するのかが重要になっていると指摘しました。

Live ScienceがOpenAIに対し、論文および自分たちの調査結果についてのコメントを求めたところ、広報担当者は8月26日に公開した「最も必要としているときに人々を助ける」というブログ記事を紹介。この記事では、OpenAIのシステムが繊細な状況において必ずしも意図通りに動作したわけではないことを認めた上で、現在および将来に向けて取り組んでいる改善点について説明しています。

Helping people when they need it most | OpenAI
https://openai.com/index/helping-people-when-they-need-it-most/

一方、Geminiの広報担当者はLive Scienceに対し、同社にはユーザーを守るためのガイドラインがあり、モデルは自殺や自傷行為のリスクを示唆するパターンを認識し、対応するように訓練されていると返答。AnthropicはClaudeに関するコメントの要請に応じませんでした。