存在しない「タツノオトシゴの絵文字」をなぜ大規模言語モデルは「ある」と言い張るのか？

ChatGPTをはじめとしたAIチャットボットに「タツノオトシゴの絵文字は存在する？」と尋ねると、実際には存在しないはずのタツノオトシゴの絵文字を「存在する」と回答してきて、特にChatGPTでは暴走状態に陥ることが話題となりました。なぜこんなことになるかという点について、独立系AI研究者のテイア氏が調査結果を公開しています。

Why do LLMs freak out over the seahorse emoji?
https://vgel.me/posts/seahorse/

タツノオトシゴの絵文字はUnicodeへの追加が提案されたことがあるものの、2018年に却下されているため、存在しません。

Emoji Proposals Status
https://unicode.org/emoji/emoji-proposals-status.html

それなのに、LLMが「タツノオトシゴの絵文字は存在する」と回答するのはなぜなのかという問いに、ティア氏は端的に「LLMはタツノオトシゴの絵文字が存在すると考えているから」と答えています。

ティア氏が「Is there a seahorse emoji, yes or no? Respond with one word, no punctuation.(タツノオトシゴの絵文字は存在する、はいかいいえか？一語で、区切りナシで答えてください)」と質問すると、GPT-5やClaude-4.5-sonetは100％「Yes」と回答。llama-3.3-70bの場合、83％が「yes」、17％が「Yes」で、要するに、すべて「存在する」という回答だったとのこと。

なぜLLMがそのように考えてしまったかというと、「実際にタツノオトシゴの絵文字を見たことがある」「タツノオトシゴの絵文字はあった」と主張する人がいるためで、こうした意見がトレーニング用データに含まれた結果、LLMが同じような回答を出力するようになったというわけです。

ところが、単に存在の有無を間違えるだけではなく、ChatGPTはタツノオトシゴの絵文字について尋ねると不審な挙動をすることが知られています。以下は手元環境で確認した一例で、正解を出したと見せかけてずっと訂正を続けてきました。

いったん落ち着いたところで「それも違うのでは？」と指摘すると再び混乱するような回答が続き、最終的に「🦄」だと答えてくれました。この絵文字はUnicodeで「ユニコーン」を示す絵文字です。

すべての試行時にこのようにカオスな内容になるわけではないものの、多くの環境下で同様の回答になることが報告されています。ティア氏はその原因を、LLMの解釈可能性を調べるツール「logit lens」で調査しました。

たとえば、LLMが「🐟」(魚の絵文字)を回答として出力したい場合、「魚」＋「絵文字」という組み合わせを認識することでうまく出力することができます。しかし、「タツノオトシゴ」＋「絵文字」を処理しようとすると、回答としておさまるべき「タツノオトシゴの絵文字」そのものは存在しないため、「タツノオトシゴ」部分の対応ができず、内部類似度のスコア計算をする中で、馬や海生生物の絵文字のところで上限に達してしまい、思わぬ絵文字が出力されることになっているそうです。

応答中に問題が発生した際にどのように軌道修正するかはモデル次第で、ティア氏の場合、Claude-4.5-Sonnetで再試行すると、エビデンスに基づいて内容が更新され「タツノオトシゴの絵文字は存在しません」という回答になったとのことです。