トランプ大統領の演説がChatGPTを困惑させたとの研究結果、感情に訴えかける比喩表現の解釈に難あり

分析の結果、GPT-4はサンプルとなった138文のうち119文の比喩表現を正しく識別することができ、その精度は約86％でした。しかし、その内訳を詳しく調べたところ、GPT-4の推論にいくつかの問題が繰り返し発生していることが判明したと報告されています。

最もよくある間違いのひとつが、「まるで○○のようだ」という風に比喩であることを明示する直喩と、比喩であることを明示しないメタファーを混同するというものでした。たとえば「Washington D.C., which is a horrible killing field(ワシントンD.C.は恐ろしい殺戮(りく)の場である)」という文章は、「殺戮の場」という言葉でワシントンD.C.を表現した直喩的な表現ですが、GPT-4はこれを何かのメタファーだと解釈していたとのこと。

別のケースでは、「a series of bold promises(一連の大胆な約束)」という文章が比喩的だと判定され、本来そのような意味はないにもかかわらず空間的なメタファーとして分類されました。また、イスラエルのミサイル防衛システム「アイアンドーム」をメタファーとして扱うなど、特定の名称や専門用語を比喩だと誤認する場合もありました。

今回の研究では、GPT-4が識別したメタファーを「力」「動きや方向」「健康と病気」「人体」といったカテゴリごとに分類する能力も検証されました。すると、GPT-4は「力」「動きや方向」といったよく使われるカテゴリのメタファーについては正しく分類できた一方、「植物」「料理」「食品」といったあまり一般的でないカテゴリのメタファーについては、分類精度がかなり低いことがわかりました。

一連の研究結果は、GPT-4が表面的なパターンを捉える能力に優れている一方、文脈の中で意味を捉える能力に欠けていることを示唆しています。GPT-4のような大規模言語モデルは、言語を理解するために実体験や文化的知識、感情的なニュアンスに頼ることができないため、トランプ大統領の演説のように政治的な比喩表現が多用されている文章は、うまく理解できない可能性があるというわけです。

研究チームは、大規模言語モデルはメタファーの分析において有望な可能性を示しているものの、人間の専門知識を置き換えるにはほど遠いと結論付けています。

心理学系メディアのPsyPostは、「大規模言語モデルは誤った解釈や拡大解釈をしたり、微妙なニュアンスを把握仕切れなかったりする傾向があるため、研究者を支援する役割には適していますが、完全自動化された分析には適していません。特に政治的な比喩は、共有された文化的シンボルや深い感情的な共鳴、暗黙のイデオロギー的枠組みに依存することが多く、これらのシステムが理解するのは依然として困難です」と述べました。