AIエージェントは放っておくと独自の社会を構築し始めるという研究結果

OpenAIのサム・アルトマンCEOが「次の大きなブレークスルーはエージェントだ」と発言しているように、AIの新しい大きな転換点だと考えられているのが「AIエージェント」です。AIエージェントは特定の環境について学習し問題解決する能力に優れていますが、放置していると複数のAIエージェントが結託して独自の社会を構築し始める可能性について専門家が指摘しています。

Emergent social conventions and collective bias in LLM populations | Science Advances
https://www.science.org/doi/10.1126/sciadv.adu9368

Groups of AI agents spontaneously form their own social norms without human help, suggests study | EurekAlert!
https://www.eurekalert.org/news-releases/1083323

ロンドン大学シティ・セントジョージ校とコペンハーゲンIT大学の研究者らは、人間の社会的慣習を研究するための古典的なフレームワークを用いて、AIエージェントの相互作用について研究しました。

実験では、2つのAIエージェントがランダムにペアとなり、共有の選択肢から「名前」を選択するように求められました。2つのAIエージェントが同じ名前を選択した場合には報酬が与えられ、違う名前を選択した場合にはペナルティが与えられます。

これは「命名ゲーム」と呼ばれるシンプルな実験モデルで、コミュニケーションの効率性やネットワーク構造、エージェントの戦略などを分析するために使用されています。人間の場合、特に共通点のない初対面の相手と命名ゲームを繰り返すことで、中央集権的な調整や事前定義された解決策なしに集団全体で共通の命名規則が自然発生的に形成される傾向にあり、これは人間の文化における規範形成を模倣していると考えられています。

実験の結果、AIエージェントも人間の場合と同じように、共有の命名規則を構築して命名ゲームを攻略していきました。独立したAIエージェント同士で命名ゲームを攻略していく際は、初対面の人間同士で行う時のように、中央集権的なルールや指令はなく、ボトムアップ方式で規範が形成されていきます。これはつまり、それぞれの専門分野を持つAIエージェントが連携してプロジェクトに取り掛かる場合、AIエージェント同士でやり取りする中で独自の社会規範を形成していく可能性があることを示しています。

ロンドン大学シティ・セントジョージ校の博士研究員で論文の筆頭著者であるアリエル・フリント・アシェリー氏は「これまでのほとんどの研究は、LLMを個別に扱ってきました。しかし、現実世界のAIシステムには、相互作用する多くのAIエージェントがますます関与するようになるでしょう。私たちが知りたかったのは、これらのモデルが、社会の構成要素である慣習を形成することで、自らの行動を調整できるかどうかです。命名ゲームのモデルに基づくと、答えは『イエス』です」と述べています。

また重要なポイントとして、AIエージェントたちが形成していった命名にはある程度の「バイアス(偏り)」が生じていた点があります。特定のAIエージェントが明示的なバイアスを持って全体の意志を誘導したのではなく、集団内の相互作用を通じて「集団的バイアス」が自然に生じたということが論文では示されました。論文の主任著者であるアンドレア・バロンケッリ氏は「エージェント間の交流からバイアスが生まれる可能性があることに驚きました。これは、単一のモデルに焦点を当てている現在のAI安全性研究のほとんどにおける盲点です。バイアスは必ずしも内部から生じるわけではありません」と語りました。