ClaudeとChatGPTの記録システムはまったくの別物だという指摘

チャットAIのClaudetとChatGPTには、ユーザーとの会話を記録して後から参照する仕組みが備わっています。この仕組みを調査したプログラマーのシュロク・カマニ氏が、「両者の仕組みが全然違う」と報告しました。

ChatGPT Memory and the Bitter Lesson | Shlok Khemani
https://www.shloked.com/writing/chatgpt-memory-bitter-lesson

Claude Memory: A Different Philosophy | Shlok Khemani
https://www.shloked.com/writing/claude-memory

OpenAIの「ChatGPT」は、ユーザーとのやりとりに関する包括的なメタデータセットを取得して記録します。この記録はユーザーが設定で明示的にオフにしない限り保持され、新しいチャットを始めたときにも参照されます。

記録にはいくつかのレイヤーがあります。ベースとなるのはカマニ氏が「ユーザー知識記録」と呼ぶもので、これはAIがユーザーと何回もやりとりする上で学習した「高密度の要約」です。ユーザーが過去に作成したプロジェクト、ユーザーの好みなどがすべて詰まっています。

次に来るのがモデルセットコンテキストです。これは人間のフィードバックによる強化学習(RLHF)とほぼ同義で、ユーザーが提供する明示的な指示で上書きされる記録です。また、会話の最中の行動を学習する「最近の会話コンテンツ」、システムが既存の知識を変更しないまま動作を微調整する「インタラクションメタデータ」といったレイヤーも存在します。

こうしてChatGPTは過去の記録を保持して学習し、ユーザーの質問に合わせて即座にメモリをたどり、待ち時間ゼロでユーザーそれぞれにあった回答を提供します。

一方、Anthropicの「Claude」は過去の記録を簡単にたどることはありません。Claudeは会話のたびに白紙の状態から開始し、事前読み込みされたユーザープロファイルや会話履歴は一切保持せず、明示的に呼び出された時のみ記録が活用されることになります。加えて、Claudeは生の会話履歴のみを参照してチャットをリアルタイムで検索するだけで、ChatGPTのようにやりとりを学習するようなことは行わないそうです。

仮に、Claudeに対して「何について話し合ったっけ？」「前回の話の続きを」「以前話したあの件を覚えてる？」といったフレーズで記録の呼び出しを行うと、Claudeはウェブ検索やコード実行のように機能する検索ツールを起動します。このツールがチャット中リアルタイムで動作し、過去の履歴を検索して分析した上で、現在の質問の回答へつなげます。

このツールは特定の期間指定にも対応します。「2024年11月の最終週に何を議論しましたか？」とカマニ氏が尋ねたところ、Claudeは正確な期間からカマニ氏とのやりとり16件を取得したとのこと。

カマニ氏は「ChatGPTとClaudeのアシスタントアプリは機能面でしたが、両者の進路は劇的に分かれました。ChatGPTは『仕組みを考えなくてもちゃんと機能し、自分のことを覚えていてくれる』という利点を求める一般消費者向け製品へと進化した一方、Claudeは『明示的に呼び出すまで記録を参照しないでほしい』と願う人に最適化され、開発者ツール、コーディング、プロフェッショナルワークフローなどに注力されています。記録システムの実装の違いはこの分岐を完璧に反映しています」と述べました。