AIエージェントの記憶を革新：Maestra「Observational Memory」でコンテキスト喪失を防ぎ、プロンプトキャッシュを最適化

AIエージェントの開発において、「記憶」の管理は避けて通れない重要な課題です。特に、長時間にわたるセッションでのコンテキスト喪失や、トークン消費の増大によるコスト・レイテンシーの増加は、多くの開発者を悩ませてきました。本記事では、この記憶問題に革新的な解決策をもたらすMaestra社の「Observational Memory」に焦点を当て、その仕組みと利点について詳しく解説します。

Maestraの創設エンジニアであるタイラー氏の解説を基に、初期の記憶システムから最新のObservational Memoryに至るまでの進化の過程を追っていきます。

Maestra参加までのタイラー氏の歩み

タイラー氏はMaestraに参加する以前から、自身のAIエージェント開発に情熱を注いでいました。その中で特に印象的なエピソードとして、飼い猫用の自動餌やり機を自作した話が挙げられます。

このシステムは、カメラが猫を検知した場合（おそらくGPT-40のようなモデルを使用していました）は餌を与え、犬を検知した場合は猫の餌を盗まないようにアラームを鳴らして追い払うというものでした。このように、初期の頃からAIの可能性を追求し、実用的なアプリケーションに落とし込むことに取り組んでいたことが伺えます。

その後、Maestraの創設メンバーとして、記憶システムを含む様々な分野の開発に携わることになります。

Maestra初期の記憶システム「Ver.1」の深掘り

Maestraの初期の記憶システムは、主に以下の3つのタイプで構成されていました。

1. メッセージ履歴（Message History）

最も基本的な記憶形態で、直近の一定数のメッセージ（例: 10〜20件）をシンプルに保持するものです。会話の流れを追うのに役立ちますが、長期的なコンテキスト維持には限界があります。

2. ワーキングメモリ（Working Memory）

エージェントがツールを使用して、特定のコンテキストチャンクを更新・保持する仕組みです。これにより、エージェントは長期にわたって特定の情報を追跡できるようになります。

初期の実装では、このコンテキストはシステムプロンプト内に直接挿入されていました。当時、プロンプトキャッシング（繰り返し利用されるプロンプトをキャッシュし、費用とレイテンシーを削減する技術）への関心はまだ低く、多くのLLMプロバイダーが自動的なプロンプトキャッシングを提供していなかったため、この方法は一般的でした。しかし、現在ではプロンプトキャッシュの観点からは最適ではないとされています。

3. セマンティックリコール（Semantic Recall / RAG）

Retrieval Augmented Generation（RAG）を応用した記憶システムです。新しいユーザーメッセージやアシスタントメッセージが来るたびにRAGクエリを実行し、会話履歴から関連性の高い情報を抽出し、それを再びシステムプロンプトに挿入します。

このシステムは、膨大なメッセージ履歴の中から関連性の高い部分のみを抽出し、LLMに送るトークン量を削減できるという大きな利点がありました。これにより、LLMへの送信コンテキストが減り、費用が安価になり、レイテンシーも改善される可能性がありました（RAGによる検索のオーバーヘッドは発生しますが、LLMへのトークン削減効果が上回る場合も多い）。

初期の評価ベンチマーク「Longme Eval」では非常に高いスコアを叩き出し、そのシンプルさにも関わらず優れた性能を発揮することが示されました。しかし、これも同様にシステムプロンプトへの挿入という形でコンテキストを管理するため、プロンプトキャッシングの観点では課題を抱えていました。

記憶システム進化の必要性：プロンプトキャッシュとコーディングエージェントの課題

初期の記憶システムはそれなりに機能しましたが、特にコーディングエージェントのような特定のユースケースでは限界が見えてきました。

コーディングエージェントは、ツールの呼び出し、大規模なファイルの読み込みなどにより、継続的に大量のトークンを消費します。このような場合、メッセージ履歴が膨大になりやすく、またRAGでは常に新たなコンテキストを検索・挿入する必要があるため、プロンプトキャッシングの効果を最大限に引き出すことができませんでした。結果として、高いトークンコストとレイテンシーが問題となることが多く、既存の記憶システムでは効率的な運用が困難でした。

この課題意識から、プロンプトキャッシングを重視した次世代の記憶システムが求められるようになりました。

革新的な「Observational Memory」の登場

多くの試行錯誤を経て、Maestraはプロンプトキャッシングに最適化された新しい記憶システム「Observational Memory」を開発しました。このシステムは、初期の記憶システムが抱えていた課題を克服し、Longme Evalで当時の「State-of-the-Art（最先端）」スコアを達成するほどの大きな飛躍を遂げました。

Longme Evalとは？

Observational Memoryの性能評価にも用いられた「Longme Eval」は、AIモデルの記憶とリコール能力を評価するためのベンチマークです。特に「単一ターンのリコール」能力をテストするのに優れているとされています。

しかし、エージェンティックなユースケースでは、単一ターンだけでなく「多ターンにわたる会話でのコンテキスト維持」や「プロンプトキャッシングの効率性」、そして「記憶システムがいかにエージェントの軌道を適切にガイドできるか」といった要素が重要になります。Longme Evalはこれらの側面を十分に評価できるわけではないため、将来的にはより多角的なベンチマークの必要性が議論されています。

「Observational Memory」の仕組み：コンテキスト喪失を防ぐ秘訣

Observational Memoryの最大の目標は、長期的な会話セッションにおいて、エージェントがコンテキストを失うことなく作業を継続できるようにすることです。従来のシステムでは、「コンパクションイベント」と呼ばれる現象が問題視されていました。これは、エージェントが一定の記憶容量を超えると、過去のコンテキストが圧縮され、重要な情報が失われ、まるでエージェントが「脳損傷」を負ったかのように感じる状態を指します。その結果、ユーザーはセッションを再起動せざるを得ないと感じていました。

Observational Memoryは、このコンパクションと従来の記憶システムの良い部分を組み合わせた「ハイブリッド」なアプローチを採用しています。

オブザーバーエージェントの役割

その核心にあるのは、「オブザーバーエージェント」と呼ばれるもう一つのエージェントです。ユーザーとメインエージェントの会話が進行する間、このオブザーバーエージェントはバックグラウンドで並行して動作します。

オブザーバーエージェントは、会話のすべてのターン（メッセージ、ツールの呼び出しなど）をリアルタイムで監視し、発生した出来事の「凝縮された観察結果（condensed observations）」を作成します。これらの観察結果はバッファリングされ、会話履歴の特定メッセージセットとマッピングされます。

メッセージと観察結果の置換メカニズム

オブザーバーエージェントが生成した観察結果は、蓄積されていきます。そして、特定のしきい値に達すると、オリジナルの「トークンが重い」メッセージやツール呼び出しが、この「凝縮された観察結果」に置き換えられます。この「置換」が非常に重要です。

これにより、会話がどれだけ長く続いても、LLMに送られるコンテキストの総量を効率的に管理できます。古い、しかし重要な情報を凝縮された形で保持しつつ、トークン数を抑えることが可能になるため、プロンプトキャッシングの効率が大幅に向上し、エージェントが長期にわたってコンテキストを維持できるようになるのです。

まとめ

Maestraの「Observational Memory」は、AIエージェントの記憶管理における画期的な進歩を示しています。従来のシステムの課題であったコンテキスト喪失と非効率なプロンプトキャッシングを、「オブザーバーエージェント」と「メッセージ置換」という革新的なアプローチで解決しました。

これにより、AIエージェントはより長い会話セッションでも高いパフォーマンスを維持し、ユーザーにシームレスな体験を提供できるようになります。今後もAIエージェントの記憶システムは進化を続けることでしょうが、Observational Memoryはその発展における重要なマイルストーンとなることでしょう。

参考動画

Maestra: Observational Memory | Tyler's Journey to Maestra