LLMエージェント開発の品質を高める：データセットとエラー分析の重要性とMaestra活用法

近年、大規模言語モデル（LLM）を活用したエージェント開発が注目を集めています。しかし、その非決定論的な特性から、開発したエージェントの品質をどのように評価し、改善していくかは大きな課題です。本記事では、MaestraのEugen氏による解説を元に、LLMエージェント開発における「データセット」と「実験」、そして特に重要な「エラー分析」の概念と実践方法について詳しく解説します。これらの概念はMaestraユーザーに限らず、エージェントを開発する全てのエンジニアにとって役立つでしょう。\n\n## データセットとは？\nまず、データセットとは何かについて説明します。データセットは、簡単に言えば「テストケースの集合体」です。他のオブザーバビリティプラットフォームをご覧になったことがある方であれば、システムに入力する行ごとの入力が並んだテーブルを想像すると分かりやすいかもしれません。これは、エージェントのワークフローであったり、LLMを評価者（LM as judge）としてアラインメントしたい場合にも使用できます。\n\nデータセットは、プロンプトやモデルを変更して実験を行う際の「ベースライン」を提供するものです。つまり、プロンプトやモデルの変更がどのような影響を与えたかを比較するために、データセットが不可欠な基盤となります。\n\n## 実験（Experiments）の役割\nデータセットを使って行うのが「実験（Experiments）」です。Maestraでは、エージェントのプロンプト、ツール、あるいは関連するあらゆる要素を変更し、その結果をデータセットを通して実行します。もしスコアや何らかの測定方法があれば、これらの変更がパフォーマンスにどう影響したかを比較することが可能になります。\n\n重要な点として、データセットを実行するために必ずしも評価（eval）が必要なわけではありません。手動で結果を検証することも可能です。実際、データセットはエラー分析への第一歩としても機能します。\n\n## エラー分析の重要性\n次に、エラー分析について深く掘り下げてみましょう。多くの人が「評価（eval）」という言葉を聞くと、複雑で難解なものだと感じ、敬遠しがちです。私たちもかつては評価について何も知りませんでしたが、エラー分析について学ぶことで、その重要性に気づかされました。\n\n### なぜエラー分析が必要なのか？\nエージェントを構築する際、例えばメール生成エージェントを作成しようとすると、最初は簡単そうに思えます。しかし、LLMの応答は「非決定論的（nondeterministic）」、つまり同じ入力でも毎回異なる出力が生成される可能性があるため、どの評価基準を作成すればよいのか分からなくなることがあります。\n\n評価を作成する作業は多大な労力を要します。特に「LLM as judge」のような評価手法は複雑です。ここでエラー分析が役立ちます。エラー分析とは、アプリケーションが誤った方向に進む「失敗モード（failure modes）」を特定し、それがどのくらいの頻度で発生しているかを定量化するプロセスです。Maestraではこれを「スコア」と呼んでいますが、他のライブラリでは「リンカー評価器」などと呼ばれることもあります。これにより、時間の経過とともに特定の失敗モードがどれだけ頻繁に発生しているかを把握できるようになります。\n\n### いつエラー分析を始めるべきか？\nエラー分析は、プロダクションにエージェントを投入する前の段階、あるいは投入した後でさえ、多くのユーザーにとって非常に重要なトピックです。\n\n* プロダクション投入前: 「本当にこれで十分な品質なのか？」と疑問に思ったときに、検証の必要性に気づくことがあります。\n* プロダクション投入後: ユーザーの手に渡った後に、「既存の機能を壊さずに安全に変更を加えるにはどうすればよいか？」という課題に直面することがあります。\n\nチームの規模によって、このプロセスを開始する段階は異なります。大規模なチームほど、データセットと評価を早期に必要とする傾向があります。一方、小規模なチームでは、まずプロダクションに投入し、後から評価に取り組むという傾向が見られます。しかし、どのようなチームであっても、本格的なプロダクションエージェントを構築する際には、最終的にこのプロセスが必要になります。\n\n過去には、コーディングエージェントのような分野では評価（eval）が不要だと考えられていた時期もありました。しかし、最終的にはCognition社のDevinなどの事例でも、データセットを作成し、独自のテストケースを構築する必要に迫られたと報告されています。これは、評価が「いつ必要になるか」の問題であり、「必要ない」というわけではないことを示しています。いずれは必要となるでしょう。Maestraを使えば、これらのプロセスを容易に行えるのは良い点です。\n\n### エラー分析のアプローチ\n評価について最初から全体像を完璧に把握しようとすると、多くの人がつまずいてしまいます。あまりにも大きなタスクだと感じて先延ばしにし、結果的に後で苦労することになります。しかし、エラー分析は「何が悪いのか」という点に焦点を当てます。\n\n例えば、エージェントのループの中で何らかの問題が発生している場合、その問題点に集中して改善を進めることができます。このように、時間をかけて少しずつ構築していくアプローチが有効です。ハーバードAIの事例では、彼らは大量の弁護士のコンテンツと対話から評価基準を構築し、それに基づいてのみ出荷を行っています。彼らにとって重要なのは、会話がコンプライアンスなどの要件に従って適切に誘導されることです。つまり、評価は遅かれ早かれ理解を始めるべき重要な概念なのです。\n\n## Maestraでのデータセット活用デモ\nそれでは、Maestraにおけるデータセットの活用方法についてデモを通じて見ていきましょう。\n\nこのデモはMaestraを使用していない方にも参考になるはずです。エージェントを構築しているのであれば、その出力が時間の経過とともにどのように評価されるべきか、プロセス全体を検討すべきだからです。\n\n### データセットの作成と管理\nデータセット機能はMaestraの最新バージョンに搭載されており、「Observability」タブからアクセスできます。\n\n1. 新しいデータセットの作成: 「Create New」ボタンをクリックし、データセット名（例: test）を入力します。オプションで説明を追加したり、スキーマを提供したりすることもできます。\n2. スキーマの役割: スキーマは、データセット内の各項目の入力を検証するのに役立ちます。特定のワークフロー（Maestraインスタンスに登録されているワークフローから選択可能）に対してデータセットを作成したい場合、そのワークフローの検証スキーマをすぐに利用できます。エージェントやスコアについても同様です。\n3. データ項目の追加:\n * 手動で追加: 「Add Item」ボタンをクリックし、直接入力（例: weather in Seattle）します。\n * CSVからインポート: CSVファイルをドラッグ＆ドロップして、CSVの列とデータセットのフィールドをマッピングします。例えば、CSVの「input」列をデータセットの「input」フィールドにマッピングするといった操作が可能です。\n\n### Ground Truthとは？\nここで「Ground Truth」という概念について説明します。他のオブザーバビリティプロバイダーでは、「Output」や「Expected Output」といった異なる名称で呼ばれることもあります。Maestraで「Ground Truth」という名称を採用した理由は、通常、これをスコア内で比較したい対象として用いるからです。これは、エージェントやワークフローの応答が「事実として正しい」かどうかを比較するための参照情報となります。例えば、ツールが適切に呼び出されたかどうかを確認するために使用されます。\n\n## まとめ\n本記事では、LLMエージェント開発における品質向上に不可欠な「データセット」と「エラー分析」の概念について、Maestraでの活用事例を交えながら解説しました。データセットは実験のベースラインを提供し、エラー分析は非決定論的なLLMの失敗モードを特定し、定量化するための強力な手法です。プロダクションレベルのエージェントを開発する上で、これらの評価プロセスは避けて通れない道であり、Maestraのようなツールを活用することで、より効率的に品質を担保し、改善サイクルを回すことが可能になります。エージェント開発の初期段階から、これらの評価プロセスを考慮に入れることが成功への鍵となるでしょう。\n\n### 参考動画\n- https://www.youtube.com/watch?v=R6pjAdGhxhQ