AIコスト最適化の鍵：OpenAIが提唱する「タスクあたりのコスト」とモデル選定戦略DevDayパネルディスカッションより

近年、AI技術のビジネス活用が急速に進む一方で、その運用コストは無視できない課題となっています。特に大規模な言語モデル（LLM）を利用する際、コストの最適化は開発者や企業にとって非常に重要なテーマです。

OpenAIのDevDayでは、AIデプロイメントエンジニアリングチームのMandeep氏とSapto氏が、AIコスト最適化に関するパネルディスカッションを行いました。このディスカッションでは、コストを最適化するために注目すべき指標、タスクに合わせたモデルの適切な選定方法、そしてモデル以外の側面でのレバーについて、実際の顧客事例を交えながら深く掘り下げられました。本記事では、その議論の核心を分かりやすく解説します。

「トークンあたりのコスト」の落とし穴と「タスクあたりのコスト」の重要性

AIコスト最適化において、開発者が最も陥りやすい間違いの一つが、コスト指標の誤解から始まるとMandeep氏は指摘します。多くの人はOpenAIのウェブサイトに記載されている「入力および出力トークンあたりの単価（トークンあたりのコスト）」に注目しがちですが、この数値だけでは真のコストを把握することはできません。

なぜ「トークンあたりのコスト」だけでは不十分なのか？

トークン単価が安いモデルが、必ずしも「タスクあたりのコスト」で最も安価であるとは限りません。これには主に二つの理由があります。

トークン消費量の増加: 安価なモデルは、タスクを完了するために、より多くのトークンを消費したり、生成したりする可能性があります。結果として、単価は安くても総トークン量が増え、全体のコストが高くなることがあります。
人間の介入の必要性: モデルがタスクを適切に完了できず、最終的に人間が介入して処理を完了しなければならない場合、その人件費や時間も「タスクあたりのコスト」に含める必要があります。この介入コストは、モデルのトークンコストをはるかに上回る可能性があります。

正しい指標：「タスクあたりのコスト」

開発者や企業が本当に注目すべきは、「タスクあたりのコスト（cost per task）」です。これは、特定のタスクを完全に完了するためにかかる総コストを意味します。モデルが生成するトークンコストだけでなく、タスクの失敗によって発生する追加コスト（例えば、人間による手動での処理コスト）も考慮に入れるべきです。

具体的な事例に見る「タスクあたりのコスト」

事例1：航空会社のフライト変更チャットボット

Mandeep氏自身の経験として、航空会社のフライト変更を試みた際の話が紹介されました。彼はチャットボットを使ってフライト変更を試みましたが、AIは彼の要求を理解できず、最終的に「人間と話したい」と伝える必要がありました。結果的に、人間が介入してフライトを再予約することでタスクは完了しました。この場合、チャットボットが使用したモデルのトークンコストは安かったかもしれませんが、人間が介入してタスクを完了するのにかかった時間とコストを含めると、全体の「タスクあたりのコスト」は高くなってしまいます。航空会社は、AIがタスクを完了できなかった場合の人間による介入コストを含めた「タスクあたりのコスト」を考慮すべきだという教訓です。

事例2：Perplexityの検索ベンチマーク

OpenAIの顧客であるPerplexityは、以前のモデルと比較して、最新のGPT-4 Astraを使用することで、研究ベンチマークにおいて「9%高い精度で半分のコスト」を達成したと報告しています。GPT-4 Astraはトークンあたりのコストが相対的に高価である可能性があっても、少ないトークンでタスクをより正確に完了できるため、「タスクあたりのコスト」で見るとはるかに効率的であるという実例です。

事例3：Notionのモデル移行

同じくOpenAIの顧客であるNotionは、GPT-3.5からGPT-3.5 Solへ移行することで、精度を向上させつつ、「タスクあたりのコスト」を半減させることができたと報告しています。これもまた、最新かつ高効率なモデルへの移行がコスト最適化に貢献することを示す事例です。

これらの事例から、モデルの単なるトークン単価だけでなく、タスクの完了率、精度、そして最終的にタスクを成功させるためにかかる総費用を総合的に評価することの重要性が浮き彫りになります。

タスクに応じた最適なモデルの選定（ライトサイジング）

「タスクあたりのコスト」の重要性を理解したら、次に大きな課題となるのが、タスクに最適なモデルをどのように選定するか、いわゆる「ライトサイジング」です。

モデル選定のステップ

Mandeep氏は、モデルのライトサイジングを進める上で以下のステップを推奨しています。

タスクの明確な定義: まず、達成したいタスクを明確かつ具体的に定義します。例えば、航空会社の例であれば「チャットボットで問い合わせの80%を解決する」といった具体的な目標を設定します。
期待される精度の定義: そのタスクに対して、ビジネスが求める精度（例：80%の問い合わせ解決率）を明確にします。これは、単にモデルを動かすだけでなく、ビジネス価値に直結する成果を定義するものです。

目標は、この定義された精度を、可能な限り低コストで達成できるモデル、設定、および構成を見つけることです。

パレート曲線 (Pareto Curve) の活用

ここで重要な概念が「パレート曲線（Pareto Curve）」です。これは、互いにトレードオフの関係にある二つの変数（この場合は「精度」と「コスト」）をプロットし、一方を最適化するともう一方が悪化するという関係性を示すグラフです。AIモデルの選定においては、以下のように活用します。

異なるモデル、異なる設定、異なる構成（プロンプトやチェーンなどを含む）を試します。
それぞれの構成で「タスクあたりの精度」と「タスクあたりのコスト」を測定し、プロットします。
その中で、設定した精度閾値を満たし、かつ最もコスト効率の良いモデル構成を見つけ出します。

OpenAIでは、精度とコストの両面でパレートフロンティア（最適なトレードオフ点）に位置するモデルを提供しており、顧客はここから最適な選択を行うことができます。

モデル選定のアプローチ：シンプルなタスク vs. 複雑なタスク

OpenAIは、GPT-4 Astra（最先端の高性能モデル）、GPT-4.1 Sol（高知能かつコスト効率の良いモデル）、そしてLunaなどの効率的なモデル群を提供しています。

シンプルなタスク: 例えば、単純な分類やドキュメントからの特定フィールドの抽出など、知能をそれほど必要としないタスクの場合、まずはLunaのような小型で効率的なモデルから試すのが賢明です。多くのケースで十分な性能を発揮することがあります。
より高度な知能を要するタスク: 複雑な推論や計画が必要なタスクの場合、GPT-4 Astraのようなフロンティアモデルから始めるのが良いでしょう。

いずれの場合も、異なるモデルでテストを行い、パレート曲線を描くことで、性能閾値を満たし、かつ最もコスト効率の良いモデルを見つけることができます。

Luna Maxing の衝撃

ディスカッションでは、「Luna Maxing（ルーナ・マキシング）」という言葉が紹介され、会場の多くの参加者がその概念に親しみがあることが示されました。

これは、多くの顧客が驚くべきことに、高い、または非常に高い推論努力（reasoning effort）を伴うLunaが、以前の世代のより大型なモデルや競合他社のモデルを打ち負かすことがあるという事実を指します。Lunaは非常に有能なモデルであり、多くの顧客はワークフローの80〜90%においてLunaが非常にうまく機能すると報告しています。

Mandeep氏は、「Lunaを過小評価せず、ぜひ試してみてほしい。想像以上のことができるかもしれない」と強調しました。これは、必ずしも最も大きなモデルが最良の選択肢ではないことを示唆しています。

評価セットとコスト最適化のサイクル

モデル選定のプロセスでは、まず評価セットを用いて、ビジネスが求める精度閾値を満たすモデルを見つけることが重要です。そのモデルが見つかったら、次にその精度を維持しつつ、コストを最適化するための試行錯誤を繰り返します。このプロセスは一度きりではなく、継続的なサイクルとして実施することが、AIの長期的な運用において不可欠です。

まとめ

AIコストの最適化は、単にトークン単価の安いモデルを選ぶことではありません。OpenAIが提唱する「タスクあたりのコスト」という視点を持つことが、AIシステムを経済的かつ効果的に運用するための鍵となります。

本記事の主要なポイントは以下の通りです。

コスト指標の再考: 「トークンあたりのコスト」ではなく、「タスクあたりのコスト」に焦点を当てることで、真のコスト効率を評価します。
タスクと精度の明確化: AIに何をさせたいのか、どの程度の精度を求めるのかを具体的に定義します。
モデルのライトサイジング: パレート曲線を用いて、精度とコストの最適なバランスを見つけ、タスクに合った最適なモデルを選定します。
Lunaの活用: 小型ながらも非常に有能なLunaのようなモデルを積極的に評価し、過小評価しないことが重要です。
継続的な最適化: 評価セットを用いたモデル選定とコスト最適化のサイクルを継続的に回すことで、AI活用の費用対効果を最大化します。

これらのガイドラインを実践することで、企業はAI導入の障壁を下げ、より持続可能で費用対効果の高いAIソリューションを構築することができるでしょう。

参考動画

OpenAI DevDay: How to optimize AI costs - Panel Discussion: https://www.youtube.com/watch?v=_nmlHbSB8kM