AIエージェント向けVMの挑戦：Freestyle.shが語る自社ホスティングの真実とサンドボックス戦争

近年、AIエージェントの進化は目覚ましく、あらゆるタスクをバックグラウンドで処理する時代が到来しつつあります。これらのエージェントは、数時間、数日にわたってタスクに取り組み、1つのタスクで数十億ものトークンを消費することがあります。このような膨大な処理能力を必要とするAIエージェントの要件は、従来のインフラストラクチャに大きな課題を投げかけています。8GBのコンテナではもはや対応しきれず、より高いI/O、より多くのRAM、ストレージ、CPU、そして優れた仮想化技術が求められています。

本記事では、AIエージェント向けにVM（仮想マシン）を提供するFreestyle.shの共同創業者兼CEOであるBen氏のインタビューを元に、彼らが直面した課題、そしてAIエージェントのためのインフラがなぜVMへと向かうのか、さらには彼らのユニークな自社ホスティング戦略について深く掘り下げていきます。特に、一般的な「サンドボックス」という言葉の裏に隠された実態についても触れていきます。

Freestyle.shの軌跡：サーバーレスJSからAIエージェント向けVMへ

Freestyle.shの創業は、現在のAIエージェント向けVMとは異なる出発点にありました。約18ヶ月前、彼らはサーバーレスJavaScript実行環境という、非常に興味深いコンピューティング基盤を構築していました。このシステムは、10ミリ秒のコールドスタート、P99（99パーセンタイル）の応答速度が約150ミリ秒という、優れたパフォーマンスを誇っていました。

しかし、この革新的な技術は市場に受け入れられませんでした。「これは〇〇と互換性がない」という声が多数を占め、多くの人々が求めていたのは、もっとパワフルなソリューションであることがBen氏にとって次第に明らかになっていきました。当時の彼らは「アンダーシュート」（目標を下回る）していたと感じ、そこから「オーバーシュート」（目標を上回る）する形でVMへと舵を切ることになります。

また、共同創業者と共にAppleのコントラクターをしていたYC（Y Combinator）参加前には、SupabaseやConvexの競合となるようなデータベースエンジンを開発していました。YC期間中もこのデータベースエンジンの開発を続けましたが、2024年11月には、もはや人々はエージェントでコードを記述するようになるという現実に直面し、人間向けのツールとしてのデータベースエンジンの限界を感じ、開発を中止しました。そして、AIエージェント向けのデプロイメントと実行に特化することを決断し、現在ではAIエージェントのためのVMとコードストレージに最大限注力しています。

なぜVMがAIエージェントに必要なのか

AIエージェントは、非常に計算負荷の高いタスクを実行します。数時間にわたるタスクで数十億ものトークンを消費するような場合、従来の軽量なコンテナ環境では対応しきれません。Ben氏は、これらのエージェントには以下のような要件があると指摘します。

高I/O (Input/Output): 大量のデータ入出力処理能力
大容量RAM (Random Access Memory): より多くのメモリ
大容量ストレージ: データ保存のための広大なスペース
高性能CPU (Central Processing Unit): 高い処理能力
優れた仮想化技術: 効率的で安定した仮想環境

特に、Ben氏は「サンドボックス」という言葉に対して否定的な見解を持っています。彼によれば、「サンドボックス」は「質の悪いVMを隠すために作られた言葉」であり、「サンドボックス戦争は始まったばかり」であると述べています。Freestyle.shは、自身をサンドボックスではなく、より堅牢でパワフルな「エージェントVM」として位置づけています。

驚きの自社ホスティング：ガレージでサーバーラックを運用する理由

Freestyle.shの道のりの中で、特に注目すべきは、彼らがガレージでサーバーラックを運用するという大胆な自社ホスティング戦略を採用している点です。この決断には、初期の開発段階で直面した具体的な課題がありました。

CI/CDの課題と自社サーバーの構築

初期のJavaScript実行環境を開発していた頃、彼らはV8エンジンと巨大なRustバイナリをビルドごとに再コンパイルしていました。これにより、ビルド時間は最大で45分にも及んでいました。当時のCI（継続的インテグレーション）サービスプロバイダーでは、Rustキャッシュを格納するのに十分な容量のディスクを提供できませんでした。

この問題を解決するため、彼らは自社のCIサーバーを構築することを決定しました。これは一時的な解決策と考えていましたが、驚くほど順調に機能し、最終的には全てのビルドを自社サーバーで行うようになりました。

VM運用におけるデータ移動の壁

VMの開発に着手して間もなく、彼らは大きな課題に直面しました。たとえ8GBのRAMと16GBのディスクを持つVMであっても、合計24GBものデータになります。このVMイメージをノード間で移動させることは、非常に困難で時間がかかる作業でした。

例えば、基本的なEC2のネットワーク環境では、1GB/秒の速度が出ても、24GBの移動にはベストコンディションで30秒かかります。S3のようなサービスを使っても速度は同程度です。クラウドプロバイダーは一般的に、このような大量のデータ移動を効率的に処理することを好まず、コンピューター自体もデータ移動を苦手とします。

「ノードを大きくすれば、問題は小さくなる」という仮説

この問題に対し、Ben氏たちは「もし我々が全てを自身のノードで完結させることができれば、そのノードをより大きくすることで、このデータ移動の問題を大幅に軽減できるのではないか」という仮説を立てました。

この仮説を裏付ける出来事がありました。初期のプロトタイプ段階で、クラウド上のバージョンが故障した際、彼らはそれを古いコンピューターの1台に切り替えたところ、クラウド上よりも良いパフォーマンスを発揮したのです。

高額なクラウド費用と自社ホスティングの決断

さらに、クラウド費用も自社ホスティングを推進する大きな要因となりました。ある月には、クラウド費用が4万5000ドルから5万ドルに達し、ログだけでも1日に数千ドルを支払っていた時期もありました。Ben氏は、大量のログを扱うならばClickHouseを自社ホストすることを強く推奨しています。

これらの経験から、彼らの事業において効率とマージンを考慮すると、自社ホスティングがより理にかなっていることが明らかになりました。

自社ホスティングの実現と信頼性確保

自宅でサーバーを運用するというアイデアは、まるでドラマ「シリコンバレー」に出てくるギルフォイルのようですが、Freestyle.shはこれを現実のものにしています。Ben氏の共同創業者であるJacob氏が、このインフラ構築の多くを主導しました。

自宅での運用には、いくつかの重要な前提条件と工夫があります。

自宅の所有: アパートでは難しい、自宅を所有していること。
冗長化されたインフラ:
- 冗長化されたインターネット回線。
- バックアップ電源ラインの設置。
- Power Wallと地下室に灯油発電機、さらに灯油の備蓄。
物理的な改修: より多くの電力を供給するため、文字通り壁に穴を開けて配線を通しました。
セキュリティ: 指紋認証ドアを設置し、物理的なアクセスを制限しています。

彼らは、この自社ホスティング環境の信頼性確保に多大な努力を払っています。Ben氏によれば、コンピューター、特にLinuxは非常にうまく機能し、予想されるような問題の多くは実際には発生しませんでした。例えば、数百台ものドライブを運用していますが、ドライブ自体の故障は一度もないとのことです。

意外にも、最大の課題はクラウド上と同様に「ネットワーキング」でした。「どうすればこのノードを顧客に届けられるのか？」「どうすればノード同士が通信し、互いを破壊しないようにできるのか？」といった問題に直面しました。過去3ヶ月間で最も深刻だった問題は、皮肉にも自分たち自身でDDoS攻撃を仕掛けてしまうことだったとBen氏は語っています。

まとめ

AIエージェントの爆発的な進化は、それを支えるコンピューティングインフラに新たな要求を突きつけています。Freestyle.shのBen氏の言葉からは、8GBコンテナでは不足し、より堅牢なVMが必要とされる現状が浮き彫りになります。彼らが「サンドボックス」という言葉を批判し、自社のVMソリューションを「エージェントVM」と称するのは、単なる言葉遊びではなく、AIエージェントが求める真の性能と信頼性へのこだわりを示しています。

また、初期のサーバーレスJavaScript実行環境からAIエージェント向けVMへのピボット、そしてクラウドの限界を感じてガレージでの自社ホスティングに踏み切った彼らの軌跡は、スタートアップがいかに柔軟かつ大胆に技術的課題に向き合うかを示唆しています。高額なクラウド費用、データ移動の非効率性といった現実的な問題に対し、冗長化されたインフラや徹底した信頼性設計を施した自社ホスティングは、コストとパフォーマンスの両面でメリットをもたらす選択肢となり得ることを証明しています。

AIエージェントが今後も進化を続ける中で、それを支えるインフラはますます重要になります。Freestyle.shのような企業が提示する「エージェントVM」と、常識にとらわれない自社ホスティングのアプローチは、未来のコンピューティング環境のあり方について深く考えさせるものです。

参考動画: https://www.youtube.com/watch?v=eBbnshMZOuI

ポイント