GPT-5.5の驚くべき能力：画像からサウンド、そして画像へ！

はじめに：AIが拓く新たな探求のフロンティア

本日、私たちはAIの分野で目覚ましい活躍をされているPietro氏をお招きし、その創造性の源泉と最新のAIモデル、特にGPT-5.5に関する洞察についてお話を伺いました。彼はエンジニア、デザイナー、創業者、そしてAIの可能性をいち早く探求する「AIウィスパラー」として多岐にわたる才能を発揮されています。

Pietro氏が語るAIへの情熱は、とある名言に集約されます。「私たちは海を探求するには遅すぎ、星には早すぎる。しかし、AIという新たな分野は、まさに今、探求できる未踏の領域だ。」彼はAIが提供する「潜在空間」を、マゼランやマルコ・ポーロがかつて世界を探検したように、誰もが自由に探求できる新しいフロンティアだと捉えています。AIの「心」に入り込み、その技術で何ができるかを探求することは、彼にとって非常に刺激的な体験だと言います。

GPT-5.5がもたらした大きな変化

Pietro氏は、GPT-5.5（仮称）を早期にテストした一人として、その進化に大きな驚きを覚えたと語ります。彼がGPT-5.5と初めて触れ合った際の印象は「大きな飛躍（big step change）」という言葉に集約されます。これまで非常に困難だった多くのことが、GPT-5.5では突如として可能になったのです。

Pietro氏は、新しいモデルが登場するたびに独自の評価項目（personal evals）を用いてその能力を測っています。その評価項目は、複数のツールを同時に実行する「エージェント的振る舞い（agentic behaviors）」や、「マルチモーダル機能」など多岐にわたります。

具体例として、GPT Vision（画像認識）の進化が挙げられました。以前のモデルでは、画像内の特定の箇所をAIに認識させるために、グリッド（格子状のオーバーレイ）を重ねる必要がありました。しかし、GPT-5.5では、そのような補助なしに、モデルが画像内のどこに注目すべきか、どこをクリックすべきかを推論できるようになっています。これは、視覚認識能力における画期的な進歩と言えるでしょう。

しかし、Pietro氏が真に注目しているのは、多くの人が見過ごしがちな「創造性」と「楽しさ」に関するモデルの能力です。AIがデザイナーとして、あるいは他のデザインエージェントを指揮するクリエイティブディレクターとして、どれほど優れた能力を発揮できるかという点に彼は強い関心を持っています。

驚愕のデモンストレーション：画像とサウンドの秘密通信システム

GPT-5.5の能力を示す最も印象的なデモンストレーションの一つが、「画像からサウンドへ、そしてサウンドから画像へ」という変換システムです。

Pietro氏は、GPT-5.5を用いて、画像を調和のとれたサウンドに分解し、さらにそのサウンドから元の画像を再構築するというアプリケーションを開発しました。これは、まるで二人の人間がサウンドを通じて秘密裏にコミュニケーションを取るような、ユニークなシステムです。

彼は当初、このアイデアの実現は不可能に近いと考えていました。なぜなら、画像とサウンドの変換には、暗号化、美しい音楽を生成する能力、そして画像のBase64エンコーディングとサウンドの比較といった、非常に複雑な技術的課題が山積していたからです。しかし、驚くべきことに、GPT-5.5とCodexを組み合わせることで、このシステムは一発で機能したのです。

デモンストレーションでは、OpenAIのロゴ画像をアップロードし、「曲を作成する」と指示すると、美しいサウンドが生成されました。Pietro氏はこの体験を、1980年代のSF映画『未知との遭遇』（Contact from the Third Kind）の中で、科学者たちがエイリアンと音でコミュニケーションを取るシーンに例え、その類似性に感銘を受けたと語っています。

さらに驚くべきは、生成されたサウンドファイルをダウンロードし、それを再びアプリケーションにドラッグ＆ドロップするだけで、元のOpenAIロゴ画像が完璧に復元されたことです。この一連のプロセスは、GPT-5.5が単にテキストを生成するだけでなく、多次元的な情報を理解し、変換し、再構築する能力を持っていることを明確に示しています。

Pietro氏は、このデモンストレーションを通じて、「どのようなアイデアもクレイジーすぎるということはない」というメッセージを伝えています。人間の想像力は、AIを活用する上での制約であってはならず、「もし恐れがなかったら何ができるだろう？」と自問自けることが重要だと強調しました。

新しいAIモデルの評価プロセス

Pietro氏は、GPT-5.5のような新しいモデルが登場した際に、その能力をどのように見極めるのかについても詳しく説明してくれました。彼が着目するポイントは主に以下の3つです。

1. 指示の遵守（Instruction Following）

   • モデルが与えられた指示にどれだけ正確に従うかという点です。意外にも、最新のモデルだからといって常に指示遵守能力が優れているとは限らない場合もあるそうです。しかし、GPT-5シリーズは一貫して「役に立つアシスタント」として高い指示遵守能力を示していると評価しています。

2. タスクの実行（Task Execution）

   • モデルが実際に要求されたタスクを実行できるか、その質はどうかという点です。

3. 他のエージェントの指揮能力（Directing Other Agents）

   • これは非常に複雑なタスクであり、AIが他のAIモデルやツール（エージェント）に対して指示を出し、連携させる能力を指します。Pietro氏は、Codex（AIコーディングアシスタント）との連携において、特定のショートカット（例：「Spawn」と入力すると特定の動作をする）を設定し、その指揮能力をテストしていると語っています。

これらの評価を通じて、Pietro氏は各モデルのユニークな強みと潜在能力を引き出し、誰も思いつかないようなクリエイティブな活用法を探求し続けています。

まとめ：AIと想像力の融合が未来を拓く

Pietro氏との対話から、私たちはGPT-5.5がこれまでのAIモデルと比較して、特にマルチモーダル能力と創造性において顕著な進化を遂げていることを深く理解することができました。画像とサウンドを相互に変換する「秘密通信システム」のデモンストレーションは、AIが人間の想像力をはるかに超えた、未知の領域を探索する可能性を秘めていることを強く示唆しています。

重要なのは、AIの進化に合わせて私たち自身の思考の枠を取り払い、「もし恐れがなかったら、このAIで何ができるだろう？」という問いを常に持ち続けることです。Pietro氏の言葉の通り、AIは私たちに新たなフロンティアを提供しており、その探求は始まったばかりです。技術的な制約が薄れるにつれて、人間の創造性がAIとの対話を通じてどのように拡張され、現実世界に新たな価値をもたらすのか、今後の発展が非常に楽しみです。

参考動画

https://www.youtube.com/watch?v=SPC_yCe1cUw