OpenAI、推論テストでハラペーニョチップがNvidiaのGB200とGB300を上回ったと発表

OpenAI、推論テストでハラペーニョチップがNvidiaのGB200とGB300を上回ったと発表

Broadcomが製造したOpenAIの推論ASICは、NvidiaのBlackwellシステムを上回るワット当たり処理性能と低レイテンシーを記録し、ジム・クレイマー氏が脅威を退ける一方、幹部はトークン価格の低下を指摘した。

要約

OpenAIは、Broadcomと共同開発したカスタムAI推論ASIC「Jalapeño(ハラペーニョ)」について、InferenceXのベンチマーク結果を公表した。同チップは、GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tを対象に、NvidiaのGB200およびGB300のBlackwellシステムと比較して、ワット当たりのAI処理量が1.5~1.9倍、エンドツーエンドのレイテンシーが1.7~3.6倍低く、トークン間の最短時間も2.7~4.1倍短かったという。ハードウェア担当バイスプレジデントのリチャード・ホー氏は、ワット当たりの性能が既存チップを1.8~4倍上回る可能性があり、生産規模の拡大に伴って顧客向けのトークン価格は低下するはずだと述べた。一方、サム・アルトマン最高経営責任者(CEO)は、同チップが高速だと簡潔に指摘した。OpenAIは2026年末までに少量での導入を開始し、2027年に本格的な増産を予定している。また、すでに第2世代および第3世代の設計を進めており、Jalapeñoを全面的な代替品と位置づけるのではなく、学習と推論向けにNvidiaなどのアクセラレーターの購入も継続する方針だ。ジム・クレイマー氏は、カスタムチップがNvidiaの優位性に本格的に挑戦するとの見方に懐疑的な姿勢を崩さなかった。Nvidia株は213.05ドルで取引を終え、2.19%上昇した。時間外取引でも小幅に上昇した。

用語解説
  • AI推論: モデルを構築する学習段階とは異なり、学習済みモデルを実行して出力を生成するプロセス。
  • ASIC: 汎用コンピューティングではなく、限られた種類の処理向けに設計された特定用途向け集積回路。
  • ワット当たりの性能: プロセッサーが消費する電力1単位当たりに提供できる有用なAI処理量。