NVIDIAは、12月にチップ新興企業Groqから資産を200億ドルで買収して得た技術を商用化し、Groq 3 LPX推論アクセラレーターの本格生産を開始した。Vera Rubin NVL72 AIプラットフォームを補完するよう設計された同ラックは、モデルの応答をトークン単位で生成するモデルサービングのデコード段階を対象とし、リアルタイムのエージェント型AIやコーディングなど、レイテンシーが重視されるワークロードを想定している。NVIDIAによると、Groq 3 LPXはオープンソースのGemma 4 31Bモデルを使った長文コンテキストのベンチマークで、毎秒3400出力トークンを生成し、競合プラットフォームの4倍の性能を示した。CoreWeaveとNebiusが先行導入企業となっているほか、SpaceXAIは、データセンターと軌道上の衛星にまたがる次世代アーキテクチャにNVIDIA Vera CPUを導入する計画である。これらのシステムはCPU、GPU、ネットワーキング、推論アクセラレーターを組み合わせ、AI関連の支出が大規模な推論やマルチエージェントアプリケーションへと移行する中で、トークン当たりのコストを削減する。NVIDIA株は8月24日時点で210.31ドルとなり、24時間で2.05%下落した。同社の時価総額は5兆1300億ドルだった。