OpenAI称Jalapeño芯片在推理测试中超越英伟达GB200和GB300

OpenAI称Jalapeño芯片在推理测试中超越英伟达GB200和GB300

OpenAI与博通共同打造的推理ASIC在每瓦工作量和延迟方面均优于英伟达Blackwell系统,高管称这将带来更低的代币成本,但吉姆·克莱默对此威胁不屑一顾。

摘要

OpenAI公布了Jalapeño的InferenceX基准测试结果。Jalapeño是其与博通共同开发的定制AI推理ASIC。OpenAI称,在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T测试中,该芯片的每瓦AI工作量达到英伟达GB200和GB300 Blackwell系统的1.5至1.9倍,端到端延迟降低至后者的1/1.7至1/3.6,代币间最短耗时则低2.7至4.1倍。硬件副总裁Richard Ho表示,该芯片的每瓦性能可能达到现有芯片的1.8至4倍,并称随着产量扩大,客户支付的代币价格应会下降;首席执行官Sam Altman则仅表示该芯片速度很快。OpenAI计划在2026年底前进行小规模部署,并于2027年扩大规模;目前已在推进第二代和第三代设计。该公司还将继续购买英伟达及其他加速器,用于训练和推理,而不会将Jalapeño视为全面替代方案。吉姆·克莱默仍对任何定制芯片能否真正挑战英伟达的市场占有率(Dominance)持怀疑态度。英伟达股价收于213.05美元,上涨2.19%,盘后交易中小幅走高。

术语与概念
  • AI推理: 运行已训练模型以生成输出的过程,与构建模型的训练阶段不同。
  • 应用特定集成电路(ASIC): 针对一组有限工作负载设计的集成电路,而非用于通用计算。
  • 每瓦性能: 处理器每消耗一单位电力所能提供的有效AI计算量。