AMD与Cerebras合作,瞄准AI推理效率提升5倍

Cerebras表示,其芯片将于今年晚些时候用于部署在Cerebras数据中心的AMD Helios系统,此后公司股价上涨约4%,这进一步推动了其向超低延迟AI基础设施领域的广泛布局。

摘要

AMD与Cerebras Systems公布了一项技术合作,旨在打造一个解耦式AI推理平台,将AMD Helios机架级系统与Cerebras晶圆级引擎相结合。两家公司表示,该方案旨在实现超低延迟AI推理,同时提升吞吐量和效率,据称每瓦每秒生成的token数量可提升5倍。Cerebras首席执行官Andrew Feldman在AMD于旧金山举行的AI大会上表示,从今年晚些时候开始,Cerebras芯片将用于安装在Cerebras数据中心内的AMD Helios AI系统,服务器买家也将能够配置搭载Cerebras晶圆级芯片的AMD系统。消息公布后,Cerebras股价周四上涨约4%,报 $219.80。此次合作凸显出,随着实时应用需求增长,AI基础设施提供商正试图在响应速度、能效和灵活性之间取得平衡。此前,Cerebras于1月宣布与OpenAI达成一项价值逾 $10 billion 的协议,将在2028年前提供750兆瓦算力。

术语与概念
  • AI推理: 指经过训练的AI模型处理实时请求并生成输出的阶段。
  • 超低延迟: 指非常快的响应时间,对于几乎需要即时给出答案的AI应用尤为重要。
  • 晶圆级芯片: 指使用整片硅晶圆制造的处理器,可提供极大规模的计算性能。