Marvell将于8月4日至6日发布AI内存和存储产品组合

Marvell表示,其新产品线涵盖服务器级AI内存、机架级CXL扩展与池化,以及跨多个机柜的光学共享内存,以应对推理瓶颈。

摘要

Marvell Technology表示,正推出新一代面向AI基础设施的内存解决方案,并在此前8月4日至6日展示的基础上进一步扩展,产品覆盖服务器级AI存储、机架级CXL内存扩展与池化,以及基于光互连、跨多个机柜的共享内存。该公司称,这一产品线旨在缓解代理式AI推理中日益突出的内存容量和带宽限制;随着模型规模扩大、上下文窗口变长以及KV缓存需求上升,AI系统正承受更大压力。Marvell表示,传统的计算与内存紧耦合架构正日益限制推理效率,而内存解耦可使内存相较计算实现更独立的扩展,提高GPU利用率并降低数据移动延迟。此次更新进一步细化了Marvell的整体观点,即AI基础设施正从以计算为先的设计思路,转向对计算、内存和互连进行协同优化。

术语与概念
  • KV缓存: AI推理过程中使用的已存储注意力数据,可帮助模型更快作出响应。
  • CXL: 一种高速互连标准,支持跨系统的内存扩展和池化。
  • 内存解耦: 一种将内存扩展与计算资源分离的架构,使两者能够更独立地扩展。