Marvell表示,其新产品线涵盖服务器级AI内存、机架级CXL扩展与池化,以及跨多个机柜的光学共享内存,以应对推理瓶颈。
Marvell Technology表示,正推出新一代面向AI基础设施的内存解决方案,并在此前8月4日至6日展示的基础上进一步扩展,产品覆盖服务器级AI存储、机架级CXL内存扩展与池化,以及基于光互连、跨多个机柜的共享内存。该公司称,这一产品线旨在缓解代理式AI推理中日益突出的内存容量和带宽限制;随着模型规模扩大、上下文窗口变长以及KV缓存需求上升,AI系统正承受更大压力。Marvell表示,传统的计算与内存紧耦合架构正日益限制推理效率,而内存解耦可使内存相较计算实现更独立的扩展,提高GPU利用率并降低数据移动延迟。此次更新进一步细化了Marvell的整体观点,即AI基础设施正从以计算为先的设计思路,转向对计算、内存和互连进行协同优化。