Marvell、8月4日から6日にAI向けメモリー・ストレージ製品群を公開へ

Marvellは、新たな製品群がサーバーレベルのAIメモリー、ラックスケールのCXL拡張・プーリング、複数キャビネットにまたがる光共有メモリーを網羅し、推論のボトルネック解消に対応すると述べた。

要約

Marvell Technologyは、AIインフラ向けの新世代メモリーソリューションを投入すると発表した。8月4日から6日に予定する展示内容を拡充し、サーバーレベルのAIストレージ、ラックスケールのCXLメモリー拡張・プーリング、複数キャビネットにまたがる光インターコネクトベースの共有メモリーに及ぶ製品をそろえる。同社によると、この製品群は、より大規模なモデル、より長いコンテキストウィンドウ、KV cache需要の増加がAIシステムへの圧力を強める中、エージェント型AI推論で深刻化するメモリー容量および帯域幅の制約を緩和することを狙っている。Marvellは、従来の計算資源とメモリーを密結合したアーキテクチャーが推論効率をますます制約しているとし、メモリーの分離により、計算資源からより独立してメモリーを拡張でき、GPU利用率を高め、データ移動に伴う遅延を削減できると述べた。今回の更新は、AIインフラの設計が計算資源優先のアプローチから、計算資源、メモリー、インターコネクトを協調最適化する方向へ移行しているとのMarvellの従来の主張を、より詳細に示す内容となっている。

用語解説
  • KV cache: AI推論時に使用され、モデルの応答を高速化するための保持済みアテンションデータ。
  • CXL: システム間でメモリー拡張とプーリングをサポートする高速インターコネクト標準。
  • memory disaggregation: メモリーの拡張を計算資源から切り離し、より独立して拡張できるようにするアーキテクチャー。