戻る

Delta-Matching、大規模言語モデルのFP8学習スループット2倍をアンロック

検証中
  • MITとカーネギーメロン大学の研究者らが、大規模言語モデルのネイティブFP8学習向けにDelta-Matchingを導入した。
  • NVIDIA H100のFP8テンソルコアは3958テラフロップスで、BF16の1979テラフロップスを上回る。
  • 試験では、パラメーター数5億6900万、16億7000万、52億9000万のモデルを対象とした。
当サイトの情報はAIを用いて生成されており、正確性を保証するものではありません。 参考情報としてご活用ください。