返回

Delta-Matching旨在为大语言模型解锁2倍FP8训练吞吐量

正在验证中
  • 麻省理工学院和卡内基梅隆大学的研究人员推出了Delta-Matching，用于大语言模型的原生FP8训练。
  • 英伟达H100的FP8张量核心可提供3,958万亿次浮点运算，而BF16为1,979万亿次浮点运算。
  • 测试涵盖参数量为5.69亿、16.7亿和52.9亿的模型。
本网站上的信息是使用AI生成的，我们无法保证其准确性。 请仅作为参考信息使用。