Meta拟整顿员工AI令牌使用,内部成本迈向数百亿美元

一份泄露的备忘录称,Meta正在建设一个中央AI Gateway,以实时追踪员工AI使用情况和支出;随着内部令牌消耗激增,2026年的相关成本预计将达到数百亿美元。

摘要

根据一份发给约6,000名员工的泄露备忘录,Meta正在建设一个中央AI Gateway,以实时监控员工AI使用情况和支出、设定预算并限制令牌消耗。文件显示,在一个内部排行榜被关闭前,内部令牌使用量在30天内达到73.7万亿;Meta目前预计,仅员工AI使用一项在2026年的成本就将达到数百亿美元。该系统将让各团队查看自身AI使用情况,在支出异常飙升时触发警报,并推出结构化令牌管理,预计到2027年全面实施。未来几周,Meta还准备引导员工减少使用外部AI编码工具,转而使用其自有助手MetaCode(此前名为Devmate)。这一转变凸显出企业界更广泛的努力,即遏制所谓的“tokenmaxxing”,因为包括亚马逊、微软和Uber在内的公司都在应对一个问题:快速增长的AI令牌消耗是否正在转化为可衡量的生产率提升。

术语与概念
  • AI Gateway: 一个用于监控内部AI使用情况、预算和支出控制的集中式系统。
  • AI tokens: 用于衡量AI服务消耗的单位,通常与模型使用量和成本挂钩。
  • tokenmaxxing: 尽可能使用最多AI令牌的做法,有时是为了提高使用指标,而非提升产出。