Brian Armstrong表示,随着Coinbase通过更优默认设置、路由和缓存降低成本,大多数员工从未触及使用上限,而开源模型现已被设为默认选项。
Brian Armstrong表示,尽管代币使用量呈指数级增长,Coinbase仍将AI支出削减近50%,反映出推动成本下降的是效率提升而非更严格的限制。他表示,这些节省主要来自优化默认模型选择、将请求路由至成本更低的选项,以及扩大缓存(复用此前的模型响应),而不是依赖使用上限或告警系统来遏制需求。Armstrong补充称,91%的员工从未达到使用上限,而智谱的GLM 5.2和Moonshot AI的Kimi 2.7等开源模型,现已通过LLM网关(用于路由AI模型请求的系统)成为默认选项。他还表示,LibreChat缓存命中率已从5%升至60%,这表明更多提示词可直接通过存储结果获得响应,而无需重新调用模型。