麦肯锡公司表示，尽管企业账单不断上升，AI智能的成本仍在快速下降，原因在于企业正通过自主代理消耗更多能力。GPT-4于2023年初推出时，每百万输出令牌的价格为60美元；如今，在某些情况下，基准测试表现大致相当的模型每百万输出令牌的价格已远低于1美元。然而，代理式工作负载可能遵循不同的推理路径，导致不同运行之间的成本差异最高可达30倍。约三分之一的受访企业在AI上的支出占其技术与通信预算的10%以上，60%的企业计划在一年内增加支出，约五分之一的企业表示，AI成本已开始挤压运营支出。麦肯锡建议以任务为单位衡量代理表现，包括执行成本、成功率和人工核验时间。企业应提高支出透明度，根据任务匹配模型和工作流，减少不必要的工具调用和循环，并管理许可证、配额及供应商条款。该公司表示，目标应是将AI支出导向回报最高的领域，而不是不加区分地削减成本。