マッキンゼー・アンド・カンパニーによると、AIの処理能力にかかるコストは急速に低下している一方、企業の請求額は増加している。企業が自律型エージェントを通じて、はるかに多くの処理能力を利用しているためである。GPT-4は2023年初め、100万出力トークン当たり60ドルで投入されたが、ベンチマーク性能がほぼ同等のモデルは現在、一部の場合で100万出力トークン当たり1ドルを大きく下回る価格で利用できる。それでも、エージェント型ワークロードは異なる推論経路をたどる可能性があり、実行ごとのコスト差は最大30倍に達する。調査対象組織の約3分の1は、技術・通信予算の10％超をAIに支出しており、60％は1年以内の支出増を計画している。また、約5社に1社は、AIコストが営業費用を圧迫し始めていると回答した。マッキンゼーは、実行コスト、成功率、人による検証時間などを含め、エージェントをタスク単位で測定するよう推奨している。企業は支出の可視性を高め、タスクに応じてモデルとワークフローを組み合わせ、不要なツール呼び出しやループを減らし、ライセンス、利用枠、ベンダーとの契約条件を管理すべきだという。同社は、無差別にコストを削減するのではなく、AI支出を最も高いリターンが見込める分野に振り向けることが目標になるとしている。