戻る

Claude Codeのキャッシュヒット率が急落、v2.1.90とv2.1.91で回復

ArkNillのプロキシ監視によると、キャッシュ関連のクライアントバグによりプロンプトキャッシュのヒット率が4%〜17%に低下し、その後のバージョンで性能が回復するまで利用コストが10〜20倍に増加した。

要約

元の本文が短いため要約なし

用語解説
  • プロンプトキャッシュ: 以前に処理したプロンプトデータを再利用し、重複計算を減らしてレイテンシーを低下させ、モデル利用コストを削減する仕組み。
  • プロキシ監視: 仲介サービスを通じてアプリケーショントラフィックを観測し、キャッシュ性能やリクエストパターンなどの挙動を測定する手法。
  • クライアントバグ: ユーザー側アプリケーションに存在するソフトウェア上の不具合であり、キャッシュやAPI (Application Programming Interface)リクエスト処理を含む想定通りの動作を妨げる可能性がある。