Embedded LLM、AMD対応AIクラウド向け「TokenVisor Spaces」を開始

Embedded LLMは、AMD対応のAIクラウドおよび企業導入向けの新製品「TokenVisor Spaces」を立ち上げた。エージェント実行、モデル推論、ポリシー制御、監査可能なワークスペースを一体化し、ガバナンスを備えたエージェント型AIサービスとして提供する。AMD Advancing AI 2026に合わせて発表された同製品は、AIクラウド事業者や企業がAMDサーバー基盤上で長時間稼働するAIエージェントを運用できるよう設計されており、実行はAMD EPYC x86 CPU、推論はAMD Instinct GPUで行う。 同社によれば、この製品は企業向けAI導入における実務上の空白を埋めることを目的としている。エージェントには単なるトークン生成ではなく、永続的なワークスペース、ツールへのアクセス、承認、ポリシー適用、メータリング、監査証跡が必要である。TokenVisor Spacesは、シェルアクセス、ファイル、コード、ブラウザー自動化、各種ツール向けの分離コンテナに加え、人による承認ワークフロー、再生可能なイベント履歴、TokenVisorを通じたガバナンス付きモデルアクセスを提供する。Embedded LLMは、同製品がRed Hat OpenShift（Kubernetesベースのコンテナ基盤）上で検証済みであり、OpenShiftがコンテナとGPUを管理する一方、TokenVisorが権限管理、ルーティング、予算、レート制限、メータリング、監査性を担うと説明した。 Embedded LLMはまた、長時間稼働するエージェントにおけるKVキャッシュ再利用（保存済みのモデル文脈を再利用し、プロンプトの再計算を回避すること）の経済性を強調した。SemiAnalysisを引用し、Claude Codeの150万件超のリクエスト全体で全トークンの約95%がキャッシュ読み出しであり、その結果、プロンプトトークンのコストを約84%削減したとした。別のベンチマークでは、AMD Instinct MI355X GPU上でvLLM、LMCache ConnectorV1、AMD hipFile/GDS、ネイティブのローカルNVMeを用いた場合、同等条件のvLLM HBMプレフィックスキャッシュ基準と比べ、ウォームターンの中央値レイテンシーが3.31倍低下し、総経過時間は2.23倍高速になったと報告した。 今回の立ち上げに合わせ、VAST DataおよびTensormeshとの協業も発表された。対象は、プラットフォーム規模でのKVキャッシュ再利用、エージェント状態、トレース取得、リプレイと評価、RL（強化学習）データである。TokenVisor Spacesは、AIクラウド事業者、プライベートAI環境、オンプレミス企業向けに、パートナー導入および評価用として提供されている。