テザーAI、オープンソースのTurboQuantを公開 KVキャッシュを最大5倍圧縮

テザーAIは、最新版のQVAC SDKにGoogle ResearchのTurboQuantを統合したと発表した。これは、出力品質をほぼ変えることなく、KVキャッシュの使用量を最大5倍削減するメモリ圧縮技術である。同社によると、この更新はノートPCやスマートフォンでのローカルAIの性能向上を目的としており、中央集権型クラウドシステムへの依存を減らすという、より広範な目標も支える。

当サイトの情報はAIを用いて生成されており、正確性を保証するものではありません。 参考情報としてご活用ください。