エントロピーと低ランク再構成によるKVキャッシュの高精度圧縮

論文概要

• HAE-OLS を提案：エントロピーベースのアテンション選択 + OLS + SVD を組み合わせた KV キャッシュ圧縮手法
• LLM における KV キャッシュの削除エントリを高精度に再構成することを目標とする
• SVD による低ランク再構成で、標準的な Top-K 削除で失われた情報を回復する

HN（Hacker News）での議論

• 再構成誤差が実際の下流タスクの性能向上につながるかを問うコメントが複数
• OLS + SVD のオーバーヘッドと単純な Top-K 削除のレイテンシ比較を懸念する声も
• SVD の活用がこれほど見落とされていたことへの驚き；エントロピーによる定式化が鍵だったとの見方

HN で議論を読む

原文（英語）: High-Fidelity KV Cache Summarization Using Entropy and Low-Rank Reconstruction