Prefill-as-a-Service：次世代モデルのKVキャッシュはデータセンターを横断できるか

· top-stories · Source ↗

原文（英語）: Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter