Prefill 与 Decode 分离后,KV Cache 如何高效传输与接续使用?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

3 篇

阿里巴巴

AI Infra
二面
查看原面经 →
追问
Prefill节点产出的KV Cache如何高效同步至Decode节点

阿里巴巴

AI Infra
一面
查看原面经 →
KV Cache如何复用与传输,什么场景下传输KV不如重新执行Prefill

百度

AI Infra 实习生
实习
查看原面经 →
pd分离:架构变化,KVcache变化,数据传输,给定一个常规模型,7.计算生成一个 token 占用的 KV Cache 空间公式

相关题目

4 题