迁移 KV Cache 与重新执行 Prefill 应如何比较成本?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

阿里巴巴

AI Infra
一面
查看原面经 →
追问
KV Cache如何复用与传输,什么场景下传输KV不如重新执行Prefill

相关题目

4 题