MHA、MQA、GQA 与 MLA 如何影响 KV Cache 的存储开销？
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
问 AI
本题目录
相关面经
7 篇
OPPO
面经合集
除GQA分组共享KV之外，还有哪些同类优化方案，是否了解MLA多头隐式注意力？
腾讯
推荐算法MHA、MQA、GQA 在 KV Cache 显存占用和模型效果上有什么区别？
公司未注明
面经合集
"GQA为什么能在效果几乎不降的情况下省显存，MQA为什么会掉点" —— 我只会说"共享KV头"，说不出为什么MQA掉点更多。这题其实要从KV表达能力的角度去讲。
爱奇艺
AI 平台研发工程师（Infra 方向）校招春招一面、二面、三面、四面
MQA/GQA/MLA 区别
百度
AI Infra 实习生实习暑期一面
kv- cache的维度一般是多少，只想起了mla的维度是512，其余的维度说和q的维度是对应的