MoE 专家是在 Batch 维度还是 Token 维度激活,如何判断?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

美团

大模型算法实习生
实习暑期二面
查看原面经 →
了解过moe吗,原理是什么,讲讲如何做负载均衡的。moe是bacth维度还是token维度还是什么维度的激活?

相关题目

4 题