怎样通过消融证明收益来自 MoE 结构,而非 FFN 参数量增加?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

字节跳动

大模型算法
日常实习二面
查看原面经 →
MOE 激活的分布,怎么确定是 MOE 的效果而不是单纯 ffn 参数量增大的效果

相关题目

4 题