字节跳动
LLM 算法二面面经
完整信息
本篇目录
攒人品中！
1.手撕mha
写完之后问了几个问题：
- rope应该加在哪里
- kvcache怎么加
- dropout加在哪
- mask怎么加
拷打简历
业务场景题：比如针对业务需求怎么构建数据集
本篇目录
当前问题0106
- 01
手撕mha
- 02
rope应该加在哪里
- 03
kvcache怎么加
- 04
dropout加在哪
- 05
mask怎么加
- 06
比如针对业务需求怎么构建数据集
攒人品中！
1.手撕mha
写完之后问了几个问题：
拷打简历
业务场景题：比如针对业务需求怎么构建数据集
当前问题0106
手撕mha
rope应该加在哪里
kvcache怎么加
dropout加在哪
mask怎么加
比如针对业务需求怎么构建数据集