拼多多
AI Infra面经
完整信息
本篇目录
1.Transformer相比MLP的优点
2.介绍MHA、GQA和MLA
3.算法和Infra工作有什么不同，侧重点分别是什么
4.如何优化模型训练中的访存
5.有没有算子开发优化经验
6.介绍下针对k散度算子做了哪些优化
7.了解PagedAttention吗
8.Trition和CUDA区别
9.手撕代码
1)MHA
2)C++编程
本篇目录
当前问题0109
- 01
Transformer相比MLP的优点
- 02
介绍MHA、GQA和MLA
- 03
算法和Infra工作有什么不同，侧重点分别是什么
- 04
如何优化模型训练中的访存
- 05
有没有算子开发优化经验
- 06
介绍下针对k散度算子做了哪些优化
- 07
了解PagedAttention吗
- 08
Trition和CUDA区别
- 09
MHA