腾讯 · 混元
AI Infra面经
完整信息
本篇目录
给我面没招了，觉得自己好菜...
- 先问fp4
- 量化的矩阵乘维度
- 先问硬件怎么做量化的。
- 量化的硬件需要啥
- 问了一些gpu的问题。
- 怎么分析系统瓶颈。
- 问了flash attn。
7.1 有什么用？
7.2 矩阵维度推导。
7.3 k包不包含q的那个1
7.4 多头多batch怎么并行
本篇目录
当前问题0106
- 01
先问硬件怎么做量化的。
- 02
量化的硬件需要啥
- 03
怎么分析系统瓶颈。
- 04
问了flash attn。 7.1 有什么用？
- 05
矩阵维度推导。
- 06
多头多batch怎么并行