不同版本的 FlashAttention 分别优化了哪些瓶颈,如何与硬件机制对应?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

4 篇

禾赛科技

AI Infra
秋招一面
查看原面经 →
随后问了不同版本 FlashAttention 的区别。

快手

AI Infra
二面
查看原面经 →
fa3和fa4区别

快手

AI Infra
一面
查看原面经 →
有没有读过flash attention的代码,V2比起V1做了哪些改进?细聊一下他是怎么改进的。有没有了解最近的V4版本?

公司未注明

AI Infra
日常实习
查看原面经 →
flashattention v1-v3、flashdecoding

相关题目

4 题