大模型计算中的流水线并行和张量并行如何工作?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
问 AI
本题目录
相关面经
6 篇阿里巴巴
后端开发 / Agent 开发秋招二面
张量并行和流水线并行有什么区别?
腾讯混元
AI Infra一面
流水线并行对模型的切分思路,为什么落地实现难度很高?
快手
AI Infra 算法工程师二面
请简述流水线并行(PP)的实现逻辑、核心作用与存在的短板
百度
AI Infra 工程师秋招一面
大模型里的大矩阵乘比如流水线并行或张量并行你了解吗
英伟达
Deep Learning Performance Architect一面
dp/tp
展开剩余 1 篇面经
寒武纪
AI Infra 实习生日常实习一面
tp,tp通信原语

