Rollout 阶段 GPU 利用率低时,如何区分等待与计算并改进批调度?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

4 篇

拼多多

大模型研发
一面
查看原面经 →
追问
面:整条链路里,rollout 占多少时间。
追问
面:GPU 利用率多少。
追问
面:为什么这么低。
追问
面:那你怎么不按长度分桶。
追问
面:为什么不大。
追问
面:换个问法。这 35% 里,有多少是等,有多少是算。
追问
面:等什么。

月之暗面

大模型算法
一面、二面
查看原面经 →
如果 rollout 阶段 GPU 利用率只有 30%,瓶颈可能在哪。

拼多多

大模型
一面
查看原面经 →
整体训练流程存在明显耗时不均衡问题,大量算力耗时集中在模型 Rollout 推理阶段,行业普遍存在 GPU 利用率偏低的问题,你是否有对应的优化方案?

字节跳动

大模型算法
暑期实习一面
查看原面经 →
GRPO中roll out过程的长尾问题,导致GPU使用率低,有什么工程上的解决方案

相关题目

4 题