腾讯 · 混元
大模型算法一面面经
完整信息
本篇目录
1、Agent‑RL的奖励该如何设计？Outcome Reward、Process Reward、规则奖励分别适合什么场景？
2、长链路Agent任务仅有最终奖励时，信用分配为什么困难，有哪些常见解决方案？
3、讲讲GRPO主流的衍生改进算法以及各自核心思路。
4、什么场景适合使用Multi‑Agent？对比Single‑Agent，多智能体带来的收益和额外成本是什么？
5、PRM怎么参与Agent训练的信用分配？只是每一步打奖励，还是会转成Advantage参与训练更新？
6、Agent评测除任务成功率之外还有哪些关键指标？LLM‑as‑a‑Judge和Golden Set的优缺点是什么？
7、混元整体架构是什么样的，它的Attention与传统Multi‑Head Attention有什么不同？
8、DPO训练时chosen和rejected样本概率同时下降是什么原因，可以怎么处理？
9、对比TF‑IDF与BM25，BM25做了哪些核心优化？
10、Agent多阶段任务各阶段token差异大，阶段内token归一化算loss为什么能够缓解长度偏差？
本篇目录
当前问题0110
- 01
Agent‑RL的奖励该如何设计？Outcome Reward、Process Reward、规则奖励分别适合什么场景？
- 02
长链路Agent任务仅有最终奖励时，信用分配为什么困难，有哪些常见解决方案？
- 03
讲讲GRPO主流的衍生改进算法以及各自核心思路。
- 04
什么场景适合使用Multi‑Agent？对比Single‑Agent，多智能体带来的收益和额外成本是什么？
- 05
PRM怎么参与Agent训练的信用分配？只是每一步打奖励，还是会转成Advantage参与训练更新？
- 06
Agent评测除任务成功率之外还有哪些关键指标？LLM‑as‑a‑Judge和Golden Set的优缺点是什么？
- 07
混元整体架构是什么样的，它的Attention与传统Multi‑Head Attention有什么不同？
- 08
DPO训练时chosen和rejected样本概率同时下降是什么原因，可以怎么处理？
- 09
对比TF‑IDF与BM25，BM25做了哪些核心优化？
- 10
Agent多阶段任务各阶段token差异大，阶段内token归一化算loss为什么能够缓解长度偏差？