多模态大模型算法一面面经

1.项目深挖 2.ppo和grpo的区别 3.为什么要做dpo 4.持续学习方法的分类 5.场景题：用8张a100的机器做7B vl模型的grpo训练如何训练加速，推理加速 6.模型训练加速有什么方法 vllm推理加速，减少group size, 训练推理解耦异步 BF16 FlashAttention 2 Gradient Checkpointing FSDP / DeepSpeed ZeRO Gradient Accumulation Sequence Packing TF32 fused optimizer 如果让我用 8 张 A100 做 7B VL 模型的 GRPO，我会首先优化 Rollout，因为 GRPO 每个 prompt 要生成多个 response，generation 往往是主要瓶颈。推理侧我会使用 vLLM、PagedAttention、Continuous Batching、KV Cache 和 Tensor Parallel，同时通过减少 group size、动态 max length 和 Fast-Think 减少无效 token。训练侧使用 BF16、FlashAttention、Gradient Checkpointing、FSDP 或 DeepSpeed ZeRO，并通过 gradient accumulation 提高有效 batch size。同时尽可能将 rollout 和 training 解耦，减少 GPU 等待，并通过 NCCL、通信计算 overlap 降低多卡通信开销。 7.deepspeed的三个阶段 8.多头注意力的变体有什么 9.verl等框架都如何进行加速的 手撕：MHA 查找两个正序数组的中位数