数据开发工程二面面经

面试公司:米哈游 面试岗位:数据开发工程 时间:8.15 Q1：自我介绍 Q2：你简历提到做主题集市类数据开发，主要负责哪些内容？ Q3：数据开发中的XXX指标普遍偏高，核心原因是什么？业务侧有哪些优化方案？ Q4：看板中指标波动的评判标准是什么？如何判定波动是否合规？看板的核心作用是什么？ Q5：你是否参与过XXXX相关主题集市搭建？搭建思路、数据粒度如何选择？ Q6：数据开发任务性能优化，你做过哪些相关工作？分为哪几个方向？ 数据倾斜专项处理 仓一体调度资源优化 任务运行时长优化 Q7：资源调优时，主要调整哪些核心参数？调参的底层逻辑是什么？ Q8：你参与过agent相关工作吗？主要做什么？有哪些核心方向？ Q9：agent问题深挖1 Q10：agent问题深挖2 Q11：你对大模型微调是否了解？有哪些基础认知？ Q12：假设交给你一份全新数据开发需求，结合AI工具落地全流程，你认为有哪些关键环节需要重点考虑？ A12： 前期业务口径对齐（重中之重）对接业务使用部门，书面固化全部业务指标、统一指标计算口径；AI自动生成SQL极易出现口径偏差，不提前对齐无法保障数据准确性。 标准化开发链路搭建 建表、SQL编写等标准化工作可由AI辅助完成，大幅提效。 任务故障自动化排查 定时调度任务失败后，AI自动解析运行日志、输出故障分析报告，辅助快速定位问题、优化任务脚本。 多层级数据复核校验（全流程均可接入AI辅助）（1）建表阶段：AI自动补充字段中文释义；（2）开发完成后：AI对比前期指标文档与数据表维度，自动评估数据一致性，减少人工复核工作量。 Q13：你做数据开发覆盖哪些链路？日常开发主要使用什么技术？底层原理学习到什么程度？ A13：1. 链路覆盖：从底层数据存储到上层BI可视化全链路均有实操经验；2. 日常开发工具：数据仓库分层、表结构设计以SQL为核心；3. 底层技术储备：自主学习各类存储格式底层原理，可根据不同数据源匹配最优计算引擎；平台内置多种计算引擎，日常开发中底层原理直接使用场景不多。 Q14：你如何区分宽窄依赖？开发中为什么要尽量规避宽依赖？ A14：1. 区分标准：单数据源仅供给单一任务为窄依赖；单数据源分发至多个下游任务为宽依赖；2. 规避原因：宽依赖会产生大量数据分发操作，消耗大量计算资源、大幅拉长任务运行耗时。 Q15：日常开发中任务参数调优的通用思路是什么？平台层面如何配置调参？ A15：1. 调优核心目标：减少数据传输开销；2. 两大调整方向：（1）分片调整：根据数据体量拆分数据源分片，评估分片阈值；（2）计算资源调整：分配对应执行器资源；3. 平台落地：公司内部自研数据平台，搭建数据链路时直接可视化配置参数，包含执行器数量、单执行器分片上限、内存占比等。 Q16：多表JOIN关联有哪些优化方案？广播JOIN适用场景是什么？ A16：1. 方案选择依据两张表整体数据量级；2. 广播JOIN适用场景：关联小表内存占用极低，可将全量小表分发至所有执行器，提前完成关联计算，减少跨节点数据传输；3. 大表关联场景：两张表数据体量均较大时，使用常规JOIN逻辑，项目中广播JOIN落地场景较少。 Q17：广播JOIN存在什么性能风险？ A17：广播JOIN会将小表全量分发至所有服务器，产生大量元数据存储占用；若小表实际体量偏大，分发产生的元数据资源开销会超过常规JOIN的传输开销，反而降低整体运行效率，使用前必须平衡表体量与分发成本。 Q18：你的毕业时间是什么时候？在校课程安排如何？实习规划是怎样的？ Q19：你当前实习工作内容出现了什么变化？为什么在投递新岗位？ 反问 Q20：想了解本岗位的发展路径、新人培养模式，岗位分为哪些方向？ Q21：该岗位所属部门日常工作强度、上下班时间如何？是否常态化加班？