
上篇把自动驾驶转机器人算法工程师相关的整体轮廓过了一遍,这篇沿着比亚迪的自动驾驶转机器人算法工程师岗,把规划决策这块往细里讲。规划决策:把它讲透,面试就稳了一半比亚迪面试自动驾驶转机器人算法工程师时,规划决策被问得最深。面试官不考概念,考你怎么把它落到人形机器人(研发中)上。面试官上来就是一道题:“多模态对话里,用户用含糊自然语言+手势混合指挥,系统怎么融合?”核心答案:构建统一指令表征:语音经ASR+意图解析出文本槽位,手势经关键点检测+手势分类出空间约束(指向/圈选区域),二者在时空对齐的指令图里融合——手势补语言缺的空间指代,语言补手势缺的语义。融合后用LLM做一致性仲裁,冲突时以最近模态+高置信为准并口头确认。我们实测混合指令解析准确率比单模态高18点。面试官让把关键逻辑落到代码上,可以写成:def fuse(slot_text, gesture): if gesture['type']=='point' and '那个' in slot_text: slot_text['target'] = gesture['pointed_obj'] if gesture['type']=='circle': slot_text['region'] = gesture['bbox'] return llm.arbitrate(slot_text) # 一致性裁决