上篇讲了多传感器时间同步——硬件触发、PTP、软件时间戳三种方案以及不同采样率传感器的对齐方法。时间同步是融合的前提今天正式进入传感器数据融合的基础——为什么要融合、融合什么、有哪些融合架构。面试时候被问为什么要做多传感器融合很多人会说一个传感器不够用。但面试官想听的是更系统化的回答融合的数学本质是什么有哪些融合层次数据级、特征级、决策级卡尔曼滤波和因子图优化分别在融合中扮演什么角色在ROS2中怎么搭建融合框架为什么单个传感器不够每个传感器都有自己的优势和局限。激光雷达精度高但看不到颜色和纹理相机能看到纹理但测距不准IMU短期精确但长期漂移GPS提供绝对位置但会丢失信号编码器连续但会累积误差。这些局限不是改进硬件就能解决的——它们是由传感器的物理原理决定的。激光雷达的波长决定了它无法分辨颜色IMU的积分特性决定了它必然漂移GPS的信号特性决定了它无法在室内工作。所以我们需要融合。融合的核心思想是用多个传感器的互补信息来弥补单个传感器的不足。融合后的估计结果应该比任何一个单独传感器的结果都更准确、更可靠。import numpy as np def demonstrate_fusion_benefit(): 演示融合比单传感器更准确 np.random.seed(42) true_position 10.0 # 真实位置 n_samples 100 # 传感器A精度高但有偏差 sensor_a true_position 0.5 np.random.normal(0, 0.3, n_samples) # 传感器B无偏差但精度低 sensor_b true_position np.random.normal(0, 1.5, n_samples) # 融合加权平均按精度加权 w_a 1.0 / 0.3**2 # 精度高的权重大 w_b 1.0 / 1.5**2 fused (w_a * sensor_a w_b * sensor_b) / (w_a w_b) print(f传感器A误差RMSE: {np.sqrt(np.mean((sensor_a - true_position)**2)):.3f}) print(f传感器B误差RMSE: {np.sqrt(np.mean((sensor_b - true_position)**2)):.3f}) print(f融合后误差RMSE: {np.sqrt(np.mean((fused - true_position)**2)):.3f}) demonstrate_fusion_benefit()运行这段代码你会发现融合后的误差比任何一个单独传感器都小。这就是融合的价值——不是简单地取平均而是根据每个传感器的可靠性分配权重得到最优估计。融合的三个层次传感器融合按融合信息的抽象程度分为三个层次。数据级融合Data-level直接融合传感器的原始数据。比如把激光雷达的点云和深度相机的点云拼在一起或者把IMU的原始加速度和角速度直接输入到状态估计器中。数据级融合保留了最多的信息理论精度最高但对传感器之间的标定精度要求也最高而且计算量大。特征级融合Feature-level先从各传感器的原始数据中提取特征再融合特征。比如从图像中提取边缘和角点从点云中提取平面和线段然后把这些几何特征融合到一个统一的地图中。大多数SLAM系统包括ORB-SLAM、LOAM都属于这一类。特征级融合的计算量适中是目前最主流的方案。决策级融合Decision-level每个传感器先独立做出决策比如前方有障碍物再融合各传感器的决策结果。比如视觉检测到障碍物、激光雷达也检测到障碍物两个有障碍物的结论投票融合。决策级融合最简单但信息损失也最大——你丢失了障碍物具体在哪个位置、多大这些细节。在实际机器人系统中这三个层次经常混合使用。比如自动驾驶中激光雷达和相机可能先各自做目标检测决策级然后把检测结果和雷达点云做关联融合特征级最后把融合后的目标列表送入规划模块。融合架构集中式与分布式融合系统的架构也分两种。集中式融合所有传感器的数据都送到一个中央处理器统一做融合。优点是信息完整、最优估计缺点是计算瓶颈——传感器越多中央处理器的负担越重。分布式融合每个传感器先在本地做预处理甚至初步估计然后把中间结果送到融合节点。比如每个激光雷达先本地做聚类把聚类结果而不是原始点云送给中央节点做关联。计算负担分散了但信息有损失。在ROS2中搭建融合框架通常的做法是用一个状态估计节点如robot_localization包的EKF/UKF节点订阅多个传感器的话题集中做融合。对于更复杂的系统可以用因子图优化框架如GTSAM、iSAM2来做增量式融合。面试中怎么聊面试官问传感器融合基础按这个顺序回答先说为什么需要融合单个传感器的物理局限再说融合的三个层次数据级、特征级、决策级然后说融合的数学本质贝叶斯估计最后说融合架构集中式vs分布式。如果面试官追问数据级融合和特征级融合怎么选你可以说取决于应用场景和计算资源。如果计算资源充足比如有GPU而且传感器之间的标定精度高优先用数据级融合——信息保留最多理论精度最高。如果计算资源有限嵌入式平台或者传感器标定精度不够高用特征级融合更实际。在SLAM中纯激光SLAM通常用特征级提取点线面特征视觉SLAM也用特征级提取角点、ORB特征但视觉-惯性SLAM中IMU数据通常是数据级融合直接融合原始加速度和角速度。如果面试官追问融合的鲁棒性怎么保证你可以说关键是异常值检测。如果某个传感器出了故障比如GPS信号被欺骗、激光雷达被遮挡它的测量值会严重偏离真实值。如果不做异常值检测就直接融合一个坏传感器会把整个融合结果带偏。常用的异常值检测方法有新息检验测量值和预测值的差异超过阈值就拒绝、卡方检验检验测量值是否在统计合理范围内。在鲁棒融合中还可以用Huber损失函数代替平方损失降低异常值的影响。如果面试官追问融合系统的可观测性怎么分析你可以说可观测性是指能否从传感器的观测数据中唯一确定系统的状态。以移动机器人为例如果只有编码器位置和朝向都是可观测的通过积分。如果只有单目相机尺度因子是不可观测的——你无法从图像中判断物体是远还是近这就是为什么单目视觉SLAM有尺度漂移。如果相机IMU在机器人做加速运动时尺度因子变得可观测加速度计提供了尺度信息。可观测性分析在融合系统设计中很重要——如果你选择的传感器组合存在不可观测量融合结果必然会在某些维度上发散。分享一个我在项目中做传感器融合的经验。当时给一台室外巡检机器人做定位融合用的传感器有编码器、IMU、GPS和2D激光雷达。一开始用简单的EKF做融合效果不太理想——机器人在开阔地带GPS好的时候定位很准但经过建筑物遮挡GPS信号后定位会突然跳变。排查后发现是GPS的协方差设置有问题我们一直用固定的协方差值没有根据GPS信号质量动态调整。后来我们读取了GPS模块输出的HDOP水平精度因子值HDOP大说明精度差就把GPS的观测噪声协方差相应增大。这样在GPS信号被遮挡时融合器会自动降低GPS的权重更多依赖编码器和IMU的积分结果定位就不会跳变了。改完之后定位的平滑性和可靠性都提升了很多。面试时候能讲出这种根据信号质量动态调整权重的经验比只说我用了EKF有说服力得多。下一篇讲卡尔曼滤波详解——预测-更新循环的直觉理解。从融合基础到具体算法卡尔曼滤波是传感器融合中最核心的工具。如果这篇文章对你有帮助欢迎点赞、在看、转发三连。 你的支持是我持续更新的最大动力。「机器人软件开发面试·从入门到精通」连载系列上一篇第164篇 多传感器时间同步——硬件触发/PTP/软件时间戳的工程实践 下一篇预告第166篇 卡尔曼滤波详解——预测-更新循环的直觉理解有任何问题欢迎评论区留言我会尽量回复。