Felix
← 术语图鉴

术语 · 感知

多传感器融合

Multi-Sensor Fusion · 也叫 传感器融合 / BEV 融合

把几路传感器的长处拼进同一份场景表征：相机给语义，激光雷达给几何，毫米波雷达给速度。

会上可能听到：“我们是 BEV 融合方案。——融了哪几路传感器，在哪一层融？”

它到底是什么意思

融合放在哪一层，决定丢掉什么。相机特征贴到激光点上，32 线激光雷达下只有约 5% 对得上点，语义大半丢掉；点云投到图像上，几何又会扭曲。BEV 两头都保得住。

同一张图也会错位。标定误差、时钟不同步、相机深度估不准，都会让两路特征对不齐。BEVFusion 在拼接之后再过一层卷积编码器，专门吸收这种局部错位。

收益集中在单一传感器吃力的时候。相对纯激光雷达方案，BEVFusion 在雨天的检测提升约是晴天的两倍，夜间的提升也比白天大。

机制图解

融合放在哪一层

目标级融合每路先各自出框，再用卡尔曼这类滤波在目标层合并、跟踪
BEV 特征级融合各路先转到同一张俯视图，拼接之后再一起出框、做分割
分界在「先各自下结论，再合并」，还是「先合并，再下结论」。单路里提前丢掉的信息，合并时拿不回来。

容易搞混的地方

常见误解

转到同一个 BEV 坐标系，两路特征就对齐了

正确理解

标定、时钟同步和深度估计的误差都会让特征错位，要有专门的层去吸收

常见误解

有了激光雷达，相机只是锦上添花

正确理解

相机补的是语义，也补小目标和远处目标；融合相对纯激光雷达，在这两类目标上提升更大

看懂之后可以追问

  1. 毫米波雷达进的是 BEV 特征层，还是只在目标层参与跟踪？毫米波能直接测速。进哪一层，决定这份速度信息能帮到检测本身，还是只能事后修正轨迹。
  2. 两路传感器的时间同步误差有多大？标定多久复核一次？融合默认两路特征落在同一个格子里。同步或标定一漂，错位超出卷积层能吸收的范围，融合反而引入噪声。

先知道

  • 鸟瞰图表征——把多摄像头视角融合到统一的鸟瞰空间，降低对高精地图的依赖。

接着看

  • 多目标跟踪——把逐帧的检测连成有身份的轨迹：同一辆车跨帧保持同一个 ID，并估出单帧给不了的速度和横摆角速度。
  • 占据栅格——用空间中每一块「有没有被占据」来表达障碍，解决检测框只能识别规则形状物体的问题。