多传感器融合:多传感器信息融合(标定, 数据融合, 任务融合)

2021/11/05 22:05 · 传感器知识资讯 ·  · 多传感器融合:多传感器信息融合(标定, 数据融合, 任务融合)已关闭评论
摘要:

多传感器融合:多传感器信息融合(标定,数据融合,任务融合)文章目录1.引言2.多传感器标定2.1标定场地2.2相机到相机2.2相机到多线激光雷达标定2.3相机到毫米波雷达标定2.4相机到IMU标定2.5论文总结3.数据层融合3.1融合的传统方法3.2深度学习方法4.任务层融合4.1传统之障碍物检测跟踪4.2传

传感器融合:多传感器信息融合(标定, 数据融合, 任务融合)

文章目录
1. 引言2. 多传感器标定
2.1 标定场地2.2 相机到相机2.2 相机到多线激光雷达标定2.3 相机到毫米波雷达标定2.4 相机到IMU标定2.5 论文总结3. 数据层融合
3.1 融合的传统方法3.2 深度学习方法4. 任务层融合
4.1 传统之障碍物检测跟踪4.2 传统之多传感器定位4.3 深度学习之障碍物检测跟踪4.4 深度学习之定位
?

1. 引言
自动驾驶感知和定位中传感器融合成了无人驾驶领域的趋势,融合按照实现原理分为硬件层的融合, 如禾赛和Mobileye等传感器厂商, 利用传感器的底层数据进行融合;数据层, 利用传感器各种得到的后期数据,即每个传感器各自独立生成目标数据,再由主处理器进行融合这些特征数据来实现感知任务;任务层, 先由各传感器完成感知或定位任务, 如障碍物检测,车道线检测,语义分割和跟踪以及车辆自身定位等, 然后添加置信度进行融合。

2. 多传感器标定
传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础, 一个车上装了多个/多种传感器,而它们之间的坐标关系是需要确定的。

这个工作可分成两部分:内参标定和外参标定,内参是决定传感器内部的映射关系,比如摄像头的焦距,偏心和像素横纵比(+畸变系数),而外参是决定传感器和外部某个坐标系的转换关系,比如姿态参数(旋转和平移6自由度)。

摄像头的标定曾经是计算机视觉中3-D重建的前提,张正友老师著名的的Zhang氏标定法,利用Absolute Conic不变性得到的平面标定算法简化了控制场。

另外在自动驾驶研发中,GPS/IMU和摄像头或者激光雷达的标定,雷达和摄像头之间的标定也是常见的。不同传感器之间标定最大的问题是如何衡量最佳,因为获取的数据类型不一样:

摄像头是RGB图像的像素阵列;激光雷达是3-D点云距离信息(有可能带反射值的灰度值);GPS-IMU给的是车身位置姿态信息;雷达是2-D反射图。
另外,标定方法分targetless和target两种,前者在自然环境中进行,约束条件少,不需要用专门的target;后者则需要专门的控制场,有ground truth的target,比如典型的棋盘格平面板。

这里仅限于targetless方法的讨论,主要利用Apollo中的标定工具对标定各个传感器进行研究。

2.1 标定场地
我们的标定方法是基于自然场景的,所以一个理想的标定场地可以显著地提高标定结果的准确度。我们建议选取一个纹理丰富的场地,如有树木,电线杆,路灯,交通标志牌,静止的物体和清晰车道线。下图是一个较好的标定环境示例:

2.2 相机到相机
智能车一般会有多个相机, 长焦距的用来检测远处场景(视野小), 短焦距检测近处(视野大).以Apollo的标定方法为例:
基本方法:根据长焦相机投影到短焦相机的融合图像进行判断,绿色通道为短焦相机图像,红色和蓝色通道是长焦投影后的图像,目视判断检验对齐情况。在融合图像中的融合区域,选择场景中距离较远处(50米以外)的景物进行对齐判断,能够重合则精度高,出现粉色或绿色重影(错位),则存在误差,当误差大于一定范围时(范围依据实际使用情况而定),标定失败,需重新标定(正常情况下,近处物体因受视差影响,在水平方向存在错位,且距离越近错位量越大,此为正常现象。垂直方向不受视差影响)。
结果示例:如下图所示,图2为满足精度要求外参效果,图3为不满足精度要求的现象,请重新进行标定过程。

良好的相机到相机标定结果,中间部分为融合结果,重叠较好:
错误的相机到相机标定结果,,中间部分为融合结果,有绿色重影:
2.2 相机到多线激光雷达标定
基本方法:在产生的点云投影图像内,可寻找其中具有明显边缘的物体和标志物,查看其边缘轮廓对齐情况。如果50米以内的目标,点云边缘和图像边缘能够重合,则可以证明标定结果的精度很高。反之,若出现错位现象,则说明标定结果存在误差。当误差大于一定范围时(范围依据实际使用情况而定),该外参不可用。

良好的相机到多线激光雷达标定结果:
错误的相机到多线激光雷达标定结果:
2.3 相机到毫米波雷达标定
基本方法:为了更好地验证毫米波雷达与相机间外参的标定结果,引入激光雷达作为桥梁,通过同一系统中毫米波雷达与相机的外参和相机与激光雷达的外参,计算得到毫米波雷达与激光雷达的外参,将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合,并画出相应的鸟瞰图进行辅助验证。在融合图像中,白色点为激光雷达点云,绿色实心圆为毫米波雷达目标,通过图中毫米波雷达目标是否与激光雷达检测目标是否重合匹配进行判断,如果大部分目标均能对应匹配,则满足精度要求,否则不满足,需重新标定。

良好的毫米波雷达到激光雷达投影结果:
错误的毫米波雷达到激光雷达投影结果:
2.4 相机到IMU标定
虽然Apollo中没有, 但这是视觉slam中的常见传感器标定, 本人在近期会写一个相关的博客。
利用Kalibr 对 Camera-IMU 进行标定

2.5 论文总结
最近相关的标定方面的论文也出现了不少,?奇点的黄裕博士的知乎专栏有总结

3. 数据层融合
有些传感器之间很难在硬件层融合,比如摄像头或者激光雷达和毫米波雷达之间,因为毫米波雷达的目标分辨率很低(无法确定目标大小和轮廓),但可以在数据层层上探索融合,比如目标速度估计,跟踪的轨迹等等。
这里主要介绍一下激光雷达和摄像头的数据融合,实际是激光雷达点云投影在摄像头图像平面形成的深度和图像估计的深度进行结合,理论上可以将图像估计的深度反投到3-D空间形成点云和激光雷达的点云融合,但很少人用。原因是,深度图的误差在3-D空间会放大,另外是3-D空间的点云分析手段不如图像的深度图成熟,毕竟2.5-D还是研究的历史长,比如以前的RGB-D传感器,Kinect或者RealSense。

相机和激光雷达的数据层融合原因:
在无人驾驶环境感知设备中,激光雷达和摄像头分别有各自的优缺点。
摄像头的优点是成本低廉,用摄像头做算法开发的人员也比较多,技术相对比较成熟。摄像头的劣势,第一,获取准确三维信息非常难(单目摄像头几乎不可能,也有人提出双目或三目摄像头去做);另一个缺点是受环境光限制比较大。
激光雷达的优点在于,其探测距离较远,而且能够准确获取物体的三维信息;另外它的稳定性相当高,鲁棒性好。但目前激光雷达成本较高,而且产品的最终形态也还未确定。

3.1 融合的传统方法
bayesia filter
guided image filtering

传统形态学滤波法
3.2 深度学习方法
(1) “Propagating Confidences through CNNs for Sparse Data Regression“, 提出normalized convolution (NConv)layer的改进思路,训练的时候NConv layer通过估计的confidence score最大化地融合 multi scale 的 feature map, 算法如下图:

(2)ICRA的论文High-precision Depth Estimation with the 3D LiDAR and Stereo Fusion
只是在合并RGB image和depth map之前先通过几个convolution layer提取feature map:
(3)法国INRIA的工作,“Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation“
作者发现CNN方法在早期层将RGB和深度图直接合并输入性能不如晚一些合并(这个和任务层的融合比还是early fusion),这也是它的第二个发现,这一点和上个论文观点一致。算法流程:
前后两种合并方式的结果示意:

4. 任务层融合
对于摄像头和激光雷达摄像头的感知任务来说, 都可用于进行车道线检测。除此之外,激光雷达还可用于路牙检测。对于车牌识别以及道路两边,比如限速牌和红绿灯的识别,主要还是用摄像头来完成。如果对障碍物的识别,摄像头可以很容易通过深度学习把障碍物进行细致分类。但对激光雷达而言,它对障碍物只能分一些大类,但对物体运动状态的判断主要靠激光雷达完成。任务级融合:障碍物检测/分类,跟踪,分割和定位。有时候融合可能在某一级的特征空间进行,这个也会随任务不同而变化。

4.1 传统之障碍物检测跟踪
双目和激光雷达融合
法国INRIA利用做十字路口安全驾驶系统的障碍物检测[1]。
双目算法:

激光雷达和单摄像头融合
用一个Bayesian分类器合并两个检测器的结果送进跟踪器[2], 算法流程:
单目和激光雷达融合
图像数据的检测器用DPM算法,激光雷达点云数据检测采用自己提出的3D Morph算法,融合方式如加权和[3], 算法流程:
激光雷达,摄像头和毫米波雷达融合
把激光雷达,摄像头和毫米波雷达的数据在障碍物检测任务进行融合, 基于D-S证据理论[4]
4.2 传统之多传感器定位
激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map
百度Apollo传感器融合用于车辆定位, 传感器配置有激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map。整个融合框架是基于EKF(扩展卡尔曼滤波器):估计最优的position, velocity, attitude (PVA)[5]。

-视觉里程计和激光里程计
该方法是在VO的基础上增加激光雷达点云信息[6]。这是系统框架:

4.3 深度学习之障碍物检测跟踪
最常见的是利用激光雷达和相机进行障碍物检测:
采用激光雷达点云的鸟瞰图和前视图像两个方向的投影和RGB图像共同构成目标检测的输入,检测器类似两步法,其中region proposal被3D proposal导出的bird view/frontal view proposal和2D image proposal结合所取代[7]。

利用激光雷达和相机进行障碍物跟踪层融合:
还是采用tracking by detection思路,训练了三个CNN模型,即detectionnet,matchingnet和scoringnet[8]。
4.4 深度学习之定位
定位
激光雷达灰度图像(反射值)和点云定位进行融合, 两种定位方法都用了卷积网络进行搜索
采用激光雷达扫描(利用卷积网络)的地面反射图来定位车辆,下面可以看到这种灰度图的样子。
引用文献
[1] Intersection Safety using Lidar and Stereo sensors.
[2] LiDAR and Camera-based Pedestrian and Vehicle Detection.
[3] 2D/3D Sensor Exploitation and Fusion for Detection.
[4] Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking.
[5] Robust and Precise Vehicle Localization based on Multi-sensor Fusion in Diverse City Scenes.
[6] Real-time Depth Enhanced Monocular Odometry.
[7] Multi-View 3D Object Detection Network for Autonomous Driving.
[8] End-to-end Learning of Multi-sensor 3D Tracking by Detection.
[9] Learning to Localize Using a LiDAR Intensity Map.
多传感器融合:多传感器信息融合(标定, 数据融合, 任务融合)  第1张

多传感器融合:多传感器融合理论

多传感器融合理论
多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。
一、多传感器融合几个概念
硬件同步、硬同步:使用同一种硬件同时发布触发采集命令,实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。
软件同步:时间同步、空间同步。
时间同步、时间戳同步、软同步:通过统一的主机给各个传感器提供基准时间,各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息,可以做到所有传感器时间戳同步,但由于各个传感器各自采集周期相互独立,无法保证同一时刻采集相同的信息。
空间同步: 将不同传感器坐标系的测量值转换到同一个坐标系中,其中激光传感器在高速移动的情况下需要考虑当前速度下的帧内位移校准。
二、基本原理
多传感器融合基本原理就像人脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。在这个过程中要充分利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信息,通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势,而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。
具体来讲,多传感器数据融合原理如下:
  (1)多个不同类型传感器(有源或无源)收集观测目标的数据;
  (2)对传感器的输出数据(离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi;
  (3)对特征矢量Yi进行模式识别处理(如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等),完成各传感器关于目标的说明;
  (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;
  (5)利用融合算法将目标的各传感器数据进行合成,得到该目标的一致性解释与描述。
三、多传感器的前融合与后融合技术
1.后融合算法:
每个传感器各自独立处理生成的目标数据。
每个传感器都有自己独立的感知,比如激光雷达有激光雷达的感知,摄像头有摄像头的感知,毫米波雷达也会做出自己的感知。
当所有传感器完成目标数据生成后,再由主处理器进行数据融合。
2.前融合算法:
只有一个感知的算法。对融合后的多维综合数据进行感知。
在原始层把数据都融合在一起,融合好的数据就好比是一个Super传感器,而且这个传感器不仅有能力可以看到红外线,还有能力可以看到摄像头或者RGB,也有能力看到LiDAR的三维信息,就好比是一双超级眼睛。在这双超级眼睛上面,开发自己的感知算法,最后会输出一个结果层的物体。
四、融合算法
对于多传感器系统而言,信息具有多样性和复杂性,因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度;与前续预处理系统和后续信息识别系统的接口性能;与不同技术和方法的协调能力;对信息样本的要求等。一般情况下,基于非线性的数学方法,如果具有容错性、自适应性、联想记忆和并行处理能力,则都可以用来作为融合方法。
多传感器数据融合的常用方法基本上可分为两大类:随机类和人工智能类。
1. 随机类
(1)加权平均法
信号级融合方法最简单直观的方法是加权平均法,将一组传感器提供的冗余信息进行加权平均,结果作为融合值。该方法是一种直接对数据源进行操作的方法。
(2)卡尔曼滤波法
主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推,决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。
卡尔曼滤波的递推特性使系统处理无需大量的数据存储和计算。但是采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时,存在很多严重问题,例如:① 在组合信息大量冗余情况下,计算量将以滤波器维数的三次方剧增,实时性难以满足。② 传感器子系统的增加使故障概率增加,在某一系统出现故障而没有来得及被检测出时,故障会污染整个系统,使可靠性降低。
(3)多贝叶斯估计法
将每一个传感器作为一个贝叶斯估计,把各单独物体的关联概率分布合成一个联合的后验概率分布函数,通过使联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型以提供整个环境的一个特征描述。
(4)D-S证据推理法
该方法是贝叶斯推理的扩充,包含3个基本要点:基本概率赋值函数、信任函数和似然函数。
D-S方法的推理结构是自上而下的,分为三级:第一级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果(ID);第二级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第三级为更新,各传感器一般都存在随机误差,因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。
(5)产生式规则
采用符号表示目标特征和相应传感器信息之间的联系,与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中,2个或多个规则形成一个联合规则时,可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关,如果系统中引入新的传感器,需要加入相应的附加规则。
2. AI类
(1)模糊逻辑推理
模糊逻辑是多值逻辑,通过指定一个0到1之间的实数表示真实度(相当于隐含算子的前提),允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模,则可以产生一致性模糊推理。
与概率统计方法相比,逻辑推理存在许多优点,它在一定程度上克服了概率论所面临的问题,对信息的表示和处理更加接近人类的思维方式,一般比较适合于在高层次上的应用(如决策)。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素,所以信息的表示和处理缺乏客观性。
模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑,模糊逻辑是一种多值逻辑,隶属度可视为一个数据真值的不精确表示。在MSF过程中,存在的不确定性可以直接用模糊逻辑表示,然后使用多值逻辑推理,根据模糊集合理论的各种演算对各种命题进行合并,进而实现数据融合。
(2)人工神经网络法
神经网络具有很强的容错性以及自学习、自组织及自适应能力,能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力,恰好满足多传感器数据融合技术处理的要求。在多传感器系统中,各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准,这种确定方法主要表现在网络的权值分布上,同时可以采用学习算法来获取知识,得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能,即实现了多传感器数据融合。
多传感器融合:多传感器信息融合(标定, 数据融合, 任务融合)  第2张

多传感器融合:多传感器融合(一)

多传感器融合(一)
一.概述
“传感器融合技术”号称自动驾驶中的核心技术。
传感器是汽车感知周围的环境的硬件基础,在实现自动驾驶的各个阶段都必不可少。
自动驾驶离不开感知层、控制层和执行层的相互配合。摄像头、雷达等传感器获取图像、距离、速度等信息,扮演眼睛、耳朵的角色。

控制模块分析处理信息,并进行判断、下达指令,扮演大脑的角色。车身各部件负责执行指令,扮演手脚的角色。而环境感知是这一切的基础, 因此传感器对于自动驾驶不可或缺。
二.多传感器融合的必要性
为什么一定要多传感器融合呢?主要是扬长避短、冗余设计,提高整车安全系数。多传感器融合系统所实现的功能要远超这些独立系统能够实现的功能总和。使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下,额外提供一定冗余度。这种错误或故障可能是由自然原因(诸如一团浓雾)或是人为现象(例如对摄像头或雷达的电子干扰或人为干扰)导致。各传感器优缺点如下:
相机:对目标的颜色和纹理比较敏感,可以完成目标分类、检测、分割、识别等任务,但是不能得到精确的探测距离,而且易受光照、天气条件的影响。
LiDAR:可以获得目标精确的3D信息,检测范围也能够到达150米。对光照不敏感,晚上也可以正常工作。但是角分辨率大,目标稀疏,无法获得目标纹理,分类不准,而且在雨、雾、雪等恶劣天气中,性能会下降。对扬尘、水雾也比较敏感,易产生噪点。
radar:可以提供精确的距离和速度信息,探测距离也比较远,可以全天候工作,但分辨率较低,无法提供物体高度信息。
相关传感器对比如下表:

三.多传感器融合的先决条件
众多的传感器装在同一辆车上,如nuscenes中使用了6个camera、1个lidar、5个radar,使用同一个系统来采集并处理数据,为了将他们规范,我们需要对这些传感器统一坐标系和时钟,目的就是为了实现三同一不同:同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。
统一时钟
在这里要做的就是同步不同传感器的时间戳:
GPS时间戳的时间同步方法: 这个需要看传感的硬件是否支持该种方法,如果支持则传感器给出的数据包会有全局的时间戳,这些时间戳以GPS为基准,这样就使用了相同的时钟,而非各自传感器的时钟了。
但是还有一个问题,不同传感器的数据频率是不同的,如lidar为10Hz,camera为25/30Hz,那不同传感器之间的数据还是存在延迟,如下图所示。虽然可以通过找相邻时间戳的方法找到最近帧,但是如果两个时间戳差距较大,障碍物又在移动,最终会导致较大的同步误差。

如图:在 T1 时刻,sensor
2产生了一个数据,如果要进行时间同步,我们需要查找对应时刻的sensor 1和sensor 3的数据,而实际查找的方式就是找出与sensr 2时间差最近的传感器数据包。
硬同步方法:这种方法可以缓解查找时间戳造成的误差现象。该方法可以以激光雷达作为触发其它传感器的源头,当激光雷达转到某个角度时,才触发该角度的摄像头,这可以大大减少时间差的问题。这套时间同步方案可以做到硬件中,这样可以大大降低同步误差,提高数据对齐效果。
统一坐标系
统一坐标系有两步,一是运动补偿,二是传感器标定。
运动补偿主要针对长周期的传感器,如lidar,周期为100ms。由于所有的传感器都装在车上,车是运动的刚体。因此传感器在采集数据时,周期开始的时间点和结束时间点车辆是处于不同位置的,导致不同时刻采集的数据所处坐标系不同,因此需要根据车体的运动对传感器采集的数据进行运动补偿。如下图所示:虚线部分可以认为是世界坐标系,红色点代表一个静态的障碍物,在坐标系中有一个稳定的坐标(5,5)。蓝色部分代表自动驾驶车自己的局部坐标系,也就是说世界坐标系的(4,0)为局部坐标系的原点。在T+1时刻,这个局部坐标系移动到了(6,0)的位置,也就是自动驾驶车沿着X方向向前移动了2。也就是说,在T时刻,障碍物的在局部坐标系下的坐标是(1,5),而在T+1时刻,它的坐标变为了(-1,5)。

这个问题解决起来比较简单,因为自动驾驶车拥有比较准确的实时定位信息,它可提供T和T+1两个时刻内,车本身的姿态差距,利用姿态差,我们就可以比较容易补偿自身移动了多少。
传感器标定分为内参标定和外参标定,内参标定,解决的是单独的每个传感器与世界坐标系间的变换;外参标定是在世界坐标系下,解决的不同传感器间的变换。传感器外参校准依赖于传感器的精确内参校准。
四.融合方法
经常可以看到的不同的融合方法,这里仅做简单介绍,后续会专门介绍相关方法。
经过以上几步,可以拿到的信息有:做好运动补偿及时间同步的传感器源数据、传感器内参、传感器外参,有了这些信息后,我们可以做相应的融合方法了。到底如何做呢?下面举两个例子:
相机和lidar融合:激光雷达数据是包含了明确的(x,y,z)数据的3D观测,通过标定参数与照相机本身的内参,多传感器深度融合可以实现把3D点投到图像上,图像上的某些像素也就打上了深度信息,帮助感知系统进行基于图像的分割或者训练深度学习模型。
毫米波雷达和激光雷达融合:毫米波雷达和激光雷达的融合方式比较简单。在笛卡尔坐标系下,它们拥有完整的(
x,y )方向的信息。因此在笛卡尔坐标系下,激光雷达和毫米波雷达可以实现基于距离的融合。另外,毫米波雷达还可以探测到障碍物速度,而激光雷达通过位置的追踪,也会得到对障碍物速度的估计,对这些速度的信息进行融合,更能帮助筛选错误的匹配候选集。
根据数据在整个流程中融合的不同位置,可以分为前融合和后融合。
前融合

如上图所示,在原始层把数据都融合在一起,融合好的数据就好比是一个Super传感器,而且这个传感器不仅有能力可以看到radar,还有能力可以看到摄像头或者RGB,也有能力看到LiDAR的三维信息,就好比是一双超级眼睛。方法上只有一个感知的算法,对融合后的多维综合数据进行感知。
后融合

如上图所示,每个传感器各自独立处理生成的目标数据;每个传感器都有自己独立的感知,比如激光雷达有激光雷达的感知,摄像头有摄像头的感知,毫米波雷达也会做出自己的感知。当所有传感器完成目标数据(如目标检测、目标速度预测)生成后,再使用一些传统方法融合所有传感器的结果,得到最终结果。
前融合,还是后融合?
到底哪种融合方式好呢?这里举个例子:假设在你手上有一个手机,激光雷达只能看到手机的一个角,摄像头只能看到第二个角,而毫米波雷达可以看到第三个角,那么大家可以想象,如果使用后融合算法,由于每个传感器只能看到它的一部分,这个物体非常有可能不被识别到,最终会被滤掉。而在前融合中,由于它是集合了所有的数据,也就相当于可以看到这个手机的三个角,那对于前融合来说,是非常容易能够识别出这是一台手机的。
五.解决GPS误差多等问题
传感器融合技术就是给汽车导航的,用来解决GPS导航误差多的问题。
GPS误差多,传感器融合技术来帮忙
都知道GPS是当前行车定位不可或缺的技术,但是由于GPS的误差、多路径,以及更新频率低等问题,不可以只依赖于GPS进行定位。相反,民用传感器拥有很高的更新频率,可以跟GPS形成很好的互补。使用传感器融合技术,可以融合GPS与惯性传感器数据,各取所长,以达到较好的定位效果。
简单的传感器融合技术
简单地说,传感器融合就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界环境,从而提高系统决策的正确性。

传感器各有优劣,难以互相替代,未来要实现自动驾驶,是一定需要多个传感器相互配合共同构成汽车的感知系统的。不同传感器的原理、功能各不相同,在不同的使用场景里可以发挥各自优势。
多传感器融合是人工智能未来趋势
多个同类或不同类传感器分别获得不同局部和类别的信息,这些信息之间可能相互补充,也可能存在冗余和矛盾,而控制中心最终只能下达唯一正确的指令,这就要求控制中心必须对多个传感器所得到的信息进行融合,综合判断。
随着机器人技术的不断发展,智能化已成为机器人技术的发展趋势,而传感器技术则是实现智能化的基础之一。

多传感器融合技术理念
由于单一传感器获得的信息有限,且还要受到自身品质和性能的影响,因此智能机器人通常配有数量众多的不同类型的传感器,以满足探测和数据采集的需要。
若对各传感器采集的信息进行单独、孤立地处理,不仅会导致信息处理工作量的增加,而且,割断了各传感器信息间的内在联系,丢失了信息经有机组合后可能蕴含的有关环境特征,造成信息资源的浪费,甚至可能导致决策失误。为了解决上述问题人们提出了多传感器融合技术。

多传感器融合又称多传感器信息融合,有时也称作多传感器数据融合,于1973年在美国国防部资助开发的声纳信号处理系统中被首次提出,它是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。它从多信息的视角进行处理及综合,得到各种信息的内在联系和规律,从而剔除无用的和错误的信息,保留正确的和有用的成分,最终实现信息的优化,也为智能信息处理技术的研究提供了新的观念。
六.到底有多精确

多传感器融合技术有多精确
简单的传感器融合不外乎就是每个传感器的数据能大致在空间跟时间上能得到对齐。而整个多传感器融合技术的核心就在于高精度的时间以及空间同步。精度到什么量级呢?
举个例子,比如时间上能得到10的-6次方,空间上能得到在一百米外3到5厘米的误差,这是一个典型的技术指标。
当然,多传感器同步技术的难度与时间和空间的要求是一个指数级的增加。在百米外能得到3cm的空间精度,换算成角度是0.015度左右。

大家也知道在无人驾驶当中,毫米波雷达、相机、激光雷达和超声波都是完全不同的传感器,让他们在时域跟空域上得到这样的精度是非常难的,需要对机器人技术以及机器学习优化技术有非常深的理解。
自动泊车、公路巡航控制和自动紧急制动等自动驾驶汽车功能在很大程度上也是依靠传感器来实现的。
多传感器融合技术使用方式
重要的不仅仅是传感器的数量或种类,它们的使用方式也同样重要。目前,大多数路面上行驶车辆内的ADAS都是独立工作的,这意味着它们彼此之间几乎不交换信息。只有把多个传感器信息融合起来,才是实现自动驾驶的关键。
现在路面上的很多汽车,甚至是展厅内的很多新车,内部都配备有基于摄像头、雷达、超声波或LIDAR等不同传感器的先进驾驶员辅助系统(ADAS)。

这些系统的数量将会随着新法案的通过而不断增加,例如在美国,就有强制要求安装后视摄像头的法案。此外,诸如车险打折优惠和美国公路交通安全管理局(NHTSA)、欧洲新车安全评鉴协会(Euro-NCAP)等机构做出的汽车安全评级正在使某些系统成为汽车的强制功能;另一方面,这也助长了消费者对它们的需求。
ADAS如何实现突破限制
目前,大多数路面上行驶车辆内的ADAS都是独立工作的,这意味着它们彼此之间几乎不交换信息。(没错,某些高端车辆具有非常先进的自动驾驶功能,不过这些功能还未普及)。后视摄像头、环视系统、雷达和前方摄像头都有它们各自的用途。通过将这些独立的系统添加到车辆当中,可以为驾驶员提供更多信息,并且实现自动驾驶功能。不过,你还可以突破限制,实现更多功能——参见图1。

ADAS以汽车内单个、独立的功能存在。
仅仅通过多次使用相同种类的传感器无法克服每种传感器的缺点。反之,需要将来自不同种类传感器的信息组合在一起。工作在可见光谱范围内的摄像头CMOS芯片在浓雾、下雨、刺眼阳光和光照不足的情况下会遇到麻烦。而雷达缺少目前成像传感器所具有的高分辨率。可以在每种传感器中找到诸如此类的优缺点。
多传感器融合:多传感器信息融合(标定, 数据融合, 任务融合)  第3张

多传感器融合:多传感器融合(算法)综述

「这是笔者的第一篇文章,内容借鉴和整合了前辈的文章,并在文末附上链接,欢迎大家交流批评」
多传感器融合(Multi-sensor Fusion, MSF)是利用计算机技术,将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合,以完成所需的决策和估计而进行的信息处理过程。
一、基本原理
多传感器融合基本原理就像人脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。在这个过程中要充分利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信息,通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势,而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。
具体来讲,多传感器数据融合原理如下:
  (1)多个不同类型传感器(有源或无源)收集观测目标的数据;
  (2)对传感器的输出数据(离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi;
  (3)对特征矢量Yi进行模式识别处理(如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等),完成各传感器关于目标的说明;
  (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;
  (5)利用融合算法将目标的各传感器数据进行合成,得到该目标的一致性解释与描述。
二、融合算法
对于多传感器系统而言,信息具有多样性和复杂性,因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度;与前续预处理系统和后续信息识别系统的接口性能;与不同技术和方法的协调能力;对信息样本的要求等。一般情况下,基于非线性的数学方法,如果具有容错性、自适应性、联想记忆和并行处理能力,则都可以用来作为融合方法。
多传感器数据融合的常用方法基本上可分为两大类:随机类和人工智能类。
2.1 随机类
(1)加权平均法
信号级融合方法最简单直观的方法是加权平均法,将一组传感器提供的冗余信息进行加权平均,结果作为融合值。该方法是一种直接对数据源进行操作的方法。
(2)卡尔曼滤波法
主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推,决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。
卡尔曼滤波的递推特性使系统处理无需大量的数据存储和计算。但是采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时,存在很多严重问题,例如:① 在组合信息大量冗余情况下,计算量将以滤波器维数的三次方剧增,实时性难以满足。② 传感器子系统的增加使故障概率增加,在某一系统出现故障而没有来得及被检测出时,故障会污染整个系统,使可靠性降低。
(3)多贝叶斯估计法
将每一个传感器作为一个贝叶斯估计,把各单独物体的关联概率分布合成一个联合的后验概率分布函数,通过使联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型以提供整个环境的一个特征描述。
(4)D-S证据推理法
该方法是贝叶斯推理的扩充,包含3个基本要点:基本概率赋值函数、信任函数和似然函数。
D-S方法的推理结构是自上而下的,分为三级:第一级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果(ID);第二级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第三级为更新,各传感器一般都存在随机误差,因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。
(5)产生式规则
采用符号表示目标特征和相应传感器信息之间的联系,与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中,2个或多个规则形成一个联合规则时,可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关,如果系统中引入新的传感器,需要加入相应的附加规则。
2.2 AI类
(1)模糊逻辑推理
模糊逻辑是多值逻辑,通过指定一个0到1之间的实数表示真实度(相当于隐含算子的前提),允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模,则可以产生一致性模糊推理。
与概率统计方法相比,逻辑推理存在许多优点,它在一定程度上克服了概率论所面临的问题,对信息的表示和处理更加接近人类的思维方式,一般比较适合于在高层次上的应用(如决策)。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素,所以信息的表示和处理缺乏客观性。
模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑,模糊逻辑是一种多值逻辑,隶属度可视为一个数据真值的不精确表示。在MSF过程中,存在的不确定性可以直接用模糊逻辑表示,然后使用多值逻辑推理,根据模糊集合理论的各种演算对各种命题进行合并,进而实现数据融合。
(2)人工神经网络法
神经网络具有很强的容错性以及自学习、自组织及自适应能力,能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力,恰好满足多传感器数据融合技术处理的要求。在多传感器系统中,各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准,这种确定方法主要表现在网络的权值分布上,同时可以采用学习算法来获取知识,得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能,即实现了多传感器数据融合。
三、应用领域
多传感器数据融合作为一种可消除系统的不确定因素、提供准确的观测结果和综合信息的智能化数据处理技术,已在军事、工业监控、智能检测、机器人、图像分析、目标检测与跟踪、自动目标识别等领域获得普遍关注和广泛应用。
(1)机器人
多传感器数据融合技术的另一个典型应用领域为机器人。目前主要应用在移动机器人和遥操作机器人上,因为这些机器人工作在动态、不确定与非结构化的环境中(如“勇气”号和“机遇”号火星车)。这些高度不确定的环境要求机器人具有高度的自治能力和对环境的感知能力,而多传感器数据融合技术正是提高机器人系统感知能力的有效方法。实践证明:采用单个传感器的机器人不具有完整、可靠地感知外部环境的能力。智能机器人应采用多个传感器,并利用这些传感器的冗余和互补的特性来获得机器人外部环境动态变化的、比较完整的信息,并对外部环境变化做出实时的响应。目前,机器人学界提出向非结构化环境进军,其核心的关键之一就是多传感器系统和数据融合。
(2)遥感
多传感器融合在遥感领域中的应用,主要是通过高空间分辨力全色图像和低光谱分辨力图像的融合,得到高空问分辨力和高光谱分辨力的图像,融合多波段和多时段的遥感图像来提高分类的准确性。
(3)智能交通管理系统
数据融合技术可应用于地面车辆定位、车辆跟踪、车辆导航以及空中交通管制系统等。
(4)复杂工业过程控制
复杂工业过程控制是数据融合应用的一个重要领域。目前,数据融合技术已在核反应堆和石油平台监视等系统中得到应用。融合的目的是识别引起系统状态超出正常运行范围的故障条件,并据此触发若干报警器。通过时间序列分析、频率分析、小波分析,从各传感器获取的信号模式中提取出特征数据,同时,将所提取的特征数据输入神经网络模式识别器,神经网络模式识别器进行特征级数据融合,以识别出系统的特征数据,并输入到模糊专家系统进行决策级融合;专家系统推理时,从知识库和数据库中取出领域知识规则和参数,与特征数据进行匹配(融合);最后,决策出被测系统的运行状态、设备工作状况和故障等。
四、存在问题及发展趋势
随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算软件和硬件技术等相关技术的发展,尤其是人工智能技术的进步,新的、更有效的数据融合方法将不断推出,多传感器数据融合必将成为未来复杂工业系统智能检测与数据处理的重要技术,其应用领域将不断扩大。多传感器数据融合不是一门单一的技术,而是一门跨学科的综合理论和方法,并且是一个不很成熟的新研究领域,尚处在不断变化和发展过程中。
(1)存在问题及发展趋势
尚未建立统一的融合理论和有效广义融合模型及算法;对数据融合的具体方法的研究尚处于初步阶段;还没有很好解决融合系统中的容错性或鲁棒性问题;关联的二义性是数据融合中的主要障碍;数据融合系统的设计还存在许多实际问题。
(2)发展趋势
建立统一的融合理论、数据融合的体系结构和广义融合模型;解决数据配准、数据预处理、数据库构建、数据库管理、人机接口、通用软件包开发问题,利用成熟的辅助技术,建立面向具体应用需求的数据融合系统;将人工智能技术,如,神经网络、遗传算法、模糊理论、专家理论等引入到数据融合领域;利用集成的计算智能方法(如,模糊逻辑+神经网络,遗传算法+模糊+神经网络等)提高多传感融合的性能;解决不确定性因素的表达和推理演算,例如:引入灰数的概念;利用有关的先验数据提高数据融合的性能,研究更加先进复杂的融合算法(未知和动态环境中,采用并行计算机结构多传感器集成与融合方法的研究等);在多平台/单平台、异类/同类多传感器的应用背景下,建立计算复杂程度低,同时,又能满足任务要求的数据处理模型和算法;构建数据融合测试评估平台和多传感器管理体系;将已有的融合方法工程化与商品化,开发能够提供多种复杂融合算法的处理硬件,以便在数据获取的同时就实时地完成融合。
五、参考文献

您可能感兴趣的文章

本文地址:https://www.ceomba.cn/2349.html
文章标签: ,  
版权声明:本文为原创文章,版权归 ceomba 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!