传感器数据融合:基于BP神经网络的多传感器数据融合技术优化

2021/11/07 05:45 · 传感器知识资讯 ·  · 传感器数据融合:基于BP神经网络的多传感器数据融合技术优化已关闭评论
摘要:

传感器数据融合:基于BP神经网络的多传感器数据融合技术优化摘要:传统的数据融合算法要求获得比较精确的对象数学模型,对于复杂的难于建立模型的场合无法适用。为解决上述问题,提出了一种基于BP神经网络算法的多传感器数据融合方法,对对象的先验要求不高,具有较强的自适应能力。仿真结果表明,采用BP神经网络对传感器数据进行融合处理大大提高了传感器的稳定性及其精度,效果良好。关键词:数据融合;神经网络;多

传感器数据融合:基于BP神经网络的多传感器数据融合技术优化

摘 要: 传统的数据融合算法要求获得比较精确的对象数学模型,对于复杂的难于建立模型的场合无法适用。为解决上述问题,提出了一种基于BP神经网络算法的多传感器数据融合方法,对对象的先验要求不高,具有较强的自适应能力。仿真结果表明,采用BP神经网络对传感器数据进行融合处理大大提高了传感器的稳定性及其精度,效果良好。
关键词: 数据融合;神经网络;多传感器网络
大多数无线传感器网络应用是由大量传感器节点构成的,共同完成信息收集、目标监视和感知环境的任务。在信息采集的过程中,若采用各个节点单独传输数据到汇聚节点的方法,会产生大量冗余信息,从而浪费大量的通信带宽和宝贵的能量资源,这显然是不合适的[1]。此外还会降低信息的收集效率,影响信息的及时采集。为避免上述问题,人们采用了一种称为数据融合(或称为数据汇聚)的技术。所谓数据融合是指将多份数据或信息进行处理,组合出更高效、更符合用户需求的数据的过程[2]。在大多数无线传感器网络应用中,许多时候只关心监测结果,并不需要收到大量原始数据,数据融合是处理该类问题的有效手段。根据融合操作的级别划分为数据级融合[3]、特征级融合[4]以及决策级融合[5]。数据级融合是指通过传感器采集的数据融合,是最底层的融合,通常仅依赖于传感器的类型。特征级融合是指通过一些特征提取手段,将数据表示为一系列的特征向量,从而反映事物的属性,是面向监测对象的融合。决策级融合是根据应用需求进行较高级的决策,是最高级的融合。无线传感器网络的数据融合技术可以结合网络的各个协议层来进行。例如在应用层,可通过分布式数据库技术,对采集的数据进行初步筛选,达到融合效果;在网络层,可以结合路由协议,减少数据的传输量;在数据链路层,可以减少MAC层的发送冲突和头部开销,节省能量的同时,保证信息的完整性。无线传感器网络的数据融合技术只有面向应用需求的设计才会真正得到广泛的应用。
目前许多学者提出了很多传感网数据融合算法,D-S方法[6]和贝叶斯算法[7]作为一种处理不确定性问题的重要的数据融合方法,已经广泛应用于各种数据融合系统中,但是该方法主要是依靠自身的传感器的采集,这种方法融合精度不高,具有一定的不确定性等,BP神经网络算法是一种监督式的学习算法,其主要思想是通过采用梯度搜索技术对已知网络入侵样本进行学习,最终实现网络的实际输出值与期望输出值的均方值误差最小。
本文充分利用了BP神经网络的优点,主要研究了传感网络数据融合方法,提出了一种改进的基于BP神经网络算法在传感网络数据融合中的应用,依据不同的融合目标对传感器信息进行选择过滤和优化处理,仿真结果表明了本文算法的有效性和实用性,节约了数据融合的能量。
1 BP神经网络的多传感器数据融合技术
1.1 BP神经网络算法
BP神经网络[8]是一种前馈式神经网络,是目前使用最广泛的一种神经网络,一般包括输入层、若干隐含层和输出层三部分,网络结构如图1所示。

BP神经网络算法是一种监督式的学习算法,其主要思想是通过采用梯度搜索技术对已知网络入侵样本进行学习,最终的目的就是网络的实际输出值与期望输出值的均方值误差最小。在BP神经网络的学习过程中,输入信号从输入层经隐含层单元逐层处理,并传向BP神经网络的输出层,每一层BP神经元只影响下一层神经元的状态。如果在BP神经网络输出层得不到期望的输出,那么就要进行BP神经网络反向传播,将输出信号的误差沿原来的连接通路返回,通过不断调整各层神经元的权重,最终使均方值误差最小。其基本学习过程如下:

在网络训练之前,首先必须要对数据进行归一化处理,以保证网络层输出不会太小。这里中心向量的初始值pi由训练样本确定,其中pi=(pi1,pi2,pi3,pi4,pi5),i=1,2,…,10。若其属于第一类数据变化的训练样本集,表示为{S1,S2,…,Sm}, 中心向量p1中各元素的初始值为这些样本输入向量中每个元素的平均值。 然后采用梯度下降法分别调整中心向量、宽度和系数及最后一层的权值。在训练过程中,先选取较大的学习速率,如果后一步的训练误差大于前一步的训练误差, 就减小学习速率,使得网络收敛。 由于加入了每个类别中心向量的先验信息,网络权值的调整限制在了一定范围内,避免陷入局部最小点。本文考虑了数据融合的有损融合和无损融合问题,算法的主要描述步骤如下:
(1)用选定的N个传感器检测系统状态;
(2)采集N个传感器的测量信号并进行预处理;
(3)对预处理后的N个传感器信号进行特征选择;
(4)对特征信号进行归一化处理,为神经网络的输入提供标准形式;
(5)将归一化的特征信息与已知的系统状态信息作为训练样本,送神经网络进行训练,直到满足要求为止。该训练好的网络作为已知网络,只要将归一化的多传感器特征信息作为输入送人该网络,则网络输出就是被测系统的状态。
2 仿真与结果分析
在Windows操作系统下,本文所有的实验都是在PC P4 T2310 1.86 GHz,2 GB RAM,InteG显卡的计算机上完成的,实验环境为MATLAB7.0。对本文提出的神经网络数据融合模型进行仿真测试,根据融合前后数据信息含量划分为无损融合和有损融合,前者在数据融合过程中所有细节信息均被保留,只去除冗余的部分信息,后者通常会省略一些细节信息或降低数据的质量。
本文对有损融合、无损融合与没有进行数据融合的实验结果进行了比较。在仿真试验中,本文在一定的范围内放置一定参数的节点,10个源节点沿着一条路由路径在4~6跳的范围内发出连续的比特。为了对数据融合的有效性进行研究,本文增加了节点的发送频率,数据流发送速度为1.5~3.7包/s,仿真重复30遍,端到端的延时为1 s。
如图3所示,在网络繁忙的时候,与不进行数据融合的结果相比,无损融合和有损融合都可以显著地减少平均的延时。因为融合技术可以控制信息传递的数量。这里要注意的是,有损融合在保留延迟的区域之下总是成功的,而无损融合仅是点上的成功,在此之后系统将变得过载。

当产生的信息量超出实时容量时,有损融合通过聚集较小比例的包来保持端到端延迟。如图4所示,融合具有非零的损失率。
如图5所示,在拥塞出现之前,无损融合和有损融合可以通过减少控制消息的数量和传播的数量达到能源的节约。从图3、图4和图5可以看出,本文提出的神经网络传感器网络数据融合模型是一种有效的数据融合处理方法。采用BP神经网络对传感器数据进行融合处理,输出输入稳定简单。

数据融合是利用计算机技术将来自多个传感器或多源的观测信息进行分析、综合处理。从而得出决策和估计任务所需信息的处理过程。针对传统的传感器网络数据融合算法需要获得对象比较精确数学模型,对于复杂难于建立的模型场合无法适用等问题,本文提出了一种基于BP神经网络的多传感器数据融合方法,算法首先建立三层网络结构,接着提取数据库中属性数据的特征值并作为网络的输入,然后通过调节输入向量与中心向量的距离及中心向量的值确定网络权值,最后对数据进行有效融合,仿真实验结果表明采用BP神经网络对传感器数据进行融合处理大大提高了传感器的稳定性及其精度,效果良好。
参考文献
[1] 毕艳忠,孙利民.传感器网络中数据融合[J].计算机科学,2004,31(7):101-103.
[2] ZHAO J,GOVINDAN R,ESTRIN D.Residual energy scans for monitoring wireless sensor networks[C].Proceedings of the IEEE Wilress Communications and Networking Conference(WCNC’02),2002:17-21.
[3] 付剑波,刘卫国.无线传感器网络的一种多层数据融合方案[J].传感器与微系统,2007,26(12):15-18.
[4] 任丰原,黄海宁,林闯.无线传感器网络[J].软件学报,2003,14(7):1282-1291.
[5] NORDEN W V,JONG J D,BOLDERHEIJ F,et al.Intelligent task scheduling in sensor networks[C].Proceedings of 8th International Conference on Information Fusion,2005.
[6] BARBANCHO J,CarlosLeón,MOLINA F J,et al.Using artificial intelligence in routing schemes for wireless networks[J].Computer Communications,2007(30):2802-2811.
[7] 陈斌,万江文,吴银锋,等.神经网络和证据理论融合的管道泄漏诊断方法[J].北京邮电大学学报,2009,32(2):5-9.
[8] 俞黎阳,王能,张卫.无线传感器网络中基于神经网络的数据融合模型[J].计算机科学,2008,35(12):43-47.
[9] SUNG W T.Employed BPN to multi-sensors data fusion for environment Monitoring Services[J].Autonomic and Trusted Computing,2009(6):149-163.
传感器数据融合:基于BP神经网络的多传感器数据融合技术优化  第1张

传感器数据融合:多传感器信息融合(标定, 数据融合, 任务融合)

文章目录
1. 引言2. 多传感器标定
2.1 标定场地2.2 相机到相机2.2 相机到多线激光雷达标定2.3 相机到毫米波雷达标定2.4 相机到IMU标定2.5 论文总结3. 数据层融合
3.1 融合的传统方法3.2 深度学习方法4. 任务层融合
4.1 传统之障碍物检测跟踪4.2 传统之多传感器定位4.3 深度学习之障碍物检测跟踪4.4 深度学习之定位
?

1. 引言
自动驾驶感知和定位中传感器融合成了无人驾驶领域的趋势,融合按照实现原理分为硬件层的融合, 如禾赛和Mobileye等传感器厂商, 利用传感器的底层数据进行融合;数据层, 利用传感器各种得到的后期数据,即每个传感器各自独立生成目标数据,再由主处理器进行融合这些特征数据来实现感知任务;任务层, 先由各传感器完成感知或定位任务, 如障碍物检测,车道线检测,语义分割和跟踪以及车辆自身定位等, 然后添加置信度进行融合。

2. 多传感器标定
传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础, 一个车上装了多个/多种传感器,而它们之间的坐标关系是需要确定的。

这个工作可分成两部分:内参标定和外参标定,内参是决定传感器内部的映射关系,比如摄像头的焦距,偏心和像素横纵比(+畸变系数),而外参是决定传感器和外部某个坐标系的转换关系,比如姿态参数(旋转和平移6自由度)。

摄像头的标定曾经是计算机视觉中3-D重建的前提,张正友老师著名的的Zhang氏标定法,利用Absolute Conic不变性得到的平面标定算法简化了控制场。

另外在自动驾驶研发中,GPS/IMU和摄像头或者激光雷达的标定,雷达和摄像头之间的标定也是常见的。不同传感器之间标定最大的问题是如何衡量最佳,因为获取的数据类型不一样:

摄像头是RGB图像的像素阵列;激光雷达是3-D点云距离信息(有可能带反射值的灰度值);GPS-IMU给的是车身位置姿态信息;雷达是2-D反射图。
另外,标定方法分targetless和target两种,前者在自然环境中进行,约束条件少,不需要用专门的target;后者则需要专门的控制场,有ground truth的target,比如典型的棋盘格平面板。

这里仅限于targetless方法的讨论,主要利用Apollo中的标定工具对标定各个传感器进行研究。

2.1 标定场地
我们的标定方法是基于自然场景的,所以一个理想的标定场地可以显著地提高标定结果的准确度。我们建议选取一个纹理丰富的场地,如有树木,电线杆,路灯,交通标志牌,静止的物体和清晰车道线。下图是一个较好的标定环境示例:

2.2 相机到相机
智能车一般会有多个相机, 长焦距的用来检测远处场景(视野小), 短焦距检测近处(视野大).以Apollo的标定方法为例:
基本方法:根据长焦相机投影到短焦相机的融合图像进行判断,绿色通道为短焦相机图像,红色和蓝色通道是长焦投影后的图像,目视判断检验对齐情况。在融合图像中的融合区域,选择场景中距离较远处(50米以外)的景物进行对齐判断,能够重合则精度高,出现粉色或绿色重影(错位),则存在误差,当误差大于一定范围时(范围依据实际使用情况而定),标定失败,需重新标定(正常情况下,近处物体因受视差影响,在水平方向存在错位,且距离越近错位量越大,此为正常现象。垂直方向不受视差影响)。
结果示例:如下图所示,图2为满足精度要求外参效果,图3为不满足精度要求的现象,请重新进行标定过程。

良好的相机到相机标定结果,中间部分为融合结果,重叠较好:
错误的相机到相机标定结果,,中间部分为融合结果,有绿色重影:
2.2 相机到多线激光雷达标定
基本方法:在产生的点云投影图像内,可寻找其中具有明显边缘的物体和标志物,查看其边缘轮廓对齐情况。如果50米以内的目标,点云边缘和图像边缘能够重合,则可以证明标定结果的精度很高。反之,若出现错位现象,则说明标定结果存在误差。当误差大于一定范围时(范围依据实际使用情况而定),该外参不可用。

良好的相机到多线激光雷达标定结果:
错误的相机到多线激光雷达标定结果:
2.3 相机到毫米波雷达标定
基本方法:为了更好地验证毫米波雷达与相机间外参的标定结果,引入激光雷达作为桥梁,通过同一系统中毫米波雷达与相机的外参和相机与激光雷达的外参,计算得到毫米波雷达与激光雷达的外参,将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合,并画出相应的鸟瞰图进行辅助验证。在融合图像中,白色点为激光雷达点云,绿色实心圆为毫米波雷达目标,通过图中毫米波雷达目标是否与激光雷达检测目标是否重合匹配进行判断,如果大部分目标均能对应匹配,则满足精度要求,否则不满足,需重新标定。

良好的毫米波雷达到激光雷达投影结果:
错误的毫米波雷达到激光雷达投影结果:
2.4 相机到IMU标定
虽然Apollo中没有, 但这是视觉slam中的常见传感器标定, 本人在近期会写一个相关的博客。
利用Kalibr 对 Camera-IMU 进行标定

2.5 论文总结
最近相关的标定方面的论文也出现了不少,?奇点的黄裕博士的知乎专栏有总结

3. 数据层融合
有些传感器之间很难在硬件层融合,比如摄像头或者激光雷达和毫米波雷达之间,因为毫米波雷达的目标分辨率很低(无法确定目标大小和轮廓),但可以在数据层层上探索融合,比如目标速度估计,跟踪的轨迹等等。
这里主要介绍一下激光雷达和摄像头的数据融合,实际是激光雷达点云投影在摄像头图像平面形成的深度和图像估计的深度进行结合,理论上可以将图像估计的深度反投到3-D空间形成点云和激光雷达的点云融合,但很少人用。原因是,深度图的误差在3-D空间会放大,另外是3-D空间的点云分析手段不如图像的深度图成熟,毕竟2.5-D还是研究的历史长,比如以前的RGB-D传感器,Kinect或者RealSense。

相机和激光雷达的数据层融合原因:
在无人驾驶环境感知设备中,激光雷达和摄像头分别有各自的优缺点。
摄像头的优点是成本低廉,用摄像头做算法开发的人员也比较多,技术相对比较成熟。摄像头的劣势,第一,获取准确三维信息非常难(单目摄像头几乎不可能,也有人提出双目或三目摄像头去做);另一个缺点是受环境光限制比较大。
激光雷达的优点在于,其探测距离较远,而且能够准确获取物体的三维信息;另外它的稳定性相当高,鲁棒性好。但目前激光雷达成本较高,而且产品的最终形态也还未确定。

3.1 融合的传统方法
bayesia filter
guided image filtering

传统形态学滤波法
3.2 深度学习方法
(1) “Propagating Confidences through CNNs for Sparse Data Regression“, 提出normalized convolution (NConv)layer的改进思路,训练的时候NConv layer通过估计的confidence score最大化地融合 multi scale 的 feature map, 算法如下图:

(2)ICRA的论文High-precision Depth Estimation with the 3D LiDAR and Stereo Fusion
只是在合并RGB image和depth map之前先通过几个convolution layer提取feature map:
(3)法国INRIA的工作,“Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation“
作者发现CNN方法在早期层将RGB和深度图直接合并输入性能不如晚一些合并(这个和任务层的融合比还是early fusion),这也是它的第二个发现,这一点和上个论文观点一致。算法流程:
前后两种合并方式的结果示意:

4. 任务层融合
对于摄像头和激光雷达摄像头的感知任务来说, 都可用于进行车道线检测。除此之外,激光雷达还可用于路牙检测。对于车牌识别以及道路两边,比如限速牌和红绿灯的识别,主要还是用摄像头来完成。如果对障碍物的识别,摄像头可以很容易通过深度学习把障碍物进行细致分类。但对激光雷达而言,它对障碍物只能分一些大类,但对物体运动状态的判断主要靠激光雷达完成。任务级融合:障碍物检测/分类,跟踪,分割和定位。有时候融合可能在某一级的特征空间进行,这个也会随任务不同而变化。

4.1 传统之障碍物检测跟踪
双目和激光雷达融合
法国INRIA利用做十字路口安全驾驶系统的障碍物检测[1]。
双目算法:

激光雷达和单摄像头融合
用一个Bayesian分类器合并两个检测器的结果送进跟踪器[2], 算法流程:
单目和激光雷达融合
图像数据的检测器用DPM算法,激光雷达点云数据检测采用自己提出的3D Morph算法,融合方式如加权和[3], 算法流程:
激光雷达,摄像头和毫米波雷达融合
把激光雷达,摄像头和毫米波雷达的数据在障碍物检测任务进行融合, 基于D-S证据理论[4]
4.2 传统之多传感器定位
激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map
百度Apollo传感器融合用于车辆定位, 传感器配置有激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map。整个融合框架是基于EKF(扩展卡尔曼滤波器):估计最优的position, velocity, attitude (PVA)[5]。

-视觉里程计和激光里程计
该方法是在VO的基础上增加激光雷达点云信息[6]。这是系统框架:

4.3 深度学习之障碍物检测跟踪
最常见的是利用激光雷达和相机进行障碍物检测:
采用激光雷达点云的鸟瞰图和前视图像两个方向的投影和RGB图像共同构成目标检测的输入,检测器类似两步法,其中region proposal被3D proposal导出的bird view/frontal view proposal和2D image proposal结合所取代[7]。

利用激光雷达和相机进行障碍物跟踪层融合:
还是采用tracking by detection思路,训练了三个CNN模型,即detectionnet,matchingnet和scoringnet[8]。
4.4 深度学习之定位
定位
激光雷达灰度图像(反射值)和点云定位进行融合, 两种定位方法都用了卷积网络进行搜索
采用激光雷达扫描(利用卷积网络)的地面反射图来定位车辆,下面可以看到这种灰度图的样子。
引用文献
[1] Intersection Safety using Lidar and Stereo sensors.
[2] LiDAR and Camera-based Pedestrian and Vehicle Detection.
[3] 2D/3D Sensor Exploitation and Fusion for Detection.
[4] Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking.
[5] Robust and Precise Vehicle Localization based on Multi-sensor Fusion in Diverse City Scenes.
[6] Real-time Depth Enhanced Monocular Odometry.
[7] Multi-View 3D Object Detection Network for Autonomous Driving.
[8] End-to-end Learning of Multi-sensor 3D Tracking by Detection.
[9] Learning to Localize Using a LiDAR Intensity Map.
传感器数据融合:基于BP神经网络的多传感器数据融合技术优化  第2张

传感器数据融合:多传感器融合理论

多传感器融合理论
多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。
一、多传感器融合几个概念
硬件同步、硬同步:使用同一种硬件同时发布触发采集命令,实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。
软件同步:时间同步、空间同步。
时间同步、时间戳同步、软同步:通过统一的主机给各个传感器提供基准时间,各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息,可以做到所有传感器时间戳同步,但由于各个传感器各自采集周期相互独立,无法保证同一时刻采集相同的信息。
空间同步: 将不同传感器坐标系的测量值转换到同一个坐标系中,其中激光传感器在高速移动的情况下需要考虑当前速度下的帧内位移校准。
二、基本原理
多传感器融合基本原理就像人脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。在这个过程中要充分利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信息,通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势,而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。
具体来讲,多传感器数据融合原理如下:
  (1)多个不同类型传感器(有源或无源)收集观测目标的数据;
  (2)对传感器的输出数据(离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi;
  (3)对特征矢量Yi进行模式识别处理(如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等),完成各传感器关于目标的说明;
  (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;
  (5)利用融合算法将目标的各传感器数据进行合成,得到该目标的一致性解释与描述。
三、多传感器的前融合与后融合技术
1.后融合算法:
每个传感器各自独立处理生成的目标数据。
每个传感器都有自己独立的感知,比如激光雷达有激光雷达的感知,摄像头有摄像头的感知,毫米波雷达也会做出自己的感知。
当所有传感器完成目标数据生成后,再由主处理器进行数据融合。
2.前融合算法:
只有一个感知的算法。对融合后的多维综合数据进行感知。
在原始层把数据都融合在一起,融合好的数据就好比是一个Super传感器,而且这个传感器不仅有能力可以看到红外线,还有能力可以看到摄像头或者RGB,也有能力看到LiDAR的三维信息,就好比是一双超级眼睛。在这双超级眼睛上面,开发自己的感知算法,最后会输出一个结果层的物体。
四、融合算法
对于多传感器系统而言,信息具有多样性和复杂性,因此对信息融合算法的基本要求是具有鲁棒性和并行处理能力。其他要求还有算法的运算速度和精度;与前续预处理系统和后续信息识别系统的接口性能;与不同技术和方法的协调能力;对信息样本的要求等。一般情况下,基于非线性的数学方法,如果具有容错性、自适应性、联想记忆和并行处理能力,则都可以用来作为融合方法。
多传感器数据融合的常用方法基本上可分为两大类:随机类和人工智能类。
1. 随机类
(1)加权平均法
信号级融合方法最简单直观的方法是加权平均法,将一组传感器提供的冗余信息进行加权平均,结果作为融合值。该方法是一种直接对数据源进行操作的方法。
(2)卡尔曼滤波法
主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推,决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。
卡尔曼滤波的递推特性使系统处理无需大量的数据存储和计算。但是采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时,存在很多严重问题,例如:① 在组合信息大量冗余情况下,计算量将以滤波器维数的三次方剧增,实时性难以满足。② 传感器子系统的增加使故障概率增加,在某一系统出现故障而没有来得及被检测出时,故障会污染整个系统,使可靠性降低。
(3)多贝叶斯估计法
将每一个传感器作为一个贝叶斯估计,把各单独物体的关联概率分布合成一个联合的后验概率分布函数,通过使联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型以提供整个环境的一个特征描述。
(4)D-S证据推理法
该方法是贝叶斯推理的扩充,包含3个基本要点:基本概率赋值函数、信任函数和似然函数。
D-S方法的推理结构是自上而下的,分为三级:第一级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果(ID);第二级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第三级为更新,各传感器一般都存在随机误差,因此在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告更加可靠。所以在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。
(5)产生式规则
采用符号表示目标特征和相应传感器信息之间的联系,与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中,2个或多个规则形成一个联合规则时,可以产生融合。应用产生式规则进行融合的主要问题是每个规则置信因子的定义与系统中其他规则的置信因子相关,如果系统中引入新的传感器,需要加入相应的附加规则。
2. AI类
(1)模糊逻辑推理
模糊逻辑是多值逻辑,通过指定一个0到1之间的实数表示真实度(相当于隐含算子的前提),允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模,则可以产生一致性模糊推理。
与概率统计方法相比,逻辑推理存在许多优点,它在一定程度上克服了概率论所面临的问题,对信息的表示和处理更加接近人类的思维方式,一般比较适合于在高层次上的应用(如决策)。但是逻辑推理本身还不够成熟和系统化。此外由于逻辑推理对信息的描述存在很多的主观因素,所以信息的表示和处理缺乏客观性。
模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑,模糊逻辑是一种多值逻辑,隶属度可视为一个数据真值的不精确表示。在MSF过程中,存在的不确定性可以直接用模糊逻辑表示,然后使用多值逻辑推理,根据模糊集合理论的各种演算对各种命题进行合并,进而实现数据融合。
(2)人工神经网络法
神经网络具有很强的容错性以及自学习、自组织及自适应能力,能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力,恰好满足多传感器数据融合技术处理的要求。在多传感器系统中,各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准,这种确定方法主要表现在网络的权值分布上,同时可以采用学习算法来获取知识,得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能,即实现了多传感器数据融合。

传感器数据融合:自动驾驶算法学习:多传感器信息融合(标定, 数据融合, 任务融合)

文章目录
1. 引言2. 多传感器标定2.1 标定场地2.2 相机到相机2.2 相机到多线激光雷达标定2.3 相机到毫米波雷达标定2.4 相机到IMU标定2.5 论文总结
3. 数据层融合3.1 融合的传统方法3.2 深度学习方法
4. 任务层融合4.1 传统之障碍物检测跟踪4.2 传统之多传感器定位4.3 深度学习之障碍物检测跟踪4.4 深度学习之定位

1. 引言

自动驾驶感知和定位中传感器融合成了无人驾驶领域的趋势,融合按照实现原理分为硬件层的融合, 如禾赛和Mobileye等传感器厂商, 利用传感器的底层数据进行融合;数据层, 利用传感器各种得到的后期数据,即每个传感器各自独立生成目标数据,再由主处理器进行融合这些特征数据来实现感知任务;任务层, 先由各传感器完成感知或定位任务, 如障碍物检测,车道线检测,语义分割和跟踪以及车辆自身定位等, 然后添加置信度进行融合。

2. 多传感器标定

传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础, 一个车上装了多个/多种传感器,而它们之间的坐标关系是需要确定的。

这个工作可分成两部分:内参标定和外参标定,内参是决定传感器内部的映射关系,比如摄像头的焦距,偏心和像素横纵比(+畸变系数),而外参是决定传感器和外部某个坐标系的转换关系,比如姿态参数(旋转和平移6自由度)。

摄像头的标定曾经是计算机视觉中3-D重建的前提,张正友老师著名的的Zhang氏标定法,利用Absolute Conic不变性得到的平面标定算法简化了控制场。

另外在自动驾驶研发中,GPS/IMU和摄像头或者激光雷达的标定,雷达和摄像头之间的标定也是常见的。不同传感器之间标定最大的问题是如何衡量最佳,因为获取的数据类型不一样:

摄像头是RGB图像的像素阵列;激光雷达是3-D点云距离信息(有可能带反射值的灰度值);GPS-IMU给的是车身位置姿态信息;雷达是2-D反射图。

另外,标定方法分targetless和target两种,前者在自然环境中进行,约束条件少,不需要用专门的target;后者则需要专门的控制场,有ground truth的target,比如典型的棋盘格平面板。

这里仅限于targetless方法的讨论,主要利用Apollo中的标定工具对标定各个传感器进行研究。

2.1 标定场地

我们的标定方法是基于自然场景的,所以一个理想的标定场地可以显著地提高标定结果的准确度。我们建议选取一个纹理丰富的场地,如有树木,电线杆,路灯,交通标志牌,静止的物体和清晰车道线。下图是一个较好的标定环境示例:

2.2 相机到相机

智能车一般会有多个相机, 长焦距的用来检测远处场景(视野小), 短焦距检测近处(视野大).以Apollo的标定方法为例:
基本方法:根据长焦相机投影到短焦相机的融合图像进行判断,绿色通道为短焦相机图像,红色和蓝色通道是长焦投影后的图像,目视判断检验对齐情况。在融合图像中的融合区域,选择场景中距离较远处(50米以外)的景物进行对齐判断,能够重合则精度高,出现粉色或绿色重影(错位),则存在误差,当误差大于一定范围时(范围依据实际使用情况而定),标定失败,需重新标定(正常情况下,近处物体因受视差影响,在水平方向存在错位,且距离越近错位量越大,此为正常现象。垂直方向不受视差影响)。
结果示例:如下图所示,图2为满足精度要求外参效果,图3为不满足精度要求的现象,请重新进行标定过程。

良好的相机到相机标定结果,中间部分为融合结果,重叠较好:
错误的相机到相机标定结果,,中间部分为融合结果,有绿色重影:

2.2 相机到多线激光雷达标定

基本方法:在产生的点云投影图像内,可寻找其中具有明显边缘的物体和标志物,查看其边缘轮廓对齐情况。如果50米以内的目标,点云边缘和图像边缘能够重合,则可以证明标定结果的精度很高。反之,若出现错位现象,则说明标定结果存在误差。当误差大于一定范围时(范围依据实际使用情况而定),该外参不可用。

良好的相机到多线激光雷达标定结果:
错误的相机到多线激光雷达标定结果:

2.3 相机到毫米波雷达标定

基本方法:为了更好地验证毫米波雷达与相机间外参的标定结果,引入激光雷达作为桥梁,通过同一系统中毫米波雷达与相机的外参和相机与激光雷达的外参,计算得到毫米波雷达与激光雷达的外参,将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合,并画出相应的鸟瞰图进行辅助验证。在融合图像中,白色点为激光雷达点云,绿色实心圆为毫米波雷达目标,通过图中毫米波雷达目标是否与激光雷达检测目标是否重合匹配进行判断,如果大部分目标均能对应匹配,则满足精度要求,否则不满足,需重新标定。

良好的毫米波雷达到激光雷达投影结果:
错误的毫米波雷达到激光雷达投影结果:

2.4 相机到IMU标定

虽然Apollo中没有, 但这是视觉slam中的常见传感器标定, 本人在近期会写一个相关的博客。
利用Kalibr 对 Camera-IMU 进行标定

2.5 论文总结

最近相关的标定方面的论文也出现了不少, 奇点的黄裕博士的知乎专栏有总结

3. 数据层融合

有些传感器之间很难在硬件层融合,比如摄像头或者激光雷达和毫米波雷达之间,因为毫米波雷达的目标分辨率很低(无法确定目标大小和轮廓),但可以在数据层层上探索融合,比如目标速度估计,跟踪的轨迹等等。
这里主要介绍一下激光雷达和摄像头的数据融合,实际是激光雷达点云投影在摄像头图像平面形成的深度和图像估计的深度进行结合,理论上可以将图像估计的深度反投到3-D空间形成点云和激光雷达的点云融合,但很少人用。原因是,深度图的误差在3-D空间会放大,另外是3-D空间的点云分析手段不如图像的深度图成熟,毕竟2.5-D还是研究的历史长,比如以前的RGB-D传感器,Kinect或者RealSense。

相机和激光雷达的数据层融合原因:
在无人驾驶环境感知设备中,激光雷达和摄像头分别有各自的优缺点。
摄像头的优点是成本低廉,用摄像头做算法开发的人员也比较多,技术相对比较成熟。摄像头的劣势,第一,获取准确三维信息非常难(单目摄像头几乎不可能,也有人提出双目或三目摄像头去做);另一个缺点是受环境光限制比较大。
激光雷达的优点在于,其探测距离较远,而且能够准确获取物体的三维信息;另外它的稳定性相当高,鲁棒性好。但目前激光雷达成本较高,而且产品的最终形态也还未确定。

3.1 融合的传统方法
bayesia filter
guided image filtering

传统形态学滤波法
3.2 深度学习方法

(1) “Propagating Confidences through CNNs for Sparse Data Regression“, 提出normalized convolution (NConv)layer的改进思路,训练的时候NConv layer通过估计的confidence score最大化地融合 multi scale 的 feature map, 算法如下图:

(2)ICRA的论文High-precision Depth Estimation with the 3D LiDAR and Stereo Fusion
只是在合并RGB image和depth map之前先通过几个convolution layer提取feature map:

(3)法国INRIA的工作,“Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation“
作者发现CNN方法在早期层将RGB和深度图直接合并输入性能不如晚一些合并(这个和任务层的融合比还是early fusion),这也是它的第二个发现,这一点和上个论文观点一致。算法流程:

前后两种合并方式的结果示意:

4. 任务层融合

对于摄像头和激光雷达摄像头的感知任务来说, 都可用于进行车道线检测。除此之外,激光雷达还可用于路牙检测。对于车牌识别以及道路两边,比如限速牌和红绿灯的识别,主要还是用摄像头来完成。如果对障碍物的识别,摄像头可以很容易通过深度学习把障碍物进行细致分类。但对激光雷达而言,它对障碍物只能分一些大类,但对物体运动状态的判断主要靠激光雷达完成。任务级融合:障碍物检测/分类,跟踪,分割和定位。有时候融合可能在某一级的特征空间进行,这个也会随任务不同而变化。

4.1 传统之障碍物检测跟踪
双目和激光雷达融合

法国INRIA利用做十字路口安全驾驶系统的障碍物检测[1]。

双目算法:

激光雷达和单摄像头融合
用一个Bayesian分类器合并两个检测器的结果送进跟踪器[2], 算法流程:
单目和激光雷达融合
图像数据的检测器用DPM算法,激光雷达点云数据检测采用自己提出的3D Morph算法,融合方式如加权和[3], 算法流程:
激光雷达,摄像头和毫米波雷达融合
把激光雷达,摄像头和毫米波雷达的数据在障碍物检测任务进行融合, 基于D-S证据理论[4]

4.2 传统之多传感器定位
激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map

百度Apollo传感器融合用于车辆定位, 传感器配置有激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map。整个融合框架是基于EKF(扩展卡尔曼滤波器):估计最优的position, velocity, attitude (PVA)[5]。

-视觉里程计和激光里程计
该方法是在VO的基础上增加激光雷达点云信息[6]。这是系统框架:

4.3 深度学习之障碍物检测跟踪
最常见的是利用激光雷达和相机进行障碍物检测:

采用激光雷达点云的鸟瞰图和前视图像两个方向的投影和RGB图像共同构成目标检测的输入,检测器类似两步法,其中region proposal被3D proposal导出的bird view/frontal view proposal和2D image proposal结合所取代[7]。

利用激光雷达和相机进行障碍物跟踪层融合:
还是采用tracking by detection思路,训练了三个CNN模型,即detectionnet,matchingnet和scoringnet[8]。

4.4 深度学习之定位
定位
激光雷达灰度图像(反射值)和点云定位进行融合, 两种定位方法都用了卷积网络进行搜索
采用激光雷达扫描(利用卷积网络)的地面反射图来定位车辆,下面可以看到这种灰度图的样子。

引用文献
[1] Intersection Safety using Lidar and Stereo sensors.
[2] LiDAR and Camera-based Pedestrian and Vehicle Detection.
[3] 2D/3D Sensor Exploitation and Fusion for Detection.
[4] Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking.
[5] Robust and Precise Vehicle Localization based on Multi-sensor Fusion in Diverse City Scenes.
[6] Real-time Depth Enhanced Monocular Odometry.
[7] Multi-View 3D Object Detection Network for Autonomous Driving.
[8] End-to-end Learning of Multi-sensor 3D Tracking by Detection.
[9] Learning to Localize Using a LiDAR Intensity Map.

您可能感兴趣的文章

本文地址:https://www.ceomba.cn/2729.html
文章标签: ,   ,  
版权声明:本文为原创文章,版权归 ceomba 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!