传感器信息融合:多传感器信息融合(标定, 数据融合, 任务融合)

2021/11/04 05:35 · 传感器知识资讯 ·  · 传感器信息融合:多传感器信息融合(标定, 数据融合, 任务融合)已关闭评论
摘要:

传感器信息融合:多传感器信息融合(标定,数据融合,任务融合)文章目录1.引言2.多传感器标定2.1标定场地2.2相机到相机2.2相机到多线激光雷达标定2.3相机到毫米波雷达标定2.4相机到IMU标定2.5论文总结3.数据层融

传感器信息融合:多传感器信息融合(标定, 数据融合, 任务融合)

文章目录
1. 引言2. 多传感器标定
2.1 标定场地2.2 相机到相机2.2 相机到多线激光雷达标定2.3 相机到毫米波雷达标定2.4 相机到IMU标定2.5 论文总结3. 数据层融合
3.1 融合的传统方法3.2 深度学习方法4. 任务层融合
4.1 传统之障碍物检测跟踪4.2 传统之多传感器定位4.3 深度学习之障碍物检测跟踪4.4 深度学习之定位
?

1. 引言
自动驾驶感知和定位中传感器融合成了无人驾驶领域的趋势,融合按照实现原理分为硬件层的融合, 如禾赛和Mobileye等传感器厂商, 利用传感器的底层数据进行融合;数据层, 利用传感器各种得到的后期数据,即每个传感器各自独立生成目标数据,再由主处理器进行融合这些特征数据来实现感知任务;任务层, 先由各传感器完成感知或定位任务, 如障碍物检测,车道线检测,语义分割和跟踪以及车辆自身定位等, 然后添加置信度进行融合。

2. 多传感器标定
传感器标定是自动驾驶的基本需求,良好的标定是多传感器融合的基础, 一个车上装了多个/多种传感器,而它们之间的坐标关系是需要确定的。

这个工作可分成两部分:内参标定和外参标定,内参是决定传感器内部的映射关系,比如摄像头的焦距,偏心和像素横纵比(+畸变系数),而外参是决定传感器和外部某个坐标系的转换关系,比如姿态参数(旋转和平移6自由度)。

摄像头的标定曾经是计算机视觉中3-D重建的前提,张正友老师著名的的Zhang氏标定法,利用Absolute Conic不变性得到的平面标定算法简化了控制场。

另外在自动驾驶研发中,GPS/IMU和摄像头或者激光雷达的标定,雷达和摄像头之间的标定也是常见的。不同传感器之间标定最大的问题是如何衡量最佳,因为获取的数据类型不一样:

摄像头是RGB图像的像素阵列;激光雷达是3-D点云距离信息(有可能带反射值的灰度值);GPS-IMU给的是车身位置姿态信息;雷达是2-D反射图。
另外,标定方法分targetless和target两种,前者在自然环境中进行,约束条件少,不需要用专门的target;后者则需要专门的控制场,有ground truth的target,比如典型的棋盘格平面板。

这里仅限于targetless方法的讨论,主要利用Apollo中的标定工具对标定各个传感器进行研究。

2.1 标定场地
我们的标定方法是基于自然场景的,所以一个理想的标定场地可以显著地提高标定结果的准确度。我们建议选取一个纹理丰富的场地,如有树木,电线杆,路灯,交通标志牌,静止的物体和清晰车道线。下图是一个较好的标定环境示例:

2.2 相机到相机
智能车一般会有多个相机, 长焦距的用来检测远处场景(视野小), 短焦距检测近处(视野大).以Apollo的标定方法为例:
基本方法:根据长焦相机投影到短焦相机的融合图像进行判断,绿色通道为短焦相机图像,红色和蓝色通道是长焦投影后的图像,目视判断检验对齐情况。在融合图像中的融合区域,选择场景中距离较远处(50米以外)的景物进行对齐判断,能够重合则精度高,出现粉色或绿色重影(错位),则存在误差,当误差大于一定范围时(范围依据实际使用情况而定),标定失败,需重新标定(正常情况下,近处物体因受视差影响,在水平方向存在错位,且距离越近错位量越大,此为正常现象。垂直方向不受视差影响)。
结果示例:如下图所示,图2为满足精度要求外参效果,图3为不满足精度要求的现象,请重新进行标定过程。

良好的相机到相机标定结果,中间部分为融合结果,重叠较好:
错误的相机到相机标定结果,,中间部分为融合结果,有绿色重影:
2.2 相机到多线激光雷达标定
基本方法:在产生的点云投影图像内,可寻找其中具有明显边缘的物体和标志物,查看其边缘轮廓对齐情况。如果50米以内的目标,点云边缘和图像边缘能够重合,则可以证明标定结果的精度很高。反之,若出现错位现象,则说明标定结果存在误差。当误差大于一定范围时(范围依据实际使用情况而定),该外参不可用。

良好的相机到多线激光雷达标定结果:
错误的相机到多线激光雷达标定结果:
2.3 相机到毫米波雷达标定
基本方法:为了更好地验证毫米波雷达与相机间外参的标定结果,引入激光雷达作为桥梁,通过同一系统中毫米波雷达与相机的外参和相机与激光雷达的外参,计算得到毫米波雷达与激光雷达的外参,将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合,并画出相应的鸟瞰图进行辅助验证。在融合图像中,白色点为激光雷达点云,绿色实心圆为毫米波雷达目标,通过图中毫米波雷达目标是否与激光雷达检测目标是否重合匹配进行判断,如果大部分目标均能对应匹配,则满足精度要求,否则不满足,需重新标定。

良好的毫米波雷达到激光雷达投影结果:
错误的毫米波雷达到激光雷达投影结果:
2.4 相机到IMU标定
虽然Apollo中没有, 但这是视觉slam中的常见传感器标定, 本人在近期会写一个相关的博客。
利用Kalibr 对 Camera-IMU 进行标定

2.5 论文总结
最近相关的标定方面的论文也出现了不少,?奇点的黄裕博士的知乎专栏有总结

3. 数据层融合
有些传感器之间很难在硬件层融合,比如摄像头或者激光雷达和毫米波雷达之间,因为毫米波雷达的目标分辨率很低(无法确定目标大小和轮廓),但可以在数据层层上探索融合,比如目标速度估计,跟踪的轨迹等等。
这里主要介绍一下激光雷达和摄像头的数据融合,实际是激光雷达点云投影在摄像头图像平面形成的深度和图像估计的深度进行结合,理论上可以将图像估计的深度反投到3-D空间形成点云和激光雷达的点云融合,但很少人用。原因是,深度图的误差在3-D空间会放大,另外是3-D空间的点云分析手段不如图像的深度图成熟,毕竟2.5-D还是研究的历史长,比如以前的RGB-D传感器,Kinect或者RealSense。

相机和激光雷达的数据层融合原因:
在无人驾驶环境感知设备中,激光雷达和摄像头分别有各自的优缺点。
摄像头的优点是成本低廉,用摄像头做算法开发的人员也比较多,技术相对比较成熟。摄像头的劣势,第一,获取准确三维信息非常难(单目摄像头几乎不可能,也有人提出双目或三目摄像头去做);另一个缺点是受环境光限制比较大。
激光雷达的优点在于,其探测距离较远,而且能够准确获取物体的三维信息;另外它的稳定性相当高,鲁棒性好。但目前激光雷达成本较高,而且产品的最终形态也还未确定。

3.1 融合的传统方法
bayesia filter
guided image filtering

传统形态学滤波法
3.2 深度学习方法
(1) “Propagating Confidences through CNNs for Sparse Data Regression“, 提出normalized convolution (NConv)layer的改进思路,训练的时候NConv layer通过估计的confidence score最大化地融合 multi scale 的 feature map, 算法如下图:

(2)ICRA的论文High-precision Depth Estimation with the 3D LiDAR and Stereo Fusion
只是在合并RGB image和depth map之前先通过几个convolution layer提取feature map:
(3)法国INRIA的工作,“Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation“
作者发现CNN方法在早期层将RGB和深度图直接合并输入性能不如晚一些合并(这个和任务层的融合比还是early fusion),这也是它的第二个发现,这一点和上个论文观点一致。算法流程:
前后两种合并方式的结果示意:

4. 任务层融合
对于摄像头和激光雷达摄像头的感知任务来说, 都可用于进行车道线检测。除此之外,激光雷达还可用于路牙检测。对于车牌识别以及道路两边,比如限速牌和红绿灯的识别,主要还是用摄像头来完成。如果对障碍物的识别,摄像头可以很容易通过深度学习把障碍物进行细致分类。但对激光雷达而言,它对障碍物只能分一些大类,但对物体运动状态的判断主要靠激光雷达完成。任务级融合:障碍物检测/分类,跟踪,分割和定位。有时候融合可能在某一级的特征空间进行,这个也会随任务不同而变化。

4.1 传统之障碍物检测跟踪
双目和激光雷达融合
法国INRIA利用做十字路口安全驾驶系统的障碍物检测[1]。
双目算法:

激光雷达和单摄像头融合
用一个Bayesian分类器合并两个检测器的结果送进跟踪器[2], 算法流程:
单目和激光雷达融合
图像数据的检测器用DPM算法,激光雷达点云数据检测采用自己提出的3D Morph算法,融合方式如加权和[3], 算法流程:
激光雷达,摄像头和毫米波雷达融合
把激光雷达,摄像头和毫米波雷达的数据在障碍物检测任务进行融合, 基于D-S证据理论[4]
4.2 传统之多传感器定位
激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map
百度Apollo传感器融合用于车辆定位, 传感器配置有激光雷达64线,雷达,摄像头,GPS-IMU(RTK),还有HD Map。整个融合框架是基于EKF(扩展卡尔曼滤波器):估计最优的position, velocity, attitude (PVA)[5]。

-视觉里程计和激光里程计
该方法是在VO的基础上增加激光雷达点云信息[6]。这是系统框架:

4.3 深度学习之障碍物检测跟踪
最常见的是利用激光雷达和相机进行障碍物检测:
采用激光雷达点云的鸟瞰图和前视图像两个方向的投影和RGB图像共同构成目标检测的输入,检测器类似两步法,其中region proposal被3D proposal导出的bird view/frontal view proposal和2D image proposal结合所取代[7]。

利用激光雷达和相机进行障碍物跟踪层融合:
还是采用tracking by detection思路,训练了三个CNN模型,即detectionnet,matchingnet和scoringnet[8]。
4.4 深度学习之定位
定位
激光雷达灰度图像(反射值)和点云定位进行融合, 两种定位方法都用了卷积网络进行搜索
采用激光雷达扫描(利用卷积网络)的地面反射图来定位车辆,下面可以看到这种灰度图的样子。
引用文献
[1] Intersection Safety using Lidar and Stereo sensors.
[2] LiDAR and Camera-based Pedestrian and Vehicle Detection.
[3] 2D/3D Sensor Exploitation and Fusion for Detection.
[4] Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking.
[5] Robust and Precise Vehicle Localization based on Multi-sensor Fusion in Diverse City Scenes.
[6] Real-time Depth Enhanced Monocular Odometry.
[7] Multi-View 3D Object Detection Network for Autonomous Driving.
[8] End-to-end Learning of Multi-sensor 3D Tracking by Detection.
[9] Learning to Localize Using a LiDAR Intensity Map.
传感器信息融合:多传感器信息融合(标定, 数据融合, 任务融合)  第1张

传感器信息融合:多传感器信息融合

收藏
查看我的收藏
0
有用+1
已投票
0
多传感器信息融合
语音
编辑
锁定
讨论
上传视频
上传视频
所谓多传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器或多源的信息和数据,在一定的准则下加以自动分析和综合,以完成所需要的决策和估计而进行的信息处理过程。
[1]
多传感器信息融合是用于包含处于不同位置的多个或者多种传感器的信息处理技术。随着传感器应用技术、数据处理技术、计算机软硬件技术和工业化控制技术的发展成熟,多传感器信息融合技术已形成一门热门新兴学科和技术。我国对多传感器信息融合技术的研究已经在工程上已应用于信息的定位和识别等。而且相信随着科学的进步,多传感器信息融合技术会成为一门智能化、精细化数据信息图像等综合处理和研究的专门技术
[2]

中文名
多传感器信息融合
简 介
多传感器信息融合是用于包含处
基本原理
多传感器信息融合技术的基本原理
体系架构
分布式、集中式和混合式
特 点
冗余、互补、及时和低成本行
[3]
目录
1
基本原理
2
体系架构
3
理论方法
4
研究发展
5
展望
多传感器信息融合基本原理
编辑
语音
多传感器信息融合技术的基本原理就像人的大脑综合处理信息的过程一样,将各种传感器进行多层次、多空间的信息互补和优化组合处理,最终产生对观测环境的一致性解释。在这个过程中要充分地利用多源数据进行合理支配与使用,而信息融合的最终目标则是基于各传感器获得的分离观测信息,通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势,而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。
多传感器信息融合体系架构
编辑
语音
根据数据处理方法的不同,信息融合系统的体系结构有三种:分布式、集中式和混合式。1)分布式:先对各个独立传感器所获得的原始数据进行局部处理,然后再将结果送入信息融合中心进行智能优化组合来获得最终的结果。分布式对通信带宽的需求低、计算速度快、可靠性和延续性好,但跟踪的精度却远没有集中式高;分布式的融合结构又可以分为带反馈的分布式融合结构和不带反馈的分布式融合结构。2)集中式:集中式将各传感器获得的原始数据直接送至中央处理器进行融合处理,可以实现实时融合,其数据处理的精度高,算法灵活,缺点是对处理器的要求高,可靠性较低,数据量大,故难于实现;3)混合式:混合式多传感器信息融合框架中,部分传感器采用集中式融合方式,剩余的传感器采用分布式融合方式。混合式融合框架具有较强的适应能力,兼顾了集中式融合和分布式的优点,稳定性强。混合式融合方式的结构比前两种融合方式的结构复杂,这样就加大了通信和计算上的代价。
多传感器信息融合理论方法
编辑
语音
(1)卡尔曼滤波(KF)卡尔曼滤波处理信息的过程一般为预估和纠正,他对多传感信息融合技术的作用中不仅是个简单具体的算法,而且也是一种非常有用的系统处理方案。事实上,它与很多系统处理信息数据的方法类似,它利用数学上迭代递推计算的方法为融合数据提供行之有效的统计意义下的最优估计,但是对存储的空间和计算要求很小,适合于对数据处理空间和速度有限制的环境下。KF分为分散卡尔曼滤波(DKF)和扩展卡尔曼滤波(EKF)两种。DKF能使数据融合完全分散化,而EKF能有效克服数据处理的误差和不稳定性对信息融合过程产生的影响。(2)人工神经网络法这种方法通过模仿人脑的结构和工作原理以传感器获得的数据为网络的输入,通过网络的训练在相应的机器或者模型上完成一定的智能任务来消除非目标参量的干扰。神经网络法对于消除在多传感器在协同工作中受各方面因素相互交叉影响效果明显,而且它编程简便,输出稳定
[4]

多传感器信息融合研究发展
编辑
语音
多传感器信息融合技术的应用领域广泛,不仅应用于军事,在民事应用方面也有很大的空间。军事应用是多传感器信息融合技术诞生的奠基石,具体应用包括海洋监视系统和军事防御系统。在民事应用领域方面,主要用于智能处理以及工业化控制,智能处理包括医药方面的机器人微型手术和疾病监测尤其是智能家居等方面。多传感器信息融合技术存在的问题1)关联的二义性是技术的首要不足,在一个多传感器的系统中,各个分散的传感器获得的数据会不可避免地受到许多因素制约(如环境状态和传感器本身的特性),因而要想更好的发展多传感器的融合技术,降低关联的二义性这个问题要得到充分关注;2)基础的理论体系和完善的融合算法有待完善。因为绝大多数的融合技术都是在特定的应用领域上开展的。我们必须针对实际问题来建立直观的融合准则,形成有效数据融合方案。如果有了完善的理论体系和融合模型,就能避免融合技术的盲目性。如异步信息融合算法
[5]
,量子神经网络信息融合故障诊断方法
[6]
,自组织映射神经网络信息融合方法等,都是值得关注的新方法。3)信息融合系统与融合方法在实施中还面临许多问题。如各种融合模型的建立,以及各种传感器的资源分配和信息管理方法都是现阶段信息融合领域亟待解决的关键技术。
多传感器信息融合展望
编辑
语音
信息融合系统是一个具有强烈不确定性的复杂大系统,处理方法受到现有理论、技术、设备的限制。虽然这是一门新发展的学科,很多理论还不健全,但随着各种新兴的相关学科技术的发展,它将不断完善,并得到更多的实用价值。
词条图册
更多图册
参考资料
1.

朱大奇.电子设备故障诊断的原理与实践.北京:电子工业出版社,2004
2.

何友,王国宏,等.多传感器信息融合及应用.北京:电子工业出版社,2000
3.

多传感器信息融合技术4大特点3大结构
.大比特技术动态网[引用日期2017-02-06]
4.

朱大奇,史惠.人工神经网络原理及应用.北京:科学出版社,2006
5.

葛泉波,汤天浩,文成林.基于有理数倍采样的异步数据融合算法研究 [J].电子学报,2006 , 34 (3) : 560~565.
6.

朱大奇,陈尔奎.旋转机械故障诊断的量子神经网络信息融合算法 [J].中国电机工程学报,2006,26(1):132~137.
传感器信息融合:多传感器信息融合(标定, 数据融合, 任务融合)  第2张

传感器信息融合:多传感器信息融合方法

转载:

多传感器信息融合分为集中式融合结构,分散式融合结构和分级融合结构。

随着机器人技术的不断发展,机器人的应用领域和功能有了极大的拓展和提高。智能化已成为机器人技术的发展趋势,而传感器技术则是实现机器人智能化的基础之一。由于单一传感器获得的信息非常有限,而且,还要受到自身品质和性能的影响,因此,智能机器人通常配有数量众多的不同类型的传感器,以满足探测和数据采集的需要。若对各传感器采集的信息进行单独、孤立地处理,不仅会导致信息处理工作量的增加,而且,割断了各传感器信息间的内在联系,丢失了信息经有机组合后可能蕴含的有关环境特征,造成信息资源的浪费,甚至可能导致决策失误。为了解决上述问题人们提出了多传感器融合技术(multi-sensorfusion)。

  概述

  多传感器融合又称多传感器信息融合(multi-sensor information fusion),有时也称作多传感器数据融合(multi-sensor data fusion),于1973年在美国国防部资助开发的声纳信号处理系统中被首次提出,它是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。它从多信息的视角进行处理及综合,得到各种信息的内在联系和规律,从而剔除无用的和错误的信息,保留正确的和有用的成分,最终实现信息的优化,也为智能信息处理技术的研究提供了新的观念。

多传感器融合的层次结构

  多传感器融合在结构上按其在融合系统中信息处理的抽象程度,主要划分为三个层次:数据层融合、特征层融合和决策层融合。

  1.数据层融合:也称像素级融合,首先将传感器的观测数据融合,然后从融合的数据中提取特征向量,并进行判断识别。数据层融合需要传感器是同质的(传感器观测的是同一物理现象),如果多个传感器是异质的(观测的不是同一个物理量),那么数据只能在特征层或决策层进行融合。数据层融合不存在数据丢失的问题,得到的结果也是最准确的,但计算量大,且对系统通信带宽的要求很高。

?

 2.特征层融合:特征层融合属于中间层次,先从每种传感器提供的观测数据中提取的有代表性的特征,这些特征融合成单一的特征向量,然后运用模式识别的方法进行处理。这种方法的计算量及对通信带宽的要求相对降低,但由于部分数据的舍弃使其准确性有所下降。

?

3.决策层融合:决策层融合属于高层次的融合,由于对传感器的数据进行了浓缩,这种方法产生的结果相对而言最不准确,但它的计算量及对通信带宽的要求最低。

?

对于特定的多传感器融合系统工程应用,应综合考虑传感器的性能、系统的计算能力、通信带宽、期望的准确率以及资金能力等因素,以确定哪种层次是最优的。另外,在一个系统中,也可能同时在不同的融合层次上进行融合。

?

?

多传感器融合的算法

  融合算法是融合处理的基础。它是将多元输入数据根据信息融合的功能要求,在不同融合层次上采用不同的数学方法,对数据进行综合处理,最终实现融合。目前已有大量的融合算法,它们都有各自的优缺点。这些融合算法总体上法可以分为三大类型:嵌入约束法、证据组合法、人工神经网络法。

1.嵌入约束法

  由多种传感器所获得的客观环境的多组数据就是客观环境按照某种映射关系形成的像,传感器信息融合就是通过像求解原像,即对客观环境加以了解。用数学语言描述就是,即使所有传感器的全部信息,也只能描述环境的某些方面的特征,而具有这些特征的环境却有很多,要使一组数据对应惟一的环境(即上述映射为一一映射),就必须对映射的原像和映射本身加约束条件,使问题能有惟一的解。嵌入约束法有两种基本的方法:贝叶斯估计和卡尔曼滤波。

2.证据组合法

  证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策,而多传感器数据信息在一定程度上反映环境这方面的情况。因此,分析每一数据作为支持某种决策证据的支持程度,并将不同传感器数据的支持程度进行组合,即证据组合,分析得出现有组合证据支持程度最大的决策作为信息融合的结果。

  证据组合法是为完成某一任务的需要而处理多种传感器的数据信息。它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度),再寻找一种证据组合方法或规则,使在已知两个不同传感器数据(即证据)对决策的分别支持程度时,通过反复运用组合规则,最终得出全体数据信息的联合体对某决策总的支持程度,得到最大证据支持决策,即传感器信息融合的结果。

  常用的证据组合方法有:概率统计方法、D-S(Dempster-Shafer)证据推理法。

3.人工神经网络法

  人工神经网络通过模仿人脑的结构和工作原理,设计和建立相应的机器和模型并完成一定的智能任务。神经网络根据当前系统所接收到的样本的相似性,确定分类标准。这种确定方法主要表现在网络权值分布上,同时可采用神经网络特定的学习算法来获取知识,得到不确定性推理机制。采用神经网络法的多传感器信息融合,分三个主要步骤:

  (1).根据智能系统要求及传感器信息融合的形式,选择其拓扑结构;

  (2).各传感器的输入信息综合处理为一总体输入函数,并将此函数映射定义为相关单元的映射函数,通过神经网络与环境的交互作用把环境的统计规律反映网络本身的结构;

  (3).对传感器输出信息进行学习、理解,确定权值的分配,进而对输入模式作出解释,将输入数据向量转换成高级逻辑(符号)概念。

?

?

多传感器数据融合是一个新兴的研究领域,是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术,是多学科交叉的新技术,涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。

近年来,多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于C3I系统、复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、遥感、医疗诊断、图像处理、模式识别等领域。实践证明:与单传感器系统相比,运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面,能够增强系统生存能力,提高整个系统的可靠性和鲁棒性,增强数据的可信度,并提高精度,扩展整个系统的时间、空间覆盖率,增加系统的实时性和信息利用率等。

1 基本概念及融合原理

1.1 多传感器数据融合概念

数据融合又称作信息融合或多传感器数据融合,对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展,根据国内外研究成果,多传感器数据融合比较确切的定义可概括为:充分利用不同时间与空间的多传感器数据资源,采用计算机技术对按时间序列获得的多传感器观测数据,在一定准则下进行分析、综合、支配和使用,获得对被测对象的一致性解释与描述,进而实现相应的决策和估计,使系统获得比它的各组成部分更充分的信息。

1.2 多传感器数据融合原理

多传感器数据融合技术的基本原理就像人脑综合处理信息一样,充分利用多个传感器资源,通过对多传感器及其观测信息的合理支配和使用,把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合,以获得被测对象的一致性解释或描述。具体地说,多传感器数据融合原理如下:

  (1)N个不同类型的传感器(有源或无源的)收集观测目标的数据;

  (2)对传感器的输出数据(离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换,提取代表观测数据的特征矢量Yi;

  (3)对特征矢量Yi进行模式识别处理(如,聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等)完成各传感器关于目标的说明;

  (4)将各传感器关于目标的说明数据按同一目标进行分组,即关联;

  (5)利用融合算法将每一目标各传感器数据进行合成,得到该目标的一致性解释与描述。

2 多传感器数据融合方法

利用多个传感器所获取的关于对象和环境全面、完整的信息,主要体现在融合算法上。因此,多传感器系统的核心问题是选择合适的融合算法。对于多传感器系统来说,信息具有多样性和复杂性,因此,对信息融合方法的基本要求是具有鲁棒性和并行处理能力。此外,还有方法的运算速度和精度;与前续预处理系统和后续信息识别系统的接口性能;与不同技术和方法的协调能力;对信息样本的要求等。一般情况下,基于非线性的数学方法,如果它具有容错性、自适应性、联想记忆和并行处理能力,则都可以用来作为融合方法。

多传感器数据融合虽然未形成完整的理论体系和有效的融合算法,但在不少应用领域根据各自的具体应用背景,已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类,随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、Dempster-Shafer(D-S)证据推理、产生式规则等;而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见,神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。

2.1 随机类方法

2.1.1 加权平均法

信号级融合方法最简单、最直观方法是加权平均法,该方法将一组传感器提供的冗余信息进行加权平均,结果作为融合值,该方法是一种直接对数据源进行操作的方法。

2.1.2 卡尔曼滤波法

卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推,决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。卡尔曼滤波的递推特性使系统处理不需要大量的数据存储和计算。但是,采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时,存在很多严重的问题,例如:(1)在组合信息大量冗余的情况下,计算量将以滤波器维数的三次方剧增,实时性不能满足;(2)传感器子系统的增加使故障随之增加,在某一系统出现故障而没有来得及被检测出时,故障会污染整个系统,使可靠性降低。

2.1.3 多贝叶斯估计法

贝叶斯估计为数据融合提供了一种手段,是融合静环境中多传感器高层信息的常用方法。它使传感器信息依据概率原则进行组合,测量不确定性以条件概率表示,当传感器组的观测坐标一致时,可以直接对传感器的数据进行融合,但大多数情况下,传感器测量数据要以间接方式采用贝叶斯估计进行数据融合。

多贝叶斯估计将每一个传感器作为一个贝叶斯估计,将各个单独物体的关联概率分布合成一个联合的后验的概率分布函数,通过使用联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型提供整个环境的一个特征描述。

2.1.4 D-S证据推理方法

D-S证据推理是贝叶斯推理的扩充,其3个基本要点是:基本概率赋值函数、信任函数和似然函数。D-S方法的推理结构是自上而下的,分三级。第1级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果(ID);第2级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第3级为更新,各种传感器一般都存在随机误差,所以,在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告可靠。因此,在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。

2.1.5 产生式规则

产生式规则采用符号表示目标特征和相应传感器信息之间的联系,与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中,2个或多个规则形成一个联合规则时,可以产生融合。应用产生式规则进行融合的主要问题是每个规则的置信因子的定义与系统中其他规则的置信因子相关,如果系统中引入新的传感器,需要加入相应的附加规则。

2.2 人工智能类方法

2.2.1 模糊逻辑推理

模糊逻辑是多值逻辑,通过指定一个0到1之间的实数表示真实度,相当于隐含算子的前提,允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模,则可以产生一致性模糊推理。与概率统计方法相比,逻辑推理存在许多优点,它在一定程度上克服了概率论所面临的问题,它对信息的表示和处理更加接近人类的思维方式,它一般比较适合于在高层次上的应用(如决策),但是,逻辑推理本身还不够成熟和系统化。此外,由于逻辑推理对信息的描述存在很大的主观因素,所以,信息的表示和处理缺乏客观性。

模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑,模糊逻辑是一种多值逻辑,隶属度可视为一个数据真值的不精确表示。在MSF过程中,存在的不确定性可以直接用模糊逻辑表示,然后,使用多值逻辑推理,根据模糊集合理论的各种演算对各种命题进行合并,进而实现数据融合。

2.2.2 人工神经网络法

神经网络具有很强的容错性以及自学习、自组织及自适应能力,能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力,恰好满足了多传感器数据融合技术处理的要求。在多传感器系统中,各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准,这种确定方法主要表现在网络的权值分布上,同时,可以采用经*定的学习算法来获取知识,得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能,即实现了多传感器数据融合。

常用的数据融合方法及特性如表1所示。通常使用的方法依具体的应用而定,并且,由于各种方法之间的互补性,实际上,常将2种或2种以上的方法组合进行多传感器数据融合。

3 应用领域

随着多传感器数据融合技术的发展,应用的领域也在不断扩大,多传感器融合技术已成功地应用于众多的研究领域。多传感器数据融合作为一种可消除系统的不确定因素、提供准确的观测结果和综合信息的智能化数据处理技术,已在军事、工业监控、智能检测、机器人、图像分析、目标检测与跟踪、自动目标识别等领域获得普遍关注和广泛应用称重传感器。

(1)军事应用

数据融合技术起源于军事领域,数据融合在军事上应用最早、范围最广,涉及战术或战略上的检测、指挥、控制、通信和情报任务的各个方面。主要的应用是进行目标的探测、跟踪和识别,包括C31系统、自动识别武器、自主式运载制导、遥感、战场监视和自动威胁识别系统等。如,对舰艇、飞机、导弹等的检测、定位、跟踪和识别及海洋监视、空对空防御系统、地对空防御系统等。海洋监视系统包括对潜艇、鱼雷、水下导弹等目标的检测、跟踪和识别,传感器有雷达、声纳、远红外、综合孔径雷达等。空对空、地对空防御系统主要用来检测、跟踪、识别敌方飞机、导弹和防空武器,传感器包括雷达、ESM(电子支援措施)接收机、远红外敌我识别传感器、光电成像传感器等。迄今为止,美、英、法、意、日、俄等国家已研制出了上百种军事数据融合系统,比较典型的有:TCAC—战术指挥控制,BETA—战场利用和目标截获系统,AIDD—炮兵情报数据融合等。在近几年发生的几次局部战争中,数据融合显示了强大的威力,特别是在海湾战争和科索沃战争中,多国部队的融合系统发挥了重要作用。

(2)复杂工业过程控制

复杂工业过程控制是数据融合应用的一个重要领域。目前,数据融合技术已在核反应堆和石油平台监视等系统中得到应用。融合的目的是识别引起系统状态超出正常运行范围的故障条件,并据此触发若干报警器。通过时间序列分析、频率分析、小波分析,从各传感器获取的信号模式中提取出特征数据,同时,将所提取的特征数据输入神经网络模式识别器,神经网络模式识别器进行特征级数据融合,以识别出系统的特征数据,并输入到模糊专家系统进行决策级融合;专家系统推理时,从知识库和数据库中取出领域知识规则和参数,与特征数据进行匹配(融合);最后,决策出被测系统的运行状态、设备工作状况和故障等。

(3)机器人

多传感器数据融合技术的另一个典型应用领域为机器人。目前,主要应用在移动机器人和遥操作机器人上,因为这些机器人工作在动态、不确定与非结构化的环境中(如“勇气”号和“机遇”号火星车),这些高度不确定的环境要求机器人具有高度的自治能力和对环境的感知能力,而多传感器数据融合技术正是提高机器人系统感知能力的有效方法。实践证明:采用单个传感器的机器人不具有完整、可靠地感知外部环境的能力。智能机器人应采用多个传感器,并利用这些传感器的冗余和互补的特性来获得机器人外部环境动态变化的、比较完整的信息,并对外部环境变化做出实时的响应。目前,机器人学界提出向非结构化环境进军,其核心的关键之一就是多传感器系统和数据融合。

(4)遥感

多传感器融合在遥感领域中的应用,主要是通过高空间分辨力全色图像和低光谱分辨力图像的融合,得到高空问分辨力和高光谱分辨力的图像,融合多波段和多时段的遥感图像来提高分类的准确*。

****通管理系统

数据融合技术可应用于地面车辆定位、车辆跟踪、车辆导航以及空中交通管制系统等。

(6)全局监视

监视较大范围内的人和事物的运动和状态,需要运用数据融合技术。例如:根据各种医疗传感器、病历、病史、气候、季节等观测信息,实现对病人的自动监护;从空中和地面传感器监视庄稼生长情况,进行产量预测;根据卫星云图、气流、温度、压力等观测信息,实现天气预报。

4 存在问题及发展趋势

数据融合技术方兴未艾,几乎一切信息处理方法都可以应用于数据融合系统。随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算软件和硬件技术等相关技术的发展,尤其是人工智能技术的进步,新的、更有效的数据融合方法将不断推出,多传感器数据融合必将成为未来复杂工业系统智能检测与数据处理的重要技术,其应用领域将不断扩大。多传感器数据融合不是一门单一的技术,而是一门跨学科的综合理论和方法,并且,是一个不很成熟的新研究领域,尚处在不断变化和发展过程中压力传感器

4.1 数据融合存在的问题

  (1)尚未建立统一的融合理论和有效广义融合模型及算法;

  (2)对数据融合的具体方法的研究尚处于初步阶段;

  (3)还没有很好解决融合系统中的容错性或鲁棒性问题;

  (4)关联的二义性是数据融合中的主要障碍;

  (5)数据融合系统的设计还存在许多实际问题。

4.2 数据融合发展趋势

数据融合的发展趋势如下:

  (1)建立统一的融合理论、数据融合的体系结构和广义融合模型;

  (2)解决数据配准、数据预处理、数据库构建、数据库管理、人机接口、通用软件包开发问题,利用成熟的辅助技术,建立面向具体应用需求的数据融合系统;

  (3)将人工智能技术,如,神经网络、遗传算法、模糊理论、专家理论等引入到数据融合领域;利用集成的计算智能方法(如,模糊逻辑+神经网络,遗传算法+模糊+神经网络等)提高多传感融合的性能;

  (4)解决不确定性因素的表达和推理演算,例如:引入灰数的概念;

  (5)利用有关的先验数据提高数据融合的性能,研究更加先进复杂的融合算法(未知和动态环境中,采用并行计算机结构多传感器集成与融合方法的研究等);

  (6)在多平台/单平台、异类/同类多传感器的应用背景下,建立计算复杂程度低,同时,又能满足任务要求的数据处理模型和算法;

  (7)构建数据融合测试评估平台和多传感器管理体系;

  (8)将已有的融合方法工程化与商品化,开发能够提供多种复杂融合算法的处理硬件,以便在数据获取的同时就实时地完成融合。

5 结束语

随着研究者的不断努力,不久的将来,数据融合的基础理论、兼有鲁棒性和准确性的融合算法将不断地得到完善,实现技术将不断地得到更新,实际应用将不断地被扩展。多传感器数据融合技术必将不断地走向成熟。

?

?

传感器信息融合:高斯混合模型&EM算法

卡尔曼滤波是一种(线性)、(无偏)、(误差方差最小)的最优估计。
注意第一个定语:线性。
线性系统是我们研究得最透彻的,也是最简单的最好解决的问题。只要问题是线性的,或者是偏向线性的,就想办法用线性方程去解决它。这里也有成本的考虑。很幸运的,传感器融合的问题,是偏向线性的,所以就用各种卡尔曼滤波的变种去解决它。
如果问题是高度线性化的,则用粒子滤波,那成本就高了,数数用多少个矩阵偏导和加乘运算就知道了。
机械转子陀螺的工作原理是建立在牛顿力学的基础上的,动量距定理是分析陀螺动力学特性的基本方程。而激光陀螺的工作原理是建立在量子力学基础上的,与转子陀螺的工作原理有本质上的区别。原理上,激光陀螺是固体型的,不需要活动部件,用作捷联惯导的角速度测量时,不存在动态误差和静态误差,启动快,耐冲击,受温度影响小,一般只需要用温度模型做温补而不需要温控。[1]
一. sagnac干涉仪
1913年法国科学家sagnac研制出一种光学干涉仪,用于验证用无运动部件的光学系统同样可以检测出相对于惯性空间的旋转运动。1925年美国科学家迈克尔逊和盖尔根据干涉仪原理,研制出了一个巨型光学陀螺,用于测量地球的自转角速度。
迈克尔逊光学陀螺装置
该装置由300m×600m的矩形光学回路构成,光源采用普通光。从点O出发的光经过狭缝N后产生一束光,该束光经过半透半反分光镜后形成两束光,一束透射光a,一束反射光b。透射光a经反射镜M1, M2, M3到达分光镜S后又形成反射光和透射光,其中透射光到达屏幕Q;反射光b经过反射镜M3, M2, M1到达分光镜S后,其中的反射光到达屏幕Q。
闭合光路长度为
当角速度 时,透射光a和反射光b所走的光路长度相等,走完光路所用时间相等,即

其中, 为光速。由于两光束同时到达Q,且光束来自同一光源频率相同,所以相位差为零,在屏幕上产生的干涉条纹相对P点对称分布。
当 时,S, M1, M2, M3具有切向速度

沿光路方向的速度为

以光束a和M1为例,在同样的时间里,M1沿SM1移动的距离 ,光束行走的距离 ,那么可列出方程
即可得
那么走完闭合光路光束a多走的距离为
光束a走的总光程为
同理,光束b走的总光程为
那么,走完一周后,两束光的光程差为
由于 是光速,忽略分母中的极小项,光程差为
光路为正方形,光路所包围面积为 ,光程差为
根据迈克尔逊光学陀螺装置的参数来计算,面积300m×600m,地球自转角速度15°/h,若不计纬度影响,可得光程差为 ,相当于光源波长 的1/4,即干涉条纹移动了1/4的条纹间距。它的测量灵敏度和精度还较差,但为惯性技术的发展开辟了新领域。
二. 激光陀螺工作原理
1962年氦氖激光器的问世,为光学陀螺的实现奠定了技术基础。
相对于sagnac干涉仪,激光陀螺做了如下两点改进:
采用激光作为光源,激光优良的相干性,使得正反两方向的光束在陀螺腔体内形成谐振,即光束沿腔体环路反复运行时一直能保持相干。改测量光程差为测量两束光的频率差,即拍频,这显著提高了陀螺的测量灵敏度。激光陀螺工作原理
激光陀螺采用三个反射镜组成环形谐振腔,即闭合环路,激光管沿光轴传播的光子向两侧经过透镜M4和M5射出,再分别经由M1, M2, M3反射回来,于是回路中有传播方向相反的两路光束。对每一光束来说,只有经过一圈返回原处时相位差为 的整数倍的光子才能诱发出与之相应的第二代光子,并以此规律逐渐增强,对于相位差不满足 的整数倍的光子,则逐渐衰弱直至消失,若增强的光子多于衰弱的光子,则闭合光路工作在谐振状态。该原理保证了谐振腔中的光束始终保持谐振状态。谐振腔形成谐振的条件是

式中, 为谐振腔长度,即一圈的光程, 为波长, 为正整数。当满足以上条件时,若谐振腔角速度为零,则正反方向运动的两束光在腔体中形成驻波,干涉条纹静止不动。
激光陀螺光路
环形光路长度 ,基座角速度 ,与sagnac干涉仪原理一致,可以推得光束ab的光程分别为

光程差为 ,其中 为谐振腔光路(图中三角形)所围的面积。
根据光束的谐振条件及波长、频率和光速的关系

可以得到频率差(拍频)为

那么,旋转角速度可以表示为 。
其中, 为谐振腔光程, 为激光源波长, 为谐振腔光路(图中三角形)所围的面积, 为正反方向行进的两束光的频率差(拍频),单位Hz,具有频率差的两束光的干涉条纹以一定的速度向某一个方向不断的移动,只要对单位时间内移动过的条纹数作计数,即可求得拍频 。
若用氦氖激光器作为光源,光波波长 ,陀螺谐振腔光程 ,地球自转角速度 ,则产生的拍频为8.87Hz,目前光电读出电路可分辨0.005Hz甚至更低的拍频,所以激光陀螺有很高的灵敏度和精度。
做多传感器总会遇到时间系统的问题,用的比较多的有GPS时,UTC时和Unix时一、原子时
IAT(international atomic time),以物质的原子内部发射的电磁振荡频率为基准的时间计量系统。
原子时计量的基本单位是原子时秒。它的定义是:铯原子基态的两个超精细能级间在零磁场下跃迁辐射9,192,631,770周所持续的时间。1967年第十三届国际计量大会决定,把在海平面实现的上述原子时秒,规定为国际单位制中的时间单位。
原子时起点定在1958年1月1日0时0分0秒(UT),即规定在这一瞬间原子时时刻与世界时刻重合。但事后发现,在该瞬间原子时与世界时的时刻之差为0.0039秒。这一差值就作为历史事实而保留下来。在确定原子时起点之后,由于地球自转速度不均匀,世界时与原子时之间的时差便逐年积累。
二、GPS时
GPS时是属于卫星定位系统时间,GPS时出现是因为卫星导航对精确时间计量的需要,卫星系统是连续运行的,要求时间系统是连续的,为了进行高精度定位,要求卫星上的时间计量设备具有很高的精度,因而原子时是最合适的选择。
所以可以说GPS时就是原子时系统的一种,GPS的时间系统采用的是基于美国海军观测实验室维持的原子时。
GPS时的时间基准是1980年1月6日0点与世界协调时刻相一致,以后按原子时秒长累积计时。GPS时间跟UTC时间之差为秒的整倍数。GPS时=UTC+n。如1989年为5秒,1996年为11秒,2002年为13秒。到现在为止为18秒左右。
三、世界时UT
人们使用世界时(Universal Time, UT)一词来明确表示每天从午夜开始的格林威治平时。
UT(世界时)也有几种表示,UT0表示未经改正的世界时,UT1表示经过极移改正的世界时,UT2表示进一步经过地球自转速度的季节性改正后的世界时。
四、协调世界时UTC
统一了TAI后,为了使定义的时间与地球自转相配合,人们通过在TAI的基础上不定期增减闰秒的方式,使定义的时间与世界时(UT1)保持差异在0.9秒以内,这样定义的时间就是协调世界时(Coordinated Universal Time, UTC)。
虽然说有UTC协调世界时,但是UTC时间与格林威治标准时间(GMT)时间一样,随着地球自转也会有误差,存在着闰秒的干扰。由于UTC时会不定期“增加”,跳秒(或者说闰秒,leap second)以适应地球自转速度变化导致UTC时与天文测量的世界时产生的偏差,因此GPS时与UTC时会相差n个整秒,截至目前(2019年2月),该偏差已经达到18,即GPS时=UTC时+18(GPS时要往后拨慢18秒,其时间的显示才和UTC时一样)。
五、时区
这个应该是比较熟悉的概念。为了克服时间上的混乱,1884年在华盛顿召开的一次国际经度会议(又称国际子午线会议)上,规定将全球划分为24个时区(东、西各12个时区)。规定英国(格林尼治天文台旧址)为中时区(零时区)、东1—12区,西1—12区。每个时区横跨经度15度,时间正好是1小时。最后的东、西第12区各跨经度7.5度,以东、西经180度为界。每个时区的中央经线上的时间就是这个时区内统一采用的时间,称为区时,相邻两个时区的时间相差1小时。北京位于东8区。
六、Unix时间
Unix系统获取的秒数,时间起始于协调世界时1970年1月01日,不考虑跳秒。因此Unix时间比GPS时间多(-跳秒数)秒。
参考资料:
“传感器融合技术”是自动驾驶的核心技术。传感器是汽车感知周围的环境的硬件基础,在实现自动驾驶的各个阶段都必不可少。
随着自动驾驶无人驾驶技术的应用落地,越来越多的伙伴们加入到研究学习中,但在学习中发现学习路径不清晰,抓不住核心知识点,大多时候陷入学习误区中...
因此,深蓝学院特邀黎嘉信博士整理了一份多传感器融合感知学习路径&框架的知识导图!
为方便同学们日常查阅学习
也为大家准备了高清纸质版
0元包邮
点击链接即可领取:多传感器融合感知导图 - 深蓝学院 - 专注人工智能的在线教育
1 前言
自动驾驶的应用中通常会包括多种传感器,以提高系统的可靠性。从目前来看,常用的传感器包括摄像头,激光雷达和毫米波雷达。这些传感器各有优缺点,也互为补充,因此如何高效的融合多传感器数据,也就自然的成为了感知算法研究的热点之一。
毫米波雷达感知算法的研究起步较晚,公开的数据库也不多,因此目前多传感器融合的研究主要集中在融合摄像头(图像)和激光雷达(点云)的数据。随着毫米波雷达在自动驾驶车辆中越来越多的应用,它的数据如何与图像进行融合,也成为了一个亟需解决的问题。
毫米波雷达的数据一般以Point Cloud(点云)的形式呈现。理论上说这与激光雷达的点云类似,只是每个点包含的数据不同:激光雷达的点包括X,Y,Z坐标和反射信号强度,而毫米波雷达的点包括X,Y(也可能有Z)坐标,RCS(物体反射面积)和Doppler(物体速度)。因此,很多激光雷达和图像的融合方法也可以用来融合毫米波雷达。但是,相对于激光雷达,毫米波雷达的点云非常稀疏(几十vs.几千),所以在算法上还需要一些特殊的设计。目前来看,大多数融合算法采用点云数据作为输入,但是也有部分工作采用更底层的雷达数据,比如Range-Doppler-Azimuth (RAD) Tensor。RAD数据包含更多的信息,需要的运算量也更大,但是对于深度学习来说,RAD是更适合的数据。下面会分别介绍基于这两种数据的融合方法,并对其中存在的问题和未来的发展方向进行分析。
2 基于Point Cloud的融合方法
按照融合层次的不同,这类方法又可以分为Feature-level Fusion(特征层融合),Data-level Fusion (数据层融合)和Decision-level Fusion (决策层融合)。
三种不同的融合策略[1]2.1 决策层融合
决策层的融合其实就是分别处理雷达和图像数据,将两种数据中得到的检测结果进行融合。在这个过程中,将来自不同传感器的结果进行匹配是非常关键的步骤。传统的方法一般直接通过物体检测的输出(比如类别,位置,大小等)来计算相似度,并进行匹配。在数据层和特征融合中,这种匹配是通过对其数据或特征来隐式的进行的。最近,也有工作提出采用神经网络来提取物体级别的特征,用来进行显式的匹配。
文献[11]提出分别由雷达和图像数据生成物体检测,然后检测结果映射到图像坐标下,形成伪图像数据。伪图像的通道对应物体检测的不同输出,比如物体中心,大小,速度,类别等。伪图像与原始的RGB图像进行拼接后,输入给神经网络进行特征学习。对于特征图的每一个位置,如果同时有来自雷达和图像的物体检测,则认为该位置是匹配的,这个位置的雷达特征和图像特征应该距离很近。反之,该位置没有匹配,这个位置的雷达和图像特征应该距离较远。以此为目标来训练神经网络,对于雷达和图像的每个检测结果,网络会给其生成一个特征描述向量。该特征向量被用来计算检测结果之间的相似度,并以此为基础进行匹配。有了匹配结果以后,后续的融合就变得很简单了。
神经网络学习适用于匹配的物体级特征[11]2.2 数据层融合
其实这种方法叫做特征+决策融合更贴切一些,因为其核心思想是由一种传感器数据生成目标物体的候选(术语称作 proposal),然后在另外一种传感器数据上进行验证。这也就相当于融合了一种传感器的决策(proposal)和另外一种传感器的数据。
一般来说,由于雷达点云已经很接近于物体检测的结果,proposal会基于点云来生成。你可以理解为一个点就是一个物体proposal。或者对点云做一个简单的聚类,每个类作为一个物体。然后将生成的proposal从雷达坐标系(一般是Bird's Eye View, BEV)映射到图像坐标系,并根据proposal的距离来生成候选的boundingbox。最后就是用传统的基于CNN的方法(比如Faster RCNN)来对proposal进行分类。参考文献[2]中采用就是这类方法。
更复杂一些的方法会先将点云转换成BEV坐标下的图像,采用基于CNN的物体检测网络生成proposal。与直接由点云生成proposal相比,基于BEV图像的方法增加了计算量,但一般来说生成的proposal质量会高很多,毕竟CNN可以从点云中抽取更为丰富的物体和场景信息。文献[3]进一步提出通过雷达BEV数据和图像数据同时生成proposal。来自两种数据的proposal通过几何映射可以进行对应,然后再将各自的特征进行融合,用全连接网络进行分类。这里的几何映射指的是BEV和图像坐标之间的映射,可以由雷达和摄像头的标定数据计算得到。
基于proposal的数据层融合[3]2.3 特征层融合
与数据层融合相比,特征层的融合更加底层一些,也更有利于神经网络也学习不同传感器之间的互补性,但是算法设计的复杂程度也相对较高。一般的做法是将点云数据映射到图像坐标系下,形成一个类似于相机图像的“点云图像”。比如在下图中的例子中,第一行是相机图像,第二,三行是对应range和doppler数据的点云图像,分别反映了场景内物体的距离和运动信息。点云图像和相机图像处于相同的坐标系下,因此可以很容易的通过神经网络进行融合。
相机图像和点云图像示例[4]
文献[4]中提出将包含range和doppler的点云图像作为额外的输入数据,用ResNet进行特征提取后与相机RGB图像进行融合。这里所谓的融合其实就是一个简单的concatenation操作。这是深度学习中一个常见的操作,它将来自多个输入的特征图(feature maps)叠放到一起。后续一般会采用kernel大小为1x1的卷积层对其进行压缩,其实也就是一个加权平均的过程。网络会自动的从训练数据中学习权重,从而达到融合多种特征的目的。特征融合模块输出的是特征图,因此后续我们可以采用一些标准的网络结构来完成想做的任务,比如物体检测或者语义分割。在下图的例子中,融合模块(concat)输出的特征图经过ResNet和下采样来提取多分辨率下的特征。每种分辨率的特征图分别连接了detection head来完成物体检测的任务。文献[5]也提出了类似的方法,将点云的range和doppler信息投影到图像坐标系,采用concat操作来融合来自雷达和图像的特征,只不过后续的物体检测采用了YOLO网络。
基于Concatenation的融合网络[4]
文献[6]利用了点云的range和RCS信息,将其投影到图像坐标系下,得到基于range和RCS的点云图像。这些操作与之前介绍的方法基本没有区别,但是这篇文献处理了两个重要的问题。首先,传统毫米波雷达的点云数据非常稀疏,生成的点云图像包含的信息量也很少,不利于神经网络的特征学习。其实在传统的雷达数据处理中,单帧的点云数据也是很难处理的,一般都需要在时序上进行融合,比如occupancy grid中的做法。类似的,这篇文章也提出将多帧的点云(1秒钟的跨度)进行融合,以提高数据的稠密度。与occupancy grid中的做法类似,我们需要对多帧的点云进行ego motion的补偿,使其处于统一的坐标系下。这里需要注意的是,ego motion的补偿只对静态物体有效。对于运动物体来说,运动的轨迹会出现在融合后的点云中。其次,特征融合的一个重要参数就是在网络的哪一层上进行融合。这个参数一般都是通过经验或者实验来确定。这篇文章提出了一个新的方法,也就是将雷达数据和图像数据在不同层上分别进行融合,最后由网络通过学习来决定不同层次上融合的权重。
多层次上的特征融合网络[6]
在前面介绍的方法中,不管是在单一层上[4,5]上还是多层上[6]进行融合,基本的操作都是采用concat将多种数据叠放在一起并由网络进行加权平均。这种做法可以通过学习得到不同传感器数据的权重,但是这些权重是全局性的,无法反映局部区域的重要性。举个不太严谨的例子,在自动驾驶的应用中,车辆正前方近处的物体其重要性要远大于侧面远处的物体。为了体现这种局部区域的重要性区别,文献[7]提出利用注意力机制(attention)来对特征图的不同位置进行加权。具体来说,首先还是通过几何映射生成雷达点云图像,这个图像经过一系列网络操作后生成attention map,并将其与相机图像生成的特征图相乘。这里的相乘操作是对每一个像素分别进行的,也就相当于用attention map上的每一个像素值对图像特征图的对应像素进行加权。Attention map上像素值的大小反映了该区域的重要程度。经过attention map的加权后,我们得到的数据依然是以特征图的形式存在,后续的操作与其他文献中的方法没有太大区别。只是该文献采用了类似RetinaNet的结构来完成物体检测的任务。
基于Attention Map的融合网络[7]
值得一提的是,作者将attention map与其他融合方法进行了实验对比,比如multiply,add,concatenation。结论是基于attention map的方法在物体检测的效果上显著的优于其他融合方法。
不同融合方法的对比[7]
文献[7]中的attention map由雷达数据生成,但是理论上说每种传感器数据都可以生成attention map。文献[8]就是在这个方向上做了进一步的扩展。具体来说,该方法将所有同步的传感器的数据(可见光相机,近红外相机,激光雷达,毫米波雷达)映射到统一的图像坐标系下,并以此生成相应的熵图像(entropy map)。不同传感器的特征图通过concat操作叠放到一起,并与经过sigmoid处理后的熵图像进行像素点相乘操作,得到最终的特征输出。这里所谓的熵图像可以通过对图像的局部处理得到,熵图像中的每一个像素值都反映了该局部块(16x16像素)的信息熵,也就是包含信息量的大小,你也可以将其理解为一种特殊的attention map。需要注意的是,这个局部信息熵图像并不是通过学习得到,因此可以更好的处理罕见数据(比如说文中提到的各种极端天气情况)。如果采用基于attention的方法,那么就需要在各种天气情况下采集大量数据用于网络学习,这显然是非常费时费力的。
基于熵图像的融合网络[8]
总结一下,对于雷达点云数据,与相机图像的融合大多在较低的特征层上进行,这也是为了充分利用神经网络的特征学习能力。融合的方法主要有两种:相加或者相乘。前者将来自不同传感器的特征图做全局的加权平均(通过concat和1x1卷积实现)。后者将来自不同传感器的特征图相乘,可以理解为用某个传感器的数据对另一个传感器的数据进行局部加权。通常来说,有用的分类信息会更多的隐藏在局部区域中,不同局部区域的重要性也不尽相同,因此相乘的方式一般会取得更好的结果。
3 基于RAD Tensor的融合方法
通常来说,毫米波雷达的点云都非常稀疏,很多有用的信息已经在雷达信号处理的过程中(参考CFAR算法)被过滤掉了。因此,毫米波雷达感知算法的研究开始慢慢转向直接利用深度神经网络处理雷达的底层数据,比如Range-Azimuth-Doppler Tensor。那么,将RAD数据与相机图像数据进行融合,也就自然的成为了新的研究增长点。
文献[9]提出将RAD数据(极坐标)和图像数据都转换到BEV坐标(笛卡尔坐标系)下。RAD其实可以看作极坐标下的多通道图像,其通道是Doppler特征。做完坐标转换之后就可以看作BEV下的多通道的图像。同样的,相机图像做完坐标转换后也可以看作BEV下的多通道(比如RGB)图像。两种数据处于同一坐标系下,后续的处理就相对简单了:文中使用了基于concat的方式将两种数据在多尺度上进行了融合。
雷达RAD数据和图像数据转换到笛卡尔坐标系[9]RAD数据和图像数据的融合网络[9]
这个方法本身没有太多可介绍之处,但是作者提出的两个实际应用中的问题值得讨论一下:
图像转BEV坐标时对平坦路面的假设。作者按照美国洲际公路最大6%的坡度估算,在雷达的最大可视范围处会有8厘米的误差。如果这个误差远小于所用雷达的距离分辨率,那么可以将其忽略,否则就需要特别考虑。各个传感器之间在时序上的对齐。该文中采用LiDAR数据进行自动标注,因此需要考虑三种传感器之间的对齐。理论上说,任意时间点的物体标注数据可以通过插值的方式来得到,但是对于雷达和图像数据就没办法这样做了。该文献中是以雷达数据为基准,在时间轴上寻找距离其最近的图像数据。如果传感器的帧率比较低的话或者车辆运动较快时,这种方法会带来较大的误差,因此需要更进一步的研究。
此外,该文献在实验中对比了不同的训练方法,不同传感器的贡献等等。这些对比对于理解和设计多传感器融合系统非常有帮助,感兴趣的朋友可以自己去看看论文,图表较多这里就不一一罗列了。
文献[10]提出的RODNet是一个较新的工作,并且在公开数据库CRUW上进行了测试。实际上,这个工作的融合部分在于利用多传感器数据生成标注信息,也就是下图中的Teacher分支。对于网络预测部分,也就是下图中的Student分支,图像数据并没有参与。对于Teacher分支,基于RGB图像的物体检测结果与雷达点云(也就是CFAR detection)相结合,得到物体的标注,用于训练检测网络。至于Student分支,其实就是一个基于底层雷达数据的物体检测网络。当然这里面有一些特别的设计。比如说,输入数据并不是标准的RAD,而是Range-Azimuth-Chirp Tensor。在通常的雷达信号处理中,对Chirp维度做FFT会得到Doppler信息,但是这篇文章采用神经网络来做这一步,以期更好的提取物体的运动信息。
RODNet结构示意图[10]
基于雷达RAD数据的深度学习算法研究刚刚起步,因此融合RAD和图像数据的方法也并不多,以上两篇文章分别算是在特征融合和数据融合上做的比较好的工作。
4 未来发展趋势
总的来说,融合毫米波雷达和图像数据的研究工作不是很多,其中大多数方法采用雷达点云数据,将其映射到图像坐标系下后再与相机数据进行融合。这种方式相对于图像检测网络来说,附加的计算量的较少,对雷达硬件的要求的也相对较低。但是毫米波雷达的点云非常稀疏,包含的信息量有限,因此采用更加底层的雷达数据将会成为接下来的主流研究方向。个人认为,作为未来的发展方向,融合底层雷达数据和图像数据的算法至少还需要解决以下问题:
坐标统一问题。雷达RAD数据是BEV坐标,而图像数据则是透视坐标,如何将两种数据映射到统一的坐标系下是设计融合算法的关键。文献[9]中将相机图像映射到BEV坐标,但是可以看到转换后的图像有很大的畸变,不利于提取物体信息。另外一种可能是将雷达数据看做稠密的点云,并将其映射到图像坐标下。数据同质问题。即使将雷达和图像数据映射到一个坐标系下,其数据本身也存在着巨大的差异。需要设计不同的网络结构来对不同质的数据进行处理,使其在统计分布上尽可能的一致。只有这样,后续的融合才有可能带来性能的提升。时序对齐问题。由于不同传感器的采样频率不同,各传感器的数据之间会有一定的时间差。这会带来数据的不一致性,尤其是在车辆或目标物体高速运动的情况下。参考文献
[1]Chang, S.; Zhang, Y.; Zhang, F.; Zhao, X.; Huang, S.; Feng, Z.; Wei, Z. Spatial Attention fusion for obstacle detection using mmwave radar and vision sensor. Sensors 2020.
[2]Nabati, R.; Qi, H. Rrpn: Radar region proposal network for object detection in autonomous vehicles, ICIP 2019.
[3]Meyer, M.; Kuschk, G. Deep learning based 3d object detection for automotive radar and camera. EuRAD, 2019.
[4]Chadwick, S.; Maddern,W.; Newman, P. Distant vehicle detection using radar and vision, ICRA 2019.
[5]John, V.; Mita, S. RVNet: Deep sensor fusion of monocular camera and radar for image-based obstacle detection in challenging environments. PSIVT 2019.
[6]Nobis, F.; Geisslinger, M.;Weber, M.; Betz, J.; Lienkamp, M. A deep learning-based radar and camera sensor fusion architecture for object detection. SDF 2019.
[7]Chang, S.; Zhang, Y.; Zhang, F.; Zhao, X.; Huang, S.; Feng, Z.; Wei, Z. Spatial Attention fusion for obstacle detection using mmwave radar and vision sensor. Sensors 2020.
[8]Bijelic, M.; Gruber, T.; Mannan, F.; Kraus, F.; Ritter, W.; Dietmayer, K.; Heide, F. Seeing through fog without seeing fog: Deep multimodal sensor fusion in unseen adverse weather. CVPR 2020.
[9]Lim, T.-Y.; Ansari, A.; Major, B.; Fontijne, D.; Hamilton, M.; Gowaikar, R.; Subramanian, S. Radar and camera early fusion for vehicle detection in advanced driver assistance systems. NIPS 2019.
[10]Wang, Y.; Jiang, Z.; Gao, X.; Hwang, J.-N.; Xing, G.; Liu, H. RODNet: Object Detection under Severe Conditions Using Vision-Radio Cross-Modal Supervision. Journal of selected topics in signal processing, 2020.
[11]Dong et.al., Radar Camera Fusion via Representation Learning in Autonomous Driving, 2021.
有意加入本人研发团队的朋友,请邮件投递简历至QQ邮箱:。
单位性质:央企下属子公司
地点:杭州市余杭区,与阿里巴巴相距不到1公里。
自动驾驶智能系统软件工程师
岗位要求:
1.实现自动驾驶融合感知算法的Arm平台移植,包括将开发完成的影像、点云、融合感知的算法模型
2.负责多传感器(雷达、摄像头、激光雷达等)融合感知算法研发;
3.Arm平台上的智能硬件、软件、算法的性能测试;
4.关注环境感知相关技术发展动态,不断提升产品性能,加速产品和技术的升级和演进。
能力资质:
1.硕士及以上学历,3年以上Linux平台的视觉算法应用开发经验;
2.熟练使用C/C++、Python等编程语言,有良好的数据结构和算法基础;
3.熟悉Caffe、Tensorflow、Pytorch等至少一个主流开源框架, 熟练掌握深度学习从数据处理到模型部署整个过程,负责算法在实际产品中需求分析以及落地;
4.在多传感融合感知方面具有一定研究经验,具有较强的逻辑分析能力和技术文献收集能力,以及良好的英文阅读能力;
5.对自动驾驶行业有强烈的热情,对未来3~5年,有清晰的职业规划;
6.良好的沟通能力和团队协作能力;
7.有实际感知算法产品及落地经验者优先。
融合感知算法工程师
岗位要求:
1.负责三维点云实时目标检测、并进行目标跟踪;
2.负责多传感器(雷达、摄像头、激光雷达等)融合感知算法研发;
3.熟练掌握深度学习从数据处理到模型部署整个过程,负责算法在实际产品中需求分析以及落地;
4.关注环境感知相关技术发展动态,不断提升产品性能,加速产品和技术的升级和演进。
能力资质:
1.硕士及以上学历,5年以上相关工作经验;
2.熟练使用C/C++、Python等编程语言,有良好的数据结构和算法基础;
3.熟悉Caffe、Tensorflow、Pytorch等至少一个主流开源框架;
4.在多传感融合感知方面具有一定研究经验,具有较强的逻辑分析能力和技术文献收集能力,以及良好的英文阅读能力;
5.对多目标跟踪有经验或深入研究优先;
5.良好的沟通能力和团队协作能力;
6.有实际感知算法产品及落地经验者优先。
7.有小团队经验者优先。
高精地图模型算法工程师
岗位要求:
1.负责自动驾驶高精地图的数据模型建模与实现;
2.多种地图数据格式互操作工具的开发;
3.分析并追踪面向自动驾驶的高精度地图工业标准规范,并在实际工作中,落实最主流的地图数据标准;
4.关注环境感知相关技术发展动态,不断提升产品性能,加速产品和技术的升级和演进。
能力资质:
1.硕士及以上学历,2年以上相关工作经验;
2.熟练使用C++、Python、Java任一编程语言,有良好的数据结构和算法基础;
3.熟悉ArcGIS、OSM、XODR等主流的地图数据格式,以及相关地理信息相关理论和概念;
4.在自动驾驶高精度地图方面具有实际开发经历,具有较强的逻辑分析能力和技术文献收集能力,以及良好的英文阅读能力;
5.对工具、平台开发类项目,有丰富的项目实践经历;
5.良好的沟通能力和团队协作能力、工作习惯、工作方法;
6.有程序设计大赛、数学建模竞赛获奖经历者优先。
规定 ,设 的特征值分别为 ,按照大小的降序排列
求解Dy=0本质上可以理解为求解
分情况讨论
首先考虑y是 的特征向量的情况
此时有 ,显然y取最小特征值对应的特征向量时对应的结果最小。
然后考虑y不是特征向量的情况
对D进行奇异值分解,得 ,进而有
其中 为以 的特征值 为对角线元素的对角矩阵
又因为V矩阵的列向量为一组正交基,因此y可以表示如下 ,代入上式,得

由于 ,有 ,进而有
综上,最优解y等于 最小特征值对应的特征向量
Eigen::MatrixXd D((end_frame_id - start_frame_id)*2, 4);
for (int i = start_frame_id; i < end_frame_id; i++) { Eigen::Matrix3d Rcw = camera_pose[i].Rwc.transpose(); Eigen::Vector3d tcw = - Rcw * camera_pose[i].twc; Eigen::Matrix P;
P.block<3,3>(0,0) = Rcw;
P.block<3,1>(0,3) = tcw;
double u = camera_pose[i].uv[0];
double v = camera_pose[i].uv[1];

int rowIndex = (i - start_frame_id)*2;
D.block<1,4>(rowIndex++, 0) = u*P.block<1,4>(2,0) - P.block<1,4>(0,0);
D.block<1,4>(rowIndex, 0) = v*P.block<1,4>(2,0) - P.block<1,4>(1,0);
}
Eigen::Matrix4d A = D.transpose()*D;
Eigen::JacobiSVD svd(A,Eigen::ComputeFullU | Eigen::ComputeFullV);
Eigen::Matrix4d U = svd.matrixU();
P_est << U(0,3)/U(3,3), U(1,3)/U(3,3), U(2,3)/U(3,3); 运行结果 在现如今的传感器融合算法中,非高斯分布和多峰分布是一个很重要的部分。 相比于鲁棒的代价函数,他们是建立在概率之上的,并且有很好的收敛性质。因为其鲁棒性取决于一个对真实误差分布的近似估计,因此他们的参数化至关重要。 本文介绍一种通过将EM(Expectation-Maximization)算法与非线性最小二乘相结合的办法,实现把多峰高斯混合模型近似为一个传感器融合问题的误差分布。 高斯混合模型(GMM) 从几何角度,可以理解为多个高斯分布的加权平均: , 从混合模型角度,可以理解为某个样本属于各个分布的概率的加和: 其中两个重要的概念是观测变量,e.g. x1,x2 ,和隐变量z(对应上述所讲的事件)。 直观的理解参见下图。 多变量高斯和最小二乘: 从极大似然问题 可以得到应用于状态估计的最小二乘问题。 将上述问题描述为条件概率的乘积: 应用负对数,则最优问题可以写成: 估计的 就是 的极大似然估计。 对于多参数的高斯问题,相应的最小二乘问题可以定义为: 其中估计误差 被定义为测量值和相应状态子集的非线性函数,使用平方根信息矩阵 代替协方差矩阵 ,且 (Cholesky decomposition)。 对于一个有n个模块的高斯模型的和,其条件概率可以定义为 with . EM算法在GMM 上是应用: 本质上来讲,EM算法也是一个极大似然估计,其中参数 被从观测变量 中估计出来,同时他也依赖于隐藏变量 .因为 和 一开始是未知的, 无法被直接估计。 在这种情况下,采用EM算法。在E步骤根据对于 的初始猜测估计隐藏变量,在M步骤基于已知的 计算 。两个步骤都是迭代进行直到达到最大的迭代次数或者达到收敛条件。 对于GMM有如下定义: 观测变量是测量误差,隐藏变量是某一个测量值属于哪一个GMM分布的概率,概率 定义了混合模型的参数。 SELF-TUNING MIXTURES: 解决同时状态和错误模型的问题估计,我们将它们一起定义为嵌套的 EM 算法。 首先,我们假设我们能够估计一个状态是真实状态 X 的粗略近似。这可以是使用累积里程计通过简单的初始化完成测量或非稳健最小二乘优化。 它意味着估计的测量误差 也很接近真正的值. 基于这个假设,我们可以重新定义观察到的GMM估计问题的变量和状态估计的 EM问题: 下图的算法总结了 EM 的两个阶段。 X 和 初始化后,一个外层用于状态估计 (SE) 的 EM 算法与内层应用于高斯混合模型 (GMM)的EM算法结合。SE问题的E-step估计隐藏参数 并且由 GMM 估计问题的E 步和 M 步组成。最外层的 M 步是最小二乘优化(e.g. Max-Mixture Sum-Mixture)。 一个简单的一维混合模型的EM算法实现,参考2 [1]Expectation-Maximization for Adaptive Mixture Models in Graph Optimization [2]Expectation Maximization with Gaussian Mixture Models

您可能感兴趣的文章

本文地址:https://www.ceomba.cn/1863.html
文章标签: ,  
版权声明:本文为原创文章,版权归 ceomba 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!