多传感器数据融合:多传感信息融合

2021/11/04 04:35 · 传感器知识资讯 ·  · 多传感器数据融合:多传感信息融合已关闭评论
摘要:

多传感器数据融合:多传感信息融合机器系统的多传感器信息融合(Multi-sensorInformationFusion,MSIF)过程是利用计算机等数据处理装置将来自多种传感器的信息在一定的准则下加以自动分析和综合,产生对观测事物的一致性认知和决策的信息处理过程。在采用

多传感器数据融合:多传感信息融合  第1张

传感器数据融合:多传感信息融合

机器系统的多传感器信息融合(Multi-sensor Information Fusion,MSIF)过程是利用计算机等数据处理装置将来自多种传感器的信息在一定的准则下加以自动分析和综合,产生对观测事物的一致性认知和决策的信息处理过程。
在采用了多传感器信息融合技术的机器感知系统中,多传感器信息如同人体的多感受器信息,计算机等数据处理装置相当于人类大脑,科技人员开发的各种信息融合模型和算法则可以类比为人脑进行信息融合是所依据的经验、知识和思路。可以看出,机器系统的多传感器信息融合与人脑对多感受器信息的综合处理十分相似,实际上是对人脑综合处理复杂问题的一种功能模拟。
与单传感器相比,多传感器信息融合的优势在于,能够综合利用多种信息源的不同特点,多方位地获得相关事物的信息,增强数据的可信度,提高整个系统的可靠性和精度,以实现对该事物更全面、更深入的理解,避免由于盲人摸象式的片面认知而做出错误决策。
运用多传感器信息融合技术能够大大提高人类对复杂事物的认知能力,因而在军事、智能制造、工业机器人、医疗、交通、目标识别与跟踪、故障诊断等众多领域获得广泛应用。
以无人车的智能驾驶系统为例,为了确保无人车的安全驾驶,需要对复杂的行驶路况环境进行实时探测和快速准确地识别。利用有效的多传感器信息融合技术,通过整合激光雷达、毫米波雷达、视觉等多传感器信息,就能实现对环境信息的可靠感知,提升无人车在复杂环境下对环境探测与识别的准确性。
举报/反馈多传感器数据融合:多传感信息融合  第2张

多传感器数据融合:多传感器数据融合

一、相机与IMU
相机和IMU的同步问题,首先要解决硬件同步。本人用的相机是德国Balser 相机,可以设置软件触发和硬件触发,如果设置软件触发,相机的采样频率会受曝光时间和网线长短等因素的影响,如需严格输出特定频率的图像,需设置硬件触发,假设频率为20HZ。如果用独立的相机和mems,务必硬件同步,否则误差很大,鲁棒性也不好。因为时间戳在vio里面真的很重要; 如果时间戳对不齐,外参始终都标不好.

?同步方法如下:
(1)IMU的输出频率是200HZ

(2)相机有一个接收外部触发的gpio引脚, Arduino 单片机给定的频率是20HZ,具体程序请看我的博客

(3)将相机设置成固定曝光时间(一定不能设置成自动曝光),具体曝光时间要根据环境和硬件设置,原则上是在保证图片清晰的情况下曝光时间越短越好。

如此以来相机和imu就同步了,可以保证每输出一帧图像都有对应的imu输出,没两帧图像之间有10帧的imu。其实到这里硬件同步已经完成了。

注意的问题:
1、如果传感器内部有同样的时钟基准(比如UTC),那么可以用传感器自带的时间打时间戳,否则用ros; 如果用ros打时间戳就避免不了要有时间延迟,因为图像传输和imu传输都是有延迟的。硬件同步后的相机和imu实际上是时间对齐的,但是优于IMU、相机读取程序的复杂度、通信的方式等原因,导致你在pc机接收的时候是有时间差的,如果是是几毫秒,可以接受。

2、如果你想像数据集那样有groundtruth的话最好有一个RTK

3、如果你用串口传数据,一定要将串口延时设置成1ms,默认是16ms,无论如何时间戳都打不对的

?

?

?

?

?参考资料:
1、自动驾驶常用数据集KITTI使用指南之一——图像雷达数据融合

2、SLAM中多传感器融合的时间同步问题

3、ros 下面同步相机和IMU 两个topic

4、ROS下同时接收多个话题并实现相机和雷达的数据融合

5、ROS之订阅多个话题并对其进行同步处理(多传感器融合)

6、无人驾驶传感器融合系列(十)—— 目标追踪之相机与激光雷达数据融合

7、研究VINS/VIO的时候如何采集像EuRoc那样的数据??相机和imu如何进行时间戳同步?这里的关键是传感器的选择和时间

?
多传感器数据融合:多传感信息融合  第3张

多传感器数据融合:多传感器数据融合技术

收藏
查看我的收藏
0
有用+1
已投票
0
多传感器数据融合技术
语音
编辑
锁定
上传视频
上传视频
本词条由“科普中国”科学百科词条编写与应用工作项目
审核

人类本能地具有将身体上的各种器官(眼、耳、鼻和四肢等)所探测的信息(景物、声音、气味和触觉等)与先验知识进行综合的能力,以便对其周围的环境和正在发生的事件做出评估。多传感器信息融合实际上是对人脑综合处理复杂问题的一种功能模拟。与单传感器相比,运用多传感器信息融合技术在解决探测、跟踪和目标识别等问题方面,能够增强系统生存能力,提高整个系统的可靠性和健壮性,增强数据的可信度,提高精度,扩 展系统的时间、空间覆盖率,增加系统的实时性和信息利用率等。 作为多传感器融合的研究热点之一,融合方法一直受到人们的重视,这方面国外已经作了大量的研究,并且提出了许多融合方法。目前,多传感器数据融合的常用方法大致可分为两大类:随机和人工智能方法。信息融合的不同层次对应不同的算法,包括加权平均 融合、卡尔曼滤波法、Bayes 估计、统计决策理论、概率论方法、模糊逻辑推理、人工神 经网络、D-S 证据理论等。
中文名
多传感器数据融合技术
时 间
上世纪80年代
简 介
综合决策过程
特 点
快速性和正确性
目录
1
简介
2
定义
3
优点
多传感器数据融合技术简介
语音
多传感器数据融合技术形成于上世纪80年代,目前已成为研究的热点。它不同于一般信号处理,也不同于单个或多个传感器的监测和测量,而是对基于多个传感器测量结果基础上的更高层次的综合决策过程
[1]

多传感器数据融合技术定义
语音
传感器数据融合的定义可以概括为把分布在不同位置的多个同类或不同类传感器所提供的局部数据资源加以综合,采用计算机技术对其进行分析,消除多传感器信息之间可能存在的冗余和矛盾,加以互补,降低其不确实性,获得被测对象的一致性解释与描述,从而提高系统决策、规划、反应的快速性和正确性,使系统获得更充分的信息。其信息融合在不同信息层次上出现,包括数据层融合、特征层融合、决策层融合。(1)数据级融合。针对传感器采集的数据,依赖于传感器类型,进行同类数据的融合。 数据级的融合要处理的数据都是在相同类别的传感器下采集,所以数据融合不能处理异构 数据。(2)特征级融合。特征级融合,指的是提取所采集数据包含的特征向量,用来体现所 监测物理量的属性,这是面向监测对象特征的融合。如在图像数据的融合中,可以采用边 沿的特征信息,来代替全部数据信息。(3)决策级融合。决策级融合,指的是根据特征级融合所得到的数据特征,进行 一定的判别、分类,以及简单的逻辑运算,根据应用需求进行较高级的决策,是高级的融合。决策级融合是面向应用的融合。比如在森林火灾的监测监控系统中,通过对于温度、湿度和风力等数据特征的融合,可以断定森林的干燥程度及发生火灾的可能性等。这样,需要发送的数据就不是温湿度的值以及风力的大小,而只是发送发生火灾的可能性及危害程度等。在传感网络的具体数据融合实现中,可以根据应用的特点来选择融合方式。
多传感器数据融合技术优点
语音
多传感器数据融合比单一传感器信息有如下优点,即容错性、互补性、实时性、经济性,所以逐步得到推广应用。应用领域除军事外,已适用于自动化技术、机器人、海洋监视、地震观测、建筑、空中交通管制、医学诊断、遥感技术等方面。有鉴于传感器技术的微型化、智能化程度提高,在信息获取基础上,多种功能进一步集成以致于融合,这是必然的趋势,多传感器数据融合技术也促进了传感器技术的发展。
参考资料
1.

什么是多传感器数据融合技术
.中国移动物联网[引用日期2012-12-10]

多传感器数据融合:重磅!国内首个面向自动驾驶领域的多传感器数据融合系统课程

应用背景介绍
多传感器融合是一项结合多传感器数据的综合性前沿内容,主要包括Camera、激光雷达、IMU、毫米波雷达等传感器的融合,在自动驾驶、移动机器人的感知和定位领域中占有非常重要的地位;
随着AI技术的大规模落地,图森、百度、滴滴、Waymo、Momenta、华为、纵目科技、智加科技、赢彻科技、小鹏、蔚来、魔视智能等公司开始逐渐落地自己的L2~L4等级的辅助/自动驾驶产品,从自动泊车、车道保持、行人障碍物预警、定位、测距、跟踪等多个任务都离不开多传感器融合,前视相机、鱼眼相机、毫米波雷达、激光雷达、IMU等传感器一起工作,鲁棒性、准确度都高于单一传感器,因此被多种方案采用,相关技术更是受到重点关注;
相关岗位要求及待遇
自动驾驶持续受到资本青睐,2021年以来,陆续收到多家自动驾驶公司获得4亿美元以上的投资的好消息,如独角兽公司Momenta,专注重卡领域的图森科技、智加科技等。目前,重卡无人驾驶汽车图森科技已经成功上市,智加科技也传来即将上市的消息,可见自动驾驶这条赛道是非常具有潜力的。相关企业对多传感器融合岗位需求日益增加,华为、百度、图森、滴滴、Momenta、小鹏、蔚来等公司更是开出高薪聘请相关人才,助力相关产品的落地研发,下面几个截图是某招聘网站上对多传感器融合岗位的要求及待遇:
如何快速从入门到精通
然而,由于门槛较高,无论是高校还是企业,针对自动驾驶感知融合方面的相关课程少之又少,令许多对该行业感兴趣的童鞋无从下手,而这也正是工坊推出该课程的初衷,希望通过自己的一些工程项目经验帮助大家进入喜欢的行业。
《自动驾驶中的多传感器数据融合》课程主要分两个大模块:理论篇和实战篇,由两位知名自动驾驶公司算法人员教授。理论篇部分主要介绍自动驾驶中常用的传感器硬件、传感器间的时间同步和空间同步以及多传感器间的信息融合理论知识;实战篇更多偏向工程应用,工程中传感器间同步与融合如何实现等,课程大纲如下:
课程亮点
1. 深入浅出,循序渐进,从理论到实战逐个攻破;
2. 讲师数年工程经验倾情奉献,数据、源码开源帮助学员更好地理解每一个细节;
3. 理论结合实践,教授结束后布置练习项目,答疑群内,讲师面对面和学员一起交流遇到的难题;
4. 优质的学习圈子,可以和来自上海交大、南京大学、华中科技大学、西北工业大学等高校学子一起讨论学习,你踩过的坑他们大概率踩过;
5. 真正能面向工业落地的内容分享;
学后收获
1. 对多传感器同步、标定以及融合算法的理论有较深的理解;
2. 能够掌握各个传感器模型,真正动手实现多个传感器之间的标定、同步以及融合代码;
3. 掌握的技能能够真正对接企业对融合算法工程师的技术栈要求;
开课时间
2021年6月19日开课,课程学习时长3个月,每2~3周更新一次(具体见课程群内通知),课程设置答疑群,讲师将会在群里布置作业并和学员交流相关技术问题。
课程要求及面向对象
1. 主要面向自动驾驶领域、SLAM领域相关的在读本科生、硕士、博士,以及正在工作岗位上上的一线工程算法人员,也欢迎想要转入该领域的其它方向的童鞋;
2. 需要有一定的计算机视觉相关基础知识、熟悉C++、Python编程,熟悉ROS框架,对camera、激光雷达、毫米波雷达、IMU等硬件和模型有一定了解;
3. 对线性代数、矩阵论、概率论有一定的了解;
点击购买与咨询
举报/反馈

您可能感兴趣的文章

本文地址:https://www.ceomba.cn/1851.html
文章标签: ,   ,  
版权声明:本文为原创文章,版权归 ceomba 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!