自动驾驶传感器:一种用于自动驾驶的传感器

2021/10/29 11:25 · 传感器知识资讯 ·  · 自动驾驶传感器:一种用于自动驾驶的传感器已关闭评论
摘要:

自动驾驶传感器:一种用于自动驾驶的传感器?G01C11/02;?权利要求说明书说明书幅图?(54)发明名称??一种用于自动驾驶的传感器?(57)摘要??一种用于自动驾驶的传感器,其特征是在交通工具上设置至少一个朝向前方地

自动驾驶传感器:一种用于自动驾驶的传感器  第1张

自动驾驶传感器:一种用于自动驾驶的传感器

?
G01C11/02;
?
权利要求说明书
说明书
幅图
?

54
)发明名称
?
?
一种用于自动驾驶的传感器
?

57
)摘要
?
?
一种用于自动驾驶的传感器,其特征是在
交通工具上设置至少一个朝向前方地面的线状激
光发射装置
1
,在交通工具前部低于或高于线状
激光发射装置处设置至少一个数字成像模块
2

数字成像模块
2
主要用于将线状激光线
1
在交通
工具前方投影位置的投影线摄入成像模块的
CCD

CMOS
感光元件上,根据该激光线在感光元件上
的位置形状,就能判别激光线在地面的投影线有
?

自动驾驶传感器:自动驾驶汽车上面有哪些传感器?

分三个方面详细聊聊。
首先是谷歌汽车
最主要的传感器就是位于车顶的激光扫描仪,其次是摄像头、雷达、车身位置和惯性等传感器。
大部分人对无人驾驶汽车的印象就是一般这种车辆脑袋上都会顶一个旋转的球。比如Google的无人驾驶试验车和量产车(如下照片所示)。
这个旋转的球其实就是3D激光扫描仪。目前3D激光扫描仪仍然是公认可以比较精确可靠描绘周边三维环境的仪器。因此广泛应用于军工和工程机械上。但同时3D激光扫描仪的成本也是很高的。Google无人驾驶试验车所用的普锐斯汽车在美国售价低于3万美元。其搭载的各种测量设备则价值15万美元。而测量设备中3D激光扫描仪就占到了近一半的成本。其搭载来自美国硅谷Velodyne公司的第一代64波束产品价值7万美元。尽管Velodyne公司推出了一系列产品,包括新的32波束和16波束的版本,但最低的价格仍需要近8千美元(如图为Velodyne的64、32、16波束产品)。
作者:辣笔小星
链接:无人驾驶汽车应该长啥样? - 辣笔小星 - 知乎专栏
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
其次是奥迪Autopilot自动驾驶概念车
作者:辣笔小星
链接:帮助奥迪自动驾驶技术入华的小伙伴们 - 辣笔小星 - 知乎专栏
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
奥迪自动驾驶汽车拥有众多传感器包括12个超声波传感器、4个高清俯视鱼眼摄像头、1个高清3D摄像头、1个红外线夜视摄像头、4个雷达传感器和1个激光扫描器全面而完整的监测汽车四周的环境。这些传感器的位置大家可以依次参照下面的照片。
要去融合那么多传感器的信号势必需要一个非常强大的“大脑”。在过去人们能想到的最直接的方法就是使用强大的工控计算机来实现实时控制。比如如下的照片奥迪自动驾驶测试车后备箱所堆的满满一后备箱的设备。
但这些工控计算机又占空间又笨重,奥迪就开始了更小巧的控制系统开发。而这个更小巧的控制系统就是奥迪的中央驾驶辅助控制器zFAS系统。zFAS就是德语zentralesFahrerassistenzsteuerger?t或者英语central driver assistancecontroller的缩写。经历了数代的开发以后zFAS系统已经变得非常小巧并且可以安装于车辆后备箱的一个角落里了。如下即是第一代及第二代zFAS模块的照片以及安装于后备箱角落的实际效果图。
根据它的构架该模块由前方图像处理单元(front image processing)、全景图像处理单元(surround image processing)、传感器融合主控单元(sensorfusion host)和应用主控单元(application host)四部分组成。各部分的位置如下照片所示。
如果大家仔细看第一和第二代zFAS模块照片的话会发现TTTech的logo。zFAS模块是由一家名为TTTech的公司开发的。你可能认为这只是一家名不见经传的软件算法开发小公司。那我只能说你有点小看他了。TTTech是一家总部位于奥地利的机器人技术公司,它和维也纳科技大学有非常深的渊源。提到TTTech这家公司就不得不说一下确定性以太网(DETERMINISTICETHERNET)。如果你对这个名词很陌生那一点不奇怪,因为这是一种专门服务于高实时性要求过程控制的网络,很少用于普通民用。TTTech公司主导开发的确定性以太网被正式命名为TTEthernet(时间触发以太网Time-TriggeredEthernet)。SAE国际自动机工程师学会为其制定了行业标准AS6802,并且该网络被规范定义进了IEEE802.1协议(家用WIFI使用的是IEEE802.11协议)。那么TTTech公司在自动控制方面有什么成功案例呢?早在2009年TTTech的自动控制系统及确定性以太网就被应用在了波音最新一代的波音787梦幻客机787Dreamliner。并且在2013年波音787完成了试飞并开始正式投入商业运营。同在2013年TTTech的确定性以太网技术被应用到了美国航空航天管理局NASA新一代的载人航天计划猎户座多用途载人航天器OrionMPCV(Orion Multi-Purpose Crew Vehicle)当中。猎户座航天器是NASA计划开发的最新一代载人航天器,用于替代航天飞机执行运送航天员进入国际空间站的任务。其一次可以携带6名航天员进入国际空间站。并且它远期还将承担美国重返月球和登陆火星的计划。该航天器被设计成可以一次运送4名航天员往返月球,其最大载荷能力甚至相对于原来阿波罗登月返回舱的总重量。远期为了登陆火星,猎户座航天器还可能改用甲烷推进燃料,而火星拥有相当大的甲烷储量。所以猎户座航天器可谓是美国航天计划的重中之重。2014年12月底搭载着TTTech确定性以太网技术的猎户座航天器成功完成了第一次耗时4个半小时的发射返回试验,初步证明了其出色的可靠性。因此奥迪自动驾驶技术并不是使用普通的以太网技术连接众多的传感器,而是使用了TTTech的确定性以太网技术来保证其实时性和可靠性。可以说奥迪自动驾驶某种程度上在使用现代民航飞机甚至航天飞船使用的自动驾驶技术。如下是南方航空的波音787和波音787机舱内部的抬头显示系统照片,以及猎户座航天器的发射测试准备照片。
其实不仅TTTech是成就奥迪自动驾驶“大脑”zFAS系统的大功臣,NVIDIA也正在帮助奥迪大幅缩小zFAS系统的尺寸。可能大家对于NVIDIA的了解还主要来自于NVIDIA的显卡。其实NVIDIA在移动处理器方面有非常大的投入。NVIDIA最新的一代移动图形处理器Terga K1帮助奥迪自动驾驶zFAS模块缩小到只有一个饭盒大小的尺寸。而性能反而比上一代更加强大。这一切都源自于Terga K1内部包含的192个显示处理核心强大的图形处理能力。如下就是装载了NVIDIATerga K1处理器的最新一代奥迪自动驾驶zFAS模块照片。
最后聊聊特斯拉Model S
特斯拉自动驾驶系统Autopilot的感知传感器如上图主要由12个长距离超声波距离传感器Ultrasonic Sensors、1个长距离雷达Radar和1个前向摄像头Forward-facing camera组成。可以实现自动巡航,自动变道和紧急刹车功能。
紧急刹车功能的关键传感器如上图所示,左侧为位于车辆内后视镜中集成的前向摄像头,右侧为车辆前保险杠中下部装配的长距离雷达Radar。
作者:辣笔小星
链接:特斯拉与ME分手为了不止眼前的苟且 - 辣笔小星的文章 - 知乎专栏
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
无人驾驶汽车的传感器系统
无人驾驶汽车的实现需要大量的科学技术支持,其中最重要的就是大量的传感器定位。核心技术是包括高精度地图、定位、感知、智能决策与控制等各个模块。其中有几个关键的技术模块,包含精确GPS定位及导航、动态传感避障系统、机械视觉三大部分,其他的如只能行为规划等不属于传感器范畴,属于算法方面,不做过多设计。
无人驾驶的精确GPS定位及导航
无人驾驶汽车对GPS定位精度、抗干扰性提出了新的要求。在无人驾驶时GPS导航系统要不间断的对无人车进行定位。在这个过程之中,无人驾驶汽车的GPS导航系统要求GPS定位误差不超过一个车身宽度。 无人驾驶汽车面临的另一个问题面临的另一个挑战,是需要确保他们又完美的导航功能,实现导航的主要技术是现在生活中已经使用非常广泛的GPS技术。由于GPS无积累误差、自动化测量的特点,因此十分适合用于无人驾驶汽车的导航定位。
为了大幅提高GPS测量技术的精度,无人驾驶系统采用位置差分GPS测量技术。相较于传统的GPS技术,差分GPS技术会在一个观测站对两个目标的观测量、两个观测站对一个目标的观测量或者一个测站对一个目标的两次测量之间求差,目的在于消去公共误差源,包括电离层和对流层效应等。 位置差分原理是一种最简单的差分方法,任何一种GPS接收机均可改装和组成这种差分系统。 安装在基准站上的GPS接收机观测4颗卫星后便可进行三维定位,解算出基准站的坐标。由于存在着轨道误差、时钟误差、SA影响、大气影响、多径效应以及其他误差,解算出的坐标与基准站的已知坐标是不一样的,存在误差。基准站利用数据链将此改正数发送出去,由用户站接收,并且对其解算的用户站坐标进行改正。 最后得到的改正后的用户坐标已消去了基准站和用户站的共同误差,例如卫星轨道误差、 SA影响、大气影响等,提高了定位精度。以上先决条件是基准站和用户站观测同一组卫星的情况。位置差分法适用于用户与基准站间距离在100km以内的情况。高精度的汽车车身定位是无人驾驶汽车行驶的先决条件,以现有的技术,利用差分GPS技术可以完成无人驾驶汽车的精确定位,基本满足需求。
动态传感避障系统
无人驾驶汽车作为一种陆地轮式机器人,既与普通机器人有着很大的相似性,又存在着很大的不同。首先它作为汽车需保证乘员乘坐的舒适性和安全性,这就要求对其行驶方向和速度的控制更加严格;另外,它的体积较大,特别是在复杂拥挤的交通环境下,要想能够顺利行驶,对周围障碍物的动态信息获取就有着很高的要求。国内外很多无人驾驶汽车研究团队都是通过分析激光传感器数据进行动态障碍物的检测。斯坦福大学的自主车“Junior”利用激光传感器对跟踪目标的运动几何特征建模,然后用贝叶斯滤波器分别更新每个目标的状态;卡耐基 · 梅隆大学的 “BOSS”从激光传感器数据中提取障碍物特征,通过关联不同时刻的激光传感器数据对动态障碍物进行检测跟踪。
在实际应用中,三维激光传感器因为数据处理工作量较大,存在一个比较小的延时,这在一定程度上降低了无人驾驶汽车对动态障碍物的反应能力,特别是无人驾驶汽车前方区域的运动障碍物,对其安全行驶构成了很大的威胁;而普通的四线激光传感器虽然数据处理速度较快,但是探测范围较小,一般在 100°~ 120°之间;另外,单个的传感器在室外复杂环境中也存在着检测准确率不高的现象。
针对这些问题,本文提出一种利用多激光传感器进行动态障碍物检测的方法,采用 3 维激光传感器对无人驾驶汽车周围的障碍物进行检测跟踪,利用卡尔曼滤波器对障碍物的运动状态进行跟踪与预测,对于无人驾驶汽车前方准确性要求较高的扇形区域,采用置信距离理论融合四线激光传感器数据来确定障碍物的运动信息,提高了障碍物运动状态的检测准确率,最终在栅格图上不仅对无人驾驶汽车周围的动、静态障碍物进行区别标示,而且还根据融合结果对动态障碍物的位置进行了延时修正,来消除传感器处理数据延时所带来的位置偏差。
首先对Veloadyne数据进行栅格化处理得到一张障碍物占用栅格图,对不同时刻的栅格图进行聚类跟踪可以获取障碍物的动态信息,将动态的障碍物从栅格图中删除并存储在动态障碍物列表中,这个删除了动态障碍物占用信息的栅格图也就是一张静态障碍物栅格图,然后将动态障碍物列表中的动态障碍物信息和Ibeo获取的无人驾驶汽车前方区域内的动态障碍物信息进行同步融合得到一个新的动态障碍物列表,最后将这个新的列表中的动态障碍物合并到静态障碍物栅格图中得到一张动静态障碍物区别标示的栅格图。障碍物检测模块是通过分析处理各种激光雷达返回的数据,将这些激光雷达数据进行栅格化处理,投影到512*512的栅格地图中,从而实现对环境中障碍物的检测。最终,多传感器信息融合与环境建模模块则是将不同传感器获取的环境信息进行融合、建立道路模型并最终用栅格地图进行表示,这些环境信息包括:标识信息、路面信息、障碍物信息以及定位信息等。
最后,对获得的环境信息信号进行处理,得到一张动态的标志了障碍物的栅格图,从而达到避障的效果,采用融合 Velodyne 和 Ibeo 信息得到运动目标状态的方式相比于只用 Velodyne 处理结果的方式,检测结果的准确率和稳定性都得到了较大的提升。
机械视觉机构
机械视觉也可以称作为环境感知,是无人驾驶汽车最重要也是最复杂的一部分。无人驾驶车辆的环境感知层的任务是针对不同的交通环境,对传感器进行合理的配置、融合不同传感器获取的环境信息、对复杂的道路环境建立模型。无人驾驶系统的环境感知层分为交通标志识别、车道线的检测与识别、车辆检测、道路路沿的检测、障碍物检测以及多传感器信息融合与环境建模等模块。
传感器探测环境信息,只是将探测的物理量进行了有序排列与存储。此时计算机并不知道这些数据映射到真实环境中是什么物理含义。因此需要通过适当的算法从探测得到的数据中挖掘出我们关注的数据并赋予物理含义,从而达到感知环境的目的。
比如我们在驾驶车辆时眼睛看前方,可以从环境中分辨出我们当前行驶的车道线。若要让机器获取车道线信息,需要摄像头获取环境影像,影像本身并不具备映射到真实环境中的物理含义,此时需要通过算法从该影像中找到能映射到真实车道线的影像部分,赋予其车道线含义。
自动驾驶车辆感知环境的传感器繁多,常用的有:摄像头、激光扫描仪、毫米波雷达以及超声波雷达等。
针对不同的传感器,采用的感知算法会有所区别,跟传感器感知环境的机理是有关系的。每一种传感器感知环境的能力和受环境的影响也各不相同。比如摄像头在物体识别方面有优势,但是距离信息比较欠缺,基于它的识别算法受天气、光线影响也非常明显。激光扫描仪及毫米波雷达,能精确测得物体的距离,但是在识别物体方面远弱于摄像头。同一种传感器因其规格参数不一样,也会呈现不同的特性。为了发挥各自传感器的优势,弥补它们的不足,传感器信息融合是未来的趋势。事实上,已经有零部件供应商做过此事,比如德尔福开发的摄像头与毫米波雷达组合感知模块已应用到量产车上。因此本系统设计将多个感知模块结合去识别各种环境实物。
L
我来回答一个吧。车应用在汽车无人驾驶里面的定位技术的传感器-IMU。这个传感器是无人驾驶里面定位技术的一个关键传感器,主要应用于GPS/DR组合定位系统。
车辆航位推算(Dead Reckoning,DR)方法是一种常用的自主式车辆定位技术。相对于GPS系统,它不用发射接收信号,不受电磁波影响,机动灵活,只要车辆能达到的地方都能定位。但是由于这种定位方法的误差随时间推移而发散,所以只能在短时间内获得较高的精度,不宜长时间单独使用。DR是利用车辆某一时刻的位置,根据航向和速度信息,推算得到当前时刻的位置,即根据实测的汽车行驶距离和航向计算其位置和行驶轨迹.它一般不受外界环境影响,所以单独工作时不能长时间保持高精度。为了弥补DR系统的短板,可以将GPS与DR进行组合使用。
在航位推算所需的机载传感器中,由加速度传感器和陀螺仪传感器组成的运动传感器尤为重要。由于弯道、坡度和车道变化等因素的影响,车辆行进方向和朝向也会不时发生变化;加速度传感器和陀螺仪传感器可以检测到这些车辆行进方向和朝向的变化。TDK 的 IAM-HP 是一款车内 6 轴运动传感器,它利用 MEMS 制造技术将 3 轴加速度传感器与 3 轴陀螺仪传感器封装在一起。产品运行温度范围从-40℃到+105℃,目前已售出的大量设备足以证明其卓越品质,且产品在世界各地均获得极高评价。
新开发的Coursa Drive软件支持自动驾驶车辆的高精度惯性定位。它不仅能以较高精度测量及维护车辆位置,甚至能够协助在GPS信号范围之外及信号中断的环境中(例如隧道、地下停车场和多个建筑物之间的“城市峡谷”)进行自动驾驶。TDK通过将运动传感器与 Coursa Drive 相结合的传感器融合技术,在航位推算技术方面取得了显著进展。
参考信源:
自动驾驶软件经理一枚,自动驾驶的传感器的种类很多。我做过一个专栏系列可以看下如下的汇总文章。特别用古代戚继光的鸳鸯陈来比喻传感器,方便大家理解。
殷玮:传感器攻防战-一文汇总自动驾驶的那些传感器
如果大家对于单个传感器希望深入了解,可以看如下清单
IMU核心是为其他传感器提供感知间隙和失效情况下的空间位置偏移量(车转了多少度,走了多少米)方便进行感知的时间同步和步长
殷玮:传感器攻防战-惯导IMU
GPS专门服务于地图和V2X,为这些“绝对位置数据”提供必需的绝对定位信号,从而获得车周围超感知方位的动静态环境信息
殷玮:传感器攻防战-GPS
殷玮:传感器攻防战-高精度地图引擎
殷玮:传感器攻防战-TBOX(5G/C-V2X)车联网传感器
超声波雷达是目前量产车的标配,低廉的成本以及近场范围的测距能力,在L2级别泊车应用中广泛使用,并在L2.5的Pilot应用中换发新的活力(超声波的还没有做,陈光大佬 @陈光 的这篇讲的很详细了)
陈光:无人驾驶技术入门(八)| 被严重低估的传感器超声波雷达
视觉是一种泛用性好,信息含量最多的传感器,是环境感知信息的主要来源,难点主要是通过机器视觉或者深度学习技术获得图像当中的语义信号
殷玮:传感器攻防战-摄像头(1)
毫米波是一种支援传感器,信息含量不大,但是在各种环境下对车辆等动态物体的距离和相对速度感知较为准确,是支撑安全类应用的主流传感器
殷玮:传感器攻防战-毫米波雷达
激光雷达的分辨率和距离感知精度都很高,分辨率和信息含量仅次于图像,相对处理难度也比相机低一些,唯一的问题是目前成本和寿命仍然不能完全满足量产的要求
殷玮:传感器攻防战-激光雷达(1)
以上,如果你也对自动驾驶技术感兴趣,欢迎关注我
自动驾驶中的传感器主要有camera、Lidar、Radar、IMU、超声波雷达等等吧,现在的技术栈越来越依靠多个传感器数据融合,从而解决算法性能不稳定的问题。
介绍下多传感器标定融合内容:这是是一项结合多传感器数据的综合性前沿内容,主要包括Camera、激光雷达、IMU、毫米波雷达等传感器的融合,在自动驾驶、移动机器人的感知和定位领域中占有非常重要的地位;随着AI技术的大规模落地,图森、百度、滴滴、Waymo、Momenta、华为、纵目科技、智加科技、赢彻科技、小鹏、蔚来、魔视智能等公司开始逐渐落地自己的L2~L4等级的辅助/自动驾驶产品,从自动泊车、车道保持、行人障碍物预警、定位、测距、跟踪等多个任务都离不开多传感器融合,前视相机、鱼眼相机、毫米波雷达、激光雷达、IMU等传感器一起工作,鲁棒性、准确度都高于单一传感器,因此被多种方案采用,相关技术更是受到重点关注;
然而,由于门槛较高,无论是高校还是企业,针对自动驾驶感知融合方面的相关课程少之又少,令许多对该行业感兴趣的童鞋无从下手,而这也正是工坊推出该课程的初衷,希望通过自己的一些工程项目经验帮助大家进入喜欢的行业。《自动驾驶中的多传感器数据融合》课程主要分两个大模块:理论篇和实战篇,由两位知名自动驾驶公司算法人员教授。理论篇部分主要介绍自动驾驶中常用的传感器硬件、传感器间的时间同步和空间同步以及多传感器间的信息融合理论知识;实战篇更多偏向工程应用,工程中传感器间同步与融合如何实现等,课程大纲如下:
课程链接:激光雷达+相机+毫米波雷达+IMU之间的标定融合
更多课程介绍
自动驾驶传感器:一种用于自动驾驶的传感器  第2张

自动驾驶传感器:走进自动驾驶传感器(一)——激光雷达

写在前面:
笔者为自动驾驶创业公司的研发工程师,工作时接触较多LiDAR,使用较多点云数据,本文为笔者收集整理的一篇关于激光雷达的科普,查阅了一些资料包括论文和传感器使用手册,结合一些个人认为激光雷达在实际应用过程中需要了解的一些基本概念和基础知识,如有问题欢迎指正,如需转载请私信联系。
欢迎关注本专栏,关注我的持续更新。(光收藏不点赞的是人么(╯‵□′)╯︵┴─┴)
激光雷达,也称光学雷达(LIght Detection And Ranging)是激光探测与测距系统的简称,它通过测定传感器发射器与目标物体之间的传播距离,分析目标物体表面的反射能量大小、反射波谱的幅度、频率和相位等信息,从而呈现出目标物精确的三维结构信息。
自上世纪60年代激光被发明不久,激光雷达就大规模发展起来。目前激光雷达厂商主要使用波长为905nm和1550nm的激光发射器,波长为1550纳米的光线不容易在人眼液体中传输,这意味着采用波长为1550纳米激光的激光雷达的功率可以相当高,而不会造成视网膜损伤。更高的功率,意味着更远的探测距离,更长的波长,意味着更容易穿透粉尘雾霾。但受制于成本原因,生产波长为1550纳米的激光雷达,要求使用昂贵的砷化镓材料。厂商更多选择使用硅材料制造接近于可见光波长的905nm的激光雷达,并严格限制发射器的功率,避免造成眼睛的永久性损伤。
而测距原理上目前主要以飞行时间(time of flight)法为主,利用发射器发射的脉冲信号和接收器接受到的反射脉冲信号的时间间隔来计算和目标物体的距离。
也有使用相干法,即为调频连续波(FMCW)激光雷达发射一束连续的光束,频率随时间稳定地发生变化。由于源光束的频率在不断变化,光束传输距离的差异会导致频率的差异,将回波信号与本振信号混频并经低通滤波后,得到的差频信号是光束往返时间的函数。调频连续波激光雷达不会受到其他激光雷达或太阳光的干扰且无测距盲区;还可以利用多普勒频移测量物体的速度和距离。调频延续波LiDAR概念并不新颖,但是面对的技术挑战不少,例如发射激光的线宽限制、线性调频脉冲的频率范围、线性脉冲频率变化的线性度,以及单个线性调频脉冲的可复制性等。
关于 FMCW 的原理,可以阅读本系列的下一篇文章:Yvon Shong:走进自动驾驶传感器(二)——毫米波雷达
调幅连续波(AMCW)激光雷达与基本的飞行时间系统相似的是,调幅连续波激光雷达发射一个信号,测量激光反射回来的时间。但区别在于,时间飞行系统只发射一个脉冲,调幅连续波LiDAR通过改变激光二极管中的极电流来调整发射光强度,从而实现调制。
激光雷达应用于测绘主要有测距、定位以及地表物体的三维绘制;其达作为一种重要的传感器,目前正在自动驾驶领域和无人飞行器领域得到广泛应用。
LiDAR的结构
激光雷达主要包括激光发射、接收、扫描器、透镜天线和信号处理电路组成。激光发射部分主要有两种,一种是激光二极管,通常有硅和砷化镓两种基底材料,再有一种就是目前非常火热的垂直腔面发射(VCSEL)(比如 iPhone 上的 LiDAR),VCSEL的优点是价格低廉,体积极小,功耗极低,缺点是有效距离比较短,需要多级放大才能达到车用的有效距离。
激光雷达主要应用了激光测距的原理,而如何制造合适的结构使得传感器能向多个方向发射激光束,如何测量激光往返的时间,这便区分出了不同的激光雷达的结构。
机械式
以Velodyne 2007年推出了一款激光雷达为例,它把64个激光器垂直堆叠在一起,使整个单元每秒旋转许多次。发射系统和接收系统存在物理意义上的转动,也就是通过不断旋转发射器,将激光点变成线,并在竖直方向上排布多束激光发射器形成面,达到3D扫描并接收信息的目的。但由于通过复杂的机械结构实现高频准确的的转动,平均的失效时间仅1000-3000小时,难以达到车厂最低小时的要求。
Velodyne 64线激光雷达结构示意图固态式(MEMS)
利用微电子机械系统的技术驱动旋镜,反射激光束指向不同方向。固态激光雷达的优点包括了:数据采集速度快,分辨率高,对于温度和振动的适应性强;通过波束控制,探测点(点云)可以任意分布,例如在高速公路主要扫描前方远处,对于侧面稀疏扫描但并不完全忽略,在十字路口加强侧面扫描。而只能匀速旋转的机械式激光雷达是无法执行这种精细操作的。
MEMS激光雷达模组光学相控阵式(OPA)
相控阵发射器由若干发射接收单元组成阵列,通过改变加载在不同单元的电压,进而改变不同单元发射光波特性,实现对每个单元光波的独立控制,通过调节从每个相控单元辐射出的光波之间的相位关系,在设定方向上产生互相加强的干涉从而实现高强度光束,而其他方向上从各个单元射出的光波彼此相消。组成相控阵的各相控单元在程序的控制下可使一束或多束高强度光束按设计指向实现空域扫描。
相控阵激光雷达原理示意图
但光学相控阵的制造工艺难度较大,这是由于要求阵列单元尺寸必需不大于半个波长,普通目前激光雷达的任务波长均在1微米左右,这就意味着阵列单元的尺寸必需不大于500纳米。而且阵列数越多,阵列单元的尺寸越小,能量越往主瓣集中,这就对加工精度要求更高。此外,材料选择也是十分关键的要素。
泛光面阵式(FLASH)
泛光面阵式是目前全固态激光雷达中最主流的技术,其原理也就是快闪,它不像MEMS或OPA的方案会去进行扫描,而是短时间直接发射出一大片覆盖探测区域的激光,再以高度灵敏的接收器,来完成对环境周围图像的绘制。
LeddarCore flash LiDAR硬件参数
我们以目前最为成熟的车载MEMS式激光雷达为例,讲解其关键的硬件参数。
视场角与分辨率
激光雷达视场角分为水平视场角和垂直视场角,水平视场角即为在水平方向上可以观测的角度范围,旋转式激光雷达旋转一周为360°,所以水平视场角为360°。垂直视场角为在垂直方向上可以观测的角度,一般为40°。而它并不是对称均匀分布的,因为我们主要是需要扫描路面上的障碍物,而不是把激光打向天空,为了良好的利用激光,因此激光光束会尽量向下偏置一定的角度。并且为了达到既检测到障碍物,同时把激光束集中到中间感兴趣的部分,来更好的检测车辆,激光雷达的光束不是垂直均匀分布的,而是中间密,两边疏。下图是禾赛64线激光雷达的光束示意图,可以看到激光雷达的有一定的偏置,向上的角度为15°,向下的为25°,并且激光光束中间密集,两边稀疏。
禾赛64线激光雷达光束分布回波模式
由于激光接收器是接收发射器发射的激光,可能存在一个发射器穿过多个物体,对应的一个接收器接收到多个回波的情况。而回波模式即是调整输出的数据包内包含的内容,在单回波模式下,每一个数据块包括64个激光通道的测距数据,可选择为最强回波还是最后回波。在双回波模式下,每两个数据块对应64个激光在同一轮发光测距的不同回波数据,比如同时包含最强回波和最晚回波。
点频
即周期采集点数,因为激光雷达在旋转扫描,因此水平方向上扫描的点数和激光雷达的扫描频率有一定的关系,扫描越快则点数会相对较少,扫描慢则点数相对较多。一般这个参数也被称为水平分辨率,比如激光雷达的水平分辨率为0.2°,那么扫描的点数为360°/0.2°=1800,也就是说水平方向会扫描1800次。
那么激光雷达旋转一周,即一个扫描周期内扫描的点数为1800*64=。比如禾赛64线激光雷达,扫描频率为10Hz的时候水平角分辨率为0.2°,在扫描频率为20Hz的时候角分辨率为0.4°(扫描快了,分辨率变低了)。输出的点数和计算的也相符合 pts/s。
有效检测距离
激光雷达是一个收发异轴的光学系统(其实所有的机械雷达都是),也就是说,发射出去的激光光路,和返回的激光光路,并不重合。这主要是因为激光发射器和接收器不能做在一起导致的,此方案本身便存在小量的误差。现在很多方案,都是向着共轴努力。
激光雷达的测距精度,随着距离的变化而变化。有几个原因:
我们这里说的激光雷达,是指 TOF 激光雷达,TOF 测距,靠的是 TDC 电路提供计时,用光速乘以单向时间得到距离,但限于成本,TDC 一般由 FPGA 的进位链实现,本质上是对一个低频的晶振信号做差值,实现高频的计数。所以,测距的精度,强烈依赖于这个晶振的精度。而晶振随着时间的推移,存在累计误差;距离越远,接收信号越弱,雷达自身的寻峰算法越难以定位到最佳接收时刻,这也造成了精度的劣化;
而由于激光雷达检测障碍物的有效距离和最小垂直分辨率有关系,也就是说角度分辨率越小,则检测的效果越好。如果两个激光光束之间的角度为0.4°,那么当探测距离为200m的时候,两个激光光束之间的距离为200m*tan0.4°≈1.4m。也就是说在200m之后,只能检测到高于1.4m的障碍物了。如果需要知道障碍物的类型,那么需要采用的点数就需要更多,距离越远,激光雷达采样的点数就越少,可以很直接的知道,距离越远,点数越少,就越难以识别准确的障碍物类型。
LiDAR的数据三维点
对于旋转式激光雷达来说,得到的三维点便是一个很好的极坐标系下的多个点的观测,包含激光发射器的垂直俯仰角,发射器的水平旋转角度,根据激光回波时间计算得到的距离。但LiDAR通常会输出笛卡尔坐标系下的观测值,第一是因为LiDAR在极坐标系下测量效率高,也只是对于旋转式LiDAR,目前阵列式LiDAR也有很多。第二笛卡尔坐标系更加直观,投影和旋转平移更加简洁,求解法向量,曲率,顶点等特征计算量小,点云的索引及搜索都更加高效。
对于MEMS式激光雷达,由于一次采样周期为一个偏振镜旋转周期,10hz下采样周期为0.1秒,但由于载体本身在进行高速移动时,我们需要对得到的数据进行消除运动畸变,来补偿采样周期内的运动。
反射强度
LiDAR返回的每个数据中,除了根据速度和时间计算出的反射强度其实是指激光点回波功率和发射功率的比值。而激光的反射强度根据现有的光学模型,可以较好的刻画为以下模型。
LiDAR 反射率模型公式
我们可以看到,激光点的反射率和距离的平方成反比,和物体的入射角成反比。入射角是入射光线与物体表面法线的夹角。
时间戳和编码信息
LiDAR 通常从硬件层面支持授时,即有硬件trigger触发LiDAR数据,并支持给这一帧数据打上时间戳。通常会提供支持三种时间同步接口,1. IEEE 同步,遵循精确时间协议,通过以太网对测量以及系统控制实现精确的时钟同步。2. 脉冲同步(PPS),脉冲同步通过同步信号线实现数据同步。3. GPS同步(PPS+UTC),通过同步信号线和UTC时间(GPS时间)实现数据同步。
然后我们从LiDAR硬件得到一串数据包,需要过一次驱动才能将其解析成点云通用的格式,如ROSMSG或者pcl点云格式,以目前最普遍的旋转式激光雷达的数据为例,其数据为10hz,即LiDAR在0.1s时间内转一圈,并将硬件得到的数据按照不同角度切成不同的packet,以下便是一个 packet数据包定义示意图。
一帧LiDAR数据包定义示意图
而每一个packet包含了当前扇区所有点的数据,包含每个点的时间戳,每个点的xyz数据,每个点的发射强度,每个点来自的激光发射机的id等信息。
而如最新的Livox Horizon激光雷达,也包含了多回波信息及噪点信息,格式如下:
LiDAR数据包多回波信息定义示意图
每个标记信息由1字节组成:该字节中bit7和bit6为第一组,bit5和bit4为第二组,bit3和bit2为第三组,bit1和bit0为第四组。
第二组表示的是该采样点的回波次序。由于LivoxHorizon采用同轴光路,即使外部无被测物体,其内部的光学系统也会产生一个回波,该回波记为第0个回波。随后,若激光出射方向存在可被探测的物体,则最先返回系统的激光回波记为第1个回波,随后为第2个回波,以此类推。如果被探测物体距离过近(例如1.5m),第1个回波将会融合到第0个回波里,该回波记为第0个回波。
第三组基于回波能量强度判断采样点是否为噪点。通常情况下,激光光束受到类似灰尘、雨雾、雪等干扰产生的噪点的回波能量很小。目前按照回波能量强度大小将噪点置信度分为二档:01表示回波能量很弱:这类采样点有较高概率为噪点,例如灰尘点;10表示回波能量中等,该类采样点有中等概率为噪点,例如雨雾噪点。噪点置信度越低,说明该点是噪点的可能性越低。
第四组基于采样点的空间位置判断是否为噪点。例如:激光探测测距仅在测量前后两个距离十分相近的物体时,两个物体之间可能会产生拉丝状的噪点。目前按照不同的噪点置信度分为三档,噪点置信度越低,说明该点是噪点的可能性越低。
LiDAR的作用感知
我们可以根据LiDAR能描绘出稀疏的三维世界的特点,而扫描得到的障碍物点云通常又比背景更密集,通过分类聚类的方法可以利用其进行感知障碍物。而随着深度学习带来的检测和分割技术上的突破,LiDAR已经能做到高效的检测行人和车辆,输出检测框,即3D bounding box,或者对点云中的每一个点输出 label,更有甚者在尝试使用LiDAR检测地面上的车道线。
感知 perception
在三维目标识别的对象方面,最初研究主要针对立方体、柱体、锥体以及二次曲面等简单形体构成的三维目标。然而,这类形体对现实世界的表达能力有限,绝大部分目标难以用这些形体或其组合来近似。后续研究主要集中于三维自由形态目标的识别,所谓自由形态目标,即表面除了顶点、边缘以及尖拐处之外处处都有良好定义的连续法向量的目标(如飞行器、汽车、轮船、建筑物、雕塑、地表等)。由于现实世界中的大部分物体均可认为是自由形态目标,因此三维自由形态目标识别算法的研究大大扩展了识别系统的适用范围。在过去二十余年间,三维目标识别任务针对的数据量不断增加,识别难度不断上升,而识别率亦不断提高。然而,如何在包含遮挡、背景干扰、噪声、逸出点以及数据分辨率变化等的复杂场景中实现对感兴趣目标的检测识别与分割,仍然是一个富有挑战性的问题。
配准
在三维模型重建方面,最初的研究集中于邻接关系和初始姿态均已知时的点云精配准、点云融合以及三维表面重建。在此,邻接关系用以指明哪些点云与给定的某幅点云之间具有一定的重叠区域,该关系通常通过记录每幅点云的扫描顺序得到。而初始姿态则依赖于转台标定、物体表面标记点或者人工选取对应点等方式实现。这类算法需要较多的人工干预,因而自动化程度不高。接着,研究人员转向点云邻接关系已知但初始姿态未知情况下的三维模型重建,常见方法有基于关键点匹配、基于线匹配、以及基于面匹配 等三类算法。在实际应用中,很多时候并不知道点云之间的邻接关系。针对此,研究人员开发了最小张树算法和连接图算法以实现邻接关系的计算。总体而言,三维模型重建算法的发展趋势是自动化程度越来越高,所需人工干预越来越少,且应用面越来越广。然而,现有算法依然存在运算复杂度较高、只能针对单个物体、且对背景干扰敏感等问题。研究具有较低运算复杂度且不依赖于先验知识的全自动三维模型重建算法,是目前的主要难点。
给定两个来自不同坐标系的三维数据点集,找到两个点集空间的变换关系,使得两个点集能统一到同一坐标系统中,这个过程便称为配准。配准的目标是在全局坐标框架中找到单独获取的视图的相对位置和方向,使得它们之间的相交区域完全重叠。对于从不同视图(views)获取的每一组点云数据,点云数据很有可能是完全不相同的,需要一个能够将它们对齐在一起的单一点云模型,从而可以应用后续处理步骤,如分割和进行模型重建。目前对配准过程最常见的主要是 ICP 及其变种算法,NDT 算法,和基于特征提取的匹配。
配准 registration
ICP算法最早由Chen and Medioni,and Besl and McKay提出。其算法本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对,计算最优刚体变换这一过程,直到根据点对的欧氏距离定义的损失函数满足正确配准的收敛精度要求。ICP是一个广泛使用的配准算法,主要目的就是找到旋转和平移参数,将两个不同坐标系下的点云,以其中一个点云坐标系为全局坐标系,另一个点云经过旋转和平移后两组点云重合部分完全重叠。
NDT算法的基本思想是先根据参考数据(reference scan)来构建多维变量的正态分布,如果变换参数能使得两幅激光数据匹配的很好,那么变换点在参考系中的概率密度将会很大。然后利用优化的方法求出使得概率密度之和最大的变换参数,此时两幅激光点云数据将匹配的最好。由此得到位资变换关系。
局部特征提取通常包括关键点检测和局部特征描述两个步骤,其构成了三维模型重建与目标识别的基础和关键。在二维图像领域,基于局部特征的算法已在过去十多年间取得了大量成果并在图像检索、目标识别、全景拼接、无人系统导航、图像数据挖掘等领域得到了成功应用。类似的,点云局部特征提取在近年来亦取得了部分进展
而当三维点较为稠密的时候,可以像视觉一样提取特征点和其周围的描述子,主要通过选择几何属性(如法线和曲率)比较有区分度的点,在计算其局部邻域的几何属性的统计得到关键点的描述子,而当处理目前市面上的激光雷达得到的单帧点云数据时,由于点云较为稀疏,主要依靠每个激光器在扫描时得到的环线根据曲率得到特征点。
里程计和定位
而有了两帧点云的数据根据配准得到了相对位姿变换关系后,我们便可以利用激光雷达传感器获得的数据来估计载体物体位姿随时间的变化而改变的关系。比如我们可以利用当前帧和上一帧数据进行匹配,或者当前帧和累计堆叠出来的子地图进行匹配,得到位姿变换关系,从而实现里程计的作用。
odometer and localization
而当我们用当前帧和整个点云地图进行匹配的时候,我们便能得到传感器在整个地图中的位姿,从而实现在地图中的定位。
LiDAR的趋势传感器车规化
固态激光雷达取消了机械结构,能够击中目前机械旋转式的成本和可靠性的痛点,是激光雷达的发展方向。除了这两大迫切解决的痛点外,目前量产的激光雷达探测距离不足,仅能满足低速场景(如厂区内、校园内等)的应用。日常驾驶、高速驾驶的场景仍在测试过程中。
当前机械式激光雷达的价格十分昂贵,Velodyne 在售的 64 线/32 线/16 线产品的官方定价分别为 8 万/4 万/8 千美元。一方面,机械式激光雷达由发射光源、转镜、接收器、微控马达等精密零部件构成,制造难度大、物料成本较高;另一方面,激光雷达仍未大规模进入量产车、需求量小,研发费用等固定成本难以摊薄。 量产100 万台 VLP-32后,那么其售价将会降至 400 美元左右。
2021年上海车展热门车型激光雷达配置多传感器融合
在环境监测传感器中,超声波雷达主要用于倒车雷达以及自动泊车中的近距离障碍监测,摄像头、毫米波雷达和激光雷达则广泛应用于各项 ADAS 功能中。四类传感器的探测距离、分辨率、角分辨率等探测参数各异,对应于物体探测能力、识别分类能力、三维建模、抗恶劣天气等特性优劣势分明。各种传感器能形成良好的优势互补,融合传感器的方案已成为主流的选择。
自动驾驶传感器:一种用于自动驾驶的传感器  第3张

自动驾驶传感器:起底自动驾驶汽车的五大传感器

  自动驾驶汽车是在一个未知的动态环境中运行的,所以它需要事先构建出环境地图并在地图中进行自我定位,而执行同步定位和映射过程(SLAM,即时定位和地图构建)的输入则需要传感器和AI系统的帮助。
  安装在自动驾驶系统上的传感器通常用于感知环境。选择每个传感器是为了权衡采样率、视场(fov)、精度、范围、成本和整个系统复杂度。
  一般情况下,自动驾驶汽车包含的传感器主要有五种类型:
  1、远程雷达:信号能够透过雨、雾、灰尘等视线障碍物进行目标检测。
  2、照相机:一般以组合形式进行短程目标探测,多应用于远距离特征感知和交通检测。
  3、激光雷达:多用于三维环境映射和目标检测。
  4、短程/中程雷达:中短程目标检测,适用于侧面和后方避险。
  5、超声波:近距离目标检测。
  这些传感器都有其优缺点,没有一种单一传感器能够适用于所有路况。通常情况下,想要可靠、安全地操控一辆自动驾驶汽车,需要同时使用多个传感器。
  而这五大传感器又可分为无源传感器(如摄像头)和有源传感器(如激光雷达、雷达和超声波收发器)。那么,什么是有源传感器?什么是无源传感器?两者的区别是什么?又会如何影响自动驾驶汽车的感测效果?
  自动驾驶汽车上的无源传感器与有源传感器
  无源传感器也称为能量转换型传感器,它不需要外部电源。在自动驾驶汽车上,无源传感器为无源摄像头传感器。
  摄像头传感器
  摄像头通过收集反射到三维环境对象上的光来捕捉二维图像。图像质量通常取决于环境条件,即不同的天气条件,不同的光照环境,都会对图像质量产生不同的影响。计算机视觉和机器学习算法通常用于从捕获的图像/视频中提取有用的信息。
  目前,由于单目像头难以对物体距离进行测量,通过多台摄像头利用三角测原理实观距离测量的立体视觉方法得到广泛应用。多目立体摄像头,可在一定程度上实现深度、距离的感知。
  今后摄像头可感知光线的波长范围将扩大可见光逐步材大至还红外线、远红外线,将现对人随着感知围从可眼所不可见物体的感知。同时,HDR(高动态范围成像)技术也将得到应用。通过拍摄曝光度不同的一组照片,可以以此合成近似于人眼所见的图像。该技术在智能手机上已得到普及,将来也将被运用于汽车领域。
  有源传感器,也称为能量转换性传感器或换能器,指将非电能量转化为电能量,只转化能量本身,并不转化能量信号的传感器。在自动驾驶汽车里,雷达、激光雷达和超声波传感器都是有源传感器。
  激光雷达
  LiDAR使用发射器发射激光束,并通过接收器对遇障碍物后返回的激光束进行探测。激光雷达传感器通过发射脉冲激光,计算散射光从发射到遇障碍物返回的时间间隔(TimeofFlight,下行时间),可对三维空间内的物体形状及距离进行有效感知,可在较长距离内(当前车用最长距离为120m)实现感知。
  激光雷达以每秒50,000-200,000个脉冲的速度覆盖一个区域,并将返回的信号编译成一个3D点云,通过比较连续感知的点云、物体的差异检测其运动,由此创建一个250米范围内的3D地图。
  随着今后系统结构简化,激光雷达发射器等半导体在实现量产的同时,价格也将下降。此外,测量用LiDAR与感知车辆周边异常情况的LiDAR在技术参数上是不同的。常规摄像头无法感知夜间环境,而LiDAR不论昼夜均可使用。
  雷达
  无论是毫米波雷达还是普通雷达,都主要通过无线电波进行测距。无线电波以光速传播,在电磁波谱中频率最低(波长最长),基于无线电波的反射特性,雷达传感器可以探测到前方物体之外的东西。
  不过,雷达信号容易被具有相当导电性的材料(如金属物体)反射,并且其他无线电波的干扰也会影响雷达的性能,造成雷达传感器无法对物体进行探测。在确定被探测目标的形状方面,雷达的能力不如激光雷达。
  当前使用的毫米波雷达有24GHz、60GHz、76GHz等多种规格。与使用可见光、红外线、激光等光源的传感器相比,米波达波长要长,可穿透雨、雪、雾,不容易受坏天气的影响。传感器有坚固的结构,防污性能强。不仅可测距,还可以利用多普勒效应测量相对速度。
  由于空间解析能力低,在高级自动驾驶中,毫米波雷达常作为辅助传感器用于相对速度测量等功能。
  另外,由于频率不同的毫米波雷达各有其特性,并且在其他用途上使用的相同频率雷达可能彼此间将发生干涉,因此需要探讨如何对超声波雷达的使用场合进行限制。
  超声波传感器
  超声波传感器也称为声纳;声音导航测距。在有源传感器中,声波的频率最低(波长最长),因此声波更容易被干扰,这也意味着超声波传感器很容易受到不利环境条件的影响,如下雨和灰尘。另外,其他声波产生的干扰也会影响传感器的性能,需要通过使用多个传感器和依赖额外的传感器类型来缓解干扰。
  相比于摄像头、激光雷达和毫米波雷达,超声波在自动驾驶领域的运用并不广泛。
  有源传感器与无源传感器的区别:
  简单来说,两者的区别在于是否需要外部供电。无源传感器,不需要电源就能工作;有源传感器,需要供电才能工作。
  从工作原理来分析,无源传感器是完全通过吸收被测对象的能量来输出信号;而有源传感器的输出信号能量部分来自被测对象,另一部分由电源提供。
  从性能上来分析,无源传感器更简单,但对被测对象的影响更大,灵敏度不高,输出信号能量不高,易受干扰;有源传感器较复杂,对被测对象的影响小,灵敏度高,输出信号能量高,不易受干扰。
  本质上,有源传感器是在无源传感器基础上多了一个能量放大机制而已。两者在自动驾驶汽车上的应用各有优劣。
  无源传感器能够探测环境中物体反射的现有能量,如光、辐射等。但在弱光环境下,由于没有自己的传播源,无源传感器的性能将有所下降。并且在产生的数据方面,对比有源传感器,无源传感器产生的数据量更多,约0.5-3.5Gbps。
  即便如此,无源传感器在自动驾驶应用中仍具有多方面特点,主要包括:
  1.涵盖整个视野宽度的高分辨率的像素和颜色;
  2.在视野中保持恒定的帧频;
  3.两个摄像头可以生成一个3D立体视图;
  4.缺乏发射源减少了来自其他车辆的干扰的可能性;
  5.技术成熟,成本低;
  6.系统生成的图像便于用户理解和交互。
  使用无源摄像头传感器套件,需要覆盖汽车周边的各个环境。这可以通过使用在特定时间间隔拍摄图像的旋转相机来实现,或者通过软件将4-6个相机的图像拼接在一起。
  此外,这些传感器需要一个超过100分贝的高动态范围(场景中高光和阴影的成像能力),使它们能够在各种光照条件下工作,并区分不同的对象。
  而激光雷达和超声波这类有源传感器,具有信号传输源,依靠TOF原理感知环境,ToF能够通过等待信号的反射返回来测量信号从源到目标的传播时间,信号的频率决定了系统所使用的能量及其准确性。因此,确定正确的波长在选择系统时起着关键的作用。
  自动驾驶汽车中的传感器融合及算法
  无论是有源还是无源,自动驾驶汽车上的各类传感器均有其优缺点,而且SLAM是一个复杂的过程,因为定位需要地图,而绘制地图需要良好的位置估计。所以,为了更准确地执行即时定位和地图构建,往往会采用多传感器融合的方案。
  传感器融合是将多个传感器和数据库的数据结合起来以实现信息改进的过程。它是一个多层次的过程,能够处理数据间的联系和相关性,对数据进行组合,与使用单个数据源相比,能够获得更便宜、更高质量、相关性更高的信息。
  而自动驾驶汽车需要从技术上对传感器进行判断、选择,筛选的条件主要有以下几个方面:
  扫描范围,决定了传感器对被感知的物体做出反应的时间;
  分辨率,传感器可以为自动驾驶车辆提供的环境细节;
  视野/角度分辨率,决定自动驾驶汽车需要多少传感器来覆盖感知的区域;
  3D环境下区分静态对象和动态对象的能力;
  刷新率,决定传感器信息更新的频率;
  在不同环境条件下的总体可靠性和准确性;
  成本、尺寸和软件兼容性;
  生成的数据量。
  具体我们可以看看Waymo、Volvo-Uber和Tesla的传感器方案,均采用多种传感器。
  同时,传感器融合还需要用到强大的AI算法。在自动驾驶汽车AI架构中,主要有两种方法:
  1.逐步处理。把整个驾驶过程拆解为一系列逐层连接的流水线,其中的每一步,比如感知、定位、地图、路径导航、运动控制,都分别由各自的具体软件组件处理。
  2.端到端。基于深度学习的解决方案,一次性处理所有这些功能。
  通过传感器的融合,自动驾驶汽车获得了数据,不过,如何从传感器信号中提取有用的信息,并基于现有信息执行任务,还需要利用机器学习算法——CNN、RNN、DRL。
  CNN(卷积神经网络):主要用于处理图像和空间信息,提取感兴趣的特征和识别环境中的对象。这些神经网络是由一个卷积层构成的:一个过滤器的集合,它试图区分图像的元素或输入数据来标记它们。这个卷积层的输出被输入到一个算法中,该算法将它们结合起来预测图像的最佳描述。最后的软件组件通常称为对象分类器,因为它可以对图像中的对象进行分类,例如一个路标或另一辆汽车。
  RNN(递归神经网络):主要用于处理视频信息,在这些网络中,先前步骤的输出将作为输入进入到网络中,从而允许信息和知识能够在网络中持久存在并被上下文化。
  DRL(深度强化学习):DRL方法允许软件定义的“代理”学习在虚拟环境中使用奖励函数实现目标的最佳可能操作。这些面向目标的算法将学习如何实现目标,或如何在多个步骤中沿着一个特定的维度最大化。目前,深度强化学习在无人驾驶汽车中的应用还处于起步阶段。
  这些方法不一定是孤立存在的。为了避免过度拟合,在深度学习中通常会进行多任务训练网络。当机器学习算法被训练用于一个特定的任务时,它会变得如此专注于模仿它所训练的数据,以至于试图进行插值或外推时,它的输出会变得不现实。
  通过在多个任务上训练机器学习算法,网络的核心将专注于发现对所有目的都有用的通用特性,而不是专注于一个任务,以便输出更加实际有用的应用程序。
  利用传感器提供的所有数据和这些算法,自动驾驶汽车能够探测到周围的物体。

您可能感兴趣的文章

本文地址:https://www.ceomba.cn/205.html
文章标签: ,   ,  
版权声明:本文为原创文章,版权归 ceomba 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!