无人驾驶传感器:一文详解无人驾驶中的各种感知传感器

2021/11/09 09:45 · 传感器知识资讯 ·  · 无人驾驶传感器:一文详解无人驾驶中的各种感知传感器已关闭评论
摘要:

无人驾驶传感器:一文详解无人驾驶中的各种感知传感器点击上方“3D视觉工坊”,选择“星标”干货第一时间送达文章导读本文介绍无人驾驶中几种主流的环境感知传感器,包括视觉摄像机、毫米波雷达、超声波雷达、激光雷达。通过分析对比每种传感器的原理和优缺点,进一步理解不同场景下如何构建感知方案。1感知传感器在无人驾驶中,传感器负责感知车辆行驶过程中周围的环境信息,包括周围的车辆、行

无人驾驶传感器:一文详解无人驾驶中的各种感知传感器

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

文章导读

本文介绍无人驾驶中几种主流的环境感知传感器,包括视觉摄像机、毫米波雷达、超声波雷达、激光雷达。通过分析对比每种传感器的原理和优缺点,进一步理解不同场景下如何构建感知方案。

1

感知传感器

在无人驾驶中,传感器负责感知车辆行驶过程中周围的环境信息,包括周围的车辆、行人、交通信号灯、交通标志物、所处的场景等。为无人驾驶汽车的安全行驶提供及时、可靠的决策依据。目前常用的车载传感器包括相机、毫米波雷达、超声波雷达、激光雷达等。根据各个传感器的特性,在实际应用中往往采用多种传感器功能互补的方式进行环境感知。

2

视觉摄像机

传感器原理

摄像头属于被动触发式传感器,被摄物体反射光线,传播到镜头,经镜头聚焦到CCD/CMOS芯片上,CCD/CMOS根据光的强弱积聚相应的电荷,经周期性放电,产生表示一幅幅画面的电信号,经过预中放电路放大、AGC自动增益控制,经模数转换由图像处理芯片处理成数字信号。

其中感光元器件一般分为CCD和CMOS两种:CCD的灵敏度高,噪声低,成像质量好,具有低功耗的特点,但是制作工艺复杂,成本高,应用在工业相机中居多;CMOS价格便宜,性价比很高,应用在消费电子中居多。为了满足不同功能的视觉需求,有很多不同种类的摄像机。

传感器分类

组合相机:这里指无人驾驶前视环境感知中常出现的单目/双目/三目,由不同焦距组成光学阵列,用于探测不同范围内的目标。

传统的单目做前视感知一般FOV较小,景深会更远,能够探测远距离障碍物,比如mobileye早期产品采用52°的镜头,当然现在主推的是100°摄像头能够感知更广的范围。

双目相机利用视差原理计算深度,通过两幅图像因为相机视角不同带来的图片差异构成视差。双目立体视觉在测距精度上要比单目做深度估计准确很多。

三目相机采用三个不同焦距单目摄像机的组合,弥补了视野范围和景深不可兼得的问题,由宽视野的摄像头感知近距离范围,中视野的摄像头感知中距离范围,窄视野的摄像头感知远处目标。在AutoPilot 2.0的方案中三个摄像头分别为前视窄视野摄像头(最远感知250米)、前视主视野摄像头(最远感知150米)及前视宽视野摄像头(最远感知60米)。

鱼眼相机:由十几个不同的透镜组合而成,在成像的过程中,入射光线经过不同程度的折射,投影到尺寸有限的成像平面上,使得鱼眼镜头拥有更大的视野范围。鱼眼相机的视场角一般能达到190°,广阔的视野范围也带来严重的图像畸变。通常应用在自动驾驶泊车功能中,安装在车辆前后保险杠处各一颗,左右后视镜下方各一颗,四颗鱼眼相机拼接成全景图覆盖车身周围5米左右范围做车位线检测。

红外相机:利用普通CCD摄像机可以感受红外光的光谱特性,配合红外灯作为照明源达到夜视成像的效果,通常在芯片表面加滤光涂层或在镜头中加滤光片滤掉人眼不可见的光以恢复原来色彩,具有夜视效果。近红外线的绕射能力虽然可以穿透烟雾、墨渍、涤纶丝绸之类的材料,但是并不能穿透所有丝织物,所以红外相机是做不到对人体的透视功能的~~~。

除了上述几种摄像机,其实还有事件摄像机,结构光摄像机,全景摄像机等,在无人驾驶的感知中目前涉及较少。

传感器特性

视觉摄像机能够得到丰富的纹理,特征信息,相比毫米波、激光雷达,采用图像数据能够实现车道线检测,交通标识符检测,freespace等功能。但是也有其不足之处,比如:

相机容易受到光照的影响:
在强光直射或者阴影背光的情况下成像质量较差;
物体高速运动时容易产生运动模糊;

3

毫米波雷达

传感器原理

毫米波雷达通过发射无线电波,然后接收反射回来的信号,通过电磁波返回的飞行时间计算目标的相对距离;根据多普勒原理,当发射的无线电波和被探测目标有相对移动、回波的频率会和发射波的频率不同,通过检测频率差计算目标的相对速度。

根据测距原理可以将毫米波雷达分成脉冲测距雷达和连续波测距雷达,由于调频连续波技术成本低廉、技术成熟并且信号处理复杂度低,所以FWCW调制方式的毫米波雷达成为主流。内部结构主要包括收发天线、射频前端、调制信号、信号处理模块等。

传感器分类

常用的车载毫米波雷达按照频率分为24GHz、77GHz和79GHz,也有少数地区研究其他频率的毫米波雷达,比如日本主要采用60GHz。频率越低,绕射能力越强,所以信号损失越小。通常24GHz毫米波雷达用于近距离探测,77GHz的毫米波雷达用于远距离探测,79GHz的毫米波从带宽、分辨率等方面均优于前者,将成为未来的发展方向。

近距离雷达(SRR):如上图所示,车辆四周的角雷达和安装于车辆后方的雷达,常用24GHz的毫米波探测40米以内的目标。

远距离雷达(LRR):安装于车辆前保险杆上的前雷达常用77GHz的毫米波探测200米以内的目标并和摄像头的目标输出做后融合。

79GHz的毫米波雷达频率更高,波长更短,分辨率更高,所以在远距离测距,测速上性能优于77GHz,并且由于体积较小,是将来发展趋势。

传感器特性

毫米波雷达测量距离远,通常能达到200多米,并且受天气影响较小,电磁波在雨雪、大雾、粉尘中具有良好的穿透性。但是也有其不足之处,比如:

对某些材质回波弱比如行人、锥桶或塑料制品等识别率较差;
对金属材质特别敏感,导致虚警率很高;
采样稀疏导致原始数据噪声大,目标抖动;
径向目标探测较准,但是切向目标敏感度差;
原始数据只有距离和角度信息,缺乏目标高度信息;

4

超声波雷达

传感器原理

超声波雷达通过声音在空气中传输的时间来判断障碍物的距离,在5米以内的精度能达到厘米级范围。其原理是利用超声波在空气中的传播速度,测量声波在发射后遇到障碍物反射回来的时间,根据发射和接收的时间差计算其到障碍物的距离。主流的工作频率有40KHz、48KHz、58KHz三种。

传感器分类

针对泊车场景一般在车辆周围安装12颗超声波雷达,车辆前后各安装4颗短距离超声波雷达,左右各安装2颗长距离超声波雷达。

短距离超声波(UPA)测量范围一般在3米以内,如上图所示,安装在车辆的前后保险杠处用于倒车时探测近处障碍物,常用于倒车报警功能。

远距离超声波(APA)测量范围一般在5米以内,安装在车辆左右各两颗,用于探测近处障碍物并判断空车位,常用于泊车辅助功能。

传感器特性

超声波雷达受到雨水、粉尘、泥沙的干扰较小,在空气中穿透性强、 衰减小,短距离探测中精度较高,常用于泊车场景。但是也有其不足之处,比如:

声波的传输容易受到天气温度的影响,高低温情况下测距误差较大;
声速相比光速较慢,车速较快时超声波测距无法跟上汽车车距的实时变化,误差较大;
超声波雷达的输出是在视野范围内的距离值,但是无法准确的给出目标位置;

5

激光雷达

传感器原理

激光雷达是主动测量传感器,通过对外发射激光脉冲来进行物体检测和测距。根据测距方法的不同可以分为三角法测距、TOF法测距、相干法测距。市面上用的比较多的还是TOF测距的激光雷达。

基于TOF测距的激光雷达通过激光器以不同的角度发送多束激光,遇到障碍物后反射回来由接收器接收,最后激光雷达通过计算激光发射和接收的时间差,计算障碍物的相对距离,并根据接收到的强度信息分析障碍物的材质。

传感器分类

激光雷达从工作方式上可以分为

机械式激光雷达
混合固态激光雷达
固态激光雷达

机械式激光雷达通过底部旋转马达带动激光束进行360°扫描,每扫描一圈得到一帧激光点云数据,扫描一圈的时间称为一个扫描周期。通过测量激光信号的时间差和相位差来确定距离,并根据每条扫描线的角度和扫描旋转角度构建极坐标关系。

混合固态激光雷达将机械式的外部旋转元器件做到了设备内部,比如MEMS技术直接在硅基芯片上集成体积十分精巧的微型扫描镜,并通过 MEMS 扫描镜来反射激光器的光线,从而实现微米级的运动扫描。

固态激光雷达比如相阵控技术通过调节相位偏移来改变激光束的发射方向,从而实现整个平面的扫描。其原理是相控阵发射器由若干发射接收单元组成一个矩形阵列,通过改变阵列中不同单元发射光线的相位差,可以达到调节射出波角度和方向的目的。

性能指标

波长:大多数激光雷达采用905nm波长的光源,也有部分远距离探测雷达使用1550nm的波长。波长越长功率越大,通俗点说就是通过大力出奇迹的方式堆功率来探测的更远。针对多个激光雷达相同波段干扰问题,可以采用连续波调频技术解决。

线数:激光雷达可以分为单线、16线、32线、64线、128线等,线数越多单位时间内采样的点数就越多,分辨率越高。单线激光雷达常出现在机器人领域用于扫地机避障等功能;16线激光雷达在园区小车上曝光率较多,用于slam或者近距离障碍物检测;32线和64线激光雷达由于点云更加稠密,采用深度学习技术进行目标识别具有很好的周围环境感知能力。

分辨率:包括水平角分辨率和垂直角分辨率,机械式激光雷达水平角分辨率一般在0.08°,垂直角分辨率根据线数的不同有较大的变化,16线激光雷达的垂直角分辨率为2°,呈现出的一帧点云较为稀疏。

视场角:包括水平视场角和垂直视场角,机械式激光雷达的水平视场角为360°,垂直视场角一般在20°~50°之间。固态激光雷达达不到全视野范围,水平视场角通常小于100°,垂直视场角通常在20°~70°之间。

扫描频率:采样频率在5~20Hz之间,一般默认10Hz,线数越多,每一帧的点数越多。比如16线激光雷达,按照10Hz采样,每帧大约多个点。

传感器特性

激光雷达对光照变化不敏感,不受夜晚场景的影响,可以全天候工作;测距精度相比其他传感器都要高,具有一定的抗干扰能力;感知周围信息量较为丰富;但是也有其不足之处,比如:

受雨雪、雾天、粉尘等气候影响性能下降;
对某些低反射特性的材料测距精度不佳;
硬件价格昂贵

6

各传感器对比

从探测距离角度,毫米波雷达(长距)和激光雷达(远距离)均能探测到200左右的物体;摄像机虽然能看到更远的物体,但是远距离测量精度不准,单目估计在20米以外精度就开始下降,立体相机测量80米以外的物体精度也明显下降;超声波雷达用于近距离探测,探测距离通常在3米以内。

从测速功能角度,只有毫米波雷达能够通过多普勒频移直接获得物体速度;激光雷达,摄像机,超声波三种传感器均不能直接获得物体速度。

从抗干扰角度,摄像机作为被动传感器,依赖外部环境光,在夜间的探测能力较大;而毫米波雷达、超声波雷达、激光雷达均是有源传感器,不受白天/黑夜的影响,具有较好的鲁棒性。在雨雪、大雾、粉尘等天气状况下,毫米波雷达具有良好的穿透性,所以性能不受显著影响;而摄像机、激光雷达在探测性能上有不同程度的衰减。

光学摄像机
毫米波雷达
超声波雷达
激光雷达
探测距离



较远
探测精度


较高

抗干扰能力
受光照、雨雪、粉尘影响
全天候不受环境影响
受大风、温度影响
受雨雪、粉尘影响
硬件成本
中低


本文仅做学术分享,如有侵权,请联系删文。

下载1

在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。

重磅!3DCVer-学术论文写作投稿?交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿?微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉?+ 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近3000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
?圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~

无人驾驶传感器:一文详解无人驾驶中的各种感知传感器  第1张

无人驾驶传感器:一文读懂无人驾驶的常用传感器|厚势汽车

1.传感器概览

无人驾驶作为高度集成的系统,所使用的传感器种类繁多、技术跨度较大,如果要做分类,笔者认为可以简单分为服务于感知系统的和服务于定位系统的。展开来看,常见的有激光雷达、相机、毫米波、超声波;组合导航(IMU)轮速计等,但再细分,其实又可以分出很多子类。这里讲一下常用的几种感知传感器。

激光雷达按线数分有 1、4、8、16、32、40、64、128 线等,按工作原理分有机械旋转式和固态式,而固态又分为 MEMS 型、Flash 型、相控阵型。因为机械式技术相对成熟,可选择的产品丰富,目前大部分还是在用机械旋转式。但可以预见的是固态激光雷达是未来的趋势,预计未来 1~2 年,使用的人会越来越多。

LiDAR 产品,常见关注的技术指标有:测距精度、反射率区分度、有效测距范围、抗干扰能力等;激光雷达的优点是不依赖环境光源、测距精度高,可以达到 cm 级,缺点是会受雨水、阳光影响,且因为是主动发射激光,具有镜面效应。

不同激光雷达输出效果比对,从左至右,从上至下:单线、64 线、128 线、固态

相机按工作原理分为 RGB 相机、红外相机、事件相机。RGB 相机可以构成单目、双目的应用;红外相机分为被动式与主动式;事件相机是一种比较新型的产品。

单目的测距精度一般会比较低为米级~十米级不等,但测距范围可以做到很大,只要能检测到目标就能估计出距离,而双目可以显著提高测距精度,但测距范围受基线长度影响,一般可以做到 300~400m 米的距离。

普通的 RGB 相机在夜晚没有路灯的情况下,基本是瞎的,此时红外相机的优势便突显出来。被动式红外相机只能接收由物体散发出来的红外光,相比与主动式,效果稍差,主动式红外的感知范围可以通过调整补光强度来控制,感知距离也可以做到几百米。

红外相机下的夜晚道路

事件相机的原理与传统相机有很大区别,它打破了帧的概念,是以事件(发生变化的像素)为单位输出的,也可以硬件直接输出光流信息,具有很高的动态范围和非常低的数据量,为 SLAM 应用提供了很多想像空间。相机具有信息稠密且空间连续的优点,但往往对计算量的需求也是很大的,且传统相机容易受环境光的影响。

传统相机(左)VS 图森未来自研相机(右)在低光照情况下成像对比

毫米波是目前最成熟的车载传感器,按测距范围可以划分成短距、中距和长距,按频段划分国内有 24GHz 和 77GHz 两种,77G 相对于 24G 来说,角分辨率会更高一些。具有极好的可靠性和天气适应性,但没有高度信息,且测量精度较低。

综合来看,每种传感器都有其优点,也有其不足的地方。无人驾驶传感器的选择,需要根据需求定位、业务场景、天气环境、成本方面综合考虑,选取出最适合的方案。但一般来说,会是以组合的形式存在,互补、互冗余,以提供更可靠的感知方案。

2.多传感器使用

传感器有了,为了能得到更高质量的标定结果和算法融合结果,往往还需要做一些处理,主要是不同传感器的时间同步和同步触发。

为了能够统一所有传感器的时间,一般可以将卫星时间作为所有传感器的时间源,同样处理器也使用卫星时间作为时间源。但如何实现呢?不同传感器有不同的特点,首先是处理器,处理器之间可以通过 NTP 进行时间同步,处理器和卫星的同步可以通过 PPS 实现。对于相机往往内部会有一个时钟,通过内部时钟,是可以对传输耗时进行补偿的,然后通过处理器时间和补偿时间,可以推算出实际的曝光时间。如果相机自身支持 PTP 或其他时间同步协议,则让其与对应的服务自协商进行精密时间同步即可。对于激光雷达,大多数都支持 PPS 时间同步,只要给他提供稳定的 PPS 信号即可。而 PPS 信号是可以由组合导航产生的,这往往是其最基本的功能,很容易实现。这样,所有传感器的时间就都统一为卫星时间了,时间的高精度统一,对于编队行驶尤其重要。有了时间同步的基础,就可以实现同步触发了。

对于相机来说,可以通过发送触发信号,让其在特定时间进行曝光,这种信号可以是软件的,也可以是硬件的,但硬件信号的精度无疑是远远高于软件信号的精度的。对于激光雷达来说,一般都会有相位同步的功能,对于机械式雷达,可以控制其在特定时刻旋转到特定角度。同理,组合导航的 PPS 信号是一切触发源的基础。

无时间同步

时间同步后

无同步触发

同步触发后

3.传感器成本考量

不得不说,由于目前自动驾驶的规模还没有大面积铺开,硬件成本还是比较高的,一方面需要做好整体方案规划,合理选型、布局,另一方面,也要不断优化算法,提高系统的鲁棒性,使用相对低成本的传感器,虽精度稍差,但在可控范围内,以节约成本。随着整个行业的发展,相信会有更多选择、性价比高的传感器硬件产品出现。

编辑:琪琪

来源:图森未来

点击阅读原文,查看文章「自动驾驶视觉惯性导航VINS概述」

无人驾驶传感器:一文详解无人驾驶中的各种感知传感器  第2张

无人驾驶传感器:无人驾驶中的传感器

传感器概览
无人驾驶作为高度集成的系统,所使用的传感器种类繁多、技术跨度较大,如果要做分类,个人认为可以简单分为服务于感知系统的和服务于定位系统的。展开来看,常见的有激光雷达、相机、毫米波、超声波;组合导航(IMU)轮速计等,但再细分,其实又可以分出很多子类。这里讲一下常用的几种感知传感器。
激光雷达按线数分有1、4、8、16、32、40、64、128线等,按工作原理分有机械旋转式和固态式,而固态又分为 MEMS 型、Flash 型、相控阵型。因为机械式技术相对成熟,可选择的产品丰富,目前大部分还是在用机械旋转式。但可以预见的是固态激光雷达是未来的趋势,预计未来1~2年,使用的人会越来越多。
LiDAR 产品,常见关注的技术指标有:测距精度、反射率区分度、有效测距范围、抗干扰能力等;激光雷达的优点是不依赖环境光源、测距精度高,可以达到 cm 级,缺点是会受雨水、阳光影响,且因为是主动发射激光,具有镜面效应。

不同激光雷达输出效果比对,从左至右,从上至下:单线、64线、128线、固态
相机按工作原理分为 RGB 相机、红外相机、事件相机。RGB相机可以构成单目、双目的应用;红外相机分为被动式与主动式;事件相机是一种比较新型的产品。
单目的测距精度一般会比较低为米级~十米级不等,但测距范围可以做到很大,只要能检测到目标就能估计出距离,图森未来在这点已经做到了1千米,而双目可以显著提高测距精度,但测距范围受基线长度影响,一般可以做到 300~400m 米的距离。

图森未来已突破千米感知
普通的 RGB 相机在夜晚没有路灯的情况下,基本是瞎的,此时红外相机的优势便突显出来。被动式红外相机只能接收由物体散发出来的红外光,相比与主动式,效果稍差,主动式红外的感知范围可以通过调整补光强度来控制,感知距离也可以做到几百米。
红外相机下的夜晚道路
事件相机的原理与传统相机有很大区别,它打破了帧的概念,是以事件(发生变化的像素)为单位输出的,也可以硬件直接输出光流信息,具有很高的动态范围和非常低的数据量,为 SLAM 应用提供了很多想想空间。图森未来非常重视视觉传感器,也在自主研发高动态、低照度的相机,可以参考我们的历史文章:图森未来突破夜间感知,实现无人驾驶卡车全天候运营,不再赘述。相机具有信息稠密且空间连续的优点,但往往对计算量的需求也是很大的,且传统相机容易受环境光的影响。

传统相机(左)VS图森未来自研相机(右)在低光照情况下成像对比
毫米波是目前最成熟的车载传感器,按测距范围可以划分成短距、中距和长距,按频段划分国内有24GHz和77GHz两种,77G相对于24G来说,角分辨率会更高一些。具有极好的可靠性和天气适应性,但没有高度信息,且测量精度较低。
综合来看,每种传感器都有其优点,也有其不足的地方。无人驾驶传感器的选择,需要根据需求定位、业务场景、天气环境、成本方面综合考虑,选取出最适合的方案。但一般来说,会是以组合的形式存在,互补、互冗余,以提供更可靠的感知方案。
多传感器使用
传感器有了,为了能得到更高质量的标定结果和算法融合结果,往往还需要做一些处理,主要是不同传感器的时间同步和同步触发。
为了能够统一所有传感器的时间,一般可以将卫星时间作为所有传感器的时间源,同样处理器也使用卫星时间作为时间源。但如何实现呢?不同传感器有不同的特点,首先是处理器,处理器之间可以通过 NTP 进行时间同步,处理器和卫星的同步可以通过PPS实现。对于相机往往内部会有一个时钟,通过内部时钟,是可以对传输耗时进行补偿的,然后通过处理器时间和补偿时间,可以推算出实际的曝光时间。如果相机自身支持 PTP 或其他时间同步协议,则让其与对应的服务自协商进行精密时间同步即可。对于激光雷达,大多数都支持 PPS 时间同步,只要给他提供稳定的 PPS 信号即可。而 PPS 信号是可以由组合导航产生的,这往往是其最基本的功能,很容易实现。这样,所有传感器的时间就都统一为卫星时间了,时间的高精度统一,对于编队行驶尤其重要。有了时间同步的基础,就可以实现同步触发了。
对于相机来说,可以通过发送触发信号,让其在特定时间进行曝光,这种信号可以是软件的,也可以是硬件的,但硬件信号的精度无疑是远远高于软件信号的精度的。对于激光雷达来说,一般都会有相位同步的功能,对于机械式雷达,可以控制其在特定时刻旋转到特定角度。同理,组合导航的PPS信号是一切触发源的基础。

无时间同步

时间同步后

无同步触发

同步触发后
传感器成本考量
不得不说,由于目前自动驾驶的规模还没有大面积铺开,硬件成本还是比较高的,一方面需要做好整体方案规划,合理选型、布局,另一方面,也要不断优化算法,提高系统的鲁棒性,使用相对低成本的传感器,虽精度稍差,但在可控范围内,以节约成本。随着整个行业的发展,相信会有更多选择、性价比高的传感器硬件产品出现。

原文链接:
无人驾驶传感器:一文详解无人驾驶中的各种感知传感器  第3张

无人驾驶传感器:自动驾驶汽车上面有哪些传感器?

分三个方面详细聊聊。
首先是谷歌汽车
最主要的传感器就是位于车顶的激光扫描仪,其次是摄像头、雷达、车身位置和惯性等传感器。
大部分人对无人驾驶汽车的印象就是一般这种车辆脑袋上都会顶一个旋转的球。比如Google的无人驾驶试验车和量产车(如下照片所示)。
这个旋转的球其实就是3D激光扫描仪。目前3D激光扫描仪仍然是公认可以比较精确可靠描绘周边三维环境的仪器。因此广泛应用于军工和工程机械上。但同时3D激光扫描仪的成本也是很高的。Google无人驾驶试验车所用的普锐斯汽车在美国售价低于3万美元。其搭载的各种测量设备则价值15万美元。而测量设备中3D激光扫描仪就占到了近一半的成本。其搭载来自美国硅谷Velodyne公司的第一代64波束产品价值7万美元。尽管Velodyne公司推出了一系列产品,包括新的32波束和16波束的版本,但最低的价格仍需要近8千美元(如图为Velodyne的64、32、16波束产品)。
作者:辣笔小星
链接:无人驾驶汽车应该长啥样? - 辣笔小星 - 知乎专栏
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
其次是奥迪Autopilot自动驾驶概念车
作者:辣笔小星
链接:帮助奥迪自动驾驶技术入华的小伙伴们 - 辣笔小星 - 知乎专栏
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
奥迪自动驾驶汽车拥有众多传感器包括12个超声波传感器、4个高清俯视鱼眼摄像头、1个高清3D摄像头、1个红外线夜视摄像头、4个雷达传感器和1个激光扫描器全面而完整的监测汽车四周的环境。这些传感器的位置大家可以依次参照下面的照片。
要去融合那么多传感器的信号势必需要一个非常强大的“大脑”。在过去人们能想到的最直接的方法就是使用强大的工控计算机来实现实时控制。比如如下的照片奥迪自动驾驶测试车后备箱所堆的满满一后备箱的设备。
但这些工控计算机又占空间又笨重,奥迪就开始了更小巧的控制系统开发。而这个更小巧的控制系统就是奥迪的中央驾驶辅助控制器zFAS系统。zFAS就是德语zentralesFahrerassistenzsteuerger?t或者英语central driver assistancecontroller的缩写。经历了数代的开发以后zFAS系统已经变得非常小巧并且可以安装于车辆后备箱的一个角落里了。如下即是第一代及第二代zFAS模块的照片以及安装于后备箱角落的实际效果图。
根据它的构架该模块由前方图像处理单元(front image processing)、全景图像处理单元(surround image processing)、传感器融合主控单元(sensorfusion host)和应用主控单元(application host)四部分组成。各部分的位置如下照片所示。
如果大家仔细看第一和第二代zFAS模块照片的话会发现TTTech的logo。zFAS模块是由一家名为TTTech的公司开发的。你可能认为这只是一家名不见经传的软件算法开发小公司。那我只能说你有点小看他了。TTTech是一家总部位于奥地利的机器人技术公司,它和维也纳科技大学有非常深的渊源。提到TTTech这家公司就不得不说一下确定性以太网(DETERMINISTICETHERNET)。如果你对这个名词很陌生那一点不奇怪,因为这是一种专门服务于高实时性要求过程控制的网络,很少用于普通民用。TTTech公司主导开发的确定性以太网被正式命名为TTEthernet(时间触发以太网Time-TriggeredEthernet)。SAE国际自动机工程师学会为其制定了行业标准AS6802,并且该网络被规范定义进了IEEE802.1协议(家用WIFI使用的是IEEE802.11协议)。那么TTTech公司在自动控制方面有什么成功案例呢?早在2009年TTTech的自动控制系统及确定性以太网就被应用在了波音最新一代的波音787梦幻客机787Dreamliner。并且在2013年波音787完成了试飞并开始正式投入商业运营。同在2013年TTTech的确定性以太网技术被应用到了美国航空航天管理局NASA新一代的载人航天计划猎户座多用途载人航天器OrionMPCV(Orion Multi-Purpose Crew Vehicle)当中。猎户座航天器是NASA计划开发的最新一代载人航天器,用于替代航天飞机执行运送航天员进入国际空间站的任务。其一次可以携带6名航天员进入国际空间站。并且它远期还将承担美国重返月球和登陆火星的计划。该航天器被设计成可以一次运送4名航天员往返月球,其最大载荷能力甚至相对于原来阿波罗登月返回舱的总重量。远期为了登陆火星,猎户座航天器还可能改用甲烷推进燃料,而火星拥有相当大的甲烷储量。所以猎户座航天器可谓是美国航天计划的重中之重。2014年12月底搭载着TTTech确定性以太网技术的猎户座航天器成功完成了第一次耗时4个半小时的发射返回试验,初步证明了其出色的可靠性。因此奥迪自动驾驶技术并不是使用普通的以太网技术连接众多的传感器,而是使用了TTTech的确定性以太网技术来保证其实时性和可靠性。可以说奥迪自动驾驶某种程度上在使用现代民航飞机甚至航天飞船使用的自动驾驶技术。如下是南方航空的波音787和波音787机舱内部的抬头显示系统照片,以及猎户座航天器的发射测试准备照片。
其实不仅TTTech是成就奥迪自动驾驶“大脑”zFAS系统的大功臣,NVIDIA也正在帮助奥迪大幅缩小zFAS系统的尺寸。可能大家对于NVIDIA的了解还主要来自于NVIDIA的显卡。其实NVIDIA在移动处理器方面有非常大的投入。NVIDIA最新的一代移动图形处理器Terga K1帮助奥迪自动驾驶zFAS模块缩小到只有一个饭盒大小的尺寸。而性能反而比上一代更加强大。这一切都源自于Terga K1内部包含的192个显示处理核心强大的图形处理能力。如下就是装载了NVIDIATerga K1处理器的最新一代奥迪自动驾驶zFAS模块照片。
最后聊聊特斯拉Model S
特斯拉自动驾驶系统Autopilot的感知传感器如上图主要由12个长距离超声波距离传感器Ultrasonic Sensors、1个长距离雷达Radar和1个前向摄像头Forward-facing camera组成。可以实现自动巡航,自动变道和紧急刹车功能。
紧急刹车功能的关键传感器如上图所示,左侧为位于车辆内后视镜中集成的前向摄像头,右侧为车辆前保险杠中下部装配的长距离雷达Radar。
作者:辣笔小星
链接:特斯拉与ME分手为了不止眼前的苟且 - 辣笔小星的文章 - 知乎专栏
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
无人驾驶汽车的传感器系统
无人驾驶汽车的实现需要大量的科学技术支持,其中最重要的就是大量的传感器定位。核心技术是包括高精度地图、定位、感知、智能决策与控制等各个模块。其中有几个关键的技术模块,包含精确GPS定位及导航、动态传感避障系统、机械视觉三大部分,其他的如只能行为规划等不属于传感器范畴,属于算法方面,不做过多设计。
无人驾驶的精确GPS定位及导航
无人驾驶汽车对GPS定位精度、抗干扰性提出了新的要求。在无人驾驶时GPS导航系统要不间断的对无人车进行定位。在这个过程之中,无人驾驶汽车的GPS导航系统要求GPS定位误差不超过一个车身宽度。 无人驾驶汽车面临的另一个问题面临的另一个挑战,是需要确保他们又完美的导航功能,实现导航的主要技术是现在生活中已经使用非常广泛的GPS技术。由于GPS无积累误差、自动化测量的特点,因此十分适合用于无人驾驶汽车的导航定位。
为了大幅提高GPS测量技术的精度,无人驾驶系统采用位置差分GPS测量技术。相较于传统的GPS技术,差分GPS技术会在一个观测站对两个目标的观测量、两个观测站对一个目标的观测量或者一个测站对一个目标的两次测量之间求差,目的在于消去公共误差源,包括电离层和对流层效应等。 位置差分原理是一种最简单的差分方法,任何一种GPS接收机均可改装和组成这种差分系统。 安装在基准站上的GPS接收机观测4颗卫星后便可进行三维定位,解算出基准站的坐标。由于存在着轨道误差、时钟误差、SA影响、大气影响、多径效应以及其他误差,解算出的坐标与基准站的已知坐标是不一样的,存在误差。基准站利用数据链将此改正数发送出去,由用户站接收,并且对其解算的用户站坐标进行改正。 最后得到的改正后的用户坐标已消去了基准站和用户站的共同误差,例如卫星轨道误差、 SA影响、大气影响等,提高了定位精度。以上先决条件是基准站和用户站观测同一组卫星的情况。位置差分法适用于用户与基准站间距离在100km以内的情况。高精度的汽车车身定位是无人驾驶汽车行驶的先决条件,以现有的技术,利用差分GPS技术可以完成无人驾驶汽车的精确定位,基本满足需求。
动态传感避障系统
无人驾驶汽车作为一种陆地轮式机器人,既与普通机器人有着很大的相似性,又存在着很大的不同。首先它作为汽车需保证乘员乘坐的舒适性和安全性,这就要求对其行驶方向和速度的控制更加严格;另外,它的体积较大,特别是在复杂拥挤的交通环境下,要想能够顺利行驶,对周围障碍物的动态信息获取就有着很高的要求。国内外很多无人驾驶汽车研究团队都是通过分析激光传感器数据进行动态障碍物的检测。斯坦福大学的自主车“Junior”利用激光传感器对跟踪目标的运动几何特征建模,然后用贝叶斯滤波器分别更新每个目标的状态;卡耐基 · 梅隆大学的 “BOSS”从激光传感器数据中提取障碍物特征,通过关联不同时刻的激光传感器数据对动态障碍物进行检测跟踪。
在实际应用中,三维激光传感器因为数据处理工作量较大,存在一个比较小的延时,这在一定程度上降低了无人驾驶汽车对动态障碍物的反应能力,特别是无人驾驶汽车前方区域的运动障碍物,对其安全行驶构成了很大的威胁;而普通的四线激光传感器虽然数据处理速度较快,但是探测范围较小,一般在 100°~ 120°之间;另外,单个的传感器在室外复杂环境中也存在着检测准确率不高的现象。
针对这些问题,本文提出一种利用多激光传感器进行动态障碍物检测的方法,采用 3 维激光传感器对无人驾驶汽车周围的障碍物进行检测跟踪,利用卡尔曼滤波器对障碍物的运动状态进行跟踪与预测,对于无人驾驶汽车前方准确性要求较高的扇形区域,采用置信距离理论融合四线激光传感器数据来确定障碍物的运动信息,提高了障碍物运动状态的检测准确率,最终在栅格图上不仅对无人驾驶汽车周围的动、静态障碍物进行区别标示,而且还根据融合结果对动态障碍物的位置进行了延时修正,来消除传感器处理数据延时所带来的位置偏差。
首先对Veloadyne数据进行栅格化处理得到一张障碍物占用栅格图,对不同时刻的栅格图进行聚类跟踪可以获取障碍物的动态信息,将动态的障碍物从栅格图中删除并存储在动态障碍物列表中,这个删除了动态障碍物占用信息的栅格图也就是一张静态障碍物栅格图,然后将动态障碍物列表中的动态障碍物信息和Ibeo获取的无人驾驶汽车前方区域内的动态障碍物信息进行同步融合得到一个新的动态障碍物列表,最后将这个新的列表中的动态障碍物合并到静态障碍物栅格图中得到一张动静态障碍物区别标示的栅格图。障碍物检测模块是通过分析处理各种激光雷达返回的数据,将这些激光雷达数据进行栅格化处理,投影到512*512的栅格地图中,从而实现对环境中障碍物的检测。最终,多传感器信息融合与环境建模模块则是将不同传感器获取的环境信息进行融合、建立道路模型并最终用栅格地图进行表示,这些环境信息包括:标识信息、路面信息、障碍物信息以及定位信息等。
最后,对获得的环境信息信号进行处理,得到一张动态的标志了障碍物的栅格图,从而达到避障的效果,采用融合 Velodyne 和 Ibeo 信息得到运动目标状态的方式相比于只用 Velodyne 处理结果的方式,检测结果的准确率和稳定性都得到了较大的提升。
机械视觉机构
机械视觉也可以称作为环境感知,是无人驾驶汽车最重要也是最复杂的一部分。无人驾驶车辆的环境感知层的任务是针对不同的交通环境,对传感器进行合理的配置、融合不同传感器获取的环境信息、对复杂的道路环境建立模型。无人驾驶系统的环境感知层分为交通标志识别、车道线的检测与识别、车辆检测、道路路沿的检测、障碍物检测以及多传感器信息融合与环境建模等模块。
传感器探测环境信息,只是将探测的物理量进行了有序排列与存储。此时计算机并不知道这些数据映射到真实环境中是什么物理含义。因此需要通过适当的算法从探测得到的数据中挖掘出我们关注的数据并赋予物理含义,从而达到感知环境的目的。
比如我们在驾驶车辆时眼睛看前方,可以从环境中分辨出我们当前行驶的车道线。若要让机器获取车道线信息,需要摄像头获取环境影像,影像本身并不具备映射到真实环境中的物理含义,此时需要通过算法从该影像中找到能映射到真实车道线的影像部分,赋予其车道线含义。
自动驾驶车辆感知环境的传感器繁多,常用的有:摄像头、激光扫描仪、毫米波雷达以及超声波雷达等。
针对不同的传感器,采用的感知算法会有所区别,跟传感器感知环境的机理是有关系的。每一种传感器感知环境的能力和受环境的影响也各不相同。比如摄像头在物体识别方面有优势,但是距离信息比较欠缺,基于它的识别算法受天气、光线影响也非常明显。激光扫描仪及毫米波雷达,能精确测得物体的距离,但是在识别物体方面远弱于摄像头。同一种传感器因其规格参数不一样,也会呈现不同的特性。为了发挥各自传感器的优势,弥补它们的不足,传感器信息融合是未来的趋势。事实上,已经有零部件供应商做过此事,比如德尔福开发的摄像头与毫米波雷达组合感知模块已应用到量产车上。因此本系统设计将多个感知模块结合去识别各种环境实物。
L
我来回答一个吧。车应用在汽车无人驾驶里面的定位技术的传感器-IMU。这个传感器是无人驾驶里面定位技术的一个关键传感器,主要应用于GPS/DR组合定位系统。
车辆航位推算(Dead Reckoning,DR)方法是一种常用的自主式车辆定位技术。相对于GPS系统,它不用发射接收信号,不受电磁波影响,机动灵活,只要车辆能达到的地方都能定位。但是由于这种定位方法的误差随时间推移而发散,所以只能在短时间内获得较高的精度,不宜长时间单独使用。DR是利用车辆某一时刻的位置,根据航向和速度信息,推算得到当前时刻的位置,即根据实测的汽车行驶距离和航向计算其位置和行驶轨迹.它一般不受外界环境影响,所以单独工作时不能长时间保持高精度。为了弥补DR系统的短板,可以将GPS与DR进行组合使用。
在航位推算所需的机载传感器中,由加速度传感器和陀螺仪传感器组成的运动传感器尤为重要。由于弯道、坡度和车道变化等因素的影响,车辆行进方向和朝向也会不时发生变化;加速度传感器和陀螺仪传感器可以检测到这些车辆行进方向和朝向的变化。TDK 的 IAM-HP 是一款车内 6 轴运动传感器,它利用 MEMS 制造技术将 3 轴加速度传感器与 3 轴陀螺仪传感器封装在一起。产品运行温度范围从-40℃到+105℃,目前已售出的大量设备足以证明其卓越品质,且产品在世界各地均获得极高评价。
新开发的Coursa Drive软件支持自动驾驶车辆的高精度惯性定位。它不仅能以较高精度测量及维护车辆位置,甚至能够协助在GPS信号范围之外及信号中断的环境中(例如隧道、地下停车场和多个建筑物之间的“城市峡谷”)进行自动驾驶。TDK通过将运动传感器与 Coursa Drive 相结合的传感器融合技术,在航位推算技术方面取得了显著进展。
参考信源:
自动驾驶软件经理一枚,自动驾驶的传感器的种类很多。我做过一个专栏系列可以看下如下的汇总文章。特别用古代戚继光的鸳鸯陈来比喻传感器,方便大家理解。
殷玮:传感器攻防战-一文汇总自动驾驶的那些传感器
如果大家对于单个传感器希望深入了解,可以看如下清单
IMU核心是为其他传感器提供感知间隙和失效情况下的空间位置偏移量(车转了多少度,走了多少米)方便进行感知的时间同步和步长
殷玮:传感器攻防战-惯导IMU
GPS专门服务于地图和V2X,为这些“绝对位置数据”提供必需的绝对定位信号,从而获得车周围超感知方位的动静态环境信息
殷玮:传感器攻防战-GPS
殷玮:传感器攻防战-高精度地图引擎
殷玮:传感器攻防战-TBOX(5G/C-V2X)车联网传感器
超声波雷达是目前量产车的标配,低廉的成本以及近场范围的测距能力,在L2级别泊车应用中广泛使用,并在L2.5的Pilot应用中换发新的活力(超声波的还没有做,陈光大佬 @陈光 的这篇讲的很详细了)
陈光:无人驾驶技术入门(八)| 被严重低估的传感器超声波雷达
视觉是一种泛用性好,信息含量最多的传感器,是环境感知信息的主要来源,难点主要是通过机器视觉或者深度学习技术获得图像当中的语义信号
殷玮:传感器攻防战-摄像头(1)
毫米波是一种支援传感器,信息含量不大,但是在各种环境下对车辆等动态物体的距离和相对速度感知较为准确,是支撑安全类应用的主流传感器
殷玮:传感器攻防战-毫米波雷达
激光雷达的分辨率和距离感知精度都很高,分辨率和信息含量仅次于图像,相对处理难度也比相机低一些,唯一的问题是目前成本和寿命仍然不能完全满足量产的要求
殷玮:传感器攻防战-激光雷达(1)
以上,如果你也对自动驾驶技术感兴趣,欢迎关注我
自动驾驶中的传感器主要有camera、Lidar、Radar、IMU、超声波雷达等等吧,现在的技术栈越来越依靠多个传感器数据融合,从而解决算法性能不稳定的问题。
介绍下多传感器标定融合内容:这是是一项结合多传感器数据的综合性前沿内容,主要包括Camera、激光雷达、IMU、毫米波雷达等传感器的融合,在自动驾驶、移动机器人的感知和定位领域中占有非常重要的地位;随着AI技术的大规模落地,图森、百度、滴滴、Waymo、Momenta、华为、纵目科技、智加科技、赢彻科技、小鹏、蔚来、魔视智能等公司开始逐渐落地自己的L2~L4等级的辅助/自动驾驶产品,从自动泊车、车道保持、行人障碍物预警、定位、测距、跟踪等多个任务都离不开多传感器融合,前视相机、鱼眼相机、毫米波雷达、激光雷达、IMU等传感器一起工作,鲁棒性、准确度都高于单一传感器,因此被多种方案采用,相关技术更是受到重点关注;
然而,由于门槛较高,无论是高校还是企业,针对自动驾驶感知融合方面的相关课程少之又少,令许多对该行业感兴趣的童鞋无从下手,而这也正是工坊推出该课程的初衷,希望通过自己的一些工程项目经验帮助大家进入喜欢的行业。《自动驾驶中的多传感器数据融合》课程主要分两个大模块:理论篇和实战篇,由两位知名自动驾驶公司算法人员教授。理论篇部分主要介绍自动驾驶中常用的传感器硬件、传感器间的时间同步和空间同步以及多传感器间的信息融合理论知识;实战篇更多偏向工程应用,工程中传感器间同步与融合如何实现等,课程大纲如下:
课程链接:激光雷达+相机+毫米波雷达+IMU之间的标定融合
更多课程介绍

您可能感兴趣的文章

本文地址:https://www.ceomba.cn/3352.html
文章标签: ,   ,  
版权声明:本文为原创文章,版权归 ceomba 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!