ar传感器:ARKit之路-LiDAR传感器(一)

2021/11/04 14:55 · 传感器知识资讯 ·  · ar传感器:ARKit之路-LiDAR传感器(一)已关闭评论
摘要:

ar传感器:ARKit之路-LiDAR传感器(一)版权声明:Davidwang原创文章,严禁用于任何商业途径,授权后方可转载。第4代iPadPro和iPhone12高端机型中新增了LiDAR(LightDetectionAndRanging,激光探测与测距)传感器,该传感器的加入让移动设备获得了对物理环境的实时重建能力,因此

ar传感器:ARKit之路-LiDAR传感器(一)  第1张

ar传感器:ARKit之路-LiDAR传感器(一)

版权声明:Davidwang原创文章,严禁用于任何商业途径,授权后方可转载。

第4代iPad Pro和iPhone12高端机型中新增了LiDAR(Light Detection And Ranging,激光探测与测距)传感器,该传感器的加入让移动设备获得了对物理环境的实时重建能力,因此可以实现诸如环境遮挡、虚实物理交互等利用单目或者双目计算机视觉扫描很难实现的效果,还可以有效弥补计算机视觉对弱纹理表面识别能力差的缺点,轻松实现对白墙、反光等物理表面的深度信息采集。

LiDAR工作原理与RADAR(Radio Detection And Ranging,雷达)相似,在工作时,LiDAR向空中发射激光脉冲,这些脉冲一部分会在接触物体后被物体吸收,而另一部分则会被反射,反射的激光被接收器捕获,利用发送与接收信号的时间差即可计算出距离。

通过使用LiDAR,ARKit可以快速获取到用户面前物理世界的深度(距离)信息,也即ARKit不需要移动就可以快速获取到物理世界物体表面的形状信息。利用LiDAR获取到的深度信息(一个一个离散的深度点),ARKit就可以将这一系列的表面点转换成几何网格。为更好的区分物体属性,ARKit并不会将所有表面点转换成一个几何网格,而是按照ARKit所理解的物体属性(门、窗、地板、天花板等)划分到不同的几何网格中,每一个几何网格使用一个ARMeshAnchor进行锚定。因此,ARKit重建的三维环境包含很多ARMeshAnchor,这些ARMeshAnchor也描述了用户所在物理环境的性质。

LiDAR精度很高,因此,ARKit对物理环境的重建精度也很高,包括物体中间的空洞、锐利的尖角等都可以被检测到。LiDAR速度很快,因此,ARKit对物理环境的重建速度也可以达到毫秒级水平,对物体表面、平面的检测也非常快,而且不再要求用户移动设备进行环境感知。

对开发者而言,更重要的是我们并不需要关心LiDAR的具体细节,ARKit进行了良好的处理,就像不需要了解运动传感器的具体细节一样,在开发应用时对底层硬件是无感知的,所有的API均未发生变化。

(一)、场景几何
在ARKit中,通过将LiDAR采集到的物理环境深度信息转化为几何网格,就可以对物理环境进行三维重建,生成的环境网格数据,这被称为场景几何数据(Scene Geometry),如下图所示。

在上图中,左图为物理世界中的物体,中图为通过LiDAR建的物体表面几何网格,右图为实物与数字几何网格叠加示意图。通过上图我们可以看到,ARKit使用术语“场景几何”相比“场景模型”描述更精确,在AR中,用户探索物理环境时获取到的只是物体可见面表面几何信息,物体背面几何信息无法获取到,因此,并没有建立场景的完整三维模型。

利用场景几何数据,ARKit还通过深度学习对现实世界中的物体进行分类,目前共支持8种对象分类,由ARMeshClassification枚举描述,如下表所示。

枚举项描述noneARKit未能识别的分类wall现实世界中的墙或类似的垂直平面floor现实世界中的地面或类似的水平平面ceiling现实世界中的屋顶水平面或者类似的比用户设备高的水平平面table现实世界中的桌面或者类似的水平平面seat现实世界中的椅面或者类似水平页面door现实世界中的各类门或者类似垂直平面window现实世界中的各类窗或者类似垂直平面
在ARKit中,每一个对象分类都使用一个ARMeshAnchor进行锚定,可以通过ARMeshAnchor的geometry属性获取到其关联的表面几何网格信息。ARMeshAnchor会随着ARKit对环境的理解加深不断的更新其关联的数据,包括表面几何网格信息,因此,当物理环境发生变化时(如一张椅子被移走),ARMeshAnchor会捕捉到相关信息并更新表面几何网格信息来反映该变化,但需要注意的是,ARMeshAnchor会自主决定在适当的时机进行更新,所以这个更新并不是实时的。

Geometry属性为ARMeshGeometry类型,几何网格数据被存储在该类的数组中。从LiDAR采集的深度信息为离散点,ARKit以这些离散点作为几何网格的顶点,每3个顶点构建成一个面(face),每一个面都包括一个外向的法向和一个其所属的分类信息(Classification信息,如果ARKit未能成功分类,那么该值为0,表示ARMeshClassification.none)。因此,通过geometry可以获取到ARMeshAnchor所关联的所有几何网格顶点、法向、分类等信息。

利用场景几何数据就可以轻松的实现诸如虚实遮挡、虚实物理交互功能,甚至可以利用虚拟光源着色物理环境表面。

获取场景几何数据需要在ARWorldTrackingConfiguration中设置重建类型,典型的代码如下代码所示。

上述代码首先判断设备是否支持场景重建,只有配备了LiDAR的设备才支持场景重建功能,supportsSceneReconstruction()方法接受一个ARConfiguration.SceneReconstruction结构类型参数,用于描述重建类型,ARConfiguration.SceneReconstruction结构包含两个属性,如下表所示。

选项描述mesh重建物理环境表面几何网格meshWithClassification重建物理环境表面几何网格,并根据物体的网格属性进行分类
当设备支持指定类型的场景重建后,设置ARWorldTrackingConfiguration中sceneReconstruction属性为指定类型参数后即可开启场景重建功能。这里需要注意的是,如果ARView.automaticallyConfigureSession=true时,ARKit默认会禁止网格物体分类,使用网格分类时需要设置该值为false,并手动设置场景重建类型为meshWithClassification。

开启场景重建功能后,用户并不能看到重建后的网格信息(在实际AR应用中,用户也不必要看见重建后的几何网格),在调试时,可以通过arView.debugOptions.insert(.showSceneUnderstanding)语句渲染重建后的网格。

在开启场景重建功能后,ARKit会根据检测到的物理环境表面深度信息及分类信息生成ARMeshAnchors,与所有其他类型ARAnchor一样,我们可以通过ARSessionDelegate协议中的session(:didAdd:)、session(:didUpdate:)、session(:didRemove:)方法对ARMeshAnchors变化情况进行相应处理。

如果需要重置场景重建功能,需要在重置ARSession运行时传入.resetSceneReconstruction选项,执行语句类似如arView.session.run(config, options: [.resetSceneReconstruction])。

在开启场景重建时,ARKit可以采集到物理环境中物体表面精确的几何网格信息,这些网格信息可以高精度的反映物体表面的形状,包括凸包、凹洞、裂缝等信息,因此这些表面网格可能并不平整。当同时开启平面检测时,如上述代码所示,ARKit在重建场景时会考虑到平面检测需要,一些物体表面网格会被展平以方便放置虚拟物体。这样处理的原因是,如果物体表面凸凹不平,放置虚拟物体后,当移动虚拟物体时,虚拟物体会出现上下颠簸的现象,这在很多情况下并不符合现实规律。
ar传感器:ARKit之路-LiDAR传感器(一)  第2张

ar传感器:ARKit之路-LiDAR传感器(二)

版权声明:Davidwang原创文章,严禁用于任何商业途径,授权后方可转载。

(二)、虚拟物体放置
相对使用视觉SLAM技术恢复场景,LiDAR检测物理环境非常快速和准确,包括平面检测,对弱纹理表面也同样高效,并且不需要使用者移动设备进行环境扫描,因此,AR虚拟物体放置会非常迅速,这对自动放置虚拟物体非常有用,如使用AR Quick Look进行webAR物体展示时,可以大大提高用户的使用体验。在ARKit中,加入LiDAR传感器后,所有这些变化或者提升都自动完成(ARKit透明化了相关底层硬件的处理),完全不需要开发人员介入,无需变更任何代码。

在进行场景重建后,可以使用射线检测功能将虚拟元素放置到场景中物体表面任何位置。射线可以与场景几何网格进行交互,因此,利用场景几何网格可以精确的将虚拟物体放置到物体表面,而不再局限于水平平面、垂直平面,也不再局限于富纹理表面。

使用射线与场景几何网格进行碰撞检测与使用射线与平面进行碰撞检测完全一致,典型射线检测代码如下代码所示。

在上述代码中,利用射线与场景几何网格进行碰撞检测时需要设置allowinig参数为ARRaycastQuery.Target.estimatedPlane,alignment参数为ARRaycastQuery.TargetAlignment.any。在检测到碰撞点之后就可以利用碰撞点姿态信息放置虚拟元素。

(三)、动捕与人形遮挡
由于LiDAR精确的深度检测能力,ARKit对图像中人形捕获的尺寸估计更加准确,利用该尺寸进行的虚拟模型缩放更加贴合实际,同时对人形遮挡也更加准确,虚拟物体与真实人体之间的遮挡更具真实感。在进行场景重建时,如果启用了人形遮挡,ARKit也会自动将场景中的人体从场景重建中剔除(重建的网格不会覆盖到人体上),重建出的场景更正确。
在引入LiDAR后,动捕与人形遮挡精度的提升完全被ARKit透明化处理,开发者无需修改任何代码。

(四)、场景仿真
ARKit利用LiDAR生成精确的场景几何网格后,利用这些网格,就可以实现虚实遮挡、碰撞、物理模拟,甚至可以利用虚拟光源照明真实物体表面。以物理模拟为例,典型的示例代码如下代码所示,在场景几何网格帮助下,虚拟物体就可以与真实环境进行逼真的物理模拟,如虚拟球体从真实地板上弹起、虚拟物体无法穿过真实墙体等等。

通过上述代码可以看到,开启场景几何网格与虚拟物体的物理模拟,我们只需要简单的将physics插入到sceneUnderstanding的options中即可,ARKit会接管所有后续工作,开启碰撞、遮挡与虚拟照明方法与此完全类似。 目前可用的SceneUnderstanding.Options选项如下表所示。

选项描述default默认设置collision开启场景几何网格与虚拟物体的碰撞occlusion开启场景几何网格与虚拟物体的遮挡physics开启场景几何网格与虚拟物体的物理仿真receivesLighting开启利用虚拟光源照明真实物体表面
利用场景几何网格实现的遮挡可以实现真实物体遮挡虚拟物体的功能(如真实的沙发遮挡虚拟的机器人),进一步增强AR的真实感;虚拟光源也可以照明真实物体表面,如放置在桌面的虚拟台灯可以照亮真实的桌面,虚实融合更无痕,沉浸感更强。
ar传感器:ARKit之路-LiDAR传感器(一)  第3张

ar传感器:Vayyar RF 传感器不到10秒即可检测新冠症状,已落地以色列海军医疗

原标题:Vayyar RF 传感器不到10秒即可检测新冠症状,已落地以色列海军医疗

via bioworld

Covid-19 的肆虐,使得体温检测仪成为各国不可或缺的重要防治工具。在以色列,耀途资本所投资的 4D 雷达成像技术全球领导者 Vayyar 和 Meditemi 合作开发了一款可用于新冠早期症状风险检测的机器人,在近期与以色列国防部和卫生部达成合作,进入以色列海军医疗机构和以色列其他多所医院。

机器人医疗保健解决方案提供商 Meditemi 负责生产机器人,Vayyar 则提供 4D 智能射频(RF)传感器,利用专有的 4D 点云 VOXEL 成像技术来显示人员的尺寸,位置,呼吸模式和移动。两者结合,能够快速、可靠地筛查和监控新冠早期症状。

介绍视频截图

RF 传感器覆盖 3-81GHz 的成像和雷达波段,每个芯片最多集成 72 个收发器。当行人走到机器一米范围内时,机器人会进行快速、无接触的扫描,10 秒内即可获取心率(BPM)、呼吸频率(RPM)、波形和体温等数据并加以分析,然后将这些关键的生命体征和 Covid-19 感染风险展示在机器的仪表盘上。仪表盘屏幕会呈现不同的绿色或者橙色、红色,分别意味着可以进入、再做一次测试、需要进行更彻底的检查。

据了解,该款机器人可以放置在不同的地方,比如商业、家庭、公共交通(机场、火车站、公共汽车等)、医院、展会、边境口岸及其他任何公共入口。它适合户外使用,它可以不受视线、光线、天气条件的影响在任何环境条件下工作。

Meditemi 的首席执行官 Rafael Aviram 表示,Meditemi 机器人加上 Vayyar 的传感器,能够让医务人员在不接触或者不靠近患者的情况下提供治疗和建议,以降低医务人员感染的风险。

via hospimedica

除了检测新冠,具备远程监控功能的机器人还适用于家庭和老年人护理机构。在人口老龄化已经成为全球各国不可忽视的挑战的同时,护理机构和医院却面临着较严重的人员短缺问题,因此智能护理机器人应运而生。

将护理机器人安置在老年人的住所后,它会通过分析被看护者的日常行为模式来监测健康异常的状况,仪表板会实时更新用户状况,家人和看护人员也可以通过手机了解。如果 Vayyar 传感器检测到老人的健康异常或者跌倒情况,会立即通过网络电话联系看护人员。

Vayyar Home 总经理 Ofer Familier 表示:“我们很高兴与以色列国防部和卫生部达成合作,我们与 Meditemi 提供的解决方案,不仅加快了人们重返工作岗位的步伐,还能帮助我们看顾在家中的父母和祖父母。”

值得一提的是,该解决方案或许还能规避潜在的隐私问题。与许多数字化解决方案不同,机器人搭载的 Vayyar 传感器是无线波通信,不需要用到任何摄像头,所以它适用于商业或家庭等注重隐私的场景,甚至也可以用于卧室、浴室等场景以监控是否有跌倒的情况。

事实上,医疗行业就是 Vayyar 的起家行业,Vayyar 成立于2011年,最初公司的 3D 雷达成像技术是作为乳腺癌 X 线摄影检测的替代技术 。而自 2015 年该公司全球发布以来,公司不断延伸技术应用领域,包括汽车、零售、机器人和智能家居,在智能座舱监控领域已经获得法雷奥、博泽、佛吉亚等多家汽车制造商 Tier1(一级供应商)的认证。

2020年1月,Vayyar 发布全球首款 60GHz 汽车级 MIMO 片上雷达(ROC),该解决方案在做到高分辨率、高性能、低成本的情况下,使得汽车能够满足全球欧洲标准(EU NCAP)和美国标准(US Hot-Car)的要求。

3D 传感器是耀途资本团队在物联网底层技术领域重点布局的方向之一。2017年8月,耀途资本参与了 Vayyar 的 B 轮融资,2019年11月,Vayyar 完成了由 Koch Disruptive Technologies 领投的 1.09 亿美元 D 轮融资。

参考文献:

返回搜狐,查看更多

责任编辑:

ar传感器:双跨的徐工汉云,工业互联网的「造物主」

根据HIS Markit机构2018年对ToF传感器市场份额的预测,2020年ToF传感器在智能手机领域的市场份额将达到大约6.2亿美元。随着ToF应用场景的增多,从2021年到2022年,ToF传感器在智能手机的份额将从6.8亿美元下降到6.3亿美元,但智能手机市场仍然占据最大版图。
为何ToF技术在手机领域如此受欢迎?除了智能手机,ToF技术是否还有更多应用潜力,与3D感知紧密结合的AR和VR是否会成为ToF发展的新风口呢?
智能手机的ToF,从检测走向感知
想要解答ToF技术为何在手机领域如此受欢迎,就要先了解ToF技术在手机上应用有哪些。
炬佑智能创始人兼CEO刘洋在接受雷锋网采访时表示,ToF在智能手机上的应用有主要有三个,一是包括人脸识别在内的活体识别,能够帮助改进支付方式;二是手机摄影优化,特别是能够通过更精准地判断景深程度提升整个照片的效果;三是伴随VR和AR的发展,具有良好感知能力的ToF能够帮助手机提供相应的深度信息。
ToF技术面向智能手机的应用已经发展一段时间。早在2014年,ToF技术就用在智能手机前置距离传感器上,通过发射端主动发出光子,遇到障碍物时返回至接收端接收,主要应用于单点的光学测距,即主要在自动对焦、接近检测等方面发挥作用。
直到2017年,iPhone X前置结构光模组开启了3D成像时代,其他手机厂商争相追逐,应用于3D感知的ToF产业链得以发展。根据刘洋的介绍,作为产业链的一环,炬佑智能基本上同国外一些做体外3D感知的公司同时发展,如今已经发展成一家在ToF芯片、产品和系统都可以量产落地的公司,提供智能传感产品和解决方案。逐渐完善的产业链让ToF技术的应用打破接近测距的局限,过渡到3D感知。
事实上,3D成像和传感器模组包括ToF、双目测距和结构光三种关键技术。双目测距是模仿人眼的2个2D传感器组合在一起,需要两个以上的摄像头,软件复杂度高且精度好,但速度慢几乎不用于消费电子领域。
iPhone X所推出的结构光技术通过红外光将大约3万个点阵投射到物体上,用数量庞大的点阵得到物体的深度信息,精度高但有效距离有限,因此适合手机刷脸支付。
而ToF技术通过光源的飞行时间测量深度信息,软件集成度更低且速度更快,比结构光的材料成本低,尽管其精度逊与结构光,但也能够满足人脸识别所需要的精度,高速度和低价格使其广受手机厂商的欢迎。
“从长远来看,相比于其他支持3D感知的核心技术而言,ToF技术的性价比更高。”刘洋说道。这就意味着,ToF技术的应用不局限于景深,随着3D感知在市场上的发展,ToF将释放出更大的潜力。
从景深到AR和VR,技术难题只是第一步
根据Markets and Markets的数据显示,2019年全球AR市场规模达到107亿美元,预计到2024年将达到727亿美元,复合增长率达46.6%。另外,预计中国AR市场规模在2024年达到59亿美元。
刘洋认为,“在5G时代,AR、VR开始起步,不论是AR、VR应用所需的空间信息,还是三维信息,ToF都是最有效的核心技术,也是AR应用的最佳选择。”雷锋网了解到,对于AR应用,响应速度是关键指标之一,当从人的前庭感到运动到眼睛看到相应图像的时间差超过20ms时,人就会感到晕眩,除去显示和系统计算的时间,摄像头成像时间需要低于10ms。上文提到,在三种关键的3D感知技术中,ToF的速度最快,因此是AR应用的最佳选择。这也意味着,随着AR应用市场规模的增长,核心技术ToF也会随之增长。
不过,面向AR应用,ToF也面临一些技术难题,其中最主要的是AR应用依靠动态的体验,因此需要在高动态的场景下实现ToF 性能。5G时代,ToF技术的功耗控制面临更高的需求。
“多机干扰、多路径干扰、实时显示的高速动态追踪速度等等都是ToF的一些技术难题,但VR、AR的范围很广,需要针对具体的应用去做解决方案。面对这些ToF的技术难题,炬佑智能有很多解决方案,包括芯片级、硬件层面以及软件算法。例如面对多机多路径干扰问题,炬佑智能有自己独特的算法,可以支持上百个机器同时在一个区间得以应用。”刘洋说,针对ToF的技术难题,已经拥有基本的算法和方案,但是需要根据具体的VR、AR应用进一步优化。
在功耗方面,炬佑智能也有intuitive TOF的系统技术,可以根据场景动态控制传感器和发光部分,降低ToF 系统的功耗。
刘洋还提到,ToF的这些技术难题并不是VR和AR发展的瓶颈,相对而言,更难的是VR和AR本身所需的显示技术以及应用场景的开发。
ToF与AR,将在互相匹配中发展
既然ToF是AR、VR的核心技术之一,也没有所谓的“技术瓶颈”,那么AR和VR会成为ToF技术的下一个风口吗?刘洋认为,AR、VR需要3D感知技术,ToF作为最适合实现AR、VR的3D 感知技术必然会随着VR和AR的发展而发展。除此之外,物联网连接、智能家居、机器人等需要3D感知的产品也都是ToF的发展方向。
刘洋还表示,“与其说AR、VR给ToF技术带来发展机遇,不如说两者是互相促进的关系,AR、VR的产品还不完善,尚未形成固定的技术系统,因此针对VR、AR产品的ToF技术在解决技术难题时,也没有固定的解决方案,需要根据具体的场景调整解决方案。例如集成在手机上的ToF 需要同周边的传感器摄像头匹配,更注重拍摄效果,而集成在眼镜里的ToF则更注重定位需求。”
虽然AR、VR的产品尚未成熟,但已有不少ToF技术与其结合落地的案例。在AR方面,率先使用dToF 的iPad Pro还能够用来进行AR测量、AR游戏与AR装修设计。刘洋表示,在炬佑智能的合作厂商中,已有厂商做出3D平板,通过跟踪人的头部范围,做出相应的改变。另外在VR方面,也已有实现VR的眼镜和头盔,通过计算周边的景深数据确定方位。
另外,需要注意的是,由于VR通常是在封闭的虚拟空间中进行的,AR并不要求封闭的空间,而是将虚拟与现实相结合,因此对终端用户而言,后者的应用范围更加广泛。这意味着,相比VR,AR带给ToF 的机遇更大。
雷锋网小结
总的来说,ToF与AR、VR是在互相匹配中发展的,AR和VR有更加光放的应用场景时,相应地,ToF也就有了更多的发展机会。可能当AR和VR的技术系统固定时,就是ToF在VR、AR领域全面爆发之时。
文中图片源自:炬佑智能官网
雷锋网雷锋网雷锋网
举报/反馈

您可能感兴趣的文章

本文地址:https://www.ceomba.cn/1975.html
文章标签: ,  
版权声明:本文为原创文章,版权归 ceomba 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!