首批无人驾驶班车已运行!每天运送约500名乘客 | 赛迪全球科技周报

动态概览科技战略○ 世界知识产权组织发布《2019年全球创新指数报告:创造健康生活——医疗创新的未来》○ 美国国会研究服务部发布《比特币、区块链与能源部门》报告先进制造○ 德国开展研究 ...查看全部

动态概览

科技战略

○ 世界知识产权组织发布《2019年全球创新指数报告:创造健康生活——医疗创新的未来》

○ 美国国会研究服务部发布《比特币、区块链与能源部门》报告

先进制造

○ 德国开展研究推进增材制造技术工业化应用

○ 英国建立首个智能工厂测试平台

人工智能

○ 德国汽车零部件制造商用AI研究应对晕车

○ AI软件比人类更会写广告文案

自动驾驶

○ 纽约首批无人驾驶班车开始运行,预计每天运送500名乘客

○ 日本出台安全标准,计划2020年实现高速公路自动驾驶

科技战略

世界知识产权组织发布《2019年全球创新指数报告:创造健康生活——医疗创新的未来》

报告指出,中国在2019年全球创新能力排行中位列十四,医疗相关专利数量排行第二。此外,报告对生物医疗创新发展提出政策及技术建议,指出未来医疗健康产业有望在基因与干细胞研究、纳米技术、生物制剂、脑神经研究等方面实现重大突破。(资料来源:世界知识产权组织(WIPO)官网)

美国国会研究服务部发布《比特币、区块链与能源部门》报告

报告主要内容包括:比特币挖矿技术介绍;加密货币对能源消耗的影响;国际及美国境内挖矿活动的地域分布;区块链技术促进能源行业发展的新机遇;对国会解决加密货币能源消耗问题的建议等。报告指出,加密货币及底层区块链技术的普及为能源部门带来新的挑战与机遇,美国政府应积极制定相关政策加以应对。(资料来源:美国国会研究服务部(CRS)官网)

先进制造

德国开展研究推进增材制造技术工业化应用

德国联邦教育与研究部正在开展一项名为数字工程与增材制造工业化(IDEA)的项目,旨在联合产业和学术界,持续推进增材制造的工业化和自动化。该项目从产品设计到成品生产的整个工艺链中划分出11项主要工作,并制定了相应的开发、链接、验证以及优化子目标。IDEA项目成员希望利用数字孪生技术将增材制造过程中的各个工艺环节连接集成,并通过数字化生产运作管理手段,将产品生产研发周期成本降低50%,实现增材制造的工业化应用。(资料来源:国防科技信息网)

英国建立首个智能工厂测试平台

谢菲尔德大学先进制造研究中心推出英国第一个研发型智能工厂测试平台。该测试平台具备基于人工智能的视觉检测技术、来自远程加工活动的实时数据流、可重构制造单元技术及利用智能工作平台和增强现实的智能装配等技术能力。英国商务、能源与工业战略部部长雷格•克拉克表示,数字化技术能力提升是英国政府正在实施的现代化“工业战略”和“Made Smarter”计划的核心。该平台将为英国制造业开发数字解决方案,提高生产质量和效率,其总体目标是将工业生产效率提升50%、缺陷减少30%、产品交付周期缩短50%以上。(资料来源:国防科技信息网)

人工智能

德国汽车零部件制造商用AI研究应对晕车

德国汽车零部件制造商采埃孚正在与德国的神经技术专家合作,开发能够及早发现乘客晕车的技术。这种技术也可以应用于自动驾驶汽车开发,理论上可以存储每位乘客的首选驾驶风格。研究人员为测试对象配备传感器,将其放入装载传感器的车辆中,然后检查参与者在各种驾驶情况下的反应,进而分析了与晕车最相关的生理指标以及与车辆行驶动力学的关系。(资料来源:caradvice网站)

AI软件比人类更会写广告文案

摩根大通近日与软件初创公司 Persado 签署了一项为期五年的协议,该软件创业公司使用人工智能编写营销副本,并成功试用了该技术。摩根大通在测试中发现,以点击率衡量,Persado公司的机器学习工具撰写的信用卡和按揭贷款的数字广告比摩根大通自己的写手更出色——在某些案例中前者的点击率比后者高出一倍多。(资料来源:参考消息网)

自动驾驶

纽约首批无人驾驶班车开始运行,预计每天运送500名乘客

6辆无人驾驶班车开始在美国纽约市布鲁克林海军造船厂区域提供免费接驳服务,成为纽约市首批无人驾驶班车。这批无人驾驶班车的运营商Optimus Ride预计,这项免费无人驾驶班车服务将在船厂内部道路上每天运送大约500名乘客,每月运 16000名乘客。前期,Optimus Ride将安排两位安全员确保无人驾驶班车的软件正常工作。(资料来源:麻省理工科技评论)

日本出台安全标准,计划2020年实现高速公路自动驾驶

日本通过了《道路运输车辆法》修正案,该法为实现自动驾驶实用化规定了安全标准,为2020年实现3级自动驾驶实用化做准备。日本警察厅随后公布了相关的施行令案,规定了违反自动驾驶安全行驶行为的处罚条例。该法案将于2020年5月起实施。相关企业也在加快技术开发,预计2020年实现高速公路自动驾驶的实用化。(资料来源:日本经济新闻)(来源:赛迪翻译)


博客 gaohong

LV1
2019-08-29 11:23
315

无人驾驶汽车核心技术(报告)(九)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达 ...查看全部

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、
《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。

引言:

无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。


博客 gaohong

LV1
2019-08-27 17:26
329

无人驾驶汽车核心技术(报告)(八)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达 ...查看全部

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、
《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。

引言:

无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。


博客 gaohong

LV1
2019-08-27 17:26
335

无人驾驶汽车核心技术(报告)(七)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达 ...查看全部

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、
《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。

引言:

无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。


1.jpg

2.JPG


3.JPG


4.JPG


7.JPG


8.JPG

博客 gaohong

LV1
2019-08-26 15:08
315

无人驾驶汽车核心技术(报告)(六)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达 ...查看全部

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、
《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。

引言:

无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。

1.jpg


2.JPG


3.JPG


4.JPG


5.jpg


6.jpg


7.JPG


8.JPG

博客 gaohong

LV1
2019-08-26 15:08
326

激光雷达传感器在无人驾驶中的作用及市场趋势

随着科技的发展, ...查看全部

随着科技的发展,时代的进步,无人驾驶技术逐渐兴起,传感器的融合成了无人驾驶领域的趋势。同时无人驾驶的发展热潮,拉动了诸多技术创业者的纷纷涉足。近段时间以来,国内车企关于无人驾驶汽车的研发和测试捷报频传。先是吉利汽车宣布将在2022年亚运举办期间,在特定区域内使用完全无人驾驶的车辆。随后再有报道称,百度宣称其新一代无人巴士车阿波龙二代将很快推出。而就在不久前,百度与中国一汽红旗共同打造的国内首批量产自动驾驶出租车在湖南长沙展开了上路测试。有消息称,长沙市民有望在年底之前率先体验到中国首批自动驾驶出租车。 无疑无人驾驶技术是一种解放人类双手和提高生产力效率的科技创新

 图片1.png

 

本文工釆网小编将着重介绍激光雷达传感器在无人驾驶中的作用及市场趋势

 

无人驾驶的底层支撑可以分为三部分,即:传感器、高精地图和计算平台。在传感器方面,主流的传感器分为:毫米波雷达、激光雷达和摄像头。其作用如下:

 

摄像头:直接识别可见光,价格适中,技术成熟,可以识别行人、车辆、路标等物体,但易受视野、夜晚暗光、雨雪天气等因素影响。

 

激光雷达:探测角度广,精度高,厘米级精度的激光雷达结合高精地图可以实现高精度自定位和物体识别跟踪,定位可以精确到具体车道,但是价格昂贵,使用寿命较短。

 

毫米波雷达:测距离远,可以在雨雪天气等各种恶劣环境中稳定工作,但是精度不高。

 

无人驾驶用于控制的传感器要么是摄像头,要么是激光雷达,这是业界已经达成的共识。那何谓激光雷达?在无人机驾驶中的作用是什么?

 

激光雷达的工作原理是利用可见和近红外光波(多为950nm波段附近的红外光)发射、反射和接收来探测物体。激光雷达可以探测白天或黑夜下的特定物体与车之间的距离。由于反射度的不同,也可以区分开车道线和路面,但是无法探测被遮挡的物体、光束无法达到的物体,在雨雪雾天气下性能较差。

 

激光雷达在无人驾驶运用中拥有两个核心作用。3D建模进行环境感知。通过雷射扫描可以得到汽车周围环境的3D模型,运用相关算法比对上一帧和下一帧环境的变化可以较为容易的探测出周围的车辆和行人。

 

激光雷达在无人驾驶中的具体应用

 

1.定位

 

定位在无人驾驶中十分钟重要,只有有了实时的位置信息,系统才能做出下一步判读,决定向何处进发,以及如何前往。现在定位的方式有许多种。如载波相位差分技术(RTK),但 RTK 还是会受信号的干扰。特别是在一些城市、建筑和树比较多的地方,以及进隧道、出隧道,它的信号容易中断。同时,也有用摄像头等传感器感知外部环境、构建环境模型并利用该模型确定车辆所在的位置的方式,但其对环境的依赖比较强,比如逆光或雨雪天气下,这种定位容易失效。而激光雷达是依靠将车辆的初始位置与高精地图信息进行比对来获得精确位置。首先,GPSIMU和轮速等传感器给出一个初始(大概)的位置。其次,将激光雷达的局部点云信息进行特征提取,并结合初始位置获得全局坐标系下的矢量特征。最后,将上一步的矢量特征跟高精地图的特征信息进行匹配,得出精确的全球定位。所以,在定位方面,无论是从精度上还是稳定性上来说,运用激光雷达都有无可比拟的优势。而其唯一的缺点便在于目前激光雷达的生产成本较高,另一方面往固态方向上进行技术创新,朝着固态的低成本和可量产化的方向去发展,许多国内外厂家都在加速创新,在不久的将来成本将不会成为一个十分棘手的问题。

 

2. 障碍物的检测和分类

 

对于障碍物检测和分类来讲,目前有应用视觉和激光雷达,这两者并没有冲突。激光雷达不依赖光照,它的视角是 360 度,计算量比较小,可以实时扫描,目前普遍用的是 100 毫秒以内的。激光雷达在扫描的过程中,先识别障碍物,知道这个障碍物在空间中的位置,再根据存在的障碍物做分类。比如车、人,我们将这些障碍物分割成为独立的个体,通过分割出来独立的个体再去匹配,从而进行障碍物的分类和物体的跟踪。而跟踪的过程,首先是分割点云,通过点云做关联目标,我们知道上一桢和下一桢是否属于同一个物体,再进行目标跟踪,输出目标跟踪信息。

 

3.用于先进驾驶辅助系统(ADAS

 

先进驾驶辅助系统(Advanced Driver Assistance System),简称ADAS,是利用安装于车上的各式各样的传感器, 在第一时间收集车内外的环境数据, 进行静、动态物体的辨识、侦测与追踪等技术上的处理, 从而能够让驾驶者在最快的时间察觉可能发生的危险, 以引起注意和提高安全性的主动安全技术。如果激光雷达能有效控制成本,ADAS等级数较低的驾驶辅助功能也需要用激光雷达。其原因在于,基于摄像头的ADAS和无人驾驶系统,或者单独使用毫米波的局限性很大。首先是视场角的问题,为了保证足够的探测距离,视场角的角度不可太大,而这就导致车辆有非常大的横向盲区。对此现象,有些公司设计了多摄像头来解决此类问题,但效果并不理想,同样的多目摄像头会有重叠区域,还会增加处理数据的难度。其次是低速问题,事实证明,在低速情况下,摄像头的表现不尽人意,甚至对一下移动缓慢或静止的目标都很难识别。所以激光雷达在ADAS方面有着很大的潜力。

 

激光雷达的行业趋势

 

市场需求:L3级以上无人驾驶的必备传感器

 

激光雷达是高精度的传感器,但是有与过于昂贵,无人驾驶业界对激光雷达的存废之争一直没有停止过。非激光雷达阵营主要是以特斯拉为代表的的传统车企,他们倾向于渐进式路线,从ADAS辅助驾驶逐渐升级过度到自动驾驶,以端到端的深度学习砍掉传统的激光雷=雷达,激光雷大阵营主要是以谷歌为代表的科技公司,他们倾向于一步到位路线,以激光雷达为主传感器,等技术方案成熟成本下降后,再大规模商用。

 

未来发展方向:固态激光雷达

 

Velodyne是激光雷达的鼻祖,先后推出了64线、32线机械式激光雷达和16线混合固态激光雷达。“混合固”为Velodyne首创概念,是指外形上不存在可见的旋转部件,但为了360全视角其内部实际上仍然存在一些机械式旋转部件,只是做的非常小巧可以内藏而已。下面工釆网小编简单介绍一下固态激光雷达探测原理:TOF飞行时间法原理如下图:

图片2.png

 

激光雷达常用的探测原理是飞行时间法,就是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行往返时间来得到目标物距离。

 5d5b5b1185592.png

 

对于固态激光雷达产品的应用工采网提供一款固态面阵激光雷达测距传感器 - CE30-ACE30 使用时间飞行法(TOF, Time of Flight)进行测距,它会发射出经过调制的近红外光,光线遇物体后反射并再次被 CE30 接收。CE30 通过计算光线发射和接收的相位差与时间差,来换算被拍摄景物的距离。

 

固态面阵激光雷达 测距传感器 CE30-A 参数:


 图片3.png


博客 isweek工采网

LV1
2019-08-26 10:29
339

无人驾驶汽车核心技术(报告)(五)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航 ...查看全部

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。

引言:

无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。

1.jpg

2.JPG

3.JPG

4.JPG

5.jpg

6.jpg


7.JPG

8.JPG

博客 飞奔的蜗牛

LV1
2019-08-21 10:17
400

无人驾驶汽车核心技术(报告)(四)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航 ...查看全部

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。

引言:

无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。

1.jpg

2.JPG

3.JPG

4.JPG

5.jpg

6.jpg

7.JPG

博客 飞奔的蜗牛

LV1
2019-08-21 10:17
400

电瓶车搭载PM2.5传感器倡导绿色多元化出行

电瓶车,又可称为电动摩托车、电动自行车等,近些年来已经成为了市民出行的主要交通工具。其凭借着全国过亿的数量级,全面超越了私家车及自行车的拥有量(除去共享类交通工具)。因电瓶车本身具有的方便、快捷、省力等众多优点,对于短距离出行显然有着不小的优势。但随着人们对于呼吸健康的深入关注,问题就渐渐地浮现了。例如在雾霾天如果选择电瓶车或自行车出行无疑就成为了人肉吸霾器,用自己的呼吸健康来过滤路面上可能存在的PM2.5或其他空气污染。当然,没有人会愿意处于这种境地。而空气污染又是看不见、摸不着的。什么时候遭遇,我们并不会知道。

 

图片1.png


那么,有人会建议,出行一直带着戴口罩不就行了。其实这里存在着两点问题:

 

1)不方便。经常戴口罩出门的人都会感觉些许不方便。这是因为不仅要在出门的时候将口罩戴上,而且要关注口罩是否要进行定期更换。在炎热的夏天出门戴口罩更是另一种折磨。由于又热、又闷,久而久之人们就会忘记出门戴口罩这件事。

 

2)不健康。对于呼吸孱弱的人群来说,长时间戴口罩其实会是一种较大的负担,其会导致呼吸不畅或者引发呼吸道疾病的加重。而这种不分时段的长期佩戴,着实显得不科学,因为当没有空气污染的时候,呼吸新鲜空气才是更健康的选择。

 

根据这种情况,有人就有了在电瓶车上加载PM2.5传感器进行颗粒物的实时监测的想法,这种概念是一个很大胆的构想,虽然有点超前,但是也不是毫无道理。

 

1)与私家车对比。近些年中高档的私家车对车内的空气质量可谓相当关注。有些豪华款车型更是具备了空气质量在线监测及治理系统,车内的空气质量优劣已经成为了定义一辆好车的关键性因素之一。当然,作为电瓶车和私家车从造假上是无法相比的,但是对于维护使用者健康的期望应该是同等的。

 

2)与自行车对比。与自行车对比电瓶车在实现该种构想上有着绝对的优势。电瓶车的蓄电池可以为PM2.5传感器供应足够的电量,使其正常工作。这就为电瓶车上嵌入PM2.5传感器提供了可能性。

3)成本因素。目前市场上PM2.5传感器价格并不很高,这就为大量应用提供了前提。在定价4千~5千元的豪华款车型上,如果能含有雾霾提醒功能,无疑对电瓶车品质会是一种提升。

 

应用的益处PM2.5传感器在电瓶车上得到大量的应用,那么我们或将得到以下益处:

 

1)数值提醒:当电瓶车启动之后,PM2.5传感器就会开始工作。其会将所处路段的PM2.5状况都显示出来。骑车者可以根据PM2.5的具体状况来选择是否要佩戴防护口罩。当PM2.5指数良好时,就无需佩戴了。

 

2)规划路线:对于使用电瓶车的上班族来说,规划一条没有PM2.5的上下班路线成为可能。可主动远离PM2.5较高的路段,例如交通主干道、建设工地等。这样就可以相对安心的上下班了。

 

3)突发应急:对于大规模雾霾天气,PM2.5传感器给出的爆表或浓度过高等提示无疑更加直接。这使得骑车者需要考虑是否还继续要在雾霾如此严重的情况下进行出行,是否可以采取进入室内暂避等措施。要知道在伸手不见五指的重度雾霾天气,不仅是呼吸健康,交通安全更需要值得注意。

 

PM2.5传感器在电瓶车上的应用目前仅在构想阶段,但随着人们对于呼吸健康的越加关注,该种方式或将成为可能。之前就有专家建议,将空气质量传感器布局与每辆出租车上,那么通过在线监测平台就可以精准地掌握城市内完整的空气质量动态状况。而这类构想的产生,无疑都是在传感器技术不断更迭的基础上的。由于传感器技术的不断发展及成本的不断降低,更多的构想应用或将最终成为可能,造福人们的身体健康。

 

那么可能很多人在问,适合在电瓶车上装载的PM2.5传感器器该如何选择呢?


 a3.png


为此工采网小编推荐性价比高的figaro自主研发的激光颗粒物传感器 PM2.5传感器TF-LP01,这款粉尘传感器利用散射原理对空气中粉尘颗粒进行检测的小型模组,可同时测量环境中PM1.0、PM2.5、PM10的浓度值,具备体积小、检测精度高、重复性好、一致性好、实时响应可连续采集、抗干扰能力强、采用超静音风扇,传感器出厂100%检测和标定等优点。

 

日本figaro 激光颗粒物传感器 PM2.5传感器TF-LP01参数:

20190819102652.png

博客 isweek工采网

LV1
2019-08-21 10:17
409

无人驾驶汽车核心技术(报告)(三)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航 ...查看全部

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。

引言:

无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。

1.jpg

2.JPG

3.JPG

4.JPG

5.jpg

6.jpg

7.JPG

8.JPG

博客 gaohong

LV1
2019-08-16 10:10
416

无人驾驶汽车核心技术(报告)(二)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航 ...查看全部

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。

引言:

无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。

1.jpg

2.JPG

3.JPG

4.JPG

5.jpg

6.jpg

博客 gaohong

LV1
2019-08-16 10:10
406

气体流量传感器在汽车电子上的应用

现代汽车电子已经从之前电子元器件到车内电子系统 ...查看全部

现代汽车电子已经从之前电子元器件到车内电子系统的应用进入了一个新的、有本质性改变和提高的新阶段。其中最有代表性的核心器件之一就是传感器。关于传感器在汽车领域的市场前景工采网小编曾在上一篇《2019汽车节能减排新趋势 车用气体传感器市场需求可期》文章提及,感兴趣的有车一族可以进入官网资讯查看。下面工釆网继续给小伙伴介绍一款用于汽车电子的气体流量流量传感器。

 

大家都知道,传感器通常由敏感元件、转换元件和转换电路组成,其中敏感元件是指传感器中能直接感受或响应被测量的部分,转换元件是将上述非电量转换成电参量,转换电路的作用是将转换元件输出的电信号经过处理转换成便于处理、显示、记录和控制的部分。传感器作为汽车电子控制系统的信息来源,是车辆电子控制系统的基础关键部件。

 

汽车各个系统控制过程依靠传感器,进行信息的反馈,实现自动控制工作是汽车的神经元。汽车传统传感器依照功能可以分为压力传感器、位置传感器、温度传感器、加速度传感器、角速度传感器、流量传感器、气体浓度传感器和液位传感器等 8 类。如下图:


 6.png

 

可见汽车传感器主要应用于动力总成系统,车身控制系统以及底盘系统中。汽车传感器在这些系统中担负着信息的采集和传输功用,它采集的信息由电控单元进行处理后,形成向执行器发出的指令,完成电子控制。接下我们具体了解一下空气流量传感器在汽车电子中的作用。

 

空气流量传感器:空气流量传感器是将吸入的空气转换成电信号送至电控单元(ECU),作为决定喷油的基本信号之一。

 

为使发动机处于最佳工作状态,就需要从吸入汽缸的空气流量、进气压力的测定开始,再根据水温、空气温度等工作环境参数计算出基本喷油量,同时还要通过节气门位置传感器检测节气门的开度,确定发动机的工况,进而控制,调整最佳喷油量,最后还需要通过曲轴的角速度传感器监测曲轴转角和发动机转速,最终计算出并发出最佳点火时机的指令。这个发动机燃油喷射系统和点火综合控制系统还可以与废气排放的监控系统和起动系统等组合,构筑成可使汽车发动机功率和扭矩最大化,而同时燃油消耗和废气排放最低化的智能系统。

 

因此空气流量传感器它的作用是检测发动机进气量的大小,并将进气量信息转换成电信号输出,并传送到ECU。我们知道汽车的行驶是需要点火装置点火得到向前的冲量,因此,充气量的大小是ECU计算汽车在点火的时候点火装置需要喷油时间和喷油量和点火时间的依据。它的作用是可以让我们更好的让汽车进行加减速行驶。

 

为了更好的形成符合要求的混合气,使空燃比达到最佳值,因此我们就必须对发动机进气空气流量进行精确控制。工采网技术人员建议采用气体质量流量传感器 - FS4000系列来完成此项操作。

 

气体质量流量传感器 - FS4000系列是采用领先的微机电系统流量传感器技术和智能电子控制技术,专为普通气体流量监测开发的产品。该传感器能直接测量气体质量流量,低压损。适用于净化空气或氮气流量监控,还可用于环境采样器(如色谱分析仪器等)。另外两款系列FS4003气体质量流量传感器,管道内径为3mm,成本低测量范围最大到5SLPM;适用于粒子计数器和各类分析仪器。FS4008气体质量流量传感器,管道内径为8mm,测量范围最大到50SLPM;可用于麻醉设备、洁净气体检测,如:空气采样机,气体分析仪等。

 

气体质量流量传感器FS4000系列(FS4003FS4008)产品主要特性

1)专为管径3mm8mm的气管中的低压气体流量测量而设计

2)支持多种连接方式,易于安装与使用

3)传感芯片采用热质量流量计量,无需温度压力补偿,保证了传感器的高精度计量

4)在单个芯片上实现了多传感器集成,使其量程比达到了100:1甚至更高

5)输出方式灵活,既可通过通讯接口主动上传数据或由上位机查询输出数据,也可通过模拟接口输出线性的模拟电压

6)零点稳定度高

7)全量程高稳定性、高精确度和优良的重复性

8)低功耗、低压损

9)响应速度快

 

气体质量流量传感器FS4000系列(FS4003FS4008)产品技术参数


 图片2.png


博客 isweek工采网

LV1
2019-08-16 10:10
443

汽车制造商“着急了”:2020年ADAS标配“下沉”爆发「GGAI视角」

尽管ADAS的很多标准还没有落地,但汽车制造商已经等不及了。近日,大众汽车宣布在2020年大多数车型的小改款升级中,将增加更多的标配主动安全功能,包括前辅助(带有自动紧急刹车的前向碰撞警告),侧辅助(盲点监测),后向交通警报、自适应巡航控制 ...查看全部

尽管ADAS的很多标准还没有落地,但汽车制造商已经等不及了。

近日,大众汽车宣布在2020年大多数车型的小改款升级中,将增加更多的标配主动安全功能,包括前辅助(带有自动紧急刹车的前向碰撞警告),侧辅助(盲点监测),后向交通警报、自适应巡航控制等功能。

除了增加功能带动车型的销售,大众汽车希望通过减少选配“缩减”车型的数量。目前,还不清楚国内后续推出的新车型是否也包含在内。

以目前大众在华销售排名靠前的几款车型为例,排名第一的朗逸,仅有顶配车型标配碰撞报警/主动刹车,次之的宝来,也仅仅是顶配车型标配碰撞报警/主动刹车、前倒车雷达。

目前上述两款车的在售车型数量达到了近40款。而这两款车去年在华销量总和接近75万辆。

《高工智能汽车》统计了目前大众集团在华销售车型数据,截止目前在售车型40个,共计397款配置。其中,前后盲区(超声波雷达)搭载率为50.88%,主动刹车搭载率仅为27.46%,360全景更是低至3.78%。

如果明年上述改款车型按照全球化配置推进,意味着ADAS渗透率在经济型乘用车市场将呈现爆发增长态势。

同样的趋势,也在另一家经济型乘用车大厂丰田得到印证。2018年,卡罗拉以全年118万辆的销量继续蝉联“全球最畅销汽车”。

今年全新一代卡罗拉即将上市,三款先期发布的车型全系标配toyota safety sense(TSS1.0)智行安全系统,包括车道保持、车道偏离预警、预碰撞安全系统、动态雷达巡航控制系统等。

而在上一代卡罗拉上,仅有顶配车型(双擎)搭载了前后倒车雷达,其余安全辅助功能基本看不到。

丰田品牌旗下车型也在去年开始升级全新的第二代Toyota Safety Sense 2.0(TSS 2.0),并首次搭载于2019款花冠掀背车。

此外,丰田正在改进和完善这些技术,TSS 2.0是其ADAS安全感知套件的第二代改进版,并将陆续以标配方式搭载于美版2019款RAV4、2020款花冠轿车和汉兰达。

此外,去年单车销量排在第二位的日产轩逸(全年销售48.12万辆),在刚刚上市的全新一代轩逸中,新增了顶配和次顶配车型标配了自动紧急刹车功能(最新的日产智行技术,包括车道偏离预警、主动刹车、并线辅助),而上一代车型全系都没有。

这些变化的背后,除了新车型增加市场竞争力的需求,更重要的还有政策的推动,这使得各大汽车制造商在主力销量车型上“狠下功夫”。

在C-NCAP2018版里,就已经增加了行人保护试验和车辆自动紧急制动系统(AEB)试验,评分及星级划分体系也做了较大调整,但主动安全权重只有15%。

不过从今年开始,主动安全五星得分要求从26%提高到38%,到明年这个数字将增加到55%。这也就意味着如果汽车不搭载AEB将无法拿到5星。

而工信部也在近日发布了三项ADAS推荐性国家标准,除了术语定义外,新增了BSD盲区监测以及LKA车道保持辅助性能要求及测试方案。

按照年初发布的《车联网(智能网联汽车)产业发展行动计划》,到2020年新车驾驶辅助系统(L2)搭载率达到30%以上,按照截止7月31日在售车型L2搭载率5.69%计算,明年市场新车型将迎来ADAS搭载的爆发年。

1.jpg

博客 飞奔的蜗牛

LV1
2019-08-16 10:10
441

自动驾驶多传感器感知的探索

1.jpg

Pony.ai 在多传感器感知上积累了很多的经验,尤其是今年年初在卡车上开始了新的尝试。我们有不同的传感器配置,以及不同的场景,对多传感器融合的一些新的挑战,有了更深刻的认识,今天把这些经验,总结一下,分享给大家,与大家一起讨论。

2.JPG

本次分享分为三部分:

•为什么需要多传感器融合?

•传感器融合的一些先决条件

•如何做传感器融合?

为什么需要多传感器融合?

首先,单一传感器在自动驾驶中,都有各自的挑战,所以先了解下常用的传感器的挑战是什么:

1. Camera data

3.JPG

照相机数据遇到的挑战:

① 没有深度信息。

② 视场角有限,以卡车的传感器配置来说,需要比较多的摄像头,这里用到了6个摄像头覆盖了270°的视场角。

③ 摄像头受外界条件的影响也比较大,(上图右下方)这是当车行驶到桥下时,由于背光,且光线变化比较大,导致无法识别正前方的交通灯。

2. Lidar data

4.JPG

激光雷达数据的一个比较大的挑战是感知范围比较近,如右图所示,感知范围平均在 150m 左右,这取决于环境和障碍物的不同。

5.jpg

激光雷达在角分辨度上远远不如照相机,如上图,有三条小狗在过马路,在照相机上可以清楚的看到,但是在激光雷达上,采集到的点是比较少的,这样的场景在每天复杂道路路测的时候会经常遇到。

6.jpg

激光雷达对环境的敏感度也是比较大的,上图为 Pony 路测的时候经常遇到的虚拟噪点的 Case,在车经过建筑工地的时候,在图像上可以看到并没有任何的障碍物,但是在雷达上前面有很多的噪点,右边是雨天中的测试,车辆行驶中溅起来的水花,在激光雷达上都是有噪点的,如何去除这样的噪点,是我们经常面临的挑战。

3. Radar data

8.JPG

毫米波雷达,本身的一个挑战是没有高度信息,毫米波雷达能告诉你这个物体在哪个位置,但是不知道多高,这个 case 就是前面有一个比较高的指路牌,毫米波雷达知道这儿有个障碍物,但是不知道是悬空的。

4. Why sensor fusion

9.JPG

当看过了这些单一传感器在自动驾驶中面临的挑战,自然会想到,做多传感器融合,进行传感器之间的取长补短,来帮助整个感知系统效果的提升。这里的例子是,如何利用多传感器来提升感知的探测距离,当障碍物距离 150m 左右时,激光雷达的反射点已经比较少了,但是这时毫米波雷达和照相机还是比较稳定的。

10.jpg

当障碍物驶出 200m 的范围,基本上没有任何的激光雷达反射点了,但是 200m 取决于自动驾驶车辆本身的车速是多少,200m 的感知距离还是必要的,这时只能通过毫米波雷达和摄像头,来提升对障碍物的感知距离,从图中可以看到障碍物还是可以稳定识别出来的。

传感器融合的先决条件

1. 运动补偿 & 时间同步

① Ego motion

为什么做运动补偿?在自动驾驶传感器感知过程中,传感器采集数据,一般都不是瞬时发生的,以激光雷达为例,采集一圈数据需要 0.1s,在这 0.1s 内,本身车会发生一定的位移,障碍物也会发生一定的位移,如果我们不考虑这样的位移的话,我们检测出来的位置就会不准确。

位移有俩种,第一种就是车自身的位移 Ego motion。右边画了一个示意图,虚线部分可以认为是世界坐标系,红色的点代表一个静态的障碍物,它在坐标系中有一个稳定的坐标(5,5),蓝色部分代表车自己的坐标系是局部坐标系,(4,0)为这个坐标系的原点,在 t+1 时刻,这个坐标系移动到了(6,0)的位置,车沿着 X 方向向前移动了2,在 t 时刻在车自身的坐标系下,障碍物的坐标是(1,5),在 t+1 是时刻,则是(-1,5)。如果不做车自身运动的补偿,静止的物体在2帧之间,测量的局部坐标是不一样的,就会产生错误的速度,因此,要去补偿车本身的位移,做自身的 Motion compensation 运动补偿。这个问题比较简单,因为车是有比较准确的定位信息的,它会提供这俩个时刻,车本身的姿态差距,我们可以利用姿态差,比较容易的补偿车移动了多少,那我们就可以知道这个障碍物其实是没有移动的。

② Motion from others

第二种要考虑的是运动物体在传感器采集的时间段内,运动物体发生的位移,相对于自身运动补偿,这是一个更难的 case,首先快速移动的物体,在激光点云里很可能会被扫到俩次,大家可以看下红圈内,尾部会有拖影。所以我们如何想办法消除对方车的 Motion,也是要考虑的。解决的方式有很多,现在激光雷达本身从硬件上也会有些配置,来缓解这样的现象,简单解释下,当你用多个激光雷达在自动驾驶车辆时,可以让激光雷达按照同样的方式一起转,在某一个特定的时段,特定的方向,应该扫到同样的东西,这样来减少快速移动的物体产生拖影这样的问题。

③ 时间同步

在很多自动驾驶车辆传感器中,大部分支持 GPS 时间戳的时间同步方法。这个方法比较简单,如果传感器硬件支持这些时间同步的方法,拿到传感器数据的时候,数据包中就会有全局的时间戳,这样的时间戳以 GPS 为基准,非常方便。但是,时间戳查询数据会有一个比较明显的问题,举个例子,图中有三个数据,三个传感器和时间轴,不同传感器是以不同频率来采集数据的,以传感器2为例,在 T1 时刻,传感器2有一个数据,在这个时刻,想知道对应的传感器1和传感器3的数据是多少,肯定需要去查找,查找的方式是找对应的传感器数据和传感器2时间差最近的数据包,然后拿过来用,这就取决于查的时候,数据包的时间和 T1 时刻传感器2数据包的时间到底差多少,如果差距比较大,本身障碍物都是在移动的,这样误差会比较大。

然后就有了第二种时间同步的方法,来缓解刚刚说的这种现象。就是主动数据同步的方法,比如以激光雷达作为触发其它传感器的源头,当激光雷达转到某个角度时,触发那个角度的摄像头,这样就可以大大减少时间差的问题,如果把这套时间方案做到硬件中,做到比较低的误差,那么对齐的效果比较好。如上图所示,这时激光雷达的数据就很好的和摄像头的数据结合在了一起。

刚才说到如果一个自动驾驶车辆用了多个激光雷达,激光雷达之间如何同步,减少扫到同样车在不同时间这样的问题,velodyne 是我们常用的一个品牌,支持一种 Phase Lock 功能,能够保证在某一时刻,所有的激光雷达的角度,都可以根据 Phase Lock 的配置,在固定的角度附近。这样如果用俩个前向的激光雷达都设置一个角度,在同一时刻,扫到的东西应该是类似的,这样一个快速行驶的车,被扫到2次的概率就会减少,当然这个办法也不能完全解决问题,比如有个人和我们的激光雷达以同样的频率一起转,那么在激光雷达扫描的点云中,人一直会出现,所以还要通过软件的方法,设置的一些规则或者模型来想办法剔除。

2. 传感器标定

接下来是另外一个比较大的话题:Sensor Calibration 传感器标定。这里主要是指传感器外参的标定。

传感器外参其实就是刚体旋转,因为物体上的俩个点,在经过旋转和平移之后,两个点之间的 3D 位置是不会变的,所以叫刚体旋转,在自动驾驶和机器人上,刚体旋转还是比较常见的。传感器外参的标定就是要找到这样的一个刚体旋转,可以把一个传感器的数据和另一个对齐。相当于把一个传感器测量的数据从其本身的坐标系,通过刚体旋转,转到另一个传感器坐标系,这样就可以进行数据融合了。上图中,左边为图像,中间为雷达,如果有一个比较好的外参工具,可以把 3D 的点投射到 2D 图像上,所有的障碍物的点都可以对应上,相当于把 2D 上的像素都加上了深度的估计。这样在图像质量并不是很高的情况下,可以通过这样的方式把信息补回来。

传感器的标定一般有俩种思路,第一种是有激光雷达的传感器标定,第二种是无激光雷达的传感器标定,之所以这么分,是因为激光雷达采集的数据是完整的 3D 信息,空间中的 ( x,y,z ) 都是准确的,并不会有信息的丢失,而照相机得到的数据,可以认为是极坐标系下的坐标,没有深度和角度,而毫米波雷达是没有高度的。所以,如果有这样的传感器能够提供完全的 ( x,y,z ) 坐标,以此为参照物,其他传感器和激光雷达做绑定的话,会更容易和更准确。Pony 是有激光雷达的,所以今天主要讲有激光雷达的传感器标定方法。

① Multi-Lidar Calibration

首先讲下多激光雷达是如何标定的,上图可以看到正好用到的是两个前向激光雷达,这两个激光雷达在前向180°是有比较大的覆盖区域,如果对激光雷达之间的旋转和平移没有比较好的估计,当把俩张激光雷达的点云放在一起进行感知处理的时候,在红框位置会发现存在比较大的分隔(黄线和蓝线分别代表俩个前向激光雷达),这种情况肯定是不想遇到的,所以需要把多个激光雷达做比较准确的标定。

标定的方法是已知的,非常好解决的问题,因为激光雷达本身是有完全的3D信息,解决这样俩个数据集匹配的问题,就是 ICP(Iterative Closest Point)迭代式最近点方法。这个方法有很多的变种,感兴趣的同学可以百度或者 Google 搜索下。

② Camera Lidar Calibration

另外一个就是照相机和激光雷达之间的标定。照相机本身是没有距离信息的,那么如何去做标定?同样激光雷达是有 3D 信息的,可以通过标定的方式,把激光雷达投到图像的坐标系中,建立图像的像素点,和激光雷达投影后的点之间的匹配,然后通过某种优化方程,来解决这样一个匹配问题。举一个简单的例子,比如现在要选取一系列激光雷达检测出来的候选点,如何选这些点呢?这些点一定是在图像上比较容易能够识别出来的边界点。选取方法也比较简单,因为激光雷达有距离信息,只需要找相邻俩个激光点之间的距离差,就可以判断这样一个点是不是边界点,我们可以轻易的选出这样的候选点,通过这样的投影方式,红框是我们要求的标定参数,K 矩阵为相机本身的内参,通过这个数学关系,我们可以把刚才 3D 中检测的候选点,投到 2D 上,上图中的 X 就是投射后的位置。我们可以根据 3D 投影点和 2D 检测的边界,进行匹配,然后根据他们之间的距离匹配程度,建立这样一个优化方程,然后解这样一个优化问题,来估计出 Calibration 的参数。

大家如果感兴趣可以参考这篇 paper:Automatic Online Calibration of Cameras and Lasers,详细的讲述了其中的数值原理,可以看到绿色的是 3D 点投射到图像上,是一些边界点候选的区域,如果有一个比较好的标定结果,这些边界点会比较好的和图像匹配起来。

3. 传感器视场角

接下来看下传感器不同视场角带来的融合问题。

这里有一个简单的示意图,假设在这个位置上有两个激光雷达,它们有各自不同的视场角,但是前方有个障碍物 A 刚好在传感器2的视场角内把障碍物 B 完全遮挡了,障碍物 B 只出现在一个传感器检测的视场角内部,这带来的问题是:我们到底该不该相信这里存在一个障碍物?这是比较常见的问题,需要我们经过不断的路测,来完善。

如何做传感器融合?

1. Camera Lidar Fusion

首先讲下照相机和激光雷达融合,方法1之前大概讲过,就是说激光雷达有 ( x,y,z ) 比较明确的 3D 观测,通过标定参数,通过照相机本身的内参,就可以把 3D 点投到图像上,图像上的某些像素就会打上深度信息,然后可以做基于图像的分割或者 Deep Learning Model。需要注意的是,多传感器的时候,视场角可能会不一样,可能会造成噪点或者漏点,这里比较推荐的方法是把照相机和雷达安装在一起,越近越好。

另一个比较直观的方法,是否能将 2D 检测出来的障碍物直接投影到 3D,然后生成这样的 3D 障碍物,这种方法,在做很多的假设条件下(比如障碍物的大小,地面是否平整),也是可以做的,如上图,相机的内参,车的位置高度,都是已知的,这时在 2D 上识别出的每个帧的障碍物,都可以还原成 3D 在照相机坐标系下的一条射线,然后找这条射线在 3D 坐标系下和平面的交点,就可以估计出 2D 障碍物在 3D 上的距离。

上图为 Pony 在建筑工地旁采集的数据,可看到这些路障都是直接生成到 3D 的(图中有个漏点,也是我们还需要努力提高的)。

2. Radar Lidar Fusion

至于毫米波雷达和激光雷达的融合方式就更简单了。因为在笛卡尔坐标系下,它们都有完整的 ( x,y ) 方向的信息,那么在普适的笛卡尔坐标系下,做针对于距离的融合,而且毫米波雷达还会测速,对障碍物速度也是有一定观测的,然后激光雷达通过位置的追踪,也会得到障碍物速度的估计,这些速度的信息也可以用来做融合,帮助筛选错误的匹配候选集。

这是 Pony 激光雷达和毫米波雷达融合的效果,红圈里的障碍物是 radar 补充的。

当然,不同传感器之间融合的特例还是很多的,比如激光雷达和毫米波雷达融合的时候,可以看到,这个场景是前方有比较高的路牌时,毫米波雷达会在这个位置产生障碍物,恰好激光雷达也有噪音,因为恰好前方有车,这时在牌子底下也会产生噪点,所以激光雷达和毫米波雷达都在这个地方检测出来本不应该出现的障碍物,这时两个传感器都告诉你前方有个障碍物,只有摄像头说前方只有一个障碍物,这时该怎么办?(如果想了解 Pony 具体如何解决的,欢迎大家加入 Pony,我会告诉你答案o(∩_∩)o)

总结

总结来说,每个传感器都有自己的一些问题,传感器融合就是说我们要把这些传感器结合起来做取长补短,提升整个感知系统的精度和召回度,今天就分享到这里,谢谢大家。

嘉宾介绍

刘博聪,Pony.ai Tech lead,公司创始成员。CMU 电子与计算机工程硕士,作为 Pony.ai 创始成员之一,参与了多个无人车模块的设计开发工作,目前主要负责感知系统技术研发。曾就职于百度美国研究院,负责自动驾驶研发;曾就职于 Qualcomm 圣迭戈总部,参与 QNX 车载芯片的嵌入式开发项目。


博客 飞奔的蜗牛

LV1
2019-08-14 11:03
396

汽车制造商“着急了”:2020年ADAS标配“下沉”爆发「GGAI视角」

尽管ADAS的很多标准还没有落地,但汽车制造商已经等不及了。近日,大众汽车宣布在2020年大多数车型的小改款升级中,将增加更多的标配主动安全功能,包括前辅助(带有自动紧急刹车的前向碰撞警告),侧辅助(盲点监测),后向交通警报、自适应巡航控制 ...查看全部

尽管ADAS的很多标准还没有落地,但汽车制造商已经等不及了。

近日,大众汽车宣布在2020年大多数车型的小改款升级中,将增加更多的标配主动安全功能,包括前辅助(带有自动紧急刹车的前向碰撞警告),侧辅助(盲点监测),后向交通警报、自适应巡航控制等功能。

除了增加功能带动车型的销售,大众汽车希望通过减少选配“缩减”车型的数量。目前,还不清楚国内后续推出的新车型是否也包含在内。

以目前大众在华销售排名靠前的几款车型为例,排名第一的朗逸,仅有顶配车型标配碰撞报警/主动刹车,次之的宝来,也仅仅是顶配车型标配碰撞报警/主动刹车、前倒车雷达。

目前上述两款车的在售车型数量达到了近40款。而这两款车去年在华销量总和接近75万辆。

《高工智能汽车》统计了目前大众集团在华销售车型数据,截止目前在售车型40个,共计397款配置。其中,前后盲区(超声波雷达)搭载率为50.88%,主动刹车搭载率仅为27.46%,360全景更是低至3.78%。

如果明年上述改款车型按照全球化配置推进,意味着ADAS渗透率在经济型乘用车市场将呈现爆发增长态势。

同样的趋势,也在另一家经济型乘用车大厂丰田得到印证。2018年,卡罗拉以全年118万辆的销量继续蝉联“全球最畅销汽车”。

今年全新一代卡罗拉即将上市,三款先期发布的车型全系标配toyota safety sense(TSS1.0)智行安全系统,包括车道保持、车道偏离预警、预碰撞安全系统、动态雷达巡航控制系统等。

而在上一代卡罗拉上,仅有顶配车型(双擎)搭载了前后倒车雷达,其余安全辅助功能基本看不到。

丰田品牌旗下车型也在去年开始升级全新的第二代Toyota Safety Sense 2.0(TSS 2.0),并首次搭载于2019款花冠掀背车。

此外,丰田正在改进和完善这些技术,TSS 2.0是其ADAS安全感知套件的第二代改进版,并将陆续以标配方式搭载于美版2019款RAV4、2020款花冠轿车和汉兰达。

此外,去年单车销量排在第二位的日产轩逸(全年销售48.12万辆),在刚刚上市的全新一代轩逸中,新增了顶配和次顶配车型标配了自动紧急刹车功能(最新的日产智行技术,包括车道偏离预警、主动刹车、并线辅助),而上一代车型全系都没有。

这些变化的背后,除了新车型增加市场竞争力的需求,更重要的还有政策的推动,这使得各大汽车制造商在主力销量车型上“狠下功夫”。

在C-NCAP2018版里,就已经增加了行人保护试验和车辆自动紧急制动系统(AEB)试验,评分及星级划分体系也做了较大调整,但主动安全权重只有15%。

不过从今年开始,主动安全五星得分要求从26%提高到38%,到明年这个数字将增加到55%。这也就意味着如果汽车不搭载AEB将无法拿到5星。

而工信部也在近日发布了三项ADAS推荐性国家标准,除了术语定义外,新增了BSD盲区监测以及LKA车道保持辅助性能要求及测试方案。

按照年初发布的《车联网(智能网联汽车)产业发展行动计划》,到2020年新车驾驶辅助系统(L2)搭载率达到30%以上,按照截止7月31日在售车型L2搭载率5.69%计算,明年市场新车型将迎来ADAS搭载的爆发年。

1.jpg

博客 飞奔的蜗牛

LV1
2019-08-14 11:03
448

商用车自动驾驶落地“进行时”,入围候选企业名单公示「GGAI评选」

由于驾驶技术对货运行业 ...查看全部

1.jpg

由于驾驶技术对货运行业成本、事故率的降低效应,众多行业人士非常看好货运行业商业化自动驾驶驾驶技术,它将拥有一个可预见的盈利模式。

这样的技术并不见得在全国任何道路都可以实现,目前自动驾驶还有很多的技术存在挑战,但诸如高速公路场景,主要是从封闭的高速公路中,起始到结束端的路况相对简单、标准化,容易实现且能带来实际的经济效益(目前绝大部分的货运都是在长途高速上完成)。

L4的自动驾驶技术实现,需要克服非常多的技术难题,从感知、决策、控制、执行都有非常多的挑战,技术之外还有成本的约束。

从技术实现到真正具备量产、商业化的能力,是真正考验自动驾驶公司竞争力的地方。目前大部分自动驾驶公司都完成了90%左右的技术实现工作,但剩下的10%将会是最难的。

此外,围绕矿区、港口等限定场景的无人驾驶技术落地也正在成为现实,除了自动驾驶初创公司、商用车主机厂的力推,来自终端运营方和客户的需求也正在促使这样的量产接近落地。

同时,各地也在积极推动相关应用示范落地,比如上海去年宣布相关方面正推动自动驾驶技术在本市港口等特定场景实现应用,推动卡车、环卫车等车辆率先探索应用自动驾驶技术

而在相关的零部件方面,按照此前公布的时间计划表,采埃孚将在接下来三年内推出一些即将投产的自动驾驶核心零部件。比如,到2022年,商用车将可使用全电动转向系统。超级计算机ProAI 2.0将于2021年首次用于商用汽车。

在自动驾驶技术方面,采埃孚也认为,卡车比乘用车更适合,因为自动驾驶技术在限定范围和可预测的领域(如港口、物流仓库)最有效。

而在OEM及终端客户最关心的成本方面,当总拥有成本下降时,卡车运输公司将为车队配备相应的辅助驾驶及自动驾驶技术。

目前,一级供应商提供的软硬件方案在前期会更贵,但很快就能通过节省燃料、提高安全性和优化路线收回成本。

2019年9月20-21日,第二届高工智能网联商用车大会将在武汉举办,同期将举办年度智能网联商用车供应链金球奖评选颁奖典礼。

《高工智能汽车》将陆续公布本次评选的入围候选奖项及企业名单公示,也欢迎更多企业自荐报名参选。

第二轮公示入围候选名单(查看第一轮公示名单):

3、商用车自动驾驶方案商(物流类)

图森未来、智加科技、主线科技、畅行智能、飞步科技、希迪智驾、嬴彻科技、牧月科技

4、商用车自动驾驶方案商(专用类)

西井科技、踏歌智行、仙途智能、智行者、高仙机器人、中联重科

5、无人小车线控底盘供应商

小狮科技、格陆博、易咖智车、中云智车

6、商用车OEM智能驾驶研发团队

郑州宇通、东风商用车、一汽解放、金龙客车、陕汽集团、中国重汽、江淮股份、江铃控股、吉利商用车、福田汽车

7、商用车智能驾驶核心零部件供应商(外资)

威伯科、大陆集团、采埃孚、克诺尔

8、智能物流终端应用厂商(电商、城配)

京东物流、苏宁物流、德邦快递、满帮集团、菜鸟网络、驹马物流、G7汇通天下、美团

上述奖项评选线上投票将于8月12日正式开始,其他奖项入围候选名单将陆续发布。欢迎优秀企业自荐报名,请联系:15818636852。


博客 飞奔的蜗牛

LV1
2019-08-14 11:03
450

无人驾驶汽车核心技术(报告)(一)

本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、 《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感 ...查看全部


本文结合《国家车联网产业标准体系建设指南(智能网联汽车)》、

《2018年智能网联汽车标准化工作要点》、《智能网联汽车道路测试管理规范(试行)》等最新国家政策,系统性讲述无人驾驶汽车包含的核心技术模块:感知(视觉及其深度学习技术、激光雷达探测技术)、导航定位(惯性导航、GPS/北斗导航、智能组合导航)、控制、操作系统。对著名车企无人车商用化前沿也进行了较为全面的介绍。最后对无人车系统技术在物流、出租车、安全、养老等领域的定制化开发应用用实例进行说明。希望为无人车技术的进一步发展带来启发,为促进无人系统技术的市场化和产业化发展做出贡献。


引言:


无人驾驶汽车是一种智能汽车,也可以称之为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。无人驾驶技术是多个技术的集成,包括传感器、定位与深度学习、高精地图、路径规划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等。2018年4月12日,工信部、公安部、交通运输部联合制定的《智能网联汽车道路测试管理规范(试行)》对外发布,对测试主体、测试驾驶人、测试车辆等提出要求,明确省、市级政府相关主管部门可自主选择测试路段、受理申请和发放测试号牌。这表明无人驾驶汽车在往商用化迈进的道路上又加快了步伐。

1.jpg

2.JPG

3.JPG

4.JPG

5.jpg

6.jpg

博客 gaohong

LV1
2019-08-13 09:32
676

深度学习在3-D环境重建中的应用

最经典的计算机视觉问题是3-D重建。基本上可以分成两种路径:一是多视角重建,二是运动重建。前者有一个经典的方法是多视角立体视觉(MVS,multiple view ...查看全部


最经典的计算机视觉问题是3-D重建。基本上可以分成两种路径:一是多视角重建,二是运动重建。前者有一个经典的方法是多视角立体视觉(MVS,multiple
view stereo),就是多帧的立体匹配,这样采用CNN模型来解决也合理。传统MVS的方法可以分成两种:区域增长(region
growing)和深度融合(depth-fusion)。当年CMU在美国超级碗(Superbowl)比赛展示的三维重建和视角转化,轰动一时,就是基于此路径,但最终没有被产品化(技术已经转让了)。


后者在机器人领域成为同步定位和制图(SLAM)技术,有滤波法和关键帧法两种,后者精度高,在稀疏特征点的基础上可以采用集束调整(BA,Bundle

Adjustment),著名的方法如PTAM,ORB-SLAM1/2,LSD-SLAM,KinectFusion(RGB-D数据),LOAM/Velodyne

SLAM(激光雷达数据)等。运动恢复结构(SFM)是基于背景不动的前提,计算机视觉的同行喜欢SFM这个术语,而机器人的同行称之为SLAM。SLAM比较看重工程化的解决方案,SFM理论上贡献大。


另外,视觉里程计(VO)是SLAM的一部分,其实只是估计自身运动和姿态变化。VO是David Nister创立的概念,之前以两帧图像计算Essential Matrix的“5点算法”而为人所知。


因为CNN已经在特征匹配、运动估计和立体匹配得到应用,这样在SLAM/SFM/VO/MVS的应用探索也就成了必然。



• DeepVO


如图所示,经典VO流水线通常包括摄像机标定、特征检测、特征匹配(或跟踪)、异常值拒绝(例如RANSAC)、运动估计、尺度估计和局部优化(集束调整,BA)。


1.jpg


 


DeepVO基于深度递归卷积神经网络(RCNN)提出了一种端到端单目视觉里程计(VO)框架。由于以端到端的方式进行训练和部署,因此它直接从一系列原始RGB图像(视频)中推断出姿态,而不采用传统VO流水线中的任何模块。基于RCNN,它不仅通过CNN自动学习VO问题的有效特征表示,而且用深度递归神经网络隐式地建模串联动力学和关系。


如图所示是这个端到端VO系统的架构图:采用视频片段或单目图像序列作为输入;在每个时间步,作为RGB图像帧预处理,减去训练集的平均RGB值,可以将图像尺寸调整为64的倍数;将两个连续图像堆叠在一起以形成深RCNN的张量,学习如何提取运动信息和估计姿势。具体地,图像张量被馈送到CNN以产生单目VO的有效特征,然后通过RNN进行串行学习。
每个图像对在网络的每个时间步产生姿势估计。VO系统随时间推移而发展,并在图像获取时估计新的姿势。


2.JPG


 


CNN具有9个卷积层,每层之后是除Conv6之外的ReLU激活,总共17层。
网络中感受野的大小逐渐从7×7减少到5×5,然后逐渐减少到3×3,以捕捉小的有趣特征。
引入零填充以适应感受野的配置或在卷积之后保持张量的空间维度。其中通道的数量,即用于特征检测的滤波器的数量,会增加以学习各种特征。


通过堆叠两个LSTM层来构造深度RNN,其中LSTM的隐藏状态是另一个的输入。在DeepVO网络中,每个LSTM层具有1000个隐藏状态。深度RNN基于从CNN生成的视觉特征在每个时间步输出姿势估计。随着相机移动并获取图像,这个进程随时间而继续。


• UnDeepVO


UnDeepVO能够通过使用深度神经网络估计单目相机的6-DoF姿势及其视野的深度。有两个显着特征:一个是无监督深度学习方案,另一个是绝对的深度恢复。训练UnDeepVO时,通过使用立体图像对恢复尺度来,但测试时,使用连续的单眼图像。UnDeepVO还是一个单目系统。网络训练的损失函数基于时空密集信息,如图所示。


3.JPG


 


下图所示时UnDeepVO的架构图。姿势估计器是基于VGG的CNN架构,需要两个连续的单目图像作为输入,并预测它们之间的6-自由度(DoF)变换矩阵。
由于旋转(由欧拉角表示)具有高度非线性,与平移相比通常难以训练。
对于有监督的训练,一种流行的解决方案是将旋转估计损失给予更大的权重,如同归一化。为了更好地无监督学习训练旋转预测,在最后一个卷积层之后用两组独立的全连接层将平移和旋转分离。这样为获得更好的性能,引入一个权重标准化的旋转预测和平移预测。深度估计器主要基于编码器-解码器架构以生成致密深度图。
与其他方法不同的是, UnDeepVO直接预测深度图,这是因为以这种方式训练时整个系统更容易收敛。


4.JPG


 


如图所示,用立体图像序列的时空几何一致性来定义损失函数。空间几何一致性表示左右图像对中的对应点之间的外极线约束,而时间几何一致性表示两个连续单目图像中的对应点之间的几何投影约束。这些约束构造最后的损失函数并使其最小化,而UnDeepVO学习端对端无监督方式估计尺度化的6-DoF姿势和深度图。简单提一下,空间损失函数包括光度一致性损失(Photometric
Consistency Loss)、视差一致性损失(Disparity Consistency Loss)和姿态一致性损失(Pose
Consistency Loss);时间损失函数包括光度一致性损失和3-D几何校准损失(3D Geometric Registration
Loss)。


2.JPG



• VINet


如图是比较传统VIO(visual-inertial
odometry)和基于深度学习的VINet方法。VINet时一种使用视觉和惯性传感器进行运动估计的流形(on-manifold)序列到序列的学习方法。其优点在于:消除相机和IMU之间繁琐的手动同步,无需手动校准;模型自然地结合特定领域信息,显著地减轻漂移。


1.jpg


 


VINet的架构图见下图所示。该模型包括CNN-RNN网络,为VIO任务量身定制。整个网络是可微分的,可以进行端到端训练实现运动估计。网络的输入是单目RGB图像和IMU数据,即一个6维向量,包含陀螺仪测量的加速度和角速度的x,y,z分量。
网络输出是7维向量 - 3维平移和4维四元数(quaternion)- 姿势变化。
从本质上讲,它学习将图像和IMU数据的输入序列转换为姿势的映射。


2.JPG


 


CNN-RNN网络执行从输入数据到李代数se(3)的映射。指数图将它们转换为特殊的欧几里德群SE(3),然后可以在SE(3)中组成各个运动以形成轨迹。这样,网络需要近似的功能仍然随着时间的推移保持受限,因为相机帧到帧的运动是由平台在轨迹过程中复杂动力学定义的。借助RNN模型,网络可以学习平台的复杂运动动力学,并考虑到那些难以手工建模的序列依赖性。下图是其中SE(3)
级联层(composition layer)的示意图:无参数层,主要连接SE(3)群上帧之间的变换。


3.JPG


 


在LSTM模型中,隐藏状态被转移到下一个时间步,但输出本身不会反馈到输入。 在里程计情况下,先前状态的可用性特别重要,因为输出基本上是每步增量位移的累积。 因此,直接连接SE(3)级联层产生的姿态输出,作为下个时间步核心LSTM的输入。



• SfM-Net


SfM-Net是一种用于视频运动估计几何觉察的神经网络,根据场景、目标深度、相机运动、3D目标旋转和平移等来分解帧像素运动。给定一图像帧序列,SfM-Net预测深度、分割、相机和刚体运动,并转换为密集的帧到帧运动场(光流),可以及时地对帧进行差分变形以匹配像素和反向传播。该模型可以通过不同程度的监督进行训练:1)通过重投影光度误差(完全无监督)自我监督训练,2)自身运动(摄像机运动)监督训练,或3)由深度图(例如,RGBD传感器)监督训练。


下图是SfM-Net的流程图。给定一对图像帧作为输入,模型将帧到帧像素运动分解为3D场景深度、3D摄像机旋转和平移、一组运动掩码和相应的3D刚性旋转和平移运动。
然后,将得到的3D场景流反投影到2D光流中并相应地变形完成从这帧到下一帧的匹配像素。 其中前向一致性检查会约束估计的深度值。


4.JPG


 


如下图是SfM-Net的架构图:对于每对连续帧It,It+1,一个conv / deconv子网络能预测深度dt,而另一个conv /
deconv子网络预测一组K个分割掩码mt;运动掩码编码器的最粗特征图通过全连接层进一步解码,输出摄像机和K个分割的3D旋转和平移;使用估计的或已知的相机内参数将预测的深度转换为每帧点云;然后,根据预测的3D场景流(scene

flow)对其进行变换,由3D摄像机运动和独立的3D掩码运动组成;将变换后的3D深度再投射回2D的下一图像帧,从而提供相应的2D光流场;可差分后向变形映射将图像帧It+1到It,并且梯度可基于像素误差来计算;对逆图像帧对It+1,It重复该过程来强加“前向-后向约束”,并且通过估计的场景运动约束深度dt和dt+1保持一致性。



如图是一些SfM-Net结果例子。在KITTI 2015,基础事实的分割和光流与SfM-Net预测的运动掩码和光流相比。模型以完全无监督的方式进行训练。



• CNN-SLAM


借助于CNN的深度图预测方法,CNN-SLAM可以用于精确和密集的单目图像重建。CNN预测的致密深度图和单目SLAM直接获得的深度结果融合在一起。在单目SLAM接近失败的图像位置例如低纹理区域,其融合方案对深度预测赋予特权,反之亦然。深度预测可以估计重建的绝对尺度,克服单目SLAM的一个主要局限。最后,从单帧获得的语义标签和致密SLAM融合,可得到语义连贯的单视图场景重建结果。


如图是CNN-SLAM的架构图。CNN-SLAM采用基于关键帧的SLAM范例,特别是直接半致密(direct
semi-dense)法作为基准。
这种方法将不同视觉帧收集作为关键帧,其姿态经过基于姿态图(pose-graph)的优化方法全局修正。同时,通过帧与其最近的关键帧之间的变换估计,实现每个输入帧的姿态估计。


下面是一些结果:办公室场景(左)和NYU Depth V2数据集的两个厨房场景(中,右),第一行是重建,第二行是语义标签。






• PoseNet


PoseNet是一个实时单目6
DOF重定位系统。它训练CNN模型以端映端方式从RGB图像回归6-DOF相机姿态,无需额外的工程或图形优化。该算法可以在室内和室外实时运行,每帧5ms。通过一个有效的23层深度卷积网络,PoseNet实现图像平面的回归,对于那些照明差、运动模糊并具有不同内参数的摄像头(其中SIFT校准失败)场景算法鲁棒。产生的姿势特征可推广到其他场景,仅用几十个训练样例就可以回归姿态参数。


PoseNet使用GoogLeNet作为姿态回归网络的基础;用仿射回归器替换所有3个softmax分类器;移除softmax层,并修改每个最终全联接层输出表示3-D位置(3)和朝向四元数(4)的7维姿态向量;在特征大小为2048的最终回归器之前插入另一个全联接层;在测试时,将四元数朝向矢量单位归一化。


如图是PoseNet的结果展示。绿色是训练示例,蓝色是测试示例和红色显示姿势预测。





 


需要补充一下,姿势回归采用以下目标损失函数的随机梯度下降来训练:





 


其中x是位置向量,q是四元数向量,β是选择的比例因子,以保持位置和朝向误差的预期值近似相等。


• VidLoc


VidLoc是一种用于视频片段6-DoF定位的递归卷积模型。即使仅考虑短序列(20帧),它也可以平滑姿态的估计并且可以大大减少定位误差。


如图是VidLoc的架构模型。CNN部分的目标是从输入图像中提取相关的特征,这些特征可用于预测图像的全局姿态。CNN由堆叠的卷积和池化层构成,对输入图像操作。这里主要处理时间顺序的多个图像,采用VidLoc
CNN的GoogleNet架构,其实只使用GoogleNet的卷积层和池化层,并删除所有全连接层。


当输入连续时间的图像流时,利用时间规律性可以获得大量的姿态信息。
例如,相邻图像通常包含相同目标的视图,这可以提高特定位置的置信度,并且帧之间的运动也存在严格约束。为捕获这些动态相关性,在网络中使用LSTM模型。LSTM扩展了标准RNN,能够学习长期时间依赖性,是通过遗忘门、输入和输出复位门以及存储器单元来实现的。进出存储器单元的信息流由遗忘门和输入门调节,这允许网络在训练期间克服梯度消失问题,能够学习长期的相关性。LSTM输入是CNN输出,由一系列特征向量xt组成。LSTM将输入序列映射到输出序列,输出序列参数化为7维向量的全局姿态组成yt,包括平移向量和朝向四元数。为充分利用时间连续性,这里LSTM模型采用双向结构,如图所示。


为了模拟姿态估计的不确定性,采用混合密度网络(mixture density networks)方法。 这种方法用混合模型取代了高斯模型,可以对多模态后验输出分布建模。


• NetVLAD


大规模基于视觉的位置识别问题要求快速准确地识别给定查询照片的位置。NetVLAD是一种CNN架构中的一层,帮助整个架构直接以端到端的方式用于位置识别。其主要组成部分是一个通用“局部聚合描述子向量”(VLAD,Vector
of Locally Aggregated
Descriptors)层,受到图像检索中特征描述子池化法VLAD的启发。该层可以很容易地插入任何CNN架构中,并且可以通过反向传播(BP)进行训练。根据一个定义的弱监督排名损失(ranking
loss)可以训练从谷歌街景时间机(Google Street View Time
Machine)下载的相同位置的图像,以端到端的方式学习该架构参数。


如图是带NetVLAD层的CNN结构。该层用标准CNN层(卷积,softmax,L2归一化)和一个易于实现的聚合层NetVLAD来实现“VLAD核”聚合,可在有向无环图(DCG)中连接。


给定N个D-维局部图像特征描述符{xi}作为输入,将K个聚类中心(“视觉词”){ck}作为VLAD参数,输出VLAD图像表示V是K×D维矩阵。该矩阵可转换为矢量,归一化后可作为图像表示。 V的(j,k)元素计算如下:


其中xi(j)和ck(j)分别是第i个特征描述符和第k个聚类中心的第j维。ak(xi)将描述符xi的成员资格记录为第k个视觉单词,即如果集群ck是最接近解释xi的集群则为1,否则为0。


VLAD的不连续性源来自描述符xi到聚类中心ck的硬分布ak(xi)。 为了使之可微分,将其替换为描述子的多个聚类软分配,即





将上式的平方项展开,很容易看出exp()项在分子和分母之间消掉,导致如下软分配


其中向量wk和标量bk


这样最终的“VLAD核”聚合公式变成


其中{wk},{bk}和{ck}是每个群集k的可训练参数集。


在VLAD编码,来自不同图像但划归同一聚类的两个特征描述子对两个图像之间相似性测度的贡献是残差向量之间的标量积,其中残差向量是描述符与聚类锚点(anchor

point)之间的差。锚点ck可以被解释为特定聚类k的新坐标系原点。在标准VLAD中,锚点被选为聚类中心(×),以便数据库中的残差均匀分布。然而如图所示,在监督学习设置中,来自不匹配图像的两个描述子可以学习更好的锚点,使新残差向量之间的标量积很小。



• Learned Stereo Machine


伯克利分校提出的一个用于多视角立体视觉的深度学习系统,即学习立体视觉机(LSM)。与最近其他一些基于学习的3D重建方法相比,沿着观察光线做特征投影和反投影,它利用了问题的基础3D几何关系。通过可微分地定义这些操作,能够端到端地学习用于量度3D重建任务的系统。这种端到端学习能够在符合几何约束的同时共同推理形状的先验知识,能够比传统方法需要更少的图像(甚至单个图像)进行重建以及完成看不见的表面。


如图是LSM概述:一个或多个视图和摄像头姿态作为输入;通过特征编码器处理图像,然后使用可微分的反投影操作将其投影到3D世界坐标系中。


如图给出1D图和2D网格之间的投影和反投影示意图。 (a)投影操作沿光线以等间隔z值采样值到1D图像中。 在z平面的采样特征堆叠成通道形成投影的特征图。 (b)反投影操作从特征图(1-D)中获取特征,并沿光线放置在相应与之相交的网格块。



然后,以递归方式匹配这些网格G以产生融合网格Gp,这里采用的是门控递归单元(GRU)模型。接着,通过3D CNN将其转换为Go。最后,LSM可以产生两种输出 - 从Go解码的体素占有网格(体素 LSM)或在投影操作之后解码的每视角的深度图(深度LSM)。


下图给出V-LSM的一些结果,

如图给出D-LSM的一些例子。
• DeepMVS


DeepMVS是一种用于多视角立体视觉(MVS)重建的深度卷积神经网络(ConvNet)。
将任意数量各种姿态的图像作为输入,首先产生一组平面扫描体积(plane-sweep
volumes),并使用DeepMVS网络来预测高质量的视差图。
其关键特点是(1)在照片级真实感的合成数据集上进行预训练;(2)在一组无序图像上聚合信息的有效方法;(3)在预训练的VGG-19网络集成多层特征激活函数。
使用ETH3D基准验证了DeepMVS的功效。


算法流程分四步。 首先,预处理输入图像序列,然后生成平面扫描容积(plane-sweep volumes)。 接着,网络估计平面扫描容积的视差图,最后细化结果。如图所示。





 


下面两个图分别显示带超参数的DeepMVS体系结构。整个网络分三部分:1)补丁匹配(patch
matching)网络,2)容积内特征聚合(intra volume feature
aggregation)网络,3)容积之间特征聚合(inter volume feature aggregation)网络。
除了最后一层,网络中所有卷积层都跟着一个可缩放指数线性单元(Scaled Exponential Linear Unit ,SELU)层。

为了进一步改进性能,将全连通条件随机场(DenseCRF)应用到视差预测结果。


• MVSNet


给定参考图像I1和一组其相邻图像{Ii} Ni =
2,MVSNet提出了一种端到端深度神经网络来推断参考深度图D。在其网络中,首先通过2D网络从输入图像中提取深度图像特征{ Fi} Ni =
1。然后,通过可微分的单应性(Homography)变换将2D图像特征变形到参考相机坐标系,这样在3D空间中构建特征容积{Vi} Ni =
1。为了处理任意N视角图像输入,基于方差的成本测度将N个特征容积映射到一个成本容积C。与其他立体视觉和MVS算法类似,MVSNet使用多尺度3D
CNN正则化成本容积,并通过软argmin
操作回归参考深度图D。在MVSNet末端应用一个细化网络进一步增强预测深度图的性能。由于在特征提取期间缩小了深度图像特征{Fi} Ni =
1,因此输出深度图大小是每个维度中原始图像大小的1/4。


MVSNet在DTU数据集以及Tanks and
Temples数据集的中间集展示了最先进的性能,其中包含具有“从外看里”的摄像头轨迹和小深度范围的场景。但是,用16 GB内存 Tesla
P100 GPU卡,MVSNet只能处理H×W×D = 1600×1184×256的最大重建尺度,并且会在较大的场景中失败,即Tanks and
Temples的高级集合。


如图是MVSNet网络设计图。输入图像通过2D特征提取网络和可微分单应性变形生成成本容积。从正则化的概率容积回归最终的深度图输出,并且用参考图像细化。





 


下图是推断的深度图、概率分布和概率图。 (a)DTU数据集的一个参考图像; (b)推断的深度图; (c)内点像素(顶部)和出格点像素(底部)的概率分布,其中x轴是深度假设索引,y轴是概率,红色线是软argmin结果; (d)概率图。


• Recurrent MVSNet


MVS方法的一个主要限制是可扩展性:耗费内存的成本容积(cost
volume)正则化使得学习的MVS难以应用于高分辨率场景。Recurrent
MVSNet是一种基于递归神经网络的可扩展多视角立体视觉框架。递归多视角立体视觉网络(R-MVSNet)不是一次性正则化整个3-D成本容积,而是通过门控递归单元(GRU)网络串行地沿深度值方向正则化2-D成本图。这大大减少了内存消耗,并使高分辨率重建成为可能。


下图比较了不同正则化方案的策略。一次性全局正则化成本容积C的替代方案是串行地沿深度方向处理成本容积。最简单的顺序方法是赢家通吃(WTA)的平面扫描(plane

sweeping)立体视觉法,它粗略地用较好的值替换逐像素深度值,因此受到噪声的影响(如图(a))。为此,成本聚合法过滤不同深度的匹配成本容积C(d)(如图(b)),以便收集每个成本估算的空间上下文信息。遵循串行处理的思想,这里采用一种基于卷积GRU的更强大的递归正则化方案。
该方法能够在深度方向上收集空间和单向上下文信息(如图(c)),与全空间3D CNN(如图(d))相比,这实现了差不多的正则化结果,但是
运行时内存更加有效。

下图是R-MVSNet的框图介绍。从输入图像中提取深度图像特征,然后将其变形到参考相机坐标系的前向平行平面。在不同深度处计算成本图并由卷积GRU串行地正则化处理。网络被训练为具有交叉熵(cross-entropy)损失的分类问题。

1.jpg

如图是R-MVSNet的重建流水线直观图:(a)DTU图像;(b)来自网络的初始深度图;(c)最终深度图估计;(d)基础事实深度图;(e)输出点云;(f)深度图滤波的概率估计图;(g)初始深度图的梯度图;(h)细化后的梯度图。



2.JPG

博客 gaohong

LV1
2019-08-13 09:32
389

自动驾驶技术之基于深度学习的多传感器标定

标定是确定不同坐标系的相互转换关系,是传感器数据融合的前提,特别是激光雷达和图像数据。这里以深度学习的方法训练CNN模型去回归坐标系转换的参数。主要是两个CNN模型:RegNet和CalibNet。RegNet应该是第一个深度 ...查看全部

标定是确定不同坐标系的相互转换关系,是传感器数据融合的前提,特别是激光雷达和图像数据。这里以深度学习的方法训练CNN模型去回归坐标系转换的参数。

主要是两个CNN模型:RegNet和CalibNet。

RegNet应该是第一个深度卷积神经网络(CNN)推断多传感器的6自由度(DOF)外参数标定,即激光雷达(LiDAR)和单目摄像头。RegNet将标定的三个步骤(特征提取、特征匹配和全局回归)映射到单个实时CNN模型中。在训练期间,随机对系统进行重新调整,以便训练RegNet推断出激光雷达投影到摄像头的深度测量与RGB图像之间的对应关系,并最终回归标定外参数。此外,通过迭代执行多个CNN,在不同程度失标定(decalibration)数据上进行训练。如图是一个例子。

1.jpg

 

失标定


2.JPG

 

标定基础事实(GT)


3.JPG

 

RegNet标定结果

首先,传感器坐标系中给出的点x变换为世界坐标系中的点y,定义为一个仿射变换矩阵H,即y = Hx。估计变换矩阵H的任务称为外标定。应用深度学习,需要重新定义外标定的问题,在给定初始标定Hinit和基础事实标定Hgt的情况下,确定失标定矩阵φdecalib,其定义如下


4.JPG

 

然后可以随机改变Hinit以获得大量的训练数据。为了能够建立标定过程可观测的对应关系,用Hinit和摄像头内参数矩阵P将激光雷达点投影在摄像头图像平面上,即


5.jpg

 

在每个像素(u,v),如果没有投射的激光雷达点,则存储投影点的逆深度值(摄像头坐标)zc或者为零。 由于相比图像像素的数量大多数常见的激光雷达传感器仅提供少量测量数据,因此深度图像非常稀疏。为了对付这种稀疏性,在输入深度图使用最大值池化(Max Pooling)对投影的激光雷达深度点上采样。

下面图展示的是Regnet的结构框图,其实现深度和RGB图像之间的标定。 使用初始标定Hinit将深度点投影在RGB图像上。在CNN网络的第一和第二部分,使用NiN(Network in Network)块来提取丰富的特征以进行匹配,其中索引显示NiN块的第一卷积层的核大小k。 特征通道的数量显示在每个模块的右上角。 CNN网络最后一部分通过使用两个全连接层收集全局信息来对失标定进行回归。(注:NiN块由一个k×k卷积,然后是几个1×1卷积组成。)在训练期间,失标定矩阵会被随机排列,形成深度点的不同投影数据。

6.jpg

 

如下图所示,深度点的投影随给定的初始标定值而强烈地变化。当初始校准从标定的基础事实(GT)旋转偏离20°平移偏离1.5米的时候,可能导致激光雷达点云的投影的大多数点在图像区域之外,难以与RGB图像建立对应关系。


7.JPG

即使在这些情况下,训练的CNN网络仍然能够改进标定。使用新的估计标定参数可以再次投影深度点,从而产生更多供相关计算的深度点。 然后,该步骤多次迭代即可。

初始化

结果

CalibNet是一个自监督的深度网络,能够实时自动估计激光雷达和2D摄像头之间的6-自由度刚体转换关系。在训练时,不进行直接监督(例如不直接回归标定参数);相反,可以训练网络去预测标定参数,以最大化输入图像和点云的几何和光度一致性。

下图是CalibNet的流程图:(a)来自标定摄像头的RGB图像;(b)原始激光雷达点云作为输入,并输出最佳对齐两个输入的6-自由度刚体变换T;(c)显示错误标定设置的彩色点云输出;(d)显示使用CalibNet网络标定后的输出。

9.JPG

 

该网络将RGB图像、相应的误标定(mis-calibration)的激光雷达点云和相机标定矩阵K作为输入。作为预处理步骤,首先将点云转换为稀疏深度图,将激光雷达点云投影到图像平面即可。由于初始误标定的不准确,将误标定点投影到图像平面会导致稀疏深度图与图像(严重)不一致,如上图(c)所示。 将RGB输入图像和稀疏深度图标准化为±1的范围,然后用5 x 5最大池化窗将稀疏深度图最大池化为半致密深度图。

虽然网络的输出可直接预测平移,但需要将so(3) 中的输出旋转矢量转换为其对应的旋转矩阵。一个元素ω ∈ so(3) 可以通过使用指数图(exponential map)转换为SO(3)。

一旦将网络预测的标定参数转换为T∈SE(3)中的刚体变换,就会使用3-D空间变换器层(Spatial Transformer Layer),通过预测变换T对输入深度图进行变换。这里扩展了原始的3D空间变换器层以处理稀疏或半致密的输入深度图,如上图(d)。

下图是CalibNet的网络结构图。网络主要由”RGB”和”深度”2个不对称分支组成,每个分支执行一系列,因此”深度”流的滤波器在每个阶段都会减少。然后两个分支的输出沿着信道这个维度连接并通过一系列附加全卷积和批规则化(Batch Norm)层,用于全局特征聚合。将旋转和平移的输出流分离,以捕获旋转和平移之间可能存在的模态差异。网络的输出是1×6矢量ξ=(v, ω)∈ se(3), 其中v是平移速度矢量,ω是旋转速度矢量。

自动驾驶技术之基于深度学习的多传感器标定

 

下面是损失函数的定义:

1. 光度损失:在通过预测的T变换深度图之后,检查预测的深度图和正确的深度图之间的密集像素误差,误差定义为,

自动驾驶技术之基于深度学习的多传感器标定

 

2. 点云距离损失:3D空间变换器层允许在反投影(back projection)后的点云转换。 在这个阶段,尝试度量尺度最小化未校准的变换点和目标点云之间的3D-3D点距离。距离测量有

a) Chamfer 距离

自动驾驶技术之基于深度学习的多传感器标定

 

b) 推土机距离(Earth Mover’s Distance):

自动驾驶技术之基于深度学习的多传感器标定

 

c) 质心ICP距离

自动驾驶技术之基于深度学习的多传感器标定

 

最后,整个损失函数定义为:

自动驾驶技术之基于深度学习的多传感器标定

 

下图是CalibNet标定的一些结果。第一行显示输入的RGB图像,第二行显示投影到图像上的相应的误标定的激光雷达点云。 第三行显示使用网络预测变换投影的激光雷达点云,最后一行显示相应的基础事实结果。 第二行中的红色框表示未对齐,而在第三行中,红色框表示标定后的正确对齐。

自动驾驶技术之基于深度学习的多传感器标定

本文作者:黄浴(自动驾驶科学家/工程师)


博客 飞奔的蜗牛

LV1
2019-08-12 09:20
520

基于深度学习的人脸检测和识别方法介绍

人脸识别分人脸验证(face verification)和人脸确认(face identification);前者是指两个人是不是同一个人,即1-to-1 mapping,而后者是确定一个人是一群人中的某个,即1-to-many mapping。 ...查看全部

人脸识别分人脸验证(face verification)和人脸确认(face identification);前者是指两个人是不是同一个人,即1-to-1 mapping,而后者是确定一个人是一群人中的某个,即1-to-many mapping。

人脸作为一种特殊的目标,如同人体(行人检测)一样,前面讨论的目标检测/识别算法可以直接采用,但也会有其特殊的设计考虑,比如其刚体(rigid body)特征和特有的人脸模版(由眼睛、鼻子和嘴巴等显著部分构成)。一个完整的人脸识别系统包括人脸的检测、校准和分类三部分,下面分别讨论深度学习的应用方法。


如图所示,(a)使用面部检测来定位面部;(b)与归一化规范坐标对齐;(c)实施FR。 在FR模块中,面部反欺骗(anti-spoofing)可判断面部是否有效或有欺骗性; 在训练和测试之前面部处理降低识别难度; 在训练时,使用不同的网络结构和损失函数来提取深层特征; 当提取测试数据的深层特征时,面部匹配进行特征分类。

1.jpg

 

• 检测

人脸检测大致分为两种方案:一是刚性模板(rigid templates)法,主要通过基于增强的方法(boosting based methods)或深度学习神经网络,二是通过部件描述面部的可变形模型(deformable models)。

这里以RetinaFace为例介绍一下基于深度学习的算法。

RetinaFace是一个单步人脸检测器,利用联合监督和自我监督的多任务学习,在各种尺度人脸图像上执行逐像素的人脸定位。当在WIDER FACE数据集上手动标注五个面部关键点(眼角,嘴角和鼻子顶部)之后,借助这个额外的监督信号,比较难的人面检测例子性能上显著改进。添加一个自监督网格解码器分支(mesh decoder branch),包括网格卷积和上采样,并与监督分支并行地预测逐像素的三维形状面部信息。

下图是该方法的直观图,每个正样本锚框定输出(1)面部得分,(2)面部框,(3)五个面部关键点,(4)投影在图像平面上的密集面部3D模型顶点。


2.JPG

 

如图是单步密集人脸定位方法。 RetinaFace设计的思想来自于具有独立上下文模块的特征金字塔。在上下文模块之后,计算每个锚框的多任务损失函数。


3.JPG

 

网格解码器是基于快速局部谱滤波(spectral filter)的图卷积(graph convolution)方法。如图所示,(a)2D卷积是欧几里德网格感受域(receptive field)内的邻域核加权和。(b)图卷积也采用邻域核加权和的形式,但以连接两个顶点的最小边数来计算邻域距离。具有内核gθ的图卷积可以表示为截断K阶的递归Chebyshev多项式,即


 

4.JPG
5.jpg

 

在预测形状和纹理参数之后,采用一种有效的可微分3D网格渲染器,基于相机参数(即相机位置、相机姿势和焦距)和照明参数(即位置 点光源,颜色值和环境照明的颜色)将图像网格投影2D图像平面上。

一旦得到渲染的2D面部图像,采用以下函数比较渲染和原始2D面部的像素差异作为损失:


6.jpg

 

• 校准

校准(alignment)需要人脸关键点(facial landmarks)的检测。

面部关键点检测算法分为三大类:整体(holistic)方法,约束局部模型(CLM)方法和基于回归的方法。整体方法明确地建立模型以代表全局面部外观和形状信息。CLM明确利用全局形状模型,但构建局部外观模型(local appearance models)。基于回归的方法隐含地捕获面部形状和外观信息。下面讨论基于深度学习的人脸关键点检测算法。

在早期的工作中,深度玻尔兹曼机器模型(DBM)作为概率深度模型,捕获面部形状变化。 最近,CNN模型成为典型关键点检测的主导模型,其中大多数遵循全球(global)直接回归框架或级联(cascaded)回归框架。这些方法可以广泛地分为纯学习(pure learning)方法和混合(hybrid)法。纯学习方法直接预测面部关键点位置,而混合法结合深度学习方法和计算机视觉投影模型进行预测。

以下以ODN为例介绍深度学习的关键点检测具体方法。

遮挡自适应深度网络(ODN,Occlusion-Adaptive Deep Networks),旨在解决面部关键点检测的遮挡问题。在该模型中,高层特征在每个位置的遮挡概率由一个可以自动学习面部外观和面部形状之间关系的蒸馏模块(distillation module)推断。遮挡概率当作高层特征的自适应权重,减少遮挡的影响并获得清晰的特征表示。

由于缺少语义特征,干净的特征表示不能代表整体(holistic)面部。要获得详尽而完整的特征表示,必须利用低阶(low-rank)学习模块来恢复丢失的特征。面部几何特征有助于低阶模块重新覆盖丢失的特征,ODN提出了一种几何觉察模块来挖掘不同面部组件之间的几何关系。

如图所示,ODN框架主要由三个紧密结合的模块组成:几何觉察模块,蒸馏模块和低阶学习模块。首先,先前残差学习块的特征图Z输入到几何觉察模块和蒸馏模块中,分别捕获几何信息并获得干净的特征表示。然后,组合这两个模块的输出作为低阶学习模块的输入,对面部的特征相关性建模来恢复缺失的特征。

7.JPG

 

下图是几何觉察模块的结构图,比较局部感受野和几何觉察模块如何捕捉面部几何关系。 ⊗表示矩阵外积(outer product)。

8.JPG

 

从ODN框架图可见,低阶学习模块主要是学习共享结构矩阵,该矩阵对特征间/属性相关性明确编码,以便恢复缺失的特征并去除冗余特征。

• 识别

自2014年以来,深度学习重塑了人脸识别(FR)的研究领域,最早的突破从Deepface方法开始。从那时起,深度FR技术利用分层架构将像素拼接成具有不变性的面部表示,极大地改善了性能并促进实际产品成功。

在深度学习的人脸识别系统中,损失函数分为几种:基于欧几里德距离、基于角/余弦余量和softmax等。基于深度学习的面部图像处理方法(例如姿势变化)分为两类:““一对多增强(one-to- many augmentation)”型和“多对一归一化(many-to-one normalization)”型。

训练深度学习模型进行人脸识别有两个主要研究方向:1)有些人训练了一个多类别分类器,在训练集中分离不同个体,例如使用softmax分类器,2)直接学习嵌入关系,例如三体损失(Triplet Loss)。

对于softmax的损失:线性变换矩阵大小随着个体数而线性增加,学习的特征对于闭集分类问题是可分离的,但对于开集人脸识别问题则不具有足够判别能力。而对于三体的损失:面部三体的数量存在组合爆炸,特别是对于大规模数据集,导致迭代步数显着增加;另外,半难度样本的挖掘是有效模型训练中一个相当难的问题。

这里以ArcFace为例介绍具体的深度学习人脸识别算法。

如图是ArcFace如何识别人脸的框架。DCNN特征与最后一个全连接层之间的点积等于特征和权重归一化后的余弦距离。利用反余弦函数计算当前特征与目标权重之间的角度。然后,在目标角度添加一个附加角度边缘(additive angular margin),再通过余弦函数再次得到目标逻辑模型。这样通过固定的特征规范重新尺度化所有逻辑模型,那么以后的步骤与softmax损失完全相同。

如图是ArcFace各种损失函数的对比。基于中心和特征归一化,所有个体都分布在超球面上。为了增强类内紧凑性和类间差异,考虑四种测地距离(Geodesic Distance,GDis)约束。(a)边缘化损失(Margin Loss):在样本和中心之间插入测地距离边界。 (b)类内损失:减少样本与相应中心之间的测地距离。 (c)类间损失:增加不同中心之间的测地距离。 (d)三体(Triplet)损失:在三体样本之间插入测地距离边界。 这里是一个ArcFace提出的附加角度边缘化损失(Additive Angular Margin Loss),它与(a)中的测地距离(Arc)边界罚分完全对应,以增强人脸识别模型的判别力。本文作者:黄浴(自动驾驶科学家/工程师)


博客 飞奔的蜗牛

LV1
2019-08-12 09:20
455