安全策略
当AEBS成客车标配，谁是OEM可选项？
博客 • betty 发表了文章 • 0 个评论 • 2564 次浏览 • 2019-07-23 15:38
交通部在2019年3月15日发布《营运车辆自动紧急制动系统性能要求和测试规程》，于4月1号正式实施，此标准规定了营运车辆自动紧急制动系统的一般要求、功能要求、环境适应性要求和测试规程，适用于安装在营运车辆上的自动紧急制动系统。 ...查看全部
交通部在2019年3月15日发布《营运车辆自动紧急制动系统性能要求和测试规程》，于4月1号正式实施，此标准规定了营运车辆自动紧急制动系统的一般要求、功能要求、环境适应性要求和测试规程，适用于安装在营运车辆上的自动紧急制动系统。
标准的出台是为了响应《营运客车安全技术条件》（JT/T1094-2016）要求，对于车长大于9米的营运客车从2019年4月1日起，新生产车应具有AEBS的功能。
自动紧急制动系统（AEBS）可自动探测目标车辆或障碍物，检测潜在的前向碰撞危险，发出预警信号提醒驾驶员，并激活本车制动系统，通过降速来避免碰撞或减轻车辆碰撞的系统。
能通过《营运车辆自动紧急制动系统性能要求和测试规程》测试的厂商，并不多，但对于营运客车生产商而言，却是必须要上的。
一、不得不上的AEBS
AEBS应包括环境感知模块、控制决策模块、底层执行模块、人机交互模块和数据通信接口，还可包括数据存储模块和无线通信模块，上述模块不限于独立或者集成的形式。
感知部分，国内ADAS厂商多聚集在视觉识别部分，毫米波雷达不具备优势，因此提供的融合传感器方案常会搭配国际厂商的毫米波雷达。决策部分有赖于融合算法的有效性，对目标障碍物的检测是考验国内厂商的地方。
因为AEBS涉及到车辆的控制，所以对安全、性能稳定性的要求较高，通常实现AEBS的功能至少需要视觉+毫米波雷达的融合方案，弥补传感器的劣势，以适应全天候、工况的环境。国内整个产业链起步晚，无论从传感器端的研发生产、场景库积累、算法的训练，还是执行部件的配合上，经验匮乏。
国内政策法规的制定者也充分考虑到这一点，因此延后了AEBS的具体落地时间，同时在强制安装的车型上，也选择了9米以上的新出厂营运大巴。
二、入门级大里程测试
通过AEBS的测试并不容易，厂商需要对融合算法、控制器、执行器进行调试，前期算法的调试需要尽早做功课，进行大量的测试，算法验证。通过上万里程的测试，积累对目标障碍物的识别准确性，以及检验制动的效果。
在控制器和执行器方面，通常是选择国际供应商，以及部分国内的供应商，AEBS需要适配多种多样的控制执行机构，以及不同的传感器，为此要做大量的工作。
在AEBS功能正式开放使用前，需要做大量的里程测试，验证产品功能的一致性和可靠性。大里程测试是AEBS系统供应商和执行机构供应商提出的要求，对于里程业内没有统一的标准，或3万或10万公里不等。
测试过程中会有详细的要求，如针对国道、高速、城镇等路况，每个路段要完成的公里数。适配每一款车型的AEBS系统都需要经过大里程测试，验证可靠性。
目前，智驾科技(Maxieye)与车厂一起完成了超过百种车型的大里程测试，积累了上百万公里的里程测试数据。
在今年4月1日测试规程发布时,率先与客车行业龙头企业在重庆车辆检测研究院有限公司（国家客车质量监督检验中心)顺利通过测试，公司CEO周圣砚表示，目前公司给符合法规要求的营运客车提供的AEBS已占据近90%市场份额。
三、行人探测是难题
AEBS在车速15km/h以上，车辆所有负载状态下都应正常运行，检测到在公共道路上行驶的机动车及行人。
最小检测距离应不大于2m，对目标车辆的最大检测距离应不小于150m，对行人的最大检测距离应不小于60m。AEBS对目标车辆在最大检测距离位置的最小检测水平横向宽度不小于3.75 m。应具备在曲率半径不大于250m的弯道上检测到目标车辆的能力。
该测试规程用于在封闭场地测试环境对上述自动紧急制动系统进行规范性测试。为了满足AEBS的测试要求，AEBS需要适配多种传感器，基本的要求是毫米波雷达需使用探测距离能达到150米上，对行人的探测识别要满足要求。
国内厂商在对行人的探测上，融合方案的可靠性、准确性还需要做更多的探索和努力。因为国内路况复杂，城市路况交通不可控，高速路况相对可控，但车辆的行驶速度普遍较高。
不同速度、环境下，车辆的制动性能、识别有效性都存在差异，且由于国内地域跨度大，无论天气环境、驾驶行为还是障碍物，都存在较大的差异，对于AEBS厂商而言，通过AEBS测试后，还需要继续积累不同环境下的数据，不断优化升级。
未来几年，越来越多的营运客车会配置AEBS系统，同时向更广范围的商用车扩展。由此给ADAS厂商带来更多的新机会。
高新兴发布5G车联网战略和城市级商用车联网解决方案：四大能力构建智慧出行新生态
博客 • betty19920416 发表了文章 • 0 个评论 • 1797 次浏览 • 2019-06-27 11:14
据前瞻产业研究院发布的数据，2020年车联网市场将达到万亿级，正吸引着众多企业布局。在此赛道，除传统整车厂、汽车零部件供应商外，以BAT为代表的互联网企业，新势力造车企业、ICT企业也纷纷入局。而随着国内5G商用牌照的正式发放，被普遍认为是5G到来之后最 ...查看全部
据前瞻产业研究院发布的数据，2020年车联网市场将达到万亿级，正吸引着众多企业布局。在此赛道，除传统整车厂、汽车零部件供应商外，以BAT为代表的互联网企业，新势力造车企业、ICT企业也纷纷入局。而随着国内5G商用牌照的正式发放，被普遍认为是5G到来之后最大应用场景之一的车联网按下了发展加速键。
6月27日，在世界移动通信大会(MWC上海2019)上，汽车智能网联领导者高新兴科技集团以“服务汽车网联，共建未来出行新生态”为主题，重磅发布5G车联网战略，并推出了城市级商用车联网解决方案。这也意味着高新兴开始从解决方案、应用设计、平台连接、核心设备供应等多维度抢占车联网市场。
迎接5G发展新机遇，打造产业生态圈
高新兴集团执行副总裁樊晓兵表示，站在车联网产业的拐点，汽车厂商、通信运营商、车企纷纷有了新举动，进一步推动车联网的发展。高新兴集团基于数十载蜂窝通信技术的沉淀，以及与车联网产业链上下游的紧密合作，已成为目前国内唯一业务打通车厂、智能交通、5G通信、电子车牌、人工智能的车联网企业，服务全球逾千家客户。目前已在车载单元、车路协同、车联网平台和智慧交通应用四大领域具备了深度的技术和市场积累，拥有包括通信模组、车载终端、路侧设备和交通管理解决方案在内的完整产品体系。
尤其是在车载终端，高新兴已拥有绝对优势。在前装市场，高新兴与吉利、长安、比亚迪等国内大型整车厂商，以及延锋伟世通——国际TIER1合格供应商合作，实现前装车规级产品批量发货；在汽车后装市场，高新兴推出OBD车载诊断系统产品，与欧洲、北美多家著名TSP(互联网汽车服务提供商)、MOJIO、OCTO，顶尖通信运营商AT&T、T-Mobile开展了合作。其中，4G OBD出货量排名全球第一，车联网终端可以适配欧美7000+以上的车型，中国9000+以上车型。
樊晓兵强调，车联网产业链丰富，单凭一个厂家是不能单独提供完备的车联网方案，而C-V2X的技术特点恰好提供了建立良好生态系统的可能。高新兴一直主张以产业融合为主线，打造产业生态圈，推动车联网的创新发展。今年年初，吉利与高新兴、高通宣布将于2021年发布吉利全球首批支持5G和C-V2X的量产车型，高新兴将为这些量产车型提供5G和C-V2X产品，这是一个很典型的产业融合案例。目前，高新兴作为IMT-2020 C-V2X工作组、5G自动驾驶联盟、中国智能交通产业联盟的成员，也正与联盟伙伴和战略合作伙伴一同积极推动相关技术、标准的修订和测试，广泛建设生态连接，共谋车联网市场良性发展。
四大能力驱动车联网战略落地
发布会上，高新兴集团首席方案架构师兼战略&品牌总经理吴冬升博士诠释了高新兴5G车联网战略。他指出，随着工信部正式发放5G商用牌照，5G车联网测试验证逐步完善，5G车联网大规模部署的条件日益成熟，高新兴会依托现有车载终端和电子车牌相关技术，向C-V2X车载设备和路侧设备布局，把握行业机遇。
“高新兴将以领先的技术规划、完备的解决方案、丰富的应用实践和完善的商业生态来服务于汽车智能网联，未来将帮助车联网运营方构建人、车、路、网、云等多维协同的5G车联网。”吴冬升介绍，在技术规划上，高新兴统筹考虑C-V2X的演进路线，产品布局上充分考虑4G向5G的迈进。在未来的两年里将为“5G和C-V2X产品研发项目”逐步投入2.13亿元，覆盖5G通信模组、C-V2X、智能宽带及RSU等产品。
在解决方案层面上，高新兴基于在全国智慧城市及智慧交通建设的经验和优势，在5G及车联网商业进程加速的时期，提出了面向城市级及城际的全场景解决方案，是行业首次提出了“点-线-区”的车联网城市级解决方案。
应用实践上，高新兴已有落地案例并取得领先地位，与全球140多家保险公司合作伙伴开展了UBI业务合作，占据全球UBI 40%市场份额。目前高新兴已计划与车企、运营商、交通管理部门一同落地更多信息服务、安全业务、交通效率类应用，实现安全、效率、便捷等多方面提升。
据了解，高新兴的车联网发展将集中在几个层面：一是和主机厂的合作，这是公司重点关注的层面，2019年公司会突破更多新的主机厂商，增加与国外企业的合作机会；第二是后装市场，尤其是面向运营商市场和公司重点行业客户市场；第三是路侧设备的部署以及边缘计算设备部署，这是公司未来在市场拓展中非常重要的一部分；第四是云平台部署，高新兴拥有大量智慧交通项目建设运营经验，尤其是涉及到大的智慧交通管控平台等等，这也是未来车联网领域非常核心和关键的要素。
城市级车联网解决方案首发
此外，高新兴结合智慧出行关键创新技术和场景，针对城市的“点—线—区”多场景，打造了基于C-V2X技术的7大类应用场景和超过20项应用方案，构建首个城市级车联网解决方案。
C-V2X场景的典型应用包括信息服务类的紧急呼叫业务、交通安全类的交叉路口碰撞预警、交通频率类的车速引导和自动驾驶类的远程遥控驾驶、车辆编队行驶等。“业内现有方案较多集中在单点业务的应用上，但在城市实际交通运行中，必须要考虑每一种业务在多个交通场景中的具体应用情况，简单来说，必须考虑前向车防碰撞技术在城市主干道、隧道等真实交通环境的应用。”
以交通应用场景为例，可以通过在单个点位如城市十字交叉路口中部署红绿灯信息下发、防碰撞预警及行人检测预警等应用，来提醒行人、乘客注意安全，避免“亲人两行泪”的惨痛事故发生。而在城市主干道、城市环岛、立交和隧道等较为复杂的交通系统中，高新兴则可通过车载设备、路侧设备及汽车电子标识相结合的方式，实现交通诱导、绿波通行、限速提醒、事故提醒及汽车电子标识流量检测等综合功能的应用。
通过车路协同的部署，我们可以将红绿灯的信息，提前几公里推送到RSU（路侧设备）上，再由RSU推送给汽车，以确保车主提前获取交通状况，进行自主交通判断。而针对园区出入口识别及停车位管理等特点，高新兴提出通过车载设备、路侧设备、电子车牌等多种技术相结合的“区”级解决方案，实现车辆停车位管理、交通诱导、出入口管理等应用。据介绍，高新兴基于超300项的电子车牌核心专利，已在武汉已有封闭园区项目落地。
吴冬升介绍，高新兴提出该解决方案的信心不仅依托于车载单元领域的绝对优势，还来自在全国100多个智慧城市和20多个智慧交通落地项目经验。基于此，高新兴将打造智慧交通信息化基础设施体系，并以此来构建城市的四肢和神经系统，实现对交叉路口、城市主干道、桥梁、隧道、环岛、公交站场、封闭园区等主要场景的应用，让智慧交通大脑高速运转，有效减少交通事故、提高道路及车辆利用率等。
3D-LaneNet：端到端3D多车道检测网络
知识讲堂 • betty19920416 发表了文章 • 0 个评论 • 1967 次浏览 • 2019-04-23 10:33
编者按：三维车道检测是实现自动驾驶的关键技术，它需要对主控车辆的可行驶车道的三维位置进行精确估计。这篇文章提出了一个基于CNN的端到端的3D车道线检测网络3D-LaneNet，可以直接检测多个车道，并估计车道曲率，对三维车道检测的相关研究具有重大的启发与促进作 ...查看全部
编者按：三维车道检测是实现自动驾驶的关键技术，它需要对主控车辆的可行驶车道的三维位置进行精确估计。这篇文章提出了一个基于CNN的端到端的3D车道线检测网络3D-LaneNet，可以直接检测多个车道，并估计车道曲率，对三维车道检测的相关研究具有重大的启发与促进作用。
摘要:
这里介绍一种架构，它可以直接从一张图像预测出道路场景中的三维车道，这项工作标志着首次尝试通过在线感知解决这一任务，而不是依赖于预先映射的环境。我们的网络架构，3d-lanenet中有两个新的概念，1.网络内部的反透视变换。2.基于anchor的车道线表示。网络内反透视变换投影使得在常规图像视图和俯视图中都能方便地表示信息流.一个基于anchor的列输出表示使得我们这个端到端的方法能够替代传统的启发式方法，比如聚类和奇异点处理。此外，我们的方法精准的解决了复杂情况，比如车道的合并以及车道的分开（比如一条车道延伸之后分叉类似这种情况）。在我们的new 3D lane synthetic dataset 上，架构表现出了非常好的结果。为了和现有的方法作对比，我们验证了在image-only tuSimple lane detection benchmark 上的有效性，并获得了非常具有竞争力的表现。
1.介绍
三维车道检测是实现自动驾驶的关键技术，它包括对相对于主控车辆的可行驶车道的三维位置的精确估计。存在两种互补的技术解决方案:加载离线生成的预映射车道和基于感知的实时车道检测。离线解决方案在给定精确当前车辆定位(在地图坐标中)的情况下具有高的几何精度，但是部署和维护起来很复杂。最常见的基于感知的解决方案是使用单目摄像头作为主要传感器来解决任务。现有的基于相机的方法检测图像中的车道，然后通过平坦地面的假设，将它们投射到三维世界，当然当地面平坦这个假设不对的时候，会导致不准确的估计与检测。
受到近年来CNN在单目深度信息预测的成功激励，我们提出了直接检测3D车道线的方法。更正式地说，给定从前置摄像头拍摄的一张图像，任务是输出一组车道实体，每个实体在相机坐标中表示为3D曲线，描述车道分隔符（分隔符就是传统意义上的车道线）或车道中心线（中心线是两条传统意义上的车道线中间的线）。我们提出了3D- lanenet，一个基于CNN的模型，可以进行3D车道检测。该网络经过端到端的训练，输出是在道路的每一个纵向切片上（道路被竖着分为很多的列，每一个列相当于一个切片。），这些输出包括车道线经过这个纵向切片的置信，以及他的3D曲线坐标。我们的方法原理在图1中做了解释。 我们直接的单阶段的方法避免了使用现有方法进行后处理，包括聚类，奇异点处理等。整个网络的架构基于一个创新的双通路（并不是并行的）结构，这个结构在网络内部，对特征图进行一些透射投影变换以生成虚拟的鸟瞰视图。这种双特征表示（正常视图特征，以及鸟瞰视图特征，原文是image view 以及 top view）提高了在道路场景下，网络的推断能力。输出被表示为一个新的基于列的anchor编码（即在该anchor下的各种参数信息），这使得网络具有水平不变形，并且保证了端到端。每个输出都对应一个anchor，类似于基于anchor的单阶段目标检测办法，比如SSD[20]，YOLO[27]。
图1.(a)端到端的方法的原理图解，以及在俯视图上的车道检测结果实例。(b)结果在原图上的投影。
为了完成这项任务，获取带有3D标记的地面真实数据是一项需要多传感器和昂贵的高清地图的工作，在我们的工作中，我们训练和测试我们的网络通过一个新的和合成数据集synthetic-3D-lanes，你可以获得每一条车道线的所有的精确3D位置坐标。数据集目前限制在高速公路场景中，尽管有一些道路模拟器，但是他们的目的不是为了3D车道线检测任务的。并且限制了相关场景属性(如车道曲率)的可变性。我们在该领域的主要成就是能够随机生成具有可变三维形状和车道拓扑结构的高速路段。而我们方法的主要优势在于估计3D车道线，还有纯图像进行车道线检测。我们在tuSimple数据集上对我们的直接方法进行了训练和测试，在不使用通常的后处理技术的情况下，我们获得了与现有技术相媲美的结果。
总结一下我们的主要贡献：
2. 相关工作
传统的车道检测系统(将低层次的操作(如方向滤波器)与高层次的启发式(如霍夫变换)结合起来检测图像中的连续车道。一个通常的流程包括4个阶段:局部车道特征提取(1)、车道模型拟合(2)、图像与世界的对应(3)，聚合(4)。近年来，局部特征提取阶段是通过对图像应用一个或多个CNNs来完成的，但总体上流程仍然非常相似，后期处理仍然存在。
具体来说，CNNs可以通过增强边缘图或分类候选块来改进特征提取。Huval检测本地车道线通过目标检测CNN。VPGNet Lee等人遵循类似的概念，并且额外检测其他道路标记和消失点，以改进车道检测。KIM和park重新定义了特征提取阶段，将其作为一个分割问题，这个问题有两个分类类别，左车道线和右车道线，延伸网络的范围来执行（extending the reach of the network to perform clustering.）但是，仍然必须为每个cluster安装一个世界坐标车道模型，并且无法处理多车道问题。Nevenetal.[23]尝试端到端多车道检测，通过训练CNN不仅创建一个0，1车道像素掩码，而且还为每个像素点嵌入用于聚类车道点的特征向量。Ghafooria提出使用生成对抗网络使语义分割网络的工作输出在车道检测的背景下更加真实。一些工作(如Meyer等人的，Oliveira等人的)是基于类似的方法构建的，其中主车道和相邻的车道是语义类(车道内部整片而不是车道线)。
与所有提出的方法相反，3D- lanenet统一了前三个阶段的共同流程，提供了一个完整的在三维世界坐标体系的多车道表示方法，并且只通过一次前向传播。此外，以往的方法采用平面假设进行图像到世界的对应，而我们的方法估计了车道的整个三维形状。
IPM通过相机视角图像生成一个场景的虚拟的鸟瞰图，这个的具体操作Mal-lot et al. [21]在障碍检测中解释了。并且第一次被Pomer-leau在车道线检测中使用，IPM已经在车道线检测任务中被广泛的使用，因为在鸟瞰图视角中，车道线相互平行，并且他们的曲率情况可以用低阶多项式拟合。此外，进行透视变换后，使得他们看起来更加的想近了，（当然会有一些模糊效果）（本来远处的车道线在相机图像上比较小。）最近，He等人引入了一种“Dual-viewCNN”它由两个独立的子网络组成，每个子网络产生一个车道线描述(每个视图一个车道线描述)，然后将描述符连接并应用于候选图像位置。Li等人使用CNN直接在鸟瞰图上检测车道标记和几何属性，如局部位置和方向，在鸟瞰图上，这些属性保持不变。此外，他们还部署了第二个循环网络，该网络遍历图像以检测一致的车道。Neven等人使用子网络(“H-net”)预测每张图像中的俯仰，将车道投影到俯视图，以改进曲线拟合。与以前的工作不同，我们使用协同的单一网络方法来利用这两种观点。
更一般地，我们提出了第一种方法，这种方法使用端到端训练的CNN直接检测多个车道，并估计每个车道的三维曲率。我们还展示了我们的方法既适用于中心线，也适用于通常意义下的车道线，并且具有处理汇聚和分叉的能力，无需任何进一步的后处理。
图2.在测试集’synthetic-3D-lanes dataset’上，置信度大于0.5的车道中心线估计结果实例。在每一幅图片中，对真值（蓝色）和方法的结果（红色）进行了展示，并配有一个3D的可视化。需要主要的是，3D可视化轴的尺度根据场景而变化。被忽略的车道被标记为蓝绿色。右下角是一个失败的例子，可能是由于阻塞，在这个例子中，这条路被错误地认为是右车道。
3.方法
我们的方法从安装在车辆上的前置摄像头获取单个图像作为输入，如图4。我们假设相机的内参矩阵κ已知（焦距，光心）我们还假设车辆相对于路面的侧倾角为0。我们假设不知道高度和俯仰角，因为随着车辆的动力学运动，他们是会改变的。道路场景中的车道线可以被表示为中心线的集合[size=11]{Ci}i=1:Nc或者车道线的集合{Di}i=1:Nd（之后车道线就指代传统的我们说的车道线，中心线就是两条车道线中的线）,如图3所示。每条车道实体(中心线或车道线)用摄像机坐标体系[/size]Ccamera下的三维曲线表示。我们将任务定义为检测给定图像的一组车道中心线和车道线。
图3. 带注释的例子。中心线用蓝色标出，车道线用黄色虚线标出
图4.相机姿态和道路投影面
3.1俯视图投影我们简要回顾 (IPM)。简而言之，IPM是一个单应性变换，它获取一个前视图图像并生成一个虚拟鸟瞰视图图像，如图1(a)中的图像所示。这相当于应用相机旋转矩阵，然后在各个方向上进行不同尺度的缩放（放大或缩小）处理。在我们的实现中，我们想要确保鸟瞰视图图像中的每个像素在道路上对应一个预定义位置（路面坐标系下的绝对位置），这个位置独立于摄像机的内部特性及其相对于道路的姿态。 如图4所示，对照此图进行定义，相机坐标Ccamera = (´x,´y,´z) 是一个集合，´y是他的镜头面法线（´y是深度方向），Proad是路面的切面。我们这样定义路面坐标系Croad=(x,y,z)，z方向是路面的法线，y是相机坐标系´y在Proad的投影，原点也是相机坐标系原点在路面切面上的投影，Tc2r是一个6自由度的变换矩阵（3个旋转，3个平移），他描述从相机坐标系到路面坐标系的一个变换，既然我们假设了侧倾角为0，那么Tc2r实际上被俯仰角θ以及高度hcam所定义。单应性矩阵（K*Tc2r-1），将路面上的每一个点映射到图像坐标系上。最后IPM通过单应性矩阵以及一组参数被获得，决定了俯视图上的边界以及从米到像素的缩放尺度，俯视图通过双线性差值采样，这个过程定义Sipm。
3.2射影转换和双特征模块在我们的结构中一个主要的部分是射影变换层。它对Ui（普通图像视图）进行可微采样，获得Ut，Ut对应俯视特征图。具体的在俯视图投影部分讲述了（就是三维的STN）。双特征模块，正如在图5中所示，使用射影变换层，创造更高描述层级的特征图。信息在在多通道的特征图Ut（对应正常视图特征）和Vt（对应俯视图特征）之间流动，使用上述的采样方法（类STN方法）Ui被变换为Ut，并且和Vt合并，他么分享共同的空间尺度。以上就只这个基础模块，他可以在网络中重复使用。考虑现在有一个特征图Mt，他的获得是通过将Vt与Ut合并为[Vt;Ut]，然后应用一个卷积层，获得Mt，Mt组合了在车道线检测中的两个有用的性质。1.首先，俯视图上的平移不变性，这十分有价值，因为在俯视图上，车道线有着相似的样子和空间上的几何结构。第二，保存了在两个视角下的信息（正常视图与俯视图），正常视图编码了一些在俯视图上没有的信息，比如栅栏，天际线，树木。这对于3D空间结构至关重要。特别的，对于远处来说，正常视图有着更加丰富的视觉信息，相比于俯视图，描述了一个更大的真实空间。
图5.双特征模块
3.3网络架构
架构总览如图6所示，信息在两条通路中被处理，正常视图通路，俯视图通路，我们管这个叫做双通路结构。正常视图通路处理和保存信息，而俯视图通路提供具有平移不变性的特征，并用于预测3D车道线输出。正常视图通路基于VGG16[29]，俯视图通路类似。信息经过射影变换层后流向俯视图通路，这样的通路有四条。为了避免流入的特征图的通道(C)数超过原有的通道数，通过1*1的卷积对其进行了降维，当然除了第一次流入（第一次流入没有原来的）。
图6.3D-LaneNet的整体结构
3.3.1道路投影预测分支这条通路估计路面投影平面Proad，具体的，分支预测Tc2r（通过监督方式），Tc2r决定了Hr2i，以及Sipm过程。这些是俯视图处理通路所需要的参数。在推理时，也被用于将网络的输出，输出是Croad坐标转换为Ccamera坐标。正如前边所描述过的，Tc2r使用俯仰角θ以及hcam定义的，因此道路投影预测分支预测这两个参数。
3.3.2车道线预测头我们的端到端方法的核心是基于anchor的车道线结果表示，受到目标检测方法的启发，我们使用anchors去定义候选车道线，并且用精细的几何表示方法来描述每个anchor的精确的3D车道线形状。输出所在的坐标体系是Croad，这个体系被前边定义的hcam，和θ所定义。我们的ahcnors在这个坐标系下对应纵向线，对于每一个anchor，根据3D点，做最终3D车道线的精细化处理。正如图7所展示的那样。我们将anchor定义为垂直于x轴的等距纵向线，他的集合是{XiA}i=1:N，每一个XiA线对应着2K个输出，这个输出集合表示为(xi,zi)={(xij,zij)}j=1:K，K是预先定义的一个超参数，对应着预先定义好的K个y方向上的位置，他们一起组成一个3D点集。xi代表着相对于anchorXiA的水平偏移，这意味着(xi,zi)代表着点(xi,XiA,yi,zij)，这个坐标是在Croad这个坐标体系下的。此外对于每一个anchor i，我们还会输出一个置信pi，这个代表着车道线与anchor的关联程度。我们使用一个预先定义的纵坐标Yref位置来表述这种关联，具体来说与XiA相关联的车道线，是在y = Yref这条水平线上，x的坐标偏移最小的那条车道线（简单看一下output的数量 2K个点加上一个置信p也就是说一个anchor对应2K+1个输出，如果只预测一条中心线，或者只预测一条车道线的话）。
图7.输出表示。注意输出的anchor的数量等于输出层的宽（图6中被标记为w/8）
每一个anchor，网络输出3种类型的车道分割，前两组代表着中心线，第三组代表着分隔线，为每个anchor分配两条可能的中心线将产生对汇聚和分叉的描述支持，这通常会导致两条车道的中心线在Yref重合，并在不同的道路位置分开，如图7中最右边的例子所示。车道线的拓扑结构相比于中心线来说，通常会更加的复杂，我们现在的这种表示方式，还不能描述所有的情况，比如图7中车道线没有经过Yref。车道线预测头被设计为输出如我们描述的那样的输出，通过一系列的y方向的无padding的卷积，特征图在H方向上逐渐减小，最终形成N×1×3×(2K+1)的输出（按照标准pytorch描述，可以说成是batch, (3*(2K+1),1,N)，前面最后一个之所以乘3，是对每一个车道输出三种描述，分别是中心线，中心线，和车道线）中的一个i∈{1...N}，对应着一个anchorXiA，每一个anchor，XiA，类型t∈{c1,c2,d}被输出表示为(xti,zti,pti)，最终的输出还会经过一个1D的非极大抑制，就如在目标检测中的那样，只保留局部最大置信度的车道(与左右相邻anchor相比)，每一个被保留的车道线，都有少量的3D（K个）点，然后利用他们，利用样条插补的方式完成光滑曲线的生成。
3.4训练与真值关联给定一个图片，和他对应的3D曲线，训练过程如下：第一真值坐标系Croad被定义为与当前路面切面相关的，使用θ和hcam定义的，如前面所描述的那样。接下来，每一个车道曲线，投影到Croad坐标系下的X–Y平面上，并且与他们关联的anchor定义为在Yref处与他们最近的那个。（这里的关联就是这个anchor负责预测哪个，与yolo里目标中心落在哪个小方格中心，哪个小方格就预测谁类似）对于每一个anchor来说，最左侧的中心线，以及最左侧的车道线t∈{c1,c2,d}被定义为集合中的c1和d1，如果还有额外的中心线，那门它被定义为c2。这种方式将真值定义为与输出相同的形式，每一个anchorXiA和类型t相关的GT被标记为(xti,zti,pti)，pti是在坐标系Croad下的分配标识（我理解为有就是1，没有就是0）。 在训练以及评估阶段，整个车道将会被忽略，如果他们在俯视图中在y = Yref处没有值，并且如果他们被地形所挡住，他呢也将被忽略（比如被小山丘挡住），整个的loss函数被给出，如下，它结合了三个等权重的loss，车道线检测（有无）（交叉熵损失）三维几何形状损失，以及道路平面估计损失。
4. 模仿合理行为
我们的实验描述按如下步骤：我们先回顾一下我们生成的synthetic-3D-lanes 数据集，我们的大多数结论产生于此。接下来，我们描述下对于3D车道检测任务的评估方法，然后，我们展示在我们制作的这个数据及上的结果，以及控制变量法检查每一个概念（方法）对于我们整个方法的贡献。最后，为了证明我们的方法在真实数据上的可用性，我们将我们的方法与其他单图片车道检测办法在tuSimple benchmark 上进行了比较。
4.1合成的3D车道数据集
我们生成synthetic-3D-lanes 数据集使用考元的图形引擎blender，我们的方法允许我们随机生成模型的各个部分，从场景的3D几何形状，到目标的类型，如图8所示。
图8.随机生成的数据集。(a)路面(b)道路拓扑结构和曲率(c)路与路面(d)渲染场景。
生成每一个场景的步骤如下：
4.1.1评估方法我们提出一种对于3D车道检测的评估办法，他讲检测的准确率与几何估计准确率分割开来，检测准确率通过标准的平均精度办法(AP)来计算回归曲线的精度。我们首先计算真值曲线与预测曲线的加权欧式距离，我们计算在预先设定的各个y位置上距离，每80cm的图片距离代表实际的80m，远处的点的距离计算给予较低的权重，然后，我们通过选择减少相似性的配对来执行一对一(曲线)匹配，当他们的加权距离小于一个阈值，匹配被认为是成功的，迭代这个阈值，已获得更加精确地阈值。 对于配对的曲线，我们评估几何估计精度通过计算他们误差的分布，（这在计算距离的时候用到过），我们将整个数据集的车道线点分为近距离（0-30m）与远距离（30-80m）由于他们误差的巨大差异。然后我们计算误差为1δ误差的，比如百分之68这样，还有误差为2δ误差的，比如百分之95类似这样，道路中心线与车道线都各自用这种方法评估。在训练阶段被忽略的那些点，在评估的时候也被忽略。
4.1.2评估结果在测试集上典型的网络结果如图2，用真值做标记。表1第一行为3D-LaneNet中心线检测定量结果。一个对合成数据集有必要的担心是，他的变换实在是太有限了，导致网络记住了整个样例空间，而不是去学习如何泛化，一个积极地结果表明这种情况没有发生是测试集的AP(0.952)略低于训练集AP（0.966）对于几何误差也是同样的。在接下来的控制变量实验中，我们都用训练好的3D-LaneNet的参数做初始化，用以减少训练时间。
表1.在synthetic-3D-lanes dataset 上的中心线检测结果
我们首先通过与其他结构进行比较来探求双通路结构的作用，只有正常视图通路的版本，将网络后部分直接连接到lane detection head 输出Croad下的3D坐标，就如完整版本那样，这个时候anchor 被最后一张特征图上的列所决定，对于每一列，我们在预定义的图像y坐标上选取一个像素，并将其投影到俯视图中，以确定与列对应的anchor。只有俯视图版本，首先将图片投影到俯视图上，然后后面继续进行和完整版本的俯视图通路同样的计算。除此之外，我们还测试了两个版本，它们包含双通路结构，但是这个机构的个数和位置不同。Early IPM版本包含一个双特征模块（dual context module），并且是第一个，late IPM同样只包含一个，不过包含的的是最后那个。结果在被总结在表格1中，结果表示了，带有完全体双特征模块的相对于其他变体有着非常好的超级表现，特别的，只有正常视图通路的有着最差的结果，这说明，俯视图通路的处理是十分有必要的。注意late ipm版本，只包含一个双特征模块，表现出了第二高的准确率，但是却减少了很多的计算，这使他成为一个可实时应用的候选模型。 我们尝试了几个版本的道路投影平面定义，这是我们架构和输出表示的核心，我们的第一个尝试是在没有显示监督的情况下，学习每个场景的最佳道路投影平面，类似于[23]中的“H-net”地平线估计，但是这种方法没有得到令人满意的结果。我们认为这一方向值得进一步研究，因为这是最自然的方向。另一个自然的选择是在拟合道路平面时考虑整个场景，而不仅仅是局部道路的发现。为此，我们设计了一种地面真值生成算法，该算法取最远处可见的道路点，并将其与当前道路位置相连接以确定俯仰角。由于这种方法类似于水平估计方法，所以在表格中将其称为水平（horizon）。显然，它的表现总的来说略差，虽然我们一直观察的情况下，场景地形有利于这一定义。我们也尝试假设一个固定的相机位置，其中平均俯仰角为(2.5◦)和相机高度(165厘米)这两个数据被用来定义Tc2r。 表格1中的最后一行显示了假定地面是平坦的图像到世界转换的结果。这通过将我们完整版的网络中估计的z设置为0来实现。尽管这个糟糕的结果有一些繁琐，并且有着高度的数据依赖性，但他还是告诉我们3D车道探测的重要性。带着0.966的AP，完整版的3D车道检测网络在车道线的检测上超过了中心线的检测，这可能是因为在图片中，车道线有比较明显的显示。在他们的位置误差分布上也是同样的（nearrange: 10.5cm@1σ,28cm@2σ; far range:27.3cm@1σ and 106cm@2σ） 既然输出从路面坐标系通过Tc2r转换到了相机坐标系，我们也评估了这种估计的质量以及他对最终结果的影响。俯仰角和相机高度误差的中位数为0.09°和2.4cm，为了消除这两个误差对最终结果所造成的影响，我们评估了Croad下的坐标，方法是通过直接拿到网络的原始输出。
5. 总结及未来工作
我们提出了一个单帧单次cnn前向传播，不需要其他后续处理工作的车道检测办法。在tuSimple benchmark 上，我们展现了富有竞争力的结果，并且在我们合成的3D车道线数据及上，我们的方法能够进行多车道的3D检测。最重要的是，接下来的研究证明了这是可以应用在真是世界的数据上的。我们现在的表示在（在纵向上的anchor，判断Yref存在与否）还比较粗糙，这限制了该方法对车道复杂拓扑结构的表示，比如城市内部，在接下来的工作中，我们会更新我们的表示方法使用端到端的机制来来处理这些情况。
摘要:
这里介绍一种架构，它可以直接从一张图像预测出道路场景中的三维车道，这项工作标志着首次尝试通过在线感知解决这一任务，而不是依赖于预先映射的环境。我们的网络架构，3d-lanenet中有两个新的概念，1.网络内部的反透视变换。2.基于anchor的车道线表示。网络内反透视变换投影使得在常规图像视图和俯视图中都能方便地表示信息流.一个基于anchor的列输出表示使得我们这个端到端的方法能够替代传统的启发式方法，比如聚类和奇异点处理。此外，我们的方法精准的解决了复杂情况，比如车道的合并以及车道的分开（比如一条车道延伸之后分叉类似这种情况）。在我们的new 3D lane synthetic dataset 上，架构表现出了非常好的结果。为了和现有的方法作对比，我们验证了在image-only tuSimple lane detection benchmark 上的有效性，并获得了非常具有竞争力的表现。
1.介绍
三维车道检测是实现自动驾驶的关键技术，它包括对相对于主控车辆的可行驶车道的三维位置的精确估计。存在两种互补的技术解决方案:加载离线生成的预映射车道和基于感知的实时车道检测。离线解决方案在给定精确当前车辆定位(在地图坐标中)的情况下具有高的几何精度，但是部署和维护起来很复杂。最常见的基于感知的解决方案是使用单目摄像头作为主要传感器来解决任务。现有的基于相机的方法检测图像中的车道，然后通过平坦地面的假设，将它们投射到三维世界，当然当地面平坦这个假设不对的时候，会导致不准确的估计与检测。
受到近年来CNN在单目深度信息预测的成功激励，我们提出了直接检测3D车道线的方法。更正式地说，给定从前置摄像头拍摄的一张图像，任务是输出一组车道实体，每个实体在相机坐标中表示为3D曲线，描述车道分隔符（分隔符就是传统意义上的车道线）或车道中心线（中心线是两条传统意义上的车道线中间的线）。我们提出了3D- lanenet，一个基于CNN的模型，可以进行3D车道检测。该网络经过端到端的训练，输出是在道路的每一个纵向切片上（道路被竖着分为很多的列，每一个列相当于一个切片。），这些输出包括车道线经过这个纵向切片的置信，以及他的3D曲线坐标。我们的方法原理在图1中做了解释。 我们直接的单阶段的方法避免了使用现有方法进行后处理，包括聚类，奇异点处理等。整个网络的架构基于一个创新的双通路（并不是并行的）结构，这个结构在网络内部，对特征图进行一些透射投影变换以生成虚拟的鸟瞰视图。这种双特征表示（正常视图特征，以及鸟瞰视图特征，原文是image view 以及 top view）提高了在道路场景下，网络的推断能力。输出被表示为一个新的基于列的anchor编码（即在该anchor下的各种参数信息），这使得网络具有水平不变形，并且保证了端到端。每个输出都对应一个anchor，类似于基于anchor的单阶段目标检测办法，比如SSD[20]，YOLO[27]。
图1.(a)端到端的方法的原理图解，以及在俯视图上的车道检测结果实例。(b)结果在原图上的投影。
为了完成这项任务，获取带有3D标记的地面真实数据是一项需要多传感器和昂贵的高清地图的工作，在我们的工作中，我们训练和测试我们的网络通过一个新的和合成数据集synthetic-3D-lanes，你可以获得每一条车道线的所有的精确3D位置坐标。数据集目前限制在高速公路场景中，尽管有一些道路模拟器，但是他们的目的不是为了3D车道线检测任务的。并且限制了相关场景属性(如车道曲率)的可变性。我们在该领域的主要成就是能够随机生成具有可变三维形状和车道拓扑结构的高速路段。而我们方法的主要优势在于估计3D车道线，还有纯图像进行车道线检测。我们在tuSimple数据集上对我们的直接方法进行了训练和测试，在不使用通常的后处理技术的情况下，我们获得了与现有技术相媲美的结果。
总结一下我们的主要贡献：
定义了3D车道线检测任务的度量标准，同时也第一个提出了3D检测任务的解决办法
一个创新的双通路带有内部投影变换的结构.
一个新的基于anchor的车道线输出表示，使得网络支持直接的端到端的预测。这可以应用于3D车道线检测和基于图像的检测
一种随机生成具有车道拓扑变化(车道数、汇集、分叉)和三维形状的合成样本的方法。
2. 相关工作
传统的车道检测系统(将低层次的操作(如方向滤波器)与高层次的启发式(如霍夫变换)结合起来检测图像中的连续车道。一个通常的流程包括4个阶段:局部车道特征提取(1)、车道模型拟合(2)、图像与世界的对应(3)，聚合(4)。近年来，局部特征提取阶段是通过对图像应用一个或多个CNNs来完成的，但总体上流程仍然非常相似，后期处理仍然存在。
具体来说，CNNs可以通过增强边缘图或分类候选块来改进特征提取。Huval检测本地车道线通过目标检测CNN。VPGNet Lee等人遵循类似的概念，并且额外检测其他道路标记和消失点，以改进车道检测。KIM和park重新定义了特征提取阶段，将其作为一个分割问题，这个问题有两个分类类别，左车道线和右车道线，延伸网络的范围来执行（extending the reach of the network to perform clustering.）但是，仍然必须为每个cluster安装一个世界坐标车道模型，并且无法处理多车道问题。Nevenetal.[23]尝试端到端多车道检测，通过训练CNN不仅创建一个0，1车道像素掩码，而且还为每个像素点嵌入用于聚类车道点的特征向量。Ghafooria提出使用生成对抗网络使语义分割网络的工作输出在车道检测的背景下更加真实。一些工作(如Meyer等人的，Oliveira等人的)是基于类似的方法构建的，其中主车道和相邻的车道是语义类(车道内部整片而不是车道线)。
与所有提出的方法相反，3D- lanenet统一了前三个阶段的共同流程，提供了一个完整的在三维世界坐标体系的多车道表示方法，并且只通过一次前向传播。此外，以往的方法采用平面假设进行图像到世界的对应，而我们的方法估计了车道的整个三维形状。
IPM通过相机视角图像生成一个场景的虚拟的鸟瞰图，这个的具体操作Mal-lot et al. [21]在障碍检测中解释了。并且第一次被Pomer-leau在车道线检测中使用，IPM已经在车道线检测任务中被广泛的使用，因为在鸟瞰图视角中，车道线相互平行，并且他们的曲率情况可以用低阶多项式拟合。此外，进行透视变换后，使得他们看起来更加的想近了，（当然会有一些模糊效果）（本来远处的车道线在相机图像上比较小。）最近，He等人引入了一种“Dual-viewCNN”它由两个独立的子网络组成，每个子网络产生一个车道线描述(每个视图一个车道线描述)，然后将描述符连接并应用于候选图像位置。Li等人使用CNN直接在鸟瞰图上检测车道标记和几何属性，如局部位置和方向，在鸟瞰图上，这些属性保持不变。此外，他们还部署了第二个循环网络，该网络遍历图像以检测一致的车道。Neven等人使用子网络(“H-net”)预测每张图像中的俯仰，将车道投影到俯视图，以改进曲线拟合。与以前的工作不同，我们使用协同的单一网络方法来利用这两种观点。
更一般地，我们提出了第一种方法，这种方法使用端到端训练的CNN直接检测多个车道，并估计每个车道的三维曲率。我们还展示了我们的方法既适用于中心线，也适用于通常意义下的车道线，并且具有处理汇聚和分叉的能力，无需任何进一步的后处理。
图2.在测试集’synthetic-3D-lanes dataset’上，置信度大于0.5的车道中心线估计结果实例。在每一幅图片中，对真值（蓝色）和方法的结果（红色）进行了展示，并配有一个3D的可视化。需要主要的是，3D可视化轴的尺度根据场景而变化。被忽略的车道被标记为蓝绿色。右下角是一个失败的例子，可能是由于阻塞，在这个例子中，这条路被错误地认为是右车道。
3.方法
我们的方法从安装在车辆上的前置摄像头获取单个图像作为输入，如图4。我们假设相机的内参矩阵κ已知（焦距，光心）我们还假设车辆相对于路面的侧倾角为0。我们假设不知道高度和俯仰角，因为随着车辆的动力学运动，他们是会改变的。道路场景中的车道线可以被表示为中心线的集合[size=11]{Ci}i=1:Nc或者车道线的集合{Di}i=1:Nd（之后车道线就指代传统的我们说的车道线，中心线就是两条车道线中的线）,如图3所示。每条车道实体(中心线或车道线)用摄像机坐标体系[/size]Ccamera下的三维曲线表示。我们将任务定义为检测给定图像的一组车道中心线和车道线。
图3. 带注释的例子。中心线用蓝色标出，车道线用黄色虚线标出
图4.相机姿态和道路投影面
3.1俯视图投影我们简要回顾 (IPM)。简而言之，IPM是一个单应性变换，它获取一个前视图图像并生成一个虚拟鸟瞰视图图像，如图1(a)中的图像所示。这相当于应用相机旋转矩阵，然后在各个方向上进行不同尺度的缩放（放大或缩小）处理。在我们的实现中，我们想要确保鸟瞰视图图像中的每个像素在道路上对应一个预定义位置（路面坐标系下的绝对位置），这个位置独立于摄像机的内部特性及其相对于道路的姿态。 如图4所示，对照此图进行定义，相机坐标Ccamera = (´x,´y,´z) 是一个集合，´y是他的镜头面法线（´y是深度方向），Proad是路面的切面。我们这样定义路面坐标系Croad=(x,y,z)，z方向是路面的法线，y是相机坐标系´y在Proad的投影，原点也是相机坐标系原点在路面切面上的投影，Tc2r是一个6自由度的变换矩阵（3个旋转，3个平移），他描述从相机坐标系到路面坐标系的一个变换，既然我们假设了侧倾角为0，那么Tc2r实际上被俯仰角θ以及高度hcam所定义。单应性矩阵（K*Tc2r-1），将路面上的每一个点映射到图像坐标系上。最后IPM通过单应性矩阵以及一组参数被获得，决定了俯视图上的边界以及从米到像素的缩放尺度，俯视图通过双线性差值采样，这个过程定义Sipm。
3.2射影转换和双特征模块在我们的结构中一个主要的部分是射影变换层。它对Ui（普通图像视图）进行可微采样，获得Ut，Ut对应俯视特征图。具体的在俯视图投影部分讲述了（就是三维的STN）。双特征模块，正如在图5中所示，使用射影变换层，创造更高描述层级的特征图。信息在在多通道的特征图Ut（对应正常视图特征）和Vt（对应俯视图特征）之间流动，使用上述的采样方法（类STN方法）Ui被变换为Ut，并且和Vt合并，他么分享共同的空间尺度。以上就只这个基础模块，他可以在网络中重复使用。考虑现在有一个特征图Mt，他的获得是通过将Vt与Ut合并为[Vt;Ut]，然后应用一个卷积层，获得Mt，Mt组合了在车道线检测中的两个有用的性质。1.首先，俯视图上的平移不变性，这十分有价值，因为在俯视图上，车道线有着相似的样子和空间上的几何结构。第二，保存了在两个视角下的信息（正常视图与俯视图），正常视图编码了一些在俯视图上没有的信息，比如栅栏，天际线，树木。这对于3D空间结构至关重要。特别的，对于远处来说，正常视图有着更加丰富的视觉信息，相比于俯视图，描述了一个更大的真实空间。
图5.双特征模块
3.3网络架构
架构总览如图6所示，信息在两条通路中被处理，正常视图通路，俯视图通路，我们管这个叫做双通路结构。正常视图通路处理和保存信息，而俯视图通路提供具有平移不变性的特征，并用于预测3D车道线输出。正常视图通路基于VGG16[29]，俯视图通路类似。信息经过射影变换层后流向俯视图通路，这样的通路有四条。为了避免流入的特征图的通道(C)数超过原有的通道数，通过1*1的卷积对其进行了降维，当然除了第一次流入（第一次流入没有原来的）。
图6.3D-LaneNet的整体结构
3.3.1道路投影预测分支这条通路估计路面投影平面Proad，具体的，分支预测Tc2r（通过监督方式），Tc2r决定了Hr2i，以及Sipm过程。这些是俯视图处理通路所需要的参数。在推理时，也被用于将网络的输出，输出是Croad坐标转换为Ccamera坐标。正如前边所描述过的，Tc2r使用俯仰角θ以及hcam定义的，因此道路投影预测分支预测这两个参数。
3.3.2车道线预测头我们的端到端方法的核心是基于anchor的车道线结果表示，受到目标检测方法的启发，我们使用anchors去定义候选车道线，并且用精细的几何表示方法来描述每个anchor的精确的3D车道线形状。输出所在的坐标体系是Croad，这个体系被前边定义的hcam，和θ所定义。我们的ahcnors在这个坐标系下对应纵向线，对于每一个anchor，根据3D点，做最终3D车道线的精细化处理。正如图7所展示的那样。我们将anchor定义为垂直于x轴的等距纵向线，他的集合是{XiA}i=1:N，每一个XiA线对应着2K个输出，这个输出集合表示为(xi,zi)={(xij,zij)}j=1:K，K是预先定义的一个超参数，对应着预先定义好的K个y方向上的位置，他们一起组成一个3D点集。xi代表着相对于anchorXiA的水平偏移，这意味着(xi,zi)代表着点(xi,XiA,yi,zij)，这个坐标是在Croad这个坐标体系下的。此外对于每一个anchor i，我们还会输出一个置信pi，这个代表着车道线与anchor的关联程度。我们使用一个预先定义的纵坐标Yref位置来表述这种关联，具体来说与XiA相关联的车道线，是在y = Yref这条水平线上，x的坐标偏移最小的那条车道线（简单看一下output的数量 2K个点加上一个置信p也就是说一个anchor对应2K+1个输出，如果只预测一条中心线，或者只预测一条车道线的话）。
图7.输出表示。注意输出的anchor的数量等于输出层的宽（图6中被标记为w/8）
每一个anchor，网络输出3种类型的车道分割，前两组代表着中心线，第三组代表着分隔线，为每个anchor分配两条可能的中心线将产生对汇聚和分叉的描述支持，这通常会导致两条车道的中心线在Yref重合，并在不同的道路位置分开，如图7中最右边的例子所示。车道线的拓扑结构相比于中心线来说，通常会更加的复杂，我们现在的这种表示方式，还不能描述所有的情况，比如图7中车道线没有经过Yref。车道线预测头被设计为输出如我们描述的那样的输出，通过一系列的y方向的无padding的卷积，特征图在H方向上逐渐减小，最终形成N×1×3×(2K+1)的输出（按照标准pytorch描述，可以说成是batch, (3*(2K+1),1,N)，前面最后一个之所以乘3，是对每一个车道输出三种描述，分别是中心线，中心线，和车道线）中的一个i∈{1...N}，对应着一个anchorXiA，每一个anchor，XiA，类型t∈{c1,c2,d}被输出表示为(xti,zti,pti)，最终的输出还会经过一个1D的非极大抑制，就如在目标检测中的那样，只保留局部最大置信度的车道(与左右相邻anchor相比)，每一个被保留的车道线，都有少量的3D（K个）点，然后利用他们，利用样条插补的方式完成光滑曲线的生成。
3.4训练与真值关联给定一个图片，和他对应的3D曲线，训练过程如下：第一真值坐标系Croad被定义为与当前路面切面相关的，使用θ和hcam定义的，如前面所描述的那样。接下来，每一个车道曲线，投影到Croad坐标系下的X–Y平面上，并且与他们关联的anchor定义为在Yref处与他们最近的那个。（这里的关联就是这个anchor负责预测哪个，与yolo里目标中心落在哪个小方格中心，哪个小方格就预测谁类似）对于每一个anchor来说，最左侧的中心线，以及最左侧的车道线t∈{c1,c2,d}被定义为集合中的c1和d1，如果还有额外的中心线，那门它被定义为c2。这种方式将真值定义为与输出相同的形式，每一个anchorXiA和类型t相关的GT被标记为(xti,zti,pti)，pti是在坐标系Croad下的分配标识（我理解为有就是1，没有就是0）。 在训练以及评估阶段，整个车道将会被忽略，如果他们在俯视图中在y = Yref处没有值，并且如果他们被地形所挡住，他呢也将被忽略（比如被小山丘挡住），整个的loss函数被给出，如下，它结合了三个等权重的loss，车道线检测（有无）（交叉熵损失）三维几何形状损失，以及道路平面估计损失。
4. 模仿合理行为
我们的实验描述按如下步骤：我们先回顾一下我们生成的synthetic-3D-lanes 数据集，我们的大多数结论产生于此。接下来，我们描述下对于3D车道检测任务的评估方法，然后，我们展示在我们制作的这个数据及上的结果，以及控制变量法检查每一个概念（方法）对于我们整个方法的贡献。最后，为了证明我们的方法在真实数据上的可用性，我们将我们的方法与其他单图片车道检测办法在tuSimple benchmark 上进行了比较。
4.1合成的3D车道数据集
我们生成synthetic-3D-lanes 数据集使用考元的图形引擎blender，我们的方法允许我们随机生成模型的各个部分，从场景的3D几何形状，到目标的类型，如图8所示。
图8.随机生成的数据集。(a)路面(b)道路拓扑结构和曲率(c)路与路面(d)渲染场景。
生成每一个场景的步骤如下：
- 3D地形：地形通过随机生成参数的高斯混合分布来生成，如图8a所示。
- 地形拓扑：车道的数量是被选定的，然后我们选择是否有第二条路，和在这条路里的车道，取决于后来在场景中相机的方向，第二车道的连接被视为一个车道汇聚或者车道分叉。
- 车道曲率：每一个车道在俯视图中的几何形状用三次多项式建模，如果存在汇聚/分叉，则选择连接点，这个在俯视图上的结果如图8b所示，车道的宽度被随机选择为3到4米。
- 3D车道：俯视图上生成的三次多项式会被映射到之前生成的地形上，第二车道也是，模仿正常道路的拓扑结构，如图8c所示的那样。
- 地形和道路表示：道路和地形的纹理是从一组纹理中选择的。车道标记的类型和颜色也是随机的。
- 目标：车辆和树木分别摆放在场景中、道路上和道路外。它们的模型是从一组可选模型中选择的。
- 场景生成：主车相机通过选择它的车道和他相对于车道中心的横向偏移放置在主道路上。相机的高度被随机设置为140cm到190cm，俯仰角被随机生成为0到5度，最终，光度被设置，并且场景从相机视角生成，每条车道中心线与车道线的3D点被转换为相机坐标系下的坐标，来产生真值。图8包括几个场景的例子，展现了场景的多样性与复杂性。
- 应用细节：正常视图通路用预训练的VGG16进行初始化，我们使用adam优化方法，学习率设置为5.1*10-4，我们使用在循环学习率上的变化机制如[30]中描述的那样，并且设置最小的学习率为10-6俯视图上的场景在真实场景中的尺寸为80m*20m，IPM在x与y两个方向上具有不同的缩放尺度，在第一次俯视图特征图上（第一次变换的）每一个像素点代表着真实世界16cm的宽度（x向）和38.4cm的长度（y向）最后一张特征图的边长是第一张的八分之一，并且每一列代表一个anchor，所以两个临近的anchor之间的距离为真实世界中的128cm（16*8），我们将K设置为6，预设的y的位置为:y={5,20,40,60,80,100}和Yref=20m。
4.1.1评估方法我们提出一种对于3D车道检测的评估办法，他讲检测的准确率与几何估计准确率分割开来，检测准确率通过标准的平均精度办法(AP)来计算回归曲线的精度。我们首先计算真值曲线与预测曲线的加权欧式距离，我们计算在预先设定的各个y位置上距离，每80cm的图片距离代表实际的80m，远处的点的距离计算给予较低的权重，然后，我们通过选择减少相似性的配对来执行一对一(曲线)匹配，当他们的加权距离小于一个阈值，匹配被认为是成功的，迭代这个阈值，已获得更加精确地阈值。 对于配对的曲线，我们评估几何估计精度通过计算他们误差的分布，（这在计算距离的时候用到过），我们将整个数据集的车道线点分为近距离（0-30m）与远距离（30-80m）由于他们误差的巨大差异。然后我们计算误差为1δ误差的，比如百分之68这样，还有误差为2δ误差的，比如百分之95类似这样，道路中心线与车道线都各自用这种方法评估。在训练阶段被忽略的那些点，在评估的时候也被忽略。
4.1.2评估结果在测试集上典型的网络结果如图2，用真值做标记。表1第一行为3D-LaneNet中心线检测定量结果。一个对合成数据集有必要的担心是，他的变换实在是太有限了，导致网络记住了整个样例空间，而不是去学习如何泛化，一个积极地结果表明这种情况没有发生是测试集的AP(0.952)略低于训练集AP（0.966）对于几何误差也是同样的。在接下来的控制变量实验中，我们都用训练好的3D-LaneNet的参数做初始化，用以减少训练时间。
表1.在synthetic-3D-lanes dataset 上的中心线检测结果
我们首先通过与其他结构进行比较来探求双通路结构的作用，只有正常视图通路的版本，将网络后部分直接连接到lane detection head 输出Croad下的3D坐标，就如完整版本那样，这个时候anchor 被最后一张特征图上的列所决定，对于每一列，我们在预定义的图像y坐标上选取一个像素，并将其投影到俯视图中，以确定与列对应的anchor。只有俯视图版本，首先将图片投影到俯视图上，然后后面继续进行和完整版本的俯视图通路同样的计算。除此之外，我们还测试了两个版本，它们包含双通路结构，但是这个机构的个数和位置不同。Early IPM版本包含一个双特征模块（dual context module），并且是第一个，late IPM同样只包含一个，不过包含的的是最后那个。结果在被总结在表格1中，结果表示了，带有完全体双特征模块的相对于其他变体有着非常好的超级表现，特别的，只有正常视图通路的有着最差的结果，这说明，俯视图通路的处理是十分有必要的。注意late ipm版本，只包含一个双特征模块，表现出了第二高的准确率，但是却减少了很多的计算，这使他成为一个可实时应用的候选模型。 我们尝试了几个版本的道路投影平面定义，这是我们架构和输出表示的核心，我们的第一个尝试是在没有显示监督的情况下，学习每个场景的最佳道路投影平面，类似于[23]中的“H-net”地平线估计，但是这种方法没有得到令人满意的结果。我们认为这一方向值得进一步研究，因为这是最自然的方向。另一个自然的选择是在拟合道路平面时考虑整个场景，而不仅仅是局部道路的发现。为此，我们设计了一种地面真值生成算法，该算法取最远处可见的道路点，并将其与当前道路位置相连接以确定俯仰角。由于这种方法类似于水平估计方法，所以在表格中将其称为水平（horizon）。显然，它的表现总的来说略差，虽然我们一直观察的情况下，场景地形有利于这一定义。我们也尝试假设一个固定的相机位置，其中平均俯仰角为(2.5◦)和相机高度(165厘米)这两个数据被用来定义Tc2r。 表格1中的最后一行显示了假定地面是平坦的图像到世界转换的结果。这通过将我们完整版的网络中估计的z设置为0来实现。尽管这个糟糕的结果有一些繁琐，并且有着高度的数据依赖性，但他还是告诉我们3D车道探测的重要性。带着0.966的AP，完整版的3D车道检测网络在车道线的检测上超过了中心线的检测，这可能是因为在图片中，车道线有比较明显的显示。在他们的位置误差分布上也是同样的（nearrange: 10.5cm@1σ,28cm@2σ; far range:27.3cm@1σ and 106cm@2σ） 既然输出从路面坐标系通过Tc2r转换到了相机坐标系，我们也评估了这种估计的质量以及他对最终结果的影响。俯仰角和相机高度误差的中位数为0.09°和2.4cm，为了消除这两个误差对最终结果所造成的影响，我们评估了Croad下的坐标，方法是通过直接拿到网络的原始输出。
5. 总结及未来工作
我们提出了一个单帧单次cnn前向传播，不需要其他后续处理工作的车道检测办法。在tuSimple benchmark 上，我们展现了富有竞争力的结果，并且在我们合成的3D车道线数据及上，我们的方法能够进行多车道的3D检测。最重要的是，接下来的研究证明了这是可以应用在真是世界的数据上的。我们现在的表示在（在纵向上的anchor，判断Yref存在与否）还比较粗糙，这限制了该方法对车道复杂拓扑结构的表示，比如城市内部，在接下来的工作中，我们会更新我们的表示方法使用端到端的机制来来处理这些情况。
谷歌ChauffeurNet:训练能够鲁棒地驾驶实车的网络
知识讲堂 • betty19920416 发表了文章 • 0 个评论 • 1746 次浏览 • 2019-04-23 10:21
编者按：Waymo于2018年底发表了本论文，介绍如何利用并改进模仿学习以获得能够较为鲁棒的驾驶模型ChaufferNet。它与典型的端到端学习不同，采用的是mid-mid的方式，在仿真环境和实车测试中都有不错的表现。模型一方面基于大量数据模仿学习合理的驾驶行 ...查看全部
编者按：Waymo于2018年底发表了本论文，介绍如何利用并改进模仿学习以获得能够较为鲁棒的驾驶模型ChaufferNet。它与典型的端到端学习不同，采用的是mid-mid的方式，在仿真环境和实车测试中都有不错的表现。模型一方面基于大量数据模仿学习合理的驾驶行为，另一方面通过在合理驾驶轨迹上附加扰动以制造各种特殊的驾驶情形，结合对应的附加损失函数，训练网络如何应对扰动和避免不良行为。ChaufferNet驾驶模型具有较好的鲁棒性，虽然目前还不能够和运动规划方法竞争，但的确是机器学习驾驶模型前进的一大步。
摘要:
我们的目标是通过模仿学习训练出能足够鲁棒地驾驶真实车辆的网络。我们发现单纯的行为模仿不能应对复杂的驾驶场景，即使我们利用感知系统预处理传感器输入，同时利用控制器在车辆上执行模型输出：3000万量级的学习样本仍然不够。我们尝试利用在合理驾驶的数据上附加扰动得到的合成数据来辅助学习，创造出一些特别的驾驶情形，如车辆发生碰撞或驶离道路。我们不是纯粹模仿所有合理驾驶的数据，而是在模仿损失上增加了一些损失，用于惩罚不良的行为并鼓励学习的进展。在合理驾驶的数据上增加的扰动为这些损失提供了重要信号，并导致学习得到的模型具有鲁棒性。我们证明了ChauffeurNet模型可以应付仿真环境中的复杂情形且能够合理地应对随机因素，同时进行了实验对本文提出的各项改进的重要性加以说明。最后我们展示了使用训练得到的模型在现实世界中驾驶汽车的效果。
关键词：深度学习 mid-mid驾驶 驾驶行为学习 轨迹预测
1.介绍
驾驶员在驾驶时需要观察和理解环境中的各种物体，预测它们未来可能的行为和交互情况，然后思考如何控制汽车，在遵从道路交通规则的条件下安全到达目标位置。这项任务对于机器来说是很有挑战性，人类却可以很好地完成，因此模仿学习是解决这个问题的一种很有前景的方法。我们工作的目标就是使得模仿学习得到的模型能够达到可用于驾驶真实车辆的水平。我们在利用大量训练数据（3000万现实世界中合理驾驶的样本，相当于持续驾驶约60天）的基础上尽可能高效地构建了我们的系统。的确，端到端的驾驶行为学习有很多令人兴奋的地方。它们通常致力于通过学习，在相机或激光雷达数据等原始传感器输入数据的基础上，直接预测诸如转向或制动等原始控制输出。但为了降低样本的复杂性，我们选择了建立在感知和控制组件之上的中级输入和中级输出表示。我们使用能够加工处理原始传感器信息的感知系统来产生这种中级输入：俯视的环境表达和目标路线，车辆等物体被绘制为有向的边界框，道路信息和交通信号灯状态也在其中。我们将这种中级输入注入到一个名为ChauffeurNet的循环神经网络中，由这个网络输出一条驾驶轨迹，再由控制器将此驾驶轨迹转换为转向和加速度控制指令。使用这些中级表示的另一个优点是：网络既可以使用实际数据，也可以使用模拟数据来训练，且可以在部署到实车之前在闭环仿真中轻松完成测试和验证工作。
我们的第一个发现是，即使在拥有3000万个驾驶样本并使用中级输入和中级输出表示减轻感知与控制负担的条件下，单纯的模仿学习依然不能达到目标。例如我们发现这种情形：本车会与一辆停在狭窄街道一侧的车发生碰撞或者卡在这辆车后不动，然而此时避让和超车都是完全可行的。关键的挑战是我们需要闭环地运行系统，而误差的累积将会导致驾驶情形偏离训练时的分布。这一结果是单纯的模仿学习在驱动车辆驾驶领域具有局限性的很有价值的证据。此外我们还发现在模仿损失的基础上，增加一些抑制不良行为并鼓励学习进展的损失，同时增加附加了扰动的合成驾驶轨迹可以克服这一挑战。这些改进使得模型能够接触到发生碰撞和驶出道路等非常规行为，同时损失函数的增大将引导模型避免这些行为。正是由于采用中级的输入输出表示，我们才能得到大量这样的合成驾驶轨迹。这些扰动很难从原始传感器输入或直接馈送到车辆的控制器输出中生成。
我们首先在仿真中评估整个系统以及进行损失函数扩增和数据扩增的重要性，之后展示最终模型如何在现实世界中驾驶汽车，并协调处理涉及其他交通参与者、转弯、停车标志和交通信号灯等对象的驾驶情形。变道等具有高度互动性的驾驶情形，仍然需要在强化学习的框架内进行大量的探索。这就要求实现对其他交通参与者例如行人的模拟，而这种模拟也是一个正在迅速发展的值得探索的研究领域。本文的贡献可以理解为：在没有使用强化学习的条件下，我们仍然可以用纯粹的离线数据来完成更多的驾驶学习任务。
2. 相关工作
ALVINN上数十年的工作（Pomerleau(1989)）揭示了浅层神经网络如何直接利用相机数据和激光测距数据使车辆沿着道路行驶。以端到端的方式学习自主驾驶在近些年掀起新的热潮。Chen等人最近的工作(2015)展示了使用一个卷积网络来预测可行驶空间，例如和前方车辆的距离。预测的可行驶空间可用于控制器的编程，控制在高速公路上行驶的车辆。NVIDIA的研究者们(Bojarski等人(2016,2017))展示了如何训练一个端到端的深度卷积神经网络，利用相机输出的数据作为输入，控制车辆的转向。Xu等人同样利用相机输出的数据，训练了一个神经网络用于预测离散的或连续的动作。Codevilla等人(2018)也训练了一个网络，使用相机的输出作为输入，使用高级的控制指令来输出对转向和加速度的控制。Kuefler等人(2017)使用生成对抗模仿学习(GAIL),使用简单的affordance-style特征作为输入，以克服基于行为复制策略得到的模型中经常出现的过大误差，因而对于扰动有更好的鲁棒性。Hecker等人最近(2018)训练了一个使用360度环视相机输出作为输入，包含目标路线规划模块的驾驶模型，可以预测转向和车速。CARLA模拟器(Dosovitskiy等人(2017))在Sauer等人的工作（2018）中都有用到，它可以基于传感器数据估计若干个可行驶空间并在仿真的城市环境中驾驶车辆。Muller等人(2018)利用和本文思路相似的中级表示，在仿真环境中使用CARLA训练了一个系统。具体的方法是从一个场景分割网络中训练驾驶策略，并输出高级的控制指令，方便了后续基于迁移学习的方法利用现实世界驾驶数据训练得到的一个不同的场景分割网络。Pan等人(2017)同样描述了如何利用基于学习的intermediate场景标注方法，将仿真环境中训练得到的模型向真实世界中迁移。Shalev-Shwartz等人(2016)提到在模拟器中使用强化学习训练机器完成诸如变道等复杂的且具有高度交互性驾驶任务。目前已经有机器学习之外的大量的车辆运动规划方面的工作，Parden等人(2016)对此给出了一个很好的调研。
3.模型架构
3.1输入输出表示
首先描述网络如何处理俯视的输入表示，进而输出可行驶的轨迹。在任何时间t，本车状态可以俯视坐标系中的坐标pt，θt，st来表示，其中pt=(xt,yt)表示位置，θt表示航向角或行驶方向，st表示速度。俯视的坐标系按照以下规则选定：本车在当前时刻t=0的位置p0始终位于图像中的固定位置(u0,v0)。为了在训练阶段扩增数据，每一个训练样本都在θ0±Δ的角度范围内随机选择坐标系的方向，其中θ0表示本车在当前时刻t=0的航向角或行驶方向。俯视图由一组分辨率为W×H的图像表示，地面的采样分辨率为φ米/像素。随着本车的移动，这些环境视图也发生移动，因此本车总是观察一个固定前视范围内的环境，即[Rforward=(H-v0)φ]米。这样就模拟出了车载的传感器只观察车辆前方Rforward米范围内的环境的情形。
图1：驾驶模型的输入(a-g)和输出(h)
如图1所示，模型的输入由几个大小为W×H，并且调整到俯视坐标系的图像组成。(a)路线图：一幅3通道彩色图像，包含各种地图特征如车道、停车标志、人行横道和路缘等。(b)交通信号灯：灰度图像的时间序列，序列中的每一帧表示一个过去时间步的交通信号灯状态。我们在每一帧中为每个车道的中心线着色，最亮的灰度级对应红灯，中间灰度级对应黄灯，较暗的灰度级对应绿灯或未知信号灯。(c)限速：单通道图像，车道中心的着色灰度与本车道对应的限制车速成比例。(d)路线：驾驶的目标路线，它由一个路线规划模块产生。(e)本车边界框：显示了本车在当前时间t=0的完整边界框。(f)环境中的动态对象：图像的时间序列，序列中用有向边界框的形式显示所有的动态物体(车辆，骑自行车者，行人等)。(g)本车的历史位姿：本车的在各个历史时刻的位姿，用单个灰度图像中某个点的运动轨迹表示。
图2：驾驶模型的训练 (a)ChauffeurNet的模型核心是一个FeatureNet网络和一个AgentRNN网络 (b)共同训练的路标预测网络和PerceptionRNN (c)训练的损失函数以蓝色显示，绿色部分代表真值。虚线箭头表示从一次迭代到下一次迭代的预测值的循环反馈。
我们使用δt的固定时间间隔，来采样过去或者未来时间点上的信息，例如上述输入中的交通信号灯状态和动态对象状态。在过去的Tscene秒内对交通信号灯和动态对象进行采样，在过去的Tpose秒甚至更长的时间间隔内对本车的位姿进行采样。这种简单的输入表示，特别是用边界框表示其他动态对象，使得从仿真或实际感知系统记录的检测和跟踪对象日志中生成输入数据变得更加容易。这样在实车运行之前，就可以在闭环仿真中完成测试和验证的工作。仿真数据的利用，使得模型可以充分探索现实中较少发生的驾驶情形，从而改进模型。例如在现实世界中，我们很难获得与发生碰撞相关的数据。使用二维的俯视图还意味着可以实现有效的卷积输入，允许以灵活且易读的方式表示各种数据以及它们的空间关系。使用I表示上面列举的输入图像的集合，ChauffeurNet模型便以这些输入为基础反复预测本车的未来位姿，如图1(h)中绿色的点所示。
图3：(a)ChauffeurNet概览 (b)多次迭代中的存储单元更新
公式1中，当前位姿p0是已知的输入，然后ChauffeurNet执行N次迭代并输出预测的未来轨迹{ pδt,p2δt,…,pNδt }和如未来速度等一些其他的属性。该轨迹可以输入到优化控制器内，以计算出具体的驾驶控制指令(例如转向和制动命令)。当然，这些控制指令要满足车辆动力学约束。不同类型的车辆可能利用不同的控制输出来实现相同的驾驶轨迹，这也印证了训练网络直接输出低层次的转向和加速度控制指令在这里是不太合适的。
3.2 模型设计
概括地说，驾驶模型由如图2所示的若干部分组成。图中（a）部分是ChauffeurNet模型的主要部分，由特征提取卷积网络(FeatureNet)组成。FeatureNet使用中级输入数据来创建可由其他网络共享的特征表示。这些特征被本车的循环神经网络(AgentRNN)使用，以迭代地预测驾驶轨迹中的后继点。轨迹中时刻t对应的点用位置pt=(xt，yt)，航向角θt和速度st来描述。AgentRNN还在未来的每个时间步上，以heatmap的形式预测车辆的边界框。图的(b)部分可以看到另外两个网络，它们使用相同的特征表示作为输入共同训练。Road Mask网络预测视野中的可驾驶区域(道路与非道路)，感知循环网络(PerceptionRNN)迭代地预测描述空间分布的heatmap。利用和主要任务共享的特征表示来很好地完成这些附加任务，改进了模型在完成主要任务基础上的泛化能力。图2(c)显示了训练模型过程中使用的各种损失，这些损失将在下面详细讨论。
图4：信息流图表示的端到端驾驶软件架构
图3更详细地说明了ChauffeurNet模型。图1中的输入传递给具有skip-connections结构的卷积神经网络FeatureNet。FeatureNet输出的特征表示F中包含了环境的上下文信息。这些特征被提供给AgentRNN，并由AgentRNN基于一系列条件预测驾驶轨迹的下一个点pk以及预测本车边界框的heapmap:Bk。这些条件包括FeatureNet得到的特征表示F，迭代次数k:{1,…,N}，对AgentRNN的过去获得的预测结果的记忆Mk-1，以及在前一次迭代中预测的本车边界框heatmap:Bk-1。
存储单元Mk是由单通道图像组成的叠加式存储单元。AgentRNN的第k次迭代中，存储单元（单通道图像）在AgentRNN预测的图像位置pk处增加1个点，然后此存储单元传递给下一次迭代。AgentRNN在heatmap上输出对本车下一位姿的预测，使用arg-max操作可从heatmap中获取位姿的粗略估计pk。AgentRNN采用一个较浅的且具有一个全连接层的卷积网络，对姿势δpk进行亚像素级别的细化，并估计出航向θk和速度sk。在训练时AgentRNN会展开固定次数的迭代，下面要描述的损失将在这些展开的迭代步中进行累加。这样之所以可行，是因为我们使用的是非传统的RNN，采用的存储单元是显式设计的而不是通过学习产生的。
3.3系统架构
图4表示的是在自动驾驶系统中如何使用神经网络的系统层面的概述。通过感知系统处理真实世界传感器输出或者从仿真环境获取，更新本车和环境状态。目标路径从路径规划模块获得，且根据本车是否能够跟随过去的目标路径驾驶进行动态更新。环境信息被整合到图1所示的输入图像中并传递给RNN，由RNN输出未来的轨迹并送到优化控制器，进而输出驱动车辆的低级控制信号（在现实世界或仿真环境中）。
4. 模仿合理行为
4.1 模仿损失
4.1.1本车位置，航向角和边界框预测
AgentRNN在每次迭代k产生三个输出：(1)基于空间softmax得到的预测路点在空间坐标系中的概率分布Pk(x,y)。(2)当前时间步k对应的预测本车边界框heatmap: Bk(x,y)，基于逐像素的sigmoid激活函数生成，表示本车占据特定像素的概率。(3)回归获得的边界框航向角输出θk。掌握上述预测量真值的条件下，我们可以为每次迭代定义相应的损失：
其中上标gt表示对应的真值，而H(a,b)是交叉熵损失函数。注意[Pgtk]是二值图像，只有对应目标真值坐标的像素的值才被设置为1。
4.1.2本车预测
预测网络在每一次迭代中，基于特征并且使用回归的方式，对粗略的路点估计结果生成亚像素级别细化的δpk以及每个点的速度估计sk。我们对这两种输出均采用L1损失函数：
4.2 对过去运动行为的dropout
训练过程中，过去的运动历史被作为输入之一提供给模型。训练过程中的运动历史来自合理驾驶的示范，因此网络可以基于过去作出僵化的推断而不是发现行为背后的具体原因，类似“欺骗”。在进行闭环推理时这种“欺骗“就会崩溃，因为运动历史来自于网络本身在过去的预测。这样训练出来的网络，也许会只有在过去运动历史中发现减速时，才在停车标志前停车，永远不会在闭环推理时在停车标志前停车。为了解决这个问题，我们引入了一个针对运动历史的dropout机制：对于50％的样本，在输入数据中的本车历史位姿这一通道中，仅仅保留本车当前位姿(u0，v0)。这一点迫使网络寻找环境中的其他线索，来解释训练样本中的提供的未来运动数据。
图5：轨迹的扰动。(a)原始记录的训练样例，其中智能体沿着车道的中心行驶。 (b)扰动样例，通过扰动原始记录中当前智能体的位置（红色点）使其远离车道中心，然后拟合新的平滑轨迹，该轨迹使智能体沿车道中心返回到原始目标位置。
5. 在纯模仿之外的工作
5.1合成扰动
将模型作为闭环系统的一部分运行，随着时间的推移，输入数据会偏离训练时的分布。为了防止这种情况出现，我们在训练模型时对一部分本车轨迹的样本，附加现实中可能出现的各种扰动。轨迹的起点和终点保持不变，扰动施加在轨迹中点的周围，且在周围的多个轨迹点上得到平滑。定量地来看，各个轴上产生在[-0.5,0.5]m范围内均匀分布的随机抖动，航向角产生在[-π/3,π/3]弧度范围内的随机抖动。我们用平滑的轨迹拟合扰动后的点和原始的起点与终点。这类附加扰动的训练样本，使汽车在受到扰动后能够回到原来的行驶轨迹上。我们通过设置轨迹曲率的阈值，滤除了一些实际中不太可能出现的扰动后的轨迹。我们允许扰动后的轨迹与其他车辆发生碰撞或驶离道路，因为只有这样，网络才能在原有样本中没有类似情况出现的条件下，也能经历并且学会如何避免这样的行为。训练过程中我们给附加了扰动的样本的权重是真实样本的权重的1/10，避免学到的模型有始终在扰动状态下驾驶的倾向。
5.2 模仿损失之外的损失
5.2.1 碰撞损失
由于我们的训练数据没有任何实际碰撞，因此避免碰撞的想法是隐式的，不能很好地泛化。为了缓和这个问题我们增加了一个专门的损失函数，直接度量在每一个时间步上预测的边界框Bk与场景中所有物体的边界框真值的重叠率。
其中Bk是输出本车边界框预测的似然图，Objgtk是时间k对应的二值化的掩模图像，所有被其他动态物体（其他车辆，行人等）占据的像素的值都为1。训练过程中的任何时候，如果模型预测到将会发生碰撞，大的重叠率会造成的损失增加，进一步影响到模型更新的梯度，从而纠正这种错误。但是这种损失仅在训练的初始阶段有效，也就是在模型还没有能够预测出接近真值的位置时。在轨迹上附加扰动之后，这个问题得到了缓和。这是因为在附加扰动的样本中，人为制造出来的碰撞情形使得上述损失函数在训练过程中能够发挥出作用，影响模型更新的梯度。此外这种方法还达到了类似在强化学习中设置在线探索的效果。
5.2.2 驶离路面损失
轨迹扰动同时会产生车辆驶离道路或驶上路缘的情形。为了训练网络避免车辆驶上道路边缘，我们增加了一个专门的损失函数，在每一个时间步k上度量预测的本车边界框和表示视野中的道路和非道路区域二值掩模图像Roadgt的重叠率。
5.2.3 目标轨迹几何损失
我们希望显式地约束本车，使其沿着独立于速度曲线的目标轨迹行驶。通过用平滑曲线拟合目标路点，并将此曲线调整为俯视坐标系中的二值化图像，来对目标轨迹几何形状进行建模。该曲线的宽度被设定为和本车宽度相等。我们用类似定义碰撞损失的方式，通过预测的本车边界框和二值化的目标轨迹几何图像Geomgt的重叠率，度量这种与目标轨迹几何形状相关的损失。边界框的任何不与目标几何轨迹重叠的部分，都将被转化为惩罚值并加入损失函数中。
图6：在样例输入上将预测和损失函数可视化。上面一行是输入的分辨率，而下面一行是当前智能体位置周围的放大视图。
5.2.4 附加损失
与预测本车轨迹类似，循环网络也可以用来预测其他交通参与者。因此我们添加了一个感知循环网络PerceptionRNN，它使用FeatureNet创建的共享特征F和它自己在前一次迭代预测的heatmap:Objk-1作为输入，并预测每次迭代的heatmap:Objk。Objk(x,y)表示k时刻位置(x,y)被动态物体占据的概率。对于k=0的迭代步，使用动态对象的真值数据输入到PerceptionRNN中。
5.3 Imitation Dropout
总的来说我们的损失可能分为两组。模仿损失如下：
环境损失如下：
模仿损失导致模型模仿合理驾驶的示范行为，而环境损失抑制了诸如碰撞等不良行为。为了进一步增加环境损失的有效性，我们试验时使用了具有随机退出机制的模仿损失，称为"imitation dropout"。在实验中我们证明"imitation dropout"相比于简单地降低模仿损失的权重，可以得到更好的驾驶模型。在"imitation dropout"过程中，每个训练样本的模仿损失wimit被按照一定的概率随机置为0或1。整体损失由下式给出：
6. 总结
在本文中，我们介绍了让模仿学习在现实世界的完成驾驶任务也能拥有良好表现的研究经验。我们发现成功的关键在于，在合理驾驶行为的基础上附加扰动合成出各种驾驶情形，并增加适当的损失来抑制不良的行为。这些改进可以使模型学会如何避免发生碰撞和驶离道路，即使这些情形在合理驾驶的样本中很少出现。为了支持这一点，并更好地利用合理驾驶的数据，我们使用了中级的输入和输出表示，从而轻松混合真实和仿真数据并减轻学习感知和控制的负担。基于这些要素我们得到了一个足以驾驶真实车辆的模型。虽然该模型还没有完全实现与运动规划方法展开竞争，但我们认为这是机器学习驾驶模型迈出的一大步。通过在模拟中探索罕见和困难的情景，对合理的驾驶行为进行彻底的增强（也许是在强化学习框架中完成），将是提高这些模型的性能并将其用于具有高度交互性的交通场景的关键。
摘要:
我们的目标是通过模仿学习训练出能足够鲁棒地驾驶真实车辆的网络。我们发现单纯的行为模仿不能应对复杂的驾驶场景，即使我们利用感知系统预处理传感器输入，同时利用控制器在车辆上执行模型输出：3000万量级的学习样本仍然不够。我们尝试利用在合理驾驶的数据上附加扰动得到的合成数据来辅助学习，创造出一些特别的驾驶情形，如车辆发生碰撞或驶离道路。我们不是纯粹模仿所有合理驾驶的数据，而是在模仿损失上增加了一些损失，用于惩罚不良的行为并鼓励学习的进展。在合理驾驶的数据上增加的扰动为这些损失提供了重要信号，并导致学习得到的模型具有鲁棒性。我们证明了ChauffeurNet模型可以应付仿真环境中的复杂情形且能够合理地应对随机因素，同时进行了实验对本文提出的各项改进的重要性加以说明。最后我们展示了使用训练得到的模型在现实世界中驾驶汽车的效果。
关键词：深度学习 mid-mid驾驶 驾驶行为学习 轨迹预测
1.介绍
驾驶员在驾驶时需要观察和理解环境中的各种物体，预测它们未来可能的行为和交互情况，然后思考如何控制汽车，在遵从道路交通规则的条件下安全到达目标位置。这项任务对于机器来说是很有挑战性，人类却可以很好地完成，因此模仿学习是解决这个问题的一种很有前景的方法。我们工作的目标就是使得模仿学习得到的模型能够达到可用于驾驶真实车辆的水平。我们在利用大量训练数据（3000万现实世界中合理驾驶的样本，相当于持续驾驶约60天）的基础上尽可能高效地构建了我们的系统。的确，端到端的驾驶行为学习有很多令人兴奋的地方。它们通常致力于通过学习，在相机或激光雷达数据等原始传感器输入数据的基础上，直接预测诸如转向或制动等原始控制输出。但为了降低样本的复杂性，我们选择了建立在感知和控制组件之上的中级输入和中级输出表示。我们使用能够加工处理原始传感器信息的感知系统来产生这种中级输入：俯视的环境表达和目标路线，车辆等物体被绘制为有向的边界框，道路信息和交通信号灯状态也在其中。我们将这种中级输入注入到一个名为ChauffeurNet的循环神经网络中，由这个网络输出一条驾驶轨迹，再由控制器将此驾驶轨迹转换为转向和加速度控制指令。使用这些中级表示的另一个优点是：网络既可以使用实际数据，也可以使用模拟数据来训练，且可以在部署到实车之前在闭环仿真中轻松完成测试和验证工作。
我们的第一个发现是，即使在拥有3000万个驾驶样本并使用中级输入和中级输出表示减轻感知与控制负担的条件下，单纯的模仿学习依然不能达到目标。例如我们发现这种情形：本车会与一辆停在狭窄街道一侧的车发生碰撞或者卡在这辆车后不动，然而此时避让和超车都是完全可行的。关键的挑战是我们需要闭环地运行系统，而误差的累积将会导致驾驶情形偏离训练时的分布。这一结果是单纯的模仿学习在驱动车辆驾驶领域具有局限性的很有价值的证据。此外我们还发现在模仿损失的基础上，增加一些抑制不良行为并鼓励学习进展的损失，同时增加附加了扰动的合成驾驶轨迹可以克服这一挑战。这些改进使得模型能够接触到发生碰撞和驶出道路等非常规行为，同时损失函数的增大将引导模型避免这些行为。正是由于采用中级的输入输出表示，我们才能得到大量这样的合成驾驶轨迹。这些扰动很难从原始传感器输入或直接馈送到车辆的控制器输出中生成。
我们首先在仿真中评估整个系统以及进行损失函数扩增和数据扩增的重要性，之后展示最终模型如何在现实世界中驾驶汽车，并协调处理涉及其他交通参与者、转弯、停车标志和交通信号灯等对象的驾驶情形。变道等具有高度互动性的驾驶情形，仍然需要在强化学习的框架内进行大量的探索。这就要求实现对其他交通参与者例如行人的模拟，而这种模拟也是一个正在迅速发展的值得探索的研究领域。本文的贡献可以理解为：在没有使用强化学习的条件下，我们仍然可以用纯粹的离线数据来完成更多的驾驶学习任务。
2. 相关工作
ALVINN上数十年的工作（Pomerleau(1989)）揭示了浅层神经网络如何直接利用相机数据和激光测距数据使车辆沿着道路行驶。以端到端的方式学习自主驾驶在近些年掀起新的热潮。Chen等人最近的工作(2015)展示了使用一个卷积网络来预测可行驶空间，例如和前方车辆的距离。预测的可行驶空间可用于控制器的编程，控制在高速公路上行驶的车辆。NVIDIA的研究者们(Bojarski等人(2016,2017))展示了如何训练一个端到端的深度卷积神经网络，利用相机输出的数据作为输入，控制车辆的转向。Xu等人同样利用相机输出的数据，训练了一个神经网络用于预测离散的或连续的动作。Codevilla等人(2018)也训练了一个网络，使用相机的输出作为输入，使用高级的控制指令来输出对转向和加速度的控制。Kuefler等人(2017)使用生成对抗模仿学习(GAIL),使用简单的affordance-style特征作为输入，以克服基于行为复制策略得到的模型中经常出现的过大误差，因而对于扰动有更好的鲁棒性。Hecker等人最近(2018)训练了一个使用360度环视相机输出作为输入，包含目标路线规划模块的驾驶模型，可以预测转向和车速。CARLA模拟器(Dosovitskiy等人(2017))在Sauer等人的工作（2018）中都有用到，它可以基于传感器数据估计若干个可行驶空间并在仿真的城市环境中驾驶车辆。Muller等人(2018)利用和本文思路相似的中级表示，在仿真环境中使用CARLA训练了一个系统。具体的方法是从一个场景分割网络中训练驾驶策略，并输出高级的控制指令，方便了后续基于迁移学习的方法利用现实世界驾驶数据训练得到的一个不同的场景分割网络。Pan等人(2017)同样描述了如何利用基于学习的intermediate场景标注方法，将仿真环境中训练得到的模型向真实世界中迁移。Shalev-Shwartz等人(2016)提到在模拟器中使用强化学习训练机器完成诸如变道等复杂的且具有高度交互性驾驶任务。目前已经有机器学习之外的大量的车辆运动规划方面的工作，Parden等人(2016)对此给出了一个很好的调研。
3.模型架构
3.1输入输出表示
首先描述网络如何处理俯视的输入表示，进而输出可行驶的轨迹。在任何时间t，本车状态可以俯视坐标系中的坐标pt，θt，st来表示，其中pt=(xt,yt)表示位置，θt表示航向角或行驶方向，st表示速度。俯视的坐标系按照以下规则选定：本车在当前时刻t=0的位置p0始终位于图像中的固定位置(u0,v0)。为了在训练阶段扩增数据，每一个训练样本都在θ0±Δ的角度范围内随机选择坐标系的方向，其中θ0表示本车在当前时刻t=0的航向角或行驶方向。俯视图由一组分辨率为W×H的图像表示，地面的采样分辨率为φ米/像素。随着本车的移动，这些环境视图也发生移动，因此本车总是观察一个固定前视范围内的环境，即[Rforward=(H-v0)φ]米。这样就模拟出了车载的传感器只观察车辆前方Rforward米范围内的环境的情形。
图1：驾驶模型的输入(a-g)和输出(h)
如图1所示，模型的输入由几个大小为W×H，并且调整到俯视坐标系的图像组成。(a)路线图：一幅3通道彩色图像，包含各种地图特征如车道、停车标志、人行横道和路缘等。(b)交通信号灯：灰度图像的时间序列，序列中的每一帧表示一个过去时间步的交通信号灯状态。我们在每一帧中为每个车道的中心线着色，最亮的灰度级对应红灯，中间灰度级对应黄灯，较暗的灰度级对应绿灯或未知信号灯。(c)限速：单通道图像，车道中心的着色灰度与本车道对应的限制车速成比例。(d)路线：驾驶的目标路线，它由一个路线规划模块产生。(e)本车边界框：显示了本车在当前时间t=0的完整边界框。(f)环境中的动态对象：图像的时间序列，序列中用有向边界框的形式显示所有的动态物体(车辆，骑自行车者，行人等)。(g)本车的历史位姿：本车的在各个历史时刻的位姿，用单个灰度图像中某个点的运动轨迹表示。
图2：驾驶模型的训练 (a)ChauffeurNet的模型核心是一个FeatureNet网络和一个AgentRNN网络 (b)共同训练的路标预测网络和PerceptionRNN (c)训练的损失函数以蓝色显示，绿色部分代表真值。虚线箭头表示从一次迭代到下一次迭代的预测值的循环反馈。
我们使用δt的固定时间间隔，来采样过去或者未来时间点上的信息，例如上述输入中的交通信号灯状态和动态对象状态。在过去的Tscene秒内对交通信号灯和动态对象进行采样，在过去的Tpose秒甚至更长的时间间隔内对本车的位姿进行采样。这种简单的输入表示，特别是用边界框表示其他动态对象，使得从仿真或实际感知系统记录的检测和跟踪对象日志中生成输入数据变得更加容易。这样在实车运行之前，就可以在闭环仿真中完成测试和验证的工作。仿真数据的利用，使得模型可以充分探索现实中较少发生的驾驶情形，从而改进模型。例如在现实世界中，我们很难获得与发生碰撞相关的数据。使用二维的俯视图还意味着可以实现有效的卷积输入，允许以灵活且易读的方式表示各种数据以及它们的空间关系。使用I表示上面列举的输入图像的集合，ChauffeurNet模型便以这些输入为基础反复预测本车的未来位姿，如图1(h)中绿色的点所示。
图3：(a)ChauffeurNet概览 (b)多次迭代中的存储单元更新
公式1中，当前位姿p0是已知的输入，然后ChauffeurNet执行N次迭代并输出预测的未来轨迹{ pδt,p2δt,…,pNδt }和如未来速度等一些其他的属性。该轨迹可以输入到优化控制器内，以计算出具体的驾驶控制指令(例如转向和制动命令)。当然，这些控制指令要满足车辆动力学约束。不同类型的车辆可能利用不同的控制输出来实现相同的驾驶轨迹，这也印证了训练网络直接输出低层次的转向和加速度控制指令在这里是不太合适的。
3.2 模型设计
概括地说，驾驶模型由如图2所示的若干部分组成。图中（a）部分是ChauffeurNet模型的主要部分，由特征提取卷积网络(FeatureNet)组成。FeatureNet使用中级输入数据来创建可由其他网络共享的特征表示。这些特征被本车的循环神经网络(AgentRNN)使用，以迭代地预测驾驶轨迹中的后继点。轨迹中时刻t对应的点用位置pt=(xt，yt)，航向角θt和速度st来描述。AgentRNN还在未来的每个时间步上，以heatmap的形式预测车辆的边界框。图的(b)部分可以看到另外两个网络，它们使用相同的特征表示作为输入共同训练。Road Mask网络预测视野中的可驾驶区域(道路与非道路)，感知循环网络(PerceptionRNN)迭代地预测描述空间分布的heatmap。利用和主要任务共享的特征表示来很好地完成这些附加任务，改进了模型在完成主要任务基础上的泛化能力。图2(c)显示了训练模型过程中使用的各种损失，这些损失将在下面详细讨论。
图4：信息流图表示的端到端驾驶软件架构
图3更详细地说明了ChauffeurNet模型。图1中的输入传递给具有skip-connections结构的卷积神经网络FeatureNet。FeatureNet输出的特征表示F中包含了环境的上下文信息。这些特征被提供给AgentRNN，并由AgentRNN基于一系列条件预测驾驶轨迹的下一个点pk以及预测本车边界框的heapmap:Bk。这些条件包括FeatureNet得到的特征表示F，迭代次数k:{1,…,N}，对AgentRNN的过去获得的预测结果的记忆Mk-1，以及在前一次迭代中预测的本车边界框heatmap:Bk-1。
存储单元Mk是由单通道图像组成的叠加式存储单元。AgentRNN的第k次迭代中，存储单元（单通道图像）在AgentRNN预测的图像位置pk处增加1个点，然后此存储单元传递给下一次迭代。AgentRNN在heatmap上输出对本车下一位姿的预测，使用arg-max操作可从heatmap中获取位姿的粗略估计pk。AgentRNN采用一个较浅的且具有一个全连接层的卷积网络，对姿势δpk进行亚像素级别的细化，并估计出航向θk和速度sk。在训练时AgentRNN会展开固定次数的迭代，下面要描述的损失将在这些展开的迭代步中进行累加。这样之所以可行，是因为我们使用的是非传统的RNN，采用的存储单元是显式设计的而不是通过学习产生的。
3.3系统架构
图4表示的是在自动驾驶系统中如何使用神经网络的系统层面的概述。通过感知系统处理真实世界传感器输出或者从仿真环境获取，更新本车和环境状态。目标路径从路径规划模块获得，且根据本车是否能够跟随过去的目标路径驾驶进行动态更新。环境信息被整合到图1所示的输入图像中并传递给RNN，由RNN输出未来的轨迹并送到优化控制器，进而输出驱动车辆的低级控制信号（在现实世界或仿真环境中）。
4. 模仿合理行为
4.1 模仿损失
4.1.1本车位置，航向角和边界框预测
AgentRNN在每次迭代k产生三个输出：(1)基于空间softmax得到的预测路点在空间坐标系中的概率分布Pk(x,y)。(2)当前时间步k对应的预测本车边界框heatmap: Bk(x,y)，基于逐像素的sigmoid激活函数生成，表示本车占据特定像素的概率。(3)回归获得的边界框航向角输出θk。掌握上述预测量真值的条件下，我们可以为每次迭代定义相应的损失：
其中上标gt表示对应的真值，而H(a,b)是交叉熵损失函数。注意[Pgtk]是二值图像，只有对应目标真值坐标的像素的值才被设置为1。
4.1.2本车预测
预测网络在每一次迭代中，基于特征并且使用回归的方式，对粗略的路点估计结果生成亚像素级别细化的δpk以及每个点的速度估计sk。我们对这两种输出均采用L1损失函数：
4.2 对过去运动行为的dropout
训练过程中，过去的运动历史被作为输入之一提供给模型。训练过程中的运动历史来自合理驾驶的示范，因此网络可以基于过去作出僵化的推断而不是发现行为背后的具体原因，类似“欺骗”。在进行闭环推理时这种“欺骗“就会崩溃，因为运动历史来自于网络本身在过去的预测。这样训练出来的网络，也许会只有在过去运动历史中发现减速时，才在停车标志前停车，永远不会在闭环推理时在停车标志前停车。为了解决这个问题，我们引入了一个针对运动历史的dropout机制：对于50％的样本，在输入数据中的本车历史位姿这一通道中，仅仅保留本车当前位姿(u0，v0)。这一点迫使网络寻找环境中的其他线索，来解释训练样本中的提供的未来运动数据。
5. 在纯模仿之外的工作
5.1合成扰动
将模型作为闭环系统的一部分运行，随着时间的推移，输入数据会偏离训练时的分布。为了防止这种情况出现，我们在训练模型时对一部分本车轨迹的样本，附加现实中可能出现的各种扰动。轨迹的起点和终点保持不变，扰动施加在轨迹中点的周围，且在周围的多个轨迹点上得到平滑。定量地来看，各个轴上产生在[-0.5,0.5]m范围内均匀分布的随机抖动，航向角产生在[-π/3,π/3]弧度范围内的随机抖动。我们用平滑的轨迹拟合扰动后的点和原始的起点与终点。这类附加扰动的训练样本，使汽车在受到扰动后能够回到原来的行驶轨迹上。我们通过设置轨迹曲率的阈值，滤除了一些实际中不太可能出现的扰动后的轨迹。我们允许扰动后的轨迹与其他车辆发生碰撞或驶离道路，因为只有这样，网络才能在原有样本中没有类似情况出现的条件下，也能经历并且学会如何避免这样的行为。训练过程中我们给附加了扰动的样本的权重是真实样本的权重的1/10，避免学到的模型有始终在扰动状态下驾驶的倾向。
5.2 模仿损失之外的损失
5.2.1 碰撞损失
由于我们的训练数据没有任何实际碰撞，因此避免碰撞的想法是隐式的，不能很好地泛化。为了缓和这个问题我们增加了一个专门的损失函数，直接度量在每一个时间步上预测的边界框Bk与场景中所有物体的边界框真值的重叠率。
其中Bk是输出本车边界框预测的似然图，Objgtk是时间k对应的二值化的掩模图像，所有被其他动态物体（其他车辆，行人等）占据的像素的值都为1。训练过程中的任何时候，如果模型预测到将会发生碰撞，大的重叠率会造成的损失增加，进一步影响到模型更新的梯度，从而纠正这种错误。但是这种损失仅在训练的初始阶段有效，也就是在模型还没有能够预测出接近真值的位置时。在轨迹上附加扰动之后，这个问题得到了缓和。这是因为在附加扰动的样本中，人为制造出来的碰撞情形使得上述损失函数在训练过程中能够发挥出作用，影响模型更新的梯度。此外这种方法还达到了类似在强化学习中设置在线探索的效果。
5.2.2 驶离路面损失
轨迹扰动同时会产生车辆驶离道路或驶上路缘的情形。为了训练网络避免车辆驶上道路边缘，我们增加了一个专门的损失函数，在每一个时间步k上度量预测的本车边界框和表示视野中的道路和非道路区域二值掩模图像Roadgt的重叠率。
5.2.3 目标轨迹几何损失
我们希望显式地约束本车，使其沿着独立于速度曲线的目标轨迹行驶。通过用平滑曲线拟合目标路点，并将此曲线调整为俯视坐标系中的二值化图像，来对目标轨迹几何形状进行建模。该曲线的宽度被设定为和本车宽度相等。我们用类似定义碰撞损失的方式，通过预测的本车边界框和二值化的目标轨迹几何图像Geomgt的重叠率，度量这种与目标轨迹几何形状相关的损失。边界框的任何不与目标几何轨迹重叠的部分，都将被转化为惩罚值并加入损失函数中。
5.2.4 附加损失
与预测本车轨迹类似，循环网络也可以用来预测其他交通参与者。因此我们添加了一个感知循环网络PerceptionRNN，它使用FeatureNet创建的共享特征F和它自己在前一次迭代预测的heatmap:Objk-1作为输入，并预测每次迭代的heatmap:Objk。Objk(x,y)表示k时刻位置(x,y)被动态物体占据的概率。对于k=0的迭代步，使用动态对象的真值数据输入到PerceptionRNN中。
5.3 Imitation Dropout
总的来说我们的损失可能分为两组。模仿损失如下：
环境损失如下：
模仿损失导致模型模仿合理驾驶的示范行为，而环境损失抑制了诸如碰撞等不良行为。为了进一步增加环境损失的有效性，我们试验时使用了具有随机退出机制的模仿损失，称为"imitation dropout"。在实验中我们证明"imitation dropout"相比于简单地降低模仿损失的权重，可以得到更好的驾驶模型。在"imitation dropout"过程中，每个训练样本的模仿损失wimit被按照一定的概率随机置为0或1。整体损失由下式给出：
6. 总结
在本文中，我们介绍了让模仿学习在现实世界的完成驾驶任务也能拥有良好表现的研究经验。我们发现成功的关键在于，在合理驾驶行为的基础上附加扰动合成出各种驾驶情形，并增加适当的损失来抑制不良的行为。这些改进可以使模型学会如何避免发生碰撞和驶离道路，即使这些情形在合理驾驶的样本中很少出现。为了支持这一点，并更好地利用合理驾驶的数据，我们使用了中级的输入和输出表示，从而轻松混合真实和仿真数据并减轻学习感知和控制的负担。基于这些要素我们得到了一个足以驾驶真实车辆的模型。虽然该模型还没有完全实现与运动规划方法展开竞争，但我们认为这是机器学习驾驶模型迈出的一大步。通过在模拟中探索罕见和困难的情景，对合理的驾驶行为进行彻底的增强（也许是在强化学习框架中完成），将是提高这些模型的性能并将其用于具有高度交互性的交通场景的关键。
IIHS提议为汽车增加数字安全系统/改进照明系统 减少行人碰撞致死数量
博客 • betty19920416 发表了文章 • 1 个评论 • 1687 次浏览 • 2019-02-26 13:50
据外媒报道，行人在交通事故中死亡的数量近年来在不断攀升，汽车安全倡议者和政府监管机构都致力于解决此问题。在过去10年内，这一数字提升了将近50%，每年达到将近6000人，专家警告说，由于各种因素，此数字可能继续上涨。
...查看全部
据外媒报道，行人在交通事故中死亡的数量近年来在不断攀升，汽车安全倡议者和政府监管机构都致力于解决此问题。在过去10年内，这一数字提升了将近50%，每年达到将近6000人，专家警告说，由于各种因素，此数字可能继续上涨。
但是，美国高速公路安全保险协会（Insurance Institute for Highway Safety）近日公布的一项新研究强调了一种应对措施，即引入新型数字安全系统，可探测行人并自动进行制动操作，防止行人碰撞事故，减轻其他碰撞事故严重程度。另一个措施是改善照明系统，让驾驶员能够看得更清楚，有更多时间做出反应。
该协会测试了11辆配备了自动紧急制动系统（AEB）的小型SUV，该系统还增加了对车辆路径内行人的探测和响应能力。在测试中，有4辆车获得了“优秀”评级，5辆获得了“高级”评级，只有一辆宝马X1未能获得相关认可，其系统表现糟糕，以致在测试中撞飞了测试假人。
以测试SUV为开始并不令人惊讶。总的来说，多功能车目前约占美国汽车销量的三分之二。但更重要的是，美国高速公路安全保险协会（IIHS）此前的一份报告曾提醒，SUV及皮卡等车头较高、较尖锐的车型在交通事故中往往比车头较低、较柔和的轿车和跑车更致命，也就是说，被SUV撞到的行人从车上滚落，从而减轻伤害的可能性较小。
联邦数据显示，从2009年到2017年，行人死亡人数上升了46%，尽管去年的数据尚未公布，但预计还会进一步上升，而多用途汽车的增加只是原因之一。专家们也担忧，此种情况也由数字技术造成的分心造成，驾驶员可能不是唯一在驾驶时盯着智能手机的人，许多行人在进入十字路口时没有查看交通情况，甚至没有注意自己是否可以通行也是重要原因。此外，自上次经济衰退结束以来，糟糕的道路设计也导致了交通量大幅上升。
去年9月份，美国国家运输安全委员会召集了安全和行业内专家，试图找到方法解决该问题。该委员会的员工指出药物使用和过度城市化也造成了此情形。并且该机构提出11个建议，旨在解决该问题。但是专家们认为解决该问题的关键部分在于车辆需要改变设计，例如，完全自动驾驶车辆最终可减少大多数交通事故。
但是，真正的无人驾驶汽车何时能够推出还未确定。而且，去年还发生了优步自动驾驶测试原型车撞死路人的事故。但是，最新发布的IIHS研究和数据也表示，高级驾驶员辅助系统确实能发挥作用。
此外，联邦监管机构也在考虑更新车辆照明法规，该法规自上世纪70年代以来就未更改过。目前执行的法规非常“陈旧”。美国国家公路交通安全管理局最近开始制定规则，以在美国实施被禁止的自适应远光灯系统（ADB）照明技术。该技术可在欧洲使用，不需要驾驶员在远光和近光之间切换，相反，传感器会根据需要遮挡一部分光线，避免迎面而来的车辆因强光而眩目。
由于规则发生了重大改变，可能在数年内才能实现规则更新。预计最近的一两年内，自适应远光灯系统技术都不会在美国道路上实现。此外，激光照明大灯等其他照明技术也在研发过程中。在欧洲，该技术能够探测到近半英里外的障碍物，但是目前美国市场上的该技术在激光功率上严重受限。
但是，美国高速公路安全保险协会（Insurance Institute for Highway Safety）近日公布的一项新研究强调了一种应对措施，即引入新型数字安全系统，可探测行人并自动进行制动操作，防止行人碰撞事故，减轻其他碰撞事故严重程度。另一个措施是改善照明系统，让驾驶员能够看得更清楚，有更多时间做出反应。
该协会测试了11辆配备了自动紧急制动系统（AEB）的小型SUV，该系统还增加了对车辆路径内行人的探测和响应能力。在测试中，有4辆车获得了“优秀”评级，5辆获得了“高级”评级，只有一辆宝马X1未能获得相关认可，其系统表现糟糕，以致在测试中撞飞了测试假人。
以测试SUV为开始并不令人惊讶。总的来说，多功能车目前约占美国汽车销量的三分之二。但更重要的是，美国高速公路安全保险协会（IIHS）此前的一份报告曾提醒，SUV及皮卡等车头较高、较尖锐的车型在交通事故中往往比车头较低、较柔和的轿车和跑车更致命，也就是说，被SUV撞到的行人从车上滚落，从而减轻伤害的可能性较小。
联邦数据显示，从2009年到2017年，行人死亡人数上升了46%，尽管去年的数据尚未公布，但预计还会进一步上升，而多用途汽车的增加只是原因之一。专家们也担忧，此种情况也由数字技术造成的分心造成，驾驶员可能不是唯一在驾驶时盯着智能手机的人，许多行人在进入十字路口时没有查看交通情况，甚至没有注意自己是否可以通行也是重要原因。此外，自上次经济衰退结束以来，糟糕的道路设计也导致了交通量大幅上升。
去年9月份，美国国家运输安全委员会召集了安全和行业内专家，试图找到方法解决该问题。该委员会的员工指出药物使用和过度城市化也造成了此情形。并且该机构提出11个建议，旨在解决该问题。但是专家们认为解决该问题的关键部分在于车辆需要改变设计，例如，完全自动驾驶车辆最终可减少大多数交通事故。
但是，真正的无人驾驶汽车何时能够推出还未确定。而且，去年还发生了优步自动驾驶测试原型车撞死路人的事故。但是，最新发布的IIHS研究和数据也表示，高级驾驶员辅助系统确实能发挥作用。
此外，联邦监管机构也在考虑更新车辆照明法规，该法规自上世纪70年代以来就未更改过。目前执行的法规非常“陈旧”。美国国家公路交通安全管理局最近开始制定规则，以在美国实施被禁止的自适应远光灯系统（ADB）照明技术。该技术可在欧洲使用，不需要驾驶员在远光和近光之间切换，相反，传感器会根据需要遮挡一部分光线，避免迎面而来的车辆因强光而眩目。
由于规则发生了重大改变，可能在数年内才能实现规则更新。预计最近的一两年内，自适应远光灯系统技术都不会在美国道路上实现。此外，激光照明大灯等其他照明技术也在研发过程中。在欧洲，该技术能够探测到近半英里外的障碍物，但是目前美国市场上的该技术在激光功率上严重受限。
智能汽车的安全，谁来买单？
博客 • betty19920416 发表了文章 • 0 个评论 • 1603 次浏览 • 2019-02-26 13:48
相信很多人都有被小偷过东西的经历，最近大潘手机主人就改写了姓名。不过他手机装有不少重要文件，如果发生泄密后果不堪设想，随后他迅速报了警，并通过iCould账号查找手机位置，很快他和警察一起找到了丢失的手机。而这要换做以前的诺基亚，恐怕早就找不到了。 ...查看全部
相信很多人都有被小偷过东西的经历，最近大潘手机主人就改写了姓名。不过他手机装有不少重要文件，如果发生泄密后果不堪设想，随后他迅速报了警，并通过iCould账号查找手机位置，很快他和警察一起找到了丢失的手机。而这要换做以前的诺基亚，恐怕早就找不到了。
菲利贝托·弗利克斯被加州高速巡警逮了个正着，让他万万没想到的是，自己偷盗的特斯拉因电量耗尽不得不被迫停在高速路边，而此时车主将车辆定位信息通告警方后，很快将他抓捕。
“我是谁，我在哪，我在干什么？”虽然没有上演好莱坞大片中的追逐环节，但菲利贝托·弗利克斯传奇的故事似乎在告诫“同伙”，千万别偷“特斯拉”！
一组数据也在表明，要偷一辆特斯拉简直是一件自寻死路的选择。FBI犯罪中心数据显示，在2011年至2018年5月间，有115辆特斯拉被盗，其中112辆都被找回，找回率高达97.3%，但综合所有车型来看，平均数据其实只有58.4%。
事实上，自从汽车进入智能化的时候，安全性就已经引起了广泛争议。一方面，无钥匙启动让我们日常驾驶更加方便。另一方面，无钥匙启动也带来了安全隐患。盗贼的技术也不断升级，从以前的溜门撬锁，到如今采用干扰器来干扰车辆正常落锁的事件屡见不鲜。多起事件表明，车主明明锁了车，盗贼却依然可以正常打开车门对车内物品实施盗窃。
据《福布斯》报道，英国警方曾经发出警告提醒拥有无钥匙启动汽车的车主，盗贼可能会通过技术手段盗取车辆。盗贼能轻而易举地进入系统的原因是设备与汽车之间的信号可以被破解。
基于这一设想，特斯拉搭载的Autopilot在Model 3车型车型上率先推出了哨兵模式，该模式可以在车主停车后帮车主实现看车功能。
默认模式下外部摄像头会进入待机状态，当监测到有可疑物靠近时，触摸屏上会警告对方摄像头正在录制。如果监测到更严重的威胁，例如有人打破车窗，哨兵模式将会直接进入警报状态，激活汽车蜂鸣器，增加中央显示屏的亮度，并以最大音量播放音乐。
尽管特斯拉在车上拥有重重安全保障措施，但还是有小偷向其伸出贼手。虽然特斯拉搭载强大的在线定位和在线技术，但遇到像黑客这样的技术党却怎么也高兴不起来。在欧洲，一帮黑客就盯上了特斯拉，其中大多数车至今仍未找回。
显然，黑客通过技术手段来屏蔽车辆定位来盗取车辆是存在可行性的，但号称极高安全性的特斯拉还是败了。对此，特斯拉技术团队也在苦苦寻求新的方法来应对黑客，新方法增加了秘钥卡和“驾驶PIN码”双重保证增强车辆的安全性。
2016年时，挪威的互联网安全公司Promon就曾指出，特斯拉为车主提供的手机App存在一定的安全漏洞，有可能会给黑客和掌握破解技术的不法分子提供帮助。而在Promon公布的视频《如何窃取一辆特斯拉》中，我们也能够看到黑客是如何通过一个免费Wifi和一个不安全应用程序来窃取用户手机中的特斯拉账户的。
同年，国内顶尖的白帽黑客团队“科恩工作室”就曾成功攻破过特斯拉的安全壁垒，他们不仅可以在不经过任何物理接触的情况下控制目标车辆的车门、车窗和转向灯，甚至可以在任何时候刹停车辆。科恩工作室的负责人说：“几年以后，车辆驾驶完全交给车载系统的，这个车又是联网的，万一系统出现安全问题，后果难以想象。”
随着4G时代的兴起，国内智能网联汽车也越来越多，可以通过手机来进行操控。或许能够在未来某一天，当落地虹桥机场的那一刻，可以通过手机让车在虹桥P7停车场2019号车位等候。
毫无疑问，这样可以让车主高程度享受车辆的控制权，但与此同时却存在了不少的安全隐患。在《速度与激情8》里，黑客通过类似手机网络系统接管了指定区域，所有汽车的OBD系统取得了汽车的控制权，通过程序为车辆锁定自动驾驶，所以我们看到电影中车辆不听从人为操作，在街道上飞驰的壮观画面。
不光如此，前不久北京长安街上一辆蔚来汽车趴窝一小时，当时该车正处在OTA升级状态。显然，从蔚来汽车的回应上丝毫看不到他们对这件事的重视，认定是用户误操作才导致这一事件的发生。但从另外一方面也暴露了，互联网汽车存在的安全隐患不止在于是否会被盗。
的确，智能网联汽车迅速发展，一方面可以更好的通过驾驶习惯让车更懂人，与此同时还带给我们诸多便捷性，例如远程操控等功能，但是另一方面，消费者的数据也不断被厂商采集毫无隐私可言。
如今，当智能网联汽车已经开始迈向5G时代，与此同时随着大量高度智能化、网联化、自动化的汽车应运而生，我们的车辆安全又该由谁来负责？
菲利贝托·弗利克斯被加州高速巡警逮了个正着，让他万万没想到的是，自己偷盗的特斯拉因电量耗尽不得不被迫停在高速路边，而此时车主将车辆定位信息通告警方后，很快将他抓捕。
“我是谁，我在哪，我在干什么？”虽然没有上演好莱坞大片中的追逐环节，但菲利贝托·弗利克斯传奇的故事似乎在告诫“同伙”，千万别偷“特斯拉”！
一组数据也在表明，要偷一辆特斯拉简直是一件自寻死路的选择。FBI犯罪中心数据显示，在2011年至2018年5月间，有115辆特斯拉被盗，其中112辆都被找回，找回率高达97.3%，但综合所有车型来看，平均数据其实只有58.4%。
事实上，自从汽车进入智能化的时候，安全性就已经引起了广泛争议。一方面，无钥匙启动让我们日常驾驶更加方便。另一方面，无钥匙启动也带来了安全隐患。盗贼的技术也不断升级，从以前的溜门撬锁，到如今采用干扰器来干扰车辆正常落锁的事件屡见不鲜。多起事件表明，车主明明锁了车，盗贼却依然可以正常打开车门对车内物品实施盗窃。
据《福布斯》报道，英国警方曾经发出警告提醒拥有无钥匙启动汽车的车主，盗贼可能会通过技术手段盗取车辆。盗贼能轻而易举地进入系统的原因是设备与汽车之间的信号可以被破解。
基于这一设想，特斯拉搭载的Autopilot在Model 3车型车型上率先推出了哨兵模式，该模式可以在车主停车后帮车主实现看车功能。
默认模式下外部摄像头会进入待机状态，当监测到有可疑物靠近时，触摸屏上会警告对方摄像头正在录制。如果监测到更严重的威胁，例如有人打破车窗，哨兵模式将会直接进入警报状态，激活汽车蜂鸣器，增加中央显示屏的亮度，并以最大音量播放音乐。
尽管特斯拉在车上拥有重重安全保障措施，但还是有小偷向其伸出贼手。虽然特斯拉搭载强大的在线定位和在线技术，但遇到像黑客这样的技术党却怎么也高兴不起来。在欧洲，一帮黑客就盯上了特斯拉，其中大多数车至今仍未找回。
显然，黑客通过技术手段来屏蔽车辆定位来盗取车辆是存在可行性的，但号称极高安全性的特斯拉还是败了。对此，特斯拉技术团队也在苦苦寻求新的方法来应对黑客，新方法增加了秘钥卡和“驾驶PIN码”双重保证增强车辆的安全性。
2016年时，挪威的互联网安全公司Promon就曾指出，特斯拉为车主提供的手机App存在一定的安全漏洞，有可能会给黑客和掌握破解技术的不法分子提供帮助。而在Promon公布的视频《如何窃取一辆特斯拉》中，我们也能够看到黑客是如何通过一个免费Wifi和一个不安全应用程序来窃取用户手机中的特斯拉账户的。
同年，国内顶尖的白帽黑客团队“科恩工作室”就曾成功攻破过特斯拉的安全壁垒，他们不仅可以在不经过任何物理接触的情况下控制目标车辆的车门、车窗和转向灯，甚至可以在任何时候刹停车辆。科恩工作室的负责人说：“几年以后，车辆驾驶完全交给车载系统的，这个车又是联网的，万一系统出现安全问题，后果难以想象。”
随着4G时代的兴起，国内智能网联汽车也越来越多，可以通过手机来进行操控。或许能够在未来某一天，当落地虹桥机场的那一刻，可以通过手机让车在虹桥P7停车场2019号车位等候。
毫无疑问，这样可以让车主高程度享受车辆的控制权，但与此同时却存在了不少的安全隐患。在《速度与激情8》里，黑客通过类似手机网络系统接管了指定区域，所有汽车的OBD系统取得了汽车的控制权，通过程序为车辆锁定自动驾驶，所以我们看到电影中车辆不听从人为操作，在街道上飞驰的壮观画面。
不光如此，前不久北京长安街上一辆蔚来汽车趴窝一小时，当时该车正处在OTA升级状态。显然，从蔚来汽车的回应上丝毫看不到他们对这件事的重视，认定是用户误操作才导致这一事件的发生。但从另外一方面也暴露了，互联网汽车存在的安全隐患不止在于是否会被盗。
的确，智能网联汽车迅速发展，一方面可以更好的通过驾驶习惯让车更懂人，与此同时还带给我们诸多便捷性，例如远程操控等功能，但是另一方面，消费者的数据也不断被厂商采集毫无隐私可言。
如今，当智能网联汽车已经开始迈向5G时代，与此同时随着大量高度智能化、网联化、自动化的汽车应运而生，我们的车辆安全又该由谁来负责？
英特尔自动驾驶汽车安全标准框架获得全球认可
博客 • 自动驾驶小能手 发表了文章 • 0 个评论 • 1620 次浏览 • 2019-01-19 14:30
【赛迪网美国报道】汽车技术供应商法雷奥（Valeo）近日宣布，采用英特尔的自动驾驶汽车安全决策模型，即责任敏感安全模型（RSS）。此外，百度已于今年早些时候宣布，将RSS应用于其自动驾驶汽车开源项目Apollo——这也是该技术的首个开源实现。与此同时，多国政府 ...查看全部
【赛迪网美国报道】汽车技术供应商法雷奥（Valeo）近日宣布，采用英特尔的自动驾驶汽车安全决策模型，即责任敏感安全模型（RSS）。此外，百度已于今年早些时候宣布，将RSS应用于其自动驾驶汽车开源项目Apollo——这也是该技术的首个开源实现。与此同时，多国政府和行业也已将RSS视为自动驾驶汽车安全的典范。
“我们的全球合作伙伴采用RSS模型，并愿意在基于RSS模型的安全标准上投资，这说明，他们非常看好安全自动驾驶的未来前景。”
——英特尔资深首席工程师、Mobileye自动驾驶汽车标准副总裁Jack Weast
为何重要：安全成为公众接受自动驾驶汽车的最大障碍之一，汽车行业越发需要建立一个强大、透明且技术中立的自动驾驶汽车安全标准，而这正是英特尔RSS模型在全球供应商中备受推崇的重要原因。
法国顶级汽车零部件供应商法雷奥与英特尔公司子公司Mobileye达成了一项合作协议，双方将联手制定和推广一个基于RSS、技术中立且由行业主导的全新自动驾驶汽车安全标准。法雷奥将与Mobileye在策略和技术上展开合作，以促进欧洲、美国和中国采用基于RSS的技术标准。双方合作的内容包括：起草安全自动驾驶汽车的验证和商业部署框架，资助有关RSS模型的公共研究，协助标准起草以及加入标准组织的核心委员会和工作组。
安全至上的法雷奥将凭借其全球领先的环境感知和传感器专长以及其在全球安全和监管工作组中的合作，继续为完善RSS模型做出贡献。
发展进程：自去年推出以来，RSS模型已获得全球范围内相关单位的认可：
• 百度去年公布了在其Apollo项目中采用RSS的计划。今天早些时候，该公司在国际消费电子展新闻发布会上展示了RSS的成功应用案例。作为世界上首个RSS的开源实现，百度成功证明了RSS是一项真正具有技术中立性的安全解决方案——不管有没有Mobileye的技术和支持，它都能发挥作用。
• 2018年10月，亚利桑那州自动驾驶移动出行研究所（IAM）成立，其主要任务是探索和实现安全自动驾驶。其中，IAM将以RSS作为其研究和测试自动驾驶汽车安全的基础。
• 在最近的一份报告中，领先的智囊机构兰德公司指出，RSS是实现“安全信封”的一种方式，并称“安全信封”是让自动驾驶汽车掌握公路驾车技能的必要因素。
• Mobileye、大众汽车、Champion Motors以及北京公交集团联合宣布的全新“出行即服务”（Mobilityas a Service，MAAS）合作项目，也将使用RSS模型来确保车队行驶安全。
特别之处: RSS最初由Mobileye首席执行官AmnonShashua教授和首席技术官Shai Shalev-Shwartz教授于2017年提出。该模型具有技术中立性，这能够使全行业以此为出发点，来统一对安全自动驾驶的认识。
RSS将人类安全驾驶概念具化为一个可验证的模型，该模型具有逻辑上可验证的规则，并定义了恰当的响应行为。RSS有别于目前基于概率人工智能的自动驾驶汽车安全决策系统。由于人工智能的概率性，英特尔建议，采用一个具有确定性的独立层——或称为“安全信封”，它可以根据通俗易懂的安全驾驶定义，来检查自动驾驶汽车的决策是否安全。该模型对安全做出了规定，而且车辆无需数百万英里的里程积累就能学会如何安全的行驶。
“我们的全球合作伙伴采用RSS模型，并愿意在基于RSS模型的安全标准上投资，这说明，他们非常看好安全自动驾驶的未来前景。”
——英特尔资深首席工程师、Mobileye自动驾驶汽车标准副总裁Jack Weast
为何重要：安全成为公众接受自动驾驶汽车的最大障碍之一，汽车行业越发需要建立一个强大、透明且技术中立的自动驾驶汽车安全标准，而这正是英特尔RSS模型在全球供应商中备受推崇的重要原因。
法国顶级汽车零部件供应商法雷奥与英特尔公司子公司Mobileye达成了一项合作协议，双方将联手制定和推广一个基于RSS、技术中立且由行业主导的全新自动驾驶汽车安全标准。法雷奥将与Mobileye在策略和技术上展开合作，以促进欧洲、美国和中国采用基于RSS的技术标准。双方合作的内容包括：起草安全自动驾驶汽车的验证和商业部署框架，资助有关RSS模型的公共研究，协助标准起草以及加入标准组织的核心委员会和工作组。
安全至上的法雷奥将凭借其全球领先的环境感知和传感器专长以及其在全球安全和监管工作组中的合作，继续为完善RSS模型做出贡献。
发展进程：自去年推出以来，RSS模型已获得全球范围内相关单位的认可：
• 百度去年公布了在其Apollo项目中采用RSS的计划。今天早些时候，该公司在国际消费电子展新闻发布会上展示了RSS的成功应用案例。作为世界上首个RSS的开源实现，百度成功证明了RSS是一项真正具有技术中立性的安全解决方案——不管有没有Mobileye的技术和支持，它都能发挥作用。
• 2018年10月，亚利桑那州自动驾驶移动出行研究所（IAM）成立，其主要任务是探索和实现安全自动驾驶。其中，IAM将以RSS作为其研究和测试自动驾驶汽车安全的基础。
• 在最近的一份报告中，领先的智囊机构兰德公司指出，RSS是实现“安全信封”的一种方式，并称“安全信封”是让自动驾驶汽车掌握公路驾车技能的必要因素。
• Mobileye、大众汽车、Champion Motors以及北京公交集团联合宣布的全新“出行即服务”（Mobilityas a Service，MAAS）合作项目，也将使用RSS模型来确保车队行驶安全。
特别之处: RSS最初由Mobileye首席执行官AmnonShashua教授和首席技术官Shai Shalev-Shwartz教授于2017年提出。该模型具有技术中立性，这能够使全行业以此为出发点，来统一对安全自动驾驶的认识。
RSS将人类安全驾驶概念具化为一个可验证的模型，该模型具有逻辑上可验证的规则，并定义了恰当的响应行为。RSS有别于目前基于概率人工智能的自动驾驶汽车安全决策系统。由于人工智能的概率性，英特尔建议，采用一个具有确定性的独立层——或称为“安全信封”，它可以根据通俗易懂的安全驾驶定义，来检查自动驾驶汽车的决策是否安全。该模型对安全做出了规定，而且车辆无需数百万英里的里程积累就能学会如何安全的行驶。
当AEBS成客车标配，谁是OEM可选项？
博客 • betty 发表了文章 • 0 个评论 • 2564 次浏览 • 2019-07-23 15:38
交通部在2019年3月15日发布《营运车辆自动紧急制动系统性能要求和测试规程》，于4月1号正式实施，此标准规定了营运车辆自动紧急制动系统的一般要求、功能要求、环境适应性要求和测试规程，适用于安装在营运车辆上的自动紧急制动系统。 ...查看全部
交通部在2019年3月15日发布《营运车辆自动紧急制动系统性能要求和测试规程》，于4月1号正式实施，此标准规定了营运车辆自动紧急制动系统的一般要求、功能要求、环境适应性要求和测试规程，适用于安装在营运车辆上的自动紧急制动系统。
标准的出台是为了响应《营运客车安全技术条件》（JT/T1094-2016）要求，对于车长大于9米的营运客车从2019年4月1日起，新生产车应具有AEBS的功能。
自动紧急制动系统（AEBS）可自动探测目标车辆或障碍物，检测潜在的前向碰撞危险，发出预警信号提醒驾驶员，并激活本车制动系统，通过降速来避免碰撞或减轻车辆碰撞的系统。
能通过《营运车辆自动紧急制动系统性能要求和测试规程》测试的厂商，并不多，但对于营运客车生产商而言，却是必须要上的。
一、不得不上的AEBS
AEBS应包括环境感知模块、控制决策模块、底层执行模块、人机交互模块和数据通信接口，还可包括数据存储模块和无线通信模块，上述模块不限于独立或者集成的形式。
感知部分，国内ADAS厂商多聚集在视觉识别部分，毫米波雷达不具备优势，因此提供的融合传感器方案常会搭配国际厂商的毫米波雷达。决策部分有赖于融合算法的有效性，对目标障碍物的检测是考验国内厂商的地方。
因为AEBS涉及到车辆的控制，所以对安全、性能稳定性的要求较高，通常实现AEBS的功能至少需要视觉+毫米波雷达的融合方案，弥补传感器的劣势，以适应全天候、工况的环境。国内整个产业链起步晚，无论从传感器端的研发生产、场景库积累、算法的训练，还是执行部件的配合上，经验匮乏。
国内政策法规的制定者也充分考虑到这一点，因此延后了AEBS的具体落地时间，同时在强制安装的车型上，也选择了9米以上的新出厂营运大巴。
二、入门级大里程测试
通过AEBS的测试并不容易，厂商需要对融合算法、控制器、执行器进行调试，前期算法的调试需要尽早做功课，进行大量的测试，算法验证。通过上万里程的测试，积累对目标障碍物的识别准确性，以及检验制动的效果。
在控制器和执行器方面，通常是选择国际供应商，以及部分国内的供应商，AEBS需要适配多种多样的控制执行机构，以及不同的传感器，为此要做大量的工作。
在AEBS功能正式开放使用前，需要做大量的里程测试，验证产品功能的一致性和可靠性。大里程测试是AEBS系统供应商和执行机构供应商提出的要求，对于里程业内没有统一的标准，或3万或10万公里不等。
测试过程中会有详细的要求，如针对国道、高速、城镇等路况，每个路段要完成的公里数。适配每一款车型的AEBS系统都需要经过大里程测试，验证可靠性。
目前，智驾科技(Maxieye)与车厂一起完成了超过百种车型的大里程测试，积累了上百万公里的里程测试数据。
在今年4月1日测试规程发布时,率先与客车行业龙头企业在重庆车辆检测研究院有限公司（国家客车质量监督检验中心)顺利通过测试，公司CEO周圣砚表示，目前公司给符合法规要求的营运客车提供的AEBS已占据近90%市场份额。
三、行人探测是难题
AEBS在车速15km/h以上，车辆所有负载状态下都应正常运行，检测到在公共道路上行驶的机动车及行人。
最小检测距离应不大于2m，对目标车辆的最大检测距离应不小于150m，对行人的最大检测距离应不小于60m。AEBS对目标车辆在最大检测距离位置的最小检测水平横向宽度不小于3.75 m。应具备在曲率半径不大于250m的弯道上检测到目标车辆的能力。
该测试规程用于在封闭场地测试环境对上述自动紧急制动系统进行规范性测试。为了满足AEBS的测试要求，AEBS需要适配多种传感器，基本的要求是毫米波雷达需使用探测距离能达到150米上，对行人的探测识别要满足要求。
国内厂商在对行人的探测上，融合方案的可靠性、准确性还需要做更多的探索和努力。因为国内路况复杂，城市路况交通不可控，高速路况相对可控，但车辆的行驶速度普遍较高。
不同速度、环境下，车辆的制动性能、识别有效性都存在差异，且由于国内地域跨度大，无论天气环境、驾驶行为还是障碍物，都存在较大的差异，对于AEBS厂商而言，通过AEBS测试后，还需要继续积累不同环境下的数据，不断优化升级。
未来几年，越来越多的营运客车会配置AEBS系统，同时向更广范围的商用车扩展。由此给ADAS厂商带来更多的新机会。
高新兴发布5G车联网战略和城市级商用车联网解决方案：四大能力构建智慧出行新生态
博客 • betty19920416 发表了文章 • 0 个评论 • 1797 次浏览 • 2019-06-27 11:14
据前瞻产业研究院发布的数据，2020年车联网市场将达到万亿级，正吸引着众多企业布局。在此赛道，除传统整车厂、汽车零部件供应商外，以BAT为代表的互联网企业，新势力造车企业、ICT企业也纷纷入局。而随着国内5G商用牌照的正式发放，被普遍认为是5G到来之后最 ...查看全部
据前瞻产业研究院发布的数据，2020年车联网市场将达到万亿级，正吸引着众多企业布局。在此赛道，除传统整车厂、汽车零部件供应商外，以BAT为代表的互联网企业，新势力造车企业、ICT企业也纷纷入局。而随着国内5G商用牌照的正式发放，被普遍认为是5G到来之后最大应用场景之一的车联网按下了发展加速键。
6月27日，在世界移动通信大会(MWC上海2019)上，汽车智能网联领导者高新兴科技集团以“服务汽车网联，共建未来出行新生态”为主题，重磅发布5G车联网战略，并推出了城市级商用车联网解决方案。这也意味着高新兴开始从解决方案、应用设计、平台连接、核心设备供应等多维度抢占车联网市场。
迎接5G发展新机遇，打造产业生态圈
高新兴集团执行副总裁樊晓兵表示，站在车联网产业的拐点，汽车厂商、通信运营商、车企纷纷有了新举动，进一步推动车联网的发展。高新兴集团基于数十载蜂窝通信技术的沉淀，以及与车联网产业链上下游的紧密合作，已成为目前国内唯一业务打通车厂、智能交通、5G通信、电子车牌、人工智能的车联网企业，服务全球逾千家客户。目前已在车载单元、车路协同、车联网平台和智慧交通应用四大领域具备了深度的技术和市场积累，拥有包括通信模组、车载终端、路侧设备和交通管理解决方案在内的完整产品体系。
尤其是在车载终端，高新兴已拥有绝对优势。在前装市场，高新兴与吉利、长安、比亚迪等国内大型整车厂商，以及延锋伟世通——国际TIER1合格供应商合作，实现前装车规级产品批量发货；在汽车后装市场，高新兴推出OBD车载诊断系统产品，与欧洲、北美多家著名TSP(互联网汽车服务提供商)、MOJIO、OCTO，顶尖通信运营商AT&T、T-Mobile开展了合作。其中，4G OBD出货量排名全球第一，车联网终端可以适配欧美7000+以上的车型，中国9000+以上车型。
樊晓兵强调，车联网产业链丰富，单凭一个厂家是不能单独提供完备的车联网方案，而C-V2X的技术特点恰好提供了建立良好生态系统的可能。高新兴一直主张以产业融合为主线，打造产业生态圈，推动车联网的创新发展。今年年初，吉利与高新兴、高通宣布将于2021年发布吉利全球首批支持5G和C-V2X的量产车型，高新兴将为这些量产车型提供5G和C-V2X产品，这是一个很典型的产业融合案例。目前，高新兴作为IMT-2020 C-V2X工作组、5G自动驾驶联盟、中国智能交通产业联盟的成员，也正与联盟伙伴和战略合作伙伴一同积极推动相关技术、标准的修订和测试，广泛建设生态连接，共谋车联网市场良性发展。
四大能力驱动车联网战略落地
发布会上，高新兴集团首席方案架构师兼战略&品牌总经理吴冬升博士诠释了高新兴5G车联网战略。他指出，随着工信部正式发放5G商用牌照，5G车联网测试验证逐步完善，5G车联网大规模部署的条件日益成熟，高新兴会依托现有车载终端和电子车牌相关技术，向C-V2X车载设备和路侧设备布局，把握行业机遇。
“高新兴将以领先的技术规划、完备的解决方案、丰富的应用实践和完善的商业生态来服务于汽车智能网联，未来将帮助车联网运营方构建人、车、路、网、云等多维协同的5G车联网。”吴冬升介绍，在技术规划上，高新兴统筹考虑C-V2X的演进路线，产品布局上充分考虑4G向5G的迈进。在未来的两年里将为“5G和C-V2X产品研发项目”逐步投入2.13亿元，覆盖5G通信模组、C-V2X、智能宽带及RSU等产品。
在解决方案层面上，高新兴基于在全国智慧城市及智慧交通建设的经验和优势，在5G及车联网商业进程加速的时期，提出了面向城市级及城际的全场景解决方案，是行业首次提出了“点-线-区”的车联网城市级解决方案。
应用实践上，高新兴已有落地案例并取得领先地位，与全球140多家保险公司合作伙伴开展了UBI业务合作，占据全球UBI 40%市场份额。目前高新兴已计划与车企、运营商、交通管理部门一同落地更多信息服务、安全业务、交通效率类应用，实现安全、效率、便捷等多方面提升。
据了解，高新兴的车联网发展将集中在几个层面：一是和主机厂的合作，这是公司重点关注的层面，2019年公司会突破更多新的主机厂商，增加与国外企业的合作机会；第二是后装市场，尤其是面向运营商市场和公司重点行业客户市场；第三是路侧设备的部署以及边缘计算设备部署，这是公司未来在市场拓展中非常重要的一部分；第四是云平台部署，高新兴拥有大量智慧交通项目建设运营经验，尤其是涉及到大的智慧交通管控平台等等，这也是未来车联网领域非常核心和关键的要素。
城市级车联网解决方案首发
此外，高新兴结合智慧出行关键创新技术和场景，针对城市的“点—线—区”多场景，打造了基于C-V2X技术的7大类应用场景和超过20项应用方案，构建首个城市级车联网解决方案。
C-V2X场景的典型应用包括信息服务类的紧急呼叫业务、交通安全类的交叉路口碰撞预警、交通频率类的车速引导和自动驾驶类的远程遥控驾驶、车辆编队行驶等。“业内现有方案较多集中在单点业务的应用上，但在城市实际交通运行中，必须要考虑每一种业务在多个交通场景中的具体应用情况，简单来说，必须考虑前向车防碰撞技术在城市主干道、隧道等真实交通环境的应用。”
以交通应用场景为例，可以通过在单个点位如城市十字交叉路口中部署红绿灯信息下发、防碰撞预警及行人检测预警等应用，来提醒行人、乘客注意安全，避免“亲人两行泪”的惨痛事故发生。而在城市主干道、城市环岛、立交和隧道等较为复杂的交通系统中，高新兴则可通过车载设备、路侧设备及汽车电子标识相结合的方式，实现交通诱导、绿波通行、限速提醒、事故提醒及汽车电子标识流量检测等综合功能的应用。
通过车路协同的部署，我们可以将红绿灯的信息，提前几公里推送到RSU（路侧设备）上，再由RSU推送给汽车，以确保车主提前获取交通状况，进行自主交通判断。而针对园区出入口识别及停车位管理等特点，高新兴提出通过车载设备、路侧设备、电子车牌等多种技术相结合的“区”级解决方案，实现车辆停车位管理、交通诱导、出入口管理等应用。据介绍，高新兴基于超300项的电子车牌核心专利，已在武汉已有封闭园区项目落地。
吴冬升介绍，高新兴提出该解决方案的信心不仅依托于车载单元领域的绝对优势，还来自在全国100多个智慧城市和20多个智慧交通落地项目经验。基于此，高新兴将打造智慧交通信息化基础设施体系，并以此来构建城市的四肢和神经系统，实现对交叉路口、城市主干道、桥梁、隧道、环岛、公交站场、封闭园区等主要场景的应用，让智慧交通大脑高速运转，有效减少交通事故、提高道路及车辆利用率等。
3D-LaneNet：端到端3D多车道检测网络
知识讲堂 • betty19920416 发表了文章 • 0 个评论 • 1967 次浏览 • 2019-04-23 10:33
编者按：三维车道检测是实现自动驾驶的关键技术，它需要对主控车辆的可行驶车道的三维位置进行精确估计。这篇文章提出了一个基于CNN的端到端的3D车道线检测网络3D-LaneNet，可以直接检测多个车道，并估计车道曲率，对三维车道检测的相关研究具有重大的启发与促进作 ...查看全部
编者按：三维车道检测是实现自动驾驶的关键技术，它需要对主控车辆的可行驶车道的三维位置进行精确估计。这篇文章提出了一个基于CNN的端到端的3D车道线检测网络3D-LaneNet，可以直接检测多个车道，并估计车道曲率，对三维车道检测的相关研究具有重大的启发与促进作用。
摘要:
这里介绍一种架构，它可以直接从一张图像预测出道路场景中的三维车道，这项工作标志着首次尝试通过在线感知解决这一任务，而不是依赖于预先映射的环境。我们的网络架构，3d-lanenet中有两个新的概念，1.网络内部的反透视变换。2.基于anchor的车道线表示。网络内反透视变换投影使得在常规图像视图和俯视图中都能方便地表示信息流.一个基于anchor的列输出表示使得我们这个端到端的方法能够替代传统的启发式方法，比如聚类和奇异点处理。此外，我们的方法精准的解决了复杂情况，比如车道的合并以及车道的分开（比如一条车道延伸之后分叉类似这种情况）。在我们的new 3D lane synthetic dataset 上，架构表现出了非常好的结果。为了和现有的方法作对比，我们验证了在image-only tuSimple lane detection benchmark 上的有效性，并获得了非常具有竞争力的表现。
1.介绍
三维车道检测是实现自动驾驶的关键技术，它包括对相对于主控车辆的可行驶车道的三维位置的精确估计。存在两种互补的技术解决方案:加载离线生成的预映射车道和基于感知的实时车道检测。离线解决方案在给定精确当前车辆定位(在地图坐标中)的情况下具有高的几何精度，但是部署和维护起来很复杂。最常见的基于感知的解决方案是使用单目摄像头作为主要传感器来解决任务。现有的基于相机的方法检测图像中的车道，然后通过平坦地面的假设，将它们投射到三维世界，当然当地面平坦这个假设不对的时候，会导致不准确的估计与检测。
受到近年来CNN在单目深度信息预测的成功激励，我们提出了直接检测3D车道线的方法。更正式地说，给定从前置摄像头拍摄的一张图像，任务是输出一组车道实体，每个实体在相机坐标中表示为3D曲线，描述车道分隔符（分隔符就是传统意义上的车道线）或车道中心线（中心线是两条传统意义上的车道线中间的线）。我们提出了3D- lanenet，一个基于CNN的模型，可以进行3D车道检测。该网络经过端到端的训练，输出是在道路的每一个纵向切片上（道路被竖着分为很多的列，每一个列相当于一个切片。），这些输出包括车道线经过这个纵向切片的置信，以及他的3D曲线坐标。我们的方法原理在图1中做了解释。 我们直接的单阶段的方法避免了使用现有方法进行后处理，包括聚类，奇异点处理等。整个网络的架构基于一个创新的双通路（并不是并行的）结构，这个结构在网络内部，对特征图进行一些透射投影变换以生成虚拟的鸟瞰视图。这种双特征表示（正常视图特征，以及鸟瞰视图特征，原文是image view 以及 top view）提高了在道路场景下，网络的推断能力。输出被表示为一个新的基于列的anchor编码（即在该anchor下的各种参数信息），这使得网络具有水平不变形，并且保证了端到端。每个输出都对应一个anchor，类似于基于anchor的单阶段目标检测办法，比如SSD[20]，YOLO[27]。
图1.(a)端到端的方法的原理图解，以及在俯视图上的车道检测结果实例。(b)结果在原图上的投影。
为了完成这项任务，获取带有3D标记的地面真实数据是一项需要多传感器和昂贵的高清地图的工作，在我们的工作中，我们训练和测试我们的网络通过一个新的和合成数据集synthetic-3D-lanes，你可以获得每一条车道线的所有的精确3D位置坐标。数据集目前限制在高速公路场景中，尽管有一些道路模拟器，但是他们的目的不是为了3D车道线检测任务的。并且限制了相关场景属性(如车道曲率)的可变性。我们在该领域的主要成就是能够随机生成具有可变三维形状和车道拓扑结构的高速路段。而我们方法的主要优势在于估计3D车道线，还有纯图像进行车道线检测。我们在tuSimple数据集上对我们的直接方法进行了训练和测试，在不使用通常的后处理技术的情况下，我们获得了与现有技术相媲美的结果。
总结一下我们的主要贡献：
2. 相关工作
传统的车道检测系统(将低层次的操作(如方向滤波器)与高层次的启发式(如霍夫变换)结合起来检测图像中的连续车道。一个通常的流程包括4个阶段:局部车道特征提取(1)、车道模型拟合(2)、图像与世界的对应(3)，聚合(4)。近年来，局部特征提取阶段是通过对图像应用一个或多个CNNs来完成的，但总体上流程仍然非常相似，后期处理仍然存在。
具体来说，CNNs可以通过增强边缘图或分类候选块来改进特征提取。Huval检测本地车道线通过目标检测CNN。VPGNet Lee等人遵循类似的概念，并且额外检测其他道路标记和消失点，以改进车道检测。KIM和park重新定义了特征提取阶段，将其作为一个分割问题，这个问题有两个分类类别，左车道线和右车道线，延伸网络的范围来执行（extending the reach of the network to perform clustering.）但是，仍然必须为每个cluster安装一个世界坐标车道模型，并且无法处理多车道问题。Nevenetal.[23]尝试端到端多车道检测，通过训练CNN不仅创建一个0，1车道像素掩码，而且还为每个像素点嵌入用于聚类车道点的特征向量。Ghafooria提出使用生成对抗网络使语义分割网络的工作输出在车道检测的背景下更加真实。一些工作(如Meyer等人的，Oliveira等人的)是基于类似的方法构建的，其中主车道和相邻的车道是语义类(车道内部整片而不是车道线)。
与所有提出的方法相反，3D- lanenet统一了前三个阶段的共同流程，提供了一个完整的在三维世界坐标体系的多车道表示方法，并且只通过一次前向传播。此外，以往的方法采用平面假设进行图像到世界的对应，而我们的方法估计了车道的整个三维形状。
IPM通过相机视角图像生成一个场景的虚拟的鸟瞰图，这个的具体操作Mal-lot et al. [21]在障碍检测中解释了。并且第一次被Pomer-leau在车道线检测中使用，IPM已经在车道线检测任务中被广泛的使用，因为在鸟瞰图视角中，车道线相互平行，并且他们的曲率情况可以用低阶多项式拟合。此外，进行透视变换后，使得他们看起来更加的想近了，（当然会有一些模糊效果）（本来远处的车道线在相机图像上比较小。）最近，He等人引入了一种“Dual-viewCNN”它由两个独立的子网络组成，每个子网络产生一个车道线描述(每个视图一个车道线描述)，然后将描述符连接并应用于候选图像位置。Li等人使用CNN直接在鸟瞰图上检测车道标记和几何属性，如局部位置和方向，在鸟瞰图上，这些属性保持不变。此外，他们还部署了第二个循环网络，该网络遍历图像以检测一致的车道。Neven等人使用子网络(“H-net”)预测每张图像中的俯仰，将车道投影到俯视图，以改进曲线拟合。与以前的工作不同，我们使用协同的单一网络方法来利用这两种观点。
更一般地，我们提出了第一种方法，这种方法使用端到端训练的CNN直接检测多个车道，并估计每个车道的三维曲率。我们还展示了我们的方法既适用于中心线，也适用于通常意义下的车道线，并且具有处理汇聚和分叉的能力，无需任何进一步的后处理。
图2.在测试集’synthetic-3D-lanes dataset’上，置信度大于0.5的车道中心线估计结果实例。在每一幅图片中，对真值（蓝色）和方法的结果（红色）进行了展示，并配有一个3D的可视化。需要主要的是，3D可视化轴的尺度根据场景而变化。被忽略的车道被标记为蓝绿色。右下角是一个失败的例子，可能是由于阻塞，在这个例子中，这条路被错误地认为是右车道。
3.方法
我们的方法从安装在车辆上的前置摄像头获取单个图像作为输入，如图4。我们假设相机的内参矩阵κ已知（焦距，光心）我们还假设车辆相对于路面的侧倾角为0。我们假设不知道高度和俯仰角，因为随着车辆的动力学运动，他们是会改变的。道路场景中的车道线可以被表示为中心线的集合[size=11]{Ci}i=1:Nc或者车道线的集合{Di}i=1:Nd（之后车道线就指代传统的我们说的车道线，中心线就是两条车道线中的线）,如图3所示。每条车道实体(中心线或车道线)用摄像机坐标体系[/size]Ccamera下的三维曲线表示。我们将任务定义为检测给定图像的一组车道中心线和车道线。
图3. 带注释的例子。中心线用蓝色标出，车道线用黄色虚线标出
图4.相机姿态和道路投影面
3.1俯视图投影我们简要回顾 (IPM)。简而言之，IPM是一个单应性变换，它获取一个前视图图像并生成一个虚拟鸟瞰视图图像，如图1(a)中的图像所示。这相当于应用相机旋转矩阵，然后在各个方向上进行不同尺度的缩放（放大或缩小）处理。在我们的实现中，我们想要确保鸟瞰视图图像中的每个像素在道路上对应一个预定义位置（路面坐标系下的绝对位置），这个位置独立于摄像机的内部特性及其相对于道路的姿态。 如图4所示，对照此图进行定义，相机坐标Ccamera = (´x,´y,´z) 是一个集合，´y是他的镜头面法线（´y是深度方向），Proad是路面的切面。我们这样定义路面坐标系Croad=(x,y,z)，z方向是路面的法线，y是相机坐标系´y在Proad的投影，原点也是相机坐标系原点在路面切面上的投影，Tc2r是一个6自由度的变换矩阵（3个旋转，3个平移），他描述从相机坐标系到路面坐标系的一个变换，既然我们假设了侧倾角为0，那么Tc2r实际上被俯仰角θ以及高度hcam所定义。单应性矩阵（K*Tc2r-1），将路面上的每一个点映射到图像坐标系上。最后IPM通过单应性矩阵以及一组参数被获得，决定了俯视图上的边界以及从米到像素的缩放尺度，俯视图通过双线性差值采样，这个过程定义Sipm。
3.2射影转换和双特征模块在我们的结构中一个主要的部分是射影变换层。它对Ui（普通图像视图）进行可微采样，获得Ut，Ut对应俯视特征图。具体的在俯视图投影部分讲述了（就是三维的STN）。双特征模块，正如在图5中所示，使用射影变换层，创造更高描述层级的特征图。信息在在多通道的特征图Ut（对应正常视图特征）和Vt（对应俯视图特征）之间流动，使用上述的采样方法（类STN方法）Ui被变换为Ut，并且和Vt合并，他么分享共同的空间尺度。以上就只这个基础模块，他可以在网络中重复使用。考虑现在有一个特征图Mt，他的获得是通过将Vt与Ut合并为[Vt;Ut]，然后应用一个卷积层，获得Mt，Mt组合了在车道线检测中的两个有用的性质。1.首先，俯视图上的平移不变性，这十分有价值，因为在俯视图上，车道线有着相似的样子和空间上的几何结构。第二，保存了在两个视角下的信息（正常视图与俯视图），正常视图编码了一些在俯视图上没有的信息，比如栅栏，天际线，树木。这对于3D空间结构至关重要。特别的，对于远处来说，正常视图有着更加丰富的视觉信息，相比于俯视图，描述了一个更大的真实空间。
图5.双特征模块
3.3网络架构
架构总览如图6所示，信息在两条通路中被处理，正常视图通路，俯视图通路，我们管这个叫做双通路结构。正常视图通路处理和保存信息，而俯视图通路提供具有平移不变性的特征，并用于预测3D车道线输出。正常视图通路基于VGG16[29]，俯视图通路类似。信息经过射影变换层后流向俯视图通路，这样的通路有四条。为了避免流入的特征图的通道(C)数超过原有的通道数，通过1*1的卷积对其进行了降维，当然除了第一次流入（第一次流入没有原来的）。
图6.3D-LaneNet的整体结构
3.3.1道路投影预测分支这条通路估计路面投影平面Proad，具体的，分支预测Tc2r（通过监督方式），Tc2r决定了Hr2i，以及Sipm过程。这些是俯视图处理通路所需要的参数。在推理时，也被用于将网络的输出，输出是Croad坐标转换为Ccamera坐标。正如前边所描述过的，Tc2r使用俯仰角θ以及hcam定义的，因此道路投影预测分支预测这两个参数。
3.3.2车道线预测头我们的端到端方法的核心是基于anchor的车道线结果表示，受到目标检测方法的启发，我们使用anchors去定义候选车道线，并且用精细的几何表示方法来描述每个anchor的精确的3D车道线形状。输出所在的坐标体系是Croad，这个体系被前边定义的hcam，和θ所定义。我们的ahcnors在这个坐标系下对应纵向线，对于每一个anchor，根据3D点，做最终3D车道线的精细化处理。正如图7所展示的那样。我们将anchor定义为垂直于x轴的等距纵向线，他的集合是{XiA}i=1:N，每一个XiA线对应着2K个输出，这个输出集合表示为(xi,zi)={(xij,zij)}j=1:K，K是预先定义的一个超参数，对应着预先定义好的K个y方向上的位置，他们一起组成一个3D点集。xi代表着相对于anchorXiA的水平偏移，这意味着(xi,zi)代表着点(xi,XiA,yi,zij)，这个坐标是在Croad这个坐标体系下的。此外对于每一个anchor i，我们还会输出一个置信pi，这个代表着车道线与anchor的关联程度。我们使用一个预先定义的纵坐标Yref位置来表述这种关联，具体来说与XiA相关联的车道线，是在y = Yref这条水平线上，x的坐标偏移最小的那条车道线（简单看一下output的数量 2K个点加上一个置信p也就是说一个anchor对应2K+1个输出，如果只预测一条中心线，或者只预测一条车道线的话）。
图7.输出表示。注意输出的anchor的数量等于输出层的宽（图6中被标记为w/8）
每一个anchor，网络输出3种类型的车道分割，前两组代表着中心线，第三组代表着分隔线，为每个anchor分配两条可能的中心线将产生对汇聚和分叉的描述支持，这通常会导致两条车道的中心线在Yref重合，并在不同的道路位置分开，如图7中最右边的例子所示。车道线的拓扑结构相比于中心线来说，通常会更加的复杂，我们现在的这种表示方式，还不能描述所有的情况，比如图7中车道线没有经过Yref。车道线预测头被设计为输出如我们描述的那样的输出，通过一系列的y方向的无padding的卷积，特征图在H方向上逐渐减小，最终形成N×1×3×(2K+1)的输出（按照标准pytorch描述，可以说成是batch, (3*(2K+1),1,N)，前面最后一个之所以乘3，是对每一个车道输出三种描述，分别是中心线，中心线，和车道线）中的一个i∈{1...N}，对应着一个anchorXiA，每一个anchor，XiA，类型t∈{c1,c2,d}被输出表示为(xti,zti,pti)，最终的输出还会经过一个1D的非极大抑制，就如在目标检测中的那样，只保留局部最大置信度的车道(与左右相邻anchor相比)，每一个被保留的车道线，都有少量的3D（K个）点，然后利用他们，利用样条插补的方式完成光滑曲线的生成。
3.4训练与真值关联给定一个图片，和他对应的3D曲线，训练过程如下：第一真值坐标系Croad被定义为与当前路面切面相关的，使用θ和hcam定义的，如前面所描述的那样。接下来，每一个车道曲线，投影到Croad坐标系下的X–Y平面上，并且与他们关联的anchor定义为在Yref处与他们最近的那个。（这里的关联就是这个anchor负责预测哪个，与yolo里目标中心落在哪个小方格中心，哪个小方格就预测谁类似）对于每一个anchor来说，最左侧的中心线，以及最左侧的车道线t∈{c1,c2,d}被定义为集合中的c1和d1，如果还有额外的中心线，那门它被定义为c2。这种方式将真值定义为与输出相同的形式，每一个anchorXiA和类型t相关的GT被标记为(xti,zti,pti)，pti是在坐标系Croad下的分配标识（我理解为有就是1，没有就是0）。 在训练以及评估阶段，整个车道将会被忽略，如果他们在俯视图中在y = Yref处没有值，并且如果他们被地形所挡住，他呢也将被忽略（比如被小山丘挡住），整个的loss函数被给出，如下，它结合了三个等权重的loss，车道线检测（有无）（交叉熵损失）三维几何形状损失，以及道路平面估计损失。
4. 模仿合理行为
我们的实验描述按如下步骤：我们先回顾一下我们生成的synthetic-3D-lanes 数据集，我们的大多数结论产生于此。接下来，我们描述下对于3D车道检测任务的评估方法，然后，我们展示在我们制作的这个数据及上的结果，以及控制变量法检查每一个概念（方法）对于我们整个方法的贡献。最后，为了证明我们的方法在真实数据上的可用性，我们将我们的方法与其他单图片车道检测办法在tuSimple benchmark 上进行了比较。
4.1合成的3D车道数据集
我们生成synthetic-3D-lanes 数据集使用考元的图形引擎blender，我们的方法允许我们随机生成模型的各个部分，从场景的3D几何形状，到目标的类型，如图8所示。
图8.随机生成的数据集。(a)路面(b)道路拓扑结构和曲率(c)路与路面(d)渲染场景。
生成每一个场景的步骤如下：
4.1.1评估方法我们提出一种对于3D车道检测的评估办法，他讲检测的准确率与几何估计准确率分割开来，检测准确率通过标准的平均精度办法(AP)来计算回归曲线的精度。我们首先计算真值曲线与预测曲线的加权欧式距离，我们计算在预先设定的各个y位置上距离，每80cm的图片距离代表实际的80m，远处的点的距离计算给予较低的权重，然后，我们通过选择减少相似性的配对来执行一对一(曲线)匹配，当他们的加权距离小于一个阈值，匹配被认为是成功的，迭代这个阈值，已获得更加精确地阈值。 对于配对的曲线，我们评估几何估计精度通过计算他们误差的分布，（这在计算距离的时候用到过），我们将整个数据集的车道线点分为近距离（0-30m）与远距离（30-80m）由于他们误差的巨大差异。然后我们计算误差为1δ误差的，比如百分之68这样，还有误差为2δ误差的，比如百分之95类似这样，道路中心线与车道线都各自用这种方法评估。在训练阶段被忽略的那些点，在评估的时候也被忽略。
4.1.2评估结果在测试集上典型的网络结果如图2，用真值做标记。表1第一行为3D-LaneNet中心线检测定量结果。一个对合成数据集有必要的担心是，他的变换实在是太有限了，导致网络记住了整个样例空间，而不是去学习如何泛化，一个积极地结果表明这种情况没有发生是测试集的AP(0.952)略低于训练集AP（0.966）对于几何误差也是同样的。在接下来的控制变量实验中，我们都用训练好的3D-LaneNet的参数做初始化，用以减少训练时间。
表1.在synthetic-3D-lanes dataset 上的中心线检测结果
我们首先通过与其他结构进行比较来探求双通路结构的作用，只有正常视图通路的版本，将网络后部分直接连接到lane detection head 输出Croad下的3D坐标，就如完整版本那样，这个时候anchor 被最后一张特征图上的列所决定，对于每一列，我们在预定义的图像y坐标上选取一个像素，并将其投影到俯视图中，以确定与列对应的anchor。只有俯视图版本，首先将图片投影到俯视图上，然后后面继续进行和完整版本的俯视图通路同样的计算。除此之外，我们还测试了两个版本，它们包含双通路结构，但是这个机构的个数和位置不同。Early IPM版本包含一个双特征模块（dual context module），并且是第一个，late IPM同样只包含一个，不过包含的的是最后那个。结果在被总结在表格1中，结果表示了，带有完全体双特征模块的相对于其他变体有着非常好的超级表现，特别的，只有正常视图通路的有着最差的结果，这说明，俯视图通路的处理是十分有必要的。注意late ipm版本，只包含一个双特征模块，表现出了第二高的准确率，但是却减少了很多的计算，这使他成为一个可实时应用的候选模型。 我们尝试了几个版本的道路投影平面定义，这是我们架构和输出表示的核心，我们的第一个尝试是在没有显示监督的情况下，学习每个场景的最佳道路投影平面，类似于[23]中的“H-net”地平线估计，但是这种方法没有得到令人满意的结果。我们认为这一方向值得进一步研究，因为这是最自然的方向。另一个自然的选择是在拟合道路平面时考虑整个场景，而不仅仅是局部道路的发现。为此，我们设计了一种地面真值生成算法，该算法取最远处可见的道路点，并将其与当前道路位置相连接以确定俯仰角。由于这种方法类似于水平估计方法，所以在表格中将其称为水平（horizon）。显然，它的表现总的来说略差，虽然我们一直观察的情况下，场景地形有利于这一定义。我们也尝试假设一个固定的相机位置，其中平均俯仰角为(2.5◦)和相机高度(165厘米)这两个数据被用来定义Tc2r。 表格1中的最后一行显示了假定地面是平坦的图像到世界转换的结果。这通过将我们完整版的网络中估计的z设置为0来实现。尽管这个糟糕的结果有一些繁琐，并且有着高度的数据依赖性，但他还是告诉我们3D车道探测的重要性。带着0.966的AP，完整版的3D车道检测网络在车道线的检测上超过了中心线的检测，这可能是因为在图片中，车道线有比较明显的显示。在他们的位置误差分布上也是同样的（nearrange: 10.5cm@1σ,28cm@2σ; far range:27.3cm@1σ and 106cm@2σ） 既然输出从路面坐标系通过Tc2r转换到了相机坐标系，我们也评估了这种估计的质量以及他对最终结果的影响。俯仰角和相机高度误差的中位数为0.09°和2.4cm，为了消除这两个误差对最终结果所造成的影响，我们评估了Croad下的坐标，方法是通过直接拿到网络的原始输出。
5. 总结及未来工作
我们提出了一个单帧单次cnn前向传播，不需要其他后续处理工作的车道检测办法。在tuSimple benchmark 上，我们展现了富有竞争力的结果，并且在我们合成的3D车道线数据及上，我们的方法能够进行多车道的3D检测。最重要的是，接下来的研究证明了这是可以应用在真是世界的数据上的。我们现在的表示在（在纵向上的anchor，判断Yref存在与否）还比较粗糙，这限制了该方法对车道复杂拓扑结构的表示，比如城市内部，在接下来的工作中，我们会更新我们的表示方法使用端到端的机制来来处理这些情况。
摘要:
这里介绍一种架构，它可以直接从一张图像预测出道路场景中的三维车道，这项工作标志着首次尝试通过在线感知解决这一任务，而不是依赖于预先映射的环境。我们的网络架构，3d-lanenet中有两个新的概念，1.网络内部的反透视变换。2.基于anchor的车道线表示。网络内反透视变换投影使得在常规图像视图和俯视图中都能方便地表示信息流.一个基于anchor的列输出表示使得我们这个端到端的方法能够替代传统的启发式方法，比如聚类和奇异点处理。此外，我们的方法精准的解决了复杂情况，比如车道的合并以及车道的分开（比如一条车道延伸之后分叉类似这种情况）。在我们的new 3D lane synthetic dataset 上，架构表现出了非常好的结果。为了和现有的方法作对比，我们验证了在image-only tuSimple lane detection benchmark 上的有效性，并获得了非常具有竞争力的表现。
1.介绍
三维车道检测是实现自动驾驶的关键技术，它包括对相对于主控车辆的可行驶车道的三维位置的精确估计。存在两种互补的技术解决方案:加载离线生成的预映射车道和基于感知的实时车道检测。离线解决方案在给定精确当前车辆定位(在地图坐标中)的情况下具有高的几何精度，但是部署和维护起来很复杂。最常见的基于感知的解决方案是使用单目摄像头作为主要传感器来解决任务。现有的基于相机的方法检测图像中的车道，然后通过平坦地面的假设，将它们投射到三维世界，当然当地面平坦这个假设不对的时候，会导致不准确的估计与检测。
受到近年来CNN在单目深度信息预测的成功激励，我们提出了直接检测3D车道线的方法。更正式地说，给定从前置摄像头拍摄的一张图像，任务是输出一组车道实体，每个实体在相机坐标中表示为3D曲线，描述车道分隔符（分隔符就是传统意义上的车道线）或车道中心线（中心线是两条传统意义上的车道线中间的线）。我们提出了3D- lanenet，一个基于CNN的模型，可以进行3D车道检测。该网络经过端到端的训练，输出是在道路的每一个纵向切片上（道路被竖着分为很多的列，每一个列相当于一个切片。），这些输出包括车道线经过这个纵向切片的置信，以及他的3D曲线坐标。我们的方法原理在图1中做了解释。 我们直接的单阶段的方法避免了使用现有方法进行后处理，包括聚类，奇异点处理等。整个网络的架构基于一个创新的双通路（并不是并行的）结构，这个结构在网络内部，对特征图进行一些透射投影变换以生成虚拟的鸟瞰视图。这种双特征表示（正常视图特征，以及鸟瞰视图特征，原文是image view 以及 top view）提高了在道路场景下，网络的推断能力。输出被表示为一个新的基于列的anchor编码（即在该anchor下的各种参数信息），这使得网络具有水平不变形，并且保证了端到端。每个输出都对应一个anchor，类似于基于anchor的单阶段目标检测办法，比如SSD[20]，YOLO[27]。
图1.(a)端到端的方法的原理图解，以及在俯视图上的车道检测结果实例。(b)结果在原图上的投影。
为了完成这项任务，获取带有3D标记的地面真实数据是一项需要多传感器和昂贵的高清地图的工作，在我们的工作中，我们训练和测试我们的网络通过一个新的和合成数据集synthetic-3D-lanes，你可以获得每一条车道线的所有的精确3D位置坐标。数据集目前限制在高速公路场景中，尽管有一些道路模拟器，但是他们的目的不是为了3D车道线检测任务的。并且限制了相关场景属性(如车道曲率)的可变性。我们在该领域的主要成就是能够随机生成具有可变三维形状和车道拓扑结构的高速路段。而我们方法的主要优势在于估计3D车道线，还有纯图像进行车道线检测。我们在tuSimple数据集上对我们的直接方法进行了训练和测试，在不使用通常的后处理技术的情况下，我们获得了与现有技术相媲美的结果。
总结一下我们的主要贡献：
定义了3D车道线检测任务的度量标准，同时也第一个提出了3D检测任务的解决办法
一个创新的双通路带有内部投影变换的结构.
一个新的基于anchor的车道线输出表示，使得网络支持直接的端到端的预测。这可以应用于3D车道线检测和基于图像的检测
一种随机生成具有车道拓扑变化(车道数、汇集、分叉)和三维形状的合成样本的方法。
2. 相关工作
传统的车道检测系统(将低层次的操作(如方向滤波器)与高层次的启发式(如霍夫变换)结合起来检测图像中的连续车道。一个通常的流程包括4个阶段:局部车道特征提取(1)、车道模型拟合(2)、图像与世界的对应(3)，聚合(4)。近年来，局部特征提取阶段是通过对图像应用一个或多个CNNs来完成的，但总体上流程仍然非常相似，后期处理仍然存在。
具体来说，CNNs可以通过增强边缘图或分类候选块来改进特征提取。Huval检测本地车道线通过目标检测CNN。VPGNet Lee等人遵循类似的概念，并且额外检测其他道路标记和消失点，以改进车道检测。KIM和park重新定义了特征提取阶段，将其作为一个分割问题，这个问题有两个分类类别，左车道线和右车道线，延伸网络的范围来执行（extending the reach of the network to perform clustering.）但是，仍然必须为每个cluster安装一个世界坐标车道模型，并且无法处理多车道问题。Nevenetal.[23]尝试端到端多车道检测，通过训练CNN不仅创建一个0，1车道像素掩码，而且还为每个像素点嵌入用于聚类车道点的特征向量。Ghafooria提出使用生成对抗网络使语义分割网络的工作输出在车道检测的背景下更加真实。一些工作(如Meyer等人的，Oliveira等人的)是基于类似的方法构建的，其中主车道和相邻的车道是语义类(车道内部整片而不是车道线)。
与所有提出的方法相反，3D- lanenet统一了前三个阶段的共同流程，提供了一个完整的在三维世界坐标体系的多车道表示方法，并且只通过一次前向传播。此外，以往的方法采用平面假设进行图像到世界的对应，而我们的方法估计了车道的整个三维形状。
IPM通过相机视角图像生成一个场景的虚拟的鸟瞰图，这个的具体操作Mal-lot et al. [21]在障碍检测中解释了。并且第一次被Pomer-leau在车道线检测中使用，IPM已经在车道线检测任务中被广泛的使用，因为在鸟瞰图视角中，车道线相互平行，并且他们的曲率情况可以用低阶多项式拟合。此外，进行透视变换后，使得他们看起来更加的想近了，（当然会有一些模糊效果）（本来远处的车道线在相机图像上比较小。）最近，He等人引入了一种“Dual-viewCNN”它由两个独立的子网络组成，每个子网络产生一个车道线描述(每个视图一个车道线描述)，然后将描述符连接并应用于候选图像位置。Li等人使用CNN直接在鸟瞰图上检测车道标记和几何属性，如局部位置和方向，在鸟瞰图上，这些属性保持不变。此外，他们还部署了第二个循环网络，该网络遍历图像以检测一致的车道。Neven等人使用子网络(“H-net”)预测每张图像中的俯仰，将车道投影到俯视图，以改进曲线拟合。与以前的工作不同，我们使用协同的单一网络方法来利用这两种观点。
更一般地，我们提出了第一种方法，这种方法使用端到端训练的CNN直接检测多个车道，并估计每个车道的三维曲率。我们还展示了我们的方法既适用于中心线，也适用于通常意义下的车道线，并且具有处理汇聚和分叉的能力，无需任何进一步的后处理。
图2.在测试集’synthetic-3D-lanes dataset’上，置信度大于0.5的车道中心线估计结果实例。在每一幅图片中，对真值（蓝色）和方法的结果（红色）进行了展示，并配有一个3D的可视化。需要主要的是，3D可视化轴的尺度根据场景而变化。被忽略的车道被标记为蓝绿色。右下角是一个失败的例子，可能是由于阻塞，在这个例子中，这条路被错误地认为是右车道。
3.方法
我们的方法从安装在车辆上的前置摄像头获取单个图像作为输入，如图4。我们假设相机的内参矩阵κ已知（焦距，光心）我们还假设车辆相对于路面的侧倾角为0。我们假设不知道高度和俯仰角，因为随着车辆的动力学运动，他们是会改变的。道路场景中的车道线可以被表示为中心线的集合[size=11]{Ci}i=1:Nc或者车道线的集合{Di}i=1:Nd（之后车道线就指代传统的我们说的车道线，中心线就是两条车道线中的线）,如图3所示。每条车道实体(中心线或车道线)用摄像机坐标体系[/size]Ccamera下的三维曲线表示。我们将任务定义为检测给定图像的一组车道中心线和车道线。
图3. 带注释的例子。中心线用蓝色标出，车道线用黄色虚线标出
图4.相机姿态和道路投影面
3.1俯视图投影我们简要回顾 (IPM)。简而言之，IPM是一个单应性变换，它获取一个前视图图像并生成一个虚拟鸟瞰视图图像，如图1(a)中的图像所示。这相当于应用相机旋转矩阵，然后在各个方向上进行不同尺度的缩放（放大或缩小）处理。在我们的实现中，我们想要确保鸟瞰视图图像中的每个像素在道路上对应一个预定义位置（路面坐标系下的绝对位置），这个位置独立于摄像机的内部特性及其相对于道路的姿态。 如图4所示，对照此图进行定义，相机坐标Ccamera = (´x,´y,´z) 是一个集合，´y是他的镜头面法线（´y是深度方向），Proad是路面的切面。我们这样定义路面坐标系Croad=(x,y,z)，z方向是路面的法线，y是相机坐标系´y在Proad的投影，原点也是相机坐标系原点在路面切面上的投影，Tc2r是一个6自由度的变换矩阵（3个旋转，3个平移），他描述从相机坐标系到路面坐标系的一个变换，既然我们假设了侧倾角为0，那么Tc2r实际上被俯仰角θ以及高度hcam所定义。单应性矩阵（K*Tc2r-1），将路面上的每一个点映射到图像坐标系上。最后IPM通过单应性矩阵以及一组参数被获得，决定了俯视图上的边界以及从米到像素的缩放尺度，俯视图通过双线性差值采样，这个过程定义Sipm。
3.2射影转换和双特征模块在我们的结构中一个主要的部分是射影变换层。它对Ui（普通图像视图）进行可微采样，获得Ut，Ut对应俯视特征图。具体的在俯视图投影部分讲述了（就是三维的STN）。双特征模块，正如在图5中所示，使用射影变换层，创造更高描述层级的特征图。信息在在多通道的特征图Ut（对应正常视图特征）和Vt（对应俯视图特征）之间流动，使用上述的采样方法（类STN方法）Ui被变换为Ut，并且和Vt合并，他么分享共同的空间尺度。以上就只这个基础模块，他可以在网络中重复使用。考虑现在有一个特征图Mt，他的获得是通过将Vt与Ut合并为[Vt;Ut]，然后应用一个卷积层，获得Mt，Mt组合了在车道线检测中的两个有用的性质。1.首先，俯视图上的平移不变性，这十分有价值，因为在俯视图上，车道线有着相似的样子和空间上的几何结构。第二，保存了在两个视角下的信息（正常视图与俯视图），正常视图编码了一些在俯视图上没有的信息，比如栅栏，天际线，树木。这对于3D空间结构至关重要。特别的，对于远处来说，正常视图有着更加丰富的视觉信息，相比于俯视图，描述了一个更大的真实空间。
图5.双特征模块
3.3网络架构
架构总览如图6所示，信息在两条通路中被处理，正常视图通路，俯视图通路，我们管这个叫做双通路结构。正常视图通路处理和保存信息，而俯视图通路提供具有平移不变性的特征，并用于预测3D车道线输出。正常视图通路基于VGG16[29]，俯视图通路类似。信息经过射影变换层后流向俯视图通路，这样的通路有四条。为了避免流入的特征图的通道(C)数超过原有的通道数，通过1*1的卷积对其进行了降维，当然除了第一次流入（第一次流入没有原来的）。
图6.3D-LaneNet的整体结构
3.3.1道路投影预测分支这条通路估计路面投影平面Proad，具体的，分支预测Tc2r（通过监督方式），Tc2r决定了Hr2i，以及Sipm过程。这些是俯视图处理通路所需要的参数。在推理时，也被用于将网络的输出，输出是Croad坐标转换为Ccamera坐标。正如前边所描述过的，Tc2r使用俯仰角θ以及hcam定义的，因此道路投影预测分支预测这两个参数。
3.3.2车道线预测头我们的端到端方法的核心是基于anchor的车道线结果表示，受到目标检测方法的启发，我们使用anchors去定义候选车道线，并且用精细的几何表示方法来描述每个anchor的精确的3D车道线形状。输出所在的坐标体系是Croad，这个体系被前边定义的hcam，和θ所定义。我们的ahcnors在这个坐标系下对应纵向线，对于每一个anchor，根据3D点，做最终3D车道线的精细化处理。正如图7所展示的那样。我们将anchor定义为垂直于x轴的等距纵向线，他的集合是{XiA}i=1:N，每一个XiA线对应着2K个输出，这个输出集合表示为(xi,zi)={(xij,zij)}j=1:K，K是预先定义的一个超参数，对应着预先定义好的K个y方向上的位置，他们一起组成一个3D点集。xi代表着相对于anchorXiA的水平偏移，这意味着(xi,zi)代表着点(xi,XiA,yi,zij)，这个坐标是在Croad这个坐标体系下的。此外对于每一个anchor i，我们还会输出一个置信pi，这个代表着车道线与anchor的关联程度。我们使用一个预先定义的纵坐标Yref位置来表述这种关联，具体来说与XiA相关联的车道线，是在y = Yref这条水平线上，x的坐标偏移最小的那条车道线（简单看一下output的数量 2K个点加上一个置信p也就是说一个anchor对应2K+1个输出，如果只预测一条中心线，或者只预测一条车道线的话）。
图7.输出表示。注意输出的anchor的数量等于输出层的宽（图6中被标记为w/8）
每一个anchor，网络输出3种类型的车道分割，前两组代表着中心线，第三组代表着分隔线，为每个anchor分配两条可能的中心线将产生对汇聚和分叉的描述支持，这通常会导致两条车道的中心线在Yref重合，并在不同的道路位置分开，如图7中最右边的例子所示。车道线的拓扑结构相比于中心线来说，通常会更加的复杂，我们现在的这种表示方式，还不能描述所有的情况，比如图7中车道线没有经过Yref。车道线预测头被设计为输出如我们描述的那样的输出，通过一系列的y方向的无padding的卷积，特征图在H方向上逐渐减小，最终形成N×1×3×(2K+1)的输出（按照标准pytorch描述，可以说成是batch, (3*(2K+1),1,N)，前面最后一个之所以乘3，是对每一个车道输出三种描述，分别是中心线，中心线，和车道线）中的一个i∈{1...N}，对应着一个anchorXiA，每一个anchor，XiA，类型t∈{c1,c2,d}被输出表示为(xti,zti,pti)，最终的输出还会经过一个1D的非极大抑制，就如在目标检测中的那样，只保留局部最大置信度的车道(与左右相邻anchor相比)，每一个被保留的车道线，都有少量的3D（K个）点，然后利用他们，利用样条插补的方式完成光滑曲线的生成。
3.4训练与真值关联给定一个图片，和他对应的3D曲线，训练过程如下：第一真值坐标系Croad被定义为与当前路面切面相关的，使用θ和hcam定义的，如前面所描述的那样。接下来，每一个车道曲线，投影到Croad坐标系下的X–Y平面上，并且与他们关联的anchor定义为在Yref处与他们最近的那个。（这里的关联就是这个anchor负责预测哪个，与yolo里目标中心落在哪个小方格中心，哪个小方格就预测谁类似）对于每一个anchor来说，最左侧的中心线，以及最左侧的车道线t∈{c1,c2,d}被定义为集合中的c1和d1，如果还有额外的中心线，那门它被定义为c2。这种方式将真值定义为与输出相同的形式，每一个anchorXiA和类型t相关的GT被标记为(xti,zti,pti)，pti是在坐标系Croad下的分配标识（我理解为有就是1，没有就是0）。 在训练以及评估阶段，整个车道将会被忽略，如果他们在俯视图中在y = Yref处没有值，并且如果他们被地形所挡住，他呢也将被忽略（比如被小山丘挡住），整个的loss函数被给出，如下，它结合了三个等权重的loss，车道线检测（有无）（交叉熵损失）三维几何形状损失，以及道路平面估计损失。
4. 模仿合理行为
我们的实验描述按如下步骤：我们先回顾一下我们生成的synthetic-3D-lanes 数据集，我们的大多数结论产生于此。接下来，我们描述下对于3D车道检测任务的评估方法，然后，我们展示在我们制作的这个数据及上的结果，以及控制变量法检查每一个概念（方法）对于我们整个方法的贡献。最后，为了证明我们的方法在真实数据上的可用性，我们将我们的方法与其他单图片车道检测办法在tuSimple benchmark 上进行了比较。
4.1合成的3D车道数据集
我们生成synthetic-3D-lanes 数据集使用考元的图形引擎blender，我们的方法允许我们随机生成模型的各个部分，从场景的3D几何形状，到目标的类型，如图8所示。
图8.随机生成的数据集。(a)路面(b)道路拓扑结构和曲率(c)路与路面(d)渲染场景。
生成每一个场景的步骤如下：
- 3D地形：地形通过随机生成参数的高斯混合分布来生成，如图8a所示。
- 地形拓扑：车道的数量是被选定的，然后我们选择是否有第二条路，和在这条路里的车道，取决于后来在场景中相机的方向，第二车道的连接被视为一个车道汇聚或者车道分叉。
- 车道曲率：每一个车道在俯视图中的几何形状用三次多项式建模，如果存在汇聚/分叉，则选择连接点，这个在俯视图上的结果如图8b所示，车道的宽度被随机选择为3到4米。
- 3D车道：俯视图上生成的三次多项式会被映射到之前生成的地形上，第二车道也是，模仿正常道路的拓扑结构，如图8c所示的那样。
- 地形和道路表示：道路和地形的纹理是从一组纹理中选择的。车道标记的类型和颜色也是随机的。
- 目标：车辆和树木分别摆放在场景中、道路上和道路外。它们的模型是从一组可选模型中选择的。
- 场景生成：主车相机通过选择它的车道和他相对于车道中心的横向偏移放置在主道路上。相机的高度被随机设置为140cm到190cm，俯仰角被随机生成为0到5度，最终，光度被设置，并且场景从相机视角生成，每条车道中心线与车道线的3D点被转换为相机坐标系下的坐标，来产生真值。图8包括几个场景的例子，展现了场景的多样性与复杂性。
- 应用细节：正常视图通路用预训练的VGG16进行初始化，我们使用adam优化方法，学习率设置为5.1*10-4，我们使用在循环学习率上的变化机制如[30]中描述的那样，并且设置最小的学习率为10-6俯视图上的场景在真实场景中的尺寸为80m*20m，IPM在x与y两个方向上具有不同的缩放尺度，在第一次俯视图特征图上（第一次变换的）每一个像素点代表着真实世界16cm的宽度（x向）和38.4cm的长度（y向）最后一张特征图的边长是第一张的八分之一，并且每一列代表一个anchor，所以两个临近的anchor之间的距离为真实世界中的128cm（16*8），我们将K设置为6，预设的y的位置为:y={5,20,40,60,80,100}和Yref=20m。
4.1.1评估方法我们提出一种对于3D车道检测的评估办法，他讲检测的准确率与几何估计准确率分割开来，检测准确率通过标准的平均精度办法(AP)来计算回归曲线的精度。我们首先计算真值曲线与预测曲线的加权欧式距离，我们计算在预先设定的各个y位置上距离，每80cm的图片距离代表实际的80m，远处的点的距离计算给予较低的权重，然后，我们通过选择减少相似性的配对来执行一对一(曲线)匹配，当他们的加权距离小于一个阈值，匹配被认为是成功的，迭代这个阈值，已获得更加精确地阈值。 对于配对的曲线，我们评估几何估计精度通过计算他们误差的分布，（这在计算距离的时候用到过），我们将整个数据集的车道线点分为近距离（0-30m）与远距离（30-80m）由于他们误差的巨大差异。然后我们计算误差为1δ误差的，比如百分之68这样，还有误差为2δ误差的，比如百分之95类似这样，道路中心线与车道线都各自用这种方法评估。在训练阶段被忽略的那些点，在评估的时候也被忽略。
4.1.2评估结果在测试集上典型的网络结果如图2，用真值做标记。表1第一行为3D-LaneNet中心线检测定量结果。一个对合成数据集有必要的担心是，他的变换实在是太有限了，导致网络记住了整个样例空间，而不是去学习如何泛化，一个积极地结果表明这种情况没有发生是测试集的AP(0.952)略低于训练集AP（0.966）对于几何误差也是同样的。在接下来的控制变量实验中，我们都用训练好的3D-LaneNet的参数做初始化，用以减少训练时间。
表1.在synthetic-3D-lanes dataset 上的中心线检测结果
我们首先通过与其他结构进行比较来探求双通路结构的作用，只有正常视图通路的版本，将网络后部分直接连接到lane detection head 输出Croad下的3D坐标，就如完整版本那样，这个时候anchor 被最后一张特征图上的列所决定，对于每一列，我们在预定义的图像y坐标上选取一个像素，并将其投影到俯视图中，以确定与列对应的anchor。只有俯视图版本，首先将图片投影到俯视图上，然后后面继续进行和完整版本的俯视图通路同样的计算。除此之外，我们还测试了两个版本，它们包含双通路结构，但是这个机构的个数和位置不同。Early IPM版本包含一个双特征模块（dual context module），并且是第一个，late IPM同样只包含一个，不过包含的的是最后那个。结果在被总结在表格1中，结果表示了，带有完全体双特征模块的相对于其他变体有着非常好的超级表现，特别的，只有正常视图通路的有着最差的结果，这说明，俯视图通路的处理是十分有必要的。注意late ipm版本，只包含一个双特征模块，表现出了第二高的准确率，但是却减少了很多的计算，这使他成为一个可实时应用的候选模型。 我们尝试了几个版本的道路投影平面定义，这是我们架构和输出表示的核心，我们的第一个尝试是在没有显示监督的情况下，学习每个场景的最佳道路投影平面，类似于[23]中的“H-net”地平线估计，但是这种方法没有得到令人满意的结果。我们认为这一方向值得进一步研究，因为这是最自然的方向。另一个自然的选择是在拟合道路平面时考虑整个场景，而不仅仅是局部道路的发现。为此，我们设计了一种地面真值生成算法，该算法取最远处可见的道路点，并将其与当前道路位置相连接以确定俯仰角。由于这种方法类似于水平估计方法，所以在表格中将其称为水平（horizon）。显然，它的表现总的来说略差，虽然我们一直观察的情况下，场景地形有利于这一定义。我们也尝试假设一个固定的相机位置，其中平均俯仰角为(2.5◦)和相机高度(165厘米)这两个数据被用来定义Tc2r。 表格1中的最后一行显示了假定地面是平坦的图像到世界转换的结果。这通过将我们完整版的网络中估计的z设置为0来实现。尽管这个糟糕的结果有一些繁琐，并且有着高度的数据依赖性，但他还是告诉我们3D车道探测的重要性。带着0.966的AP，完整版的3D车道检测网络在车道线的检测上超过了中心线的检测，这可能是因为在图片中，车道线有比较明显的显示。在他们的位置误差分布上也是同样的（nearrange: 10.5cm@1σ,28cm@2σ; far range:27.3cm@1σ and 106cm@2σ） 既然输出从路面坐标系通过Tc2r转换到了相机坐标系，我们也评估了这种估计的质量以及他对最终结果的影响。俯仰角和相机高度误差的中位数为0.09°和2.4cm，为了消除这两个误差对最终结果所造成的影响，我们评估了Croad下的坐标，方法是通过直接拿到网络的原始输出。
5. 总结及未来工作
我们提出了一个单帧单次cnn前向传播，不需要其他后续处理工作的车道检测办法。在tuSimple benchmark 上，我们展现了富有竞争力的结果，并且在我们合成的3D车道线数据及上，我们的方法能够进行多车道的3D检测。最重要的是，接下来的研究证明了这是可以应用在真是世界的数据上的。我们现在的表示在（在纵向上的anchor，判断Yref存在与否）还比较粗糙，这限制了该方法对车道复杂拓扑结构的表示，比如城市内部，在接下来的工作中，我们会更新我们的表示方法使用端到端的机制来来处理这些情况。
谷歌ChauffeurNet:训练能够鲁棒地驾驶实车的网络
知识讲堂 • betty19920416 发表了文章 • 0 个评论 • 1746 次浏览 • 2019-04-23 10:21
编者按：Waymo于2018年底发表了本论文，介绍如何利用并改进模仿学习以获得能够较为鲁棒的驾驶模型ChaufferNet。它与典型的端到端学习不同，采用的是mid-mid的方式，在仿真环境和实车测试中都有不错的表现。模型一方面基于大量数据模仿学习合理的驾驶行 ...查看全部
编者按：Waymo于2018年底发表了本论文，介绍如何利用并改进模仿学习以获得能够较为鲁棒的驾驶模型ChaufferNet。它与典型的端到端学习不同，采用的是mid-mid的方式，在仿真环境和实车测试中都有不错的表现。模型一方面基于大量数据模仿学习合理的驾驶行为，另一方面通过在合理驾驶轨迹上附加扰动以制造各种特殊的驾驶情形，结合对应的附加损失函数，训练网络如何应对扰动和避免不良行为。ChaufferNet驾驶模型具有较好的鲁棒性，虽然目前还不能够和运动规划方法竞争，但的确是机器学习驾驶模型前进的一大步。
摘要:
我们的目标是通过模仿学习训练出能足够鲁棒地驾驶真实车辆的网络。我们发现单纯的行为模仿不能应对复杂的驾驶场景，即使我们利用感知系统预处理传感器输入，同时利用控制器在车辆上执行模型输出：3000万量级的学习样本仍然不够。我们尝试利用在合理驾驶的数据上附加扰动得到的合成数据来辅助学习，创造出一些特别的驾驶情形，如车辆发生碰撞或驶离道路。我们不是纯粹模仿所有合理驾驶的数据，而是在模仿损失上增加了一些损失，用于惩罚不良的行为并鼓励学习的进展。在合理驾驶的数据上增加的扰动为这些损失提供了重要信号，并导致学习得到的模型具有鲁棒性。我们证明了ChauffeurNet模型可以应付仿真环境中的复杂情形且能够合理地应对随机因素，同时进行了实验对本文提出的各项改进的重要性加以说明。最后我们展示了使用训练得到的模型在现实世界中驾驶汽车的效果。
关键词：深度学习 mid-mid驾驶 驾驶行为学习 轨迹预测
1.介绍
驾驶员在驾驶时需要观察和理解环境中的各种物体，预测它们未来可能的行为和交互情况，然后思考如何控制汽车，在遵从道路交通规则的条件下安全到达目标位置。这项任务对于机器来说是很有挑战性，人类却可以很好地完成，因此模仿学习是解决这个问题的一种很有前景的方法。我们工作的目标就是使得模仿学习得到的模型能够达到可用于驾驶真实车辆的水平。我们在利用大量训练数据（3000万现实世界中合理驾驶的样本，相当于持续驾驶约60天）的基础上尽可能高效地构建了我们的系统。的确，端到端的驾驶行为学习有很多令人兴奋的地方。它们通常致力于通过学习，在相机或激光雷达数据等原始传感器输入数据的基础上，直接预测诸如转向或制动等原始控制输出。但为了降低样本的复杂性，我们选择了建立在感知和控制组件之上的中级输入和中级输出表示。我们使用能够加工处理原始传感器信息的感知系统来产生这种中级输入：俯视的环境表达和目标路线，车辆等物体被绘制为有向的边界框，道路信息和交通信号灯状态也在其中。我们将这种中级输入注入到一个名为ChauffeurNet的循环神经网络中，由这个网络输出一条驾驶轨迹，再由控制器将此驾驶轨迹转换为转向和加速度控制指令。使用这些中级表示的另一个优点是：网络既可以使用实际数据，也可以使用模拟数据来训练，且可以在部署到实车之前在闭环仿真中轻松完成测试和验证工作。
我们的第一个发现是，即使在拥有3000万个驾驶样本并使用中级输入和中级输出表示减轻感知与控制负担的条件下，单纯的模仿学习依然不能达到目标。例如我们发现这种情形：本车会与一辆停在狭窄街道一侧的车发生碰撞或者卡在这辆车后不动，然而此时避让和超车都是完全可行的。关键的挑战是我们需要闭环地运行系统，而误差的累积将会导致驾驶情形偏离训练时的分布。这一结果是单纯的模仿学习在驱动车辆驾驶领域具有局限性的很有价值的证据。此外我们还发现在模仿损失的基础上，增加一些抑制不良行为并鼓励学习进展的损失，同时增加附加了扰动的合成驾驶轨迹可以克服这一挑战。这些改进使得模型能够接触到发生碰撞和驶出道路等非常规行为，同时损失函数的增大将引导模型避免这些行为。正是由于采用中级的输入输出表示，我们才能得到大量这样的合成驾驶轨迹。这些扰动很难从原始传感器输入或直接馈送到车辆的控制器输出中生成。
我们首先在仿真中评估整个系统以及进行损失函数扩增和数据扩增的重要性，之后展示最终模型如何在现实世界中驾驶汽车，并协调处理涉及其他交通参与者、转弯、停车标志和交通信号灯等对象的驾驶情形。变道等具有高度互动性的驾驶情形，仍然需要在强化学习的框架内进行大量的探索。这就要求实现对其他交通参与者例如行人的模拟，而这种模拟也是一个正在迅速发展的值得探索的研究领域。本文的贡献可以理解为：在没有使用强化学习的条件下，我们仍然可以用纯粹的离线数据来完成更多的驾驶学习任务。
2. 相关工作
ALVINN上数十年的工作（Pomerleau(1989)）揭示了浅层神经网络如何直接利用相机数据和激光测距数据使车辆沿着道路行驶。以端到端的方式学习自主驾驶在近些年掀起新的热潮。Chen等人最近的工作(2015)展示了使用一个卷积网络来预测可行驶空间，例如和前方车辆的距离。预测的可行驶空间可用于控制器的编程，控制在高速公路上行驶的车辆。NVIDIA的研究者们(Bojarski等人(2016,2017))展示了如何训练一个端到端的深度卷积神经网络，利用相机输出的数据作为输入，控制车辆的转向。Xu等人同样利用相机输出的数据，训练了一个神经网络用于预测离散的或连续的动作。Codevilla等人(2018)也训练了一个网络，使用相机的输出作为输入，使用高级的控制指令来输出对转向和加速度的控制。Kuefler等人(2017)使用生成对抗模仿学习(GAIL),使用简单的affordance-style特征作为输入，以克服基于行为复制策略得到的模型中经常出现的过大误差，因而对于扰动有更好的鲁棒性。Hecker等人最近(2018)训练了一个使用360度环视相机输出作为输入，包含目标路线规划模块的驾驶模型，可以预测转向和车速。CARLA模拟器(Dosovitskiy等人(2017))在Sauer等人的工作（2018）中都有用到，它可以基于传感器数据估计若干个可行驶空间并在仿真的城市环境中驾驶车辆。Muller等人(2018)利用和本文思路相似的中级表示，在仿真环境中使用CARLA训练了一个系统。具体的方法是从一个场景分割网络中训练驾驶策略，并输出高级的控制指令，方便了后续基于迁移学习的方法利用现实世界驾驶数据训练得到的一个不同的场景分割网络。Pan等人(2017)同样描述了如何利用基于学习的intermediate场景标注方法，将仿真环境中训练得到的模型向真实世界中迁移。Shalev-Shwartz等人(2016)提到在模拟器中使用强化学习训练机器完成诸如变道等复杂的且具有高度交互性驾驶任务。目前已经有机器学习之外的大量的车辆运动规划方面的工作，Parden等人(2016)对此给出了一个很好的调研。
3.模型架构
3.1输入输出表示
首先描述网络如何处理俯视的输入表示，进而输出可行驶的轨迹。在任何时间t，本车状态可以俯视坐标系中的坐标pt，θt，st来表示，其中pt=(xt,yt)表示位置，θt表示航向角或行驶方向，st表示速度。俯视的坐标系按照以下规则选定：本车在当前时刻t=0的位置p0始终位于图像中的固定位置(u0,v0)。为了在训练阶段扩增数据，每一个训练样本都在θ0±Δ的角度范围内随机选择坐标系的方向，其中θ0表示本车在当前时刻t=0的航向角或行驶方向。俯视图由一组分辨率为W×H的图像表示，地面的采样分辨率为φ米/像素。随着本车的移动，这些环境视图也发生移动，因此本车总是观察一个固定前视范围内的环境，即[Rforward=(H-v0)φ]米。这样就模拟出了车载的传感器只观察车辆前方Rforward米范围内的环境的情形。
图1：驾驶模型的输入(a-g)和输出(h)
如图1所示，模型的输入由几个大小为W×H，并且调整到俯视坐标系的图像组成。(a)路线图：一幅3通道彩色图像，包含各种地图特征如车道、停车标志、人行横道和路缘等。(b)交通信号灯：灰度图像的时间序列，序列中的每一帧表示一个过去时间步的交通信号灯状态。我们在每一帧中为每个车道的中心线着色，最亮的灰度级对应红灯，中间灰度级对应黄灯，较暗的灰度级对应绿灯或未知信号灯。(c)限速：单通道图像，车道中心的着色灰度与本车道对应的限制车速成比例。(d)路线：驾驶的目标路线，它由一个路线规划模块产生。(e)本车边界框：显示了本车在当前时间t=0的完整边界框。(f)环境中的动态对象：图像的时间序列，序列中用有向边界框的形式显示所有的动态物体(车辆，骑自行车者，行人等)。(g)本车的历史位姿：本车的在各个历史时刻的位姿，用单个灰度图像中某个点的运动轨迹表示。
图2：驾驶模型的训练 (a)ChauffeurNet的模型核心是一个FeatureNet网络和一个AgentRNN网络 (b)共同训练的路标预测网络和PerceptionRNN (c)训练的损失函数以蓝色显示，绿色部分代表真值。虚线箭头表示从一次迭代到下一次迭代的预测值的循环反馈。
我们使用δt的固定时间间隔，来采样过去或者未来时间点上的信息，例如上述输入中的交通信号灯状态和动态对象状态。在过去的Tscene秒内对交通信号灯和动态对象进行采样，在过去的Tpose秒甚至更长的时间间隔内对本车的位姿进行采样。这种简单的输入表示，特别是用边界框表示其他动态对象，使得从仿真或实际感知系统记录的检测和跟踪对象日志中生成输入数据变得更加容易。这样在实车运行之前，就可以在闭环仿真中完成测试和验证的工作。仿真数据的利用，使得模型可以充分探索现实中较少发生的驾驶情形，从而改进模型。例如在现实世界中，我们很难获得与发生碰撞相关的数据。使用二维的俯视图还意味着可以实现有效的卷积输入，允许以灵活且易读的方式表示各种数据以及它们的空间关系。使用I表示上面列举的输入图像的集合，ChauffeurNet模型便以这些输入为基础反复预测本车的未来位姿，如图1(h)中绿色的点所示。
图3：(a)ChauffeurNet概览 (b)多次迭代中的存储单元更新
公式1中，当前位姿p0是已知的输入，然后ChauffeurNet执行N次迭代并输出预测的未来轨迹{ pδt,p2δt,…,pNδt }和如未来速度等一些其他的属性。该轨迹可以输入到优化控制器内，以计算出具体的驾驶控制指令(例如转向和制动命令)。当然，这些控制指令要满足车辆动力学约束。不同类型的车辆可能利用不同的控制输出来实现相同的驾驶轨迹，这也印证了训练网络直接输出低层次的转向和加速度控制指令在这里是不太合适的。
3.2 模型设计
概括地说，驾驶模型由如图2所示的若干部分组成。图中（a）部分是ChauffeurNet模型的主要部分，由特征提取卷积网络(FeatureNet)组成。FeatureNet使用中级输入数据来创建可由其他网络共享的特征表示。这些特征被本车的循环神经网络(AgentRNN)使用，以迭代地预测驾驶轨迹中的后继点。轨迹中时刻t对应的点用位置pt=(xt，yt)，航向角θt和速度st来描述。AgentRNN还在未来的每个时间步上，以heatmap的形式预测车辆的边界框。图的(b)部分可以看到另外两个网络，它们使用相同的特征表示作为输入共同训练。Road Mask网络预测视野中的可驾驶区域(道路与非道路)，感知循环网络(PerceptionRNN)迭代地预测描述空间分布的heatmap。利用和主要任务共享的特征表示来很好地完成这些附加任务，改进了模型在完成主要任务基础上的泛化能力。图2(c)显示了训练模型过程中使用的各种损失，这些损失将在下面详细讨论。
图4：信息流图表示的端到端驾驶软件架构
图3更详细地说明了ChauffeurNet模型。图1中的输入传递给具有skip-connections结构的卷积神经网络FeatureNet。FeatureNet输出的特征表示F中包含了环境的上下文信息。这些特征被提供给AgentRNN，并由AgentRNN基于一系列条件预测驾驶轨迹的下一个点pk以及预测本车边界框的heapmap:Bk。这些条件包括FeatureNet得到的特征表示F，迭代次数k:{1,…,N}，对AgentRNN的过去获得的预测结果的记忆Mk-1，以及在前一次迭代中预测的本车边界框heatmap:Bk-1。
存储单元Mk是由单通道图像组成的叠加式存储单元。AgentRNN的第k次迭代中，存储单元（单通道图像）在AgentRNN预测的图像位置pk处增加1个点，然后此存储单元传递给下一次迭代。AgentRNN在heatmap上输出对本车下一位姿的预测，使用arg-max操作可从heatmap中获取位姿的粗略估计pk。AgentRNN采用一个较浅的且具有一个全连接层的卷积网络，对姿势δpk进行亚像素级别的细化，并估计出航向θk和速度sk。在训练时AgentRNN会展开固定次数的迭代，下面要描述的损失将在这些展开的迭代步中进行累加。这样之所以可行，是因为我们使用的是非传统的RNN，采用的存储单元是显式设计的而不是通过学习产生的。
3.3系统架构
图4表示的是在自动驾驶系统中如何使用神经网络的系统层面的概述。通过感知系统处理真实世界传感器输出或者从仿真环境获取，更新本车和环境状态。目标路径从路径规划模块获得，且根据本车是否能够跟随过去的目标路径驾驶进行动态更新。环境信息被整合到图1所示的输入图像中并传递给RNN，由RNN输出未来的轨迹并送到优化控制器，进而输出驱动车辆的低级控制信号（在现实世界或仿真环境中）。
4. 模仿合理行为
4.1 模仿损失
4.1.1本车位置，航向角和边界框预测
AgentRNN在每次迭代k产生三个输出：(1)基于空间softmax得到的预测路点在空间坐标系中的概率分布Pk(x,y)。(2)当前时间步k对应的预测本车边界框heatmap: Bk(x,y)，基于逐像素的sigmoid激活函数生成，表示本车占据特定像素的概率。(3)回归获得的边界框航向角输出θk。掌握上述预测量真值的条件下，我们可以为每次迭代定义相应的损失：
其中上标gt表示对应的真值，而H(a,b)是交叉熵损失函数。注意[Pgtk]是二值图像，只有对应目标真值坐标的像素的值才被设置为1。
4.1.2本车预测
预测网络在每一次迭代中，基于特征并且使用回归的方式，对粗略的路点估计结果生成亚像素级别细化的δpk以及每个点的速度估计sk。我们对这两种输出均采用L1损失函数：
4.2 对过去运动行为的dropout
训练过程中，过去的运动历史被作为输入之一提供给模型。训练过程中的运动历史来自合理驾驶的示范，因此网络可以基于过去作出僵化的推断而不是发现行为背后的具体原因，类似“欺骗”。在进行闭环推理时这种“欺骗“就会崩溃，因为运动历史来自于网络本身在过去的预测。这样训练出来的网络，也许会只有在过去运动历史中发现减速时，才在停车标志前停车，永远不会在闭环推理时在停车标志前停车。为了解决这个问题，我们引入了一个针对运动历史的dropout机制：对于50％的样本，在输入数据中的本车历史位姿这一通道中，仅仅保留本车当前位姿(u0，v0)。这一点迫使网络寻找环境中的其他线索，来解释训练样本中的提供的未来运动数据。
图5：轨迹的扰动。(a)原始记录的训练样例，其中智能体沿着车道的中心行驶。 (b)扰动样例，通过扰动原始记录中当前智能体的位置（红色点）使其远离车道中心，然后拟合新的平滑轨迹，该轨迹使智能体沿车道中心返回到原始目标位置。
5. 在纯模仿之外的工作
5.1合成扰动
将模型作为闭环系统的一部分运行，随着时间的推移，输入数据会偏离训练时的分布。为了防止这种情况出现，我们在训练模型时对一部分本车轨迹的样本，附加现实中可能出现的各种扰动。轨迹的起点和终点保持不变，扰动施加在轨迹中点的周围，且在周围的多个轨迹点上得到平滑。定量地来看，各个轴上产生在[-0.5,0.5]m范围内均匀分布的随机抖动，航向角产生在[-π/3,π/3]弧度范围内的随机抖动。我们用平滑的轨迹拟合扰动后的点和原始的起点与终点。这类附加扰动的训练样本，使汽车在受到扰动后能够回到原来的行驶轨迹上。我们通过设置轨迹曲率的阈值，滤除了一些实际中不太可能出现的扰动后的轨迹。我们允许扰动后的轨迹与其他车辆发生碰撞或驶离道路，因为只有这样，网络才能在原有样本中没有类似情况出现的条件下，也能经历并且学会如何避免这样的行为。训练过程中我们给附加了扰动的样本的权重是真实样本的权重的1/10，避免学到的模型有始终在扰动状态下驾驶的倾向。
5.2 模仿损失之外的损失
5.2.1 碰撞损失
由于我们的训练数据没有任何实际碰撞，因此避免碰撞的想法是隐式的，不能很好地泛化。为了缓和这个问题我们增加了一个专门的损失函数，直接度量在每一个时间步上预测的边界框Bk与场景中所有物体的边界框真值的重叠率。
其中Bk是输出本车边界框预测的似然图，Objgtk是时间k对应的二值化的掩模图像，所有被其他动态物体（其他车辆，行人等）占据的像素的值都为1。训练过程中的任何时候，如果模型预测到将会发生碰撞，大的重叠率会造成的损失增加，进一步影响到模型更新的梯度，从而纠正这种错误。但是这种损失仅在训练的初始阶段有效，也就是在模型还没有能够预测出接近真值的位置时。在轨迹上附加扰动之后，这个问题得到了缓和。这是因为在附加扰动的样本中，人为制造出来的碰撞情形使得上述损失函数在训练过程中能够发挥出作用，影响模型更新的梯度。此外这种方法还达到了类似在强化学习中设置在线探索的效果。
5.2.2 驶离路面损失
轨迹扰动同时会产生车辆驶离道路或驶上路缘的情形。为了训练网络避免车辆驶上道路边缘，我们增加了一个专门的损失函数，在每一个时间步k上度量预测的本车边界框和表示视野中的道路和非道路区域二值掩模图像Roadgt的重叠率。
5.2.3 目标轨迹几何损失
我们希望显式地约束本车，使其沿着独立于速度曲线的目标轨迹行驶。通过用平滑曲线拟合目标路点，并将此曲线调整为俯视坐标系中的二值化图像，来对目标轨迹几何形状进行建模。该曲线的宽度被设定为和本车宽度相等。我们用类似定义碰撞损失的方式，通过预测的本车边界框和二值化的目标轨迹几何图像Geomgt的重叠率，度量这种与目标轨迹几何形状相关的损失。边界框的任何不与目标几何轨迹重叠的部分，都将被转化为惩罚值并加入损失函数中。
图6：在样例输入上将预测和损失函数可视化。上面一行是输入的分辨率，而下面一行是当前智能体位置周围的放大视图。
5.2.4 附加损失
与预测本车轨迹类似，循环网络也可以用来预测其他交通参与者。因此我们添加了一个感知循环网络PerceptionRNN，它使用FeatureNet创建的共享特征F和它自己在前一次迭代预测的heatmap:Objk-1作为输入，并预测每次迭代的heatmap:Objk。Objk(x,y)表示k时刻位置(x,y)被动态物体占据的概率。对于k=0的迭代步，使用动态对象的真值数据输入到PerceptionRNN中。
5.3 Imitation Dropout
总的来说我们的损失可能分为两组。模仿损失如下：
环境损失如下：
模仿损失导致模型模仿合理驾驶的示范行为，而环境损失抑制了诸如碰撞等不良行为。为了进一步增加环境损失的有效性，我们试验时使用了具有随机退出机制的模仿损失，称为"imitation dropout"。在实验中我们证明"imitation dropout"相比于简单地降低模仿损失的权重，可以得到更好的驾驶模型。在"imitation dropout"过程中，每个训练样本的模仿损失wimit被按照一定的概率随机置为0或1。整体损失由下式给出：
6. 总结
在本文中，我们介绍了让模仿学习在现实世界的完成驾驶任务也能拥有良好表现的研究经验。我们发现成功的关键在于，在合理驾驶行为的基础上附加扰动合成出各种驾驶情形，并增加适当的损失来抑制不良的行为。这些改进可以使模型学会如何避免发生碰撞和驶离道路，即使这些情形在合理驾驶的样本中很少出现。为了支持这一点，并更好地利用合理驾驶的数据，我们使用了中级的输入和输出表示，从而轻松混合真实和仿真数据并减轻学习感知和控制的负担。基于这些要素我们得到了一个足以驾驶真实车辆的模型。虽然该模型还没有完全实现与运动规划方法展开竞争，但我们认为这是机器学习驾驶模型迈出的一大步。通过在模拟中探索罕见和困难的情景，对合理的驾驶行为进行彻底的增强（也许是在强化学习框架中完成），将是提高这些模型的性能并将其用于具有高度交互性的交通场景的关键。
摘要:
我们的目标是通过模仿学习训练出能足够鲁棒地驾驶真实车辆的网络。我们发现单纯的行为模仿不能应对复杂的驾驶场景，即使我们利用感知系统预处理传感器输入，同时利用控制器在车辆上执行模型输出：3000万量级的学习样本仍然不够。我们尝试利用在合理驾驶的数据上附加扰动得到的合成数据来辅助学习，创造出一些特别的驾驶情形，如车辆发生碰撞或驶离道路。我们不是纯粹模仿所有合理驾驶的数据，而是在模仿损失上增加了一些损失，用于惩罚不良的行为并鼓励学习的进展。在合理驾驶的数据上增加的扰动为这些损失提供了重要信号，并导致学习得到的模型具有鲁棒性。我们证明了ChauffeurNet模型可以应付仿真环境中的复杂情形且能够合理地应对随机因素，同时进行了实验对本文提出的各项改进的重要性加以说明。最后我们展示了使用训练得到的模型在现实世界中驾驶汽车的效果。
关键词：深度学习 mid-mid驾驶 驾驶行为学习 轨迹预测
1.介绍
驾驶员在驾驶时需要观察和理解环境中的各种物体，预测它们未来可能的行为和交互情况，然后思考如何控制汽车，在遵从道路交通规则的条件下安全到达目标位置。这项任务对于机器来说是很有挑战性，人类却可以很好地完成，因此模仿学习是解决这个问题的一种很有前景的方法。我们工作的目标就是使得模仿学习得到的模型能够达到可用于驾驶真实车辆的水平。我们在利用大量训练数据（3000万现实世界中合理驾驶的样本，相当于持续驾驶约60天）的基础上尽可能高效地构建了我们的系统。的确，端到端的驾驶行为学习有很多令人兴奋的地方。它们通常致力于通过学习，在相机或激光雷达数据等原始传感器输入数据的基础上，直接预测诸如转向或制动等原始控制输出。但为了降低样本的复杂性，我们选择了建立在感知和控制组件之上的中级输入和中级输出表示。我们使用能够加工处理原始传感器信息的感知系统来产生这种中级输入：俯视的环境表达和目标路线，车辆等物体被绘制为有向的边界框，道路信息和交通信号灯状态也在其中。我们将这种中级输入注入到一个名为ChauffeurNet的循环神经网络中，由这个网络输出一条驾驶轨迹，再由控制器将此驾驶轨迹转换为转向和加速度控制指令。使用这些中级表示的另一个优点是：网络既可以使用实际数据，也可以使用模拟数据来训练，且可以在部署到实车之前在闭环仿真中轻松完成测试和验证工作。
我们的第一个发现是，即使在拥有3000万个驾驶样本并使用中级输入和中级输出表示减轻感知与控制负担的条件下，单纯的模仿学习依然不能达到目标。例如我们发现这种情形：本车会与一辆停在狭窄街道一侧的车发生碰撞或者卡在这辆车后不动，然而此时避让和超车都是完全可行的。关键的挑战是我们需要闭环地运行系统，而误差的累积将会导致驾驶情形偏离训练时的分布。这一结果是单纯的模仿学习在驱动车辆驾驶领域具有局限性的很有价值的证据。此外我们还发现在模仿损失的基础上，增加一些抑制不良行为并鼓励学习进展的损失，同时增加附加了扰动的合成驾驶轨迹可以克服这一挑战。这些改进使得模型能够接触到发生碰撞和驶出道路等非常规行为，同时损失函数的增大将引导模型避免这些行为。正是由于采用中级的输入输出表示，我们才能得到大量这样的合成驾驶轨迹。这些扰动很难从原始传感器输入或直接馈送到车辆的控制器输出中生成。
我们首先在仿真中评估整个系统以及进行损失函数扩增和数据扩增的重要性，之后展示最终模型如何在现实世界中驾驶汽车，并协调处理涉及其他交通参与者、转弯、停车标志和交通信号灯等对象的驾驶情形。变道等具有高度互动性的驾驶情形，仍然需要在强化学习的框架内进行大量的探索。这就要求实现对其他交通参与者例如行人的模拟，而这种模拟也是一个正在迅速发展的值得探索的研究领域。本文的贡献可以理解为：在没有使用强化学习的条件下，我们仍然可以用纯粹的离线数据来完成更多的驾驶学习任务。
2. 相关工作
ALVINN上数十年的工作（Pomerleau(1989)）揭示了浅层神经网络如何直接利用相机数据和激光测距数据使车辆沿着道路行驶。以端到端的方式学习自主驾驶在近些年掀起新的热潮。Chen等人最近的工作(2015)展示了使用一个卷积网络来预测可行驶空间，例如和前方车辆的距离。预测的可行驶空间可用于控制器的编程，控制在高速公路上行驶的车辆。NVIDIA的研究者们(Bojarski等人(2016,2017))展示了如何训练一个端到端的深度卷积神经网络，利用相机输出的数据作为输入，控制车辆的转向。Xu等人同样利用相机输出的数据，训练了一个神经网络用于预测离散的或连续的动作。Codevilla等人(2018)也训练了一个网络，使用相机的输出作为输入，使用高级的控制指令来输出对转向和加速度的控制。Kuefler等人(2017)使用生成对抗模仿学习(GAIL),使用简单的affordance-style特征作为输入，以克服基于行为复制策略得到的模型中经常出现的过大误差，因而对于扰动有更好的鲁棒性。Hecker等人最近(2018)训练了一个使用360度环视相机输出作为输入，包含目标路线规划模块的驾驶模型，可以预测转向和车速。CARLA模拟器(Dosovitskiy等人(2017))在Sauer等人的工作（2018）中都有用到，它可以基于传感器数据估计若干个可行驶空间并在仿真的城市环境中驾驶车辆。Muller等人(2018)利用和本文思路相似的中级表示，在仿真环境中使用CARLA训练了一个系统。具体的方法是从一个场景分割网络中训练驾驶策略，并输出高级的控制指令，方便了后续基于迁移学习的方法利用现实世界驾驶数据训练得到的一个不同的场景分割网络。Pan等人(2017)同样描述了如何利用基于学习的intermediate场景标注方法，将仿真环境中训练得到的模型向真实世界中迁移。Shalev-Shwartz等人(2016)提到在模拟器中使用强化学习训练机器完成诸如变道等复杂的且具有高度交互性驾驶任务。目前已经有机器学习之外的大量的车辆运动规划方面的工作，Parden等人(2016)对此给出了一个很好的调研。
3.模型架构
3.1输入输出表示
首先描述网络如何处理俯视的输入表示，进而输出可行驶的轨迹。在任何时间t，本车状态可以俯视坐标系中的坐标pt，θt，st来表示，其中pt=(xt,yt)表示位置，θt表示航向角或行驶方向，st表示速度。俯视的坐标系按照以下规则选定：本车在当前时刻t=0的位置p0始终位于图像中的固定位置(u0,v0)。为了在训练阶段扩增数据，每一个训练样本都在θ0±Δ的角度范围内随机选择坐标系的方向，其中θ0表示本车在当前时刻t=0的航向角或行驶方向。俯视图由一组分辨率为W×H的图像表示，地面的采样分辨率为φ米/像素。随着本车的移动，这些环境视图也发生移动，因此本车总是观察一个固定前视范围内的环境，即[Rforward=(H-v0)φ]米。这样就模拟出了车载的传感器只观察车辆前方Rforward米范围内的环境的情形。
图1：驾驶模型的输入(a-g)和输出(h)
如图1所示，模型的输入由几个大小为W×H，并且调整到俯视坐标系的图像组成。(a)路线图：一幅3通道彩色图像，包含各种地图特征如车道、停车标志、人行横道和路缘等。(b)交通信号灯：灰度图像的时间序列，序列中的每一帧表示一个过去时间步的交通信号灯状态。我们在每一帧中为每个车道的中心线着色，最亮的灰度级对应红灯，中间灰度级对应黄灯，较暗的灰度级对应绿灯或未知信号灯。(c)限速：单通道图像，车道中心的着色灰度与本车道对应的限制车速成比例。(d)路线：驾驶的目标路线，它由一个路线规划模块产生。(e)本车边界框：显示了本车在当前时间t=0的完整边界框。(f)环境中的动态对象：图像的时间序列，序列中用有向边界框的形式显示所有的动态物体(车辆，骑自行车者，行人等)。(g)本车的历史位姿：本车的在各个历史时刻的位姿，用单个灰度图像中某个点的运动轨迹表示。
图2：驾驶模型的训练 (a)ChauffeurNet的模型核心是一个FeatureNet网络和一个AgentRNN网络 (b)共同训练的路标预测网络和PerceptionRNN (c)训练的损失函数以蓝色显示，绿色部分代表真值。虚线箭头表示从一次迭代到下一次迭代的预测值的循环反馈。
我们使用δt的固定时间间隔，来采样过去或者未来时间点上的信息，例如上述输入中的交通信号灯状态和动态对象状态。在过去的Tscene秒内对交通信号灯和动态对象进行采样，在过去的Tpose秒甚至更长的时间间隔内对本车的位姿进行采样。这种简单的输入表示，特别是用边界框表示其他动态对象，使得从仿真或实际感知系统记录的检测和跟踪对象日志中生成输入数据变得更加容易。这样在实车运行之前，就可以在闭环仿真中完成测试和验证的工作。仿真数据的利用，使得模型可以充分探索现实中较少发生的驾驶情形，从而改进模型。例如在现实世界中，我们很难获得与发生碰撞相关的数据。使用二维的俯视图还意味着可以实现有效的卷积输入，允许以灵活且易读的方式表示各种数据以及它们的空间关系。使用I表示上面列举的输入图像的集合，ChauffeurNet模型便以这些输入为基础反复预测本车的未来位姿，如图1(h)中绿色的点所示。
图3：(a)ChauffeurNet概览 (b)多次迭代中的存储单元更新
公式1中，当前位姿p0是已知的输入，然后ChauffeurNet执行N次迭代并输出预测的未来轨迹{ pδt,p2δt,…,pNδt }和如未来速度等一些其他的属性。该轨迹可以输入到优化控制器内，以计算出具体的驾驶控制指令(例如转向和制动命令)。当然，这些控制指令要满足车辆动力学约束。不同类型的车辆可能利用不同的控制输出来实现相同的驾驶轨迹，这也印证了训练网络直接输出低层次的转向和加速度控制指令在这里是不太合适的。
3.2 模型设计
概括地说，驾驶模型由如图2所示的若干部分组成。图中（a）部分是ChauffeurNet模型的主要部分，由特征提取卷积网络(FeatureNet)组成。FeatureNet使用中级输入数据来创建可由其他网络共享的特征表示。这些特征被本车的循环神经网络(AgentRNN)使用，以迭代地预测驾驶轨迹中的后继点。轨迹中时刻t对应的点用位置pt=(xt，yt)，航向角θt和速度st来描述。AgentRNN还在未来的每个时间步上，以heatmap的形式预测车辆的边界框。图的(b)部分可以看到另外两个网络，它们使用相同的特征表示作为输入共同训练。Road Mask网络预测视野中的可驾驶区域(道路与非道路)，感知循环网络(PerceptionRNN)迭代地预测描述空间分布的heatmap。利用和主要任务共享的特征表示来很好地完成这些附加任务，改进了模型在完成主要任务基础上的泛化能力。图2(c)显示了训练模型过程中使用的各种损失，这些损失将在下面详细讨论。
图4：信息流图表示的端到端驾驶软件架构
图3更详细地说明了ChauffeurNet模型。图1中的输入传递给具有skip-connections结构的卷积神经网络FeatureNet。FeatureNet输出的特征表示F中包含了环境的上下文信息。这些特征被提供给AgentRNN，并由AgentRNN基于一系列条件预测驾驶轨迹的下一个点pk以及预测本车边界框的heapmap:Bk。这些条件包括FeatureNet得到的特征表示F，迭代次数k:{1,…,N}，对AgentRNN的过去获得的预测结果的记忆Mk-1，以及在前一次迭代中预测的本车边界框heatmap:Bk-1。
存储单元Mk是由单通道图像组成的叠加式存储单元。AgentRNN的第k次迭代中，存储单元（单通道图像）在AgentRNN预测的图像位置pk处增加1个点，然后此存储单元传递给下一次迭代。AgentRNN在heatmap上输出对本车下一位姿的预测，使用arg-max操作可从heatmap中获取位姿的粗略估计pk。AgentRNN采用一个较浅的且具有一个全连接层的卷积网络，对姿势δpk进行亚像素级别的细化，并估计出航向θk和速度sk。在训练时AgentRNN会展开固定次数的迭代，下面要描述的损失将在这些展开的迭代步中进行累加。这样之所以可行，是因为我们使用的是非传统的RNN，采用的存储单元是显式设计的而不是通过学习产生的。
3.3系统架构
图4表示的是在自动驾驶系统中如何使用神经网络的系统层面的概述。通过感知系统处理真实世界传感器输出或者从仿真环境获取，更新本车和环境状态。目标路径从路径规划模块获得，且根据本车是否能够跟随过去的目标路径驾驶进行动态更新。环境信息被整合到图1所示的输入图像中并传递给RNN，由RNN输出未来的轨迹并送到优化控制器，进而输出驱动车辆的低级控制信号（在现实世界或仿真环境中）。
4. 模仿合理行为
4.1 模仿损失
4.1.1本车位置，航向角和边界框预测
AgentRNN在每次迭代k产生三个输出：(1)基于空间softmax得到的预测路点在空间坐标系中的概率分布Pk(x,y)。(2)当前时间步k对应的预测本车边界框heatmap: Bk(x,y)，基于逐像素的sigmoid激活函数生成，表示本车占据特定像素的概率。(3)回归获得的边界框航向角输出θk。掌握上述预测量真值的条件下，我们可以为每次迭代定义相应的损失：
其中上标gt表示对应的真值，而H(a,b)是交叉熵损失函数。注意[Pgtk]是二值图像，只有对应目标真值坐标的像素的值才被设置为1。
4.1.2本车预测
预测网络在每一次迭代中，基于特征并且使用回归的方式，对粗略的路点估计结果生成亚像素级别细化的δpk以及每个点的速度估计sk。我们对这两种输出均采用L1损失函数：
4.2 对过去运动行为的dropout
训练过程中，过去的运动历史被作为输入之一提供给模型。训练过程中的运动历史来自合理驾驶的示范，因此网络可以基于过去作出僵化的推断而不是发现行为背后的具体原因，类似“欺骗”。在进行闭环推理时这种“欺骗“就会崩溃，因为运动历史来自于网络本身在过去的预测。这样训练出来的网络，也许会只有在过去运动历史中发现减速时，才在停车标志前停车，永远不会在闭环推理时在停车标志前停车。为了解决这个问题，我们引入了一个针对运动历史的dropout机制：对于50％的样本，在输入数据中的本车历史位姿这一通道中，仅仅保留本车当前位姿(u0，v0)。这一点迫使网络寻找环境中的其他线索，来解释训练样本中的提供的未来运动数据。
5. 在纯模仿之外的工作
5.1合成扰动
将模型作为闭环系统的一部分运行，随着时间的推移，输入数据会偏离训练时的分布。为了防止这种情况出现，我们在训练模型时对一部分本车轨迹的样本，附加现实中可能出现的各种扰动。轨迹的起点和终点保持不变，扰动施加在轨迹中点的周围，且在周围的多个轨迹点上得到平滑。定量地来看，各个轴上产生在[-0.5,0.5]m范围内均匀分布的随机抖动，航向角产生在[-π/3,π/3]弧度范围内的随机抖动。我们用平滑的轨迹拟合扰动后的点和原始的起点与终点。这类附加扰动的训练样本，使汽车在受到扰动后能够回到原来的行驶轨迹上。我们通过设置轨迹曲率的阈值，滤除了一些实际中不太可能出现的扰动后的轨迹。我们允许扰动后的轨迹与其他车辆发生碰撞或驶离道路，因为只有这样，网络才能在原有样本中没有类似情况出现的条件下，也能经历并且学会如何避免这样的行为。训练过程中我们给附加了扰动的样本的权重是真实样本的权重的1/10，避免学到的模型有始终在扰动状态下驾驶的倾向。
5.2 模仿损失之外的损失
5.2.1 碰撞损失
由于我们的训练数据没有任何实际碰撞，因此避免碰撞的想法是隐式的，不能很好地泛化。为了缓和这个问题我们增加了一个专门的损失函数，直接度量在每一个时间步上预测的边界框Bk与场景中所有物体的边界框真值的重叠率。
其中Bk是输出本车边界框预测的似然图，Objgtk是时间k对应的二值化的掩模图像，所有被其他动态物体（其他车辆，行人等）占据的像素的值都为1。训练过程中的任何时候，如果模型预测到将会发生碰撞，大的重叠率会造成的损失增加，进一步影响到模型更新的梯度，从而纠正这种错误。但是这种损失仅在训练的初始阶段有效，也就是在模型还没有能够预测出接近真值的位置时。在轨迹上附加扰动之后，这个问题得到了缓和。这是因为在附加扰动的样本中，人为制造出来的碰撞情形使得上述损失函数在训练过程中能够发挥出作用，影响模型更新的梯度。此外这种方法还达到了类似在强化学习中设置在线探索的效果。
5.2.2 驶离路面损失
轨迹扰动同时会产生车辆驶离道路或驶上路缘的情形。为了训练网络避免车辆驶上道路边缘，我们增加了一个专门的损失函数，在每一个时间步k上度量预测的本车边界框和表示视野中的道路和非道路区域二值掩模图像Roadgt的重叠率。
5.2.3 目标轨迹几何损失
我们希望显式地约束本车，使其沿着独立于速度曲线的目标轨迹行驶。通过用平滑曲线拟合目标路点，并将此曲线调整为俯视坐标系中的二值化图像，来对目标轨迹几何形状进行建模。该曲线的宽度被设定为和本车宽度相等。我们用类似定义碰撞损失的方式，通过预测的本车边界框和二值化的目标轨迹几何图像Geomgt的重叠率，度量这种与目标轨迹几何形状相关的损失。边界框的任何不与目标几何轨迹重叠的部分，都将被转化为惩罚值并加入损失函数中。
5.2.4 附加损失
与预测本车轨迹类似，循环网络也可以用来预测其他交通参与者。因此我们添加了一个感知循环网络PerceptionRNN，它使用FeatureNet创建的共享特征F和它自己在前一次迭代预测的heatmap:Objk-1作为输入，并预测每次迭代的heatmap:Objk。Objk(x,y)表示k时刻位置(x,y)被动态物体占据的概率。对于k=0的迭代步，使用动态对象的真值数据输入到PerceptionRNN中。
5.3 Imitation Dropout
总的来说我们的损失可能分为两组。模仿损失如下：
环境损失如下：
模仿损失导致模型模仿合理驾驶的示范行为，而环境损失抑制了诸如碰撞等不良行为。为了进一步增加环境损失的有效性，我们试验时使用了具有随机退出机制的模仿损失，称为"imitation dropout"。在实验中我们证明"imitation dropout"相比于简单地降低模仿损失的权重，可以得到更好的驾驶模型。在"imitation dropout"过程中，每个训练样本的模仿损失wimit被按照一定的概率随机置为0或1。整体损失由下式给出：
6. 总结
在本文中，我们介绍了让模仿学习在现实世界的完成驾驶任务也能拥有良好表现的研究经验。我们发现成功的关键在于，在合理驾驶行为的基础上附加扰动合成出各种驾驶情形，并增加适当的损失来抑制不良的行为。这些改进可以使模型学会如何避免发生碰撞和驶离道路，即使这些情形在合理驾驶的样本中很少出现。为了支持这一点，并更好地利用合理驾驶的数据，我们使用了中级的输入和输出表示，从而轻松混合真实和仿真数据并减轻学习感知和控制的负担。基于这些要素我们得到了一个足以驾驶真实车辆的模型。虽然该模型还没有完全实现与运动规划方法展开竞争，但我们认为这是机器学习驾驶模型迈出的一大步。通过在模拟中探索罕见和困难的情景，对合理的驾驶行为进行彻底的增强（也许是在强化学习框架中完成），将是提高这些模型的性能并将其用于具有高度交互性的交通场景的关键。
IIHS提议为汽车增加数字安全系统/改进照明系统 减少行人碰撞致死数量
博客 • betty19920416 发表了文章 • 1 个评论 • 1687 次浏览 • 2019-02-26 13:50
据外媒报道，行人在交通事故中死亡的数量近年来在不断攀升，汽车安全倡议者和政府监管机构都致力于解决此问题。在过去10年内，这一数字提升了将近50%，每年达到将近6000人，专家警告说，由于各种因素，此数字可能继续上涨。
...查看全部
据外媒报道，行人在交通事故中死亡的数量近年来在不断攀升，汽车安全倡议者和政府监管机构都致力于解决此问题。在过去10年内，这一数字提升了将近50%，每年达到将近6000人，专家警告说，由于各种因素，此数字可能继续上涨。
但是，美国高速公路安全保险协会（Insurance Institute for Highway Safety）近日公布的一项新研究强调了一种应对措施，即引入新型数字安全系统，可探测行人并自动进行制动操作，防止行人碰撞事故，减轻其他碰撞事故严重程度。另一个措施是改善照明系统，让驾驶员能够看得更清楚，有更多时间做出反应。
该协会测试了11辆配备了自动紧急制动系统（AEB）的小型SUV，该系统还增加了对车辆路径内行人的探测和响应能力。在测试中，有4辆车获得了“优秀”评级，5辆获得了“高级”评级，只有一辆宝马X1未能获得相关认可，其系统表现糟糕，以致在测试中撞飞了测试假人。
以测试SUV为开始并不令人惊讶。总的来说，多功能车目前约占美国汽车销量的三分之二。但更重要的是，美国高速公路安全保险协会（IIHS）此前的一份报告曾提醒，SUV及皮卡等车头较高、较尖锐的车型在交通事故中往往比车头较低、较柔和的轿车和跑车更致命，也就是说，被SUV撞到的行人从车上滚落，从而减轻伤害的可能性较小。
联邦数据显示，从2009年到2017年，行人死亡人数上升了46%，尽管去年的数据尚未公布，但预计还会进一步上升，而多用途汽车的增加只是原因之一。专家们也担忧，此种情况也由数字技术造成的分心造成，驾驶员可能不是唯一在驾驶时盯着智能手机的人，许多行人在进入十字路口时没有查看交通情况，甚至没有注意自己是否可以通行也是重要原因。此外，自上次经济衰退结束以来，糟糕的道路设计也导致了交通量大幅上升。
去年9月份，美国国家运输安全委员会召集了安全和行业内专家，试图找到方法解决该问题。该委员会的员工指出药物使用和过度城市化也造成了此情形。并且该机构提出11个建议，旨在解决该问题。但是专家们认为解决该问题的关键部分在于车辆需要改变设计，例如，完全自动驾驶车辆最终可减少大多数交通事故。
但是，真正的无人驾驶汽车何时能够推出还未确定。而且，去年还发生了优步自动驾驶测试原型车撞死路人的事故。但是，最新发布的IIHS研究和数据也表示，高级驾驶员辅助系统确实能发挥作用。
此外，联邦监管机构也在考虑更新车辆照明法规，该法规自上世纪70年代以来就未更改过。目前执行的法规非常“陈旧”。美国国家公路交通安全管理局最近开始制定规则，以在美国实施被禁止的自适应远光灯系统（ADB）照明技术。该技术可在欧洲使用，不需要驾驶员在远光和近光之间切换，相反，传感器会根据需要遮挡一部分光线，避免迎面而来的车辆因强光而眩目。
由于规则发生了重大改变，可能在数年内才能实现规则更新。预计最近的一两年内，自适应远光灯系统技术都不会在美国道路上实现。此外，激光照明大灯等其他照明技术也在研发过程中。在欧洲，该技术能够探测到近半英里外的障碍物，但是目前美国市场上的该技术在激光功率上严重受限。
但是，美国高速公路安全保险协会（Insurance Institute for Highway Safety）近日公布的一项新研究强调了一种应对措施，即引入新型数字安全系统，可探测行人并自动进行制动操作，防止行人碰撞事故，减轻其他碰撞事故严重程度。另一个措施是改善照明系统，让驾驶员能够看得更清楚，有更多时间做出反应。
该协会测试了11辆配备了自动紧急制动系统（AEB）的小型SUV，该系统还增加了对车辆路径内行人的探测和响应能力。在测试中，有4辆车获得了“优秀”评级，5辆获得了“高级”评级，只有一辆宝马X1未能获得相关认可，其系统表现糟糕，以致在测试中撞飞了测试假人。
以测试SUV为开始并不令人惊讶。总的来说，多功能车目前约占美国汽车销量的三分之二。但更重要的是，美国高速公路安全保险协会（IIHS）此前的一份报告曾提醒，SUV及皮卡等车头较高、较尖锐的车型在交通事故中往往比车头较低、较柔和的轿车和跑车更致命，也就是说，被SUV撞到的行人从车上滚落，从而减轻伤害的可能性较小。
联邦数据显示，从2009年到2017年，行人死亡人数上升了46%，尽管去年的数据尚未公布，但预计还会进一步上升，而多用途汽车的增加只是原因之一。专家们也担忧，此种情况也由数字技术造成的分心造成，驾驶员可能不是唯一在驾驶时盯着智能手机的人，许多行人在进入十字路口时没有查看交通情况，甚至没有注意自己是否可以通行也是重要原因。此外，自上次经济衰退结束以来，糟糕的道路设计也导致了交通量大幅上升。
去年9月份，美国国家运输安全委员会召集了安全和行业内专家，试图找到方法解决该问题。该委员会的员工指出药物使用和过度城市化也造成了此情形。并且该机构提出11个建议，旨在解决该问题。但是专家们认为解决该问题的关键部分在于车辆需要改变设计，例如，完全自动驾驶车辆最终可减少大多数交通事故。
但是，真正的无人驾驶汽车何时能够推出还未确定。而且，去年还发生了优步自动驾驶测试原型车撞死路人的事故。但是，最新发布的IIHS研究和数据也表示，高级驾驶员辅助系统确实能发挥作用。
此外，联邦监管机构也在考虑更新车辆照明法规，该法规自上世纪70年代以来就未更改过。目前执行的法规非常“陈旧”。美国国家公路交通安全管理局最近开始制定规则，以在美国实施被禁止的自适应远光灯系统（ADB）照明技术。该技术可在欧洲使用，不需要驾驶员在远光和近光之间切换，相反，传感器会根据需要遮挡一部分光线，避免迎面而来的车辆因强光而眩目。
由于规则发生了重大改变，可能在数年内才能实现规则更新。预计最近的一两年内，自适应远光灯系统技术都不会在美国道路上实现。此外，激光照明大灯等其他照明技术也在研发过程中。在欧洲，该技术能够探测到近半英里外的障碍物，但是目前美国市场上的该技术在激光功率上严重受限。
智能汽车的安全，谁来买单？
博客 • betty19920416 发表了文章 • 0 个评论 • 1603 次浏览 • 2019-02-26 13:48
相信很多人都有被小偷过东西的经历，最近大潘手机主人就改写了姓名。不过他手机装有不少重要文件，如果发生泄密后果不堪设想，随后他迅速报了警，并通过iCould账号查找手机位置，很快他和警察一起找到了丢失的手机。而这要换做以前的诺基亚，恐怕早就找不到了。 ...查看全部
相信很多人都有被小偷过东西的经历，最近大潘手机主人就改写了姓名。不过他手机装有不少重要文件，如果发生泄密后果不堪设想，随后他迅速报了警，并通过iCould账号查找手机位置，很快他和警察一起找到了丢失的手机。而这要换做以前的诺基亚，恐怕早就找不到了。
菲利贝托·弗利克斯被加州高速巡警逮了个正着，让他万万没想到的是，自己偷盗的特斯拉因电量耗尽不得不被迫停在高速路边，而此时车主将车辆定位信息通告警方后，很快将他抓捕。
“我是谁，我在哪，我在干什么？”虽然没有上演好莱坞大片中的追逐环节，但菲利贝托·弗利克斯传奇的故事似乎在告诫“同伙”，千万别偷“特斯拉”！
一组数据也在表明，要偷一辆特斯拉简直是一件自寻死路的选择。FBI犯罪中心数据显示，在2011年至2018年5月间，有115辆特斯拉被盗，其中112辆都被找回，找回率高达97.3%，但综合所有车型来看，平均数据其实只有58.4%。
事实上，自从汽车进入智能化的时候，安全性就已经引起了广泛争议。一方面，无钥匙启动让我们日常驾驶更加方便。另一方面，无钥匙启动也带来了安全隐患。盗贼的技术也不断升级，从以前的溜门撬锁，到如今采用干扰器来干扰车辆正常落锁的事件屡见不鲜。多起事件表明，车主明明锁了车，盗贼却依然可以正常打开车门对车内物品实施盗窃。
据《福布斯》报道，英国警方曾经发出警告提醒拥有无钥匙启动汽车的车主，盗贼可能会通过技术手段盗取车辆。盗贼能轻而易举地进入系统的原因是设备与汽车之间的信号可以被破解。
基于这一设想，特斯拉搭载的Autopilot在Model 3车型车型上率先推出了哨兵模式，该模式可以在车主停车后帮车主实现看车功能。
默认模式下外部摄像头会进入待机状态，当监测到有可疑物靠近时，触摸屏上会警告对方摄像头正在录制。如果监测到更严重的威胁，例如有人打破车窗，哨兵模式将会直接进入警报状态，激活汽车蜂鸣器，增加中央显示屏的亮度，并以最大音量播放音乐。
尽管特斯拉在车上拥有重重安全保障措施，但还是有小偷向其伸出贼手。虽然特斯拉搭载强大的在线定位和在线技术，但遇到像黑客这样的技术党却怎么也高兴不起来。在欧洲，一帮黑客就盯上了特斯拉，其中大多数车至今仍未找回。
显然，黑客通过技术手段来屏蔽车辆定位来盗取车辆是存在可行性的，但号称极高安全性的特斯拉还是败了。对此，特斯拉技术团队也在苦苦寻求新的方法来应对黑客，新方法增加了秘钥卡和“驾驶PIN码”双重保证增强车辆的安全性。
2016年时，挪威的互联网安全公司Promon就曾指出，特斯拉为车主提供的手机App存在一定的安全漏洞，有可能会给黑客和掌握破解技术的不法分子提供帮助。而在Promon公布的视频《如何窃取一辆特斯拉》中，我们也能够看到黑客是如何通过一个免费Wifi和一个不安全应用程序来窃取用户手机中的特斯拉账户的。
同年，国内顶尖的白帽黑客团队“科恩工作室”就曾成功攻破过特斯拉的安全壁垒，他们不仅可以在不经过任何物理接触的情况下控制目标车辆的车门、车窗和转向灯，甚至可以在任何时候刹停车辆。科恩工作室的负责人说：“几年以后，车辆驾驶完全交给车载系统的，这个车又是联网的，万一系统出现安全问题，后果难以想象。”
随着4G时代的兴起，国内智能网联汽车也越来越多，可以通过手机来进行操控。或许能够在未来某一天，当落地虹桥机场的那一刻，可以通过手机让车在虹桥P7停车场2019号车位等候。
毫无疑问，这样可以让车主高程度享受车辆的控制权，但与此同时却存在了不少的安全隐患。在《速度与激情8》里，黑客通过类似手机网络系统接管了指定区域，所有汽车的OBD系统取得了汽车的控制权，通过程序为车辆锁定自动驾驶，所以我们看到电影中车辆不听从人为操作，在街道上飞驰的壮观画面。
不光如此，前不久北京长安街上一辆蔚来汽车趴窝一小时，当时该车正处在OTA升级状态。显然，从蔚来汽车的回应上丝毫看不到他们对这件事的重视，认定是用户误操作才导致这一事件的发生。但从另外一方面也暴露了，互联网汽车存在的安全隐患不止在于是否会被盗。
的确，智能网联汽车迅速发展，一方面可以更好的通过驾驶习惯让车更懂人，与此同时还带给我们诸多便捷性，例如远程操控等功能，但是另一方面，消费者的数据也不断被厂商采集毫无隐私可言。
如今，当智能网联汽车已经开始迈向5G时代，与此同时随着大量高度智能化、网联化、自动化的汽车应运而生，我们的车辆安全又该由谁来负责？
菲利贝托·弗利克斯被加州高速巡警逮了个正着，让他万万没想到的是，自己偷盗的特斯拉因电量耗尽不得不被迫停在高速路边，而此时车主将车辆定位信息通告警方后，很快将他抓捕。
“我是谁，我在哪，我在干什么？”虽然没有上演好莱坞大片中的追逐环节，但菲利贝托·弗利克斯传奇的故事似乎在告诫“同伙”，千万别偷“特斯拉”！
一组数据也在表明，要偷一辆特斯拉简直是一件自寻死路的选择。FBI犯罪中心数据显示，在2011年至2018年5月间，有115辆特斯拉被盗，其中112辆都被找回，找回率高达97.3%，但综合所有车型来看，平均数据其实只有58.4%。
事实上，自从汽车进入智能化的时候，安全性就已经引起了广泛争议。一方面，无钥匙启动让我们日常驾驶更加方便。另一方面，无钥匙启动也带来了安全隐患。盗贼的技术也不断升级，从以前的溜门撬锁，到如今采用干扰器来干扰车辆正常落锁的事件屡见不鲜。多起事件表明，车主明明锁了车，盗贼却依然可以正常打开车门对车内物品实施盗窃。
据《福布斯》报道，英国警方曾经发出警告提醒拥有无钥匙启动汽车的车主，盗贼可能会通过技术手段盗取车辆。盗贼能轻而易举地进入系统的原因是设备与汽车之间的信号可以被破解。
基于这一设想，特斯拉搭载的Autopilot在Model 3车型车型上率先推出了哨兵模式，该模式可以在车主停车后帮车主实现看车功能。
默认模式下外部摄像头会进入待机状态，当监测到有可疑物靠近时，触摸屏上会警告对方摄像头正在录制。如果监测到更严重的威胁，例如有人打破车窗，哨兵模式将会直接进入警报状态，激活汽车蜂鸣器，增加中央显示屏的亮度，并以最大音量播放音乐。
尽管特斯拉在车上拥有重重安全保障措施，但还是有小偷向其伸出贼手。虽然特斯拉搭载强大的在线定位和在线技术，但遇到像黑客这样的技术党却怎么也高兴不起来。在欧洲，一帮黑客就盯上了特斯拉，其中大多数车至今仍未找回。
显然，黑客通过技术手段来屏蔽车辆定位来盗取车辆是存在可行性的，但号称极高安全性的特斯拉还是败了。对此，特斯拉技术团队也在苦苦寻求新的方法来应对黑客，新方法增加了秘钥卡和“驾驶PIN码”双重保证增强车辆的安全性。
2016年时，挪威的互联网安全公司Promon就曾指出，特斯拉为车主提供的手机App存在一定的安全漏洞，有可能会给黑客和掌握破解技术的不法分子提供帮助。而在Promon公布的视频《如何窃取一辆特斯拉》中，我们也能够看到黑客是如何通过一个免费Wifi和一个不安全应用程序来窃取用户手机中的特斯拉账户的。
同年，国内顶尖的白帽黑客团队“科恩工作室”就曾成功攻破过特斯拉的安全壁垒，他们不仅可以在不经过任何物理接触的情况下控制目标车辆的车门、车窗和转向灯，甚至可以在任何时候刹停车辆。科恩工作室的负责人说：“几年以后，车辆驾驶完全交给车载系统的，这个车又是联网的，万一系统出现安全问题，后果难以想象。”
随着4G时代的兴起，国内智能网联汽车也越来越多，可以通过手机来进行操控。或许能够在未来某一天，当落地虹桥机场的那一刻，可以通过手机让车在虹桥P7停车场2019号车位等候。
毫无疑问，这样可以让车主高程度享受车辆的控制权，但与此同时却存在了不少的安全隐患。在《速度与激情8》里，黑客通过类似手机网络系统接管了指定区域，所有汽车的OBD系统取得了汽车的控制权，通过程序为车辆锁定自动驾驶，所以我们看到电影中车辆不听从人为操作，在街道上飞驰的壮观画面。
不光如此，前不久北京长安街上一辆蔚来汽车趴窝一小时，当时该车正处在OTA升级状态。显然，从蔚来汽车的回应上丝毫看不到他们对这件事的重视，认定是用户误操作才导致这一事件的发生。但从另外一方面也暴露了，互联网汽车存在的安全隐患不止在于是否会被盗。
的确，智能网联汽车迅速发展，一方面可以更好的通过驾驶习惯让车更懂人，与此同时还带给我们诸多便捷性，例如远程操控等功能，但是另一方面，消费者的数据也不断被厂商采集毫无隐私可言。
如今，当智能网联汽车已经开始迈向5G时代，与此同时随着大量高度智能化、网联化、自动化的汽车应运而生，我们的车辆安全又该由谁来负责？
英特尔自动驾驶汽车安全标准框架获得全球认可
博客 • 自动驾驶小能手 发表了文章 • 0 个评论 • 1620 次浏览 • 2019-01-19 14:30
【赛迪网美国报道】汽车技术供应商法雷奥（Valeo）近日宣布，采用英特尔的自动驾驶汽车安全决策模型，即责任敏感安全模型（RSS）。此外，百度已于今年早些时候宣布，将RSS应用于其自动驾驶汽车开源项目Apollo——这也是该技术的首个开源实现。与此同时，多国政府 ...查看全部
【赛迪网美国报道】汽车技术供应商法雷奥（Valeo）近日宣布，采用英特尔的自动驾驶汽车安全决策模型，即责任敏感安全模型（RSS）。此外，百度已于今年早些时候宣布，将RSS应用于其自动驾驶汽车开源项目Apollo——这也是该技术的首个开源实现。与此同时，多国政府和行业也已将RSS视为自动驾驶汽车安全的典范。
“我们的全球合作伙伴采用RSS模型，并愿意在基于RSS模型的安全标准上投资，这说明，他们非常看好安全自动驾驶的未来前景。”
——英特尔资深首席工程师、Mobileye自动驾驶汽车标准副总裁Jack Weast
为何重要：安全成为公众接受自动驾驶汽车的最大障碍之一，汽车行业越发需要建立一个强大、透明且技术中立的自动驾驶汽车安全标准，而这正是英特尔RSS模型在全球供应商中备受推崇的重要原因。
法国顶级汽车零部件供应商法雷奥与英特尔公司子公司Mobileye达成了一项合作协议，双方将联手制定和推广一个基于RSS、技术中立且由行业主导的全新自动驾驶汽车安全标准。法雷奥将与Mobileye在策略和技术上展开合作，以促进欧洲、美国和中国采用基于RSS的技术标准。双方合作的内容包括：起草安全自动驾驶汽车的验证和商业部署框架，资助有关RSS模型的公共研究，协助标准起草以及加入标准组织的核心委员会和工作组。
安全至上的法雷奥将凭借其全球领先的环境感知和传感器专长以及其在全球安全和监管工作组中的合作，继续为完善RSS模型做出贡献。
发展进程：自去年推出以来，RSS模型已获得全球范围内相关单位的认可：
• 百度去年公布了在其Apollo项目中采用RSS的计划。今天早些时候，该公司在国际消费电子展新闻发布会上展示了RSS的成功应用案例。作为世界上首个RSS的开源实现，百度成功证明了RSS是一项真正具有技术中立性的安全解决方案——不管有没有Mobileye的技术和支持，它都能发挥作用。
• 2018年10月，亚利桑那州自动驾驶移动出行研究所（IAM）成立，其主要任务是探索和实现安全自动驾驶。其中，IAM将以RSS作为其研究和测试自动驾驶汽车安全的基础。
• 在最近的一份报告中，领先的智囊机构兰德公司指出，RSS是实现“安全信封”的一种方式，并称“安全信封”是让自动驾驶汽车掌握公路驾车技能的必要因素。
• Mobileye、大众汽车、Champion Motors以及北京公交集团联合宣布的全新“出行即服务”（Mobilityas a Service，MAAS）合作项目，也将使用RSS模型来确保车队行驶安全。
特别之处: RSS最初由Mobileye首席执行官AmnonShashua教授和首席技术官Shai Shalev-Shwartz教授于2017年提出。该模型具有技术中立性，这能够使全行业以此为出发点，来统一对安全自动驾驶的认识。
RSS将人类安全驾驶概念具化为一个可验证的模型，该模型具有逻辑上可验证的规则，并定义了恰当的响应行为。RSS有别于目前基于概率人工智能的自动驾驶汽车安全决策系统。由于人工智能的概率性，英特尔建议，采用一个具有确定性的独立层——或称为“安全信封”，它可以根据通俗易懂的安全驾驶定义，来检查自动驾驶汽车的决策是否安全。该模型对安全做出了规定，而且车辆无需数百万英里的里程积累就能学会如何安全的行驶。
“我们的全球合作伙伴采用RSS模型，并愿意在基于RSS模型的安全标准上投资，这说明，他们非常看好安全自动驾驶的未来前景。”
——英特尔资深首席工程师、Mobileye自动驾驶汽车标准副总裁Jack Weast
为何重要：安全成为公众接受自动驾驶汽车的最大障碍之一，汽车行业越发需要建立一个强大、透明且技术中立的自动驾驶汽车安全标准，而这正是英特尔RSS模型在全球供应商中备受推崇的重要原因。
法国顶级汽车零部件供应商法雷奥与英特尔公司子公司Mobileye达成了一项合作协议，双方将联手制定和推广一个基于RSS、技术中立且由行业主导的全新自动驾驶汽车安全标准。法雷奥将与Mobileye在策略和技术上展开合作，以促进欧洲、美国和中国采用基于RSS的技术标准。双方合作的内容包括：起草安全自动驾驶汽车的验证和商业部署框架，资助有关RSS模型的公共研究，协助标准起草以及加入标准组织的核心委员会和工作组。
安全至上的法雷奥将凭借其全球领先的环境感知和传感器专长以及其在全球安全和监管工作组中的合作，继续为完善RSS模型做出贡献。
发展进程：自去年推出以来，RSS模型已获得全球范围内相关单位的认可：
• 百度去年公布了在其Apollo项目中采用RSS的计划。今天早些时候，该公司在国际消费电子展新闻发布会上展示了RSS的成功应用案例。作为世界上首个RSS的开源实现，百度成功证明了RSS是一项真正具有技术中立性的安全解决方案——不管有没有Mobileye的技术和支持，它都能发挥作用。
• 2018年10月，亚利桑那州自动驾驶移动出行研究所（IAM）成立，其主要任务是探索和实现安全自动驾驶。其中，IAM将以RSS作为其研究和测试自动驾驶汽车安全的基础。
• 在最近的一份报告中，领先的智囊机构兰德公司指出，RSS是实现“安全信封”的一种方式，并称“安全信封”是让自动驾驶汽车掌握公路驾车技能的必要因素。
• Mobileye、大众汽车、Champion Motors以及北京公交集团联合宣布的全新“出行即服务”（Mobilityas a Service，MAAS）合作项目，也将使用RSS模型来确保车队行驶安全。
特别之处: RSS最初由Mobileye首席执行官AmnonShashua教授和首席技术官Shai Shalev-Shwartz教授于2017年提出。该模型具有技术中立性，这能够使全行业以此为出发点，来统一对安全自动驾驶的认识。
RSS将人类安全驾驶概念具化为一个可验证的模型，该模型具有逻辑上可验证的规则，并定义了恰当的响应行为。RSS有别于目前基于概率人工智能的自动驾驶汽车安全决策系统。由于人工智能的概率性，英特尔建议，采用一个具有确定性的独立层——或称为“安全信封”，它可以根据通俗易懂的安全驾驶定义，来检查自动驾驶汽车的决策是否安全。该模型对安全做出了规定，而且车辆无需数百万英里的里程积累就能学会如何安全的行驶。
智能网联汽车的安全问题拆分，主要分为汽车安全性和车载信息安全