通信系统

通信系统

自动驾驶及关键技术V2X研究

博客betty19920416 发表了文章 • 0 个评论 • 279 次浏览 • 2019-06-21 15:38 • 来自相关话题

摘要:预期智能网联车在未来十年还将迎来爆发增长,2025年可实现完全自动驾驶汽车的商业化,5G将为车联网行业带来跃进式的产品和商业模式创新,具备巨大的市场潜力。本文对自动驾驶及关键技术的分类、主要应用场景和运营商V2X业务发展建议进行分析。 ...查看全部

摘要:预期智能网联车在未来十年还将迎来爆发增长,2025年可实现完全自动驾驶汽车的商业化,5G将为车联网行业带来跃进式的产品和商业模式创新,具备巨大的市场潜力。本文对自动驾驶及关键技术的分类、主要应用场景和运营商V2X业务发展建议进行分析。

1.jpg

关键词:自动驾驶 V2X C-V2X

1·引言

车联网指借助新一代信息和通信技术,实现车内、车与车、车与路、车与人、车与服务平台的全方位网络连接,提升汽车智能化水平和自动驾驶能力,构建汽车和交通服务新业态,从而提高交通效率,改善汽车驾乘感受,为用户提供智能、舒适、安全、节能、高效的综合服务。

智能网联汽车被认为是产业发展的方向和战略制高点,近年工信部陆续印发《汽车行业中长期发展规划》、《智能网联汽车技术路线图》、智能网联汽车标准体系与产业体系建设指南征求意见等;发改委印发《智能汽车创新发展战略》征求意见稿,从顶层设计、标准法规制定、试点示范区建设等方面积极推动智能网联汽车发展,而其关键技术V2X通信技术是其重要基石。

车联网产业生态的繁荣与基础网络接入密切相关,预期未来十年还将迎来爆发增长。2025年,远程和短程通讯终端的整车装备率增至80%,DA、PA车辆占有率保持稳定,高度自主驾驶(HA)车辆市场占有率约10%-20%。,5G将为车联网行业带来跃进式的产品和商业模式创新,具备巨大的市场潜力。


2·自动驾驶概述


2.1
自动驾驶等级

自动驾驶并不是仅仅指无人驾驶,自动驾驶技术的发展分为不同层级,以美国汽车工程师学会(SAE)的标准划分为例,可以把自动驾驶分为六个等级。

第0级:无自动化,由人类驾驶员全权操控汽车,可以得到警告或干预系统的辅助。这个等级为无自动驾驶辅助功能,完全是驾驶员控制。

第1级:驾驶支援,通过驾驶环境对方向盘和加减速中的一项操作提供驾驶支持,其他的驾驶动作由人类驾驶员进行操作。

第2级:部分自动化,通过驾驶环境对方向盘和加减速中的多项操作提供驾驶支持,其他的驾驶动作都由人类驾驶员进行操作。这个等级自动系统能够完成某些驾驶任务,但驾驶员需要监控驾驶环境,随时接管。

第3级:有条件自动化,由无人驾驶系统完成所有的驾驶操作,根据系统要求,人类驾驶者提供适应的应答。由系统和驾驶员分享控制权,驾驶员可以在特定场景放弃主要控制权,在系统控制时,驾驶员需要观察周围情况,在系统退出的时候随时接上。

第4级:高度自动化,由自动驾驶系统完成所有的驾驶操作。根据系统要求,人类驾驶者不一定需要对所有的系统请求作出应答,限定道路和环境条件等。在大部分时间中系统可以替代驾驶员操纵,驾驶员无需观察周围环境,属于有限自动驾驶辅助(高度自动驾驶)。

第5级:完全自动化:在所有人类驾驶者可以应付的道路和环境条件下,均可以由自动驾驶系统自主完成所有的驾驶操作。为真正的无人驾驶,汽车完全实现无人驾驶。

2.2
自动驾驶关键技术

自动驾驶的基本过程分为三部分:感知->认知->执行。首先通过传感系统,代替人的视觉和听觉感知,去搜集汽车周边信息,常用的传感器包括了摄像机、激活雷达、毫米波雷达等等,目前两种主流技术路线,一种是以特斯拉为代表的以摄像机为主导的多传感器融合方案;另一种是以谷歌、百度为代表的以激光雷达为主导,其他传感器为辅助的技术方案。然后具有人工智能特性的控制系统,根据驾驶员意图、当前车速度等状态及外部情况,规划驾驶指令、规划行驶路径,最后由执行系统来执行驾驶指令、控制车辆状态。

自动驾驶涉及的关键技术包括了V2X、高精度地图、决策与规划技术等关键技术。

V2X

自动驾驶的传感系统需要通过搜集汽车周边信息,然后做出决策(转向、变道、加速、减速)。与现有的摄像头视频识别、毫米波雷达、激光雷达类似,V2X是一种获得其他车辆、行人行驶状态的手段,V2X的优势在于获得视距外汽车状态的一种有效手段,和雷达、摄像头视频识别、传感器共同组成了车辆对外界环境的信息获取系统。而这些信息是自动驾驶汽车做出决策的重要依据。

高精地图

高精地图拥有精准的车辆位置信息和丰富的道路元素数据信息,可以帮助汽车预知路面复杂信息,如坡度、曲率、航向等。和传统相比具有更高的实时性。由于道路路面经常发生变化,如道路整修、标识线磨损或重漆、交通标识改变等,这些改变都要及时反映在高精地图上。高精地图将更强调空间的三维模型以及精度,将精度从米级降到厘米级,必须非常精确的显示路面上的每一个特征和状况。

规划决策

决策是无人驾驶体现智能性的核心的技术,相当于自动驾驶汽车的大脑,它通过综合分析环境感知系统提供的信息,及从高精度地图路由寻址的结果,对当前车辆进行规划(速度规划、朝向规划、加速度规划等),并产生相应的决策(跟车、换道、停车等)。规划技术还需要考虑车辆的机械特性、动力学特性、运动学特性。常用的决策技术有专家控制、隐马尔科夫模型、贝叶斯网络、模糊逻辑等。


3·车用无线通信技术(V2X)

3.1
V2X定义

车用无线通信技术(Vehicle
to Everything
,V2X)是将车辆与一切事物相连接的新一代信息通信技术,其中V代表车辆,X代表任何与车交互信息的对象,当前X主要包含车、人、交通路侧基础设施和网络。V2X交互的信息模式包括:车与车之间(Vehicle
to Vehicle,V2V)、车与路之间(Vehicle to Infrastructure ,V2I)、车与人之间(Vehicle to
Pedestrian,V2P)、车与网络之间(Vehicle to Network,V2N)的交互。

V2V技术允许车辆通过转发自身及前方的实时信息来预防事故的发生,从而减少驾驶时间,最终实现改善交通环境,减少交通拥堵的目的。

V2I技术通过无线的方式帮助车辆和路侧的交通设施实现数据交换,主要应用包括交叉路口安全管理、车辆限速控制、电子收费、运输安全管理,以及道路施工和限高警示等。这项技术会推动交通设施智能化,包括禁止驶入灯标、天气信息系统等交通设施都可进化为通过多种算法可识别高风险情况并自动采取警示措施的智能交通设施。

V2P技术则使得行人和骑车人通过智能手机成为V2X通信环境中的一个节点。它可以发送或接收警示信号,例如可以预先告知联网信号灯自身是否需要延长过马路的时间,也可以提示附近车辆前方路口有行人要过马路,或者提示车辆相邻车道有自行车在骑行。

3.2
V2X两大产业化阵营

V2X产业分为DSRC和C-V2X两个标准和产业阵营。在中国市场,因为本身又坐拥全球最大的4G
LTE网络和成熟的产业链,并且对DSRC技术上没有太多积累,考虑到规避专利风险等因素,因此有分析认为会向C-V2X倾斜。

DSRC(专用短程无线通信标准),以IEEE802.11p为基础,V2V为其主要的应用方式。DSRC最大的竞争筹码是启动早,早在1999年,美国联邦通信委员会就在5.9
GHz区域为V2X留出了75 MHz的带宽,美国、欧洲等国家已提出相关标准规格,经过十多年的发展历史,形成成熟的产业链,并可以进入商用。

C-V2X,C是蜂窝(Cellular),是基于4G/5G等蜂窝网通信技术演进形成的车用无线通信技术,包含LTE-V2X和5G-V2X,从技术演进角度讲,LTE-V2X支持向5G-V2X平滑演进。C-V2X
是移动通信标准化组织3GPP的推进下开始启动,目前正处于标准制定的关键阶段,并在2017年制定了第一版的标准,形成以华为、高通等通信产业链企业、电信运营商和汽车企业为主的产业阵营。

3.3
V2X典型应用场景

V2X目前主要覆盖3大典型应用场景:交通主动安全、交通效率和信息服务,并且向支持实现自动驾驶应用演进。在未来移动通信论坛和车载信息服务产业应用联盟,共同发布的《智能网联汽车基本应用白皮书》中定义了72种智能网联汽车应用场景,其中基本应用场景包括了以下:

交通主动安全:前向碰撞预警、左转辅助/告警、汇入主路辅助/碰撞告警、交叉路口碰撞告警(有信号灯/无信号灯/非视距等,存在路边单元)、交叉路口碰撞告警(有信号灯/无信号灯/非视距等,不存在路边单元)、超车辅助/逆向超车提醒/借道超车、盲区告警/换道辅助、紧急制动预警(紧急电子刹车灯)、车辆安全功能失控告警、异常车辆告警(包含前方静止/慢速车辆)、静止车辆提醒(交通意外,车辆故障等造成)、非机动车(电动车,自行车等)横穿预警/行人横穿预警、紧急车辆提示、道路湿滑/危险路段提醒(大风、大雾、结冰等)、创红灯(/黄灯)告警)

交通效率:减速区/限速提醒(隧道限速、普通限速、弯道限速等)、车速引导、车内标牌、电子不停车收费

信息服务:进场支付、自动停车引导及控制、SOS/eCALL业务、车辆被盗/损坏(包括整车和部件)警报、车辆远程诊断,维修保养提示

4· 基于蜂窝网通信技术的车用无线通信技术(C-V2X)

4.1
C-V2X通信接口

C-V2X中包含了两种通信接口:一种是车、人、路之间的短距离直接通信接口(PC5),另一种是终端和基站之间的通信接口(Uu),可实现长距离和更大范围的可靠通信。C-V2X
直接通信可提供扩展的通信范围和增强的可靠性,而不依赖蜂窝网络的协助或覆盖。

网络通信(Uu接口),利用LTE广播,通过V2X服务器中转,把信息传送到另一个节点。通过LTE方式无线基站对V2V数据的调度和接口的管理进行辅助。Uu接口具有广覆盖,可回传到云平台特点,适合信息娱乐类、远距离的道路危险或交通状况、延迟容忍安全消息等业务类型。

直连通信(PC5接口),以LTE标准中的D2D(Device-To-Device,设备间)邻近通信服务为基础。PC5接口,可以实现250Kph的高速度和高密度通信,支持无LTE网络覆盖下通信LTE-V2X同时支持基站和全球导航卫星系统(GNSS)的时间同步。允许用户在有或没有网络覆盖的条件下彼此间直接广播消息。PC5接口具有低延时、覆盖范围小特点,适合交通安全类、局域交通效率类业务。

4.2
C-V2X标准化进展

C-V2X的标准化可以分成3个阶段:

支持LTE-V2X的3GPP
R14版本标准已于2017年正式发布,在TR22.885中定义了V2V(车到车)、V2I(车到路边设施)、V2P(车到人)、V2N(车到网络)、V2X(车到其它)等27类场景,面向辅助驾驶和交通安全。

支持LTE-V2X增强(LTE-eV2X)的3GPP
R15版本标准于2018年6月正式完成。标准TS22.886中已经定义了25个用例共计5大类增强的V2X业务需求,包括基本需求、车辆编队行驶,半/全自动驾驶、传感器信息交互和远程驾驶。

支持5G-V2X的3GPP
R16+版本标准于2018年6月启动研究,将与LTE-V2X/LTE-eV2X形成互补关系。5G
eV2X当前仅完成需求规范,定义了25个用例,包括自动排队驾驶、半/全自动驾驶、支持扩展传感、远程驾驶和通用需求。目前,3GPP 5G
NR支持V2X的标准化工作,有望在2018年年底,列为R
16版本的标准化项目进行研究与标准化;预期NR-V2X产品最早有可能于2022年在上市车型中面世。

我国也在推进C-V2X标准化工作,例如工信部联合国标委发布“国家车联网产业标准体系建设指南”,
其中信息通信分册为V2X通信标准建设给出了体系参考;CCSA为主承担V2X通信行业标准制定,目前完成总体及空口要求,计划2018年完成安全及网络设备标准;此外多个行业协会或联盟在应用及其他关键技术上开始发力。

5·国内外电信运营商V2X业务发展情况及建议

5.1
国内外运营商积极推进V2X业务

摩根士丹利于近期发布了一份无人驾驶研报预计,无人驾驶汽车将给全球通信产业带来1.3万亿美元的市场增量。“以5G通讯网络为基础的无人驾驶将带来产业革命,而这场革命带来的市场机会没有受到足够的重视”,该研报小组负责人Emmet
Kelly称,“无人驾驶汽车对通讯行业的改变要比智能手机的出现对其改变还要大。”一级无人驾驶汽车需要每小时3G的数据空间,而五级无人驾驶汽车每小时将消耗50G数据。

国内外各大运营商都积极推进C-V2X业务:

AT&T在消费者电子展上宣布,它将于德尔福和福特合作,共同提升汽车与其他车辆及基建设施的沟通效率。AT&T也正在与美国驾驶测试中心合作,在密歇根建立了无人驾驶汽车测试中心。

NTT
Docomo在今年世界移动通信大会上,与SONY联合展示新概念车,发力无人驾驶市场。所构建的基于5G连接的自动驾驶车辆,装备了4K摄像头、传感器和数字标识系统,可以带来一个全新的乘车体验。车上的4K数字标识和显示系统可以用来展示广告和信息;通过车辆上安装的图像传感器手机的视频进行分析,可实现基于位置的信息交互;通过超高清摄像机解决方案,4K驾驶显示屏可以实现360度测量,超过人类视觉;通过云可以实现远程驾驶和控制。NTT
Docomo同时构建了基于边缘计算的车联网平台,为今后车联网大数据分析做好基础设施准备。

国内的三大运营商也纷纷联合车厂、通信设备商在5G试验环境完成无人驾驶车测试,例如在今年4月,中国电信携手中兴通信和百度在雄安新区完成了基于5G环境的无人驾驶试验。

5.2
运营商V2X业务发展建议

但无人驾驶的商业化投资成本巨大,我国的高速公路有20万公里左右,按照站间距200米算,大概需要100万的设施数量,高速路旁边立的10多米杆的费用是每个10万及以上甚至更多,投入很大。因此需要解决商业模式、产业合作等问题,目前由哪一方来为车联网投资还不明朗,如果政府投资,持续性很难保证,政府还需要考虑更多优先级更高的投资。作为电信运营商企业,投资需要考虑有商业模式在里面,不仅仅是技术的选择,还需要考虑消费的需求,需要结合最终受益者和出资方的想法,面向具体应用场景进行解决方案的客户化适配。

例如将V2X运用在红绿灯提醒等辅助类驾驶功能这种场景,老百姓消费意愿比较弱,而如果在“两客一危”上,通过V2I为这些车做安全提示跟车速引导,可以有效减少危险事故的发生,这样对于政府监管部门也有积极性去建路测设备,老百姓也可以从中受益。此外客户对于自动驾驶的消费意愿更加强烈,可以优先在车速度低的封闭园区、高速公路等封闭类的道路应用场景来推动网联化的自动驾驶,寻求一两个市场接受的应用场景,形成良性循环。


3D-LaneNet:端到端3D多车道检测网络

知识讲堂betty19920416 发表了文章 • 0 个评论 • 815 次浏览 • 2019-04-23 10:33 • 来自相关话题

编者按:三维车道检测是实现自动驾驶的关键技术,它需要对主控车辆的可行驶车道的三维位置进行精确估计。这篇文章提出了一个基于CNN的端到端的3D车道线检测网络3D-LaneNet,可以直接检测多个车道,并估计车道曲率,对三维车道检测的相关研究具有重大的启发与促进作 ...查看全部
编者按:三维车道检测是实现自动驾驶的关键技术,它需要对主控车辆的可行驶车道的三维位置进行精确估计。这篇文章提出了一个基于CNN的端到端的3D车道线检测网络3D-LaneNet,可以直接检测多个车道,并估计车道曲率,对三维车道检测的相关研究具有重大的启发与促进作用。
 
摘要:
这里介绍一种架构,它可以直接从一张图像预测出道路场景中的三维车道,这项工作标志着首次尝试通过在线感知解决这一任务,而不是依赖于预先映射的环境。我们的网络架构,3d-lanenet中有两个新的概念,1.网络内部的反透视变换。2.基于anchor的车道线表示。网络内反透视变换投影使得在常规图像视图和俯视图中都能方便地表示信息流.一个基于anchor的列输出表示使得我们这个端到端的方法能够替代传统的启发式方法,比如聚类和奇异点处理。此外,我们的方法精准的解决了复杂情况,比如车道的合并以及车道的分开(比如一条车道延伸之后分叉类似这种情况)。在我们的new 3D lane synthetic dataset 上,架构表现出了非常好的结果。为了和现有的方法作对比,我们验证了在image-only tuSimple lane detection benchmark 上的有效性,并获得了非常具有竞争力的表现。
 
 
1.介绍
 
三维车道检测是实现自动驾驶的关键技术,它包括对相对于主控车辆的可行驶车道的三维位置的精确估计。存在两种互补的技术解决方案:加载离线生成的预映射车道和基于感知的实时车道检测。离线解决方案在给定精确当前车辆定位(在地图坐标中)的情况下具有高的几何精度,但是部署和维护起来很复杂。最常见的基于感知的解决方案是使用单目摄像头作为主要传感器来解决任务。现有的基于相机的方法检测图像中的车道,然后通过平坦地面的假设,将它们投射到三维世界,当然当地面平坦这个假设不对的时候,会导致不准确的估计与检测。
 
受到近年来CNN在单目深度信息预测的成功激励,我们提出了直接检测3D车道线的方法。更正式地说,给定从前置摄像头拍摄的一张图像,任务是输出一组车道实体,每个实体在相机坐标中表示为3D曲线,描述车道分隔符(分隔符就是传统意义上的车道线)或车道中心线(中心线是两条传统意义上的车道线中间的线)。我们提出了3D- lanenet,一个基于CNN的模型,可以进行3D车道检测。该网络经过端到端的训练,输出是在道路的每一个纵向切片上(道路被竖着分为很多的列,每一个列相当于一个切片。),这些输出包括车道线经过这个纵向切片的置信,以及他的3D曲线坐标。我们的方法原理在图1中做了解释。 我们直接的单阶段的方法避免了使用现有方法进行后处理,包括聚类,奇异点处理等。整个网络的架构基于一个创新的双通路(并不是并行的)结构,这个结构在网络内部,对特征图进行一些透射投影变换以生成虚拟的鸟瞰视图。这种双特征表示(正常视图特征,以及鸟瞰视图特征,原文是image view 以及 top view)提高了在道路场景下,网络的推断能力。输出被表示为一个新的基于列的anchor编码(即在该anchor下的各种参数信息),这使得网络具有水平不变形,并且保证了端到端。每个输出都对应一个anchor,类似于基于anchor的单阶段目标检测办法,比如SSD[20],YOLO[27]。

1.webp_.jpg

图1.(a)端到端的方法的原理图解,以及在俯视图上的车道检测结果实例。(b)结果在原图上的投影。
 
为了完成这项任务,获取带有3D标记的地面真实数据是一项需要多传感器和昂贵的高清地图的工作,在我们的工作中,我们训练和测试我们的网络通过一个新的和合成数据集synthetic-3D-lanes,你可以获得每一条车道线的所有的精确3D位置坐标。数据集目前限制在高速公路场景中,尽管有一些道路模拟器,但是他们的目的不是为了3D车道线检测任务的。并且限制了相关场景属性(如车道曲率)的可变性。我们在该领域的主要成就是能够随机生成具有可变三维形状和车道拓扑结构的高速路段。而我们方法的主要优势在于估计3D车道线,还有纯图像进行车道线检测。我们在tuSimple数据集上对我们的直接方法进行了训练和测试,在不使用通常的后处理技术的情况下,我们获得了与现有技术相媲美的结果。
总结一下我们的主要贡献:


  • 定义了3D车道线检测任务的度量标准,同时也第一个提出了3D检测任务的解决办法


  • 一个创新的双通路带有内部投影变换的结构.


  • 一个新的基于anchor的车道线输出表示,使得网络支持直接的端到端的预测。这可以应用于3D车道线检测和基于图像的检测


  • 一种随机生成具有车道拓扑变化(车道数、汇集、分叉)和三维形状的合成样本的方法。


 
2. 相关工作
 
传统的车道检测系统(将低层次的操作(如方向滤波器)与高层次的启发式(如霍夫变换)结合起来检测图像中的连续车道。一个通常的流程包括4个阶段:局部车道特征提取(1)、车道模型拟合(2)、图像与世界的对应(3),聚合(4)。近年来,局部特征提取阶段是通过对图像应用一个或多个CNNs来完成的,但总体上流程仍然非常相似,后期处理仍然存在。
 
具体来说,CNNs可以通过增强边缘图或分类候选块来改进特征提取。Huval检测本地车道线通过目标检测CNN。VPGNet Lee等人遵循类似的概念,并且额外检测其他道路标记和消失点,以改进车道检测。KIM和park重新定义了特征提取阶段,将其作为一个分割问题,这个问题有两个分类类别,左车道线和右车道线,延伸网络的范围来执行(extending the reach of the network to perform clustering.)但是,仍然必须为每个cluster安装一个世界坐标车道模型,并且无法处理多车道问题。Nevenetal.[23]尝试端到端多车道检测,通过训练CNN不仅创建一个0,1车道像素掩码,而且还为每个像素点嵌入用于聚类车道点的特征向量。Ghafooria提出使用生成对抗网络使语义分割网络的工作输出在车道检测的背景下更加真实。一些工作(如Meyer等人的,Oliveira等人的)是基于类似的方法构建的,其中主车道和相邻的车道是语义类(车道内部整片而不是车道线)。
 
与所有提出的方法相反,3D- lanenet统一了前三个阶段的共同流程,提供了一个完整的在三维世界坐标体系的多车道表示方法,并且只通过一次前向传播。此外,以往的方法采用平面假设进行图像到世界的对应,而我们的方法估计了车道的整个三维形状。
 
IPM通过相机视角图像生成一个场景的虚拟的鸟瞰图,这个的具体操作Mal-lot et al. [21]在障碍检测中解释了。并且第一次被Pomer-leau在车道线检测中使用,IPM已经在车道线检测任务中被广泛的使用,因为在鸟瞰图视角中,车道线相互平行,并且他们的曲率情况可以用低阶多项式拟合。此外,进行透视变换后,使得他们看起来更加的想近了,(当然会有一些模糊效果)(本来远处的车道线在相机图像上比较小。)最近,He等人引入了一种“Dual-viewCNN”它由两个独立的子网络组成,每个子网络产生一个车道线描述(每个视图一个车道线描述),然后将描述符连接并应用于候选图像位置。Li等人使用CNN直接在鸟瞰图上检测车道标记和几何属性,如局部位置和方向,在鸟瞰图上,这些属性保持不变。此外,他们还部署了第二个循环网络,该网络遍历图像以检测一致的车道。Neven等人使用子网络(“H-net”)预测每张图像中的俯仰,将车道投影到俯视图,以改进曲线拟合。与以前的工作不同,我们使用协同的单一网络方法来利用这两种观点。
 
更一般地,我们提出了第一种方法,这种方法使用端到端训练的CNN直接检测多个车道,并估计每个车道的三维曲率。我们还展示了我们的方法既适用于中心线,也适用于通常意义下的车道线,并且具有处理汇聚和分叉的能力,无需任何进一步的后处理。

2.webp_.jpg

图2.在测试集’synthetic-3D-lanes dataset’上,置信度大于0.5的车道中心线估计结果实例。在每一幅图片中,对真值(蓝色)和方法的结果(红色)进行了展示,并配有一个3D的可视化。需要主要的是,3D可视化轴的尺度根据场景而变化。被忽略的车道被标记为蓝绿色。右下角是一个失败的例子,可能是由于阻塞,在这个例子中,这条路被错误地认为是右车道。
 
 
3.方法
 
我们的方法从安装在车辆上的前置摄像头获取单个图像作为输入,如图4。我们假设相机的内参矩阵κ已知(焦距,光心)我们还假设车辆相对于路面的侧倾角为0。我们假设不知道高度和俯仰角,因为随着车辆的动力学运动,他们是会改变的。道路场景中的车道线可以被表示为中心线的集合[size=11]{Ci}i=1:Nc或者车道线的集合{Di}i=1:Nd(之后车道线就指代传统的我们说的车道线,中心线就是两条车道线中的线),如图3所示。每条车道实体(中心线或车道线)用摄像机坐标体系[/size]Ccamera下的三维曲线表示。我们将任务定义为检测给定图像的一组车道中心线和车道线。

3.webp_.jpg

图3. 带注释的例子。中心线用蓝色标出,车道线用黄色虚线标出
 

4.webp_.jpg

图4.相机姿态和道路投影面
 
 3.1俯视图投影我们简要回顾 (IPM)。简而言之,IPM是一个单应性变换,它获取一个前视图图像并生成一个虚拟鸟瞰视图图像,如图1(a)中的图像所示。这相当于应用相机旋转矩阵,然后在各个方向上进行不同尺度的缩放(放大或缩小)处理。在我们的实现中,我们想要确保鸟瞰视图图像中的每个像素在道路上对应一个预定义位置(路面坐标系下的绝对位置),这个位置独立于摄像机的内部特性及其相对于道路的姿态。 如图4所示,对照此图进行定义,相机坐标Ccamera = (´x,´y,´z) 是一个集合,´y是他的镜头面法线(´y是深度方向),Proad是路面的切面。我们这样定义路面坐标系Croad=(x,y,z),z方向是路面的法线,y是相机坐标系´y在Proad的投影,原点也是相机坐标系原点在路面切面上的投影,Tc2r是一个6自由度的变换矩阵(3个旋转,3个平移),他描述从相机坐标系到路面坐标系的一个变换,既然我们假设了侧倾角为0,那么Tc2r实际上被俯仰角θ以及高度hcam所定义。单应性矩阵(K*Tc2r-1),将路面上的每一个点映射到图像坐标系上。最后IPM通过单应性矩阵以及一组参数被获得,决定了俯视图上的边界以及从米到像素的缩放尺度,俯视图通过双线性差值采样,这个过程定义Sipm。
 3.2射影转换和双特征模块在我们的结构中一个主要的部分是射影变换层。它对Ui(普通图像视图)进行可微采样,获得Ut,Ut对应俯视特征图。具体的在俯视图投影部分讲述了(就是三维的STN)。双特征模块,正如在图5中所示,使用射影变换层,创造更高描述层级的特征图。信息在在多通道的特征图Ut(对应正常视图特征)和Vt(对应俯视图特征)之间流动,使用上述的采样方法(类STN方法)Ui被变换为Ut,并且和Vt合并,他么分享共同的空间尺度。以上就只这个基础模块,他可以在网络中重复使用。考虑现在有一个特征图Mt,他的获得是通过将Vt与Ut合并为[Vt;Ut],然后应用一个卷积层,获得Mt,Mt组合了在车道线检测中的两个有用的性质。1.首先,俯视图上的平移不变性,这十分有价值,因为在俯视图上,车道线有着相似的样子和空间上的几何结构。第二,保存了在两个视角下的信息(正常视图与俯视图),正常视图编码了一些在俯视图上没有的信息,比如栅栏,天际线,树木。这对于3D空间结构至关重要。特别的,对于远处来说,正常视图有着更加丰富的视觉信息,相比于俯视图,描述了一个更大的真实空间。

5.webp_.jpg

图5.双特征模块
 3.3网络架构
架构总览如图6所示,信息在两条通路中被处理,正常视图通路,俯视图通路,我们管这个叫做双通路结构。正常视图通路处理和保存信息,而俯视图通路提供具有平移不变性的特征,并用于预测3D车道线输出。正常视图通路基于VGG16[29],俯视图通路类似。信息经过射影变换层后流向俯视图通路,这样的通路有四条。为了避免流入的特征图的通道(C)数超过原有的通道数,通过1*1的卷积对其进行了降维,当然除了第一次流入(第一次流入没有原来的)。

6.webp_.jpg

图6.3D-LaneNet的整体结构
 3.3.1道路投影预测分支这条通路估计路面投影平面Proad,具体的,分支预测Tc2r(通过监督方式),Tc2r决定了Hr2i,以及Sipm过程。这些是俯视图处理通路所需要的参数。在推理时,也被用于将网络的输出,输出是Croad坐标转换为Ccamera坐标。正如前边所描述过的,Tc2r使用俯仰角θ以及hcam定义的,因此道路投影预测分支预测这两个参数。
 3.3.2车道线预测头我们的端到端方法的核心是基于anchor的车道线结果表示,受到目标检测方法的启发,我们使用anchors去定义候选车道线,并且用精细的几何表示方法来描述每个anchor的精确的3D车道线形状。输出所在的坐标体系是Croad,这个体系被前边定义的hcam,和θ所定义。我们的ahcnors在这个坐标系下对应纵向线,对于每一个anchor,根据3D点,做最终3D车道线的精细化处理。正如图7所展示的那样。我们将anchor定义为垂直于x轴的等距纵向线,他的集合是{XiA}i=1:N,每一个XiA线对应着2K个输出,这个输出集合表示为(xi,zi)={(xij,zij)}j=1:K,K是预先定义的一个超参数,对应着预先定义好的K个y方向上的位置,他们一起组成一个3D点集。xi代表着相对于anchorXiA的水平偏移,这意味着(xi,zi)代表着点(xi,XiA,yi,zij),这个坐标是在Croad这个坐标体系下的。此外对于每一个anchor i,我们还会输出一个置信pi,这个代表着车道线与anchor的关联程度。我们使用一个预先定义的纵坐标Yref位置来表述这种关联,具体来说与XiA相关联的车道线,是在y = Yref这条水平线上,x的坐标偏移最小的那条车道线(简单看一下output的数量 2K个点加上一个置信p也就是说一个anchor对应2K+1个输出,如果只预测一条中心线,或者只预测一条车道线的话)。

7.webp_.jpg

图7.输出表示。注意输出的anchor的数量等于输出层的宽(图6中被标记为w/8)
 
每一个anchor,网络输出3种类型的车道分割,前两组代表着中心线,第三组代表着分隔线,为每个anchor分配两条可能的中心线将产生对汇聚和分叉的描述支持,这通常会导致两条车道的中心线在Yref重合,并在不同的道路位置分开,如图7中最右边的例子所示。车道线的拓扑结构相比于中心线来说,通常会更加的复杂,我们现在的这种表示方式,还不能描述所有的情况,比如图7中车道线没有经过Yref。车道线预测头被设计为输出如我们描述的那样的输出,通过一系列的y方向的无padding的卷积,特征图在H方向上逐渐减小,最终形成N×1×3×(2K+1)的输出(按照标准pytorch描述,可以说成是batch, (3*(2K+1),1,N),前面最后一个之所以乘3,是对每一个车道输出三种描述,分别是中心线,中心线,和车道线)中的一个i∈{1...N},对应着一个anchorXiA,每一个anchor,XiA,类型t∈{c1,c2,d}被输出表示为(xti,zti,pti),最终的输出还会经过一个1D的非极大抑制,就如在目标检测中的那样,只保留局部最大置信度的车道(与左右相邻anchor相比),每一个被保留的车道线,都有少量的3D(K个)点,然后利用他们,利用样条插补的方式完成光滑曲线的生成。
 
 3.4训练与真值关联给定一个图片,和他对应的3D曲线,训练过程如下:第一真值坐标系Croad被定义为与当前路面切面相关的,使用θ和hcam定义的,如前面所描述的那样。接下来,每一个车道曲线,投影到Croad坐标系下的X–Y平面上,并且与他们关联的anchor定义为在Yref处与他们最近的那个。(这里的关联就是这个anchor负责预测哪个,与yolo里目标中心落在哪个小方格中心,哪个小方格就预测谁类似)对于每一个anchor来说,最左侧的中心线,以及最左侧的车道线t∈{c1,c2,d}被定义为集合中的c1和d1,如果还有额外的中心线,那门它被定义为c2。这种方式将真值定义为与输出相同的形式,每一个anchorXiA和类型t相关的GT被标记为(xti,zti,pti),pti是在坐标系Croad下的分配标识(我理解为有就是1,没有就是0)。 在训练以及评估阶段,整个车道将会被忽略,如果他们在俯视图中在y = Yref处没有值,并且如果他们被地形所挡住,他呢也将被忽略(比如被小山丘挡住),整个的loss函数被给出,如下,它结合了三个等权重的loss,车道线检测(有无)(交叉熵损失)三维几何形状损失,以及道路平面估计损失。

8.webp_.jpg

 
 
4. 模仿合理行为
 
我们的实验描述按如下步骤:我们先回顾一下我们生成的synthetic-3D-lanes 数据集,我们的大多数结论产生于此。接下来,我们描述下对于3D车道检测任务的评估方法,然后,我们展示在我们制作的这个数据及上的结果,以及控制变量法检查每一个概念(方法)对于我们整个方法的贡献。最后,为了证明我们的方法在真实数据上的可用性,我们将我们的方法与其他单图片车道检测办法在tuSimple benchmark 上进行了比较。
 4.1合成的3D车道数据集
我们生成synthetic-3D-lanes 数据集使用考元的图形引擎blender,我们的方法允许我们随机生成模型的各个部分,从场景的3D几何形状,到目标的类型,如图8所示。

9.webp_.jpg

图8.随机生成的数据集。(a)路面(b)道路拓扑结构和曲率(c)路与路面(d)渲染场景。
 
 
生成每一个场景的步骤如下:

  • 3D地形:地形通过随机生成参数的高斯混合分布来生成,如图8a所示。

  • 地形拓扑:车道的数量是被选定的,然后我们选择是否有第二条路,和在这条路里的车道,取决于后来在场景中相机的方向,第二车道的连接被视为一个车道汇聚或者车道分叉。

  • 车道曲率:每一个车道在俯视图中的几何形状用三次多项式建模,如果存在汇聚/分叉,则选择连接点,这个在俯视图上的结果如图8b所示,车道的宽度被随机选择为3到4米。

  • 3D车道:俯视图上生成的三次多项式会被映射到之前生成的地形上,第二车道也是,模仿正常道路的拓扑结构,如图8c所示的那样。

  • 地形和道路表示:道路和地形的纹理是从一组纹理中选择的。车道标记的类型和颜色也是随机的。

  • 目标:车辆和树木分别摆放在场景中、道路上和道路外。它们的模型是从一组可选模型中选择的。

  • 场景生成:主车相机通过选择它的车道和他相对于车道中心的横向偏移放置在主道路上。相机的高度被随机设置为140cm到190cm,俯仰角被随机生成为0到5度,最终,光度被设置,并且场景从相机视角生成,每条车道中心线与车道线的3D点被转换为相机坐标系下的坐标,来产生真值。图8包括几个场景的例子,展现了场景的多样性与复杂性。

  • 应用细节:正常视图通路用预训练的VGG16进行初始化,我们使用adam优化方法,学习率设置为5.1*10-4,我们使用在循环学习率上的变化机制如[30]中描述的那样,并且设置最小的学习率为10-6俯视图上的场景在真实场景中的尺寸为80m*20m,IPM在xy两个方向上具有不同的缩放尺度,在第一次俯视图特征图上(第一次变换的)每一个像素点代表着真实世界16cm的宽度(x向)和38.4cm的长度(y向)最后一张特征图的边长是第一张的八分之一,并且每一列代表一个anchor,所以两个临近的anchor之间的距离为真实世界中的128cm(16*8),我们将K设置为6,预设的y的位置为:y={5,20,40,60,80,100}和Yref=20m。 


 4.1.1评估方法我们提出一种对于3D车道检测的评估办法,他讲检测的准确率与几何估计准确率分割开来,检测准确率通过标准的平均精度办法(AP)来计算回归曲线的精度。我们首先计算真值曲线与预测曲线的加权欧式距离,我们计算在预先设定的各个y位置上距离,每80cm的图片距离代表实际的80m,远处的点的距离计算给予较低的权重,然后,我们通过选择减少相似性的配对来执行一对一(曲线)匹配,当他们的加权距离小于一个阈值,匹配被认为是成功的,迭代这个阈值,已获得更加精确地阈值。 对于配对的曲线,我们评估几何估计精度通过计算他们误差的分布,(这在计算距离的时候用到过),我们将整个数据集的车道线点分为近距离(0-30m)与远距离(30-80m)由于他们误差的巨大差异。然后我们计算误差为1δ误差的,比如百分之68这样,还有误差为2δ误差的,比如百分之95类似这样,道路中心线与车道线都各自用这种方法评估。在训练阶段被忽略的那些点,在评估的时候也被忽略。
 4.1.2评估结果在测试集上典型的网络结果如图2,用真值做标记。表1第一行为3D-LaneNet中心线检测定量结果。一个对合成数据集有必要的担心是,他的变换实在是太有限了,导致网络记住了整个样例空间,而不是去学习如何泛化,一个积极地结果表明这种情况没有发生是测试集的AP(0.952)略低于训练集AP(0.966)对于几何误差也是同样的。在接下来的控制变量实验中,我们都用训练好的3D-LaneNet的参数做初始化,用以减少训练时间。
表1.在synthetic-3D-lanes dataset 上的中心线检测结果

10.webp_.jpg

 我们首先通过与其他结构进行比较来探求双通路结构的作用,只有正常视图通路的版本,将网络后部分直接连接到lane detection head 输出Croad下的3D坐标,就如完整版本那样,这个时候anchor 被最后一张特征图上的列所决定,对于每一列,我们在预定义的图像y坐标上选取一个像素,并将其投影到俯视图中,以确定与列对应的anchor。只有俯视图版本,首先将图片投影到俯视图上,然后后面继续进行和完整版本的俯视图通路同样的计算。除此之外,我们还测试了两个版本,它们包含双通路结构,但是这个机构的个数和位置不同。Early IPM版本包含一个双特征模块(dual context module),并且是第一个,late IPM同样只包含一个,不过包含的的是最后那个。结果在被总结在表格1中,结果表示了,带有完全体双特征模块的相对于其他变体有着非常好的超级表现,特别的,只有正常视图通路的有着最差的结果,这说明,俯视图通路的处理是十分有必要的。注意late ipm版本,只包含一个双特征模块,表现出了第二高的准确率,但是却减少了很多的计算,这使他成为一个可实时应用的候选模型。 我们尝试了几个版本的道路投影平面定义,这是我们架构和输出表示的核心,我们的第一个尝试是在没有显示监督的情况下,学习每个场景的最佳道路投影平面,类似于[23]中的“H-net”地平线估计,但是这种方法没有得到令人满意的结果。我们认为这一方向值得进一步研究,因为这是最自然的方向。另一个自然的选择是在拟合道路平面时考虑整个场景,而不仅仅是局部道路的发现。为此,我们设计了一种地面真值生成算法,该算法取最远处可见的道路点,并将其与当前道路位置相连接以确定俯仰角。由于这种方法类似于水平估计方法,所以在表格中将其称为水平(horizon)。显然,它的表现总的来说略差,虽然我们一直观察的情况下,场景地形有利于这一定义。我们也尝试假设一个固定的相机位置,其中平均俯仰角为(2.5◦)和相机高度(165厘米)这两个数据被用来定义Tc2r。 表格1中的最后一行显示了假定地面是平坦的图像到世界转换的结果。这通过将我们完整版的网络中估计的z设置为0来实现。尽管这个糟糕的结果有一些繁琐,并且有着高度的数据依赖性,但他还是告诉我们3D车道探测的重要性。带着0.966的AP,完整版的3D车道检测网络在车道线的检测上超过了中心线的检测,这可能是因为在图片中,车道线有比较明显的显示。在他们的位置误差分布上也是同样的(nearrange: 10.5cm@1σ,28cm@2σ; far range:27.3cm@1σ and 106cm@2σ) 既然输出从路面坐标系通过Tc2r转换到了相机坐标系,我们也评估了这种估计的质量以及他对最终结果的影响。俯仰角和相机高度误差的中位数为0.09°和2.4cm,为了消除这两个误差对最终结果所造成的影响,我们评估了Croad下的坐标,方法是通过直接拿到网络的原始输出。
 
 
5. 总结及未来工作
 
我们提出了一个单帧单次cnn前向传播,不需要其他后续处理工作的车道检测办法。在tuSimple benchmark 上,我们展现了富有竞争力的结果,并且在我们合成的3D车道线数据及上,我们的方法能够进行多车道的3D检测。最重要的是,接下来的研究证明了这是可以应用在真是世界的数据上的。我们现在的表示在(在纵向上的anchor,判断Yref存在与否)还比较粗糙,这限制了该方法对车道复杂拓扑结构的表示,比如城市内部,在接下来的工作中,我们会更新我们的表示方法使用端到端的机制来来处理这些情况。

谷歌ChauffeurNet:训练能够鲁棒地驾驶实车的网络

知识讲堂betty19920416 发表了文章 • 0 个评论 • 820 次浏览 • 2019-04-23 10:21 • 来自相关话题

编者按:Waymo于2018年底发表了本论文,介绍如何利用并改进模仿学习以获得能够较为鲁棒的驾驶模型ChaufferNet。它与典型的端到端学习不同,采用的是mid-mid的方式,在仿真环境和实车测试中都有不错的表现。模型一方面基于大量数据模仿学习合理的驾驶行 ...查看全部
编者按:Waymo于2018年底发表了本论文,介绍如何利用并改进模仿学习以获得能够较为鲁棒的驾驶模型ChaufferNet。它与典型的端到端学习不同,采用的是mid-mid的方式,在仿真环境和实车测试中都有不错的表现。模型一方面基于大量数据模仿学习合理的驾驶行为,另一方面通过在合理驾驶轨迹上附加扰动以制造各种特殊的驾驶情形,结合对应的附加损失函数,训练网络如何应对扰动和避免不良行为。ChaufferNet驾驶模型具有较好的鲁棒性,虽然目前还不能够和运动规划方法竞争,但的确是机器学习驾驶模型前进的一大步。
 
 
摘要:
我们的目标是通过模仿学习训练出能足够鲁棒地驾驶真实车辆的网络。我们发现单纯的行为模仿不能应对复杂的驾驶场景,即使我们利用感知系统预处理传感器输入,同时利用控制器在车辆上执行模型输出:3000万量级的学习样本仍然不够。我们尝试利用在合理驾驶的数据上附加扰动得到的合成数据来辅助学习,创造出一些特别的驾驶情形,如车辆发生碰撞或驶离道路。我们不是纯粹模仿所有合理驾驶的数据,而是在模仿损失上增加了一些损失,用于惩罚不良的行为并鼓励学习的进展。在合理驾驶的数据上增加的扰动为这些损失提供了重要信号,并导致学习得到的模型具有鲁棒性。我们证明了ChauffeurNet模型可以应付仿真环境中的复杂情形且能够合理地应对随机因素,同时进行了实验对本文提出的各项改进的重要性加以说明。最后我们展示了使用训练得到的模型在现实世界中驾驶汽车的效果。
 
关键词:深度学习 mid-mid驾驶 驾驶行为学习 轨迹预测
 
 
1.介绍
 
驾驶员在驾驶时需要观察和理解环境中的各种物体,预测它们未来可能的行为和交互情况,然后思考如何控制汽车,在遵从道路交通规则的条件下安全到达目标位置。这项任务对于机器来说是很有挑战性,人类却可以很好地完成,因此模仿学习是解决这个问题的一种很有前景的方法。我们工作的目标就是使得模仿学习得到的模型能够达到可用于驾驶真实车辆的水平。我们在利用大量训练数据(3000万现实世界中合理驾驶的样本,相当于持续驾驶约60天)的基础上尽可能高效地构建了我们的系统。的确,端到端的驾驶行为学习有很多令人兴奋的地方。它们通常致力于通过学习,在相机或激光雷达数据等原始传感器输入数据的基础上,直接预测诸如转向或制动等原始控制输出。但为了降低样本的复杂性,我们选择了建立在感知和控制组件之上的中级输入和中级输出表示。我们使用能够加工处理原始传感器信息的感知系统来产生这种中级输入:俯视的环境表达和目标路线,车辆等物体被绘制为有向的边界框,道路信息和交通信号灯状态也在其中。我们将这种中级输入注入到一个名为ChauffeurNet的循环神经网络中,由这个网络输出一条驾驶轨迹,再由控制器将此驾驶轨迹转换为转向和加速度控制指令。使用这些中级表示的另一个优点是:网络既可以使用实际数据,也可以使用模拟数据来训练,且可以在部署到实车之前在闭环仿真中轻松完成测试和验证工作。
 
我们的第一个发现是,即使在拥有3000万个驾驶样本并使用中级输入和中级输出表示减轻感知与控制负担的条件下,单纯的模仿学习依然不能达到目标。例如我们发现这种情形:本车会与一辆停在狭窄街道一侧的车发生碰撞或者卡在这辆车后不动,然而此时避让和超车都是完全可行的。关键的挑战是我们需要闭环地运行系统,而误差的累积将会导致驾驶情形偏离训练时的分布。这一结果是单纯的模仿学习在驱动车辆驾驶领域具有局限性的很有价值的证据。此外我们还发现在模仿损失的基础上,增加一些抑制不良行为并鼓励学习进展的损失,同时增加附加了扰动的合成驾驶轨迹可以克服这一挑战。这些改进使得模型能够接触到发生碰撞和驶出道路等非常规行为,同时损失函数的增大将引导模型避免这些行为。正是由于采用中级的输入输出表示,我们才能得到大量这样的合成驾驶轨迹。这些扰动很难从原始传感器输入或直接馈送到车辆的控制器输出中生成。
 
我们首先在仿真中评估整个系统以及进行损失函数扩增和数据扩增的重要性,之后展示最终模型如何在现实世界中驾驶汽车,并协调处理涉及其他交通参与者、转弯、停车标志和交通信号灯等对象的驾驶情形。变道等具有高度互动性的驾驶情形,仍然需要在强化学习的框架内进行大量的探索。这就要求实现对其他交通参与者例如行人的模拟,而这种模拟也是一个正在迅速发展的值得探索的研究领域。本文的贡献可以理解为:在没有使用强化学习的条件下,我们仍然可以用纯粹的离线数据来完成更多的驾驶学习任务。
 
2. 相关工作
 
ALVINN上数十年的工作(Pomerleau(1989))揭示了浅层神经网络如何直接利用相机数据和激光测距数据使车辆沿着道路行驶。以端到端的方式学习自主驾驶在近些年掀起新的热潮。Chen等人最近的工作(2015)展示了使用一个卷积网络来预测可行驶空间,例如和前方车辆的距离。预测的可行驶空间可用于控制器的编程,控制在高速公路上行驶的车辆。NVIDIA的研究者们(Bojarski等人(2016,2017))展示了如何训练一个端到端的深度卷积神经网络,利用相机输出的数据作为输入,控制车辆的转向。Xu等人同样利用相机输出的数据,训练了一个神经网络用于预测离散的或连续的动作。Codevilla等人(2018)也训练了一个网络,使用相机的输出作为输入,使用高级的控制指令来输出对转向和加速度的控制。Kuefler等人(2017)使用生成对抗模仿学习(GAIL),使用简单的affordance-style特征作为输入,以克服基于行为复制策略得到的模型中经常出现的过大误差,因而对于扰动有更好的鲁棒性。Hecker等人最近(2018)训练了一个使用360度环视相机输出作为输入,包含目标路线规划模块的驾驶模型,可以预测转向和车速。CARLA模拟器(Dosovitskiy等人(2017))在Sauer等人的工作(2018)中都有用到,它可以基于传感器数据估计若干个可行驶空间并在仿真的城市环境中驾驶车辆。Muller等人(2018)利用和本文思路相似的中级表示,在仿真环境中使用CARLA训练了一个系统。具体的方法是从一个场景分割网络中训练驾驶策略,并输出高级的控制指令,方便了后续基于迁移学习的方法利用现实世界驾驶数据训练得到的一个不同的场景分割网络。Pan等人(2017)同样描述了如何利用基于学习的intermediate场景标注方法,将仿真环境中训练得到的模型向真实世界中迁移。Shalev-Shwartz等人(2016)提到在模拟器中使用强化学习训练机器完成诸如变道等复杂的且具有高度交互性驾驶任务。目前已经有机器学习之外的大量的车辆运动规划方面的工作,Parden等人(2016)对此给出了一个很好的调研。
 
3.模型架构
 
3.1输入输出表示
首先描述网络如何处理俯视的输入表示,进而输出可行驶的轨迹。在任何时间t,本车状态可以俯视坐标系中的坐标pt,θt,st来表示,其中pt=(xt,yt)表示位置,θt表示航向角或行驶方向,st表示速度。俯视的坐标系按照以下规则选定:本车在当前时刻t=0的位置p0始终位于图像中的固定位置(u0,v0)。为了在训练阶段扩增数据,每一个训练样本都在θ0±Δ的角度范围内随机选择坐标系的方向,其中θ0表示本车在当前时刻t=0的航向角或行驶方向。俯视图由一组分辨率为W×H的图像表示,地面的采样分辨率为φ米/像素。随着本车的移动,这些环境视图也发生移动,因此本车总是观察一个固定前视范围内的环境,即[Rforward=(H-v0)φ]米。这样就模拟出了车载的传感器只观察车辆前方Rforward米范围内的环境的情形。
 

1.webp_.jpg

                                                                                    图1:驾驶模型的输入(a-g)和输出(h)
 
如图1所示,模型的输入由几个大小为W×H,并且调整到俯视坐标系的图像组成。(a)路线图:一幅3通道彩色图像,包含各种地图特征如车道、停车标志、人行横道和路缘等。(b)交通信号灯:灰度图像的时间序列,序列中的每一帧表示一个过去时间步的交通信号灯状态。我们在每一帧中为每个车道的中心线着色,最亮的灰度级对应红灯,中间灰度级对应黄灯,较暗的灰度级对应绿灯或未知信号灯。(c)限速:单通道图像,车道中心的着色灰度与本车道对应的限制车速成比例。(d)路线:驾驶的目标路线,它由一个路线规划模块产生。(e)本车边界框:显示了本车在当前时间t=0的完整边界框。(f)环境中的动态对象:图像的时间序列,序列中用有向边界框的形式显示所有的动态物体(车辆,骑自行车者,行人等)。(g)本车的历史位姿:本车的在各个历史时刻的位姿,用单个灰度图像中某个点的运动轨迹表示。

2.webp_.jpg

图2:驾驶模型的训练 (a)ChauffeurNet的模型核心是一个FeatureNet网络和一个AgentRNN网络 (b)共同训练的路标预测网络和PerceptionRNN (c)训练的损失函数以蓝色显示,绿色部分代表真值。虚线箭头表示从一次迭代到下一次迭代的预测值的循环反馈。
 
我们使用δt的固定时间间隔,来采样过去或者未来时间点上的信息,例如上述输入中的交通信号灯状态和动态对象状态。在过去的Tscene秒内对交通信号灯和动态对象进行采样,在过去的Tpose秒甚至更长的时间间隔内对本车的位姿进行采样。这种简单的输入表示,特别是用边界框表示其他动态对象,使得从仿真或实际感知系统记录的检测和跟踪对象日志中生成输入数据变得更加容易。这样在实车运行之前,就可以在闭环仿真中完成测试和验证的工作。仿真数据的利用,使得模型可以充分探索现实中较少发生的驾驶情形,从而改进模型。例如在现实世界中,我们很难获得与发生碰撞相关的数据。使用二维的俯视图还意味着可以实现有效的卷积输入,允许以灵活且易读的方式表示各种数据以及它们的空间关系。使用I表示上面列举的输入图像的集合,ChauffeurNet模型便以这些输入为基础反复预测本车的未来位姿,如图1(h)中绿色的点所示。

3.webp_.jpg

                                                            图3:(a)ChauffeurNet概览    (b)多次迭代中的存储单元更新
 
公式1中,当前位姿p0是已知的输入,然后ChauffeurNet执行N次迭代并输出预测的未来轨迹{ pδt,p2δt,…,pNδt }和如未来速度等一些其他的属性。该轨迹可以输入到优化控制器内,以计算出具体的驾驶控制指令(例如转向和制动命令)。当然,这些控制指令要满足车辆动力学约束。不同类型的车辆可能利用不同的控制输出来实现相同的驾驶轨迹,这也印证了训练网络直接输出低层次的转向和加速度控制指令在这里是不太合适的。
 
3.2 模型设计
概括地说,驾驶模型由如图2所示的若干部分组成。图中(a)部分是ChauffeurNet模型的主要部分,由特征提取卷积网络(FeatureNet)组成。FeatureNet使用中级输入数据来创建可由其他网络共享的特征表示。这些特征被本车的循环神经网络(AgentRNN)使用,以迭代地预测驾驶轨迹中的后继点。轨迹中时刻t对应的点用位置pt=(xt,yt),航向角θt和速度st来描述。AgentRNN还在未来的每个时间步上,以heatmap的形式预测车辆的边界框。图的(b)部分可以看到另外两个网络,它们使用相同的特征表示作为输入共同训练。Road Mask网络预测视野中的可驾驶区域(道路与非道路),感知循环网络(PerceptionRNN)迭代地预测描述空间分布的heatmap。利用和主要任务共享的特征表示来很好地完成这些附加任务,改进了模型在完成主要任务基础上的泛化能力。图2(c)显示了训练模型过程中使用的各种损失,这些损失将在下面详细讨论。

                                                           
4.webp_.jpg

                                                                图4:信息流图表示的端到端驾驶软件架构
 
图3更详细地说明了ChauffeurNet模型。图1中的输入传递给具有skip-connections结构的卷积神经网络FeatureNet。FeatureNet输出的特征表示F中包含了环境的上下文信息。这些特征被提供给AgentRNN,并由AgentRNN基于一系列条件预测驾驶轨迹的下一个点pk以及预测本车边界框的heapmap:Bk。这些条件包括FeatureNet得到的特征表示F,迭代次数k:{1,…,N},对AgentRNN的过去获得的预测结果的记忆Mk-1,以及在前一次迭代中预测的本车边界框heatmap:Bk-1
                                                             
                                                                         
5.webp_.jpg

 
存储单元Mk是由单通道图像组成的叠加式存储单元。AgentRNN的第k次迭代中,存储单元(单通道图像)在AgentRNN预测的图像位置pk处增加1个点,然后此存储单元传递给下一次迭代。AgentRNN在heatmap上输出对本车下一位姿的预测,使用arg-max操作可从heatmap中获取位姿的粗略估计pk。AgentRNN采用一个较浅的且具有一个全连接层的卷积网络,对姿势δpk进行亚像素级别的细化,并估计出航向θk和速度sk。在训练时AgentRNN会展开固定次数的迭代,下面要描述的损失将在这些展开的迭代步中进行累加。这样之所以可行,是因为我们使用的是非传统的RNN,采用的存储单元是显式设计的而不是通过学习产生的。
 
3.3系统架构
图4表示的是在自动驾驶系统中如何使用神经网络的系统层面的概述。通过感知系统处理真实世界传感器输出或者从仿真环境获取,更新本车和环境状态。目标路径从路径规划模块获得,且根据本车是否能够跟随过去的目标路径驾驶进行动态更新。环境信息被整合到图1所示的输入图像中并传递给RNN,由RNN输出未来的轨迹并送到优化控制器,进而输出驱动车辆的低级控制信号(在现实世界或仿真环境中)。
 
 
4. 模仿合理行为
 
4.1 模仿损失
4.1.1本车位置,航向角和边界框预测
AgentRNN在每次迭代k产生三个输出:(1)基于空间softmax得到的预测路点在空间坐标系中的概率分布P
k(x,y)。(2)当前时间步k对应的预测本车边界框heatmap: Bk(x,y),基于逐像素的sigmoid激活函数生成,表示本车占据特定像素的概率。(3)回归获得的边界框航向角输出θk。掌握上述预测量真值的条件下,我们可以为每次迭代定义相应的损失:
 

                                                                                         
6.webp_.jpg

 
其中上标gt表示对应的真值,而H(a,b)是交叉熵损失函数。注意[Pgtk]是二值图像,只有对应目标真值坐标的像素的值才被设置为1。
 
4.1.2本车预测
预测网络在每一次迭代中,基于特征并且使用回归的方式,对粗略的路点估计结果生成亚像素级别细化的δp
k以及每个点的速度估计sk。我们对这两种输出均采用L1损失函数:
 

7.webp_.jpg

 
4.2 对过去运动行为的dropout
训练过程中,过去的运动历史被作为输入之一提供给模型。训练过程中的运动历史来自合理驾驶的示范,因此网络可以基于过去作出僵化的推断而不是发现行为背后的具体原因,类似“欺骗”。在进行闭环推理时这种“欺骗“就会崩溃,因为运动历史来自于网络本身在过去的预测。这样训练出来的网络,也许会只有在过去运动历史中发现减速时,才在停车标志前停车,永远不会在闭环推理时在停车标志前停车。为了解决这个问题,我们引入了一个针对运动历史的dropout机制:对于50%的样本,在输入数据中的本车历史位姿这一通道中,仅仅保留本车当前位姿(u0,v0)。这一点迫使网络寻找环境中的其他线索,来解释训练样本中的提供的未来运动数据。
 

8.webp_.jpg
图5:轨迹的扰动。(a)原始记录的训练样例,其中智能体沿着车道的中心行驶。 (b)扰动样例,通过扰动原始记录中当前智能体的位置(红色点)使其远离车道中心,然后拟合新的平滑轨迹,该轨迹使智能体沿车道中心返回到原始目标位置。
 
 
5. 在纯模仿之外的工作
 
5.1合成扰动
将模型作为闭环系统的一部分运行,随着时间的推移,输入数据会偏离训练时的分布。为了防止这种情况出现,我们在训练模型时对一部分本车轨迹的样本,附加现实中可能出现的各种扰动。轨迹的起点和终点保持不变,扰动施加在轨迹中点的周围,且在周围的多个轨迹点上得到平滑。定量地来看,各个轴上产生在[-0.5,0.5]m范围内均匀分布的随机抖动,航向角产生在[-π/3,π/3]弧度范围内的随机抖动。我们用平滑的轨迹拟合扰动后的点和原始的起点与终点。这类附加扰动的训练样本,使汽车在受到扰动后能够回到原来的行驶轨迹上。我们通过设置轨迹曲率的阈值,滤除了一些实际中不太可能出现的扰动后的轨迹。我们允许扰动后的轨迹与其他车辆发生碰撞或驶离道路,因为只有这样,网络才能在原有样本中没有类似情况出现的条件下,也能经历并且学会如何避免这样的行为。训练过程中我们给附加了扰动的样本的权重是真实样本的权重的1/10,避免学到的模型有始终在扰动状态下驾驶的倾向。
 
5.2 模仿损失之外的损失
5.2.1 碰撞损失

由于我们的训练数据没有任何实际碰撞,因此避免碰撞的想法是隐式的,不能很好地泛化。为了缓和这个问题我们增加了一个专门的损失函数,直接度量在每一个时间步上预测的边界框Bk与场景中所有物体的边界框真值的重叠率。
 

9.webp_.jpg

 
其中Bk是输出本车边界框预测的似然图,Objgtk是时间k对应的二值化的掩模图像,所有被其他动态物体(其他车辆,行人等)占据的像素的值都为1。训练过程中的任何时候,如果模型预测到将会发生碰撞,大的重叠率会造成的损失增加,进一步影响到模型更新的梯度,从而纠正这种错误。但是这种损失仅在训练的初始阶段有效,也就是在模型还没有能够预测出接近真值的位置时。在轨迹上附加扰动之后,这个问题得到了缓和。这是因为在附加扰动的样本中,人为制造出来的碰撞情形使得上述损失函数在训练过程中能够发挥出作用,影响模型更新的梯度。此外这种方法还达到了类似在强化学习中设置在线探索的效果。
 
5.2.2 驶离路面损失
轨迹扰动同时会产生车辆驶离道路或驶上路缘的情形。为了训练网络避免车辆驶上道路边缘,我们增加了一个专门的损失函数,在每一个时间步k上度量预测的本车边界框和表示视野中的道路和非道路区域二值掩模图像Roadgt的重叠率。
                                                           
                                                               
                                                         
9.webp_.jpg
   
 
5.2.3 目标轨迹几何损失
我们希望显式地约束本车,使其沿着独立于速度曲线的目标轨迹行驶。通过用平滑曲线拟合目标路点,并将此曲线调整为俯视坐标系中的二值化图像,来对目标轨迹几何形状进行建模。该曲线的宽度被设定为和本车宽度相等。我们用类似定义碰撞损失的方式,通过预测的本车边界框和二值化的目标轨迹几何图像Geomgt的重叠率,度量这种与目标轨迹几何形状相关的损失。边界框的任何不与目标几何轨迹重叠的部分,都将被转化为惩罚值并加入损失函数中。
 
                                                               
10.webp_.jpg


                                                               
11.webp_.jpg
图6:在样例输入上将预测和损失函数可视化。上面一行是输入的分辨率,而下面一行是当前智能体位置周围的放大视图。
 
5.2.4 附加损失
与预测本车轨迹类似,循环网络也可以用来预测其他交通参与者。因此我们添加了一个感知循环网络PerceptionRNN,它使用FeatureNet创建的共享特征F和它自己在前一次迭代预测的heatmap:Objk-1作为输入,并预测每次迭代的heatmap:Objk。Objk(x,y)表示k时刻位置(x,y)被动态物体占据的概率。对于k=0的迭代步,使用动态对象的真值数据输入到PerceptionRNN中。
 

11、12.jpg

 
5.3 Imitation Dropout
总的来说我们的损失可能分为两组。模仿损失如下:
 

13.webp_.jpg

 
环境损失如下:
                                                          
                                                           
14.webp_.jpg

 
模仿损失导致模型模仿合理驾驶的示范行为,而环境损失抑制了诸如碰撞等不良行为。为了进一步增加环境损失的有效性,我们试验时使用了具有随机退出机制的模仿损失,称为"imitation dropout"。在实验中我们证明"imitation dropout"相比于简单地降低模仿损失的权重,可以得到更好的驾驶模型。在"imitation dropout"过程中,每个训练样本的模仿损失wimit被按照一定的概率随机置为0或1。整体损失由下式给出:

15.webp_.jpg

 
 
6. 总结
 
在本文中,我们介绍了让模仿学习在现实世界的完成驾驶任务也能拥有良好表现的研究经验。我们发现成功的关键在于,在合理驾驶行为的基础上附加扰动合成出各种驾驶情形,并增加适当的损失来抑制不良的行为。这些改进可以使模型学会如何避免发生碰撞和驶离道路,即使这些情形在合理驾驶的样本中很少出现。为了支持这一点,并更好地利用合理驾驶的数据,我们使用了中级的输入和输出表示,从而轻松混合真实和仿真数据并减轻学习感知和控制的负担。基于这些要素我们得到了一个足以驾驶真实车辆的模型。虽然该模型还没有完全实现与运动规划方法展开竞争,但我们认为这是机器学习驾驶模型迈出的一大步。通过在模拟中探索罕见和困难的情景,对合理的驾驶行为进行彻底的增强(也许是在强化学习框架中完成),将是提高这些模型的性能并将其用于具有高度交互性的交通场景的关键。

2019第十一届全球汽车产业峰会圆满落幕

博客betty19920416 发表了文章 • 0 个评论 • 240 次浏览 • 2019-04-22 16:31 • 来自相关话题

  2019年4月18日,由上海市国际贸易促进委员会指导,盖世汽车、AC汽车联合主办的第十一届全球汽车产业峰会于上海国家会展中心隆重召开,本次峰会也得到了嘉定区政府与中国汽研的大力支持。1000余位汽车产业的价值链、产业链、创新链、多元化最具代表性 ...查看全部
 
2019年4月18日,由上海市国际贸易促进委员会指导,盖世汽车、AC汽车联合主办的第十一届全球汽车产业峰会于上海国家会展中心隆重召开,本次峰会也得到了嘉定区政府与中国汽研的大力支持。1000余位汽车产业的价值链、产业链、创新链、多元化最具代表性的企业和专家相聚上海车展,共同谈论当前行业的发展现状以及未来趋势。
 

▲ 活动现场
 

▲ 盖世汽车创始人兼CEO周晓莺

在本次峰会上,周晓莺表示:随着新一轮科技革命带来的产业变革,汽车产业和产品的内涵和外延不断的在扩展,电动化、网联化、智能化、共享化已经成为主要的特征。盖世也很高兴能够在上海国际车展同期内展开我们的第十一届全球汽车产业峰会,通过本次峰会,也希望所有参与者能够开拓思路,共同助力汽车产业未来的发展。
 

▲ 中国汽车工业协会副秘书长师建华
 
我们处在转型升级主动变革、实现高质量发展的关键时期,虽然面临着诸多的挑战,但是我们有两个有力的支撑。首先中国汽车市场的刚性需求为产业的发展提供了持续动力,这个是中国汽车产业长期发展的一个根本。第二点,新技术的进步,作为产业升级的发展动力在推动着我们汽车产业跨越新的高度,目前,以智能化为主要特征的新一轮科技革命和产业变革,正在加速向经济社会各个领域纵深推进。
 

▲ 上海市国际展览有限公司副总裁李征伟
 
在汽车展发展的过程当中,技术方面也展示了产品的理念,代表了最新汽车工业发展的方向,以及整合当前各方面最先进的科研成果的运用场景。
 

▲ 威马汽车首席数据官梅松林
 
智能电动车有很大的挑战,传统的有什么配置可以看得到,摸得到,智能电动车最大的难点是怎么样和消费者沟通,只有开了才知道这个功能,很多是软件化的东西。
 

▲ 新思科技董事长兼联席首席执行官
Aart de Geus博士
 
软件和机械、电子元件,对于汽车厂商来说同样重要,软件的开发,需要这样一个过程,始于一个很好的点子不断的试错和调整。
 

▲ 长城汽车副总裁、蜂巢易创董事长唐海锋
 
未来的发动机是持续的小型化,同时在涡轮增压技术方面,未来会有一个长足的发展。国产乘用车的自动档的渗透率,一直在提升,目前已经达到65%以上,同时,DCT变速箱未来预计占到50%。
 

▲ 德州仪器(TI)中国区汽车业务部总经理张磊
 
谈到整个系统级的创新,实际上德州仪器公司治理是从一个器件的供应商,变革为更多方案的提供商,更贴近于用户和市场。
 

▲ ANSYS中国汽车行业电气化专家、资深高级应用工程师童辉
 
仿真技术在汽车领域有非常广泛的应用,针对当前新技术影响下整个汽车行业的需求,童辉谈到,ANSYS希望能够将仿真向前拓展到我们概念阶段,向后拓展到我们制造阶段,再往后甚至是在运营,以及维护阶段做一个深刻的迭代。
 

▲ 地平线副总裁,智能驾驶产品线总经理张玉峰
 
所有的人工智能深度学习在过去几年给汽车行业带来了很多新的解决问题的办法,让以前很有挑战的一些问题可以通过数据基于数据的一种新的编程方式,让一些之前很复杂,很难解决的感知问题,比如说对于驾驶场景下其他的交通参与者行为的预测等这些问题变得相对来讲更容易来解决,更容易去用更少的开发的精力和资源来解决更复杂的挑战。
 

▲ 佛吉亚内饰系统驾舱科技事业部太销售总监孔敏
 
在整个未来座舱继续研发以及继续往前发展过程当中佛吉亚总结出来的七个趋势,认为在这七个趋势方面一定要有所突破,在产品级别有所实现,才能真正能给我们的用户带来实际的改善。这七个趋势分别为:1、安全;2、加强式的舒适和所谓的健康的侦测;3、关注热能和空气质量;4、声学;5、HMI;6、未来座舱的可变性;7、所有信息的连接。
 

▲ 中国恒瑞有限公司首席技术官
Giacomo  Dal  BuscoGiacomo

我们要进行轻量优化,从2020年开始我们要用到混合式的设计,意思是要结合不同的解决方案和成分,金属复合材料,应用到大规模量产,对很多的OEM来说都是一个势在必行的趋势。
 

▲ 长安汽车动力研究院副院长杨柏林
 
插电混动在竞争上面也是有很多的优势,国家十三五规划当中提出了对新能源汽车进行支持,新能源汽车一直都是包含PHEV就是插电式混合动力,国家长期以来都是把它定义为新能源汽车。
 

▲ 北京首汽智行科技有限公司CEO谭奕
 
汽车产业链当中,技术担任了非常重要的角色,在过去的两年、三年和在未来的五年里,技术如何进一步赋能这个共享出行行业,让它更具有想象力,让它更性感,让它做起来将来可以发展得更快,让用户更加便利。
 

▲ 沈阳美行科技有限公司深圳分总经理康健
 
谈到导航的话,我们很大程度上都会从传统的角度上理解,导航是给车主或者消费者,让他从A点顺利到达B点。但是事实上在现在的智能网联时代,导航更大程度不是为人导航,而是逐步从为人导航转向为车导航。
 

▲苏州思必驰信息科技有限公司副总裁雷雄国
 
在最近三年,可能在伴随着移动互联网,慢慢地让车联网到物联网的发展过程当中,随着技术的成熟,我们整个行业跟市场对于语音交互技术而言它的诉求已经慢慢地从技术本身已经转移到这个技术背后能够提取的服务与内容。
 

▲ 上海重塑科技孙北
 
对于像燃料电池来讲,除了国家现在有非常明确的不退坡的补贴支持,一定程度上各地方为了推广各地方自己相应的燃料电池发展规划的话,也是有相应的地方性质的补贴策略来做一些支撑,这里面覆盖的范围其实包括整个燃料电池行业的全产业链,包括像加氢站,一些燃料电池核心零部件,像燃料电池发动机这样的产品。
 


▲圆桌讨论
 
此外,本次峰会还进行了两场C-TALK圆桌讨论,分别以未来汽车产业价值链展望和未来出行3.0,变革与挑战为主题,上汽集团乘用车技术中心总监徐政、图达通智能联合创始人CEO鲍君威担任主持人,奇点汽车战略和品牌部副总裁赵强、安波福电子与全亚太区首席技术官王忻、法雷奥中国区CTO顾剑民博士 ,Lidar Velodyne总裁 &CCO Michael Jellen;巴巴拉德动力前 CTO、广东国鸿氢能科技有限公司CTO Chris Guzy,北京首汽智行科技有限公司 CMO秦岭,苏州思必驰信息科技有限公司副总裁雷雄国,地平线副总裁、智能驾驶产品经理张玉峰,上海艾拉比智能科技有限公司芮亚楠、上海重塑科技孙北等嘉宾,带来了针对一场汽车行业发展方向与趋势展望的精彩讨论。
 


▲ “金辑奖”颁奖现场
 
峰会同期,还进行了金辑奖的颁奖盛典,这也是盖世汽车举办的首届“金辑奖”,旨在鼓励专门针对中国汽车产业由大做强,中国汽车品牌升级发展过程中,促进我们汽车产业升级,打造具有竞争力的整零协同关系,助力汽车强国目标而做出积极贡献的企业、单位和个人。

C-V2X工作组第八次全体会议召开

博客别碰我的刘海 发表了文章 • 0 个评论 • 179 次浏览 • 2019-03-20 17:12 • 来自相关话题

百家车联网企业齐聚长沙 共探C-V2X技术发展最新趋势 3月14日、15日,由IMT-2020(5G)推进组C-V2X工作组主办,长沙智能驾驶研究院(希迪智驾、CIDI)、湖南湘江智能科技创新中心承办的C-V2X工作组第八次全体会议在长沙召开。中国 ...查看全部
百家车联网企业齐聚长沙 共探C-V2X技术发展最新趋势
3月14日、15日,由IMT-2020(5G)推进组C-V2X工作组主办,长沙智能驾驶研究院(希迪智驾、CIDI)、湖南湘江智能科技创新中心承办的C-V2X工作组第八次全体会议在长沙召开。中国移动、中国电信、中国联通、华为、中兴、一汽、大众、博世、大陆、菲亚特克莱斯勒等众多国内外汽车、信息通信、交通领域的多家骨干企业及科研院所的200余位代表参会。
无标题.png
会上,到场的企业参会代表听取了长沙智能驾驶研究院的企业战略发展方向、V2X技术应用解决方案的研发进展、国家智能网联汽车(长沙)测试区的整体运营情况及发展规划的相关介绍。
多家企业纷纷展示了企业现阶段的研发成果、技术应用及工作重点,旨在加强与C-V2X产业相关企业及机构的协同,聚集行业优势资源,构建智能网联汽车产业生态伙伴。工作组重点就如何聚合移动通信领域产学研力量、推动第五代移动通信技术研究、建立C-V2X测试评估体系、V2X的应用推广和商业模式等内容展开了研讨。
湖南湘江智能科技创新中心成为第八批成员单位之一加入到C-V2X工作组。长沙智能驾驶研究院成为第二批通过LTE-V2X网络层和应用层互操作及一致性测试验证单位。
测试区、研究院两大核心资源持续发力 新区比较优势正在形成
“测试场地很大,测试场景仿真度非常高”、“很震撼,测试区综合实力在全国来说可以说数一数二“,参会人员在参观国家智能网联汽车(长沙)测试区时评价。
15日,IMT-2020 C-V2X工作组会员单位一行来到湖南湘江新区的国家智能网联汽车(长沙)测试区、长沙智能驾驶研究院考察交流。
在国家智能网联汽车(长沙)测试区,C-V2X工作组会员单位一行观看了国家智能网联汽车(长沙)测试区智能系统监控平台,近距离静态观摩了CIDI智能物流重卡、智慧公交等智能车辆,并试乘智慧公交游览测试区内各场景及路测情况。
C-V2X工作组会员单位参观了长沙智能驾驶研究院展厅和智能改装车间。
智能网联汽车产业是长沙市委、市政府“三智一自主”(智能装备、智能网联汽车、智能终端、自主可控及信息安全)产业布局的重中之重,也是抢占产业发展制高点的战略性产业。湖南湘江新区把握“三区一高地”定位,集中力量抢占发展制高点,围绕打造“湘江智谷”提速,以智能网联汽车产业发展为牵引,以国家智能网联汽车(长沙)测试区为平台,加快构建完整产业生态体系,目前已集聚了包括湘江智能科技创新中心、长沙智能驾驶研究院在内的智能网联汽车重点关联企业347家,实现了产业链、知识链、人才链、资金链、政策链“五链齐动”。
国家智能网联汽车(长沙)测试区、长沙智能驾驶研究院作为湖南湘江新区发展智能网联汽车产业的两个核心资源,正加快推进智能网联汽车测试、智能应用场景打造以及智能物流重卡、专用车、智能车路协同系统等相关业务的发展,不断蓄能、持续发力,助力湘江新区打造全国乃至全球智能网联汽车创新及产业化高地。
湖南湘江智能科技创新中心运营的国家智能网联汽车(长沙)测试区分为管理研发与调试区、越野道路测试区、高速公路测试区、乡村道路测试区、城市道路测试区5个主要功能分区。国家智能网联汽车(长沙)测试区作为工信部唯一授牌的国家级智能网联汽车测试区,目前建有228个智能网联汽车测试场景,模拟场景类型最多,综合性能领先,测试配套服务最优,5G覆盖范围最广,可为智能驾驶乘用车、商用车、无人机、智能机械、机器人、网联通信供应商提供系统测试服务;测试道路里程达12公里,其3.6公里双向高速测试环境及无人机测试跑道为国内独有。2019年,湘江智能科技创新中心将推进智能系统检测仿真实验室、100公里开放城市道路、100公里智慧高速和自动泊车四大场景项目建设,构建更加科学的技术构架和更可持续的应用示范。
长沙智能驾驶研究院,由香港科技大学著名创业导师李泽湘教授领衔创办,以智能驾驶科技创新及应用为导向,致力于打造能落地的智能驾驶商用车及关联技术产品。除了为B端客户提供智能驾驶解决方案以外,也向交通部门出售智能车路协同设备(OBU、RSU)。CIDI在智能网联汽车测试区开发了国内首个支持5G的智能车路协同智能路侧单元RSU,同时,CIDI 基于多模LTE-V/DSRC/LTE/WiFi、打通华为5G通信设备,完成了国内首个封闭区和长达7.8公里市区开放道路的 V2X 功能实景测试。2018年5月1日,CIDI车路协同设备(OBU、RSU)形成销售,营收达3000万元。10月27日,长沙智能驾驶研究院实现基于5G的人车路云协同V2X应用。2019年,CIDI相继发布"V2X+交叉路口"、“V2X+智慧高速”解决方案,打造车路协同式道路交通,按照车路协同的技术路径积极推动自动驾驶的发展。
此次C-V2X工作组第八次全体会议于长沙举办,意味着长沙人工智能、智能驾驶产业正加速崛起。在未来发展中,湖南湘江新区将聚焦产业培育,以场景示范为牵引,以研发创新为驱动,以重大项目为支撑,以行业联盟为纽带,以政策法规为突破,以产业集聚为目标,加快智能网联汽车关键技术创新、突破、应用和产业化,构建开放包容、协同创新的智能网联汽车产业发展生态,推进长沙智能网联汽车产业发展。(源自湖南湘江新区管理委员会)

联发科技与Autotalks整合V2X与车载资通讯系统

博客betty19920416 发表了文章 • 0 个评论 • 166 次浏览 • 2019-02-26 13:40 • 来自相关话题

       据外媒报道,联发科技(MediaTek)与Autotalks开展合作,旨在整合V2X与车载资通讯系统。双方已完成了一项联合参考设计(joint reference design),用于整合车载资通讯控制单元与全球版V2X芯片组。该款参考设计基于A ...查看全部
       据外媒报道,联发科技(MediaTek)与Autotalks开展合作,旨在整合V2X与车载资通讯系统。双方已完成了一项联合参考设计(joint reference design),用于整合车载资通讯控制单元与全球版V2X芯片组。该款参考设计基于Autotalks的全球版V2X芯片组及联发科技的最新技术——车用级蜂窝式调制解调器片上系统(cellular modem SoC)打造,双方旨在推出一款安全、稳定及具有成本效益的TCU架构。

       该款联合设计可供车企及一级供应链参考,用作一款灵活的网络安全车载资通讯装置,整合了分离的全球版V2X芯片组,确保安全域(V2X domain)与车载资通讯系统域(Vehicle to Network - V2N domain)的域分离(domain separation)。
       在技术通用性方面(technological versatility),Autotalks与联发科技方案是一款定位全球市场的方案,可为用户提供单一的配置平台,同时支持DSRC和C-V2X/LTE-V2X。将车载资通讯系统从网络接入设备(NAD)中分离,可提升网络安全的灵活性。此外,还有一个好处:当网络接入设备遭到网络攻击时,该攻击行为并不会对V2X造成影响,设备的分离有助于简化认证过程。
        联发科技的车用级蜂窝式网络调制解调器片上系统可支持汽车行业所要求的设备工况(操作温度,operating temperature),并确保自动紧急呼叫(automatic emergency call,eCall)操作在极限环境条件下的运行可靠性。该片上系统可提供数据保护、车载资通讯系统应用及高度集成化设计,简化系统复杂性、降低设计成本并缩小形状参数

联想与长江汽车宣布战略合作 要加速车联网商业进程

博客betty19920416 发表了文章 • 0 个评论 • 168 次浏览 • 2019-02-26 13:38 • 来自相关话题

联想在巴塞罗那MWC大会上举行以“AI,GIVE ME 5”为主题的AI+IoT产品发布会,发布全新的AI+IoT产品与服务。 这些产品服务是由联想懂的通信基于自身沉淀的海量连接和数据,及整合集团智能生态能力打造而成的,由AI+CMP(连接管理)、 ...查看全部
联想在巴塞罗那MWC大会上举行以“AI,GIVE ME 5”为主题的AI+IoT产品发布会,发布全新的AI+IoT产品与服务。
这些产品服务是由联想懂的通信基于自身沉淀的海量连接和数据,及整合集团智能生态能力打造而成的,由AI+CMP(连接管理)、AI+UEM(设备管理)、AI+IIoT(工业物联网)和AI+IoV(车联网)四部分组成,致力于推动产业智能变革,赋能智能物联网时代。
在联想展区,联想懂的通信围绕AI+CMP、AI+UEM、AI+IIoT和AI+IoV四大产品与服务,分别展示了智联笔记本YOGA BOOK C930 LTE、ThinkUEM智能设备管理平台、智能车联终端T-box、车机大屏、无人驾驶边缘计算机解决方案、智能工厂生产线设备预测性维护解决方案等产品服务。
此次联想懂的通信发布的AI+IoT产品与服务是联想集团“三波战略”的延续,也是联想集团在智能物联网时代All in第三波战略的重要体现,是联想集团在智能物联网时代的重要一步。
与长江汽车宣布战略合作

在发布会上,联想集团还与长江汽车宣布达成战略合作,未来双方将围绕智能车联网技术开发、智能座舱、全球业务以及意向投资等开展深入合作,全力打造AI+IoV产品与服务。
近年来,联想懂的通信在车联网领域势头不错,自主研发国内首个专门面向新能源汽车的MNO智能车联平台,实现对汽车连接的全生命周期管理。
立足集团产业和资本优势,未来联想懂的通信将致力从连接管理的服务供应商成长为车联网生态、汽车智能座舱、汽车智能制造的服务供应商。
联想集团副总裁、联想物联科技兼联想懂的通信CEO王帅博士表示,“我们愿意携手产业合作伙伴共建智能车联生态,通过AI+IoV智能车联网解决方案这个强动力,加速车联网的商业进程。”
长江汽车控股集团董事、贵州长江汽车有限公司总经理叶子青认为,智能化和网联化已经成为新能源汽车最重要的发展方向。此次长江汽车与联想集团签署战略合作协议,就是要面向未来,进行更深层次的探索。
“依托联想集团的技术优势和全球业务能力,长江汽车将进一步加速智慧新能源汽车乃至智能交通领域的发展,并对全球化背景下的商业模式和业务推广进行卓有成效的探索。”
与长江汽车的合作,是继与海马汽车合作后,联想集团在车联网领域的又一重要合作。
雷帝网在现场向王帅和叶子青问了一个问题,即联想之前服务海马汽车,现在又服务长江汽车,联想如何平衡这些汽车厂商的关系?长江汽车又是否介意联想服务不同的汽车厂商?
对此,王帅博士表示,联想是中立的工具和平台,就是用心做好服务,最信任得过的就是联想,联想比很多运营商和BAT,在客户服务方面更值得信赖。“叶总也不介意我们和海马合作。”
叶子青说,阿里、腾讯也是服务很多主机厂,联想和它们服务的内容和目标也不一样,联想是长江汽车最重要的合作伙伴之一。
“我们除了联想之外,和其他大的企业也可以一起合作,他们都可以服务很多家。”
叶子青指出,联想可能和海马是一种模式,和长江是另一种模式,在联想平台上可以服务很多家汽车厂商,长江汽车不介意这个事情。
5G、AI双驱动 IoT智能进化

5G商业化已经箭在弦上,AI发展也进入“深水区”。在5G、AI等技术的推动下,物联网驶入快车道,从而促使整个社会在经历一场智能变革。
联想集团副总裁、联想物联科技兼联想懂的通信CEO王帅博士说,全新打造的AI+IoT产品与服务,以5G和AI两大技术引擎为核心,凝聚连接管理、设备管理、数据管理和应用使能‘四股力量’,精准发力智能交互、智能工业互联和智能车联三大领域,助力行业客户实现数字化、网联化、智能化。也就是说,在5G网络的催化下,AI驱动IoT迎来智能进化。

联想懂的通信AI+IoT产品与服务由AI+CMP、AI+UEM、AI+IIoT、AI+IoV四部分组成。
AI+CMP:打造以5G网络为核心的融合网络管理服务,智能选择上下行网络,为用户提供泛在智能连接;
推出5G模组C5100,其支持C-V2X功能,助推产业提供更多可商用的端到端服务;未来将推出全新的服务模块——智能客户引擎,为客户提供应用预集成和通信智能管理服务。
AI+UEM:推出ThinkUEM智能设备管理平台,提供跨平台、跨系统、跨行业的设备全生命周期管理服务;针对教育、金融、零售、物流等应用场景,灵活定制行业解决方案;未来将通过AI技术提高移动设备安全性和提供数据分析。
AI+IIoT:基于“端-边-管-云”能力,打造5G智能工厂解决方案,其中与联宝工厂联合推出生产线设备预测性维护服务,通过产线透明化、产线设备监控以及机器学习“三步走”,实现从被动式的设备维护到主动式的预测性维护转变,有效缓解工厂生产停机问题,提升生产效率和降低成本支出,从而获得更多经济效益。
AI+IoV:围绕智能驾驶、智能网联、智能出行三方面为新能源车企提供AI+IoV智能车联网解决方案;
未来将重点打造以ThinkIoT-TSP平台为基础的整体解决方案,涵盖车载端、手机端、监管端、运营端、数据中心、SP/CP等;
携手文远知行推出L4级无人驾驶车载边缘计算机,助力无人驾驶更安全。
王帅博士强调,“我们聚焦三大领域——智能交互、智能工业互联和智能车联,这三者是相辅相成的。
智能工业互联为智能交互设备及智能车的生产提供5G智能制造解决方案;智能交互通过边缘计算+云计算+超算+5G+增值服务+随意屏,为智能工业互联、智能车联提供行业定制的有屏设备解决方案;智能车联也为智能工厂提供供应链管理,如车队管理、智能物流服务等。
做智能变革的推动者和赋能者
随着人工智能和物联网技术的不断发展和成熟,两者交汇诞生了一个全新的行业方向——智能物联网,其依托于人工智能的智能特性和物联网技术的互联特性,将给人类生活和社会生产带来各种意想不到的变革。
面对智能物联网时代,联想集团董事长兼CEO杨元庆提出,要让智能化嵌入到每一个业务、价值链的每个环节中,致力于由硬件设备制造商转向智能物联网(SIoT)服务商,成为人工智能(AI)变革的推动者和赋能者。

 

联发科技与Autotalks整合V2X与车载资通讯系统

博客betty19920416 发表了文章 • 0 个评论 • 166 次浏览 • 2019-02-26 13:40 • 来自相关话题

       据外媒报道,联发科技(MediaTek)与Autotalks开展合作,旨在整合V2X与车载资通讯系统。双方已完成了一项联合参考设计(joint reference design),用于整合车载资通讯控制单元与全球版V2X芯片组。该款参考设计基于A ...查看全部
       据外媒报道,联发科技(MediaTek)与Autotalks开展合作,旨在整合V2X与车载资通讯系统。双方已完成了一项联合参考设计(joint reference design),用于整合车载资通讯控制单元与全球版V2X芯片组。该款参考设计基于Autotalks的全球版V2X芯片组及联发科技的最新技术——车用级蜂窝式调制解调器片上系统(cellular modem SoC)打造,双方旨在推出一款安全、稳定及具有成本效益的TCU架构。

       该款联合设计可供车企及一级供应链参考,用作一款灵活的网络安全车载资通讯装置,整合了分离的全球版V2X芯片组,确保安全域(V2X domain)与车载资通讯系统域(Vehicle to Network - V2N domain)的域分离(domain separation)。
       在技术通用性方面(technological versatility),Autotalks与联发科技方案是一款定位全球市场的方案,可为用户提供单一的配置平台,同时支持DSRC和C-V2X/LTE-V2X。将车载资通讯系统从网络接入设备(NAD)中分离,可提升网络安全的灵活性。此外,还有一个好处:当网络接入设备遭到网络攻击时,该攻击行为并不会对V2X造成影响,设备的分离有助于简化认证过程。
        联发科技的车用级蜂窝式网络调制解调器片上系统可支持汽车行业所要求的设备工况(操作温度,operating temperature),并确保自动紧急呼叫(automatic emergency call,eCall)操作在极限环境条件下的运行可靠性。该片上系统可提供数据保护、车载资通讯系统应用及高度集成化设计,简化系统复杂性、降低设计成本并缩小形状参数

联想与长江汽车宣布战略合作 要加速车联网商业进程

博客betty19920416 发表了文章 • 0 个评论 • 168 次浏览 • 2019-02-26 13:38 • 来自相关话题

联想在巴塞罗那MWC大会上举行以“AI,GIVE ME 5”为主题的AI+IoT产品发布会,发布全新的AI+IoT产品与服务。 这些产品服务是由联想懂的通信基于自身沉淀的海量连接和数据,及整合集团智能生态能力打造而成的,由AI+CMP(连接管理)、 ...查看全部
联想在巴塞罗那MWC大会上举行以“AI,GIVE ME 5”为主题的AI+IoT产品发布会,发布全新的AI+IoT产品与服务。
这些产品服务是由联想懂的通信基于自身沉淀的海量连接和数据,及整合集团智能生态能力打造而成的,由AI+CMP(连接管理)、AI+UEM(设备管理)、AI+IIoT(工业物联网)和AI+IoV(车联网)四部分组成,致力于推动产业智能变革,赋能智能物联网时代。
在联想展区,联想懂的通信围绕AI+CMP、AI+UEM、AI+IIoT和AI+IoV四大产品与服务,分别展示了智联笔记本YOGA BOOK C930 LTE、ThinkUEM智能设备管理平台、智能车联终端T-box、车机大屏、无人驾驶边缘计算机解决方案、智能工厂生产线设备预测性维护解决方案等产品服务。
此次联想懂的通信发布的AI+IoT产品与服务是联想集团“三波战略”的延续,也是联想集团在智能物联网时代All in第三波战略的重要体现,是联想集团在智能物联网时代的重要一步。
与长江汽车宣布战略合作

在发布会上,联想集团还与长江汽车宣布达成战略合作,未来双方将围绕智能车联网技术开发、智能座舱、全球业务以及意向投资等开展深入合作,全力打造AI+IoV产品与服务。
近年来,联想懂的通信在车联网领域势头不错,自主研发国内首个专门面向新能源汽车的MNO智能车联平台,实现对汽车连接的全生命周期管理。
立足集团产业和资本优势,未来联想懂的通信将致力从连接管理的服务供应商成长为车联网生态、汽车智能座舱、汽车智能制造的服务供应商。
联想集团副总裁、联想物联科技兼联想懂的通信CEO王帅博士表示,“我们愿意携手产业合作伙伴共建智能车联生态,通过AI+IoV智能车联网解决方案这个强动力,加速车联网的商业进程。”
长江汽车控股集团董事、贵州长江汽车有限公司总经理叶子青认为,智能化和网联化已经成为新能源汽车最重要的发展方向。此次长江汽车与联想集团签署战略合作协议,就是要面向未来,进行更深层次的探索。
“依托联想集团的技术优势和全球业务能力,长江汽车将进一步加速智慧新能源汽车乃至智能交通领域的发展,并对全球化背景下的商业模式和业务推广进行卓有成效的探索。”
与长江汽车的合作,是继与海马汽车合作后,联想集团在车联网领域的又一重要合作。
雷帝网在现场向王帅和叶子青问了一个问题,即联想之前服务海马汽车,现在又服务长江汽车,联想如何平衡这些汽车厂商的关系?长江汽车又是否介意联想服务不同的汽车厂商?
对此,王帅博士表示,联想是中立的工具和平台,就是用心做好服务,最信任得过的就是联想,联想比很多运营商和BAT,在客户服务方面更值得信赖。“叶总也不介意我们和海马合作。”
叶子青说,阿里、腾讯也是服务很多主机厂,联想和它们服务的内容和目标也不一样,联想是长江汽车最重要的合作伙伴之一。
“我们除了联想之外,和其他大的企业也可以一起合作,他们都可以服务很多家。”
叶子青指出,联想可能和海马是一种模式,和长江是另一种模式,在联想平台上可以服务很多家汽车厂商,长江汽车不介意这个事情。
5G、AI双驱动 IoT智能进化

5G商业化已经箭在弦上,AI发展也进入“深水区”。在5G、AI等技术的推动下,物联网驶入快车道,从而促使整个社会在经历一场智能变革。
联想集团副总裁、联想物联科技兼联想懂的通信CEO王帅博士说,全新打造的AI+IoT产品与服务,以5G和AI两大技术引擎为核心,凝聚连接管理、设备管理、数据管理和应用使能‘四股力量’,精准发力智能交互、智能工业互联和智能车联三大领域,助力行业客户实现数字化、网联化、智能化。也就是说,在5G网络的催化下,AI驱动IoT迎来智能进化。

联想懂的通信AI+IoT产品与服务由AI+CMP、AI+UEM、AI+IIoT、AI+IoV四部分组成。
AI+CMP:打造以5G网络为核心的融合网络管理服务,智能选择上下行网络,为用户提供泛在智能连接;
推出5G模组C5100,其支持C-V2X功能,助推产业提供更多可商用的端到端服务;未来将推出全新的服务模块——智能客户引擎,为客户提供应用预集成和通信智能管理服务。
AI+UEM:推出ThinkUEM智能设备管理平台,提供跨平台、跨系统、跨行业的设备全生命周期管理服务;针对教育、金融、零售、物流等应用场景,灵活定制行业解决方案;未来将通过AI技术提高移动设备安全性和提供数据分析。
AI+IIoT:基于“端-边-管-云”能力,打造5G智能工厂解决方案,其中与联宝工厂联合推出生产线设备预测性维护服务,通过产线透明化、产线设备监控以及机器学习“三步走”,实现从被动式的设备维护到主动式的预测性维护转变,有效缓解工厂生产停机问题,提升生产效率和降低成本支出,从而获得更多经济效益。
AI+IoV:围绕智能驾驶、智能网联、智能出行三方面为新能源车企提供AI+IoV智能车联网解决方案;
未来将重点打造以ThinkIoT-TSP平台为基础的整体解决方案,涵盖车载端、手机端、监管端、运营端、数据中心、SP/CP等;
携手文远知行推出L4级无人驾驶车载边缘计算机,助力无人驾驶更安全。
王帅博士强调,“我们聚焦三大领域——智能交互、智能工业互联和智能车联,这三者是相辅相成的。
智能工业互联为智能交互设备及智能车的生产提供5G智能制造解决方案;智能交互通过边缘计算+云计算+超算+5G+增值服务+随意屏,为智能工业互联、智能车联提供行业定制的有屏设备解决方案;智能车联也为智能工厂提供供应链管理,如车队管理、智能物流服务等。
做智能变革的推动者和赋能者
随着人工智能和物联网技术的不断发展和成熟,两者交汇诞生了一个全新的行业方向——智能物联网,其依托于人工智能的智能特性和物联网技术的互联特性,将给人类生活和社会生产带来各种意想不到的变革。
面对智能物联网时代,联想集团董事长兼CEO杨元庆提出,要让智能化嵌入到每一个业务、价值链的每个环节中,致力于由硬件设备制造商转向智能物联网(SIoT)服务商,成为人工智能(AI)变革的推动者和赋能者。

 

汽车变得越来越智能,汽车技术也越来越好。受到重视的一个方面是智能汽车与乘员及其周围环境进行通信的能力。