自动驾驶

自动驾驶

商用车自动驾驶落地“进行时”,入围候选企业名单公示「GGAI评选」

博客飞奔的蜗牛 发表了文章 • 0 个评论 • 102 次浏览 • 2019-08-14 11:03 • 来自相关话题

由于驾驶技术对货运行业 ...查看全部

1.jpg

由于驾驶技术对货运行业成本、事故率的降低效应,众多行业人士非常看好货运行业商业化自动驾驶驾驶技术,它将拥有一个可预见的盈利模式。

这样的技术并不见得在全国任何道路都可以实现,目前自动驾驶还有很多的技术存在挑战,但诸如高速公路场景,主要是从封闭的高速公路中,起始到结束端的路况相对简单、标准化,容易实现且能带来实际的经济效益(目前绝大部分的货运都是在长途高速上完成)。

L4的自动驾驶技术实现,需要克服非常多的技术难题,从感知、决策、控制、执行都有非常多的挑战,技术之外还有成本的约束。

从技术实现到真正具备量产、商业化的能力,是真正考验自动驾驶公司竞争力的地方。目前大部分自动驾驶公司都完成了90%左右的技术实现工作,但剩下的10%将会是最难的。

此外,围绕矿区、港口等限定场景的无人驾驶技术落地也正在成为现实,除了自动驾驶初创公司、商用车主机厂的力推,来自终端运营方和客户的需求也正在促使这样的量产接近落地。

同时,各地也在积极推动相关应用示范落地,比如上海去年宣布相关方面正推动自动驾驶技术在本市港口等特定场景实现应用,推动卡车、环卫车等车辆率先探索应用自动驾驶技术

而在相关的零部件方面,按照此前公布的时间计划表,采埃孚将在接下来三年内推出一些即将投产的自动驾驶核心零部件。比如,到2022年,商用车将可使用全电动转向系统。超级计算机ProAI 2.0将于2021年首次用于商用汽车。

在自动驾驶技术方面,采埃孚也认为,卡车比乘用车更适合,因为自动驾驶技术在限定范围和可预测的领域(如港口、物流仓库)最有效。

而在OEM及终端客户最关心的成本方面,当总拥有成本下降时,卡车运输公司将为车队配备相应的辅助驾驶及自动驾驶技术。

目前,一级供应商提供的软硬件方案在前期会更贵,但很快就能通过节省燃料、提高安全性和优化路线收回成本。

2019年9月20-21日,第二届高工智能网联商用车大会将在武汉举办,同期将举办年度智能网联商用车供应链金球奖评选颁奖典礼。

《高工智能汽车》将陆续公布本次评选的入围候选奖项及企业名单公示,也欢迎更多企业自荐报名参选。

第二轮公示入围候选名单(查看第一轮公示名单):

3、商用车自动驾驶方案商(物流类)

图森未来、智加科技、主线科技、畅行智能、飞步科技、希迪智驾、嬴彻科技、牧月科技

4、商用车自动驾驶方案商(专用类)

西井科技、踏歌智行、仙途智能、智行者、高仙机器人、中联重科

5、无人小车线控底盘供应商

小狮科技、格陆博、易咖智车、中云智车

6、商用车OEM智能驾驶研发团队

郑州宇通、东风商用车、一汽解放、金龙客车、陕汽集团、中国重汽、江淮股份、江铃控股、吉利商用车、福田汽车

7、商用车智能驾驶核心零部件供应商(外资)

威伯科、大陆集团、采埃孚、克诺尔

8、智能物流终端应用厂商(电商、城配)

京东物流、苏宁物流、德邦快递、满帮集团、菜鸟网络、驹马物流、G7汇通天下、美团

上述奖项评选线上投票将于8月12日正式开始,其他奖项入围候选名单将陆续发布。欢迎优秀企业自荐报名,请联系:15818636852。


自动驾驶多传感器感知的探索

博客飞奔的蜗牛 发表了文章 • 0 个评论 • 99 次浏览 • 2019-08-14 11:03 • 来自相关话题

Pony.ai 在多传 ...查看全部

1.jpg

Pony.ai 在多传感器感知上积累了很多的经验,尤其是今年年初在卡车上开始了新的尝试。我们有不同的传感器配置,以及不同的场景,对多传感器融合的一些新的挑战,有了更深刻的认识,今天把这些经验,总结一下,分享给大家,与大家一起讨论。

2.JPG

本次分享分为三部分:

•为什么需要多传感器融合?

•传感器融合的一些先决条件

•如何做传感器融合?

为什么需要多传感器融合?

首先,单一传感器在自动驾驶中,都有各自的挑战,所以先了解下常用的传感器的挑战是什么:

1. Camera data

3.JPG

照相机数据遇到的挑战:

① 没有深度信息。

② 视场角有限,以卡车的传感器配置来说,需要比较多的摄像头,这里用到了6个摄像头覆盖了270°的视场角。

③ 摄像头受外界条件的影响也比较大,(上图右下方)这是当车行驶到桥下时,由于背光,且光线变化比较大,导致无法识别正前方的交通灯。

2. Lidar data

4.JPG

激光雷达数据的一个比较大的挑战是感知范围比较近,如右图所示,感知范围平均在 150m 左右,这取决于环境和障碍物的不同。

5.jpg

激光雷达在角分辨度上远远不如照相机,如上图,有三条小狗在过马路,在照相机上可以清楚的看到,但是在激光雷达上,采集到的点是比较少的,这样的场景在每天复杂道路路测的时候会经常遇到。

6.jpg

激光雷达对环境的敏感度也是比较大的,上图为 Pony 路测的时候经常遇到的虚拟噪点的 Case,在车经过建筑工地的时候,在图像上可以看到并没有任何的障碍物,但是在雷达上前面有很多的噪点,右边是雨天中的测试,车辆行驶中溅起来的水花,在激光雷达上都是有噪点的,如何去除这样的噪点,是我们经常面临的挑战。

3. Radar data

8.JPG

毫米波雷达,本身的一个挑战是没有高度信息,毫米波雷达能告诉你这个物体在哪个位置,但是不知道多高,这个 case 就是前面有一个比较高的指路牌,毫米波雷达知道这儿有个障碍物,但是不知道是悬空的。

4. Why sensor fusion

9.JPG

当看过了这些单一传感器在自动驾驶中面临的挑战,自然会想到,做多传感器融合,进行传感器之间的取长补短,来帮助整个感知系统效果的提升。这里的例子是,如何利用多传感器来提升感知的探测距离,当障碍物距离 150m 左右时,激光雷达的反射点已经比较少了,但是这时毫米波雷达和照相机还是比较稳定的。

10.jpg

当障碍物驶出 200m 的范围,基本上没有任何的激光雷达反射点了,但是 200m 取决于自动驾驶车辆本身的车速是多少,200m 的感知距离还是必要的,这时只能通过毫米波雷达和摄像头,来提升对障碍物的感知距离,从图中可以看到障碍物还是可以稳定识别出来的。

传感器融合的先决条件

1. 运动补偿 & 时间同步

① Ego motion

为什么做运动补偿?在自动驾驶传感器感知过程中,传感器采集数据,一般都不是瞬时发生的,以激光雷达为例,采集一圈数据需要 0.1s,在这 0.1s 内,本身车会发生一定的位移,障碍物也会发生一定的位移,如果我们不考虑这样的位移的话,我们检测出来的位置就会不准确。

位移有俩种,第一种就是车自身的位移 Ego motion。右边画了一个示意图,虚线部分可以认为是世界坐标系,红色的点代表一个静态的障碍物,它在坐标系中有一个稳定的坐标(5,5),蓝色部分代表车自己的坐标系是局部坐标系,(4,0)为这个坐标系的原点,在 t+1 时刻,这个坐标系移动到了(6,0)的位置,车沿着 X 方向向前移动了2,在 t 时刻在车自身的坐标系下,障碍物的坐标是(1,5),在 t+1 是时刻,则是(-1,5)。如果不做车自身运动的补偿,静止的物体在2帧之间,测量的局部坐标是不一样的,就会产生错误的速度,因此,要去补偿车本身的位移,做自身的 Motion compensation 运动补偿。这个问题比较简单,因为车是有比较准确的定位信息的,它会提供这俩个时刻,车本身的姿态差距,我们可以利用姿态差,比较容易的补偿车移动了多少,那我们就可以知道这个障碍物其实是没有移动的。

② Motion from others

第二种要考虑的是运动物体在传感器采集的时间段内,运动物体发生的位移,相对于自身运动补偿,这是一个更难的 case,首先快速移动的物体,在激光点云里很可能会被扫到俩次,大家可以看下红圈内,尾部会有拖影。所以我们如何想办法消除对方车的 Motion,也是要考虑的。解决的方式有很多,现在激光雷达本身从硬件上也会有些配置,来缓解这样的现象,简单解释下,当你用多个激光雷达在自动驾驶车辆时,可以让激光雷达按照同样的方式一起转,在某一个特定的时段,特定的方向,应该扫到同样的东西,这样来减少快速移动的物体产生拖影这样的问题。

③ 时间同步

在很多自动驾驶车辆传感器中,大部分支持 GPS 时间戳的时间同步方法。这个方法比较简单,如果传感器硬件支持这些时间同步的方法,拿到传感器数据的时候,数据包中就会有全局的时间戳,这样的时间戳以 GPS 为基准,非常方便。但是,时间戳查询数据会有一个比较明显的问题,举个例子,图中有三个数据,三个传感器和时间轴,不同传感器是以不同频率来采集数据的,以传感器2为例,在 T1 时刻,传感器2有一个数据,在这个时刻,想知道对应的传感器1和传感器3的数据是多少,肯定需要去查找,查找的方式是找对应的传感器数据和传感器2时间差最近的数据包,然后拿过来用,这就取决于查的时候,数据包的时间和 T1 时刻传感器2数据包的时间到底差多少,如果差距比较大,本身障碍物都是在移动的,这样误差会比较大。

然后就有了第二种时间同步的方法,来缓解刚刚说的这种现象。就是主动数据同步的方法,比如以激光雷达作为触发其它传感器的源头,当激光雷达转到某个角度时,触发那个角度的摄像头,这样就可以大大减少时间差的问题,如果把这套时间方案做到硬件中,做到比较低的误差,那么对齐的效果比较好。如上图所示,这时激光雷达的数据就很好的和摄像头的数据结合在了一起。

刚才说到如果一个自动驾驶车辆用了多个激光雷达,激光雷达之间如何同步,减少扫到同样车在不同时间这样的问题,velodyne 是我们常用的一个品牌,支持一种 Phase Lock 功能,能够保证在某一时刻,所有的激光雷达的角度,都可以根据 Phase Lock 的配置,在固定的角度附近。这样如果用俩个前向的激光雷达都设置一个角度,在同一时刻,扫到的东西应该是类似的,这样一个快速行驶的车,被扫到2次的概率就会减少,当然这个办法也不能完全解决问题,比如有个人和我们的激光雷达以同样的频率一起转,那么在激光雷达扫描的点云中,人一直会出现,所以还要通过软件的方法,设置的一些规则或者模型来想办法剔除。

2. 传感器标定

接下来是另外一个比较大的话题:Sensor Calibration 传感器标定。这里主要是指传感器外参的标定。

传感器外参其实就是刚体旋转,因为物体上的俩个点,在经过旋转和平移之后,两个点之间的 3D 位置是不会变的,所以叫刚体旋转,在自动驾驶和机器人上,刚体旋转还是比较常见的。传感器外参的标定就是要找到这样的一个刚体旋转,可以把一个传感器的数据和另一个对齐。相当于把一个传感器测量的数据从其本身的坐标系,通过刚体旋转,转到另一个传感器坐标系,这样就可以进行数据融合了。上图中,左边为图像,中间为雷达,如果有一个比较好的外参工具,可以把 3D 的点投射到 2D 图像上,所有的障碍物的点都可以对应上,相当于把 2D 上的像素都加上了深度的估计。这样在图像质量并不是很高的情况下,可以通过这样的方式把信息补回来。

传感器的标定一般有俩种思路,第一种是有激光雷达的传感器标定,第二种是无激光雷达的传感器标定,之所以这么分,是因为激光雷达采集的数据是完整的 3D 信息,空间中的 ( x,y,z ) 都是准确的,并不会有信息的丢失,而照相机得到的数据,可以认为是极坐标系下的坐标,没有深度和角度,而毫米波雷达是没有高度的。所以,如果有这样的传感器能够提供完全的 ( x,y,z ) 坐标,以此为参照物,其他传感器和激光雷达做绑定的话,会更容易和更准确。Pony 是有激光雷达的,所以今天主要讲有激光雷达的传感器标定方法。

① Multi-Lidar Calibration

首先讲下多激光雷达是如何标定的,上图可以看到正好用到的是两个前向激光雷达,这两个激光雷达在前向180°是有比较大的覆盖区域,如果对激光雷达之间的旋转和平移没有比较好的估计,当把俩张激光雷达的点云放在一起进行感知处理的时候,在红框位置会发现存在比较大的分隔(黄线和蓝线分别代表俩个前向激光雷达),这种情况肯定是不想遇到的,所以需要把多个激光雷达做比较准确的标定。

标定的方法是已知的,非常好解决的问题,因为激光雷达本身是有完全的3D信息,解决这样俩个数据集匹配的问题,就是 ICP(Iterative Closest Point)迭代式最近点方法。这个方法有很多的变种,感兴趣的同学可以百度或者 Google 搜索下。

② Camera Lidar Calibration

另外一个就是照相机和激光雷达之间的标定。照相机本身是没有距离信息的,那么如何去做标定?同样激光雷达是有 3D 信息的,可以通过标定的方式,把激光雷达投到图像的坐标系中,建立图像的像素点,和激光雷达投影后的点之间的匹配,然后通过某种优化方程,来解决这样一个匹配问题。举一个简单的例子,比如现在要选取一系列激光雷达检测出来的候选点,如何选这些点呢?这些点一定是在图像上比较容易能够识别出来的边界点。选取方法也比较简单,因为激光雷达有距离信息,只需要找相邻俩个激光点之间的距离差,就可以判断这样一个点是不是边界点,我们可以轻易的选出这样的候选点,通过这样的投影方式,红框是我们要求的标定参数,K 矩阵为相机本身的内参,通过这个数学关系,我们可以把刚才 3D 中检测的候选点,投到 2D 上,上图中的 X 就是投射后的位置。我们可以根据 3D 投影点和 2D 检测的边界,进行匹配,然后根据他们之间的距离匹配程度,建立这样一个优化方程,然后解这样一个优化问题,来估计出 Calibration 的参数。

大家如果感兴趣可以参考这篇 paper:Automatic Online Calibration of Cameras and Lasers,详细的讲述了其中的数值原理,可以看到绿色的是 3D 点投射到图像上,是一些边界点候选的区域,如果有一个比较好的标定结果,这些边界点会比较好的和图像匹配起来。

3. 传感器视场角

接下来看下传感器不同视场角带来的融合问题。

这里有一个简单的示意图,假设在这个位置上有两个激光雷达,它们有各自不同的视场角,但是前方有个障碍物 A 刚好在传感器2的视场角内把障碍物 B 完全遮挡了,障碍物 B 只出现在一个传感器检测的视场角内部,这带来的问题是:我们到底该不该相信这里存在一个障碍物?这是比较常见的问题,需要我们经过不断的路测,来完善。

如何做传感器融合?

1. Camera Lidar Fusion

首先讲下照相机和激光雷达融合,方法1之前大概讲过,就是说激光雷达有 ( x,y,z ) 比较明确的 3D 观测,通过标定参数,通过照相机本身的内参,就可以把 3D 点投到图像上,图像上的某些像素就会打上深度信息,然后可以做基于图像的分割或者 Deep Learning Model。需要注意的是,多传感器的时候,视场角可能会不一样,可能会造成噪点或者漏点,这里比较推荐的方法是把照相机和雷达安装在一起,越近越好。

另一个比较直观的方法,是否能将 2D 检测出来的障碍物直接投影到 3D,然后生成这样的 3D 障碍物,这种方法,在做很多的假设条件下(比如障碍物的大小,地面是否平整),也是可以做的,如上图,相机的内参,车的位置高度,都是已知的,这时在 2D 上识别出的每个帧的障碍物,都可以还原成 3D 在照相机坐标系下的一条射线,然后找这条射线在 3D 坐标系下和平面的交点,就可以估计出 2D 障碍物在 3D 上的距离。

上图为 Pony 在建筑工地旁采集的数据,可看到这些路障都是直接生成到 3D 的(图中有个漏点,也是我们还需要努力提高的)。

2. Radar Lidar Fusion

至于毫米波雷达和激光雷达的融合方式就更简单了。因为在笛卡尔坐标系下,它们都有完整的 ( x,y ) 方向的信息,那么在普适的笛卡尔坐标系下,做针对于距离的融合,而且毫米波雷达还会测速,对障碍物速度也是有一定观测的,然后激光雷达通过位置的追踪,也会得到障碍物速度的估计,这些速度的信息也可以用来做融合,帮助筛选错误的匹配候选集。

这是 Pony 激光雷达和毫米波雷达融合的效果,红圈里的障碍物是 radar 补充的。

当然,不同传感器之间融合的特例还是很多的,比如激光雷达和毫米波雷达融合的时候,可以看到,这个场景是前方有比较高的路牌时,毫米波雷达会在这个位置产生障碍物,恰好激光雷达也有噪音,因为恰好前方有车,这时在牌子底下也会产生噪点,所以激光雷达和毫米波雷达都在这个地方检测出来本不应该出现的障碍物,这时两个传感器都告诉你前方有个障碍物,只有摄像头说前方只有一个障碍物,这时该怎么办?(如果想了解 Pony 具体如何解决的,欢迎大家加入 Pony,我会告诉你答案o(∩_∩)o)

总结

总结来说,每个传感器都有自己的一些问题,传感器融合就是说我们要把这些传感器结合起来做取长补短,提升整个感知系统的精度和召回度,今天就分享到这里,谢谢大家。

嘉宾介绍

刘博聪,Pony.ai Tech lead,公司创始成员。CMU 电子与计算机工程硕士,作为 Pony.ai 创始成员之一,参与了多个无人车模块的设计开发工作,目前主要负责感知系统技术研发。曾就职于百度美国研究院,负责自动驾驶研发;曾就职于 Qualcomm 圣迭戈总部,参与 QNX 车载芯片的嵌入式开发项目。


自动驾驶技术之基于深度学习的多传感器标定

博客飞奔的蜗牛 发表了文章 • 0 个评论 • 107 次浏览 • 2019-08-12 09:20 • 来自相关话题

标定是确定不同坐标系的相互转换关系,是传感器数据融合的前提,特别是激光雷达和图像数据。这里以深度学习的方法训练CNN模型去回归坐标系转换的参数。主要是两个CNN模型:RegNet和CalibNet。RegNet应该是第一个深度 ...查看全部

标定是确定不同坐标系的相互转换关系,是传感器数据融合的前提,特别是激光雷达和图像数据。这里以深度学习的方法训练CNN模型去回归坐标系转换的参数。

主要是两个CNN模型:RegNet和CalibNet。

RegNet应该是第一个深度卷积神经网络(CNN)推断多传感器的6自由度(DOF)外参数标定,即激光雷达(LiDAR)和单目摄像头。RegNet将标定的三个步骤(特征提取、特征匹配和全局回归)映射到单个实时CNN模型中。在训练期间,随机对系统进行重新调整,以便训练RegNet推断出激光雷达投影到摄像头的深度测量与RGB图像之间的对应关系,并最终回归标定外参数。此外,通过迭代执行多个CNN,在不同程度失标定(decalibration)数据上进行训练。如图是一个例子。

1.jpg

 

失标定


2.JPG

 

标定基础事实(GT)


3.JPG

 

RegNet标定结果

首先,传感器坐标系中给出的点x变换为世界坐标系中的点y,定义为一个仿射变换矩阵H,即y = Hx。估计变换矩阵H的任务称为外标定。应用深度学习,需要重新定义外标定的问题,在给定初始标定Hinit和基础事实标定Hgt的情况下,确定失标定矩阵φdecalib,其定义如下


4.JPG

 

然后可以随机改变Hinit以获得大量的训练数据。为了能够建立标定过程可观测的对应关系,用Hinit和摄像头内参数矩阵P将激光雷达点投影在摄像头图像平面上,即


5.jpg

 

在每个像素(u,v),如果没有投射的激光雷达点,则存储投影点的逆深度值(摄像头坐标)zc或者为零。 由于相比图像像素的数量大多数常见的激光雷达传感器仅提供少量测量数据,因此深度图像非常稀疏。为了对付这种稀疏性,在输入深度图使用最大值池化(Max Pooling)对投影的激光雷达深度点上采样。

下面图展示的是Regnet的结构框图,其实现深度和RGB图像之间的标定。 使用初始标定Hinit将深度点投影在RGB图像上。在CNN网络的第一和第二部分,使用NiN(Network in Network)块来提取丰富的特征以进行匹配,其中索引显示NiN块的第一卷积层的核大小k。 特征通道的数量显示在每个模块的右上角。 CNN网络最后一部分通过使用两个全连接层收集全局信息来对失标定进行回归。(注:NiN块由一个k×k卷积,然后是几个1×1卷积组成。)在训练期间,失标定矩阵会被随机排列,形成深度点的不同投影数据。

6.jpg

 

如下图所示,深度点的投影随给定的初始标定值而强烈地变化。当初始校准从标定的基础事实(GT)旋转偏离20°平移偏离1.5米的时候,可能导致激光雷达点云的投影的大多数点在图像区域之外,难以与RGB图像建立对应关系。


7.JPG

即使在这些情况下,训练的CNN网络仍然能够改进标定。使用新的估计标定参数可以再次投影深度点,从而产生更多供相关计算的深度点。 然后,该步骤多次迭代即可。

初始化

结果

CalibNet是一个自监督的深度网络,能够实时自动估计激光雷达和2D摄像头之间的6-自由度刚体转换关系。在训练时,不进行直接监督(例如不直接回归标定参数);相反,可以训练网络去预测标定参数,以最大化输入图像和点云的几何和光度一致性。

下图是CalibNet的流程图:(a)来自标定摄像头的RGB图像;(b)原始激光雷达点云作为输入,并输出最佳对齐两个输入的6-自由度刚体变换T;(c)显示错误标定设置的彩色点云输出;(d)显示使用CalibNet网络标定后的输出。

9.JPG

 

该网络将RGB图像、相应的误标定(mis-calibration)的激光雷达点云和相机标定矩阵K作为输入。作为预处理步骤,首先将点云转换为稀疏深度图,将激光雷达点云投影到图像平面即可。由于初始误标定的不准确,将误标定点投影到图像平面会导致稀疏深度图与图像(严重)不一致,如上图(c)所示。 将RGB输入图像和稀疏深度图标准化为±1的范围,然后用5 x 5最大池化窗将稀疏深度图最大池化为半致密深度图。

虽然网络的输出可直接预测平移,但需要将so(3) 中的输出旋转矢量转换为其对应的旋转矩阵。一个元素ω ∈ so(3) 可以通过使用指数图(exponential map)转换为SO(3)。

一旦将网络预测的标定参数转换为T∈SE(3)中的刚体变换,就会使用3-D空间变换器层(Spatial Transformer Layer),通过预测变换T对输入深度图进行变换。这里扩展了原始的3D空间变换器层以处理稀疏或半致密的输入深度图,如上图(d)。

下图是CalibNet的网络结构图。网络主要由”RGB”和”深度”2个不对称分支组成,每个分支执行一系列,因此”深度”流的滤波器在每个阶段都会减少。然后两个分支的输出沿着信道这个维度连接并通过一系列附加全卷积和批规则化(Batch Norm)层,用于全局特征聚合。将旋转和平移的输出流分离,以捕获旋转和平移之间可能存在的模态差异。网络的输出是1×6矢量ξ=(v, ω)∈ se(3), 其中v是平移速度矢量,ω是旋转速度矢量。

自动驾驶技术之基于深度学习的多传感器标定

 

下面是损失函数的定义:

1. 光度损失:在通过预测的T变换深度图之后,检查预测的深度图和正确的深度图之间的密集像素误差,误差定义为,

自动驾驶技术之基于深度学习的多传感器标定

 

2. 点云距离损失:3D空间变换器层允许在反投影(back projection)后的点云转换。 在这个阶段,尝试度量尺度最小化未校准的变换点和目标点云之间的3D-3D点距离。距离测量有

a) Chamfer 距离

自动驾驶技术之基于深度学习的多传感器标定

 

b) 推土机距离(Earth Mover’s Distance):

自动驾驶技术之基于深度学习的多传感器标定

 

c) 质心ICP距离

自动驾驶技术之基于深度学习的多传感器标定

 

最后,整个损失函数定义为:

自动驾驶技术之基于深度学习的多传感器标定

 

下图是CalibNet标定的一些结果。第一行显示输入的RGB图像,第二行显示投影到图像上的相应的误标定的激光雷达点云。 第三行显示使用网络预测变换投影的激光雷达点云,最后一行显示相应的基础事实结果。 第二行中的红色框表示未对齐,而在第三行中,红色框表示标定后的正确对齐。

自动驾驶技术之基于深度学习的多传感器标定

本文作者:黄浴(自动驾驶科学家/工程师)


自动驾驶技术之强化学习(RL)简介

博客gaohong 发表了文章 • 0 个评论 • 129 次浏览 • 2019-08-09 09:45 • 来自相关话题

强化学习(Reinforcement Learning),实际上是讨论一个自主的代理(agent)在环境中如何感知和最优地行动(act),最终实现给定的目标(goal)【1】。下图给出一个代理和环境交互的示意图。其中状态S,行动A,奖励(reward)R ...查看全部

强化学习(Reinforcement Learning),实际上是讨论一个自主的代理(agent)在环境中如何感知和最优地行动(act),最终实现给定的目标(goal)【1】。下图给出一个代理和环境交互的示意图。其中状态S,行动A,奖励(reward)R,代理的目标是学习从状态S到行动A的控制策略,最大化累积的奖励(cumulative reward),其中每次奖励还会随着时间衰减,衰减因子取【0,1)之间的数。

• 问题建立

RL代理随时间推移与环境交互。在每个时间步t,代理接收状态空间S的状态st,并且跟从策略π(at | st)从行动空间A中选择行动at,该策略是代理的行为,即从状态st到行动at的映射。 代理接收标量奖励rt,并根据环境动态或模型转换到下一个状态st+1,其中奖励函数以及状态转移概率分别是R(s,a)和P(st+1 | st,at)。在一个情节(episodic)问题,这个过程一直持续到代理达到终端状态然后重新启动。回报是衰减的累积奖励(accumulated reward),衰减因子γ∈【0,1),则

代理的目标是最大化每个状态这种长期回报的期望。问题在离散状态和行动空间中建立起来。 但扩展到连续空间并不困难。在部分可观察的环境中,代理不能完全观察系统状态,但还是有观察的结果。

当RL问题满足Markov属性时,即,未来仅取决于当前状态和行动,而不取决于过去,它被表述为由5元组定义的马尔可夫决策过程(MDP)(S,A,P,R,γ)。当系统模型可用时,动态规划(DP)方法被采用,那么策略评估(policy evaluation)计算策略的价值/行动(action)价值函数,而价值迭代和策略迭代找到最优策略。没有模型可用时,采用RL方法。有模型可用时,RL方法也可以工作。另外,RL环境可以是多臂强盗(multi-armed bandit),MDP,POMDP,游戏等。

注:多臂强盗问题是指一个固定的有限资源集在竞争(备选)选项之间分配,要求最大化它们的预期收益,其中每个选择的属性在分配时仅部分已知,并且随时间的推移或通分配资源后能更好地被理解。

• 价值函数

价值函数是对预期的、累积的、打折的和未来的奖励预测,衡量每个状态或状态-行动对的好坏程度。状态价值,

是来自状态s的后续策略π的预期回报。 行动价值

1.jpg

是在状态s中选择行动a然后遵循策略π的预期回报。价值函数vπ(s)分解为Bellman方程:

一个最优状态价值

是状态s的任何策略可实现的最大状态价值,它分解为Bellman方程:

行动价值函数qπ(s,a)分解为Bellman方程

2.JPG

一个最优行动价值函数

是对状态 s 和行动a的任何策略可实现的最大行动价值,它分解为Bellman方程:

这里最优策略记作π∗。

• 探索与开发

RL代理需要在探索不确定策略和开发当前最佳策略之间进行权衡,这是RL的一个基本困境。 这里我们介绍一种简单的方法,ε-贪婪(greedy),其中 ε ∈(0,1),通常是接近0的小数。在ε-贪婪中,代理选择贪婪行动a =argmaxa∈AQ(s,a) 对于当前状态s,概率为1-ε,并且选择概率为ε的随机行动。 也就是说,代理以概率1 - ε开发当前价值函数估计,并以概率ε进行探索。

• 动态规划

动态编程(DP)是解决最优子结构和重叠子问题的一般方法。MDP满足这些属性,其中Bellman方程给出递归的分解,并且价值函数存储和重用子解决方案。DP充分了解MDP的传递和奖励模型。预测问题是评估给定策略的价值函数,并且控制问题是找到最优价值函数和/或最优策略。

迭代策略评估是评估给定策略π的方法。它迭代地应用Bellman期望备份,

因此,每次迭代k + 1,对所有状态s∈S,从其后继状态vk(s')的价值函数更新vk + 1(s)。价值函数将收敛于vπ,即策略π的价值函数。

策略迭代(PI)在策略评估和策略改进之间交替,以生成一系列改进策略。在策略评估中,估计当前策略的价值函数以获得vπ。在策略改进,当前价值函数用于生成更好的策略,例如,相对于价值函数vπ选择贪婪的行动。包括迭代策略评估和贪婪策略改进的策略迭代过程将收敛到最优策略和价值函数。

可以修改策略迭代步骤,在收敛之前停止它。广义策略迭代(GPI)由任何策略评估方法和任何策略改进方法组成。

价值迭代(VI)可找到最优策略。它迭代地应用Bellman最优性备份,

每次迭代k + 1,对所有状态s∈S,它从vk(s')更新vk + 1(s)。这样的同步备份将收敛到最优策略的价值函数。 可能有异步DP,并且是近似DP。

• 蒙特卡洛

蒙特卡罗方法从完整的经验情节(episodes)中学习而不是假设传递或奖励模型的知识,使用样本方法进行估计。蒙特卡罗方法仅适用于情节任务。

使用蒙特卡罗方法进行策略评估时,使用经验平均收益而不是预期收益进行评估。根据大数定律(law of large numbers),估计的价值函数收敛于策略的价值函数。

有策略的蒙特卡罗控制遵照广义的策略迭代方案。而政策评估,使用蒙特卡罗策略评估来确定行动价值。为了改善策略,使用ε-贪婪的策略改进。

在非策略学习中,跟随行为策略评估目标政策。借着非策略性,可以从人或者其他代理的观察中学习,重用旧策略的经验,在听从探索性策略的同时学习最优策略,基于一个策略的经验学习多个策略。

对非策略蒙特卡罗方法可以用重要采样(importance sampling),在整个情节中乘以重要采样的校正权重,用行为策略产生的经验评估目标政策。

• 时间差异(TD)学习

时间差异(TD)学习是RL的核心。TD学习通常是指价值函数评估的学习方法。Q-学习也被认为是时间差异学习。TD学习直接以无模型、在线和全增量的方式自举(Bootstrapping),从TD误差的经验中学习价值函数V(s)。 TD学习是一个预测问题。更新规则是V(s)←V(s)+ α[r + γV(s')- V(s)],其中α是学习率,r + γV(s')- V(s)被称为TD误差。

Q-学习(Q-learning)是一种无策略(off-policy)寻找最优策略的控制方法。Q-学习要学习行动价值函数,用更新规则Q(s,a)←Q(s,a)+α[r +γmaxa'Q(s',a')- Q(s,a)]。Q-学习通过最大运算符(max operator)相对于行动价值贪婪改进了策略。

TD学习和Q学习在某些条件下趋同。从最优的行动价值(action value)函数,可以得出最优的策略。

TD 学习伪代码实现:

Q-学习伪代码实现:

• 多步(multi-step)自举

上述阐述的算法称为TD(0)和Q(0),即一步返回进行学习。可以在前视图采用多步返回的学习就变成它们的改进型。在n-步更新,V(st)更新为n-步返回,定义为,

后视图的合格性踪迹(eligibility trace)提供一个在线的增量实现,则产生TD(λ)和Q(λ)算法,其中λ∈[0,1]。 TD(1)与蒙特卡罗方法相同。合格性踪迹是一种短期记忆,通常在情节(episode)中持续,通过影响权重向量协助学习过程。权重向量是一个长期记忆,在整个系统时间持续,决定估计的价值。合格性踪迹有助于解决长期延迟的奖励和非马尔可夫任务。

为预测算法,TD(λ)用合格性踪迹和衰减参数λ统一了一步TD预测TD(0)和蒙特卡罗方法TD(1)。同理,也可以统一多步TD控制算法。

• 基于模型的RL

Dyna-Q整合学习、行动和规划,不仅从实际经验中学习,还可以通过学习模型的模拟轨迹进行规划。下图是Dyna-Q 的伪代码实现。

• 函数近似

讨论上面的表格案例,其中价值函数或策略以表格形式存储。当状态和/或行动空间很大或连续时,函数逼近是一种泛化的方法。函数逼近的目的是从函数的例子推广,构造整个函数的近似;强化学习中的函数逼近通常将每个备份视为训练示例,并遇到非平稳性、自举和延迟的目标等新问题。线性函数逼近是一种流行的选择,部分原因在于其理想的理论属性。

TD(0)函数近似的伪代码实现:

• 策略优化

与基于价值的方法(如TD学习和Q-学习)相比,基于策略的方法直接优化策略π(a | s;θ)(具有函数逼近),并通过梯度下降更新参数θ。 与基于价值的方法相比,基于策略的方法通常具有更好的收敛性,在高维或连续行动空间有效,并且可以学习随机策略。然而,基于策略的方法通常会收敛到局部最优,无法评估,并且出现高方差。随机策略很重要,因为一些问题只有随机最优策略。

REINFORCE 伪代码实现:

Actor-Critic伪代码实现:

• 参考文献

Y Li,“Deep Reinforcement Learning”, arXiv 1810.06339, 2018

• 附注

当深度神经网络用来表示状态或观测向量时,我们获得深度强化学习(Deep RL)方法,和/或近似任何强化学习的任何组成部分:价值函数vˆ(s;θ)或q ˆ(s,a;θ),策略π(a | s;θ)和模型(状态转换函数和奖励函数)。这里,参数θ是深度神经网络中的权重。当使用“浅度”模型,如线性函数和决策树等,作为函数逼近器时,我们得到“浅度”RL,参数θ是这些模型中的权重参数。注意,浅度模型(例如决策树)可以是非线性的。深度RL和“浅度”RL之间的明显差异是函数逼近器。这类似于深度学习和“浅度”机器学习之间的区别。通常利用随机梯度下降来更新深RL中的权重参数。当无策略性、函数逼近、特别是非线性函数逼近和自举被组合在一起时,可能发生不稳定性和发散。最近的深度Q-网络工作稳定了学习并取得了出色的成果。(来源:自动驾驶之家 本文作者:黄浴(自动驾驶科学家/工程师))


滴滴“拆分”自动驾驶,重点不只是“单车智能”

博客飞奔的蜗牛 发表了文章 • 0 个评论 • 143 次浏览 • 2019-08-06 16:03 • 来自相关话题

自动驾驶汽车的兴起,将在很大程度上颠覆出行行业,带来新的竞争对手,并改变商业模式。 ...查看全部

自动驾驶汽车的兴起,将在很大程度上颠覆出行行业,带来新的竞争对手,并改变商业模式。

中国的滴滴出行、美国的Uber和Lyft都在为这种转型做准备,各自投资于无人驾驶汽车,并与其他公司建立了合作关系。毫无疑问,这些公司都希望从自动驾驶革命中获益。

今天,滴滴出行宣布旗下自动驾驶部门升级为独立公司(也就是今年3月成立的上海滴滴沃芽科技有限公司), 专注于自动驾驶研发、产品应用及相关业务拓展。

按照计划,滴滴出行CTO张博兼任自动驾驶新公司CEO , 原顺为基金执行董事孟醒出任COO,贾兆寅和郑建强分别担任美国研发团队和中国研发团队的负责人,三人均向张博汇报。



新成立的自动驾驶公司将整合滴滴出行平台资源和原有技术优势,持续加大核心技术研发投入,深入拓展与汽车上下游产业链合作,同时与政府及社会各界积极探讨推动自动驾驶落地。

但,滴滴出行的自动驾驶布局,不能简单地从单一的单车智能角度去看,换句话说这是一条完全不同于纯粹自动驾驶初创公司模式的道路。

在此次官方声明中,滴滴特别强调将把在做网约车上所积累的对安全运营的理解和经验,逐步应用到无人驾驶运营中,同时与政府以及相关方共同探索自动驾驶运营的安全实践准则。

一、安全是第一准则

首先是安全。

2018年本应是滴滴出行又一个光明的一年。在中国蓬勃发展的共享经济中,这家出行服务平台被誉为成功案例。在成立6年后,它已成为中国人出行的默认应用。

去年5月,一名女乘客被滴滴打车司机杀害。仅仅3个月后,另一起事件震惊了中国,一名滴滴用户在类似的情况下丧生。这些安全事件给这家全球最大规模的出行服务公司蒙上了巨大的阴影。

在致公众的一封公开信中,CEO程维承诺“停止使用规模和增长作为衡量标准”。高管们承诺,安全将成为公司未来的首要任务。

滴滴的困境并非独一无二。所有的出行业务,无论规模大小,都面临着肩上的安全重担。“没有人知道在移动出行行业应该如何做到安全,但能够通过技术带来更多的安全是选择项之一。”

随着中国监管收紧,网约车和司机的数量受到挤压,新的商业模式可能会抢走滴滴的客户。

张博曾表示,滴滴加强安全措施,从长远来看将是一个巨大的竞争优势。这其中包括座舱监控、车联网等更多的新技术导入。

实际上,这是滴滴出行领先于其他将商业模式定格为RoboTaxi的公司所缺失的。“这不仅仅是一些安全规范的条条框框,更多的是试错经验。”

滴滴上月表示,自去年开始进行安全整改以来,已取消了30多万名不符合标准的司机的准入资格。

二、大数据,可见的门槛

其次,是数据优势。

滴滴在开发自动驾驶智能汽车方面的一个主要优势是,它拥有庞大的交通服务网络。滴滴约有5.5亿用户,平均每天在400多个城市乘坐3000万次车。

这使得这家中国出行服务公司能够收集大量关于用户以及道路的数据,从他们的出行习惯到各个城市的交通状况。

而一般来说,人工智能系统需要大量所谓的训练数据来学习模式和行为。

“我们每天收集100TB的车辆轨迹数据,”滴滴出行相关负责人表示,为了更好地估计出行路线、价格和任何给定时间的车辆需求,滴滴每天处理的信息几乎是之前的五倍。

而这些数据还有助于城市更好地规划交通网络,避免拥堵。比如,滴滴出行近年来携手中国交通管理部门,推出了智能城市交通管理综合解决方案,被称为:滴滴智能交通大脑。
截止去年的数据,滴滴智能交通大脑已被中国20多个城市采用,基于滴滴的匿名交通数据,实时数据利用云计算和基于AI技术为城市提供一系列的交通基础设施的改进,包括交通流量测量、智能交通信号灯,交通管理规划维护调度和系统评估。

以济南为例,344个十字路口安装了滴滴的智能交通信号系统,为当地通勤者节省了3万多个小时的出行时间,每年节省时间超过1150万小时,平均交通延误时间总共减少了10%至20%。

这就是典型的未来V2X技术的应用场景,滴滴出行的战略以智能交通为核心,作为智能交通服务提供商,把人、车和交通基础设施视为重要组成部分。

“我认为有两种方法可以将自动驾驶技术商业化,”滴滴出行CTO张博此前表态,“首先,进入一个拼车网络,为乘客提供移动出行服务。第二,向消费者销售自动驾驶汽车。第二种方式在未来十年不会大规模发生。”

在张博看来,这背后的原因是,在技术成熟到足以在任何天气条件和道路条件下安全驾驶之前,还有很长的路要走。而拥有一辆只能在晴天或路况良好的情况下驾驶的自动驾驶汽车是没有意义的。

不过,滴滴同样对未来的形态非常明确,“可见的未来,是人类司机和自动驾驶汽车之间的混合模式。”在张博看来,出行平台知道用户的出发地和目的地,就能通过数据分析决定是否适合派遣自动驾驶汽车。

这一点,是所有初创RoboTaxi公司的“软肋”。

“如果我们有信心,我们将把这个请求发送给自动驾驶汽车。如果我们不这样做,我们将派遣一名人类司机。”这就是基于目前滴滴的车队传感器数据及道路基础设施传感器。

数据还将有助于滴滴训练算法。今年初,滴滴公司开始强制要求司机安装一款“桔视”行车记录仪,每部行车记录仪的押金为599元,换车时得交60元的装卸费,不装的话可能导致后期不派单。

滴滴公司回应,称安装行车记录仪是为了司机和乘客的安全考虑。该行车记录仪有两个摄像头,可记录车辆内外的情况。目前还不清楚道路行驶视频数据是否会传输至滴滴的后台。

三、拆分,意料之中

拆分,是滴滴自动驾驶独立运营并对外授权技术(甚至可能包括出售数据进行商业转化)的第一步,包括与其他上下游汽车行业合作伙伴的合作。

滴滴的自动驾驶团队成立于2016年,目前在中国和美国拥有200多名员工。大约一个月前,有消息称滴滴正在与包括最大股东软银在内的投资者谈判,为该部门筹集资金。

“尽管我们在公开场合一直保持低调,但我们在自动驾驶方面投入了大量资金。”张博此前表示,我们有一个庞大的团队,在美国和中国的三个城市持续进行测试。

为此,滴滴出行还在去年从法国一家专利代理机构手中收购了150多项与汽车、自动驾驶相关的专利资产。

在产业链合作方面,去年滴滴和31家汽车产业链企业共同发起成立以开放赋能为核心的“洪流联盟”,推广超过1000万辆共享新能源汽车,并整合用户需求,定制化汽车的设计和生产。

这其中很重要的一点就是滴滴还会与合作伙伴开发专为共享出行设计的智能汽车。去年,雷诺-日产-三菱联盟和滴滴签署了一份谅解备忘录,“探讨未来电动汽车共享计划上的商业合作,同时面向推出机器人车辆叫车服务”。

去年5月,全球最大的汽车制造商之一大众与滴滴宣布将共同成立一家合资公司,取名上海桔众汽车科技有限公司(桔众汽车),其中惠迪天津持股60%,大众汽车持股40%。

近日,丰田向滴滴投资6亿美元,其中也包括双方将成立一家合资公司,共同面向未来移动出行业务的拓展。

有消息人士透露,“与滴滴的合资企业不仅仅是叫车服务。大众希望探索更多移动出行合作项目,以及自动驾驶和机器人出租车。除了车队管理,大众还将向滴滴提供电动和自动驾驶汽车技术。”

而在近日宣布的滴滴出行与广汽集团的合作协议中,除了常规的车型定制化、车队运营、维护管理等合作,还涉及到无人驾驶领域的全方位战略合作。

可以想象,滴滴未来在自动驾驶领域的立足点也将是过去数年积累的用户和数据,以及每天仍在源源不断产生的交通、道路行驶数据。

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(七)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 177 次浏览 • 2019-08-01 12:46 • 来自相关话题

1.png2.png3.png4.png5.png

B、实验结果

所提出的轨迹跟踪控制系统在一辆原型自动驾驶轮内电机4WID电动车辆上实施并成功测试,原型车如图17所示。

选择四个永磁无刷直流(BLDC)电动机作为轮内电动机。角位移传感器用于测量车轮的转向角。横摆率,纵向速度和滑移角等车辆状态量由GPS / INS导航系统精确测量和估算[28],[29]。原型车配备实时视觉系统,由两个CCD摄像头和一个基于PC的中央处理系统组成,视觉系统的处理时间小于每帧20ms。值得一提的是,视觉系统可以实时检测预定的跟踪轨迹并精确确定横向误差和角度误差[15]。道路附着力估计器的带宽为25Hz [27],控制器的采样间隔限制为40ms。图18示出了在实验测试中使用的参考轨迹。相应的初始横向误差和偏航误差分别设定为0.1m和2deg,纵向速度假设为25km/ h。

图19显示了横向误差的实验结果,可以看出所提出的控制方案和LQR控制方案的稳态横向误差分别限制在±0.2m和±0.4m之内,最大横向误差发生在曲率最大的路段。图20示出了角度误差的实验结果,应注意所提出的控制方案和LQR控制方案的稳态角度误差分别在±1°和±2°范围内。图19和图20表明,所提出的AFSMC控制器可以确保自动驾驶车辆实时跟踪参考轨迹,并且与LQR控制器相比,它产生更高的精度和更低的超调量和振荡。图21和图22示出了滑移角和横摆率的响应结果,它们表明所提出的控制器和LQR控制器可以分别将滑移角和横摆率限制在可接受的范围内。然而,所提出的控制系统显着提高了响应精度。图23示出了比较的前转向角,可以看出所提出的控制方案的控制输入比LQR控制器更平滑。图24显示了所提出的控制方法的外部横摆力矩。可以看出,所提出的控制方案可以实时产生外部横摆力矩,这可以增强自动驾驶车辆的横向稳定性。

5.结论

本文提出了一种新的四轮独立驱动自动驾驶汽车的自适应分层轨迹跟踪控制方案。首先,提出了一种基于LMI的自适应滑模高级控制算法,用于确定自动驾驶车辆的前转向和外横摆力矩矢量。由于参数不确定性和外部扰动通常是不可测量的,因此通过模糊控制系统估算所提出的高级控制律的不确定项和控制增益,并引入自适应模糊边界层。然后,设计伪逆控制分配策略以将期望的外部横摆力矩动态地分配到冗余轮胎致动器中。此外,仿真和实验结果表明,所提出的控制方案可以在不同的驱动条件下实现良好的跟踪性能。

参考文献

[1]  J. Guo, K. Li, and Y. Luo,“Coordinated control of autonomous four wheel drive electric vehiclesforplatooning and trajectory tracking using a hierarchical architecture,” J. Dyn.Syst. Meas. Control, vol. 137, no. 10, p. 101001, 2015.
[2] S. Thrun, M. Montemerlo, andH. Dahlkamp, “Stanley: The robot that won the DARPA grand challenge,” J. FieldRobot., vol. 23, no. 9, pp. 661–692,2006.
[3]  E. Kayacan, E. Kayacan, H.Ramon, O. Kaynak, and W.Saeys, “Towards agrobots: Trajectory control ofanautonomous tractor using type-2 fuzzy logic controllers,” IEEE/ASME Trans.Mechatronics, vol. 20, no. 1, pp. 287–298, Feb. 2015.
[4]  R. Marino, S. Scalzi, and M.Netto, “Nested PID steering control for lane keeping in autonomous vehicles,”Control. Eng. Pract., vol. 19, no. 12, pp. 1459–1467, 2011.
[5]  J. Guo, P. Hu, L. Li, and R.Wang, “Design of automatic steering controller for trajectory trackingofunmanned vehicles using genetic algorithms,” IEEETrans. Veh. Technol., vol.61, no. 7, pp. 2913–2924,Sep. 2012.
[6]  J. Huang and M. Tomizuka, “LTVcontroller design for vehicle lateral control under fault in rearsensors,”IEEE/ASME Trans. Mechatronics, vol. 10, no. 1,pp. 1–7, Feb. 2005.
[7]  H.-S. Tan, F. Bu, and B.Bougler, “A real-world application of laneguidance technologies—Automatedsnowblower,” IEEE Trans. Intell.Transp. Syst., vol. 8, no. 3, pp. 538–548,Sep. 2007.
[8]  P. Falcone, F. Borrelli, J.Asgari, H. E. Tseng, and D.Hrovat, “Predictive active steering controlforautonomous vehicle systems,” IEEE Trans. Control Syst.Technol., vol. 15, no.3, pp. 566–580, May 2007.
[9]  N. M. Enache, S. Mammar, M.Netto, and B. Lusetti, “Driver steering assistance for lane-departure avoidancebased onhybrid automata and composite Lyapunov function,” IEEETrans. Intell.Transp. Syst., vol. 11, no. 1, pp. 28–39,Mar. 2010.
[10] L. Liang, J. Gang, C. Jie, Z. Hongjun, C. Dongpu, and S.Jian, “Anovel vehicle dynamics stability controlalgorithm based on the hierarchicalstrategy with constrain of nonlinear tyreforces,” Int. J. Veh. Syst. Dyn.,vol. 53, no. 8, pp.1093–1116, 2015.
[11] C. Geng, L. Mostefai, M. Denai, and Y. Hori, “Direct yaw-momentcontrol of an in-wheel-motored electric vehiclebased on body slip angle fuzzyobserver,” IEEE Trans.Ind. Electron., vol. 56, no. 5, pp. 1411–1419, May2009.
[12] M. Doumiati, O. Sename, L. Dugard, J.-J. Martinez-Molina,P. Gaspar,and Z. Szabo, “Integrated vehicle dynamics control viacoordination of activefront steering and rear braking,”Eur. J. Control, vol. 19, no. 2, pp. 121–143,2013.
[13] C. Hu, R. Wang, F. Yan, and N. Chen, “Output constraint control onpath following of four-wheelindependently actuated autonomous groundvehicles,” IEEETrans. Veh. Technol., vol. 65, no. 6, pp. 4033–4043,Jun. 2016.
[14] J. Wang and R. G. Longoria, “Coordinated and reconfigurablevehicle dynamics control,” IEEE Trans. Control Syst. Technol., vol. 17, no. 3, pp. 723–732, May 2009.
[15] J. Guo, L. Li, and K. Li, “An adaptive fuzzy-sliding lateralcontrol strategy of automatedvehicles based on vision navigation,” Int. J.Veh. Syst.Dyn., vol. 51, no. 10, pp. 1502–1517, 2013.
[16] H. Lee and M. Tomizuka, “Coordinatedlongitudinal and lateral motioncontrol of vehicles for IVHS,” J. Dyn. Syst., Meas., Control, vol. 123, no. 3,pp. 535–543, 2001.
[17] R. Wang, C. Hu, Z. Wang, F. Yan, and N. Chen, “Integrated optimaldynamics control of 4WD4WS electric ground vehiclewith tireroad frictionalcoefficient estimation,” Mech.Syst. Signal Process., vols. 60–61, pp. 727–741, Aug. 2015.
[18] H. Li, J. Yu, C. Hilton, and H. Liu, “Adaptive sliding-mode controlfor nonlinear active suspension vehiclesystems using T–S fuzzy approach,” IEEETrans. Ind. Electron., vol. 68, no. 8, pp. 3328–3338, Aug. 2013.
[19] H. Ho, Y. F. Wong, and A. B. Rad, “Robust fuzzy tracking control forrobotic manipulators,” Simul. Model. Pract. Theory, vol. 15, no. 7, pp.801–816, 2007.
[20] S. Tong and Y. Li, “Adaptivefuzzy output feedback trackingbackstepping control of strict-feedback nonlinearsystems with unknown deadzones,” IEEE Trans. NeuralNetw., vol. 20, no. 1, pp. 168–180, Feb. 2012.
[21] A. F. Amer, E. A. Sallam, and W. M. Elawady, “Adaptive fuzzy slidingmode control using supervisory fuzzy controlfor 3 DOF planar robotmanipulators,” Appl. SoftComput., vol. 11, no. 8, pp. 4943–4953, 2011.
[22] R. de Castro, M. Tanelli, R. E. Araújo, and S. M. Savaresi, “Designofsafety-oriented control allocation strategies for overactuatedelectricvehicles,” Int. J. Veh. Syst. Dyn., vol. 52,no. 8, pp. 1017–1046, 2014.
[23] J. A. M. Petersen and M. Bodson, “Constrained quadratic programmingtechniques for control allocation,” IEEE Trans. Control Syst. Technol., vol.14, no. 1, pp. 91–98, Jan. 2006.
[24] O. Härkegård and S. T. Glad, “Resolving actuator redundancy—Optimalcontrolvs. control allocation,” Automatica, vol. 41, no. 1,pp. 137–144, 2005.
[25] D. Kasinathan, A. Kasaiezadeh, A. Wong, A. Khajepour, S.Chen, andB. Litkouhi, “An optimal torque vectoring control forvehicle applications viareal-time constraints,” IEEETrans. Veh. Technol., vol. 65, no. 6, pp.4368–4378, Jun.2016.
[26] T. Goggia et al., “Integralsliding mode for the torque-vectoringcontrol of fully electric vehicles:Theoretical design and experimentalassessment,” IEEETrans. Veh. Technol., vol. 64, no. 5, pp. 1701–1715,May2017.
[27] L. Chen, Y. Luo, M. Bian, Z. Qin, J. Luo, and K. Li, “Estimation oftire-road friction coefficient based on frequencydomaindata fusion,” Mech. Syst. Signal Process., vol. 85,pp. 177–192, Feb. 2017.
[28] Y. Dai, Y. Luo, W. Chu, and K. Li, “Vehicle state estimation basedon the integration of low-cost GPS andINS,” in Int. Conf. Adv. Veh. Technol.Integr.,Changchun, China, Jul. 2012, pp. 677–681.
[29] W. Chu, State Estimation and Coordinated Control forDistributedElectric Vehicles. Berlin, Germany: Springer, 2016.
[30] J. Guo, Y. Luo, and K. Li, “Dynamic coordinated control foroveractuated autonomous electricvehicles with nonholonomic constraints vianonsingular terminal sliding modetechnique,” Nonlinear Dyn., vol. 85, no. 1,pp. 583–597, 2016.

全文完结

来源:同济智能汽车研究所

 

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(六)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 170 次浏览 • 2019-08-01 12:37 • 来自相关话题

4.结果与讨论为了评估第三节中提出的控制方法的表现,在不同的工作条件下进行了一系列的模拟和实验测试。 ...查看全部

4.结果与讨论

为了评估第三节中提出的控制方法的表现,在不同的工作条件下进行了一系列的模拟和实验测试。

1.png2.png3.png


图(9):双车道变换模拟试验中的横向误差

A、模拟结果

在本节中,为了说明所提出的控制方法对轨迹跟踪问题的有效性,实施了一些matlab-
adams协同仿真测试,在Adams soft中,建立了非线性车辆模型来模拟车辆的可靠动态行为[30]。

首先,对所提出的控制方法进行了鲁棒性能分析,自动驾驶车辆在湿滑路面上以100km/h的高速行驶,附着系数设定为0.3。前后轮胎刚度的不确定参数在测试中的变化范围为正常值的20%到正常值。假设自动驾驶车辆沿直线行驶,初始横向和角度误差分别假设为0.2m和3.5deg。

所提出的轨迹跟踪控制方法的响应结果如图4到图7所示。图4和图5分别描绘了横向误差和角度误差的动态响应。可以发现,在不同的驱动条件下,横向误差和角度误差可以收敛到零,尽管在正常轮胎刚度下的误差振荡比在20%正常轮胎刚度值下误差振荡小。

图6和图7分别示出了滑移角和横摆率的响应结果,它们可以收敛到期望值,这表明自动驾驶车辆在这两个驱动情况下是稳定的。此外,可以看出,所提出的轨迹跟踪控制系统对于自动驾驶车辆的参数不确定性具有很强的鲁棒性,并且实现了良好的跟踪性能。

其次,采用双车道变换作为参考轨迹来说明所提出的控制系统的动态特性,自动驾驶车辆在干路面上以70km/ h的初始速度运行,具有高的道路附着系数0.7并且行驶过程中保持直线行驶没有转向角。双车道变换轨迹如图8所示。自动驾驶车辆以初始横向误差0.1m和初始偏航角1.8deg开始行驶。此外,传统的具有两个控制输入和ΔM的线性二次调节器(LQR)[5]被设计为高级控制律,与现有的AFSMC控制方法形成对比。

图9显示了横向误差的响应结果,当自动驾驶车辆进入车道变换过程时,所提出的AFSMC控制方法和LQR方法的最大横向误差分别为±0.1m和±0.4m。角度误差的响应结果如图10所示,可以发现所提出的控制方法和LQR控制方法的稳态角度误差是有界的,它们的最大值分别小于1.5°和3°。

1.png2.png3.png4.png

图11显示了所提出的ASMFC和LQR控制器提供的相应滑移角,显然,可以发现它们都可以稳定并收敛到可接受的值,但是所提出的控制系统控制的滑移角的超调量比LQR控制系统的小。图12说明了横摆率的响应结果,值得注意的是,与LQR控制器相比,所提出的控制器显着降低了振荡并提高了响应速度。

图13表示转向角的响应结果。可以发现,在路径的曲线部分中由所提出的控制器控制的转向角的幅度变化比LQR控制器的小。图14显示了外部横摆力矩的响应结果,可以看出由所提出的AFSMC方法控制的外部横摆力矩的振荡远小于LQR方法。图15和图16示出了所提出的控制系统和LQR控制系统的四个附加轮胎纵向力的响应结果。它们表明,所提出的PI控制分配法可用于获得更好的分配结果。

未完待续……

来源 | 同济智能汽车研究所 智能转向研究组

 

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(五)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 170 次浏览 • 2019-08-01 12:29 • 来自相关话题

然后,基于 ...查看全部

1.png

然后,基于指定的模糊控制规则库,将饱和函数固定的边界层厚度替换为时变的。

所提出的模糊逻辑系统的输入和输出变量分别是滑动表面矢量s和厚度Φ的2范数。具有模糊集小(SM),中(NM),大(B)的三角型输入隶属函数和具有模糊集宽(W),中(S),窄(N)的输出隶属函数用于模糊逻辑系统,如表1所示。

备注3:控制定律(23)的方向应用时可能会发生抖动,因为它包含符号函数和信号不连续性。

备注4:有必要建立一个准确的车辆动力学模型,以避免由于系统的不确定性引起的控制律的高振幅。

D、伪逆控制分配

自动驾驶4WID电动车采用冗余致动器来提高可靠性和操纵稳定性,但这种过度致动系统的主要挑战是如何有效地处理物理约束和致动器冗余[22]-[24]。由上述高级控制律产生的外部横摆力矩ΔM应分配到四个轮胎中。为了最佳地确定轮胎纵向力并最小化能量消耗[25],[26],自动驾驶车辆的外部横摆力矩的控制分配可以适当地转换为多约束优化问题,如下所示:

2.png3.png4.png

未完待续……

来源 | 同济智能汽车研究所 智能转向研究组

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(四)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 168 次浏览 • 2019-08-01 12:22 • 来自相关话题

1.png2.png1.pngQQ截图20190801114748.png1.png1.png1.png

未完待续……

来源 | 同济智能汽车研究所 智能转向研究组

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(三)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 166 次浏览 • 2019-08-01 12:07 • 来自相关话题

3.系统建模轨迹跟踪控制的掩模用来监督自动驾驶车辆,使其及时跟踪所需路径,并提高乘坐舒适性和稳定性。在本节中,为了处理这些外部干扰、自动驾驶4WID车辆的参数不确定性和过度致动特征[1],[17],设计了一 ...查看全部

3.系统建模

轨迹跟踪控制的掩模用来监督自动驾驶车辆,使其及时跟踪所需路径,并提高乘坐舒适性和稳定性。在本节中,为了处理这些外部干扰、自动驾驶4WID车辆的参数不确定性和过度致动特征[1],[17],设计了一个由两个层次组成的新型自适应分层控制系统,以及相应的控制框架。如图3所示。1.png2.png3.png4.png6.png

未完待续……

来源 | 同济智能汽车研究所 智能转向研究组

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(二)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 166 次浏览 • 2019-08-01 11:58 • 来自相关话题

2.系统描述推导该模型的主要假设如下:1)忽略滚动、俯仰和垂直运动。2)忽略由于载荷变化造成的左右车轮之间轮胎转弯特性的差异;将轮胎模型近似为线性的。3)折扣执行器动态。第一个假设是有效的,在典型的和稍微严 ...查看全部

2.系统描述

推导该模型的主要假设如下:1)忽略滚动、俯仰和垂直运动。2)忽略由于载荷变化造成的左右车轮之间轮胎转弯特性的差异;将轮胎模型近似为线性的。3)折扣执行器动态。第一个假设是有效的,在典型的和稍微严重的车辆操纵下没有明显的精度损失[16]。假设纵向速度为常数值,则使用牛顿定理基于上述假设可得到横向动力学方程,  

1.png

然后,如图1所示,一个以滑移角β和偏航率r为自由度的的两自由度(DoF)动力学模型表示为:

2.png
其中ΔMz为:
3.png
其中参数m是车辆总质量,Iz表示围绕重心(CG)的车辆惯性,vx是纵向速度,δf是前转向角,ls是轮距的一半,lf和lr表示前轮轴和后轮轴距CG的距离。Fyi和Fxi表示第i轮胎的纵向和横向轮胎力,并且i = 1,2,3,4 =fl,fr,rl,rr。

使用轮胎/道路界面的线性模型,则轮胎侧向力可以用前后轮滑移角表示,如下:

4.png
其中Fyf和Fyr分别代表前轮胎和后轮胎的广义轮胎侧向力。Fyf = Fyfl+ Fyfr且Fyr = Fyrl + Fyrr,Cf和Cr分别代表前后转弯刚度。af和ar分别表示前后轮胎侧滑角,其可以计算为:
5.png
将(4)和(3)代入(1),可以得到下列等式:
6.png
其中
7.png
8.png
图2所示为自动驾驶车辆的轨迹跟踪运动学模型,其视觉系统提取道路特征,然后计算车辆和期望路径之间的位置误差。ey是横向误差,其表示当前车辆位置到期望路径的距离,ea是角度误差,其表示车辆航向与预定距离DL处的期望路径的切线方向之间的误差。轨迹跟踪运动学模型可以通过测量获得,如下[15]:
9.png
其中KL(t)表示所需轨迹的曲率。


车辆横向动力学方程(1)与轨迹跟踪动力学(2)相结合,形成具有不确定性和外部扰动的多输入多输出(MIMO)线性系统,可表示为:
10.png
其中系统矩阵可以写成如下形式:
11.png
其中x =[ey ea βr ]T和u =[δf ΔM]T分别是系统的状态向量和系统的控制输入。y =[ey ea]T是系统的测量输出,ω= [KL]T是外部干扰。 ΔA和ΔB分别是不确定项。


所需假设如下:
1)数组(A,B)是稳定的。
2)数组(A,C)是可检测的。
3)状态x可用,w是具有有界变化值的干扰向量。
4)存在已知的常数ρA和ρB,使得II ΔA(t)II≤ρA且II ΔB(t)II≤ρB。
未完待续……
来源 | 同济智能汽车研究所 智能转向研究组

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(一)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 165 次浏览 • 2019-08-01 11:47 • 来自相关话题

编者按:轨迹跟踪在自动驾驶汽车的驾驶性能中起着极其重要的作用,而对于实现四轮独立驱动(4WID)的轨迹跟踪控制这一点,存在许多诸如参数不确定、不可避免的外部干扰等研究阻力。但文章中提出了一种新颖的自适应分层的自动驾驶跟踪 ...查看全部

编者按:轨迹跟踪在自动驾驶汽车的驾驶性能中起着极其重要的作用,而对于实现四轮独立驱动(4WID)的轨迹跟踪控制这一点,存在许多诸如参数不确定、不可避免的外部干扰等研究阻力。但文章中提出了一种新颖的自适应分层的自动驾驶跟踪控制框架,可以用来监控四轮独立驱动自动驾驶汽车的横向运动。文章主要贡献在于提出了一种自动驾驶4WID电动汽车的分层轨迹跟踪控制结构,其包括自适应高级控制律和低级伪逆控制分配律;并且构造了一种具有基于线性矩阵不等式(LMI)的切换表面的自适应模糊滑模高级横向控制器,可以在车辆具有外部扰动、时变和参数不确定性的条件下保持鲁棒性;最后用仿真和实验结果进一步证明了方案的有效性和可行性。该研究改进了不同驱动条件下的自动驾驶轨迹跟踪性能,有一定的研究意义。

 

本文译自《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 2018》收录文章《An Adaptive Hierarchical Trajectory Following Control Approach ofAutonomous Four-Wheel Independent Drive Electric Vehicles》

原作者:
Jinghua Guo, Yugong Luo, and Keqiang Li
原文链接:
https://ieeexplore.ieee.org/document/8057584
摘要:本文研究了一类具有参数不确定性、外部干扰和过度驱动特征的自动驾驶汽车的跟踪控制问题。提出了一种新颖的自适应分层控制框架,用于监控自动驾驶四轮独立驱动电动汽车的横向运动。首先,设计了一种具有以线性矩阵不等式为基础的切换面的自适应滑模高级控制律,用于产生前转向角和外部横摆力矩矢量,其中不确定项和切换控制增益由逻辑模糊技术进行自适应调节。为了进一步缓和抖振现象,引入了自适应边界层。其次,提出了一种伪逆低级控制分配算法,通过协调和重构轮胎纵向力来优化分配外部横摆力矩。最后,数值模拟和实验结果验证了所提出的自适应控制方法具有突出的跟踪性能。

关键词: 自动驾驶汽车,自适应分层控制,轨迹跟踪控制,车辆横向动态

1.前言

在过去几十年中,有关交通拥堵,意外伤害和环境污染的社会问题变得越来越严重。自动驾驶四轮独立驱动(4WID)电动车,提供四轮独立驱动,可以快速生成对自动驾驶车辆的灵活和精确的扭矩响应[1],并被视为一种有效和系统的方法,以提高道路利用率,提高车辆安全性并降低移动成本。
轨迹跟踪控制在自动驾驶汽车的驾驶性能中起着极其重要的作用,其致力于以尽可能精确的连续和平滑的方式迅速地遵循期望的轨迹。对自动驾驶4WID电动车辆的轨迹跟踪控制的挑战涉及自动驾驶电动车辆具有参数不确定性和不可避免的外部干扰。更重要的是,自动驾驶电动汽车是一种具有非完整约束的机械系统,这进一步增加了车辆动态控制的难度。因此,对于自动驾驶4WID电动车辆的轨迹跟踪控制要求控制方法能够处理参数不确定性、不可避免的外部干扰和不可避免的轮胎滑动效应。

近年来,学者们在自动驾驶车辆的各种轨迹跟踪控制方法上花费了很多的努力。在文献[2]中,设计了一种自动驾驶汽车非线性反馈轨迹跟踪控制系统,该系统参与了2005年DARPA大挑战。在文献[3]中,提出了一种用于自动驾驶车辆轨迹跟踪控制的滑模反馈学习控制器,并提出了2型(Type-2)模糊神经网络的参数更新规则。在文献[4]中,构建了自动驾驶车辆的嵌套比例 — 积分 — 微分控制结构,从理论上研究了该闭环轨迹跟踪控制系统关于速度变化和不确定车辆物理参数方面的鲁棒性。在文献[5]中,提出了一种最优模糊轨迹跟踪控制器来模拟更加人性化的驾驶行为,其中隶属函数和规则的参数由遗传算法(GA)调节。由于车辆横向动力学对纵向速度的变化敏感,因此基于反馈线性化方法和一个不匹配的观测器设计了线性时变控制器[6]。在文献[7]中,为轮胎引起的低速振荡构建了一种新的动态轮胎缺陷模型,并设计了基于线性矩阵不等式(LMI)优化的自动驾驶车辆反馈横向控制结构。在文献[8]中,提出了一种非线性模型预测控制策略,用于自动驾驶车辆的轨迹跟踪控制,以确定在最高可能进入速度下的前轮转向角。在文献[9]中,输入/输出混合自动机框架被设计用于自动转向,并且初步实验测试验证了所提出的控制方法的可行性,其确保了轨迹跟踪控制系统的高性能。

研究车辆操纵和横向稳定性的控制问题是至关重要且有吸引力的。学者们已经在车辆的横向动力学控制策略上付出了很多努力,例如,电子稳定程序(ESP)[10],直接横摆力矩控制(DYC)[11]和主动前轮转向(AFS)控制[12]。由于DYC具有有效改善车辆操纵性和严重驾驶操纵中的主动安全性的能力,因此被认为是一种有前景的横向控制策略。众所周知,DYC设计在四轮独立驱动车辆中以处理轮胎执行器的冗余。为了进一步提高车辆可靠性和操纵稳定性,集成的DYC和AFS控制也得到了广泛的应用。关于车辆的自动转向控制,DYC的应用可以提供快速的扭矩响应和灵活的驱动。但是,基于DYC的自动驾驶车辆轨迹跟踪控制研究却比较有限[13]。

特别地,众所周知自动驾驶4WID电动车辆是过度驱动的系统[14],其可以有效地增强自动驾驶车辆的可用性和可靠性。然而,在冗余自动驾驶车辆系统中,需要将期望的外部力矩最佳地分配给每个轮胎执行器。

本文提出了一种自适应分层轨迹跟踪控制系统,以提高自动驾驶4WID电动汽车的跟踪性能,提高横向稳定性。本文的主要贡献如下:

(一)提出了一种自动驾驶4WID电动汽车的分层轨迹跟踪控制结构,其包括自适应高级控制律和低级伪逆控制分配律。   

(二)构造了一种具有基于线性矩阵不等式(LMI)的切换表面的自适应模糊滑模高级横向控制器,可以在车辆具有外部扰动、时变和参数不确定性的条件下保持鲁棒性。

(三)仿真和实验结果进一步证明了所提出的分层控制方法的有效性和可行性。

本文的其余部分安排如下:在第二节中,讲述自动驾驶4WID电动汽车的横向动力学模型开发。在第三节中,提出了一种新的自适应分层控制框架,包括自适应模糊滑动控制方案和用于自动轨迹跟踪控制的伪逆控制分配方案。提出的控制框架的在严苛的操作条件下的模拟和实验结果在第四节中说明。最后,在第五节中得出结论。

未完待续……       

来源 | 同济智能汽车研究所 智能转向研究组

宝马、戴姆勒、奥迪的自动驾驶战略分析

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 201 次浏览 • 2019-07-31 12:08 • 来自相关话题

01 宝马  传感器布置   目前L2级的5系由13个传感器构成:  1个前置立体摄像头,可识别交通状况,调节前向移动、识别行人,由Veoneer提供(挡风玻璃顶部)  博世的3个LRR模 ...查看全部

01 宝马

  传感器布置 

  目前L2级的5系由13个传感器构成:

  1个前置立体摄像头,可识别交通状况,调节前向移动、识别行人,由Veoneer提供(挡风玻璃顶部)

  博世的3个LRR模组(一个前端,两个后端)

  1个用于定位的GPS,由Harman/Trimble供应;地图由HERE提供,可显示高速公路出口数据(车辆顶部)

  博世的8个超声波

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  功能包括高级自适应巡航控制、交通堵塞辅助、主动辅助、自主泊车助手和其他辅助系统。

  主动辅助(Active Assist):360度防撞系统。宝马为i3配备了四个LiDAR,用于测量和识别周围环境。如果驾驶员太靠近识别到的障碍物,车辆会自动进行制动,甚至让车辆完全停止。但如果驾驶员开始远离障碍物,则制动器被释放,因为系统感知到驾驶员仍然在控制车辆。

  自主泊车助手(Valet Parking Assistant):无需操作员在车内进行自动泊车。适用于在狭小空间和狭窄车库停车。使用智能手表远程激活。

  完全自动驾驶路线图 

  宝马已经为多系列车型搭载了L2级系统。宝马的目标是到2021年与其主要的自动硬件技术供应商Mobileye合作,并在大陆、Aptiv、麦格纳和百度等其他合作伙伴的帮助下达到L3。

  到2021年,宝马计划推出L4/5的测试车队,目标是到2022年具备生产完全自动驾驶车辆的能力。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  下图为宝马的自动驾驶路线图:

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  转型为技术公司 

  宝马的目标是转变为一家技术公司,以便将自动驾驶汽车技术推向市场。为了实现这一目标,宝马正在建设两个额外的自动驾驶园区和一个新的驾驶模拟中心。

  新的慕尼黑自动驾驶园区是迈向全自动驾驶的下一步,覆盖从软件开发到道路测试。该园区将拥有敏捷的团队,办公室之间的距离很短,决策过程也会很短。最后宝马希望在这个新园区雇用大约1,800名员工。

  第二个办事处将在以色列特拉维夫,主要负责自动驾驶领域前瞻性技术与趋势的研究。由来自不同学科的专家组成的小型敏捷团队将与当地初创企业密切联系,评估并推动相关趋势、技术和创新。他们会将以色列的所有技术企业纳入考虑范围,该团队还将寻求与大学建立联合研究项目。

  宝马认为,位于慕尼黑的新驾驶模拟中心将成为世界上最先进的现实驾驶情况模拟设施。该公司的目标是在2020年完成这个新模拟中心的指导。

  主要合作伙伴 

  自动驾驶:Intel/Mobileye、大陆、FCA、麦格纳、Aptiv、百度

  传感器:摄像头、雷达、LiDAR

  传感器数据融合

  道路模型

  驾驶策略/计划

  高精地图与定位:HERE、Intel/Mobileye、四维图新

  厘米级精度

  实时能力

  高可靠性

  5G基础设施:奥迪、戴姆勒、Intel、爱立信、华为、诺基亚

  超低迟延

  超高可靠性

  超高数据传输速度

  监管机构与协会:NHTSA、VDA、ACEA

  全球法规

  统一认证

  道路侧开发的安全性

02戴姆勒 

  传感器方案 

  奔驰在自动驾驶领域其实有比较长的历史了,代表性的研发成果就是S500 Intelligent Drive,结合了强大的软件算法、摄像头和雷达,不需要任何人驾驶汽车。相同技术的开发已应用于商用的2017款E Class。

  奔驰在汽车安全系统方面拥有数十年的创新,其中许多都是当今整个行业的标准配备了。下面显示了奔驰在车型上引入的安全系统的时间表。它的范围从1959年的Crumple Zone到如今的可降低内耳损伤风险的系统。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  奔驰目前的L2高端车型的传感器融合方案共包含23个传感器,

  12个超声波(前后各6个),供应商是博世

  4个多模雷达(4角),供应商是Veoneer

  4个摄像头(前后各1个,两个后视镜上各1个),供应商是麦格纳

  1个LRR(前),供应商是大陆

  1个多用途立体摄像头(挡风玻璃顶部),供应商是Veoneer

  1个转向柱位置传感器

  当然供应商的部分似乎也有后补的方案,不过是按量大的写的。

  自动驾驶路线图

  L0 

  奔驰的车型有各种L0级警告和主动安全功能,其中许多是标配。

  L1 

  截至2019年,奔驰的车型基本都提供了L1/L2驾功能。L1的一个例子是称为Active Distance Assist DISTRONIC的ACC,此功能可自动保持与同一车道前方车辆所需的跟随距离。根据距离,系统可实现在正常操作条件下自动制动或加速。但还无法处理所有交通情况,因此需要预警和驾驶员保持注意力,并在需要时及时接管操作。

  奔驰的另一种L1功能是主动转向辅助系统,帮助驾驶员保持车辆在其行驶车道内。但主动转向辅助系统只能与ACC一起启动。当这两个L1功能都处于启动状态时,就构成了L2功能。

  L2 

  上面说的L2功能就能在正常条件下自动进行制动、加速和转向,同时仍需要驾驶员实时监控车辆的状态。为了保持安全操作,必要时需要手动转向、制动或加速。

  另一个L2功能是主动停车辅助系统,可在驾驶员监督操作时自动停泊车辆。

  L3 

  除了上面提到的驾驶辅助功能外,奔驰还在开发名为DRIVE PILOT的L3系统。

  与L1/L2不同的是,DRIVE PILOT在系统启动时不需要驾驶员的监督,当系统运行时驾驶员可以做其他事情。当系统检测到驾驶条件已经发生变化且预计不能再可靠地运行时,它就会进行如下操作:

  请求故障回复,预备让用户恢复驾驶(具有足够的接管时间)

  如果操作员没有响应,系统将使车辆运行到某一点并使车辆处于受控制的停止状态

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  DRIVE PILOT的传感器融合架构

  当然,奔驰与博世、Nvidia正在合作开发L4/5,计划先从城市及市郊开始提供运输和网约车服务。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

03奥迪 

  传感器方案与自动驾驶技术 

  奥迪在自动驾驶技术的研发方面也有很长的历史了。目前奥迪自动驾驶的最终目标是到2025年推出L4的AV。

  奥迪采用了集成不同系统的方法,也是从ADAS到完全自动驾驶的渐进式路线。奥迪已经在不同的平台上创建了各种版本的Piloted Driving。这个可追溯到2010年,代号为Shelley的奥迪TTS在Pikes Peak进行了全自动驾驶测试。在那之后,许多其它平台也采用了相同的传感器技术进行了测试。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  奥迪典型的L2系统上部署的传感器总数为20个:

  5个摄像头。1个位于前格栅,供应商为KOSTAL;1个3D摄像头,前风挡;1个后部摄像头;2个后视镜上的摄像头

  1个GPS天线模块

  1个LiDAR。位于前格栅,法雷奥的SCALA,目前市场上唯一车规级激光雷达

  2个LRR。前保险杠,供应商为博世

  2个MRR。前保险杠

  2个MRR。后翼子板

  2个SRR。后翼子板

  4个超声波。前后翼子板,供应商为法雷奥

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  此外,法雷奥的SCALA现在更加紧凑了,只有咖啡杯大小,现在在前格栅中被隐藏了起来。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  前挡风挡摄像头视觉部分使用的是Mobileye EyeQ3,与V2X、以太网和HERE的地图(可升级)配合。由奥迪和TT Tech开发的“zFAS”自动驾驶中央计算单元(由德尔福集成),现在只有平板电脑大小,配备英伟达Tegra K1 CPU和192核Kepler GPU,安装在手套箱内。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  自动驾驶路线图 

  奥迪已经在Traffic Jam Pilot里面有了Remote Parking Pilot辅助功能,适用于奥迪A8,对外是以L3进行商业推广的。尽管2019款奥迪A8具备L3功能,但在美国等市场中此功能已停用,因为尚未有法规支持。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  奥迪计划到2023年实现三个阶段性目标:

  用于高速公路的L3系统Highway Pilot

  用于城市地区的L3系统City Pilot

  自主泊车,包含在City Pilot里

  2025年,奥迪的目标是推出首款L4级AV,代号为Aicon,是在地理围栏内的完全自动驾驶。这一概念在2017年法兰克福车展上第一次亮相,奥迪希望在2021年率先推出首批Aicon车队。Aicon项目的主要合作伙伴包括法雷奥、Mobileye、大陆、博世和英伟达。


沃尔玛与自动驾驶汽车创企Gatik合作 推行自动驾驶试点项目

博客自动驾驶小能手 发表了文章 • 0 个评论 • 194 次浏览 • 2019-07-31 11:53 • 来自相关话题

据国外媒体报道,沃尔玛公布了其与自动驾驶汽车初创公司Gatik合作的一个新试点项目。这两家公司将在美国阿肯色州本顿维尔试点其杂货提货和送货服务。上个月,沃尔玛宣布,其正在测试用自动驾驶汽车将货物从仓库之间运输,以降低运输成本,提高效率。 ...查看全部

据国外媒体报道,沃尔玛公布了其与自动驾驶汽车初创公司Gatik合作的一个新试点项目。这两家公司将在美国阿肯色州本顿维尔试点其杂货提货和送货服务。上个月,沃尔玛宣布,其正在测试用自动驾驶汽车将货物从仓库之间运输,以降低运输成本,提高效率。

沃尔玛与自动驾驶汽车创企Gatik合作 推行自动驾驶试点项目


高通:中国在自动驾驶汽车标准化上或将领先于美国

博客gaohong 发表了文章 • 0 个评论 • 260 次浏览 • 2019-07-31 10:40 • 来自相关话题

网易科技讯 7月31日消息,据国外媒体报道,美国芯片制造商高通称,中国计划标准化其对5G汽车的使用,将支持C-V2X标准,这可能会导致美国在自动驾驶汽车商业化上处于落后状态。 ...查看全部

网易科技讯 7月31日消息,据国外媒体报道,美国芯片制造商高通称,中国计划标准化其对5G汽车的使用,将支持C-V2X标准,这可能会导致美国在自动驾驶汽车商业化上处于落后状态。

高通:中国在自动驾驶汽车标准化上或将领先于美国

中国将“比我们更早地挽救千百计人的生命,而我们还在摸索着确定哪一个标准最适合西方世界的长期路线图。”高通高级副总裁帕特里克·斯迪恩(Patrick Little)在接受采访时表示,“如果我们能够获得一个共同的标准,我们就可以更快地部署它,节省大量资金和节省大量时间。”

高通和100多家公司正在推动全球监管机构接受一项基于5G的名为C-V2X车辆标准。这项技术将使车辆和基础设施能够相互传送实时交通数据,并减少事故发生。业内竞争公司正竞相支持基于Wi-Fi的标准,并寻求建立汽车电子数据传输市场。IHS Markit估计,到2025年,汽车电子数据传输市场规模将增长到92亿美元。

尽管这个标准的支持者表示,该标准更快、更可靠。但包括顶尖汽车芯片制造商恩智浦半导体在内的公司则认为,现有的基于Wi-Fi的技术标准DSRC已经足够好。DSRC的其他支持者,包括通用汽车、大众汽车和本田汽车公司。

在这两种标准之间做出选择,成为自动驾驶汽车现实难题之一。在道路测试方面,中国落后于美国多年。仅在美国的加州,Alphabet公司旗下Waymo和其他公司,就有数百万英里里程的测试记录。

尽管如此,中国是世界上最大的汽车市场,并发出了一个明确的信号,它将拥抱C-V2X。去年10月,中国宣布了使用该标准的计划,并专门为联网汽车预留了频谱。于2016年9月成立的5G汽车协会(5G Automotive Association)预测,中国将率先推出C-V2X汽车。福特汽车公司拜腾(Byton)已经透露了生产和采用这一标准汽车的计划。

在美国,特朗普政府还没有决定支持哪种标准。欧盟委员会准备支持DSRC,但该提案在7月被成员国否决。在亚洲其他地区,日本正计划将频谱分配给DSRC,韩国打算为这两种标准都留出频谱。

彭博新闻社在4月份的一份报告中写道,DSRC根深蒂固的地位,在未来三年将阻碍C-V2X在中国境外的应用。但分析人士表示,从长远来看,美国、韩国和日本可能会转向C-V2X,因为这些国家正在积极部署5G网络。

改善道路安全的前景是监管机构加快决策的主要动力。密歇根大学交通研究所去年估计,如果美国政府今年确定好一种标准,而不是在三年之后确定,美国将有多达810万的车祸和44000人的死亡可以避免。(来源: 网易科技 天门山)


自动驾驶事故频发,特斯拉引美安全组织声讨

博客tututu 发表了文章 • 0 个评论 • 249 次浏览 • 2019-07-30 17:11 • 来自相关话题

从事物的相对性来看,即使自动驾驶已成为未来汽车领域发展最理想化的结果,但目前看来,以自动驾驶之名成就绝对安全依然是一个不可触达的目标。所以在以特斯拉为首对的车企将自动驾驶技术进行部分量产,并引起人们关注后,几起重大交通事故便能很轻易地触发用户的敏感神经, ...查看全部

从事物的相对性来看,即使自动驾驶已成为未来汽车领域发展最理想化的结果,但目前看来,以自动驾驶之名成就绝对安全依然是一个不可触达的目标。所以在以特斯拉为首对的车企将自动驾驶技术进行部分量产,并引起人们关注后,几起重大交通事故便能很轻易地触发用户的敏感神经,使人们不得不重新审视这一超前的技术。

近日,据CNBC报道,美国汽车安全中心希望与另一安全组织Consumer Watchdog联手美国联邦贸易委员会(FTC)和加州汽车管理局(California Department of Motor Vehicles)立即对特斯拉自动驾驶技术展开调查。他们认为,特斯拉违反了《联邦贸易委员会法案》(FTC Act)第5条,以及加州消费者法。

8159a2979ea4cb9e8913142097a206d.jpg

而其中,作为美国汽车安全中心负责人的贾森·莱文(Jason Levine)更是对此表示,“特斯拉的行为涉嫌欺诈,违反了相关的法律,无论是在联邦还是州一级。”

事实上,虽然多年前,诸如凯迪拉克的超级巡航系统(Super Cruise)、奥迪Traffic Jam Pilot系统以及日产的ProPilot Assist等类似技术早已呈现在人们的面前,但特斯拉这项在2015年10月推出的Autopilot技术仍被业内称为高级驾驶员辅助系统(ADAS)。

当然,那如今之所以会引发这一调查事件便与此前发生的几起与自动驾驶系统相关的重大交通事故脱不了干系。

早在2016年,一名司机在特斯拉Model S在佛罗里达州高速公路上使用自动驾驶模式时,撞上半挂车,导致其死亡。之后在2018年的3月,一辆处于自动驾驶模式的特斯拉汽车在加利福尼亚州的一个路障上坠毁,造成了一38岁的男子当场死亡······进入2019年后,此类事故仍层出不穷。当地时间5月29日早晨,同样是一辆开启自动驾驶模式的特斯拉ModelS,在加州拉古纳海滩市的公路上,撞上了一辆停在路边的警车。

更甚的是,就在本月,据国外媒体Fortune报道,一名女子在旧金山驾驶一辆租来的特斯拉汽车闯红灯,又引发了一名游客当场死亡以及其妻子受重伤的恶性交通事故。虽然难以明确将此事完全归咎于特斯拉的自动驾驶系统缺陷,但当地警方随后在一份声明中表示,仍将对肇事的特斯拉是否使用Autopilot功能进行彻查。

当然,对这一系列的事故,特斯拉曾辩解称,“正如我们的季度安全报告所显示的,使用自动驾驶仪的驾驶员每英里发生的事故比没有自动驾驶仪的驾驶员少。”很显然,这样的说辞并没有得到美国独立安全研究机构的支持。

不仅如此,贾森·莱文(Jason Levine)还认为,特斯拉和马斯克使用很多方式对自动驾驶系统进行了推广。其中包括在Autopilot自动驾驶系统首次亮相后不久,一张显示马斯克和他当时的妻子开车时,手在特斯拉汽车车窗外挥舞的照片,间接地表示此自动驾驶趋于无人驾驶的范畴。

而这种种迹象也表明,即使特斯拉可以说已经书面通知消费者自动驾驶系统的局限性,但他们的行为却表现出欺骗消费者的欲望。换言之,正如这两家机构所认为的,“特斯拉销售自动驾驶汽车的方式具有实质欺骗性,可能会误导消费者,让他们合理地相信自己的汽车具有自动驾驶或自动驾驶能力。”

毫无疑问,作为汽车行业颠覆者的特斯拉,其自动驾驶技术的确令人印象深刻,但从实际操作上来看,除了极个别能保证安全的情况下,哪怕是对于特斯拉,用户都必须为防止紧急情况的发生而做好完善的预防措施。至于马斯克本人对特斯拉自动技术的过度吹嘘或是对其安全性的迷之自信,目前看来都无法抵消由此技术引发的众多事故所带来的舆论影响。



没有测试验证,自动驾驶的落地就是“空谈”

博客gaohong 发表了文章 • 0 个评论 • 202 次浏览 • 2019-07-30 14:52 • 来自相关话题

汽车的核心是安全,无论未来Robot taxi,还是在园区中的自动接驳车,用户的核心诉求都是可以安全到达。对于尚未完全成熟的自动驾驶技术,测试验证是非常重要的环节。亮道智能市场总监江南逸在《2019高工智能电动汽车开发者大会(苏州站)》上表 ...查看全部

汽车的核心是安全,无论未来Robot taxi,还是在园区中的自动接驳车,用户的核心诉求都是可以安全到达。对于尚未完全成熟的自动驾驶技术,测试验证是非常重要的环节。

亮道智能市场总监江南逸在《2019高工智能电动汽车开发者大会(苏州站)》上表示,软件的测试验证需要做大量数据采集、处理、分析的工作,不仅是驾驶环境本身的复杂性导致的,每个国家、每个区域人们的驾驶行为差异也非常大。

1.jpg

受制于传感器性能,大量的测试验证,是保证自动驾驶功能安全的必经之路。

从自动驾驶的产品层面来看,量产除了要兑现承诺的自动驾驶功能,还要满足汽车行业电子产品的相关标准和规范,比如IATF16949、AEC-Q100/200,整个研发流程必须遵守功能安全ISO26262、SOTIF等。

此外,针对环境感知相关的KPI要求,不仅是硬件上的产品质量达标,如振动实验,耐久性测试、耐高低温等等,还有包括软件层面的感知能力的测评。

一、测试验证面临的挑战

自动驾驶环境感知系统测试验证面临的挑战,首先是对环境感知KPI的把握。比如客观评价激光雷达的识别率、分类准确率等指标表现,测试厂商首先要对传感器的软硬件足够熟悉,具备传感器算法的开发能力,否则很难评价一个传感器的优劣。

由于自动驾驶应用中,传感器的融合是必然趋势,对相应的测试厂商而言,不仅要理解某单个传感器的性能,还要熟悉传感器融合过程中的问题,未来要评价的是整个感知系统的智能化水平。

如此,测试验证工作考验的是针对整体传感器算法的理解,建立让行业信服的、高质量的客观真值(Ground Truth)用于评价参照。

除了这些硬实力,测试过程当中会产生大量的数据,如何有效、快速的存储、清洗,提取有效信息,开发自动化工具链等,都是验证方快速建立竞争力,服务好更多客户的战斗力。

这些能力,对于传统的传感器、软件算法创业公司而言,比较缺乏。细分行业的初创企业们,需要专注精力在产品自身硬件的创新和软件性能的提升上,比如视觉算法的企业,目前仍然有大量视觉算法公司的算法优化、迭代依赖的是人工标注。

后者对前者的重要性不言而喻,但人工标注是一件费力费时的事情,在有限的精力和时间段内,创业者需要专注于本专业,行业亟需自动化标注的产品用于算法的迭代。

这种现象同样出现在毫米波雷达、激光雷达的产品研发过程中,传感器性能可靠性的验证、提升,需要一系列专业的工具,当中涉及大量的数据采集、真值建立、场景提取等等,需要有专业的公司,帮助其提升自动化、快速处理的能力。

二、完整的测试评价服务

亮道智能通过数据采集平台搭建和数据采集、测试验证私有云平台搭建、自动化真值标注、自动化测试验证工具链、大数据挖掘与分析,提供面向自动驾驶感知系统的测试验证服务,最后会输出一份KPI报告给到主机厂商,目前KPI报告都是根据功能开发需求定制化统计生成的。

2.JPG

亮道智能搭建的不断升级的数据采集平台,以远高于行业配置的软硬件系统,构成高标准的测评工具。通过数据采集平台采集的数据,会同步存储到云端数据中心,经过自动化清洗、处理、标注之后,生成客观真值。江南逸强调,人工标注和纯自动化标注在效率上差别巨大。

根据客户对功能开发安全的要求,亮道智能会进行工具链的开发。比如针对不同功能安全开发定义,客户通过输入ODD相关参数,可以在线从采集到的数据当中提取符合要求的场景。每个客户都可以输入自定义的ODD参数,形成功能定义的差异化。

3.JPG

数据采集之后,会存储在德国、中国以及未来在美国的私有云数据定制平台上,私有云平台的搭建服务也是公司的核心产品。数据经过处理后,一方面可以做待测传感器(DUT)的评价,另一方面还可以支持客户的功能开发定义。

三、一套系统、一样品质

基于传感器的测评,很多客户自己也在做传感器平台的搭建和自己算法的研发。在国内市场,亮道智能从2015年开始就一直在给客户提供线控改装、传感器的安装配置和调试的相关工作,帮助客户快速搭建传感器系统,开始研发、产品迭代的工作。

现在,亮道智能的客户基本上覆盖了国内的主机厂商和自动驾驶方案的提供商。

目前大部分的主机厂商还停留在需求描述的细化阶段,江南逸表示,公司的优势在于知道从哪些角度、细节上评价传感器,进而开发评价工具,这个过程需要投入大量时间研发,衡量整个的评价系统是否足够完备。

亮道智能是中德两地同步做产品研发、市场拓展,可以在中国、德国、美国等不同的地方提供同样的工具和测试验证方法,保证同一款产品在不同的地区表现一致性。

公司从2018年开始在欧洲和中国进行数据采集工作。2019年配合主机厂客户的项目要求,亮道智能会在欧洲5个城市、在国内5个城市同步进行数据采集工作,2020年会在美国启动3个城市的数据采集。

亮道智能的优势在于用同一套数据采集系统,在不同的大洲采集数据,得到的数据内容和质量可以保证完全在一个水准上。目前亮道智能已经采集的数据中,高速路,城市快速路和城市道路数据的比例大概是4:4:2。


在自动驾驶研发中充分发挥数据的潜能

博客gaohong 发表了文章 • 0 个评论 • 247 次浏览 • 2019-07-30 14:52 • 来自相关话题

本次分享内容 ...查看全部


1.jpg本次分享内容提纲

  • 数据标注

  • 数据驱动开发

  • 数据驱动决策

前言

2.JPG

上图这是我加入小马智行之前的一个小故事。这不断的提醒我,人工智能需要有足够的数据量,并且充分发挥这些数据的潜能,是我们作为人工智能公司的一个非常重要的核心竞争力。

数据的作用

1. 数据驱动开发:提到数据的作用我们首先会想到,数据驱动开发,包括感知领域、行为预测领域、决策领域,需要有数据(标注好的数据)来作为我们模型训练的粮食和作为系统准确度评测的依据。

2. 数据驱动决策:尤其是优先级的决策,作为创业公司我们现在想做的事情,远远多于我们的人力,如何把人力用在我们需要优先解决的问题上,不管在行车安全性、乘坐舒适性、车辆的运营等等,每个方面都有更重要的问题,或者次要一点的问题,需要做优先级的决策,通过对于数据的分析和处理,拿出一些有效的决策。

3. 展现公司实力:通过对数据的分析,展示出来的结果是可以展示公司实力的。

4. 满足监管要求:数据的保存、处理、分析也是为了满足监管的要求。

数据标注

在讲数据驱动开发和决策前,先分享下关于数据标注的一些体会。

1. 评价指标

3.JPG

对于数据标注来说,它的评价指标有:

① 团队规模:只有你有足够大的团队,你才能在单位时间内标注出你所需要的数量的数据。

② 效率和成本:二者间的关系像是硬币的正反两面,效率是指单个人单位时间的产出量,成本是指单位产出的人力、设备、场地开销。

③ 质量:标注的准确度,比如标注一个激光点云里障碍物的尺寸、位置、朝向的准确度,又比如预测下一步行为的准确度。

这是大家通常所关注的三个方面,下面再讲下另外两个很重要的点:

① 能力多样性:能够处理各种不同种类的标注任务的能力,对地图来说我们需要标注车道线,对于感知来说我们需要标交通灯、障碍物,还有行为预测所需要的标注等。

② 标准灵活性:各种长尾场景(如雨点,汽车尾气等)的处理方式在不断的探索和迭代,随之标注的方式也在不断的探索和迭代,如何保证在这些快速探索和迭代过程中标注团队直接的高效沟通,不至于出现混乱,这需要花很多精力去做。

2. 团队构成

如下图所示:

4.JPG

3. 效率提升与成本控制

技术手段:

① 默认障碍物大小:第一帧可以通过一些人机交互的方式默认障碍物大小。

5.jpg

② 自动追踪外推:接下来,比如说标注员跳了一帧到第3帧,然后把车新的位置手工找到了,当再跳到第5帧的时候,系统就可以通过智能算法做到自动的追踪外推来找到车在第5帧中的新位置。

6.jpg

③ 自动插值:当车在第1帧、第2帧、第5帧的位置都标出来之后,系统可以做自动插值,自动找到车在第2帧,第4帧中的位置。

7.JPG

这里大概看下车的整个标注过程,以及人机交互方面的技巧,通过人工智能的方法提高标注员的效率。

相比于车载系统,智能标注系统所受的限制更少:

① 更多的可用信息:比如在尝试智能标注某一帧数据的时候,可以参考其后的数据帧里的信息;

② 更宽松的计算资源和时间限制。

需要注意的问题:

  • 对自动化结果的依赖,可能导致标注结果中产生系统性偏差

  • 如何发现和识别这些系统性偏差

  • 不同的自动化功能,产生系统性偏差的几率和程度各不相同

非技术手段:

① 薪酬激励

② 组织结构设计:这里最主要的是信息流动的结构,比如:具体的某些场景的某个细节如何通过标注平台的某些技巧去标注,如何促进这些技巧在标注团队内部被高效地总结、传播。

③ 各工段之间成本平衡:系统化的思考,我们标准的流程分为标注、质检、复检等多个工段,通过各工段的配合达到整体的优化,而不是单纯的只优化某个工段。

当然所有的非技术手段依赖于标注平台对于标注任务生命周期与标注团队架构、绩效的管理。

4. 系统能力

3.JPG

这里的一个核心目标是何如保证系统在大规模标注团队持续高频使用的条件下能保持稳定运行。这里举一个因为平台不稳定性产生的焦虑感,进而导致恶性循环的例子:

  • 保存失败:比如标注了5分钟,尝试保存的时候失败了。

  • 工作成果丢失的焦虑感

  • 更加频繁地尝试保存

  • 系统负载进一步提高

  • 系统稳定性和响应速度进一步下降

而且有些时候牵扯到外部合作商时,会进步一加剧一种情况:信任成本升高,降低长期合作意愿。

这对我们提出的要求是:

① 不断优化、提升效率

② 保持稳定、保障效率:最细微的稳定性问题都可能导致效率下降

③ 良好的工程实践:

  • 与线上系统隔离的完整测试环境,要求能较为准确地重现线上数据规模和数据分布

  • 分级发布流程

  • 线上系统监控及应急处理预案

关于提升效率的 Tips:

  • 开发:实现效率优化方案

  • 测量:在实现方案后,对标注员的操作流程和节奏进行记录和准确复现

  • 提升:在测量和观察中,发现可能的效率提升点,然后再循环到第一点。

数据驱动开发

2.JPG

上图是我们的一个愿景:先是利用机器智能,提高人工标注效率,然后利用人工标注结果,提升机器智能,最后再反过来利用机器智能,提高人工标注效率,达到一个交互促进的过程。

1. 充分利用海量标注数据

① 分布式训练和评测系统

② 人工标注的质量是有极限的,这需要我们:

  • 对标注数据的进一步处理与修正

  • 在设计评测指标时,要考虑到标注数据常见的质量问题。避免设计出的评测指标对于这些常见质量问题过于敏感。

2. 数据索引平台

数据在各个维度上的分布,例如:

  • 时段和天气

  • 道路等级

  • 障碍物种类

  • 住宅、商业区、工业区

当我有了索引平台,可以做的事情有:

① 标注任务筛选:基于分布上不平衡的维度,对路测原始数据的自动化初筛

② 训练数据选取:按照指定的维度检索访问标注数据

③ 评测数据集维护:难度和规模分级

数据驱动决策

1. 路测事件分析

1.jpg

  • 问题路段

  • 问题模块

  • 问题车辆

  • 问题时间段

  • 深入分析的工具

2. 数据展现方式

这里我们主要面临的挑战:

  • 准确性:给的数据要靠谱,有说服力

  • 实时性:每次采集的数据都可以实时更新

  • 易用性:从界面上可以直观的看到关键数据

这需要我们:

① 以用户为中心,依据关键决策流程,不断迭代与优化

② 根据不同受众和使用场景,提供差异化的视图

  • 运营团队周会

  • 公司高管 C-level

  • 团队 tech lead

③ 在每个视图中,提供最简洁实用的图表

  • 在默认视图中,提供刚刚好用户想要的信息,不多不少

  • 对于每一个数据点,提供进一步深入分析的工具


自动驾驶仿真软件列表

博客gaohong 发表了文章 • 0 个评论 • 203 次浏览 • 2019-07-30 14:52 • 来自相关话题

目前做的比较好的自动驾驶仿真平台的列表和个人评价,仅供参考 点击名称进入官网/github主页 列表的分类基于仿真软件的基础构架 不另外说明的话,都是可在Windows上使用的•自动驾驶仿真软件列表 ...查看全部

目前做的比较好的自动驾驶仿真平台的列表和个人评价,仅供参考
点击名称进入官网/github主页
列表的分类基于仿真软件的基础构架
不另外说明的话,都是可在Windows上使用的

•自动驾驶仿真软件列表


◾基于Unity或虚幻引擎


◾基于GTA


◾基于机器人仿真软件


◾基于汽车动力学仿真软件
1.jpg


一、基于Unity或虚幻引擎

这些软件基本上都是开源的,上面三个比较好,第三个只能说很难得有人独立写出个仿真来,给个鼓励奖吧,最下面那个传感器做的不错但完全是卡通风格。。。这类仿真的弱项是传感器,目前没看到特别好的激光雷达方案,另外对计算力要求很高,毕竟渲染的效果在那里。。。
2.JPG
Udacity Unity 开源 Udacity出品的基于Unity的自动驾驶仿真平台,功能比较简单,可以自行编辑地图和车辆模型,同时有不少在此基础上进行功能补充的项目。Github上大多数有simulator标签的自动驾驶项目其实都是基于这个或与其有关的
CARLA Simulator Unreal4 开源 没实际尝试过,看视频效果不错,有激光雷达的仿真
AirSim Unreal4 开源 微软出的,除了车还能做四轴的仿真,控制真心反人类,有效的利用了虚幻引擎强大的光影渲染效果使得仿真效果很好
SdSandbox Unity 开源 某人做的,仅具雏形,似乎作者已弃坑( ̄ω ̄;)
DRL Based Self Driving Car Control Unity 开源 不错的仿真软件,然而只仿真控制和传感器,不仿真环境渲染

二、基于GTA


直接使用GTA或其他类似游戏作为仿真环境,缺少传感器接口,但GTA场景的复杂度,渲染真实度和高随机性都是远超其他仿真软件的

3.JPG

Morse Blender 开源 Blender是一个游戏引擎,但由于这个软件本来是用于机器人仿真的,姑且放入这个列表里
Gazebo 多引擎 开源 ROS标配,我就没成功启动过╮(´∇`)╭
Webots 多引擎 商业 30天试用,无学生版,无破解

三、基于机器人仿真软件

原本作为机器人仿真软件使用,能够很轻松的改为自动驾驶仿真软件,这类软件的特点是比较好的动力模型,和各种传感器的仿真。相应的光影渲染效果会比较差。

4.JPG
四、基于汽车动力学仿真软件

老牌汽车设计厂商使用的基于ADAS仿真改造的软件,渲染效果差一些,传感器也相对弱一点,但对物理和汽车动力学模型的仿真应该是相当的厉害了
5.jpg

66号社区——赛迪智能网联汽车知识社区正式上线运营

博客自动驾驶小能手 发表了文章 • 1 个评论 • 271 次浏览 • 2019-07-26 18:30 • 来自相关话题

2019年7月26日下午,北京,香格里拉酒店,在2019行业信息化技术创新发展峰会上,中国电子信息产业发展研究院(赛迪集团)正式发布赛迪智能网联汽车知识社区——66号社区(http://icv.ccidnet.com/)。该社区是以生态构建为己任,专注新 ...查看全部

2019年7月26日下午,北京,香格里拉酒店,在2019行业信息化技术创新发展峰会上,中国电子信息产业发展研究院(赛迪集团)正式发布赛迪智能网联汽车知识社区——66号社区(http://icv.ccidnet.com/)。该社区是以生态构建为己任,专注新兴的智能网联汽车领域,为开发者、企业、科研机构提供知识分享和技术交流的平台。

微信图片_20190617162027.jpg

66号社区LOGO

汽车产业已成为未来发展空间最大的产业,随着新一轮技术革命和产业变革的蓬勃兴起,智能化、网联化已成为新一代汽车发展的战略方向。智能网联汽车是汽车产业与人工智能、物联网、高性能计算等新一代信息技术深度融合的产物,是当前全球汽车与交通出行领域智能化和网联化发展的主要方向,已成为各国争抢的战略制高点。在我国,人工智能升级为国家战略,作为人工智能八大领域之一的智能网联汽车,亦被提升至国家战略高度。

IMG_0645

66号社区发布现场

智能网联汽车作为新兴事物,其产业形态新、行业跨度大、应用范围广,它的完善与发展,需要社会各方积极探索、大胆创新。据调查显示,目前智能网联汽车涉及到芯片、传感器、地图定位、交通、通信设备、通信服务、整车制造、操作系统、自动驾驶、ADAS等多个领域,是集ICT与机械制造大成的高融合新兴产业。但在我国,配套的标准规范、跨学科人才储备和生态构建方面仍处于起步阶段。1.jpg

66号社区产品经理孙姗姗发表主题演讲

为培育新兴产业,把握汽车产业转型脉搏,中国电子信息产业发展研究院以知识为切入点,以智能网联汽车技术开发与应用为核心,将智能网联汽车专业知识汇聚在开放的互动平台上,用户在这里可以学习知识、生产知识、分享知识并梳理沉淀知识。同时,社区集媒体、培训、社群为一体,可以全方位服务智能网联汽车从业者。

目前,66号社区提供知识订阅、知识创建、知识课堂、专家库、问答和活动等内容和功能。应用覆盖PC端和移动端,用户可以随时随地获取专属定制化的知识内容,实现高效阅读;我们通过定向邀请和实名认证的方式吸纳智能网联汽车领域专家,他们分享前沿内容,并参与互动答疑;定期制作形式多样的在线课程,由浅入深普及智能网联汽车知识;定期举办技术沙龙,开发者聚会、企业宣讲,主办高端会议和赛事;提供智能网联汽车最新报告或白皮书资源下载;为企业用户提供智能网联汽车人才招聘平台。

qrcode_for_gh_fa0f83d92067_344

扫码加入66号社区

今天,66号社区正式上线运营(http://icv.ccidnet.com/),我们将以开放的心态拥抱智能网联汽车的美好未来。欢迎关注智能网联汽车的个人、企业、科研院所加入到社区中来。未来,66号社区将致力于积累、梳理智能网联汽车系统知识,为新产业研究、人才培养打下坚实基础。我们将凝聚共识,积极推动相关技术标准和规范的制定,为技术攻坚、商业模式落地贡献平台力量。在不断的交流和融合中打破边界,助力智能网联汽车生态快速发展。


使能自动驾驶解决方案的大规模应用解决方案

知识讲堂tututu 发表了文章 • 0 个评论 • 268 次浏览 • 2019-01-19 10:36 • 来自相关话题

Enabling Autonomous Automotive Solutions at Scale 使能自动驾驶解决方案的大规模 应用 Intelligent Vehicle Compute Platform Workshop Beij ...查看全部
Enabling Autonomous Automotive Solutions at Scale
使能自动驾驶解决方案的大规模 应用
Intelligent Vehicle Compute Platform Workshop Beijing  December 2018
 

自动驾驶的五级分类标准如何制定的?

回复

问答自动驾驶小能手 回复了问题 • 4 人关注 • 3 个回复 • 390 次浏览 • 2019-01-19 14:13 • 来自相关话题

商用车自动驾驶落地“进行时”,入围候选企业名单公示「GGAI评选」

博客飞奔的蜗牛 发表了文章 • 0 个评论 • 102 次浏览 • 2019-08-14 11:03 • 来自相关话题

由于驾驶技术对货运行业 ...查看全部

1.jpg

由于驾驶技术对货运行业成本、事故率的降低效应,众多行业人士非常看好货运行业商业化自动驾驶驾驶技术,它将拥有一个可预见的盈利模式。

这样的技术并不见得在全国任何道路都可以实现,目前自动驾驶还有很多的技术存在挑战,但诸如高速公路场景,主要是从封闭的高速公路中,起始到结束端的路况相对简单、标准化,容易实现且能带来实际的经济效益(目前绝大部分的货运都是在长途高速上完成)。

L4的自动驾驶技术实现,需要克服非常多的技术难题,从感知、决策、控制、执行都有非常多的挑战,技术之外还有成本的约束。

从技术实现到真正具备量产、商业化的能力,是真正考验自动驾驶公司竞争力的地方。目前大部分自动驾驶公司都完成了90%左右的技术实现工作,但剩下的10%将会是最难的。

此外,围绕矿区、港口等限定场景的无人驾驶技术落地也正在成为现实,除了自动驾驶初创公司、商用车主机厂的力推,来自终端运营方和客户的需求也正在促使这样的量产接近落地。

同时,各地也在积极推动相关应用示范落地,比如上海去年宣布相关方面正推动自动驾驶技术在本市港口等特定场景实现应用,推动卡车、环卫车等车辆率先探索应用自动驾驶技术

而在相关的零部件方面,按照此前公布的时间计划表,采埃孚将在接下来三年内推出一些即将投产的自动驾驶核心零部件。比如,到2022年,商用车将可使用全电动转向系统。超级计算机ProAI 2.0将于2021年首次用于商用汽车。

在自动驾驶技术方面,采埃孚也认为,卡车比乘用车更适合,因为自动驾驶技术在限定范围和可预测的领域(如港口、物流仓库)最有效。

而在OEM及终端客户最关心的成本方面,当总拥有成本下降时,卡车运输公司将为车队配备相应的辅助驾驶及自动驾驶技术。

目前,一级供应商提供的软硬件方案在前期会更贵,但很快就能通过节省燃料、提高安全性和优化路线收回成本。

2019年9月20-21日,第二届高工智能网联商用车大会将在武汉举办,同期将举办年度智能网联商用车供应链金球奖评选颁奖典礼。

《高工智能汽车》将陆续公布本次评选的入围候选奖项及企业名单公示,也欢迎更多企业自荐报名参选。

第二轮公示入围候选名单(查看第一轮公示名单):

3、商用车自动驾驶方案商(物流类)

图森未来、智加科技、主线科技、畅行智能、飞步科技、希迪智驾、嬴彻科技、牧月科技

4、商用车自动驾驶方案商(专用类)

西井科技、踏歌智行、仙途智能、智行者、高仙机器人、中联重科

5、无人小车线控底盘供应商

小狮科技、格陆博、易咖智车、中云智车

6、商用车OEM智能驾驶研发团队

郑州宇通、东风商用车、一汽解放、金龙客车、陕汽集团、中国重汽、江淮股份、江铃控股、吉利商用车、福田汽车

7、商用车智能驾驶核心零部件供应商(外资)

威伯科、大陆集团、采埃孚、克诺尔

8、智能物流终端应用厂商(电商、城配)

京东物流、苏宁物流、德邦快递、满帮集团、菜鸟网络、驹马物流、G7汇通天下、美团

上述奖项评选线上投票将于8月12日正式开始,其他奖项入围候选名单将陆续发布。欢迎优秀企业自荐报名,请联系:15818636852。


自动驾驶多传感器感知的探索

博客飞奔的蜗牛 发表了文章 • 0 个评论 • 99 次浏览 • 2019-08-14 11:03 • 来自相关话题

Pony.ai 在多传 ...查看全部

1.jpg

Pony.ai 在多传感器感知上积累了很多的经验,尤其是今年年初在卡车上开始了新的尝试。我们有不同的传感器配置,以及不同的场景,对多传感器融合的一些新的挑战,有了更深刻的认识,今天把这些经验,总结一下,分享给大家,与大家一起讨论。

2.JPG

本次分享分为三部分:

•为什么需要多传感器融合?

•传感器融合的一些先决条件

•如何做传感器融合?

为什么需要多传感器融合?

首先,单一传感器在自动驾驶中,都有各自的挑战,所以先了解下常用的传感器的挑战是什么:

1. Camera data

3.JPG

照相机数据遇到的挑战:

① 没有深度信息。

② 视场角有限,以卡车的传感器配置来说,需要比较多的摄像头,这里用到了6个摄像头覆盖了270°的视场角。

③ 摄像头受外界条件的影响也比较大,(上图右下方)这是当车行驶到桥下时,由于背光,且光线变化比较大,导致无法识别正前方的交通灯。

2. Lidar data

4.JPG

激光雷达数据的一个比较大的挑战是感知范围比较近,如右图所示,感知范围平均在 150m 左右,这取决于环境和障碍物的不同。

5.jpg

激光雷达在角分辨度上远远不如照相机,如上图,有三条小狗在过马路,在照相机上可以清楚的看到,但是在激光雷达上,采集到的点是比较少的,这样的场景在每天复杂道路路测的时候会经常遇到。

6.jpg

激光雷达对环境的敏感度也是比较大的,上图为 Pony 路测的时候经常遇到的虚拟噪点的 Case,在车经过建筑工地的时候,在图像上可以看到并没有任何的障碍物,但是在雷达上前面有很多的噪点,右边是雨天中的测试,车辆行驶中溅起来的水花,在激光雷达上都是有噪点的,如何去除这样的噪点,是我们经常面临的挑战。

3. Radar data

8.JPG

毫米波雷达,本身的一个挑战是没有高度信息,毫米波雷达能告诉你这个物体在哪个位置,但是不知道多高,这个 case 就是前面有一个比较高的指路牌,毫米波雷达知道这儿有个障碍物,但是不知道是悬空的。

4. Why sensor fusion

9.JPG

当看过了这些单一传感器在自动驾驶中面临的挑战,自然会想到,做多传感器融合,进行传感器之间的取长补短,来帮助整个感知系统效果的提升。这里的例子是,如何利用多传感器来提升感知的探测距离,当障碍物距离 150m 左右时,激光雷达的反射点已经比较少了,但是这时毫米波雷达和照相机还是比较稳定的。

10.jpg

当障碍物驶出 200m 的范围,基本上没有任何的激光雷达反射点了,但是 200m 取决于自动驾驶车辆本身的车速是多少,200m 的感知距离还是必要的,这时只能通过毫米波雷达和摄像头,来提升对障碍物的感知距离,从图中可以看到障碍物还是可以稳定识别出来的。

传感器融合的先决条件

1. 运动补偿 & 时间同步

① Ego motion

为什么做运动补偿?在自动驾驶传感器感知过程中,传感器采集数据,一般都不是瞬时发生的,以激光雷达为例,采集一圈数据需要 0.1s,在这 0.1s 内,本身车会发生一定的位移,障碍物也会发生一定的位移,如果我们不考虑这样的位移的话,我们检测出来的位置就会不准确。

位移有俩种,第一种就是车自身的位移 Ego motion。右边画了一个示意图,虚线部分可以认为是世界坐标系,红色的点代表一个静态的障碍物,它在坐标系中有一个稳定的坐标(5,5),蓝色部分代表车自己的坐标系是局部坐标系,(4,0)为这个坐标系的原点,在 t+1 时刻,这个坐标系移动到了(6,0)的位置,车沿着 X 方向向前移动了2,在 t 时刻在车自身的坐标系下,障碍物的坐标是(1,5),在 t+1 是时刻,则是(-1,5)。如果不做车自身运动的补偿,静止的物体在2帧之间,测量的局部坐标是不一样的,就会产生错误的速度,因此,要去补偿车本身的位移,做自身的 Motion compensation 运动补偿。这个问题比较简单,因为车是有比较准确的定位信息的,它会提供这俩个时刻,车本身的姿态差距,我们可以利用姿态差,比较容易的补偿车移动了多少,那我们就可以知道这个障碍物其实是没有移动的。

② Motion from others

第二种要考虑的是运动物体在传感器采集的时间段内,运动物体发生的位移,相对于自身运动补偿,这是一个更难的 case,首先快速移动的物体,在激光点云里很可能会被扫到俩次,大家可以看下红圈内,尾部会有拖影。所以我们如何想办法消除对方车的 Motion,也是要考虑的。解决的方式有很多,现在激光雷达本身从硬件上也会有些配置,来缓解这样的现象,简单解释下,当你用多个激光雷达在自动驾驶车辆时,可以让激光雷达按照同样的方式一起转,在某一个特定的时段,特定的方向,应该扫到同样的东西,这样来减少快速移动的物体产生拖影这样的问题。

③ 时间同步

在很多自动驾驶车辆传感器中,大部分支持 GPS 时间戳的时间同步方法。这个方法比较简单,如果传感器硬件支持这些时间同步的方法,拿到传感器数据的时候,数据包中就会有全局的时间戳,这样的时间戳以 GPS 为基准,非常方便。但是,时间戳查询数据会有一个比较明显的问题,举个例子,图中有三个数据,三个传感器和时间轴,不同传感器是以不同频率来采集数据的,以传感器2为例,在 T1 时刻,传感器2有一个数据,在这个时刻,想知道对应的传感器1和传感器3的数据是多少,肯定需要去查找,查找的方式是找对应的传感器数据和传感器2时间差最近的数据包,然后拿过来用,这就取决于查的时候,数据包的时间和 T1 时刻传感器2数据包的时间到底差多少,如果差距比较大,本身障碍物都是在移动的,这样误差会比较大。

然后就有了第二种时间同步的方法,来缓解刚刚说的这种现象。就是主动数据同步的方法,比如以激光雷达作为触发其它传感器的源头,当激光雷达转到某个角度时,触发那个角度的摄像头,这样就可以大大减少时间差的问题,如果把这套时间方案做到硬件中,做到比较低的误差,那么对齐的效果比较好。如上图所示,这时激光雷达的数据就很好的和摄像头的数据结合在了一起。

刚才说到如果一个自动驾驶车辆用了多个激光雷达,激光雷达之间如何同步,减少扫到同样车在不同时间这样的问题,velodyne 是我们常用的一个品牌,支持一种 Phase Lock 功能,能够保证在某一时刻,所有的激光雷达的角度,都可以根据 Phase Lock 的配置,在固定的角度附近。这样如果用俩个前向的激光雷达都设置一个角度,在同一时刻,扫到的东西应该是类似的,这样一个快速行驶的车,被扫到2次的概率就会减少,当然这个办法也不能完全解决问题,比如有个人和我们的激光雷达以同样的频率一起转,那么在激光雷达扫描的点云中,人一直会出现,所以还要通过软件的方法,设置的一些规则或者模型来想办法剔除。

2. 传感器标定

接下来是另外一个比较大的话题:Sensor Calibration 传感器标定。这里主要是指传感器外参的标定。

传感器外参其实就是刚体旋转,因为物体上的俩个点,在经过旋转和平移之后,两个点之间的 3D 位置是不会变的,所以叫刚体旋转,在自动驾驶和机器人上,刚体旋转还是比较常见的。传感器外参的标定就是要找到这样的一个刚体旋转,可以把一个传感器的数据和另一个对齐。相当于把一个传感器测量的数据从其本身的坐标系,通过刚体旋转,转到另一个传感器坐标系,这样就可以进行数据融合了。上图中,左边为图像,中间为雷达,如果有一个比较好的外参工具,可以把 3D 的点投射到 2D 图像上,所有的障碍物的点都可以对应上,相当于把 2D 上的像素都加上了深度的估计。这样在图像质量并不是很高的情况下,可以通过这样的方式把信息补回来。

传感器的标定一般有俩种思路,第一种是有激光雷达的传感器标定,第二种是无激光雷达的传感器标定,之所以这么分,是因为激光雷达采集的数据是完整的 3D 信息,空间中的 ( x,y,z ) 都是准确的,并不会有信息的丢失,而照相机得到的数据,可以认为是极坐标系下的坐标,没有深度和角度,而毫米波雷达是没有高度的。所以,如果有这样的传感器能够提供完全的 ( x,y,z ) 坐标,以此为参照物,其他传感器和激光雷达做绑定的话,会更容易和更准确。Pony 是有激光雷达的,所以今天主要讲有激光雷达的传感器标定方法。

① Multi-Lidar Calibration

首先讲下多激光雷达是如何标定的,上图可以看到正好用到的是两个前向激光雷达,这两个激光雷达在前向180°是有比较大的覆盖区域,如果对激光雷达之间的旋转和平移没有比较好的估计,当把俩张激光雷达的点云放在一起进行感知处理的时候,在红框位置会发现存在比较大的分隔(黄线和蓝线分别代表俩个前向激光雷达),这种情况肯定是不想遇到的,所以需要把多个激光雷达做比较准确的标定。

标定的方法是已知的,非常好解决的问题,因为激光雷达本身是有完全的3D信息,解决这样俩个数据集匹配的问题,就是 ICP(Iterative Closest Point)迭代式最近点方法。这个方法有很多的变种,感兴趣的同学可以百度或者 Google 搜索下。

② Camera Lidar Calibration

另外一个就是照相机和激光雷达之间的标定。照相机本身是没有距离信息的,那么如何去做标定?同样激光雷达是有 3D 信息的,可以通过标定的方式,把激光雷达投到图像的坐标系中,建立图像的像素点,和激光雷达投影后的点之间的匹配,然后通过某种优化方程,来解决这样一个匹配问题。举一个简单的例子,比如现在要选取一系列激光雷达检测出来的候选点,如何选这些点呢?这些点一定是在图像上比较容易能够识别出来的边界点。选取方法也比较简单,因为激光雷达有距离信息,只需要找相邻俩个激光点之间的距离差,就可以判断这样一个点是不是边界点,我们可以轻易的选出这样的候选点,通过这样的投影方式,红框是我们要求的标定参数,K 矩阵为相机本身的内参,通过这个数学关系,我们可以把刚才 3D 中检测的候选点,投到 2D 上,上图中的 X 就是投射后的位置。我们可以根据 3D 投影点和 2D 检测的边界,进行匹配,然后根据他们之间的距离匹配程度,建立这样一个优化方程,然后解这样一个优化问题,来估计出 Calibration 的参数。

大家如果感兴趣可以参考这篇 paper:Automatic Online Calibration of Cameras and Lasers,详细的讲述了其中的数值原理,可以看到绿色的是 3D 点投射到图像上,是一些边界点候选的区域,如果有一个比较好的标定结果,这些边界点会比较好的和图像匹配起来。

3. 传感器视场角

接下来看下传感器不同视场角带来的融合问题。

这里有一个简单的示意图,假设在这个位置上有两个激光雷达,它们有各自不同的视场角,但是前方有个障碍物 A 刚好在传感器2的视场角内把障碍物 B 完全遮挡了,障碍物 B 只出现在一个传感器检测的视场角内部,这带来的问题是:我们到底该不该相信这里存在一个障碍物?这是比较常见的问题,需要我们经过不断的路测,来完善。

如何做传感器融合?

1. Camera Lidar Fusion

首先讲下照相机和激光雷达融合,方法1之前大概讲过,就是说激光雷达有 ( x,y,z ) 比较明确的 3D 观测,通过标定参数,通过照相机本身的内参,就可以把 3D 点投到图像上,图像上的某些像素就会打上深度信息,然后可以做基于图像的分割或者 Deep Learning Model。需要注意的是,多传感器的时候,视场角可能会不一样,可能会造成噪点或者漏点,这里比较推荐的方法是把照相机和雷达安装在一起,越近越好。

另一个比较直观的方法,是否能将 2D 检测出来的障碍物直接投影到 3D,然后生成这样的 3D 障碍物,这种方法,在做很多的假设条件下(比如障碍物的大小,地面是否平整),也是可以做的,如上图,相机的内参,车的位置高度,都是已知的,这时在 2D 上识别出的每个帧的障碍物,都可以还原成 3D 在照相机坐标系下的一条射线,然后找这条射线在 3D 坐标系下和平面的交点,就可以估计出 2D 障碍物在 3D 上的距离。

上图为 Pony 在建筑工地旁采集的数据,可看到这些路障都是直接生成到 3D 的(图中有个漏点,也是我们还需要努力提高的)。

2. Radar Lidar Fusion

至于毫米波雷达和激光雷达的融合方式就更简单了。因为在笛卡尔坐标系下,它们都有完整的 ( x,y ) 方向的信息,那么在普适的笛卡尔坐标系下,做针对于距离的融合,而且毫米波雷达还会测速,对障碍物速度也是有一定观测的,然后激光雷达通过位置的追踪,也会得到障碍物速度的估计,这些速度的信息也可以用来做融合,帮助筛选错误的匹配候选集。

这是 Pony 激光雷达和毫米波雷达融合的效果,红圈里的障碍物是 radar 补充的。

当然,不同传感器之间融合的特例还是很多的,比如激光雷达和毫米波雷达融合的时候,可以看到,这个场景是前方有比较高的路牌时,毫米波雷达会在这个位置产生障碍物,恰好激光雷达也有噪音,因为恰好前方有车,这时在牌子底下也会产生噪点,所以激光雷达和毫米波雷达都在这个地方检测出来本不应该出现的障碍物,这时两个传感器都告诉你前方有个障碍物,只有摄像头说前方只有一个障碍物,这时该怎么办?(如果想了解 Pony 具体如何解决的,欢迎大家加入 Pony,我会告诉你答案o(∩_∩)o)

总结

总结来说,每个传感器都有自己的一些问题,传感器融合就是说我们要把这些传感器结合起来做取长补短,提升整个感知系统的精度和召回度,今天就分享到这里,谢谢大家。

嘉宾介绍

刘博聪,Pony.ai Tech lead,公司创始成员。CMU 电子与计算机工程硕士,作为 Pony.ai 创始成员之一,参与了多个无人车模块的设计开发工作,目前主要负责感知系统技术研发。曾就职于百度美国研究院,负责自动驾驶研发;曾就职于 Qualcomm 圣迭戈总部,参与 QNX 车载芯片的嵌入式开发项目。


自动驾驶技术之基于深度学习的多传感器标定

博客飞奔的蜗牛 发表了文章 • 0 个评论 • 107 次浏览 • 2019-08-12 09:20 • 来自相关话题

标定是确定不同坐标系的相互转换关系,是传感器数据融合的前提,特别是激光雷达和图像数据。这里以深度学习的方法训练CNN模型去回归坐标系转换的参数。主要是两个CNN模型:RegNet和CalibNet。RegNet应该是第一个深度 ...查看全部

标定是确定不同坐标系的相互转换关系,是传感器数据融合的前提,特别是激光雷达和图像数据。这里以深度学习的方法训练CNN模型去回归坐标系转换的参数。

主要是两个CNN模型:RegNet和CalibNet。

RegNet应该是第一个深度卷积神经网络(CNN)推断多传感器的6自由度(DOF)外参数标定,即激光雷达(LiDAR)和单目摄像头。RegNet将标定的三个步骤(特征提取、特征匹配和全局回归)映射到单个实时CNN模型中。在训练期间,随机对系统进行重新调整,以便训练RegNet推断出激光雷达投影到摄像头的深度测量与RGB图像之间的对应关系,并最终回归标定外参数。此外,通过迭代执行多个CNN,在不同程度失标定(decalibration)数据上进行训练。如图是一个例子。

1.jpg

 

失标定


2.JPG

 

标定基础事实(GT)


3.JPG

 

RegNet标定结果

首先,传感器坐标系中给出的点x变换为世界坐标系中的点y,定义为一个仿射变换矩阵H,即y = Hx。估计变换矩阵H的任务称为外标定。应用深度学习,需要重新定义外标定的问题,在给定初始标定Hinit和基础事实标定Hgt的情况下,确定失标定矩阵φdecalib,其定义如下


4.JPG

 

然后可以随机改变Hinit以获得大量的训练数据。为了能够建立标定过程可观测的对应关系,用Hinit和摄像头内参数矩阵P将激光雷达点投影在摄像头图像平面上,即


5.jpg

 

在每个像素(u,v),如果没有投射的激光雷达点,则存储投影点的逆深度值(摄像头坐标)zc或者为零。 由于相比图像像素的数量大多数常见的激光雷达传感器仅提供少量测量数据,因此深度图像非常稀疏。为了对付这种稀疏性,在输入深度图使用最大值池化(Max Pooling)对投影的激光雷达深度点上采样。

下面图展示的是Regnet的结构框图,其实现深度和RGB图像之间的标定。 使用初始标定Hinit将深度点投影在RGB图像上。在CNN网络的第一和第二部分,使用NiN(Network in Network)块来提取丰富的特征以进行匹配,其中索引显示NiN块的第一卷积层的核大小k。 特征通道的数量显示在每个模块的右上角。 CNN网络最后一部分通过使用两个全连接层收集全局信息来对失标定进行回归。(注:NiN块由一个k×k卷积,然后是几个1×1卷积组成。)在训练期间,失标定矩阵会被随机排列,形成深度点的不同投影数据。

6.jpg

 

如下图所示,深度点的投影随给定的初始标定值而强烈地变化。当初始校准从标定的基础事实(GT)旋转偏离20°平移偏离1.5米的时候,可能导致激光雷达点云的投影的大多数点在图像区域之外,难以与RGB图像建立对应关系。


7.JPG

即使在这些情况下,训练的CNN网络仍然能够改进标定。使用新的估计标定参数可以再次投影深度点,从而产生更多供相关计算的深度点。 然后,该步骤多次迭代即可。

初始化

结果

CalibNet是一个自监督的深度网络,能够实时自动估计激光雷达和2D摄像头之间的6-自由度刚体转换关系。在训练时,不进行直接监督(例如不直接回归标定参数);相反,可以训练网络去预测标定参数,以最大化输入图像和点云的几何和光度一致性。

下图是CalibNet的流程图:(a)来自标定摄像头的RGB图像;(b)原始激光雷达点云作为输入,并输出最佳对齐两个输入的6-自由度刚体变换T;(c)显示错误标定设置的彩色点云输出;(d)显示使用CalibNet网络标定后的输出。

9.JPG

 

该网络将RGB图像、相应的误标定(mis-calibration)的激光雷达点云和相机标定矩阵K作为输入。作为预处理步骤,首先将点云转换为稀疏深度图,将激光雷达点云投影到图像平面即可。由于初始误标定的不准确,将误标定点投影到图像平面会导致稀疏深度图与图像(严重)不一致,如上图(c)所示。 将RGB输入图像和稀疏深度图标准化为±1的范围,然后用5 x 5最大池化窗将稀疏深度图最大池化为半致密深度图。

虽然网络的输出可直接预测平移,但需要将so(3) 中的输出旋转矢量转换为其对应的旋转矩阵。一个元素ω ∈ so(3) 可以通过使用指数图(exponential map)转换为SO(3)。

一旦将网络预测的标定参数转换为T∈SE(3)中的刚体变换,就会使用3-D空间变换器层(Spatial Transformer Layer),通过预测变换T对输入深度图进行变换。这里扩展了原始的3D空间变换器层以处理稀疏或半致密的输入深度图,如上图(d)。

下图是CalibNet的网络结构图。网络主要由”RGB”和”深度”2个不对称分支组成,每个分支执行一系列,因此”深度”流的滤波器在每个阶段都会减少。然后两个分支的输出沿着信道这个维度连接并通过一系列附加全卷积和批规则化(Batch Norm)层,用于全局特征聚合。将旋转和平移的输出流分离,以捕获旋转和平移之间可能存在的模态差异。网络的输出是1×6矢量ξ=(v, ω)∈ se(3), 其中v是平移速度矢量,ω是旋转速度矢量。

自动驾驶技术之基于深度学习的多传感器标定

 

下面是损失函数的定义:

1. 光度损失:在通过预测的T变换深度图之后,检查预测的深度图和正确的深度图之间的密集像素误差,误差定义为,

自动驾驶技术之基于深度学习的多传感器标定

 

2. 点云距离损失:3D空间变换器层允许在反投影(back projection)后的点云转换。 在这个阶段,尝试度量尺度最小化未校准的变换点和目标点云之间的3D-3D点距离。距离测量有

a) Chamfer 距离

自动驾驶技术之基于深度学习的多传感器标定

 

b) 推土机距离(Earth Mover’s Distance):

自动驾驶技术之基于深度学习的多传感器标定

 

c) 质心ICP距离

自动驾驶技术之基于深度学习的多传感器标定

 

最后,整个损失函数定义为:

自动驾驶技术之基于深度学习的多传感器标定

 

下图是CalibNet标定的一些结果。第一行显示输入的RGB图像,第二行显示投影到图像上的相应的误标定的激光雷达点云。 第三行显示使用网络预测变换投影的激光雷达点云,最后一行显示相应的基础事实结果。 第二行中的红色框表示未对齐,而在第三行中,红色框表示标定后的正确对齐。

自动驾驶技术之基于深度学习的多传感器标定

本文作者:黄浴(自动驾驶科学家/工程师)


自动驾驶技术之强化学习(RL)简介

博客gaohong 发表了文章 • 0 个评论 • 129 次浏览 • 2019-08-09 09:45 • 来自相关话题

强化学习(Reinforcement Learning),实际上是讨论一个自主的代理(agent)在环境中如何感知和最优地行动(act),最终实现给定的目标(goal)【1】。下图给出一个代理和环境交互的示意图。其中状态S,行动A,奖励(reward)R ...查看全部

强化学习(Reinforcement Learning),实际上是讨论一个自主的代理(agent)在环境中如何感知和最优地行动(act),最终实现给定的目标(goal)【1】。下图给出一个代理和环境交互的示意图。其中状态S,行动A,奖励(reward)R,代理的目标是学习从状态S到行动A的控制策略,最大化累积的奖励(cumulative reward),其中每次奖励还会随着时间衰减,衰减因子取【0,1)之间的数。

• 问题建立

RL代理随时间推移与环境交互。在每个时间步t,代理接收状态空间S的状态st,并且跟从策略π(at | st)从行动空间A中选择行动at,该策略是代理的行为,即从状态st到行动at的映射。 代理接收标量奖励rt,并根据环境动态或模型转换到下一个状态st+1,其中奖励函数以及状态转移概率分别是R(s,a)和P(st+1 | st,at)。在一个情节(episodic)问题,这个过程一直持续到代理达到终端状态然后重新启动。回报是衰减的累积奖励(accumulated reward),衰减因子γ∈【0,1),则

代理的目标是最大化每个状态这种长期回报的期望。问题在离散状态和行动空间中建立起来。 但扩展到连续空间并不困难。在部分可观察的环境中,代理不能完全观察系统状态,但还是有观察的结果。

当RL问题满足Markov属性时,即,未来仅取决于当前状态和行动,而不取决于过去,它被表述为由5元组定义的马尔可夫决策过程(MDP)(S,A,P,R,γ)。当系统模型可用时,动态规划(DP)方法被采用,那么策略评估(policy evaluation)计算策略的价值/行动(action)价值函数,而价值迭代和策略迭代找到最优策略。没有模型可用时,采用RL方法。有模型可用时,RL方法也可以工作。另外,RL环境可以是多臂强盗(multi-armed bandit),MDP,POMDP,游戏等。

注:多臂强盗问题是指一个固定的有限资源集在竞争(备选)选项之间分配,要求最大化它们的预期收益,其中每个选择的属性在分配时仅部分已知,并且随时间的推移或通分配资源后能更好地被理解。

• 价值函数

价值函数是对预期的、累积的、打折的和未来的奖励预测,衡量每个状态或状态-行动对的好坏程度。状态价值,

是来自状态s的后续策略π的预期回报。 行动价值

1.jpg

是在状态s中选择行动a然后遵循策略π的预期回报。价值函数vπ(s)分解为Bellman方程:

一个最优状态价值

是状态s的任何策略可实现的最大状态价值,它分解为Bellman方程:

行动价值函数qπ(s,a)分解为Bellman方程

2.JPG

一个最优行动价值函数

是对状态 s 和行动a的任何策略可实现的最大行动价值,它分解为Bellman方程:

这里最优策略记作π∗。

• 探索与开发

RL代理需要在探索不确定策略和开发当前最佳策略之间进行权衡,这是RL的一个基本困境。 这里我们介绍一种简单的方法,ε-贪婪(greedy),其中 ε ∈(0,1),通常是接近0的小数。在ε-贪婪中,代理选择贪婪行动a =argmaxa∈AQ(s,a) 对于当前状态s,概率为1-ε,并且选择概率为ε的随机行动。 也就是说,代理以概率1 - ε开发当前价值函数估计,并以概率ε进行探索。

• 动态规划

动态编程(DP)是解决最优子结构和重叠子问题的一般方法。MDP满足这些属性,其中Bellman方程给出递归的分解,并且价值函数存储和重用子解决方案。DP充分了解MDP的传递和奖励模型。预测问题是评估给定策略的价值函数,并且控制问题是找到最优价值函数和/或最优策略。

迭代策略评估是评估给定策略π的方法。它迭代地应用Bellman期望备份,

因此,每次迭代k + 1,对所有状态s∈S,从其后继状态vk(s')的价值函数更新vk + 1(s)。价值函数将收敛于vπ,即策略π的价值函数。

策略迭代(PI)在策略评估和策略改进之间交替,以生成一系列改进策略。在策略评估中,估计当前策略的价值函数以获得vπ。在策略改进,当前价值函数用于生成更好的策略,例如,相对于价值函数vπ选择贪婪的行动。包括迭代策略评估和贪婪策略改进的策略迭代过程将收敛到最优策略和价值函数。

可以修改策略迭代步骤,在收敛之前停止它。广义策略迭代(GPI)由任何策略评估方法和任何策略改进方法组成。

价值迭代(VI)可找到最优策略。它迭代地应用Bellman最优性备份,

每次迭代k + 1,对所有状态s∈S,它从vk(s')更新vk + 1(s)。这样的同步备份将收敛到最优策略的价值函数。 可能有异步DP,并且是近似DP。

• 蒙特卡洛

蒙特卡罗方法从完整的经验情节(episodes)中学习而不是假设传递或奖励模型的知识,使用样本方法进行估计。蒙特卡罗方法仅适用于情节任务。

使用蒙特卡罗方法进行策略评估时,使用经验平均收益而不是预期收益进行评估。根据大数定律(law of large numbers),估计的价值函数收敛于策略的价值函数。

有策略的蒙特卡罗控制遵照广义的策略迭代方案。而政策评估,使用蒙特卡罗策略评估来确定行动价值。为了改善策略,使用ε-贪婪的策略改进。

在非策略学习中,跟随行为策略评估目标政策。借着非策略性,可以从人或者其他代理的观察中学习,重用旧策略的经验,在听从探索性策略的同时学习最优策略,基于一个策略的经验学习多个策略。

对非策略蒙特卡罗方法可以用重要采样(importance sampling),在整个情节中乘以重要采样的校正权重,用行为策略产生的经验评估目标政策。

• 时间差异(TD)学习

时间差异(TD)学习是RL的核心。TD学习通常是指价值函数评估的学习方法。Q-学习也被认为是时间差异学习。TD学习直接以无模型、在线和全增量的方式自举(Bootstrapping),从TD误差的经验中学习价值函数V(s)。 TD学习是一个预测问题。更新规则是V(s)←V(s)+ α[r + γV(s')- V(s)],其中α是学习率,r + γV(s')- V(s)被称为TD误差。

Q-学习(Q-learning)是一种无策略(off-policy)寻找最优策略的控制方法。Q-学习要学习行动价值函数,用更新规则Q(s,a)←Q(s,a)+α[r +γmaxa'Q(s',a')- Q(s,a)]。Q-学习通过最大运算符(max operator)相对于行动价值贪婪改进了策略。

TD学习和Q学习在某些条件下趋同。从最优的行动价值(action value)函数,可以得出最优的策略。

TD 学习伪代码实现:

Q-学习伪代码实现:

• 多步(multi-step)自举

上述阐述的算法称为TD(0)和Q(0),即一步返回进行学习。可以在前视图采用多步返回的学习就变成它们的改进型。在n-步更新,V(st)更新为n-步返回,定义为,

后视图的合格性踪迹(eligibility trace)提供一个在线的增量实现,则产生TD(λ)和Q(λ)算法,其中λ∈[0,1]。 TD(1)与蒙特卡罗方法相同。合格性踪迹是一种短期记忆,通常在情节(episode)中持续,通过影响权重向量协助学习过程。权重向量是一个长期记忆,在整个系统时间持续,决定估计的价值。合格性踪迹有助于解决长期延迟的奖励和非马尔可夫任务。

为预测算法,TD(λ)用合格性踪迹和衰减参数λ统一了一步TD预测TD(0)和蒙特卡罗方法TD(1)。同理,也可以统一多步TD控制算法。

• 基于模型的RL

Dyna-Q整合学习、行动和规划,不仅从实际经验中学习,还可以通过学习模型的模拟轨迹进行规划。下图是Dyna-Q 的伪代码实现。

• 函数近似

讨论上面的表格案例,其中价值函数或策略以表格形式存储。当状态和/或行动空间很大或连续时,函数逼近是一种泛化的方法。函数逼近的目的是从函数的例子推广,构造整个函数的近似;强化学习中的函数逼近通常将每个备份视为训练示例,并遇到非平稳性、自举和延迟的目标等新问题。线性函数逼近是一种流行的选择,部分原因在于其理想的理论属性。

TD(0)函数近似的伪代码实现:

• 策略优化

与基于价值的方法(如TD学习和Q-学习)相比,基于策略的方法直接优化策略π(a | s;θ)(具有函数逼近),并通过梯度下降更新参数θ。 与基于价值的方法相比,基于策略的方法通常具有更好的收敛性,在高维或连续行动空间有效,并且可以学习随机策略。然而,基于策略的方法通常会收敛到局部最优,无法评估,并且出现高方差。随机策略很重要,因为一些问题只有随机最优策略。

REINFORCE 伪代码实现:

Actor-Critic伪代码实现:

• 参考文献

Y Li,“Deep Reinforcement Learning”, arXiv 1810.06339, 2018

• 附注

当深度神经网络用来表示状态或观测向量时,我们获得深度强化学习(Deep RL)方法,和/或近似任何强化学习的任何组成部分:价值函数vˆ(s;θ)或q ˆ(s,a;θ),策略π(a | s;θ)和模型(状态转换函数和奖励函数)。这里,参数θ是深度神经网络中的权重。当使用“浅度”模型,如线性函数和决策树等,作为函数逼近器时,我们得到“浅度”RL,参数θ是这些模型中的权重参数。注意,浅度模型(例如决策树)可以是非线性的。深度RL和“浅度”RL之间的明显差异是函数逼近器。这类似于深度学习和“浅度”机器学习之间的区别。通常利用随机梯度下降来更新深RL中的权重参数。当无策略性、函数逼近、特别是非线性函数逼近和自举被组合在一起时,可能发生不稳定性和发散。最近的深度Q-网络工作稳定了学习并取得了出色的成果。(来源:自动驾驶之家 本文作者:黄浴(自动驾驶科学家/工程师))


滴滴“拆分”自动驾驶,重点不只是“单车智能”

博客飞奔的蜗牛 发表了文章 • 0 个评论 • 143 次浏览 • 2019-08-06 16:03 • 来自相关话题

自动驾驶汽车的兴起,将在很大程度上颠覆出行行业,带来新的竞争对手,并改变商业模式。 ...查看全部

自动驾驶汽车的兴起,将在很大程度上颠覆出行行业,带来新的竞争对手,并改变商业模式。

中国的滴滴出行、美国的Uber和Lyft都在为这种转型做准备,各自投资于无人驾驶汽车,并与其他公司建立了合作关系。毫无疑问,这些公司都希望从自动驾驶革命中获益。

今天,滴滴出行宣布旗下自动驾驶部门升级为独立公司(也就是今年3月成立的上海滴滴沃芽科技有限公司), 专注于自动驾驶研发、产品应用及相关业务拓展。

按照计划,滴滴出行CTO张博兼任自动驾驶新公司CEO , 原顺为基金执行董事孟醒出任COO,贾兆寅和郑建强分别担任美国研发团队和中国研发团队的负责人,三人均向张博汇报。



新成立的自动驾驶公司将整合滴滴出行平台资源和原有技术优势,持续加大核心技术研发投入,深入拓展与汽车上下游产业链合作,同时与政府及社会各界积极探讨推动自动驾驶落地。

但,滴滴出行的自动驾驶布局,不能简单地从单一的单车智能角度去看,换句话说这是一条完全不同于纯粹自动驾驶初创公司模式的道路。

在此次官方声明中,滴滴特别强调将把在做网约车上所积累的对安全运营的理解和经验,逐步应用到无人驾驶运营中,同时与政府以及相关方共同探索自动驾驶运营的安全实践准则。

一、安全是第一准则

首先是安全。

2018年本应是滴滴出行又一个光明的一年。在中国蓬勃发展的共享经济中,这家出行服务平台被誉为成功案例。在成立6年后,它已成为中国人出行的默认应用。

去年5月,一名女乘客被滴滴打车司机杀害。仅仅3个月后,另一起事件震惊了中国,一名滴滴用户在类似的情况下丧生。这些安全事件给这家全球最大规模的出行服务公司蒙上了巨大的阴影。

在致公众的一封公开信中,CEO程维承诺“停止使用规模和增长作为衡量标准”。高管们承诺,安全将成为公司未来的首要任务。

滴滴的困境并非独一无二。所有的出行业务,无论规模大小,都面临着肩上的安全重担。“没有人知道在移动出行行业应该如何做到安全,但能够通过技术带来更多的安全是选择项之一。”

随着中国监管收紧,网约车和司机的数量受到挤压,新的商业模式可能会抢走滴滴的客户。

张博曾表示,滴滴加强安全措施,从长远来看将是一个巨大的竞争优势。这其中包括座舱监控、车联网等更多的新技术导入。

实际上,这是滴滴出行领先于其他将商业模式定格为RoboTaxi的公司所缺失的。“这不仅仅是一些安全规范的条条框框,更多的是试错经验。”

滴滴上月表示,自去年开始进行安全整改以来,已取消了30多万名不符合标准的司机的准入资格。

二、大数据,可见的门槛

其次,是数据优势。

滴滴在开发自动驾驶智能汽车方面的一个主要优势是,它拥有庞大的交通服务网络。滴滴约有5.5亿用户,平均每天在400多个城市乘坐3000万次车。

这使得这家中国出行服务公司能够收集大量关于用户以及道路的数据,从他们的出行习惯到各个城市的交通状况。

而一般来说,人工智能系统需要大量所谓的训练数据来学习模式和行为。

“我们每天收集100TB的车辆轨迹数据,”滴滴出行相关负责人表示,为了更好地估计出行路线、价格和任何给定时间的车辆需求,滴滴每天处理的信息几乎是之前的五倍。

而这些数据还有助于城市更好地规划交通网络,避免拥堵。比如,滴滴出行近年来携手中国交通管理部门,推出了智能城市交通管理综合解决方案,被称为:滴滴智能交通大脑。
截止去年的数据,滴滴智能交通大脑已被中国20多个城市采用,基于滴滴的匿名交通数据,实时数据利用云计算和基于AI技术为城市提供一系列的交通基础设施的改进,包括交通流量测量、智能交通信号灯,交通管理规划维护调度和系统评估。

以济南为例,344个十字路口安装了滴滴的智能交通信号系统,为当地通勤者节省了3万多个小时的出行时间,每年节省时间超过1150万小时,平均交通延误时间总共减少了10%至20%。

这就是典型的未来V2X技术的应用场景,滴滴出行的战略以智能交通为核心,作为智能交通服务提供商,把人、车和交通基础设施视为重要组成部分。

“我认为有两种方法可以将自动驾驶技术商业化,”滴滴出行CTO张博此前表态,“首先,进入一个拼车网络,为乘客提供移动出行服务。第二,向消费者销售自动驾驶汽车。第二种方式在未来十年不会大规模发生。”

在张博看来,这背后的原因是,在技术成熟到足以在任何天气条件和道路条件下安全驾驶之前,还有很长的路要走。而拥有一辆只能在晴天或路况良好的情况下驾驶的自动驾驶汽车是没有意义的。

不过,滴滴同样对未来的形态非常明确,“可见的未来,是人类司机和自动驾驶汽车之间的混合模式。”在张博看来,出行平台知道用户的出发地和目的地,就能通过数据分析决定是否适合派遣自动驾驶汽车。

这一点,是所有初创RoboTaxi公司的“软肋”。

“如果我们有信心,我们将把这个请求发送给自动驾驶汽车。如果我们不这样做,我们将派遣一名人类司机。”这就是基于目前滴滴的车队传感器数据及道路基础设施传感器。

数据还将有助于滴滴训练算法。今年初,滴滴公司开始强制要求司机安装一款“桔视”行车记录仪,每部行车记录仪的押金为599元,换车时得交60元的装卸费,不装的话可能导致后期不派单。

滴滴公司回应,称安装行车记录仪是为了司机和乘客的安全考虑。该行车记录仪有两个摄像头,可记录车辆内外的情况。目前还不清楚道路行驶视频数据是否会传输至滴滴的后台。

三、拆分,意料之中

拆分,是滴滴自动驾驶独立运营并对外授权技术(甚至可能包括出售数据进行商业转化)的第一步,包括与其他上下游汽车行业合作伙伴的合作。

滴滴的自动驾驶团队成立于2016年,目前在中国和美国拥有200多名员工。大约一个月前,有消息称滴滴正在与包括最大股东软银在内的投资者谈判,为该部门筹集资金。

“尽管我们在公开场合一直保持低调,但我们在自动驾驶方面投入了大量资金。”张博此前表示,我们有一个庞大的团队,在美国和中国的三个城市持续进行测试。

为此,滴滴出行还在去年从法国一家专利代理机构手中收购了150多项与汽车、自动驾驶相关的专利资产。

在产业链合作方面,去年滴滴和31家汽车产业链企业共同发起成立以开放赋能为核心的“洪流联盟”,推广超过1000万辆共享新能源汽车,并整合用户需求,定制化汽车的设计和生产。

这其中很重要的一点就是滴滴还会与合作伙伴开发专为共享出行设计的智能汽车。去年,雷诺-日产-三菱联盟和滴滴签署了一份谅解备忘录,“探讨未来电动汽车共享计划上的商业合作,同时面向推出机器人车辆叫车服务”。

去年5月,全球最大的汽车制造商之一大众与滴滴宣布将共同成立一家合资公司,取名上海桔众汽车科技有限公司(桔众汽车),其中惠迪天津持股60%,大众汽车持股40%。

近日,丰田向滴滴投资6亿美元,其中也包括双方将成立一家合资公司,共同面向未来移动出行业务的拓展。

有消息人士透露,“与滴滴的合资企业不仅仅是叫车服务。大众希望探索更多移动出行合作项目,以及自动驾驶和机器人出租车。除了车队管理,大众还将向滴滴提供电动和自动驾驶汽车技术。”

而在近日宣布的滴滴出行与广汽集团的合作协议中,除了常规的车型定制化、车队运营、维护管理等合作,还涉及到无人驾驶领域的全方位战略合作。

可以想象,滴滴未来在自动驾驶领域的立足点也将是过去数年积累的用户和数据,以及每天仍在源源不断产生的交通、道路行驶数据。

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(七)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 177 次浏览 • 2019-08-01 12:46 • 来自相关话题

1.png2.png3.png4.png5.png

B、实验结果

所提出的轨迹跟踪控制系统在一辆原型自动驾驶轮内电机4WID电动车辆上实施并成功测试,原型车如图17所示。

选择四个永磁无刷直流(BLDC)电动机作为轮内电动机。角位移传感器用于测量车轮的转向角。横摆率,纵向速度和滑移角等车辆状态量由GPS / INS导航系统精确测量和估算[28],[29]。原型车配备实时视觉系统,由两个CCD摄像头和一个基于PC的中央处理系统组成,视觉系统的处理时间小于每帧20ms。值得一提的是,视觉系统可以实时检测预定的跟踪轨迹并精确确定横向误差和角度误差[15]。道路附着力估计器的带宽为25Hz [27],控制器的采样间隔限制为40ms。图18示出了在实验测试中使用的参考轨迹。相应的初始横向误差和偏航误差分别设定为0.1m和2deg,纵向速度假设为25km/ h。

图19显示了横向误差的实验结果,可以看出所提出的控制方案和LQR控制方案的稳态横向误差分别限制在±0.2m和±0.4m之内,最大横向误差发生在曲率最大的路段。图20示出了角度误差的实验结果,应注意所提出的控制方案和LQR控制方案的稳态角度误差分别在±1°和±2°范围内。图19和图20表明,所提出的AFSMC控制器可以确保自动驾驶车辆实时跟踪参考轨迹,并且与LQR控制器相比,它产生更高的精度和更低的超调量和振荡。图21和图22示出了滑移角和横摆率的响应结果,它们表明所提出的控制器和LQR控制器可以分别将滑移角和横摆率限制在可接受的范围内。然而,所提出的控制系统显着提高了响应精度。图23示出了比较的前转向角,可以看出所提出的控制方案的控制输入比LQR控制器更平滑。图24显示了所提出的控制方法的外部横摆力矩。可以看出,所提出的控制方案可以实时产生外部横摆力矩,这可以增强自动驾驶车辆的横向稳定性。

5.结论

本文提出了一种新的四轮独立驱动自动驾驶汽车的自适应分层轨迹跟踪控制方案。首先,提出了一种基于LMI的自适应滑模高级控制算法,用于确定自动驾驶车辆的前转向和外横摆力矩矢量。由于参数不确定性和外部扰动通常是不可测量的,因此通过模糊控制系统估算所提出的高级控制律的不确定项和控制增益,并引入自适应模糊边界层。然后,设计伪逆控制分配策略以将期望的外部横摆力矩动态地分配到冗余轮胎致动器中。此外,仿真和实验结果表明,所提出的控制方案可以在不同的驱动条件下实现良好的跟踪性能。

参考文献

[1]  J. Guo, K. Li, and Y. Luo,“Coordinated control of autonomous four wheel drive electric vehiclesforplatooning and trajectory tracking using a hierarchical architecture,” J. Dyn.Syst. Meas. Control, vol. 137, no. 10, p. 101001, 2015.
[2] S. Thrun, M. Montemerlo, andH. Dahlkamp, “Stanley: The robot that won the DARPA grand challenge,” J. FieldRobot., vol. 23, no. 9, pp. 661–692,2006.
[3]  E. Kayacan, E. Kayacan, H.Ramon, O. Kaynak, and W.Saeys, “Towards agrobots: Trajectory control ofanautonomous tractor using type-2 fuzzy logic controllers,” IEEE/ASME Trans.Mechatronics, vol. 20, no. 1, pp. 287–298, Feb. 2015.
[4]  R. Marino, S. Scalzi, and M.Netto, “Nested PID steering control for lane keeping in autonomous vehicles,”Control. Eng. Pract., vol. 19, no. 12, pp. 1459–1467, 2011.
[5]  J. Guo, P. Hu, L. Li, and R.Wang, “Design of automatic steering controller for trajectory trackingofunmanned vehicles using genetic algorithms,” IEEETrans. Veh. Technol., vol.61, no. 7, pp. 2913–2924,Sep. 2012.
[6]  J. Huang and M. Tomizuka, “LTVcontroller design for vehicle lateral control under fault in rearsensors,”IEEE/ASME Trans. Mechatronics, vol. 10, no. 1,pp. 1–7, Feb. 2005.
[7]  H.-S. Tan, F. Bu, and B.Bougler, “A real-world application of laneguidance technologies—Automatedsnowblower,” IEEE Trans. Intell.Transp. Syst., vol. 8, no. 3, pp. 538–548,Sep. 2007.
[8]  P. Falcone, F. Borrelli, J.Asgari, H. E. Tseng, and D.Hrovat, “Predictive active steering controlforautonomous vehicle systems,” IEEE Trans. Control Syst.Technol., vol. 15, no.3, pp. 566–580, May 2007.
[9]  N. M. Enache, S. Mammar, M.Netto, and B. Lusetti, “Driver steering assistance for lane-departure avoidancebased onhybrid automata and composite Lyapunov function,” IEEETrans. Intell.Transp. Syst., vol. 11, no. 1, pp. 28–39,Mar. 2010.
[10] L. Liang, J. Gang, C. Jie, Z. Hongjun, C. Dongpu, and S.Jian, “Anovel vehicle dynamics stability controlalgorithm based on the hierarchicalstrategy with constrain of nonlinear tyreforces,” Int. J. Veh. Syst. Dyn.,vol. 53, no. 8, pp.1093–1116, 2015.
[11] C. Geng, L. Mostefai, M. Denai, and Y. Hori, “Direct yaw-momentcontrol of an in-wheel-motored electric vehiclebased on body slip angle fuzzyobserver,” IEEE Trans.Ind. Electron., vol. 56, no. 5, pp. 1411–1419, May2009.
[12] M. Doumiati, O. Sename, L. Dugard, J.-J. Martinez-Molina,P. Gaspar,and Z. Szabo, “Integrated vehicle dynamics control viacoordination of activefront steering and rear braking,”Eur. J. Control, vol. 19, no. 2, pp. 121–143,2013.
[13] C. Hu, R. Wang, F. Yan, and N. Chen, “Output constraint control onpath following of four-wheelindependently actuated autonomous groundvehicles,” IEEETrans. Veh. Technol., vol. 65, no. 6, pp. 4033–4043,Jun. 2016.
[14] J. Wang and R. G. Longoria, “Coordinated and reconfigurablevehicle dynamics control,” IEEE Trans. Control Syst. Technol., vol. 17, no. 3, pp. 723–732, May 2009.
[15] J. Guo, L. Li, and K. Li, “An adaptive fuzzy-sliding lateralcontrol strategy of automatedvehicles based on vision navigation,” Int. J.Veh. Syst.Dyn., vol. 51, no. 10, pp. 1502–1517, 2013.
[16] H. Lee and M. Tomizuka, “Coordinatedlongitudinal and lateral motioncontrol of vehicles for IVHS,” J. Dyn. Syst., Meas., Control, vol. 123, no. 3,pp. 535–543, 2001.
[17] R. Wang, C. Hu, Z. Wang, F. Yan, and N. Chen, “Integrated optimaldynamics control of 4WD4WS electric ground vehiclewith tireroad frictionalcoefficient estimation,” Mech.Syst. Signal Process., vols. 60–61, pp. 727–741, Aug. 2015.
[18] H. Li, J. Yu, C. Hilton, and H. Liu, “Adaptive sliding-mode controlfor nonlinear active suspension vehiclesystems using T–S fuzzy approach,” IEEETrans. Ind. Electron., vol. 68, no. 8, pp. 3328–3338, Aug. 2013.
[19] H. Ho, Y. F. Wong, and A. B. Rad, “Robust fuzzy tracking control forrobotic manipulators,” Simul. Model. Pract. Theory, vol. 15, no. 7, pp.801–816, 2007.
[20] S. Tong and Y. Li, “Adaptivefuzzy output feedback trackingbackstepping control of strict-feedback nonlinearsystems with unknown deadzones,” IEEE Trans. NeuralNetw., vol. 20, no. 1, pp. 168–180, Feb. 2012.
[21] A. F. Amer, E. A. Sallam, and W. M. Elawady, “Adaptive fuzzy slidingmode control using supervisory fuzzy controlfor 3 DOF planar robotmanipulators,” Appl. SoftComput., vol. 11, no. 8, pp. 4943–4953, 2011.
[22] R. de Castro, M. Tanelli, R. E. Araújo, and S. M. Savaresi, “Designofsafety-oriented control allocation strategies for overactuatedelectricvehicles,” Int. J. Veh. Syst. Dyn., vol. 52,no. 8, pp. 1017–1046, 2014.
[23] J. A. M. Petersen and M. Bodson, “Constrained quadratic programmingtechniques for control allocation,” IEEE Trans. Control Syst. Technol., vol.14, no. 1, pp. 91–98, Jan. 2006.
[24] O. Härkegård and S. T. Glad, “Resolving actuator redundancy—Optimalcontrolvs. control allocation,” Automatica, vol. 41, no. 1,pp. 137–144, 2005.
[25] D. Kasinathan, A. Kasaiezadeh, A. Wong, A. Khajepour, S.Chen, andB. Litkouhi, “An optimal torque vectoring control forvehicle applications viareal-time constraints,” IEEETrans. Veh. Technol., vol. 65, no. 6, pp.4368–4378, Jun.2016.
[26] T. Goggia et al., “Integralsliding mode for the torque-vectoringcontrol of fully electric vehicles:Theoretical design and experimentalassessment,” IEEETrans. Veh. Technol., vol. 64, no. 5, pp. 1701–1715,May2017.
[27] L. Chen, Y. Luo, M. Bian, Z. Qin, J. Luo, and K. Li, “Estimation oftire-road friction coefficient based on frequencydomaindata fusion,” Mech. Syst. Signal Process., vol. 85,pp. 177–192, Feb. 2017.
[28] Y. Dai, Y. Luo, W. Chu, and K. Li, “Vehicle state estimation basedon the integration of low-cost GPS andINS,” in Int. Conf. Adv. Veh. Technol.Integr.,Changchun, China, Jul. 2012, pp. 677–681.
[29] W. Chu, State Estimation and Coordinated Control forDistributedElectric Vehicles. Berlin, Germany: Springer, 2016.
[30] J. Guo, Y. Luo, and K. Li, “Dynamic coordinated control foroveractuated autonomous electricvehicles with nonholonomic constraints vianonsingular terminal sliding modetechnique,” Nonlinear Dyn., vol. 85, no. 1,pp. 583–597, 2016.

全文完结

来源:同济智能汽车研究所

 

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(六)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 170 次浏览 • 2019-08-01 12:37 • 来自相关话题

4.结果与讨论为了评估第三节中提出的控制方法的表现,在不同的工作条件下进行了一系列的模拟和实验测试。 ...查看全部

4.结果与讨论

为了评估第三节中提出的控制方法的表现,在不同的工作条件下进行了一系列的模拟和实验测试。

1.png2.png3.png


图(9):双车道变换模拟试验中的横向误差

A、模拟结果

在本节中,为了说明所提出的控制方法对轨迹跟踪问题的有效性,实施了一些matlab-
adams协同仿真测试,在Adams soft中,建立了非线性车辆模型来模拟车辆的可靠动态行为[30]。

首先,对所提出的控制方法进行了鲁棒性能分析,自动驾驶车辆在湿滑路面上以100km/h的高速行驶,附着系数设定为0.3。前后轮胎刚度的不确定参数在测试中的变化范围为正常值的20%到正常值。假设自动驾驶车辆沿直线行驶,初始横向和角度误差分别假设为0.2m和3.5deg。

所提出的轨迹跟踪控制方法的响应结果如图4到图7所示。图4和图5分别描绘了横向误差和角度误差的动态响应。可以发现,在不同的驱动条件下,横向误差和角度误差可以收敛到零,尽管在正常轮胎刚度下的误差振荡比在20%正常轮胎刚度值下误差振荡小。

图6和图7分别示出了滑移角和横摆率的响应结果,它们可以收敛到期望值,这表明自动驾驶车辆在这两个驱动情况下是稳定的。此外,可以看出,所提出的轨迹跟踪控制系统对于自动驾驶车辆的参数不确定性具有很强的鲁棒性,并且实现了良好的跟踪性能。

其次,采用双车道变换作为参考轨迹来说明所提出的控制系统的动态特性,自动驾驶车辆在干路面上以70km/ h的初始速度运行,具有高的道路附着系数0.7并且行驶过程中保持直线行驶没有转向角。双车道变换轨迹如图8所示。自动驾驶车辆以初始横向误差0.1m和初始偏航角1.8deg开始行驶。此外,传统的具有两个控制输入和ΔM的线性二次调节器(LQR)[5]被设计为高级控制律,与现有的AFSMC控制方法形成对比。

图9显示了横向误差的响应结果,当自动驾驶车辆进入车道变换过程时,所提出的AFSMC控制方法和LQR方法的最大横向误差分别为±0.1m和±0.4m。角度误差的响应结果如图10所示,可以发现所提出的控制方法和LQR控制方法的稳态角度误差是有界的,它们的最大值分别小于1.5°和3°。

1.png2.png3.png4.png

图11显示了所提出的ASMFC和LQR控制器提供的相应滑移角,显然,可以发现它们都可以稳定并收敛到可接受的值,但是所提出的控制系统控制的滑移角的超调量比LQR控制系统的小。图12说明了横摆率的响应结果,值得注意的是,与LQR控制器相比,所提出的控制器显着降低了振荡并提高了响应速度。

图13表示转向角的响应结果。可以发现,在路径的曲线部分中由所提出的控制器控制的转向角的幅度变化比LQR控制器的小。图14显示了外部横摆力矩的响应结果,可以看出由所提出的AFSMC方法控制的外部横摆力矩的振荡远小于LQR方法。图15和图16示出了所提出的控制系统和LQR控制系统的四个附加轮胎纵向力的响应结果。它们表明,所提出的PI控制分配法可用于获得更好的分配结果。

未完待续……

来源 | 同济智能汽车研究所 智能转向研究组

 

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(五)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 170 次浏览 • 2019-08-01 12:29 • 来自相关话题

然后,基于 ...查看全部

1.png

然后,基于指定的模糊控制规则库,将饱和函数固定的边界层厚度替换为时变的。

所提出的模糊逻辑系统的输入和输出变量分别是滑动表面矢量s和厚度Φ的2范数。具有模糊集小(SM),中(NM),大(B)的三角型输入隶属函数和具有模糊集宽(W),中(S),窄(N)的输出隶属函数用于模糊逻辑系统,如表1所示。

备注3:控制定律(23)的方向应用时可能会发生抖动,因为它包含符号函数和信号不连续性。

备注4:有必要建立一个准确的车辆动力学模型,以避免由于系统的不确定性引起的控制律的高振幅。

D、伪逆控制分配

自动驾驶4WID电动车采用冗余致动器来提高可靠性和操纵稳定性,但这种过度致动系统的主要挑战是如何有效地处理物理约束和致动器冗余[22]-[24]。由上述高级控制律产生的外部横摆力矩ΔM应分配到四个轮胎中。为了最佳地确定轮胎纵向力并最小化能量消耗[25],[26],自动驾驶车辆的外部横摆力矩的控制分配可以适当地转换为多约束优化问题,如下所示:

2.png3.png4.png

未完待续……

来源 | 同济智能汽车研究所 智能转向研究组

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(四)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 168 次浏览 • 2019-08-01 12:22 • 来自相关话题

1.png2.png1.pngQQ截图20190801114748.png1.png1.png1.png

未完待续……

来源 | 同济智能汽车研究所 智能转向研究组

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(三)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 166 次浏览 • 2019-08-01 12:07 • 来自相关话题

3.系统建模轨迹跟踪控制的掩模用来监督自动驾驶车辆,使其及时跟踪所需路径,并提高乘坐舒适性和稳定性。在本节中,为了处理这些外部干扰、自动驾驶4WID车辆的参数不确定性和过度致动特征[1],[17],设计了一 ...查看全部

3.系统建模

轨迹跟踪控制的掩模用来监督自动驾驶车辆,使其及时跟踪所需路径,并提高乘坐舒适性和稳定性。在本节中,为了处理这些外部干扰、自动驾驶4WID车辆的参数不确定性和过度致动特征[1],[17],设计了一个由两个层次组成的新型自适应分层控制系统,以及相应的控制框架。如图3所示。1.png2.png3.png4.png6.png

未完待续……

来源 | 同济智能汽车研究所 智能转向研究组

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(二)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 166 次浏览 • 2019-08-01 11:58 • 来自相关话题

2.系统描述推导该模型的主要假设如下:1)忽略滚动、俯仰和垂直运动。2)忽略由于载荷变化造成的左右车轮之间轮胎转弯特性的差异;将轮胎模型近似为线性的。3)折扣执行器动态。第一个假设是有效的,在典型的和稍微严 ...查看全部

2.系统描述

推导该模型的主要假设如下:1)忽略滚动、俯仰和垂直运动。2)忽略由于载荷变化造成的左右车轮之间轮胎转弯特性的差异;将轮胎模型近似为线性的。3)折扣执行器动态。第一个假设是有效的,在典型的和稍微严重的车辆操纵下没有明显的精度损失[16]。假设纵向速度为常数值,则使用牛顿定理基于上述假设可得到横向动力学方程,  

1.png

然后,如图1所示,一个以滑移角β和偏航率r为自由度的的两自由度(DoF)动力学模型表示为:

2.png
其中ΔMz为:
3.png
其中参数m是车辆总质量,Iz表示围绕重心(CG)的车辆惯性,vx是纵向速度,δf是前转向角,ls是轮距的一半,lf和lr表示前轮轴和后轮轴距CG的距离。Fyi和Fxi表示第i轮胎的纵向和横向轮胎力,并且i = 1,2,3,4 =fl,fr,rl,rr。

使用轮胎/道路界面的线性模型,则轮胎侧向力可以用前后轮滑移角表示,如下:

4.png
其中Fyf和Fyr分别代表前轮胎和后轮胎的广义轮胎侧向力。Fyf = Fyfl+ Fyfr且Fyr = Fyrl + Fyrr,Cf和Cr分别代表前后转弯刚度。af和ar分别表示前后轮胎侧滑角,其可以计算为:
5.png
将(4)和(3)代入(1),可以得到下列等式:
6.png
其中
7.png
8.png
图2所示为自动驾驶车辆的轨迹跟踪运动学模型,其视觉系统提取道路特征,然后计算车辆和期望路径之间的位置误差。ey是横向误差,其表示当前车辆位置到期望路径的距离,ea是角度误差,其表示车辆航向与预定距离DL处的期望路径的切线方向之间的误差。轨迹跟踪运动学模型可以通过测量获得,如下[15]:
9.png
其中KL(t)表示所需轨迹的曲率。


车辆横向动力学方程(1)与轨迹跟踪动力学(2)相结合,形成具有不确定性和外部扰动的多输入多输出(MIMO)线性系统,可表示为:
10.png
其中系统矩阵可以写成如下形式:
11.png
其中x =[ey ea βr ]T和u =[δf ΔM]T分别是系统的状态向量和系统的控制输入。y =[ey ea]T是系统的测量输出,ω= [KL]T是外部干扰。 ΔA和ΔB分别是不确定项。


所需假设如下:
1)数组(A,B)是稳定的。
2)数组(A,C)是可检测的。
3)状态x可用,w是具有有界变化值的干扰向量。
4)存在已知的常数ρA和ρB,使得II ΔA(t)II≤ρA且II ΔB(t)II≤ρB。
未完待续……
来源 | 同济智能汽车研究所 智能转向研究组

自动驾驶四轮独立驱动电动汽车的自适应分层轨迹跟踪控制方法(一)

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 165 次浏览 • 2019-08-01 11:47 • 来自相关话题

编者按:轨迹跟踪在自动驾驶汽车的驾驶性能中起着极其重要的作用,而对于实现四轮独立驱动(4WID)的轨迹跟踪控制这一点,存在许多诸如参数不确定、不可避免的外部干扰等研究阻力。但文章中提出了一种新颖的自适应分层的自动驾驶跟踪 ...查看全部

编者按:轨迹跟踪在自动驾驶汽车的驾驶性能中起着极其重要的作用,而对于实现四轮独立驱动(4WID)的轨迹跟踪控制这一点,存在许多诸如参数不确定、不可避免的外部干扰等研究阻力。但文章中提出了一种新颖的自适应分层的自动驾驶跟踪控制框架,可以用来监控四轮独立驱动自动驾驶汽车的横向运动。文章主要贡献在于提出了一种自动驾驶4WID电动汽车的分层轨迹跟踪控制结构,其包括自适应高级控制律和低级伪逆控制分配律;并且构造了一种具有基于线性矩阵不等式(LMI)的切换表面的自适应模糊滑模高级横向控制器,可以在车辆具有外部扰动、时变和参数不确定性的条件下保持鲁棒性;最后用仿真和实验结果进一步证明了方案的有效性和可行性。该研究改进了不同驱动条件下的自动驾驶轨迹跟踪性能,有一定的研究意义。

 

本文译自《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 2018》收录文章《An Adaptive Hierarchical Trajectory Following Control Approach ofAutonomous Four-Wheel Independent Drive Electric Vehicles》

原作者:
Jinghua Guo, Yugong Luo, and Keqiang Li
原文链接:
https://ieeexplore.ieee.org/document/8057584
摘要:本文研究了一类具有参数不确定性、外部干扰和过度驱动特征的自动驾驶汽车的跟踪控制问题。提出了一种新颖的自适应分层控制框架,用于监控自动驾驶四轮独立驱动电动汽车的横向运动。首先,设计了一种具有以线性矩阵不等式为基础的切换面的自适应滑模高级控制律,用于产生前转向角和外部横摆力矩矢量,其中不确定项和切换控制增益由逻辑模糊技术进行自适应调节。为了进一步缓和抖振现象,引入了自适应边界层。其次,提出了一种伪逆低级控制分配算法,通过协调和重构轮胎纵向力来优化分配外部横摆力矩。最后,数值模拟和实验结果验证了所提出的自适应控制方法具有突出的跟踪性能。

关键词: 自动驾驶汽车,自适应分层控制,轨迹跟踪控制,车辆横向动态

1.前言

在过去几十年中,有关交通拥堵,意外伤害和环境污染的社会问题变得越来越严重。自动驾驶四轮独立驱动(4WID)电动车,提供四轮独立驱动,可以快速生成对自动驾驶车辆的灵活和精确的扭矩响应[1],并被视为一种有效和系统的方法,以提高道路利用率,提高车辆安全性并降低移动成本。
轨迹跟踪控制在自动驾驶汽车的驾驶性能中起着极其重要的作用,其致力于以尽可能精确的连续和平滑的方式迅速地遵循期望的轨迹。对自动驾驶4WID电动车辆的轨迹跟踪控制的挑战涉及自动驾驶电动车辆具有参数不确定性和不可避免的外部干扰。更重要的是,自动驾驶电动汽车是一种具有非完整约束的机械系统,这进一步增加了车辆动态控制的难度。因此,对于自动驾驶4WID电动车辆的轨迹跟踪控制要求控制方法能够处理参数不确定性、不可避免的外部干扰和不可避免的轮胎滑动效应。

近年来,学者们在自动驾驶车辆的各种轨迹跟踪控制方法上花费了很多的努力。在文献[2]中,设计了一种自动驾驶汽车非线性反馈轨迹跟踪控制系统,该系统参与了2005年DARPA大挑战。在文献[3]中,提出了一种用于自动驾驶车辆轨迹跟踪控制的滑模反馈学习控制器,并提出了2型(Type-2)模糊神经网络的参数更新规则。在文献[4]中,构建了自动驾驶车辆的嵌套比例 — 积分 — 微分控制结构,从理论上研究了该闭环轨迹跟踪控制系统关于速度变化和不确定车辆物理参数方面的鲁棒性。在文献[5]中,提出了一种最优模糊轨迹跟踪控制器来模拟更加人性化的驾驶行为,其中隶属函数和规则的参数由遗传算法(GA)调节。由于车辆横向动力学对纵向速度的变化敏感,因此基于反馈线性化方法和一个不匹配的观测器设计了线性时变控制器[6]。在文献[7]中,为轮胎引起的低速振荡构建了一种新的动态轮胎缺陷模型,并设计了基于线性矩阵不等式(LMI)优化的自动驾驶车辆反馈横向控制结构。在文献[8]中,提出了一种非线性模型预测控制策略,用于自动驾驶车辆的轨迹跟踪控制,以确定在最高可能进入速度下的前轮转向角。在文献[9]中,输入/输出混合自动机框架被设计用于自动转向,并且初步实验测试验证了所提出的控制方法的可行性,其确保了轨迹跟踪控制系统的高性能。

研究车辆操纵和横向稳定性的控制问题是至关重要且有吸引力的。学者们已经在车辆的横向动力学控制策略上付出了很多努力,例如,电子稳定程序(ESP)[10],直接横摆力矩控制(DYC)[11]和主动前轮转向(AFS)控制[12]。由于DYC具有有效改善车辆操纵性和严重驾驶操纵中的主动安全性的能力,因此被认为是一种有前景的横向控制策略。众所周知,DYC设计在四轮独立驱动车辆中以处理轮胎执行器的冗余。为了进一步提高车辆可靠性和操纵稳定性,集成的DYC和AFS控制也得到了广泛的应用。关于车辆的自动转向控制,DYC的应用可以提供快速的扭矩响应和灵活的驱动。但是,基于DYC的自动驾驶车辆轨迹跟踪控制研究却比较有限[13]。

特别地,众所周知自动驾驶4WID电动车辆是过度驱动的系统[14],其可以有效地增强自动驾驶车辆的可用性和可靠性。然而,在冗余自动驾驶车辆系统中,需要将期望的外部力矩最佳地分配给每个轮胎执行器。

本文提出了一种自适应分层轨迹跟踪控制系统,以提高自动驾驶4WID电动汽车的跟踪性能,提高横向稳定性。本文的主要贡献如下:

(一)提出了一种自动驾驶4WID电动汽车的分层轨迹跟踪控制结构,其包括自适应高级控制律和低级伪逆控制分配律。   

(二)构造了一种具有基于线性矩阵不等式(LMI)的切换表面的自适应模糊滑模高级横向控制器,可以在车辆具有外部扰动、时变和参数不确定性的条件下保持鲁棒性。

(三)仿真和实验结果进一步证明了所提出的分层控制方法的有效性和可行性。

本文的其余部分安排如下:在第二节中,讲述自动驾驶4WID电动汽车的横向动力学模型开发。在第三节中,提出了一种新的自适应分层控制框架,包括自适应模糊滑动控制方案和用于自动轨迹跟踪控制的伪逆控制分配方案。提出的控制框架的在严苛的操作条件下的模拟和实验结果在第四节中说明。最后,在第五节中得出结论。

未完待续……       

来源 | 同济智能汽车研究所 智能转向研究组

宝马、戴姆勒、奥迪的自动驾驶战略分析

知识讲堂自动驾驶小能手 发表了文章 • 0 个评论 • 201 次浏览 • 2019-07-31 12:08 • 来自相关话题

01 宝马  传感器布置   目前L2级的5系由13个传感器构成:  1个前置立体摄像头,可识别交通状况,调节前向移动、识别行人,由Veoneer提供(挡风玻璃顶部)  博世的3个LRR模 ...查看全部

01 宝马

  传感器布置 

  目前L2级的5系由13个传感器构成:

  1个前置立体摄像头,可识别交通状况,调节前向移动、识别行人,由Veoneer提供(挡风玻璃顶部)

  博世的3个LRR模组(一个前端,两个后端)

  1个用于定位的GPS,由Harman/Trimble供应;地图由HERE提供,可显示高速公路出口数据(车辆顶部)

  博世的8个超声波

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  功能包括高级自适应巡航控制、交通堵塞辅助、主动辅助、自主泊车助手和其他辅助系统。

  主动辅助(Active Assist):360度防撞系统。宝马为i3配备了四个LiDAR,用于测量和识别周围环境。如果驾驶员太靠近识别到的障碍物,车辆会自动进行制动,甚至让车辆完全停止。但如果驾驶员开始远离障碍物,则制动器被释放,因为系统感知到驾驶员仍然在控制车辆。

  自主泊车助手(Valet Parking Assistant):无需操作员在车内进行自动泊车。适用于在狭小空间和狭窄车库停车。使用智能手表远程激活。

  完全自动驾驶路线图 

  宝马已经为多系列车型搭载了L2级系统。宝马的目标是到2021年与其主要的自动硬件技术供应商Mobileye合作,并在大陆、Aptiv、麦格纳和百度等其他合作伙伴的帮助下达到L3。

  到2021年,宝马计划推出L4/5的测试车队,目标是到2022年具备生产完全自动驾驶车辆的能力。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  下图为宝马的自动驾驶路线图:

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  转型为技术公司 

  宝马的目标是转变为一家技术公司,以便将自动驾驶汽车技术推向市场。为了实现这一目标,宝马正在建设两个额外的自动驾驶园区和一个新的驾驶模拟中心。

  新的慕尼黑自动驾驶园区是迈向全自动驾驶的下一步,覆盖从软件开发到道路测试。该园区将拥有敏捷的团队,办公室之间的距离很短,决策过程也会很短。最后宝马希望在这个新园区雇用大约1,800名员工。

  第二个办事处将在以色列特拉维夫,主要负责自动驾驶领域前瞻性技术与趋势的研究。由来自不同学科的专家组成的小型敏捷团队将与当地初创企业密切联系,评估并推动相关趋势、技术和创新。他们会将以色列的所有技术企业纳入考虑范围,该团队还将寻求与大学建立联合研究项目。

  宝马认为,位于慕尼黑的新驾驶模拟中心将成为世界上最先进的现实驾驶情况模拟设施。该公司的目标是在2020年完成这个新模拟中心的指导。

  主要合作伙伴 

  自动驾驶:Intel/Mobileye、大陆、FCA、麦格纳、Aptiv、百度

  传感器:摄像头、雷达、LiDAR

  传感器数据融合

  道路模型

  驾驶策略/计划

  高精地图与定位:HERE、Intel/Mobileye、四维图新

  厘米级精度

  实时能力

  高可靠性

  5G基础设施:奥迪、戴姆勒、Intel、爱立信、华为、诺基亚

  超低迟延

  超高可靠性

  超高数据传输速度

  监管机构与协会:NHTSA、VDA、ACEA

  全球法规

  统一认证

  道路侧开发的安全性

02戴姆勒 

  传感器方案 

  奔驰在自动驾驶领域其实有比较长的历史了,代表性的研发成果就是S500 Intelligent Drive,结合了强大的软件算法、摄像头和雷达,不需要任何人驾驶汽车。相同技术的开发已应用于商用的2017款E Class。

  奔驰在汽车安全系统方面拥有数十年的创新,其中许多都是当今整个行业的标准配备了。下面显示了奔驰在车型上引入的安全系统的时间表。它的范围从1959年的Crumple Zone到如今的可降低内耳损伤风险的系统。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  奔驰目前的L2高端车型的传感器融合方案共包含23个传感器,

  12个超声波(前后各6个),供应商是博世

  4个多模雷达(4角),供应商是Veoneer

  4个摄像头(前后各1个,两个后视镜上各1个),供应商是麦格纳

  1个LRR(前),供应商是大陆

  1个多用途立体摄像头(挡风玻璃顶部),供应商是Veoneer

  1个转向柱位置传感器

  当然供应商的部分似乎也有后补的方案,不过是按量大的写的。

  自动驾驶路线图

  L0 

  奔驰的车型有各种L0级警告和主动安全功能,其中许多是标配。

  L1 

  截至2019年,奔驰的车型基本都提供了L1/L2驾功能。L1的一个例子是称为Active Distance Assist DISTRONIC的ACC,此功能可自动保持与同一车道前方车辆所需的跟随距离。根据距离,系统可实现在正常操作条件下自动制动或加速。但还无法处理所有交通情况,因此需要预警和驾驶员保持注意力,并在需要时及时接管操作。

  奔驰的另一种L1功能是主动转向辅助系统,帮助驾驶员保持车辆在其行驶车道内。但主动转向辅助系统只能与ACC一起启动。当这两个L1功能都处于启动状态时,就构成了L2功能。

  L2 

  上面说的L2功能就能在正常条件下自动进行制动、加速和转向,同时仍需要驾驶员实时监控车辆的状态。为了保持安全操作,必要时需要手动转向、制动或加速。

  另一个L2功能是主动停车辅助系统,可在驾驶员监督操作时自动停泊车辆。

  L3 

  除了上面提到的驾驶辅助功能外,奔驰还在开发名为DRIVE PILOT的L3系统。

  与L1/L2不同的是,DRIVE PILOT在系统启动时不需要驾驶员的监督,当系统运行时驾驶员可以做其他事情。当系统检测到驾驶条件已经发生变化且预计不能再可靠地运行时,它就会进行如下操作:

  请求故障回复,预备让用户恢复驾驶(具有足够的接管时间)

  如果操作员没有响应,系统将使车辆运行到某一点并使车辆处于受控制的停止状态

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  DRIVE PILOT的传感器融合架构

  当然,奔驰与博世、Nvidia正在合作开发L4/5,计划先从城市及市郊开始提供运输和网约车服务。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

03奥迪 

  传感器方案与自动驾驶技术 

  奥迪在自动驾驶技术的研发方面也有很长的历史了。目前奥迪自动驾驶的最终目标是到2025年推出L4的AV。

  奥迪采用了集成不同系统的方法,也是从ADAS到完全自动驾驶的渐进式路线。奥迪已经在不同的平台上创建了各种版本的Piloted Driving。这个可追溯到2010年,代号为Shelley的奥迪TTS在Pikes Peak进行了全自动驾驶测试。在那之后,许多其它平台也采用了相同的传感器技术进行了测试。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  奥迪典型的L2系统上部署的传感器总数为20个:

  5个摄像头。1个位于前格栅,供应商为KOSTAL;1个3D摄像头,前风挡;1个后部摄像头;2个后视镜上的摄像头

  1个GPS天线模块

  1个LiDAR。位于前格栅,法雷奥的SCALA,目前市场上唯一车规级激光雷达

  2个LRR。前保险杠,供应商为博世

  2个MRR。前保险杠

  2个MRR。后翼子板

  2个SRR。后翼子板

  4个超声波。前后翼子板,供应商为法雷奥

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  此外,法雷奥的SCALA现在更加紧凑了,只有咖啡杯大小,现在在前格栅中被隐藏了起来。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  前挡风挡摄像头视觉部分使用的是Mobileye EyeQ3,与V2X、以太网和HERE的地图(可升级)配合。由奥迪和TT Tech开发的“zFAS”自动驾驶中央计算单元(由德尔福集成),现在只有平板电脑大小,配备英伟达Tegra K1 CPU和192核Kepler GPU,安装在手套箱内。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  自动驾驶路线图 

  奥迪已经在Traffic Jam Pilot里面有了Remote Parking Pilot辅助功能,适用于奥迪A8,对外是以L3进行商业推广的。尽管2019款奥迪A8具备L3功能,但在美国等市场中此功能已停用,因为尚未有法规支持。

  宝马、戴姆勒、奥迪的自动驾驶战略分析 

  奥迪计划到2023年实现三个阶段性目标:

  用于高速公路的L3系统Highway Pilot

  用于城市地区的L3系统City Pilot

  自主泊车,包含在City Pilot里

  2025年,奥迪的目标是推出首款L4级AV,代号为Aicon,是在地理围栏内的完全自动驾驶。这一概念在2017年法兰克福车展上第一次亮相,奥迪希望在2021年率先推出首批Aicon车队。Aicon项目的主要合作伙伴包括法雷奥、Mobileye、大陆、博世和英伟达。


沃尔玛与自动驾驶汽车创企Gatik合作 推行自动驾驶试点项目

博客自动驾驶小能手 发表了文章 • 0 个评论 • 194 次浏览 • 2019-07-31 11:53 • 来自相关话题

据国外媒体报道,沃尔玛公布了其与自动驾驶汽车初创公司Gatik合作的一个新试点项目。这两家公司将在美国阿肯色州本顿维尔试点其杂货提货和送货服务。上个月,沃尔玛宣布,其正在测试用自动驾驶汽车将货物从仓库之间运输,以降低运输成本,提高效率。 ...查看全部

据国外媒体报道,沃尔玛公布了其与自动驾驶汽车初创公司Gatik合作的一个新试点项目。这两家公司将在美国阿肯色州本顿维尔试点其杂货提货和送货服务。上个月,沃尔玛宣布,其正在测试用自动驾驶汽车将货物从仓库之间运输,以降低运输成本,提高效率。

沃尔玛与自动驾驶汽车创企Gatik合作 推行自动驾驶试点项目


高通:中国在自动驾驶汽车标准化上或将领先于美国

博客gaohong 发表了文章 • 0 个评论 • 260 次浏览 • 2019-07-31 10:40 • 来自相关话题

网易科技讯 7月31日消息,据国外媒体报道,美国芯片制造商高通称,中国计划标准化其对5G汽车的使用,将支持C-V2X标准,这可能会导致美国在自动驾驶汽车商业化上处于落后状态。 ...查看全部

网易科技讯 7月31日消息,据国外媒体报道,美国芯片制造商高通称,中国计划标准化其对5G汽车的使用,将支持C-V2X标准,这可能会导致美国在自动驾驶汽车商业化上处于落后状态。

高通:中国在自动驾驶汽车标准化上或将领先于美国

中国将“比我们更早地挽救千百计人的生命,而我们还在摸索着确定哪一个标准最适合西方世界的长期路线图。”高通高级副总裁帕特里克·斯迪恩(Patrick Little)在接受采访时表示,“如果我们能够获得一个共同的标准,我们就可以更快地部署它,节省大量资金和节省大量时间。”

高通和100多家公司正在推动全球监管机构接受一项基于5G的名为C-V2X车辆标准。这项技术将使车辆和基础设施能够相互传送实时交通数据,并减少事故发生。业内竞争公司正竞相支持基于Wi-Fi的标准,并寻求建立汽车电子数据传输市场。IHS Markit估计,到2025年,汽车电子数据传输市场规模将增长到92亿美元。

尽管这个标准的支持者表示,该标准更快、更可靠。但包括顶尖汽车芯片制造商恩智浦半导体在内的公司则认为,现有的基于Wi-Fi的技术标准DSRC已经足够好。DSRC的其他支持者,包括通用汽车、大众汽车和本田汽车公司。

在这两种标准之间做出选择,成为自动驾驶汽车现实难题之一。在道路测试方面,中国落后于美国多年。仅在美国的加州,Alphabet公司旗下Waymo和其他公司,就有数百万英里里程的测试记录。

尽管如此,中国是世界上最大的汽车市场,并发出了一个明确的信号,它将拥抱C-V2X。去年10月,中国宣布了使用该标准的计划,并专门为联网汽车预留了频谱。于2016年9月成立的5G汽车协会(5G Automotive Association)预测,中国将率先推出C-V2X汽车。福特汽车公司拜腾(Byton)已经透露了生产和采用这一标准汽车的计划。

在美国,特朗普政府还没有决定支持哪种标准。欧盟委员会准备支持DSRC,但该提案在7月被成员国否决。在亚洲其他地区,日本正计划将频谱分配给DSRC,韩国打算为这两种标准都留出频谱。

彭博新闻社在4月份的一份报告中写道,DSRC根深蒂固的地位,在未来三年将阻碍C-V2X在中国境外的应用。但分析人士表示,从长远来看,美国、韩国和日本可能会转向C-V2X,因为这些国家正在积极部署5G网络。

改善道路安全的前景是监管机构加快决策的主要动力。密歇根大学交通研究所去年估计,如果美国政府今年确定好一种标准,而不是在三年之后确定,美国将有多达810万的车祸和44000人的死亡可以避免。(来源: 网易科技 天门山)


自动驾驶事故频发,特斯拉引美安全组织声讨

博客tututu 发表了文章 • 0 个评论 • 249 次浏览 • 2019-07-30 17:11 • 来自相关话题

从事物的相对性来看,即使自动驾驶已成为未来汽车领域发展最理想化的结果,但目前看来,以自动驾驶之名成就绝对安全依然是一个不可触达的目标。所以在以特斯拉为首对的车企将自动驾驶技术进行部分量产,并引起人们关注后,几起重大交通事故便能很轻易地触发用户的敏感神经, ...查看全部

从事物的相对性来看,即使自动驾驶已成为未来汽车领域发展最理想化的结果,但目前看来,以自动驾驶之名成就绝对安全依然是一个不可触达的目标。所以在以特斯拉为首对的车企将自动驾驶技术进行部分量产,并引起人们关注后,几起重大交通事故便能很轻易地触发用户的敏感神经,使人们不得不重新审视这一超前的技术。

近日,据CNBC报道,美国汽车安全中心希望与另一安全组织Consumer Watchdog联手美国联邦贸易委员会(FTC)和加州汽车管理局(California Department of Motor Vehicles)立即对特斯拉自动驾驶技术展开调查。他们认为,特斯拉违反了《联邦贸易委员会法案》(FTC Act)第5条,以及加州消费者法。

8159a2979ea4cb9e8913142097a206d.jpg

而其中,作为美国汽车安全中心负责人的贾森·莱文(Jason Levine)更是对此表示,“特斯拉的行为涉嫌欺诈,违反了相关的法律,无论是在联邦还是州一级。”

事实上,虽然多年前,诸如凯迪拉克的超级巡航系统(Super Cruise)、奥迪Traffic Jam Pilot系统以及日产的ProPilot Assist等类似技术早已呈现在人们的面前,但特斯拉这项在2015年10月推出的Autopilot技术仍被业内称为高级驾驶员辅助系统(ADAS)。

当然,那如今之所以会引发这一调查事件便与此前发生的几起与自动驾驶系统相关的重大交通事故脱不了干系。

早在2016年,一名司机在特斯拉Model S在佛罗里达州高速公路上使用自动驾驶模式时,撞上半挂车,导致其死亡。之后在2018年的3月,一辆处于自动驾驶模式的特斯拉汽车在加利福尼亚州的一个路障上坠毁,造成了一38岁的男子当场死亡······进入2019年后,此类事故仍层出不穷。当地时间5月29日早晨,同样是一辆开启自动驾驶模式的特斯拉ModelS,在加州拉古纳海滩市的公路上,撞上了一辆停在路边的警车。

更甚的是,就在本月,据国外媒体Fortune报道,一名女子在旧金山驾驶一辆租来的特斯拉汽车闯红灯,又引发了一名游客当场死亡以及其妻子受重伤的恶性交通事故。虽然难以明确将此事完全归咎于特斯拉的自动驾驶系统缺陷,但当地警方随后在一份声明中表示,仍将对肇事的特斯拉是否使用Autopilot功能进行彻查。

当然,对这一系列的事故,特斯拉曾辩解称,“正如我们的季度安全报告所显示的,使用自动驾驶仪的驾驶员每英里发生的事故比没有自动驾驶仪的驾驶员少。”很显然,这样的说辞并没有得到美国独立安全研究机构的支持。

不仅如此,贾森·莱文(Jason Levine)还认为,特斯拉和马斯克使用很多方式对自动驾驶系统进行了推广。其中包括在Autopilot自动驾驶系统首次亮相后不久,一张显示马斯克和他当时的妻子开车时,手在特斯拉汽车车窗外挥舞的照片,间接地表示此自动驾驶趋于无人驾驶的范畴。

而这种种迹象也表明,即使特斯拉可以说已经书面通知消费者自动驾驶系统的局限性,但他们的行为却表现出欺骗消费者的欲望。换言之,正如这两家机构所认为的,“特斯拉销售自动驾驶汽车的方式具有实质欺骗性,可能会误导消费者,让他们合理地相信自己的汽车具有自动驾驶或自动驾驶能力。”

毫无疑问,作为汽车行业颠覆者的特斯拉,其自动驾驶技术的确令人印象深刻,但从实际操作上来看,除了极个别能保证安全的情况下,哪怕是对于特斯拉,用户都必须为防止紧急情况的发生而做好完善的预防措施。至于马斯克本人对特斯拉自动技术的过度吹嘘或是对其安全性的迷之自信,目前看来都无法抵消由此技术引发的众多事故所带来的舆论影响。



没有测试验证,自动驾驶的落地就是“空谈”

博客gaohong 发表了文章 • 0 个评论 • 202 次浏览 • 2019-07-30 14:52 • 来自相关话题

汽车的核心是安全,无论未来Robot taxi,还是在园区中的自动接驳车,用户的核心诉求都是可以安全到达。对于尚未完全成熟的自动驾驶技术,测试验证是非常重要的环节。亮道智能市场总监江南逸在《2019高工智能电动汽车开发者大会(苏州站)》上表 ...查看全部

汽车的核心是安全,无论未来Robot taxi,还是在园区中的自动接驳车,用户的核心诉求都是可以安全到达。对于尚未完全成熟的自动驾驶技术,测试验证是非常重要的环节。

亮道智能市场总监江南逸在《2019高工智能电动汽车开发者大会(苏州站)》上表示,软件的测试验证需要做大量数据采集、处理、分析的工作,不仅是驾驶环境本身的复杂性导致的,每个国家、每个区域人们的驾驶行为差异也非常大。

1.jpg

受制于传感器性能,大量的测试验证,是保证自动驾驶功能安全的必经之路。

从自动驾驶的产品层面来看,量产除了要兑现承诺的自动驾驶功能,还要满足汽车行业电子产品的相关标准和规范,比如IATF16949、AEC-Q100/200,整个研发流程必须遵守功能安全ISO26262、SOTIF等。

此外,针对环境感知相关的KPI要求,不仅是硬件上的产品质量达标,如振动实验,耐久性测试、耐高低温等等,还有包括软件层面的感知能力的测评。

一、测试验证面临的挑战

自动驾驶环境感知系统测试验证面临的挑战,首先是对环境感知KPI的把握。比如客观评价激光雷达的识别率、分类准确率等指标表现,测试厂商首先要对传感器的软硬件足够熟悉,具备传感器算法的开发能力,否则很难评价一个传感器的优劣。

由于自动驾驶应用中,传感器的融合是必然趋势,对相应的测试厂商而言,不仅要理解某单个传感器的性能,还要熟悉传感器融合过程中的问题,未来要评价的是整个感知系统的智能化水平。

如此,测试验证工作考验的是针对整体传感器算法的理解,建立让行业信服的、高质量的客观真值(Ground Truth)用于评价参照。

除了这些硬实力,测试过程当中会产生大量的数据,如何有效、快速的存储、清洗,提取有效信息,开发自动化工具链等,都是验证方快速建立竞争力,服务好更多客户的战斗力。

这些能力,对于传统的传感器、软件算法创业公司而言,比较缺乏。细分行业的初创企业们,需要专注精力在产品自身硬件的创新和软件性能的提升上,比如视觉算法的企业,目前仍然有大量视觉算法公司的算法优化、迭代依赖的是人工标注。

后者对前者的重要性不言而喻,但人工标注是一件费力费时的事情,在有限的精力和时间段内,创业者需要专注于本专业,行业亟需自动化标注的产品用于算法的迭代。

这种现象同样出现在毫米波雷达、激光雷达的产品研发过程中,传感器性能可靠性的验证、提升,需要一系列专业的工具,当中涉及大量的数据采集、真值建立、场景提取等等,需要有专业的公司,帮助其提升自动化、快速处理的能力。

二、完整的测试评价服务

亮道智能通过数据采集平台搭建和数据采集、测试验证私有云平台搭建、自动化真值标注、自动化测试验证工具链、大数据挖掘与分析,提供面向自动驾驶感知系统的测试验证服务,最后会输出一份KPI报告给到主机厂商,目前KPI报告都是根据功能开发需求定制化统计生成的。

2.JPG

亮道智能搭建的不断升级的数据采集平台,以远高于行业配置的软硬件系统,构成高标准的测评工具。通过数据采集平台采集的数据,会同步存储到云端数据中心,经过自动化清洗、处理、标注之后,生成客观真值。江南逸强调,人工标注和纯自动化标注在效率上差别巨大。

根据客户对功能开发安全的要求,亮道智能会进行工具链的开发。比如针对不同功能安全开发定义,客户通过输入ODD相关参数,可以在线从采集到的数据当中提取符合要求的场景。每个客户都可以输入自定义的ODD参数,形成功能定义的差异化。

3.JPG

数据采集之后,会存储在德国、中国以及未来在美国的私有云数据定制平台上,私有云平台的搭建服务也是公司的核心产品。数据经过处理后,一方面可以做待测传感器(DUT)的评价,另一方面还可以支持客户的功能开发定义。

三、一套系统、一样品质

基于传感器的测评,很多客户自己也在做传感器平台的搭建和自己算法的研发。在国内市场,亮道智能从2015年开始就一直在给客户提供线控改装、传感器的安装配置和调试的相关工作,帮助客户快速搭建传感器系统,开始研发、产品迭代的工作。

现在,亮道智能的客户基本上覆盖了国内的主机厂商和自动驾驶方案的提供商。

目前大部分的主机厂商还停留在需求描述的细化阶段,江南逸表示,公司的优势在于知道从哪些角度、细节上评价传感器,进而开发评价工具,这个过程需要投入大量时间研发,衡量整个的评价系统是否足够完备。

亮道智能是中德两地同步做产品研发、市场拓展,可以在中国、德国、美国等不同的地方提供同样的工具和测试验证方法,保证同一款产品在不同的地区表现一致性。

公司从2018年开始在欧洲和中国进行数据采集工作。2019年配合主机厂客户的项目要求,亮道智能会在欧洲5个城市、在国内5个城市同步进行数据采集工作,2020年会在美国启动3个城市的数据采集。

亮道智能的优势在于用同一套数据采集系统,在不同的大洲采集数据,得到的数据内容和质量可以保证完全在一个水准上。目前亮道智能已经采集的数据中,高速路,城市快速路和城市道路数据的比例大概是4:4:2。


在自动驾驶研发中充分发挥数据的潜能

博客gaohong 发表了文章 • 0 个评论 • 247 次浏览 • 2019-07-30 14:52 • 来自相关话题

本次分享内容 ...查看全部


1.jpg本次分享内容提纲

  • 数据标注

  • 数据驱动开发

  • 数据驱动决策

前言

2.JPG

上图这是我加入小马智行之前的一个小故事。这不断的提醒我,人工智能需要有足够的数据量,并且充分发挥这些数据的潜能,是我们作为人工智能公司的一个非常重要的核心竞争力。

数据的作用

1. 数据驱动开发:提到数据的作用我们首先会想到,数据驱动开发,包括感知领域、行为预测领域、决策领域,需要有数据(标注好的数据)来作为我们模型训练的粮食和作为系统准确度评测的依据。

2. 数据驱动决策:尤其是优先级的决策,作为创业公司我们现在想做的事情,远远多于我们的人力,如何把人力用在我们需要优先解决的问题上,不管在行车安全性、乘坐舒适性、车辆的运营等等,每个方面都有更重要的问题,或者次要一点的问题,需要做优先级的决策,通过对于数据的分析和处理,拿出一些有效的决策。

3. 展现公司实力:通过对数据的分析,展示出来的结果是可以展示公司实力的。

4. 满足监管要求:数据的保存、处理、分析也是为了满足监管的要求。

数据标注

在讲数据驱动开发和决策前,先分享下关于数据标注的一些体会。

1. 评价指标

3.JPG

对于数据标注来说,它的评价指标有:

① 团队规模:只有你有足够大的团队,你才能在单位时间内标注出你所需要的数量的数据。

② 效率和成本:二者间的关系像是硬币的正反两面,效率是指单个人单位时间的产出量,成本是指单位产出的人力、设备、场地开销。

③ 质量:标注的准确度,比如标注一个激光点云里障碍物的尺寸、位置、朝向的准确度,又比如预测下一步行为的准确度。

这是大家通常所关注的三个方面,下面再讲下另外两个很重要的点:

① 能力多样性:能够处理各种不同种类的标注任务的能力,对地图来说我们需要标注车道线,对于感知来说我们需要标交通灯、障碍物,还有行为预测所需要的标注等。

② 标准灵活性:各种长尾场景(如雨点,汽车尾气等)的处理方式在不断的探索和迭代,随之标注的方式也在不断的探索和迭代,如何保证在这些快速探索和迭代过程中标注团队直接的高效沟通,不至于出现混乱,这需要花很多精力去做。

2. 团队构成

如下图所示:

4.JPG

3. 效率提升与成本控制

技术手段:

① 默认障碍物大小:第一帧可以通过一些人机交互的方式默认障碍物大小。

5.jpg

② 自动追踪外推:接下来,比如说标注员跳了一帧到第3帧,然后把车新的位置手工找到了,当再跳到第5帧的时候,系统就可以通过智能算法做到自动的追踪外推来找到车在第5帧中的新位置。

6.jpg

③ 自动插值:当车在第1帧、第2帧、第5帧的位置都标出来之后,系统可以做自动插值,自动找到车在第2帧,第4帧中的位置。

7.JPG

这里大概看下车的整个标注过程,以及人机交互方面的技巧,通过人工智能的方法提高标注员的效率。

相比于车载系统,智能标注系统所受的限制更少:

① 更多的可用信息:比如在尝试智能标注某一帧数据的时候,可以参考其后的数据帧里的信息;

② 更宽松的计算资源和时间限制。

需要注意的问题:

  • 对自动化结果的依赖,可能导致标注结果中产生系统性偏差

  • 如何发现和识别这些系统性偏差

  • 不同的自动化功能,产生系统性偏差的几率和程度各不相同

非技术手段:

① 薪酬激励

② 组织结构设计:这里最主要的是信息流动的结构,比如:具体的某些场景的某个细节如何通过标注平台的某些技巧去标注,如何促进这些技巧在标注团队内部被高效地总结、传播。

③ 各工段之间成本平衡:系统化的思考,我们标准的流程分为标注、质检、复检等多个工段,通过各工段的配合达到整体的优化,而不是单纯的只优化某个工段。

当然所有的非技术手段依赖于标注平台对于标注任务生命周期与标注团队架构、绩效的管理。

4. 系统能力

3.JPG

这里的一个核心目标是何如保证系统在大规模标注团队持续高频使用的条件下能保持稳定运行。这里举一个因为平台不稳定性产生的焦虑感,进而导致恶性循环的例子:

  • 保存失败:比如标注了5分钟,尝试保存的时候失败了。

  • 工作成果丢失的焦虑感

  • 更加频繁地尝试保存

  • 系统负载进一步提高

  • 系统稳定性和响应速度进一步下降

而且有些时候牵扯到外部合作商时,会进步一加剧一种情况:信任成本升高,降低长期合作意愿。

这对我们提出的要求是:

① 不断优化、提升效率

② 保持稳定、保障效率:最细微的稳定性问题都可能导致效率下降

③ 良好的工程实践:

  • 与线上系统隔离的完整测试环境,要求能较为准确地重现线上数据规模和数据分布

  • 分级发布流程

  • 线上系统监控及应急处理预案

关于提升效率的 Tips:

  • 开发:实现效率优化方案

  • 测量:在实现方案后,对标注员的操作流程和节奏进行记录和准确复现

  • 提升:在测量和观察中,发现可能的效率提升点,然后再循环到第一点。

数据驱动开发

2.JPG

上图是我们的一个愿景:先是利用机器智能,提高人工标注效率,然后利用人工标注结果,提升机器智能,最后再反过来利用机器智能,提高人工标注效率,达到一个交互促进的过程。

1. 充分利用海量标注数据

① 分布式训练和评测系统

② 人工标注的质量是有极限的,这需要我们:

  • 对标注数据的进一步处理与修正

  • 在设计评测指标时,要考虑到标注数据常见的质量问题。避免设计出的评测指标对于这些常见质量问题过于敏感。

2. 数据索引平台

数据在各个维度上的分布,例如:

  • 时段和天气

  • 道路等级

  • 障碍物种类

  • 住宅、商业区、工业区

当我有了索引平台,可以做的事情有:

① 标注任务筛选:基于分布上不平衡的维度,对路测原始数据的自动化初筛

② 训练数据选取:按照指定的维度检索访问标注数据

③ 评测数据集维护:难度和规模分级

数据驱动决策

1. 路测事件分析

1.jpg

  • 问题路段

  • 问题模块

  • 问题车辆

  • 问题时间段

  • 深入分析的工具

2. 数据展现方式

这里我们主要面临的挑战:

  • 准确性:给的数据要靠谱,有说服力

  • 实时性:每次采集的数据都可以实时更新

  • 易用性:从界面上可以直观的看到关键数据

这需要我们:

① 以用户为中心,依据关键决策流程,不断迭代与优化

② 根据不同受众和使用场景,提供差异化的视图

  • 运营团队周会

  • 公司高管 C-level

  • 团队 tech lead

③ 在每个视图中,提供最简洁实用的图表

  • 在默认视图中,提供刚刚好用户想要的信息,不多不少

  • 对于每一个数据点,提供进一步深入分析的工具


自动驾驶仿真软件列表

博客gaohong 发表了文章 • 0 个评论 • 203 次浏览 • 2019-07-30 14:52 • 来自相关话题

目前做的比较好的自动驾驶仿真平台的列表和个人评价,仅供参考 点击名称进入官网/github主页 列表的分类基于仿真软件的基础构架 不另外说明的话,都是可在Windows上使用的•自动驾驶仿真软件列表 ...查看全部

目前做的比较好的自动驾驶仿真平台的列表和个人评价,仅供参考
点击名称进入官网/github主页
列表的分类基于仿真软件的基础构架
不另外说明的话,都是可在Windows上使用的

•自动驾驶仿真软件列表


◾基于Unity或虚幻引擎


◾基于GTA


◾基于机器人仿真软件


◾基于汽车动力学仿真软件
1.jpg


一、基于Unity或虚幻引擎

这些软件基本上都是开源的,上面三个比较好,第三个只能说很难得有人独立写出个仿真来,给个鼓励奖吧,最下面那个传感器做的不错但完全是卡通风格。。。这类仿真的弱项是传感器,目前没看到特别好的激光雷达方案,另外对计算力要求很高,毕竟渲染的效果在那里。。。
2.JPG
Udacity Unity 开源 Udacity出品的基于Unity的自动驾驶仿真平台,功能比较简单,可以自行编辑地图和车辆模型,同时有不少在此基础上进行功能补充的项目。Github上大多数有simulator标签的自动驾驶项目其实都是基于这个或与其有关的
CARLA Simulator Unreal4 开源 没实际尝试过,看视频效果不错,有激光雷达的仿真
AirSim Unreal4 开源 微软出的,除了车还能做四轴的仿真,控制真心反人类,有效的利用了虚幻引擎强大的光影渲染效果使得仿真效果很好
SdSandbox Unity 开源 某人做的,仅具雏形,似乎作者已弃坑( ̄ω ̄;)
DRL Based Self Driving Car Control Unity 开源 不错的仿真软件,然而只仿真控制和传感器,不仿真环境渲染

二、基于GTA


直接使用GTA或其他类似游戏作为仿真环境,缺少传感器接口,但GTA场景的复杂度,渲染真实度和高随机性都是远超其他仿真软件的

3.JPG

Morse Blender 开源 Blender是一个游戏引擎,但由于这个软件本来是用于机器人仿真的,姑且放入这个列表里
Gazebo 多引擎 开源 ROS标配,我就没成功启动过╮(´∇`)╭
Webots 多引擎 商业 30天试用,无学生版,无破解

三、基于机器人仿真软件

原本作为机器人仿真软件使用,能够很轻松的改为自动驾驶仿真软件,这类软件的特点是比较好的动力模型,和各种传感器的仿真。相应的光影渲染效果会比较差。

4.JPG
四、基于汽车动力学仿真软件

老牌汽车设计厂商使用的基于ADAS仿真改造的软件,渲染效果差一些,传感器也相对弱一点,但对物理和汽车动力学模型的仿真应该是相当的厉害了
5.jpg

66号社区——赛迪智能网联汽车知识社区正式上线运营

博客自动驾驶小能手 发表了文章 • 1 个评论 • 271 次浏览 • 2019-07-26 18:30 • 来自相关话题

2019年7月26日下午,北京,香格里拉酒店,在2019行业信息化技术创新发展峰会上,中国电子信息产业发展研究院(赛迪集团)正式发布赛迪智能网联汽车知识社区——66号社区(http://icv.ccidnet.com/)。该社区是以生态构建为己任,专注新 ...查看全部

2019年7月26日下午,北京,香格里拉酒店,在2019行业信息化技术创新发展峰会上,中国电子信息产业发展研究院(赛迪集团)正式发布赛迪智能网联汽车知识社区——66号社区(http://icv.ccidnet.com/)。该社区是以生态构建为己任,专注新兴的智能网联汽车领域,为开发者、企业、科研机构提供知识分享和技术交流的平台。

微信图片_20190617162027.jpg

66号社区LOGO

汽车产业已成为未来发展空间最大的产业,随着新一轮技术革命和产业变革的蓬勃兴起,智能化、网联化已成为新一代汽车发展的战略方向。智能网联汽车是汽车产业与人工智能、物联网、高性能计算等新一代信息技术深度融合的产物,是当前全球汽车与交通出行领域智能化和网联化发展的主要方向,已成为各国争抢的战略制高点。在我国,人工智能升级为国家战略,作为人工智能八大领域之一的智能网联汽车,亦被提升至国家战略高度。

IMG_0645

66号社区发布现场

智能网联汽车作为新兴事物,其产业形态新、行业跨度大、应用范围广,它的完善与发展,需要社会各方积极探索、大胆创新。据调查显示,目前智能网联汽车涉及到芯片、传感器、地图定位、交通、通信设备、通信服务、整车制造、操作系统、自动驾驶、ADAS等多个领域,是集ICT与机械制造大成的高融合新兴产业。但在我国,配套的标准规范、跨学科人才储备和生态构建方面仍处于起步阶段。1.jpg

66号社区产品经理孙姗姗发表主题演讲

为培育新兴产业,把握汽车产业转型脉搏,中国电子信息产业发展研究院以知识为切入点,以智能网联汽车技术开发与应用为核心,将智能网联汽车专业知识汇聚在开放的互动平台上,用户在这里可以学习知识、生产知识、分享知识并梳理沉淀知识。同时,社区集媒体、培训、社群为一体,可以全方位服务智能网联汽车从业者。

目前,66号社区提供知识订阅、知识创建、知识课堂、专家库、问答和活动等内容和功能。应用覆盖PC端和移动端,用户可以随时随地获取专属定制化的知识内容,实现高效阅读;我们通过定向邀请和实名认证的方式吸纳智能网联汽车领域专家,他们分享前沿内容,并参与互动答疑;定期制作形式多样的在线课程,由浅入深普及智能网联汽车知识;定期举办技术沙龙,开发者聚会、企业宣讲,主办高端会议和赛事;提供智能网联汽车最新报告或白皮书资源下载;为企业用户提供智能网联汽车人才招聘平台。

qrcode_for_gh_fa0f83d92067_344

扫码加入66号社区

今天,66号社区正式上线运营(http://icv.ccidnet.com/),我们将以开放的心态拥抱智能网联汽车的美好未来。欢迎关注智能网联汽车的个人、企业、科研院所加入到社区中来。未来,66号社区将致力于积累、梳理智能网联汽车系统知识,为新产业研究、人才培养打下坚实基础。我们将凝聚共识,积极推动相关技术标准和规范的制定,为技术攻坚、商业模式落地贡献平台力量。在不断的交流和融合中打破边界,助力智能网联汽车生态快速发展。


自动驾驶汽车(Autonomous vehicles;Self-piloting automobile )又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人,是一种通过电脑系统实现无人驾驶的智能汽车。在20世纪已有数十年的历史,21世纪初呈现出接近实用化的趋势。