清华大学教授邓志东：起底自动驾驶，从技术路线到产业化落地实践 | CCF - GA

本篇文章6114字，读完约15分钟

"自动驾驶可能是人工智能最具商业价值和最早的垂直领域."7月10日，邓志东在由中国计算机联合会(ccf)主办、雷(公开号:雷)和香港中文大学(深圳)联合主办的ccf-GAIR全球人工智能与机器人学大会智能驾驶特别会议上说。

邓志东，现任清华大学计算机系教授、博士生导师。自2009年以来，邓志东带领团队开发了三款具有感知和独立决策功能的自动驾驶汽车，在该领域积累了丰富的经验。如今，随着人工智能技术的演进和发展，人工智能在推动l4(sae)级自主驾驶产业的落地中发挥着不可替代的作用。邓志东的主题演讲也围绕着这个话题，而雷锋的新智能司机在不改变初衷的情况下编辑了演讲的内容。

*清华大学教授、博士生导师邓志东

首先，有限的区域是一个坑

2016年9月20日，美国运输部最近发布了一项新的关于自动驾驶的联邦法规，明确规定无人驾驶汽车以sae级为分类标准(l0-l5)。现在每个人都对l3和l4感兴趣。l3是有限条件下的自动驾驶，l4是高度自动驾驶。

具体来说，自动驾驶的第一阶段是辅助和半自动驾驶(l0和l1)，第二阶段是过渡中的无人驾驶(l2和l3)，第三阶段是真正的无人驾驶(l4和l5)。

作为过渡时期的第二阶段，即由人辅助的人机驱动阶段，包括l2和l3。

L2解放了手脚，但人眼和大脑也受到影响；

L3是解放人的眼睛，解放人的眼睛的关键是机器可以代替人安全可靠地感知环境，包括极端和紧急情况。

L4和l5是真正的无人驾驶阶段，最大的特点是完全保证了自主驾驶的安全性。

L4解放了人脑，但它仍然需要定义区域和功能。

L5不需要任何限制。就像人一样，车可以去人们能去的地方，车不能去人们不能去的地方。

因此，l2是解放者的手和脚，l3是解放者的眼睛，l4和l5是解放者的大脑，所以你可以放心自主驾驶车辆。L5甚至没有方向盘、踏板或后视镜。

从l2到l4，要考虑的核心问题之一是定义区域和定义功能。

1.在封闭区域自动驾驶

如果速度有限，请考虑特定的应用场景，如空能见度、稀疏交通流等。，包括在封闭场地自动驾驶和沿固定车道自动驾驶。在这种情况下，我们可以使用轨迹跟踪或车道线视觉跟踪加上简单的障碍物检测技术，很容易实现自动驾驶到l3和l4水平。只要能降低成本，就很容易获得商业模式，也就是现在很多人从事的低速汽车的商业登陆，这更容易实现。

2.结构化道路的自动驾驶和有限功能

例如在一些城市道路区域中具有有限驾驶功能的高速公路和自动驾驶。这种结构化和半结构化道路相对简单，再加上自主驾驶功能的限制，如触发条件非常苛刻的自主换道超车，可能只需要使用高精度地图、障碍物检测和行为预测技术，实现l3至l4的自动驾驶能力相对容易。

3.复杂场景下的自动驾驶

例如，在较大的市区甚至整个城市或各种路况下自动驾驶。优步在匹兹堡的自驾免费出租车路试和试运行现在是真正的市区自动驾驶，已经达到了非常先进的阶段，因为需要考虑整个路网的高精度地图、障碍物检测、行为预测、复杂决策等。，虽然车里还有两个安全工程师。此时，很难实现l3和l4，但其商业价值是巨大的。现在，我们称之为无人驾驶是为了达到这个高级阶段。

这导致了百度的阿波罗计划。它的目的是什么？

简而言之，百度在开放软件平台方面与博世等一流汽车零部件供应商合作。你想成为一家自动驾驶人工智能算法公司吗？与此同时，您是否希望专注于云中的数据服务平台，然后退到后面去做包括高精度地图和大数据在内的服务市场？

第二，环境感知与环境建模的争论1。完全基于环境建模的自动驾驶

在相对封闭的场地中跟踪自动驾驶和在整个道路网络中固定线路自动驾驶是完全基于环境建模的技术解决方案。

优点:采用rtk厘米级精密轨迹跟踪，道路行驶可以轻松实现高速高精度；

缺点:没有环境适应性，缺乏自主性。Rtk高精度组合导航设备受差分基站通信距离、多径效应和接收卫星数量的影响，成本较高。例如，进口dgps/imu最便宜的价格在20万元以上，较高的价格在50万元或60万元以上，只适用于空开阔视野的开放和封闭场景。如果组合导航设备的价格降低，它也可以实现商业模式。

此外，高精度地图可以用来实现自动驾驶，即综合利用地图匹配导航来降低导航设备的硬件成本，也更有利于实现整个路网的自动驾驶。

目前，大多数自动驾驶汽车属于这种类型。

2.完全基于感知的自动驾驶

也就是说，沿着固定的车道或道路自动驾驶。

优点:整个路网自主运行，具有高度的自主性和环境适应性；仅依靠相机或激光雷达，没有高精度地图，没有rtk，成本低；

缺点:受车道线和路缘质量影响大，速度慢，可靠性差。

这种方法类似于人类的驾驶方式，它完全依赖于感知。显然，这条技术路线是极端的，它要求非常高的环境感知，带来巨大的挑战，也带来许多不确定性。

结论:环境感知必须与环境建模相结合，才能同时获得高性能的道路驾驶能力和局部自主性。

3.视觉引导还是激光雷达引导？目前，自主驾驶环境感知主要有两条技术路线:一条是以特斯拉为代表的视觉引导的多传感器融合方案，另一条是以谷歌waymo等低成本激光雷达为代表的多传感器融合方案。

1.视觉优势，以特斯拉为代表:相机+毫米波雷达+超声波雷达+低成本激光雷达。

摄像机视觉属于被动视觉，受环境光影响很大。目标检测和slam不可靠，但成本低。目前，特斯拉已经在它的生产车上安装了自动驾驶2.0固件，而且成本很低，只有7000美元左右。八个摄像头组成一个单目视角，包括一个毫米波雷达和12个超声波雷达，希望从l2跳到l4。

经过半年的努力，特斯拉最近完成了驾驶测试大数据从mobileye单目视觉技术到基于nvidia drive px2计算硬件平台的特斯拉视觉软件系统的过渡，并于今年3月底发布了8.1版软件。通过深入学习，它在短时间内基本达到了mobileye的技术水平，这在以前是很难想象的。特斯拉自动驾驶技术的一个重要观察点是，它能否在2017年底如期从洛杉矶开车到纽约，实现4500公里的全自动驾驶，无需人工干预。

2.激光雷达占主导地位，以谷歌waymo为代表:低成本激光雷达+毫米波雷达+超声波传感器+摄像头。

激光雷达是主动视觉，它的目标探测比slam更可靠，但它会失去颜色和纹理，而且成本很高。目前，谷歌瓦伊莫已经成立了自己的团队来研究和开发激光雷达的硬件，这已经削减了90%以上的成本，基本上是7000美元左右。与此同时，他们已经开始在美国凤凰城对500辆l2级汽车进行公开测试，这极大地促进了这种技术路线登陆的实践。

未来，激光雷达领导的解决方案可以在以下两个方向继续推动商业化:

一是开发相机和激光雷达的硬件模块，并将其结合起来。激光雷达和彩色相机都可以直接获取彩色激光点云数据。

二是进一步降低激光雷达的硬件成本，如发展固态激光雷达和实现产业化，届时成本将降至数百美元。

总之，自主驾驶领域有三个核心问题需要突破:使用人工智能，特别是使用深度学习进行目标识别、自主导航和信息融合。这三项技术成果确实具有商业价值。

目标识别:例如，在交通流量密集的复杂城区，如何可靠地检测和预测周围的障碍物，特别是对极端和紧急情况的感知和预测。

自主导航:激光slam或视觉slam及其与低成本组合导航的精确集成；

信息融合:如何用多个传感器融合信息。

结论:自动化驾驶应以信息化车辆为基础，包括数字化或软件化、内部总线和外部网络，这是智能化的基础和条件。例如，线路控制、OTA(下载的in/きだよ 0/)和sdu(软件定义的升级)应该是底层平台的标准。

第四，人工智能加速了自动驾驶行业的实践。自动驾驶可能是人工智能最具商业价值的领域，也是第一个垂直着陆的领域。

自动驾驶仪是一个数万亿美元的巨大市场。如果认为共享无人驾驶汽车比提供增值服务更重要，如果将其纳入增值服务市场，其市场价值可以乘以10，即可以达到10万亿美元的水平。

自驾汽车是一种非常特殊的产品形式，它必须考虑绝对的安全性和低成本，并且要有一个整体的解决方案来形成一个工业生态，最终找到它的商业模式。

深度学习源于原始的真实大数据，其实时性得到了gpu、tpu、fpga、asic和类脑芯片的快速发展，成为自动驾驶感知、决策和控制的基础技术。

深度学习是环境感知和自主决策的决定性技术，有望使自主车辆具备类似人类驾驶员的自主学习和驾驶技能提高能力，其中大数据技术和路试成为关键。我们人类开车是通过去驾校接受老师的监督学习，然后从驾校出来，我们有几十万公里的驾驶经验，这是通过反复的强化训练实现的。机器有可能像阿尔法狼一样拥有深度监督学习和深度强化学习的能力吗？

总之，深度卷积神经网络和深度强化学习可以广泛应用于自动驾驶的各个关键环节，如感知、决策、控制、分析和学习。

1.基于认知地图的环境感知和精确自主导航

深度卷积神经网络最近的革命性进展带来了人类视觉检测和识别能力。加上低成本激光雷达、高精度地图、5g通信、智能网络连接、智能交通系统和智能城市的共同支持，极有可能实现对极端环境和紧急情况的可靠感知和低成本、高精度的自主导航，推动l2至l3自动驾驶的发展。

然而，深度卷积神经网络的最大缺陷之一是目前还不能实现语义理解。在这样的困境下，我们可以通过其他支持来解决这一具有挑战性的问题，如高精度地图(包括网格和认知地图)、5g通信和nb-iot移动物联网组成的车联网以及its。

2.具有独立学习能力的独立决策和智能控制

由alphago大力推动的深度强化学习的最新发展，有可能使自主车辆具有类似于人类的自学习能力，获得端到端的自主行为决策功能，包括应急预测和数据驱动智能控制系统，并将自主驾驶从l3提升到l4。

3.人工智能有望使自动驾驶成为可能

在自动驾驶问题中，弱人工智能主要涉及算法(深度卷积神经网络和深度强化学习)、数据(目标大数据、目标行为大数据、驾驶行为大数据等)。)，计算(如移动、云、离线)。训练深度学习加速器)、自动驾驶细分场景(目标和行为意向感知、认知地图和导航、信息融合、自主决策、智能控制等)。)和垂直整合等。

支持自主驾驶的深度学习算法和支持自主驾驶开发的开放源代码框架包括环境感知、障碍物检测、行为预测、自主导航、自主决策和智能控制。

环境感知:主要考虑一些极端情况，如路面雨雪、高强度反射、车道线或路缘严重缺失、大量障碍物等。

障碍物检测:目前，数百层深度卷积神经网络可用于检测、分割和识别像素。

行为意向预测:障碍物的行为预测与障碍物检测同等重要。

强调低成本、高精度和高环境适应性的方法，如基于slam的解决方案，以降低成本。

认知地图:人类在驾驶时使用认知地图而不是栅格地图。

自主决策与控制:自主决策是一种基于深度学习的端到端自主决策模式，它输入一系列视频图像信息，然后输出自主决策，而不是直接作为执行机构的控制量。后者也是一个极端的技术方案，实际上存在严重的安全风险。基于强化学习的控制算法始于20世纪90年代，基于数据驱动和知识驱动的无模型智能控制技术可以进一步研究。

*用于深度学习的开放源代码框架

大数据支持自动驾驶仪着陆大数据对自动驾驶仪非常重要。目前，谷歌已经积累了500多万公里的道路测试大数据，还有10亿英里的模拟大数据产生于2016年；特斯拉已经积累了3.57亿公里的大数据。

如上图所示，截至目前，加州已有36家企业获准进行合法路试。世界各地的自动驾驶公司之间竞争激烈。目前，产业竞争的焦点集中在以下两点:

自主驾驶大数据里程；

紧急情况下人工干预的频率。

最新的排名显示，从目前的技术水平来看，谷歌瓦伊莫做得最好，达到5分，其R&D团队或人才也是最好的，得到4.5分。优步的商业模式是最好的，因为它在整个匹兹堡测试无人驾驶出租车，其商业模式得分为5分。特斯拉的技术得分为3.5，在先进技术方面位居世界第二。

通过深度学习方法收集和反馈的大数据越多，就能获得越好的驾驶直觉，因此技术巨头们疯狂地追逐大数据。可以说，拥有和利用的自主驾驶大数据越多，技术成熟度越高，或者离行业的落地越近。

在深度卷积神经网络中使用大数据时，必须解决大数据的完整性问题。然而，要做到完整是非常困难的，各种极端和紧急的情况必须出现。中国的道路交通状况是世界上最复杂的，极端紧急的路况容易发生，所以我们有最好的路试环境和自动驾驶的大数据。此外，需要指出的是，为了将自主车辆的障碍物识别率从99.999%提高到99.9999%，需要指数增长的大数据，因为所谓的长尾效应需要大量资源。

支持自动驾驶着陆的计算引擎的大规模深度学习模型有数百层，可以使用超级gpu/tpu集群服务器进行离线训练。目前，全球芯片巨头正在全面布局人工智能芯片，自动驾驶移动终端和云的深度学习芯片已经成为军事战略家的战场。现在看来，谷歌也将利用其tpu加入全球人工智能芯片大战。

*英伟达芯片阵营

有了汽车原始设备制造商、自动驾驶技术公司和tier1，每个芯片巨头目前都在规划自己的人工智能芯片产业生态或阵营，可以说是纵向和横向的。目前，英伟达拥有最大的芯片阵营，许多汽车公司和互联网公司都在使用英伟达的硬件平台，后者将很快开源新的泽维尔平台。其他人工智能芯片阵营包括由英特尔组建的英特尔/移动眼联盟和由英特尔收购的移动眼，以及围绕谷歌waymo的人工智能芯片阵营。

支持自动驾驶着陆的其他基本条件在支持自动驾驶着陆的其他基本条件中，基于深度学习的高精度栅格地图和高精度认知地图可能形成巨大的产业。逐步建成数字化、网络化、智能化的交通基础设施。

此外，由于深度学习存在语义理解目前无法实现的缺陷，有必要借助基于5g和nb-iot(支持云与路测设备之间的通信)、智能交通系统和智能城市的智能网络技术形成合力，解决极端和紧急情况下的可靠感知问题。

最终目标是实现无人驾驶和人工智能增值服务的共享。

总之，有限的区域是一个坑，任何东西都可以放进去。技术水平达到l3甚至l4并非不可思议。关键是这个级别针对的是哪个有限的区域，是港口、机场、公园、高速公路、城市的一部分、整个城市还是整个国家。因此，我们必须考虑面积，当然，我们也必须考虑其驱动功能的极限。另一方面，有限的区域也是自主驾驶商业模式逐渐演变的真实体现，也就是说，它应该从简单到复杂逐步推进。

环境感知必须与环境建模(高精度地图)相结合，在5g通信、nb-iot、车联网、its和智能城市的支持下形成合力，实现极端环境和紧急情况下的可靠感知，将l2提升到l3，为自主驾驶行业的落地实践迈出最重要的一步。

高可靠性和低成本是视觉或激光雷达领先技术路线的共同要求，多传感器信息融合是必须解决的共同核心技术。

深度学习是环境感知和自主决策的决定性技术，有望使自主车辆具备类人自主驾驶学习能力，其中驾驶考试和大数据成为关键。

最后，新一轮人工智能复兴将加速l4及以上无人驾驶工业的商业着陆。

雷推荐阅读:清华大学邓志东教授:国内研究氛围浮躁，原创算法太少

雷锋原创文章。严禁擅自转载。详情请参考转载说明。