8月26日，由盖世汽车主办的“2021行业首届智能汽车域控制器创新峰会”于上海汽车城瑞立酒店隆重召开。本次会议持续两天，将围绕智能汽车、智能驾驶域控制器、智能座舱域控制器、底盘及车身域控制器、智能驾驶计算平台、电子电气架构、软件定义汽车、车规芯片等行业焦点话题展开。会议期间，英伟达半导体科技（上海）有限公司自动驾驶软件总监 冯栋栋发表了《NVIDIA DRIVE 端到端自动驾驶平台》的主题演讲。

自动驾驶

以下为演讲实录：

大家早上好，非常高兴今天有机会跟大家分享英伟达在汽车领域NVIDIA DRIVE端到端自动驾驶平台。

1999年NVIDIA发明了GPU极大地推动了PC 游戏市场的发展，重新定义了现代计算机图形技术，并彻底改变了并行计算。我们基于强大的GPU和高性能计算开发了各种AI相关产品，今天主要给大家分享英伟达赋能自动驾驶领域的NVIDIA DRIVE平台。

昨天的演讲嘉宾，包括刚才小鹏闫雪先生也提到未来的汽车一定是软件定义汽车。我们认为在未来汽车不再是单纯的交通工具，它一定是具有持续软件迭代的软件定义汽车。过去大家买到传统汽车的时候第一天它是最好的，但是随着时间的推演也许不再具有新颖性。但是软件汽车恰恰相反，当你买到这台汽车的时候第一天可能是最年轻，也可能是最不完美的，但随着随着时间的推演和持续的OTA软件迭代更新，它将会给产品带来更多的新功能和新颖性，其发展历程与传统汽车完全不同。

针对软件定义汽车的需求，英伟达开发了端到端自动驾驶平台，主要是为了赋能自动驾驶行业的客户基于我们的平台能够快速高效地开发自动驾驶产品。

NVIDIADRIVE平台主要包括包括DRIVE Orin芯片、DRIVE AGXOrin车端集中式AI计算平台， DRIVE OS基础软件平台、Driveworks中间件、DRIVE AV自动驾驶软件栈， DRIVE Hyperion数据采集和开发验证套件、DRIVE Constellation虚拟仿真平台和DGX高性能AI训服务器。

DRIVE Hyperion是NVIDIA自动驾驶数据采集和验证开发套件，该套件包含NVIDIA DRIVE AGX 开发平台、主流传感器比如Camera，Radar，Lidar，GPS，IMU等硬件。同时，也包扩DRIVE OS基础软件平台、Driveworks中间件及数据采集相关的软件。 我们的客户、合作伙伴可以基于DRIVE Hyperion开发套件快速搭建自动驾驶数据采集车和测试车辆，从而进行多传感器数据采集和自动驾驶算法测试验证。

DGX A100是全球首款高性能AI计算机，内部集成A100 Tensor Core GPU可达到640GB GPU 内存，内置Mellanox ConnectX-6 InfiniBand超高带宽以太网适配器，其双向带宽峰值为500Gb/s。基于高性能的DGX AI服务器，客户可以进行深度网络学习的训练、推理和数据分析，同时多台DGX A100再结合NVIDIA DGX SuperPOD™ 、NVIDIABlueField®数据处理单元 DPU及NVIDIA Base Command™就可以构建超级计算机或者AI集群，为具有挑战性的自动驾驶海量数据进行深度学习网络模型训练和建图提供出色的基础设施和灵活可扩展的AI计算性能。

DRIVE Constellation仿真平台，主要完成对各种虚拟场景的渲染、仿真，产生模拟传感器数据，它主要提供两大功能： 1) 虚拟仿真- DRIVE Constellation Simulator上运行DRIVE Sim 软件仿真虚拟世界、交通场景和道路上的车辆行驶。虚拟汽车在仿真环境中行驶可产生Camera, Radar, Lidar, GPS 和IMU 等模拟传感器数据。这些模拟传感器数据发送到DRIVE Constellation Computer 内的DRIVE AGX车端计算平台进行感知、定位、规划和产生决策控制数据并回传给DRIVE Constellation Simulator上进行评估验证。2）供数据回放- 自动驾驶车辆数据采集过程中物理传感器的真实数据也可以通过DRIVE Constellation Simulator进行数据回放输出给DRIVE Constellation Computer内的DRIVE AGX 车端计算平台进行感知、定位、规划和产生决策控制数据并回送DRIVE Constellation Simulator上进行评估验证。DRIVE Constellation™ 仿真平台提供可扩展、全面且多样化的测试环境。借助开放的模块化架构，DRIVE Sim 软件可让客户利用自己的仿真模型或生态合作伙伴的自定义车辆、环境、传感器或交通场景。

DRIVE AGX平台主要是给自动驾驶汽车提供高性能的车端AI计算平台。经过仿真测试后的深度学习网络模型和算法，可以部署在 DRIVE AGX 车端平台进行相应的自动驾驶功能道路测试和验证。此外，在DRIVE AGX车端平台之上，也可以创建或绘制世界模型并显示当前车辆的3D环绕模型。自动驾驶车辆在道路测试验证的同时也可以进行传感器数据采集，因此，数据采集、数据训练，模拟仿真，自动驾驶道路测试验证就形成了一个数据闭环。

2019年我们发布了DRIVE ORIN芯片，主要是为了满足L2辅助驾驶，L2+ 高阶辅助驾驶和高阶自动驾驶的需求。Orin由245亿个晶体管构成，集成12个64位的ARM A78 CPU核， 提供228K DMIPS CPU计算能力；Orin Tensor Core GPU 和DLA 提供254 TOPS INT8 AI 推理能力；Orin提供高达205 GB/S的内存带宽并内部集成4路万兆以太网；Orin支持H264/H265/VP9 格式的8K 像素 30帧/秒的图像解码和4K 像素60帧/秒 图像编码；Orin的功能安全岛集成4个Lock-Step Cortex-R52 核并达到随机硬件失效ASIL-D。最重要的是Orin芯片严格按照ISO26262功能安全设计开发，可达到随机硬件失效ASIL-B 和系统级ASIL-D 功能安全认证。我们基于Orin芯片开发硬件架构可扩展和软件可编程的自动驾驶集中式架构AI计算平台，该AI计算平台单颗Orin芯片提供 254 TOPSINT8AI推理能力可以满足L2辅助驾驶、 L2+高阶辅助驾驶产品需求。多个Orin芯片或者Orin加安培GPU可以构建超过2000TOPSINT8算力的AI计算平台以便满足RoboTaxi产品需求。

当前传统的L2辅助驾驶系统一般由多个ECU构成，包括360环视、ADAS域控制器、Smart Camera。基于DRIVE Orin可扩展的参考平台设计， 我们的客户可以根据不同车型需求快速设计开发灵活可扩展、统一硬件和软件架构的自动驾驶集中式AI计算平台来满足L2 辅助驾驶至L4高阶自动驾驶产品功能需求。

刚才谈到了ORIN芯片从单颗芯片提供254Tops推理能力，借助可扩展的DRIVE Orin产品系列，客户可以在多个车型系列中利用DRIVE Orin硬件平台的灵活扩展性和统一架构的巨大优势速构建智能驾驶域控制器硬件平台，同一硬件架构的域控制器平台可以兼容从L2辅助驾驶、L2+高级辅助驾驶、L4高阶自动驾驶和无人驾驶系统，从而大大加速了域控制器硬件平台开发速度并降低硬件研发测试成本和软件维护成本。

基于ORIN灵活可拓展性，我们也开发了对应的基础软件平台和中间件。我们的客户可以通过统一API接口的SDK快速开发自己的应用程序和算法，为了方便客户更好地使用DRIVE OS，我们进行了抽象封装，提供模块化抽象封装库，包括硬件传感器抽象层、图像处理和点云处理，并提供方便使用的计算图框架。我们的客户可以利用DRIVE OS 的这些优势快速构建可最大化复用的应用软件及算法，同一软件架构的域控制器平台软件可以支持从L2辅助驾驶、高阶自动驾驶和无人驾驶系统，从而加速了软件产品开发迭代速度并且降低软件研发和测试验证成本。

未来的汽车一定是集中式架构或者中央架构。为了满足集中式架构，我们的DRIVE OS平台从设计角度也考虑了SOA理念，所有软件基于模块化设计。DRIVE OS是英伟达为车端芯片开发的模块化的AI计算平台软件。深绿色部分是 ORIN芯片，浅绿色是DRIVE OS各个软件模块，灰色是第三方软件或者客户自己开发的软件模块。为实现DRIVE OS 功能安全和软硬件相互隔离，OrinSOC上运行NVIDIA自研的符合功能安全的实时微内核Type1 Hypervisor。Hypervisor之上运行符合功能安全的QNXQOS作为GuestOS。Hypervisor之上还运负责OTA更新的DRIVE UPDAE Service和FoundationServices 等多个虚拟机。NVIDIA在QNXGuestOS之上开发了NvMedia、NvStreams、VulkanSCSDK和CUDA 、TensorRT AI 引擎加速库。在ORIN功能安全岛可以运行OEM跟功能安全相关的算法，比如说车控算法，比对算法，传感器后融合算法。另外，在功能安全岛上运行英伟达自己的Safety框架，主要是对ORIN芯片进行实时监控，硬件模块以及寄存器状态，同时也对DRIVE OS软件进行监控。

NVDIA Driveworks SDK主要实现对Camera、毫米波雷达、激光雷达、GPS和IMU等传感器的抽象封装，并支持图像处理和点云预处理。当自动驾驶汽车在路上行驶一段时间，某些视觉传感器可能因为振荡原因产生图像输出畸变，我们可以利用SelfCalibration进行在线标定。同时还提供对于当前车辆位置的估计和预测，基于DRIVE Works采集到的传感器数据，我们在DRIVE AV层进行相应障碍物感知、车道线感知、交通灯的感知，同时基于这些感知结果结合高清地图实现定位并创建世界模型，最后再通过行为规划，车道线规划、路径规划和车辆控制。

基于DRIVE Works，我们针对自动驾驶的典型使用场景和CornerCase场景开发了多种丰富的神经网络，包括障碍物感知、车道线检测、交叉路口感知、距离感知、交通牌以及交通灯的感知以及对驾驶员的监测等常用网络，同时我们也开发了针对交警手势指挥的检测网络、远光灯的检测网络、相机失明检测网络等等。

刚才主要是针对当前这一代ORIN平台做了介绍。为了满足软件定义汽车以及客户对高性能AI计算平台的需求，我们正在研发ORIN下一代产品DRIVE ATLAN，单芯片可以提供1000TOPS算力，可以满足2024年自动驾驶汽车量产的需求。ATLAN是一项技术杰作，将NVIDIA 在AI、汽车、安全和BlueField安全数据中心的各种技术融于一体。DRIVE ATLAN是业界首颗单芯片提供1000 TOPS的SOC。ATLAN能够提供更高的网络带宽和安全服务，集成ASIL-D功能安全岛，基于ATLAN客户可以开发自动驾驶产品满足高阶自动驾驶。

NVIDIA DRIVE 是我们为价值数10万亿美元的交通运输行业推出的端到端自动驾驶平台，从DRIVE Orin/Atlan芯片、DRIVE AGX硬件参考平台，到DRIVE OS、Driveworks、DRIVE AV自动驾驶软件栈再到DRIVE Hyperion数据采集和开发验证套件、DRIVE Constellation虚拟仿真平台和DGX高性能训练服务器，我们已经在各个层面与行业的客户、合作伙伴展开深度合作。NVIDIA将继续为更安全、更高效的自动驾驶提供集中式高性能AI计算平台，从而使车辆能够实时运行自动驾驶所必需的各种冗余和多样化的深度学习网络模型和算法。

最后非常感谢全球各地的开发者、合作伙伴。希望我们能够跟全球的客户和合作伙伴开创更好的未来，谢谢大家。