浙江大学学报(工学版)

浙江大学学报(工学版), 2026, 60(3): 513-526 doi: 10.3785/j.issn.1008-973X.2026.03.007

计算机技术、控制工程

自动驾驶综合仿真平台的现状与展望

吕君陶,, 祁珏瑜, 于淏辰, 马雷, 马惠敏, 胡天宇,

1. 北京科技大学 计算机与通信工程学院，北京 100083

2. 北京大学 未来技术学院，北京 100080

Current status and future prospect of integrated simulation platform for autonomous driving

LV Juntao,, QI Jueyu, YU Haochen, MA Lei, MA Huimin, HU Tianyu,

1. School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China

2. College of Future Technology, Peking University, Beijing 100080, China

通讯作者: 胡天宇, 男, 副教授, 博士. orcid.org/0000-0001-9903-0696. E-mail: tianyu@ustb.edu.cn

收稿日期: 2025-07-14  

基金资助: 国家自然科学基金资助项目(62172036); 科技创新2030-“新一代人工智能”重大资助项目(2022ZD0116305).

Received: 2025-07-14  

Fund supported: 国家自然科学基金资助项目(62172036);科技创新2030-“新一代人工智能”重大资助项目(2022ZD0116305).

作者简介 About authors

吕君陶（2002—），男，硕士生，从事计算机视觉和大语言模型的研究.orcid.org/0009-0006-3374-047X.E-mail：17721026029@163.com , E-mail：17721026029@163.com

摘要

自动驾驶仿真平台在自动驾驶系统的研发、测试与验证过程中发挥着至关重要的作用. 系统综述了当前主流自动驾驶仿真平台的分类与关键技术路径, 包括环境建模、传感器模拟、车辆动力学建模、感知算法测试、V2X通信、云仿真等方面, 重点分析合成数据生成、低成本算法训练、跨域迁移能力、平台可扩展性等核心挑战与研究进展, 分析具体的基于计算机视觉和人工智能的自动驾驶仿真技术，展望了该技术的发展趋势. 随着生成式AI、神经渲染、多模态学习等新兴技术的发展, 仿真平台正向高真实感、可交互、闭环式验证方向演进, 逐步形成数据生成、算法训练、性能评估的全流程闭环. 未来, 仿真平台将在提升自动驾驶系统的泛化能力、加速产品部署进程以及构建标准化测试验证体系等方面持续发挥支撑作用.

关键词： 自动驾驶 ; 计算机视觉 ; 算法测试 ; 数据生成

Abstract

Autonomous driving simulation platforms play a vital role in the development, testing and validation of autonomous driving systems. A systematic review of the classification and key technical pathways of mainstream simulation platforms was presented, covering aspects such as environment modeling, sensor simulation, vehicle dynamics modeling, perception algorithm evaluation, V2X communication and cloud-based simulation. Core challenges and research progress related to synthetic data generation, cost-effective algorithm training, cross-domain generalization and platform scalability were analyzed, emphasizing simulation technologies based on computer vision and artificial intelligence. Future development trends were discussed. Simulation platforms are evolving toward higher realism, interactivity and closed-loop validation with the advancement of emerging technologies such as generative AI, neural rendering and multimodal learning, gradually forming a comprehensive pipeline that integrates data generation, algorithm training and performance evaluation. Simulation platforms will continue to play an essential role in enhancing the generalization capability of autonomous driving system, accelerating product deployment, and establishing standard testing and validation framework in the future.

Keywords： autonomous driving ; computer vision ; algorithm testing ; data generation

PDF (3261KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

吕君陶, 祁珏瑜, 于淏辰, 马雷, 马惠敏, 胡天宇. 自动驾驶综合仿真平台的现状与展望. 浙江大学学报(工学版)[J], 2026, 60(3): 513-526 doi:10.3785/j.issn.1008-973X.2026.03.007

LV Juntao, QI Jueyu, YU Haochen, MA Lei, MA Huimin, HU Tianyu. Current status and future prospect of integrated simulation platform for autonomous driving. Journal of Zhejiang University(Engineering Science)[J], 2026, 60(3): 513-526 doi:10.3785/j.issn.1008-973X.2026.03.007

随着自动驾驶技术的快速发展, 其在提高交通效率和安全性方面的潜力日益显现, 端到端闭环框架将成为自动驾驶系统的主流趋势. 由于在应对长尾样例和复杂交通场景时泛化性的不足, 现有的自动驾驶系统在开放环境中运行时, 可靠性和鲁棒性难以保证.

仿真平台能够生成高质量的场景和物体数据, 支持自动驾驶算法的训练和验证, 在自动驾驶系统的研发中发挥着关键支撑作用. 传统的仿真平台通常依赖规则驱动或数据驱动的环境建模方式, 难以满足复杂多变的现实世界需求. 近年来, 随着生成式模型[1-3]和多模态集成技术[4-5]的进步, 仿真平台正逐步向更高真实度、更高效率和更强泛化能力的方向演进. 大语言模型(large language model, LLM) 的认知能力[6]使得仿真平台得以在场景生成与动态推理中表现出更强的适应性. 世界模型[7]利用大规模预训练和自监督学习来扩大模型的罕见事件模拟和实时交互能力, 提高了仿真平台在域适应、长尾异常检测、多模态融合等方面的可靠性[8-9].

本文旨在整理自动驾驶仿真综合平台的技术流程和路线. 对现有的自动驾驶仿真平台进行分类, 分析仿真平台对自动驾驶的意义, 探讨未来仿真平台如何提升自动驾驶系统的稳定性和泛化性.

1. 自动驾驶仿真平台的基本原理和组成

图1 梳理了生成模型及AIGC的发展历程, 从VAE[10]与GAN[11]开启生成模型研究的序幕出发, 到DCGAN[12]、StyleGAN[13]系列及扩散模型的早期形态, 延伸至AIGC兴起后的DALL·E[14]、DreamFusion[15]与Magic3D[16]等文生图模型, 到近年的ControlNet[17], 再到sora[18]等视频生成模型. 生成技术体现由小模型向大模型、由二维生成向三维生成、由静态图像生成向视频生成的演进趋势.

图 1

新窗口打开| 下载原图ZIP| 生成PPT

图 1   生成模型及AIGC的发展历程

Fig.1   Development history of generative model and AIGC


自动驾驶系统由感知、规划和控制等核心部分组成. 感知系统负责识别周围环境中的物体, 如其他车辆、行人和交通标志等, 并通过车辆与万物通信(vehicle to everything, V2X) 方法与环境交互. 规划系统通过处理传感器数据, 根据驾驶策略设计模块的规则, 计算得到最佳的行驶路线和决策. 控制系统根据规划结果和交通控制模块, 执行实际的车辆运动控制. 随着自动驾驶技术的迅猛发展, 仿真技术在该领域中的应用变得愈加重要. 仿真平台不仅能够提供虚拟环境中的全面测试, 还能模拟复杂的交通状况、传感器数据和车辆动态, 为自动驾驶系统的研发和优化提供强有力的支持. 在仿真平台中, 不同类型的模拟器分别承担着不同的任务, 包括交通流量的模拟、驾驶策略的评估、车辆的动态行为和控制系统的测试[19]. 模拟这些任务能够深入测试自动驾驶系统, 以较低成本解决自动驾驶系统在实际道路上可能遇到的各种问题, 确保系统在真实环境中的安全性与效率. 通过将这些功能集成至仿真平台, 能够在虚拟环境中测试和优化这些技术, 推动自动驾驶向更安全、更高效的未来迈进[20].

自动驾驶仿真综合平台的技术流程和路线如图2所示. 自动驾驶仿真平台须兼顾视觉效果真实性、输出实时性与功能扩展性. 目前，自动驾驶仿真平台的基本流程如图3所示. 构建虚拟的驾驶场景, 即搭建静态场景并加入动态元素. 车辆及传感器仿真, 包括车辆动力学仿真、安装在车身上和路端的传感器仿真. 与其他仿真软件、高级驾驶辅助系统(advanced driving assistance system, ADAS) 和自动驾驶系统(autonomous driving system, ADS) 之间的通信接口以及云端并行仿真.

图 2

新窗口打开| 下载原图ZIP| 生成PPT

图 2   仿真平台与ADS任务中各组件的关系

Fig.2   Relationship between simulation platform and component in ADS mission


图 3

新窗口打开| 下载原图ZIP| 生成PPT

图 3   自动驾驶仿真平台的基本流程

Fig.3   Fundamental process of autonomous driving simulation platform


1.1. 虚拟场景生成与环境模拟

场景与环境的仿真是自动驾驶仿真的基础, 核心在于构建的道路结构、交通元素和气候环境. 随着仿真需求向多样性和真实性演进, 仿真平台不断融合3D建模、语义标注、地图生成与天气仿真等技术.

1.1.1. 生成静态场景

还原自动驾驶场景的第一步是搭建与真实世界一致的静态背景. 在经典的道路分层结构中, 静态层包含路网、交通设施以及树木、建筑和天空等背景. 一部分自动驾驶仿真工作使用三维建模工具创建素材库, 基于高精地图的矢量化图形对道路元素进行重建, 最后添加其他静态要素.

基于多模态真实数据的方法, 利用图像、视频、文本、高精地图等多模态数据, 构建具备高还原性和多样性的仿真环境, 提升仿真的真实性与泛化能力. RoadView[21]结合车载摄像头采集的图像序列与道路GIS数据, 构建真实的交通场景模型,能够结合GPS/INS提供的位置信息, 重建三维交通环境. SceneGen[22]作为自回归模型, 以Ego Car的传感器数据和高精地图为输入, 通过学习真实交通场景的数据分布, 避免了传统基于规则的场景构建方法的局限性, 生成的场景分布与真实数据高度一致, 可以用于训练感知模型, 提升模型在真实世界中的泛化能力.

预训练LLM与世界模型被引入自动驾驶仿真, 用于从语言指令生成场景, 增强建模能力. ChatSim[23]通过协作式大型语言模型(large language model, LLM) 代理，实现可编辑的高真实感3D自动驾驶场景仿真.生成式世界模型GAIA-1[24]利用视频、文本和动作输入生成逼真的驾驶场景, 支持对Ego Car行为和场景特征的精细控制. 该方法将世界建模视为无监督的序列建模问题, 通过将输入映射到离散标记, 预测序列中的下一个标记. DriveDreamer4D[25]是首个基于视频生成模型的驾驶场景4D重建框架, 能够基于世界模型先验合成新的轨迹视频, 通过结构化条件控制前景和背景元素的时空一致性, 确保生成的数据严格遵守交通约束, 适用于闭环仿真测试和复杂驾驶操作的模拟.

扩散模型因其在高质量图像与三维生成中的优异表现, 逐步被应用于自动驾驶仿真任务, 实现复杂场景的多样化可控建模. DriveSceneGen[26]是数据驱动的驾驶场景生成方法, 通过学习真实驾驶数据的分布, 生成包含静态地图元素和动态交通参与者的场景. Scenario Diffusion[27]结合潜在扩散、目标检测和轨迹回归, 能够同时生成交通参与者的位置、朝向和轨迹等信息, 可控地生成驾驶场景.通过引入地图和描述场景的token作为条件, Scenario Diffusion 能够生成多样化且符合特定要求的交通场景, 适用于不同地理区域的场景生成任务. DrivingDiffusion[28]以3D布局为条件输入, 通过级联多视图图像生成、单视图视频生成和后处理步骤, 能够生成具有空间一致性和时间连续性的多视角视频, 适用于复杂城市环境中的下游驾驶任务.

1.1.2. 加入动态元素

自动驾驶仿真场景的另一重要构成是动态层, 包括交通管控、交通流及环境条件. 交通管控涉及对道路交通规则、信号灯、车道指示、限速标志、交通指挥等因素的仿真, 仿真平台需要准确模拟不同地区的交通法规, 如不同的红绿灯时序、行人优先权、交通事故处理规则等, 以及可变限速标志、动态车道控制、自适应交通信号控制等智能交通系统(intelligent traffic system, ITS) 相关的仿真, 以评估自动驾驶系统在复杂交通环境中的适应能力. 交通流包含动态的交通参与者, 如机动车、非机动车、行人等. AutoRF[29]通过从单个视角的图像学习对象的神经辐射场(neural radiance fields, NeRF) , 实现了形状、外观和姿态的解耦编码. 该方法不依赖多视图数据或精确的像素级标注, 而是通过归一化的对象中心表示, 能够从单视图生成新的视角图像, 适用于数据稀缺或标注成本高的场景.

一部分基于三维高斯溅射(3D Gaussian splatting, 3DGS) [30]的工作对前背景进行解耦, 分别重建静态层和动态层, 然后组合为完整的场景, 借助显式的场景表示, 这些方法能够突破传统NeRF在训练速度、渲染效率及动态物体处理上的瓶颈. Street Gaussians[31]和DrivingGaussian[32]通过引入光探测和测距 (light detection and ranging, LiDAR) 先验, 增强3DGS的几何细节和全景一致性. 当处理复杂的动态场景时, 逐步构建整个场景的静态背景, 对多个移动对象进行单独重建, 恢复它们在场景中的位置和遮挡关系. AutoSplat[33]通过对道路和天空区域的3DGS椭球施加几何约束, 实现多视角一致的模拟. 通过引入对称性约束监督前景物体的不可见侧, 借助预训练的3D生成模型模拟前景物体的动态外观.

仿真平台需要兼顾环境变化, 包括背景的变化, 如天气变化 (晴天、阴天、雨天、雾天等) 和光照变化. 这些变化需要遵循现实世界的物理规律[34-35]. Climatenerf[36]在Instant-NGP[37]框架的基础上引入物理仿真参数 (如洪水水位、积雪厚度) , 通过调整NeRF的密度和颜色函数实现极端天气合成 (如洪涝、暴雪) , 支持动态烟雾扩散的模拟.

RainyGS[38]、ClimateGS[39]基于3DGS, 通过结合物理模拟和3DGS渲染框架, 实现了真实场景中动态雨点的高质量仿真. RainyGS集成了基于物理的雨滴和浅水模拟算法, 能够高效地模拟雨滴下落、飞溅和反射等现象, 并允许用户灵活控制雨量强度, 从细雨到暴雨均可实现, 实现了真实场景中动态雨滴的高质量仿真. ClimateGS 采用联合训练策略, 结合有监督和自监督学习, 引入基于3DGS的风格迁移算法, 通过线性变换, 能够在修改3DGS球谐函数时保持一致性, 实现高真实感的雨滴效果.

1.2. 车辆动力学与传感器仿真

车辆动力学仿真通过动力学建模来模拟车辆的动态响应, 包括动力系统、转向、制动、悬挂等组件,结合不同驾驶模式和环境因素来还原真实的驾驶特性. 专业的车辆动力学仿真软件有CarSim[40]、CarMaker、BeamNG等.

传感器仿真是对真实世界传感器的物理属性和行为进行建模, 以再现其感知周围环境的过程[41]. 自动驾驶涉及的传感器包含各类相机、LiDAR、全球定位系统(global positioning system, GPS) , 惯性测量单元(inertial measurement unit, IMU) 等. 这些真实传感器受噪声和环境干扰的影响, 因此仿真平台要考虑传感器的误差. 与在真实环境中采集数据不同, 在仿真环境中, 虚拟传感器能够输出带有像素级精确标注的标签的场景, 如vkitti2[42]. 与KITTI[43]、nuscenes[44]、Waymo[45]等真实数据集相比, 在仿真环境中生成和标注的数据成本大幅降低, 能够在一定程度上解决目前自动驾驶场景数据量不足、标注不够精确的问题.

BeamNG 是基于高精度物理引擎的实时车辆仿真软件, 能够在开放沙盒场景中模拟真实的碰撞形变效果. BeamNG通过实时计算车辆结构的动态形变, 精准还原碰撞过程中的力学响应, 成为自动驾驶安全测试与极端场景验证的重要工具. BeamNG 的开放场景编辑器支持自定义路网与交通流生成, 结合激光雷达, 能够提供低成本、高自由度的测试环境, 适用于边角案例(corner case) 的研究与被动安全系统的开发.

随着新能源汽车的快速发展, 2023年全球新能源车的销量占比超过18%, 预计2030年全球市场占有率将突破50%. 由于整车厂商在智驾软硬件研发的投入不同, 新能源车企在智驾上的投入相较于传统车企更多. 在可预见的未来, 大量的自动驾驶车辆将是新能源汽车, 其动力学特性与现有的基于燃油车构建的模型有很大区别[46],例如发动机方面, 燃油车的内燃机和新能源汽车的电动机的功率-扭矩曲线有很大差别[47], 电动机在低速时能够提供最大扭矩, 随后扭矩随转速的增加而线性下降, 使得加速过程平稳, 且无需变速箱. 内燃机的扭矩在低速时较弱, 须达到一定转速后才能进入最佳扭矩区间, 并在中高转速下达到峰值, 随后随着转速继续增加, 扭矩逐渐衰减, 因此需要变速箱匹配不同工况. 此外, 新能源汽车的电池安装在车辆底部, 重心较低, 而燃油车的发动机、变速箱、底盘等部件相对较高, 且油箱的位置偏后, 二者质量分布的不同会对整车的动力学特性产生很大的影响[48].仿真平台现有的动力学模型需要针对新能源汽车进行更新.

除环境干扰外, 传感器、汽车控制组件、数据总线等重要元器件的失效会影响自动驾驶汽车的安全性[49]. 软件层面的故障注入（fault injection）, 如AVFI, 是评估容错能力、识别潜在安全风险的关键手段. CarMaker、PreScan通过故障注入, 支持基于ISO 26262标准的随机故障测试, 能够验证系统的鲁棒性与冗余策略的有效性[50-51].

1.3. 数据通信接口与云仿真
1.3.1. 数据通信接口

为了接入被测对象、导出运行数据, 需要构建仿真平台和被测对象、仿真平台和用户之间的通信接口, 确保仿真平台能够与自动驾驶系统的各个模块进行数据交互, 包括车辆控制、环境感知、规划决策等.通过基于机器人操作系统 [52] (robot operating system, ROS)、Apollo CyberRT平台的通信中间件处理仿真数据, 并将其转化为被测对象所需的数据格式进行传输. 如LGSVL[53]能够通过内置的 CyberRT 通信桥接接口, 将仿真环境中的传感器数据实时传输至 Apollo 系统, 并接收其控制指令, 实现闭环仿真测试, CARLA[54] (car learning to act) 也支持通过开源的 Carla-Apollo Bridge与 Apollo 的联合仿真, 如图4所示.

图 4

新窗口打开| 下载原图ZIP| 生成PPT

图 4   Carla-Apollo Bridge软件界面[55]

Fig.4   Interface of Carla-Apollo Bridge[55]


此外, V2X的仿真是通信接口的重要部分, V2X包括车辆与基础设施(vehicle to infrastructure, V2I) 、车辆与其他车辆(vehicle to vehicle, V2V)、车辆与行人(vehicle to pedestrian, V2P) 、车辆与网络(vehicle to network, V2N) 之间的信息交换. 例如, 在车路协同仿真中, 交通信号灯可以通过V2I通信向车辆发送信号相位信息, 帮助自动驾驶车辆提前规划通行策略[56]. 通信接口还需要支持外部数据的接入, 例如与云端数据库交互、接收远程控制指令、与测试管理系统进行信息同步等, 以确保整个仿真系统的开放性和扩展性.

1.3.2. 云端并行仿真

随着自动驾驶技术的快速迭代及其复杂性的提升, 高阶自动驾驶算法需要的验证场景数量和回归测试的频次远多于低阶智驾, 端侧平台已难以满足大规模仿真的算力和并发需求. 云仿真技术通过大规模并行模拟、跨平台协同和分布式部署, 显著提升了自动驾驶系统的开发效率和计算、存储资源的利用率. PreScan、CarMaker、DriveSim 和 AirSim 等仿真平台基于AWS、Azure平台构建云版本, 初步实现了大规模并行仿真和远程可视化调试功能.

部分互联网企业的自动驾驶部门结合自有云平台, 实现了云仿真功能. 百度基于Apollo系统与百度云, 开发Apollo 云仿真平台, 提供了大规模场景库和自动化的场景挖掘与泛化引擎, 基于真实道路测试数据生成的海量测试场景, 可以支持大尺度空间范围的里程测试, 实现虚拟测试与算法快速部署的集成. 腾讯TAD Sim 支持本地与云端协同, 强化了多模态感知与交通建模能力. 华为通过 Octopus 云平台, 将仿真服务与高精地图、环境建模、算法训练等能力集成于一体.

Grigorescu等[57]提出弹性AI框架, 结合云计算与边缘计算资源, 采用数据驱动的模型, 支持在云端进行软件在环仿真, 通过边缘预处理减小了数据传输带宽, 增强了隐私保护能力. Yang等[58]结合 Cloud2Edge, 构建具备泛化能力和资源效率的云仿真系统. Huang等[59]通过分布式多智能体仿真, 实现了多模态人机交互、数字孪生建模和多终端同步仿真, 支持个性化驾驶策略的训练与测试. Alpha Drive提供基于云端的仿真服务, 支持快速部署和验证AI模型, 兼容多种仿真器, 并支持通过命令行接口在云端并行运行仿真任务, 适用于大规模自动驾驶算法的训练与测试[60].

总体而言, 自动驾驶云仿真正朝着可扩展、生成式、多智能体与数据驱动的方向演进, 以提高自动驾驶仿真平台的效率、可靠性与大规模部署的稳定性. 目前不同功能的仿真平台在数据格式、通信协议、物理建模精度及运行架构等方面存在差异, 不同平台联合工作通常需要借助中间件或标准化接口进行适配与数据交换. 随着自动驾驶算法复杂度和测试需求的不断增加, 部分平台通过云仿真解决计算资源有限、扩展性不足及数据共享困难等问题.

2. 自动驾驶仿真平台的发展现状

现有的自动驾驶仿真平台包括商业平台 Prescan、TAD Sim、Panosim、SimOne 等, 以及开源平台 CARLA、LGSVL、AirSim 等. 其中CARLA、AirSim、TAD Sim、Prescan等基于虚幻引擎(unreal engine, UE)[61]开发, Panosim、LGSVL基于Unity引擎[62]开发, 仿真平台、引擎、建模软件之间的关系如图5所示. 基于3D表征的数据生成仿真通过Voxel、Mesh、点云等三维结构及神经渲染方法如3DGS、NeRF生成虚拟场景和对象数据. 基于3D引擎的仿真依托UNIGINE、UE、Unity等引擎, 构建交互式驾驶环境. 基于数学软件的仿真利用MATLAB进行算法验证与控制策略设计. CARLA、CarMaker、CarSim等平台依托真实物理规律进行建模. 如表1所示为部分自动驾驶仿真平台的开源状况技术、接口及特点.

图 5

新窗口打开| 下载原图ZIP| 生成PPT

图 5   现有自动驾驶仿真平台与技术之间的关系

Fig.5   Relationship between existing autonomous driving simulation platform and technology


表 1   现有自动驾驶仿真平台的比较

Tab.1  Comparison of existing autonomous driving simulation platform

平台开源状况建模技术接口特点
CarSim闭源VehicleSim SolversMATLAB, Simulink, Python, C++支持多种车型的建模, 扩展性和兼容性强, 于1996年发布
Carmaker闭源UnigineMATLAB, Simulink, Python, C++支持 27自由度多体动力学模型及多种极端情况模拟, 于1999年发布, 目前已更新至14.0
Prescan闭源Unreal EngineMATLAB, Simulink支持与多方第三款软件集成, 精准呈现驾驶员的操控, 2002年由TASS发布, 后被Siemens收购, 持续更新中
VI-Grade闭源Unreal EngineMATLAB, Simulink提供从静态桌面解决方案到全尺寸动态模拟器的多种配置, 支持模块化组装和快速原型开发, 发布于2005年, 近期推出了云功能
CARLA开源Unreal EngineROS, Python, ApolloClient-Server架构, 支持多种传感器仿真, 发布于2017年, 持续更新中
Airsim开源Unreal Engine
/Unity		Python, C++, ROS, Simulink, Apollo能实时处理深度、实例分割, 支持软件在环仿真, 适用于多个下游任务, 发布于2017年, 但已停止更新
DeepDrive开源Unreal EngineROS, Python环境交互灵活, 集成深度学习框架, 发布于2018年, 已停止更新
TAD Sim开源Unreal EngineROS, Python高真实度场景仿真, 高精度车辆动力学模型, 高效的测试工具, 支持云仿真, 发布于2018年
Panosim闭源UnityMATLAB, Simulink高精度建模, 一体化仿真工具链, 2019年发布正式版本5.0
LGSVL开源UnityROS, Apollo, Autoware, Python, C++支持多种传感器仿真、多种高精度地图格式、V2X通信仿真, 发布于2019年, 2022年已停止更新
MetaDrive开源Panda3DPython轻量化, 提供精确的物理模拟, 支持多种传感器仿真, 2021年发布
DriveSim闭源OmniverseROS, Python, C++结合RTX技术和可微渲染, 支持多种传感器仿真, 发布于2021年
SimOne闭源SimOne-
Bus/Car/Truck		ROS, Simulink, Python, C++全链闭环仿真, 支持多种常用数据接口, 发布于2021年

新窗口打开| 下载CSV


3D 引擎在自动驾驶仿真平台中主要用于高精度环境建模、动态交通流模拟和传感器数据生成, 提供虚拟测试环境. UE被CARLA、AirSim用于城市级别的自动驾驶场景仿真, 支持多传感器数据生成和智能体交互. Unity被LGSVL、Panosim采用, 能够与ROS、Autoware[63]等框架集成. 3D引擎不仅增强了仿真的视觉真实性, 还通过物理引擎实现车辆动力学、碰撞检测和复杂天气模拟, 为自动驾驶系统的感知、决策和控制提供真实可控的物理约束. MATLAB和Simulink在自动驾驶仿真中起到桥梁作用, 为自动驾驶系统提供了强大的建模、仿真、算法开发和硬件部署能力. 它们与自动驾驶仿真平台深度集成, 通过物理建模、控制逻辑仿真和数据验证, 实现从算法开发到真实环境测试的完整闭环流程, 加速了自动驾驶系统的研发进程. 与MATLAB和Simulink的算法建模、控制系统仿真、硬件在环测试不同, 3D引擎更侧重于视觉渲染和环境交互, 二者共同构建了完整的自动驾驶仿真体系.

2.1. 基于仿真引擎实现渲染与交互

渲染与交互是自动驾驶仿真的关键环节, 决定了环境视觉逼真度与仿真响应能力. 由于3D仿真引擎具有强大的建模与渲染性能, 当前主流平台普遍采用游戏引擎构建可视化系统, 以支持高保真视觉还原、物理反馈与交互操作, 满足感知模型训练与交互测试的需求.

2.1.1. 常用的仿真引擎

UE和Unity是目前两大主流的3D引擎, 广泛应用于游戏开发、仿真、影视制作和虚拟现实等领域. UE的发布时间较早, 以高保真渲染见长, 适合视觉感知仿真. 与UE相比，Unity更加轻量易用，跨平台能力更强.

UE是由Epic Games开发的游戏引擎, 其核心技术包括光线追踪、物理渲染和全局光照. UE4及其后续版本UE5、UE5.5支持实时光线追踪技术, 使得光照、阴影、反射、折射等视觉效果具有强真实感. UE内置的Chaos 物理引擎支持碰撞检测、刚体模拟、材质模拟、粒子仿真等, 能够为仿真提供真实的物理约束, 基于物理的渲染(physically based rendering, PBR) 系统使得材质和光照的表现更加接近现实物体, 适用于各种环境条件. 全局光照 (global illumination) 支持动态全局光照计算, 能够模拟光在真实场景中传播的效果, 增强光照的自然感.

Unity是由Unity Technologies开发的跨平台实时3D引擎, 其核心基于模块化渲染管线, 集成了物理引擎, 支持动态全局光照. Unity的高清渲染管线(high definition render pipeline, HDRP) 能够通过光线追踪技术实现软阴影、动态反射和环境光遮蔽, 显著提升复杂场景的视觉真实感. Unity内置的PhysX [64]物理引擎支持刚体动力学、车辆轮胎模型及材质模拟, 为仿真提供精确的物理交互约束. Unity内置了PBR系统, 通过将材质参数化, 结合实时全局光照, 可以动态模拟间接光照的漫反射与镜面反射效果, 适配昼夜交替、天气变化的环境条件.

Panda3D采用 C++ 核心与 Python 高层接口, 支持实时图形渲染与高度交互的应用程序. Panda3D 提供灵活的图形管线, 支持GLSL 和 Cg着色器, 可以实现动态光照、阴影映射与后处理效果, 具备构建复杂场景的能力[65]. 尽管Panda3D的图形真实感不如 Unity 或 UE 的高端渲染管线, 但 Panda3D 更强调轻量级、可编程性与教学友好性, 在游戏开发和机器人平台中被广泛采用[66-67]. 此外, Panda3D 内置碰撞检测系统和物理接口, 可以用于构建基础物理交互. Python 接口支持快速构建可定制的自动驾驶或虚拟测试环境.

2.1.2. 基于仿真引擎的平台

开源仿真引擎具备成熟的渲染管线、物理引擎和可扩展插件体系, 能够快速构建传感器仿真、行为模拟和交互测试的功能模块, 因此, 基于仿真引擎的平台成为当前的主流架构形态.

AirSim[68]是基于UE的开源跨平台仿真器, 包含用于读取数据、控制车辆、控制天气的API接口, 可以用于无人机、无人车的物理和视觉仿真. AirSim支持基于PX4和ArduPilot飞行控制器的软件在环仿真, 以及基于PX4的硬件在环仿真. 如图6所示为AirSim仿真界面的示例: Ego Car在城市环境中行驶, 平台能够实时生成深度图、实例分割图及前置相机的画面. AirSim适用于无人车自动驾驶、无人机强化学习、视觉数据采集等任务, 还可以用于手动驾驶和飞行的训练.

图 6

新窗口打开| 下载原图ZIP| 生成PPT

图 6   AirSim的仿真界面

Fig.6   Simulation interface of AirSim


与AirSim相同, CARLA依托UE开发, 使用服务端到多客户端的架构, 能够接入ROS、Autoware框架. 服务端用于建模仿真场景, 用户控制客户端, 通过API对场景进行调整、变化. CARLA通过模拟现实世界的交通环境, 可以定义不同车型、不同行为模式、不同速度的车辆与Ego Car进行交互. CARLA支持模拟RGB相机和激光雷达, 可以将这些传感器附加到不同的车辆上收集数据. 此外, CARLA能够记录每一个时刻的状态, 使仿真结果可复现. 如图7所示为Carla的用户界面.

图 7

新窗口打开| 下载原图ZIP| 生成PPT

图 7   Carla仿真平台的用户界面

Fig.7   User interface of Carla simulation platform


LGSVL[52]采用Unity引擎构建, 提供了端到端的全栈仿真环境, 能够与Apollo和Autoware框架集成, 支持ROS/ROS2通信协议. LGSVL提供摄像头、激光雷达、IMU等多种传感器的模拟, 满足感知算法的训练需求.

LGSVL支持Lanelet2、OpenDRIVE和Apollo HD Map等多种高精度地图格式, 便于进行定位和路径规划测试. 如图8所示, LGSVL的环境高度可控, 用户可以自定义天气、光照、交通流量等环境参数, 模拟各种驾驶场景. 仿真引擎支持模块替换和扩展, 允许用户根据需求定制仿真环境. 此外, LGSVL还支持V2X通信仿真, 模拟自动驾驶系统在复杂交通环境中的协同感知与决策.

图 8

新窗口打开| 下载原图ZIP| 生成PPT

图 8   LGSVL的控制界面

Fig.8   Control interface of LGSVL


PanoSim 基于Unity引擎, 其动力学模型能够精准模拟车辆在各种工况下的运动特性, 交通流模型能够构建复杂的交通环境中不同车辆类型的行驶行为、速度分布、跟车距离及车道变换规则等, 干扰交通模型用于模拟突发异常情况. PanoSim也支持激光雷达、毫米波雷达、摄像头等多种类型传感器, 以及自然环境和气象条件的模拟. 动力学模块PanoCar通过27自由度的高精度模型, 在车身建模的基础上, 模拟动力传动、转向制动、道路悬挂、空气动力学等系统, 具有高数值稳定性与鲁棒性. 模型代码易移植, 运算效率高、实时性强, 可在Windows或Simulink环境下实时或非实时运行, 且支持在硬件在环仿真(hardware-in -the-loop, HIL) 系统如dSPACE、NI上实时运行.

Prescan是Siemens打造的汽车自动驾驶系统仿真平台, 它以物理模型为基础, 支持各类相机、激光雷达、GPS以及V2V、V2I等多种设备的仿真. Prescan依托UE, 适用于高级驾驶辅助系统(ADAS) 和无人驾驶系统的仿真模拟, 且能与ADAMS、AVLCruise、rFpro等第三方软件集成, 实现联合仿真.

Prescan能够精准地呈现车辆对驾驶员操控、3D路面状况及空气动力学输入的反应, 效果高度贴近车辆的真实运行状态. 如图9所示为Prescan对场景仿真的效果.

图 9

新窗口打开| 下载原图ZIP| 生成PPT

图 9   Prescan场景仿真

Fig.9   Scenario simulation in Prescan


2.2. 基于物理建模实现真实性

物理建模是保障仿真平台真实性与可用性的核心技术之一, 通过对车辆动力学、传感器特性和环境物理规律的精确建模, 使得仿真结果更贴近现实. 高精度的物理建模不仅提升了算法评估的可靠性, 也为实际部署提供了可验证的数据基础.

CarMaker 作为专注于高精度车辆动力学与自动驾驶仿真的工业级工具，核心优势在于27自由度多体动力学模型, 涵盖悬架、轮胎滑移及动力总成等子系统, 支持精准模拟极端工况，如低附着力路面制动、高速弯道失控. 通过基于OpenSCENARIO标准的动态场景构建与 IPG Traffic 交通流模块, 可以生成复杂路网与多样化的交通参与者行为, 适配ADAS算法的闭环验证. CarMaker提供 Python、MATLAB与Simulink接口, 广泛应用于乘用车、商用车及摩托车的控制策略开发与实时硬件测试.

Mechanical Simulation 推出的CarSim、TruckSim、BikeSim系列是面向乘用车、商用车与摩托车的实时车辆动力学仿真工具链, 其内置模型库支持导入OpenDRIVE格式路网, 可以快速生成车辆模型, 模拟传感器与交通参与者的行为逻辑, 如行人横穿、3D标识牌, 支持自动紧急制动系统(autonomous emergency braking, AEB) 、自适应巡航控制系统(adaptive cruise control, ACC) 及电子车身稳定系统(electronic stability program, ESP) 响应测试等ADAS功能验证. CarSim系列兼容MATLAB、Simulink联合仿真, 并能与dSPACE、NI对接.

2.3. 结合自研引擎与数据生成实现闭环仿真

基于真实交通系统部署的需求, 一些平台结合自研引擎与大规模数据生成方法, 实现算法训练、虚拟测试与安全评估的闭环仿真体系, 兼顾可控性、可复现性与扩展性.

51WORLD研发的智能驾驶仿真平台SimOne通过融合多种传感器和多个数据源, 采集真实世界的交通数据、环境数据, 并进行清洗、标注和预处理, 为场景仿真提供了丰富的数据, 具备全链闭环的仿真能力. 依托其自研的自动驾驶虚拟世界建模引擎, 如图10所示, SimOne支持模拟各类传感器及多种控制方式, 实现了感知在环仿真.

图 10

新窗口打开| 下载原图ZIP| 生成PPT

图 10   SimOne自动驾驶仿真平台UI

Fig.10   UI of SimOne autonomous driving simulation platform


平台支持基于高效分布式架构的云端仿真, 确保仿真数据在大规模计算环境下的安全存储、快速检索与高效共享. SimOne通过将真实的感知算法集成到仿真环境中, 进一步提高感知系统的准确性和可靠性. 此外, 平台兼容C++、Python、ROS、Simulink等多种常用数据接口, 具备良好的系统集成与扩展能力.

DriveSim依托Omniverse运行, 通过将神经渲染引擎与多模态地图引擎融合, 能够接受多种场景空间表征方法作为输入, 实现大规模的多传感器模拟, 完成场景孪生任务, 且具备较强的个性化定制能力. DriveSim融合了OpenUSD, 能够处理其他仿真引擎生成的素材, 并通过添加物理约束完成物理真实感仿真, 由此可以产生较多的外推性生成结果. DriveSim还充分结合RTX技术和可微渲染, 能够利用光线追踪技术实时渲染高真实度的物理传感器仿真结果, 实现快速的素材生成. DriveSim还能够以软件在环、硬件在环的配置方式, 与其他自动驾驶软件联合仿真.

在功能上, 如图11所示, DriveSim可以生成用于训练感知系统的数据集, 提供虚拟测试环境, 进而检测车辆在极端情况下的表现.

图 11

新窗口打开| 下载原图ZIP| 生成PPT

图 11   用于训练感知算法的DriveSim

Fig.11   Drivesim for training perception algorithm


3. 仿真平台对于自动驾驶的意义

3.1. 提升感知算法性能

自动驾驶仿真平台在提升感知算法性能方面发挥着关键作用, 尤其是在实车部署前对算法进行全面测试和优化. 仿真平台在感知算法鲁棒性提升中的作用主要体现在多样化场景生成、可控性、成本效益及高度集成性几个方面. 仿真平台能够自动生成多样化的交通场景, 包括不同的天气条件、光照变化、道路类型以及交通事故、突发障碍物等corner case场景, 全面覆盖现实世界中难以采集的数据分布, 从而增强感知模型在复杂环境下的适应能力. 仿真环境具备高度的可控性和可重复性, 使研究者可以系统地调节变量, 评估感知算法在特定条件下的性能表现, 便于精确定位鲁棒性的缺陷, 并进行定向优化. 相较于实车路测, 仿真测试在经济成本、时间效率和安全性方面更具优势, 尤其适用于感知算法的早期验证、参数调优与迭代训练. 当前的主流仿真平台支持感知、规划与控制等模块的集成测试, 为系统级别的联合验证和多模态耦合分析提供了有效手段.

仿真平台能够模拟各种复杂交通场景, 包括不同的天气条件、光照变化和交通流密度, 为自动驾驶中的目标检测、实例分割、目标跟踪、轨迹预测、三维占用预测等感知算法提供了安全、高效且可控的环境, 能够验证和增强这些算法在不同场景下的性能. YOLO (you only look once)系列检测算法[69-72]因其实时性和高精度, 被广泛应用于自动驾驶中的目标检测任务. 三维占用预测算法[73-75]旨在从多视角图像中预测场景中每个体素的占用状态, 利用多摄像头图像, 通过2D-3D空间注意力机制, 并进行多层次监督, 以实现密集的三维占用预测, 将图像特征提升至三维空间的体素表示, 是实现全面环境感知的关键.

部分学者将仿真平台生成的数据用于提高自动驾驶感知算法的性能. 例如, Acuna等[76-77]通过使用CARLA生成的数据测试感知算法, 有效地评估了其在不同场景下的检测效果, 并在真实数据集上评估了整个框架, 从而对YOLO算法进行优化和改进.

综上所述, 在仿真平台中测试自动驾驶感知算法, 可以在不依赖昂贵的实车数据采集的情况下, 评估其在各种复杂场景中的性能. 自动驾驶仿真平台通过提供多样化、可控和高保真的测试环境, 显著提升了感知算法的鲁棒性, 缩短了算法从研发到实车部署的周期, 降低了测试成本和风险.

3.2. 降低算法训练的数据成本

仿真测试需要大量的数据, 因此道路数据的采集、处理和生成是自动驾驶仿真测试必不可少的前置工作[76]. 尽管当前已存在一定数量的公开自动驾驶数据集, 但由于自动驾驶需要面对高度复杂、多样化的交通场景, 现有的真实数据集缺少各种长尾场景与极端工况, 且难以生成像素级的精确标注与定制化的场景. 为此, 自动驾驶仿真平台逐渐发展出完备的数据生成机制[77], 不仅有效弥补了现实数据在数据量和多样性方面的不足, 而且显著降低了算法训练与测试过程中的数据获取成本. 自动驾驶仿真平台的数据生成过程涉及对现实世界道路结构、交通规则、气象条件以及交通参与者行为的高精度建模, 使生成场景在视觉、几何及行为层面均接近真实环境. 合成数据的高可控性和广覆盖性使得训练数据更具系统性, 能够涵盖现实世界难以观测的极端情况, 如恶劣天气、复杂交叉口、交通事故和高密度车流等, 从而在保障安全的前提下, 有效提升模型在复杂环境下的鲁棒性. 这些数据还支持强化学习中策略优化、V2X及车路协同系统的通信评估、法规与伦理标准的仿真验证等任务, 有助于系统级性能优化和合规性测试.

多个基于神经渲染与生成建模的前沿工作从不同维度推进了合成数据的真实性、可控性与经济性. Yang等[78]通过分别重建静态背景和动态交通参与者的NeRF[79] (neural radiance fields) , 能够从单次实车采集数据中生成可编辑、可交互的闭环场景, 复用性强, 极大减少了对多轮实地测试的依赖. Wu等[80]采用模块化的 NeRF 表达, 将静态背景与动态对象分离, 便于高效生成和编辑交通参与者, 提升了数据的结构化多样性. Yang等[81]通过自监督机制在无标签视频中学习场景流和动态分解, 避免了人工标注, 有效减少了数据标注成本. 上述方法不仅拓展了仿真平台的建模能力, 而且为感知、预测与决策模型提供了数据覆盖更广泛、生成更高效的训练样本, 显著降低了系统开发的边际数据成本.

综上所述, 自动驾驶仿真平台通过集成高保真建模、多模态合成、结构化表达和自监督优化等先进技术, 构建具备丰富可调性和高实用性的合成数据体系, 不仅极大地缩减了感知算法的训练成本和系统验证周期, 而且加速了自动驾驶系统的工程落地, 是推动自动驾驶技术向安全、高效与智能方向演进的重要驱动力.

3.3. 实现仿真到现实的跨域迁移

在自动驾驶仿真平台中实现从仿真到现实 (sim-to-real) 的跨域迁移, 提升模型应对复杂交通场景泛化能力, 是当前智能交通系统研究的关键挑战之一[82]. 尽管深度强化学习 (DRL) 和模型预测控制 (MPC) 在仿真环境中取得了显著成果[83], 但现实世界与仿真环境之间的现实鸿沟 (reality gap)限制了这些方法在实际应用中的性能和可靠性. 由于现实世界数据的采集成本高、样本效率低, 普遍采用仿真环境进行训练. 仿真数据与真实数据之间的光照、形状分布差异会导致在仿真环境中训练的算法在迁移到现实环境中时, 出现性能下降, 除了现实鸿沟, 仿真环境无法完全复现现实世界的复杂性和不确定性也是一个因素.

目前, 一般采用域适应、模仿学习、元学习和知识蒸馏等方法缩小仿真到现实的差距, 以实现更高效的策略迁移[84]. 例如, Akhauri等[85]通过参数化和模拟常见的交通事故场景, 生成丰富的模拟数据集, 并将这些数据用于训练自动驾驶模型. 结果显示, 与随机初始化方法相比, 基于模拟数据的迁移学习能够提高模型的泛化能力和避碰性能. 使用模拟数据训练的模型可以将其学习到的信息迁移到真实世界的数据模型中, 表明模拟数据在处理异常驾驶场景方面具有潜在的应用价值. Akhauri等[86]利用时空特征增强迁移学习的方法, 通过结合CNN-LSTM网络结构和显著性数据增强技术, 显著提高了模型在未见测试案例中的性能. Tan 等[87]通过改进物理模拟器的精度和引入系统辨识技术, 成功实现了从模拟到现实的敏捷运动迁移, 验证了仿真在现实部署中的有效性.

综上所述, 通过在仿真环境中系统地模拟复杂和异常交通场景, 结合多种迁移学习方法, 可以有效提升自动驾驶模型在现实世界中的适应性和安全性. 从仿真到现实的跨域迁移策略为自动驾驶系统的开发和部署提供了坚实的技术基础.

4. 总结与展望

当前自动驾驶仿真平台正由传统物理驱动向物理与生成方法深度融合演进, 通过引入3D仿真引擎实现高真实感三维场景重建、多模态数据驱动、可微渲染与物理约束, 协同提升仿真平台的生成式场景编辑与测试闭环能力. 依托隐式场和光栅化神经渲染技术, 可以实现对道路、建筑、车辆和行人等静态、动态要素的高精度重建. 通过对图像、视频、文本、高精地图等多模态数据的融合, 能够进一步增强虚拟场景的多样性、可控性与可复现性. 可微渲染引擎将视觉梯度反馈至物理模型, 兼顾视觉真实感与物理真实. 借助生成式模型和大语言模型, 仿真平台能够根据定制化的需求构建并扩展交通事故、突发障碍、行人横穿等边角案例, 形成数据生成、算法验证与安全评估的全流程闭环. 随着预训练LLM、世界模型、物理仿真、云计算和并行计算技术的不断发展, 结合基于真实世界数据的强化学习训练、多仿真平台与多智能体协同仿真, 自动驾驶仿真平台将向更高视觉和物理真实度、更强泛化能力和更高计算效率的方向演进.

尽管现有的自动驾驶仿真平台在渲染精度、模块扩展性和素材多样性方面已接近可商用效果, 但系统设计复杂、应用落地困难、缺少统一标准等挑战制约着仿真平台的应用广度与深度. 多数平台缺乏统一的仿真评估指标, 闭环性能的评价尚不成熟, 极端场景的生成与泛化测试依赖定制场景. 感知模块与物理场景之间的模态一致性建模不足, 影响了仿真的真实感及算法的可迁移性, 且在复杂天气和光照条件下传感器模拟精度有所欠缺. 不同仿真引擎间的场景与动态模型难以统一, 多平台间的互操作与集成仍依赖手动桥接, 缺乏通用的标准接口. 物理引擎在兼顾高实时性与高精度方面存在矛盾, 闭环测试中与实车通信协议及时序同步的稳定性有待提升. 对新型交通基础设施及智能路侧环境的建模能力有限, 难以实现全场景覆盖.

未来, 自动驾驶仿真平台将继续发展高效可扩展的三维表示、隐式物理规律嵌入、知识–数值耦合动态推演以及多模态对齐与解耦控制等关键技术, 向智能化、模块化和生态化演进, 构建具备统一接口、开放生态与闭环评价能力的系统框架, 覆盖自动驾驶系统从数据生成、模型训练到系统验证的全生命周期流程, 以克服当前仿真评估标准缺失、极端场景生成匮乏、模态一致性建模不足以及平台间互操作性薄弱等共性瓶颈.

5. 结　语

随着自动驾驶技术的不断发展, 仿真平台作为支撑算法验证与系统测试的重要工具, 正逐步成为研发流程中的核心环节. 本文系统整理了当前仿真平台的主要构成与核心技术, 调研了目前自动驾驶仿真平台在环境建模、传感器模拟、交通流仿真等方面取得的显著进展, 探讨了数据生成、场景建模、感知与控制、通信接口等方面的核心原理与发展趋势. 仿真系统将向高保真、可编辑、多智能体和云端协同的方向演进, 通过引入LLM、生成式模型和多模态数据融合, 能够显著提升仿真环境的真实性和通用性. 未来, 随着新能源汽车与智能交通系统的持续融合, 自动驾驶仿真技术将承担更多的全开发周期测试、法规评估及城市级仿真部署的任务, 成为推动自动驾驶算法产业化的关键支撑.

参考文献

HO J, JAIN A, ABBEEL P

Denoising diffusion probabilistic models

[J]. Advances in Neural Information Processing Systems, 2020, 33: 6840- 6851

[本文引用: 1]

SONG Y, ERMON S. Generative modeling by estimating gradients of the data distribution [EB/OL]. (2020-10-10)[2025-04-30]. https://arxiv.org/abs/1907.05600.

SONG Y, SOHL-DICKSTEIN J, KINGMA D P, et al. Score-based generative modeling through stochastic differential equations [EB/OL]. (2021-02-10)[2025-04-30]. https://arxiv.org/abs/2011.13456.

[本文引用: 1]

DONG R, HAN C, PENG Y, et al. DreamLLM: synergistic multimodal comprehension and creation [EB/OL]. (2024-03-15)[2025-04-30]. https://arxiv.org/abs/2309.11499.

[本文引用: 1]

PANAGOPOULOU A, XUE L, YU N, et al. X-InstructBLIP: a framework for aligning X-modal instruction-aware representations to LLMs and emergent cross-modal reasoning [EB/OL]. (2024-09-09)[2025-04-30]. https://arxiv.org/abs/2311.18799.

[本文引用: 1]

ZHAO W X, ZHOU K, LI J, et al. A survey of large language models [EB/OL]. (2025-03-11)[2025-04-30]. https://arxiv.org/abs/2303.18223.

[本文引用: 1]

FENG T, WANG W, YANG Y. A survey of world models for autonomous driving [EB/OL]. (2025-02-16) [2025-04-30]. https://arxiv.org/abs/2501.11260.

[本文引用: 1]

FENG T, WANG W, YANG Y. A survey on visual traffic simulation: Models, evaluations, and applications in autonomous driving [J]. Computer Graphics Forum, 2020, 39(1): 287-308.

[本文引用: 1]

SARKER S, MAPLES B, ISLAM I, et al. A comprehensive review on traffic datasets and simulators for autonomous vehicles [EB/OL]. (2025-04-14)[2025-04-30]. https://arxiv.org/abs/2412.14207.

[本文引用: 1]

KINGMA D P, WELLING M. Auto-encoding variational Bayes [EB/OL]. (2022-12-10)[2025-04-30]. https://arxiv.org/abs/1312.6114

[本文引用: 1]

GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al

Generative adversarial networks

[J]. Communications of the ACM, 2020, 63 (11): 139- 144

DOI:10.1145/3422622      [本文引用: 1]

RADFORD A, METZ L, CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks [EB/OL]. (2016-01-07) [2025-04-30]. https://arxiv.org/abs/1511.06434.

[本文引用: 1]

KARRAS T, LAINE S, AILA T. A style-based generator architecture for generative adversarial networks [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2020: 4396–4405.

[本文引用: 1]

RAMESH A, PAVLOV M, GOH G, et al. Zero-shot text-to-image generation [C]//International Conference on Machine Learning. [S. l. ]: PMLR, 2021: 8821-8831.

[本文引用: 1]

POOLE B, JAIN A, BARRON J T, et al. DreamFusion: text-to-3D using 2D diffusion [EB/OL]. (2022-09-29) [2025-04-30]. https://arxiv.org/abs/2209.14988.

[本文引用: 1]

LIN C H, GAO J, TANG L, et al. Magic3D: high-resolution text-to-3D content creation [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 300–309.

[本文引用: 1]

ZHANG L, RAO A, AGRAWALA M. Adding conditional control to text-to-image diffusion models [C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Paris: IEEE, 2024: 3813–3824.

[本文引用: 1]

LIU Y, ZHANG K, LI Y, et al. Sora: a review on background, technology, limitations, and opportunities of large vision models [EB/OL]. (2024-04-17) [2025-04-30]. https://arxiv.org/abs/2402.17177.

[本文引用: 1]

WANG X, MALEKI M A, AZHAR M W, et al. Moving forward: a review of autonomous driving software and hardware systems [EB/OL]. (2024-11-15) [2025-04-30]. https://arxiv.org/abs/2411.10291.

[本文引用: 1]

CHU Y J R, WEI T H, HUANG J B, et al. Sim-to-real transfer for miniature autonomous car racing [EB/OL]. (2020-11-11)[2025-04-30]. https://arxiv.org/abs/2011.05617.

[本文引用: 1]

ZHANG C, LIU Y, ZHAO D, et al. RoadView: a traffic scene simulator for autonomous vehicle simulation testing [C]//Proceedings of the 17th International IEEE Conference on Intelligent Transportation Systems. Qingdao: IEEE, 2014: 1160–1165.

[本文引用: 1]

TAN S, WONG K, WANG S, et al. SceneGen: learning to generate realistic traffic scenes [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 892–901.

[本文引用: 1]

WEI Y, WANG Z, LU Y, et al. Editable scene simulation for autonomous driving via collaborative LLM-agents [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 15077–15087.

[本文引用: 1]

HU A, RUSSELL L, YEO H, et al. Gaia-1: a generative world model for autonomous driving [EB/OL]. (2023-09-29)[2025-04-30]. https://arxiv.org/abs/2309.17080.

[本文引用: 1]

ZHAO G, NI C, WANG X, et al. DriveDreamer4D: world models are effective data machines for 4D driving scene representation [C]// Proceedings of the Computer Vision and Pattern Recognition Conference. Los Angeles: IEEE, 2025: 12015-12026.

[本文引用: 1]

SUN S, GU Z, SUN T, et al

DriveSceneGen: generating diverse and realistic driving scenarios from scratch

[J]. IEEE Robotics and Automation Letters, 2024, 9 (8): 7007- 7014

DOI:10.1109/LRA.2024.3416792      [本文引用: 1]

PRONOVOST E, GANESINA M R, HENDY N, et al

Scenario diffusion: controllable driving scenario generation with diffusion

[J]. Advances in Neural Information Processing Systems, 2023, 36: 68873- 68894

[本文引用: 1]

LI X, ZHANG Y, YE X. DrivingDiffusion: layout-guided multi-view driving scenarios video generation with latent diffusion model [C]// European Conference on Computer Vision. Cham: Springer, 2024: 469-485.

[本文引用: 1]

MÜLLER N, SIMONELLI A, PORZI L, et al. AutoRF: learning 3D object radiance fields from single view observations [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 3961–3970.

[本文引用: 1]

KERBL B, KOPANAS G, LEIMKUEHLER T, et al

3D Gaussian splatting for real-time radiance field rendering

[J]. ACM Transactions on Graphics, 2023, 42 (4): 1- 14

[本文引用: 1]

YAN Y, LIN H, ZHOU C, et al. Street Gaussians: modeling dynamic urban scenes with Gaussian splatting [C]//European Conference on Computer Vision. Milan: Springer, 2024: 156-173.

[本文引用: 1]

ZHOU X, LIN Z, SHAN X, et al. DrivingGaussian: composite Gaussian splatting for surrounding dynamic autonomous driving scenes [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 21634-21643.

[本文引用: 1]

KHAN M, FAZLALI H, SHARMA D, et al. AutoSplat: constrained Gaussian splatting for autonomous driving scene reconstruction [C]//2025 IEEE International Conference on Robotics and Automation. Atlanta: IEEE, 2025: 8315-8321.

[本文引用: 1]

HILLAIRE S. A scalable and production ready sky and atmosphere rendering technique [J]. Computer Graphics Forum, 2020, 39(4): 13-22.

[本文引用: 1]

ZYRIANOV V, CHE H, LIU Z, et al. LidarDM: generative LiDAR simulation in a generated world [C]//2025 IEEE International Conference on Robotics and Automation. Seattle: IEEE, 2025: 6055-6062.

[本文引用: 1]

LI Y, LIN Z H, FORSYTH D, et al. Climatenerf: extreme weather synthesis in neural radiance field [C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Paris: IEEE, 2023: 3227-3238.

[本文引用: 1]

MÜLLER T, EVANS A, SCHIED C, et al

Instant neural graphics primitives with a multiresolution hash encoding

[J]. ACM Transactions on Graphics, 2022, 41 (4): 1- 15

[本文引用: 1]

DAI Q, NI X, SHEN Q, et al. RainyGS: efficient rain synthesis with physically-based Gaussian splatting [C]//Proceedings of the Computer Vision and Pattern Recognition Conference. Los Angeles: IEEE, 2025: 16153-16162.

[本文引用: 1]

XIE Y, ZHANG M, HAO Q. ClimateGS: real-time climate simulation with 3D Gaussian style transfer [EB/OL]. (2025-03-19)[2025-04-30]. https://arxiv.org/abs/2503.14845.

[本文引用: 1]

BENEKOHAL R F, TREITERER J

CARSIM: car-following model for simulation of traffic in normal and stop-and-go conditions

[J]. Transportation Research Record, 1988, 1194: 99- 111

[本文引用: 1]

NVIDIA Corporation. Sensor simulation [EB/OL]. (2025-05-02) [2025-05-02]. https://www.nvidia.cn/ glossary/sensor-simulation.

[本文引用: 1]

CABON Y, MURRAY N, HUMENBERGER M. Virtual KITTI 2 [EB/OL]. (2020-01-29)[2025-04-30]. https:// arxiv.org /abs/2001.10773.

[本文引用: 1]

GEIGER A, LENZ P, STILLER C, et al

Vision meets robotics: the kitti dataset

[J]. International Journal of Robotics Research, 2013, 32 (11): 1231- 1237

DOI:10.1177/0278364913491297      [本文引用: 1]

CAESAR H, BANKITI V, LANG A H, et al. nuScenes: a multimodal dataset for autonomous driving [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 11618-11628.

[本文引用: 1]

SUN P, KRETZSCHMAR H, DOTIWALLA X, et al. Scalability in perception for autonomous driving: waymo open dataset [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 2443–2451.

[本文引用: 1]

IŞLER H. Comparison of electric (EV) and fossil fuel (gasoline-diesel) vehicles in terms of torque and power [EB/OL]. (2023-05-31) [2025-05-02]. https://www.researchgate.net/publication/370553199.

[本文引用: 1]

SURESHKUMAR P, RAJASEKAR C, DEEPA R, et al

Modeling and simulation of electric vehicle drive with evaluating forces

[J]. Journal of Data Acquisition and Processing, 2024, 39 (1): 759- 769

[本文引用: 1]

PREVIATI G, MASTINU G, GOBBI M

Mass, centre of gravity location and inertia tensor of electric vehicles: measured data for accurate accident reconstruction

[J]. World Electric Vehicle Journal, 2024, 15 (6): 266

DOI:10.3390/wevj15060266      [本文引用: 1]

JHA S, TSAI T, HARI S, et al. Kayotee: a fault injection-based system to assess the safety and reliability of autonomous vehicles to faults and errors [EB/OL]. (2019-07-01)[2025-04-30]. https://arxiv.org/abs/1907.01024.

[本文引用: 1]

JHA S, BANERJEE S S, CYRIAC J, et al. AVFI: fault injection for autonomous vehicles [C]//Proceedings of the 48th Annual IEEE/IFIP International Conference on Dependable Systems and Networks Workshops. Luxembourg: IEEE, 2018: 55–56.

[本文引用: 1]

AMYAN A, ABBOUSH M, KNIEKE C, et al

Automating fault test cases generation and execution for automotive safety validation via NLP and HIL simulation

[J]. Sensors, 2024, 24 (10): 3145

DOI:10.3390/s24103145      [本文引用: 1]

QUIGLEY M, CONLEY K, GERKEY B, et al. ROS: an open-source robot operating system [C]//Open-Source Software Workshop of the International Conference on Robotics and Automation. Kobe: IEEE, 2009: 5-6.

[本文引用: 2]

RONG G, SHIN B H, TABATABAEE H, et al. LGSVL simulator: a high fidelity simulator for autonomous driving [C]//Proceedings of the IEEE 23rd International Conference on Intelligent Transportation Systems. Rhodes: IEEE, 2020: 1–6.

[本文引用: 1]

DOSOVITSKIY A, ROS G, CODEVILLA F, et al. CARLA: an open urban driving simulator [C] // Proceedings of the Conference on Robot Learning. Sydney: PMLR, 2017: 1-16.

[本文引用: 1]

Synkrotron. Carla_Apollo_Bridge [EB/OL]. (2024-09-09)[2025-05-02]. https://github.com/guardstrikelab/carla_apollo_bridge.

[本文引用: 2]

XU X, LIU K, DAI P, et al. Enabling digital twin in vehicular edge computing: a multi-agent multi-objective deep reinforcement learning solution [EB/OL]. (2023-01-27)[2025-04-30]. https://arxiv.org/abs/2210.17386v1.

[本文引用: 1]

GRIGORESCU S, COCIAS T, TRASNEA B, et al

Cloud2edge elastic AI framework for prototyping and deployment of AI inference engines in autonomous vehicles

[J]. Sensors, 2020, 20 (19): 5450

DOI:10.3390/s20195450      [本文引用: 1]

YANG X, WEN L, MA Y, et al. DriveArena: a closed-loop generative simulation platform for autonomous driving [EB/OL]. (2024-08-01)[2025-04-30]. https://arxiv.org/abs/2408.00415.

[本文引用: 1]

HUANG Z, SHENG Z, WAN Z, et al. Sky-drive: a distributed multi-agent simulation platform for human-AI collaborative and socially-aware future transportation [EB/OL]. (2025-04-25)[2025-04-30]. https://arxiv.org/abs/2504.18010.

[本文引用: 1]

Alphadrive. AlphaDrive cloud simulation platform [EB/OL]. (2025-05-02)[2025-05-02]. https://alphadrive.ai.

[本文引用: 1]

Unreal Engine. Unreal engine 5 [EB/OL]. (2022-04-05) [2025-04-30]. https://www.unrealengine.com/en-US/what-is-unreal-engine-4, 2018.

[本文引用: 1]

HUSSAIN A, SHAKEEL H, HUSSAIN F, et al

Unity game development engine: a technical survey

[J]. University of Sindh Journal of Information and Communication Technology, 2020, 4 (2): 73- 81

[本文引用: 1]

JUNG H Y, PAEK D H, KONG S H. Open-source autonomous driving software platforms: comparison of autoware and Apollo [EB/OL]. (2025-01-31) [2025-04-30]. https://arxiv.org/abs/2501.18942.

[本文引用: 1]

EREZ T, TASSA Y, TODOROV E. Simulation tools for model-based robotics: comparison of bullet, havok, MuJoCo, ODE and PhysX [C]//Proceedings of the IEEE International Conference on Robotics and Automation. Seattle: IEEE, 2015: 4397–4404.

[本文引用: 1]

GOSLIN M, MINE M R

The Panda3D graphics engine

[J]. Computer, 2004, 37 (10): 112- 114

[本文引用: 1]

RAO V, JAIN N, RANA P, et al. Game development using Panda 3D game engine [J]. International Journal on Recent and Innovation Trends in Computing and Communication, 3(2): 534-536.

[本文引用: 1]

HENRICH V, REUTER T. CarDriver: using Python and Panda3D to construct a virtual environment for teaching driving [EB/OL]. (2008-12-31) [2025-04-30]. https://api.semanticscholar.org/CorpusID:109635468.

[本文引用: 1]

SHAH S, DEY D, LOVETT C, et al. Airsim: high-fidelity visual and physical simulation for autonomous vehicles [C] // Conference on Field and Service Robotics. Zurich: Springer, 2017: 621-635.

[本文引用: 1]

REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 779-788.

[本文引用: 1]

WU D, LIAO M W, ZHANG W T, et al

Yolop: you only look once for panoptic driving perception

[J]. Machine Intelligence Research, 2022, 19 (6): 550- 562

DOI:10.1007/s11633-022-1339-y     

SARDA A, DIXIT S, BHAN A. Object detection for autonomous driving using YOLO [you only look once] algorithm [C]//Proceedings of the 3rd International Conference on Intelligent Communication Technologies and Virtual Mobile Networks. Tirunelveli: IEEE, 2021: 1370–1374.

CAO Y, LI C, PENG Y, et al

MCS-YOLO: a multiscale object detection method for autonomous driving road environment recognition

[J]. IEEE Access, 2023, 11: 22342- 22354

DOI:10.1109/ACCESS.2023.3252021      [本文引用: 1]

WEI Y, ZHAO L, ZHENG W, et al. Surroundocc: multi-camera 3d occupancy prediction for autonomous driving [C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Paris: IEEE, 2023: 21729-21740.

[本文引用: 1]

TIAN X, JIANG T, YUN L, et al

Occ3D: a large-scale 3D occupancy prediction benchmark for autonomous driving

[J]. Advances in Neural Information Processing Systems, 2023, 36: 64318- 64330

ZHENG W, CHEN W, HUANG Y, et al. Occworld: learning a 3d occupancy world model for autonomous driving [C]//European Conference on Computer Vision. Milan: Springer, 2024: 55-72.

[本文引用: 1]

ACUNA D, PHILION J, FIDLER S

Towards optimal strategies for training self-driving perception models in simulation

[J]. Advances in Neural Information Processing Systems, 2021, 34: 1686- 1699

[本文引用: 2]

CAO M, RAMEZANI R

Data generation using simulation technology to improve perception mechanism of autonomous vehicles

[J]. Journal of Physics: Conference Series, 2023, 2547 (1): 012006

[本文引用: 2]

YANG Z, CHEN Y, WANG J, et al. Unisim: a neural closed-loop sensor simulator [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 1389- 1399.

[本文引用: 1]

MILDENHALL B, SRINIVASAN P P, TANCIK M, et al. NeRF: representing scenes as neural radiance fields for view synthesis [C]//European Conference on Computer Vision. [S. l. ]: Springer, 2020: 405-421.

[本文引用: 1]

WU Z, LIU T, LUO L, et al. Mars: an instance-aware, modular and realistic simulator for autonomous driving [C]// International Conference on Artificial Intelligence. Singapore: Springer, 2023: 3-15.

[本文引用: 1]

YANG J, IVANOVIC B, LITANY O, et al. EmerNeRF: emergent spatial-temporal scene decomposition via self-supervision [EB/OL]. (2023-11-03)[2025-04-30]. https://arxiv.org/abs/2311.02077.

[本文引用: 1]

ZHAO W, QUERALTA J P, WESTERLUND T. Sim-to-real transfer in deep reinforcement learning for robotics: a survey [C]//2020 IEEE Symposium Series on Computational Intelligence. Canberra: IEEE, 2020: 737-744.

[本文引用: 1]

DAZA I G, IZQUIERDO R, MARTÍNEZ L M, et al

Sim-to-real transfer and reality gap modeling in model predictive control for autonomous driving

[J]. Applied Intelligence, 2023, 53 (10): 12719- 12735

DOI:10.1007/s10489-022-04148-1      [本文引用: 1]

HU X, LI S, HUANG T, et al

How simulation helps autonomous driving: a survey of Sim2real, digital twins, and parallel intelligence

[J]. IEEE Transactions on Intelligent Vehicles, 2024, 9 (1): 593- 612

DOI:10.1109/TIV.2023.3312777      [本文引用: 1]

AKHAURI S, ZHENG L, LIN M C. Enhanced transfer learning for autonomous driving with systematic accident simulation [C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Las Vegas: IEEE, 2020: 5986–5993.

[本文引用: 1]

AKHAURI S, ZHENG L, GOLDSTEIN T, et al. Improving generalization of transfer learning across domains using spatio-temporal features in autonomous driving [EB/OL]. (2021-09-23)[2025-04-30]. https://arxiv.org/abs/2103.08116.

[本文引用: 1]

TAN J, ZHANG T, COUMANS E, et al. Sim-to-real: learning agile locomotion for quadruped robots [EB/OL]. (2018-05-16)[2025-04-30]. https://arxiv.org/abs/1804.10332.

[本文引用: 1]

/

〈 〉