Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving
Cornell University(康奈尔大学);The Ohio State University(俄亥俄州立大学)
在3D中检测汽车和行人等物体在自动驾驶中起着不可或缺的作用。现有的方法在很大程度上依赖于昂贵的LiDAR传感器来获得准确的深度信息。虽然最近伪激光雷达已被引入作为一个有前途的替代方案,在一个低得多的成本完全基于立体图像,仍然有一个显着的性能差距。在本文中,我们提供了实质性的进步,通过改进立体声深度估计的伪激光雷达框架。具体地说,我们调整立体声网络架构和损失函数,使其更符合遥远物体的准确深度估计-目前伪激光雷达的主要弱点。此外,我们探索了利用更便宜但非常稀疏的LiDAR传感器的想法,这些传感器单独为3D检测提供的信息不足,以消除我们的深度估计的偏差。我们提出了一种深度传播算法,在初始深度估计的指导下,将这些少量的精确测量值扩散到整个深度图中。我们在KITTI目标检测基准测试中表明,我们的组合方法在深度估计和基于立体的3D目标检测方面有了实质性的改进-比以前最先进的遥远物体检测精度高出40%。我们的代码可在https://github.com/mileyan/Pseudo_Lidar_V2上获得。
2020-02-15 cs.CV
Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving
Cornell University(康奈尔大学)
三维目标检测是自动驾驶中的一项重要任务。最近的技术具有高精度的检测率,只要从精确但昂贵的LiDAR技术获得3D输入数据。到目前为止,基于便宜的单眼或立体图像数据的方法导致了精确度的大幅降低-这一差距通常归因于基于图像的深度估计不佳。然而,在本文中,我们认为,这不是数据的质量,但它的代表性,占大多数的差异。考虑到卷积神经网络的内部工作原理,我们建议将基于图像的深度图转换为伪LiDAR表示--基本上模仿LiDAR信号。通过这种表示,我们可以应用不同的现有基于LiDAR的检测算法。在流行的KITTI基准测试中,我们的方法在现有的基于图像的性能方面取得了令人印象深刻的改进--将30米范围内物体的检测精度从之前的22%提高到前所未有的74%。在提交时,我们的算法在KITTI 3D目标检测排行榜上拥有最高的条目,用于基于立体图像的方法。我们的代码可在https://github.com/mileyan/pseudo_lidar上公开获取。
2020-02-22 cs.CV
Pseudo-Stereo for Monocular 3D Object Detection in Autonomous Driving
Zhejiang University(浙江大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
伪LiDAR 3D探测器通过利用深度估计网络增强感知深度的能力以及使用基于LiDAR的3D探测架构,在单目3D探测方面取得了显著进展。先进的立体3D探测器还可以精确定位3D物体。立体视图的图像到图像生成中的间隙比图像到LiDAR生成中的间隙小得多。基于此,我们提出了一个伪立体3D检测框架与三种新的虚拟视图生成方法,包括图像级生成,特征级生成和特征克隆,用于从单个图像中检测3D对象。我们对深度感知学习的分析表明,在我们的框架中,深度损失仅在特征级虚拟视图生成中有效,估计的深度图在图像级和特征级都有效。我们提出了一种基于视差的动态卷积算法,该算法利用视差特征图中的动态核函数,自适应地从一幅图像中过滤特征,生成虚拟图像特征,从而减轻了由深度估计误差引起的特征退化。截至提交(2021年11月18日),我们的伪立体3D检测框架在KITTI-3D基准测试中发表的单目3D检测器中,在汽车、行人和骑自行车者方面排名第一。代码发布于https://github.com/revisitq/Pseudo-Stereo-3D。
2022-03-04 cs.CV
Teachers in concordance for pseudo-labeling of 3D sequential data
Czech Technical University in Prague(布拉格捷克理工大学)
本文提出Concordance方法,通过训练多个利用不同时间信息的教师模型并融合其伪标签,在仅使用20%人工标签的情况下提升3D语义分割与目标检测性能,超越部分全监督方法。
2023-07-05 cs.CV cs.RO
Pseudo-Simulation for Autonomous Driving
University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);NVIDIA Research(NVIDIA研究);Robert Bosch GmbH(罗伯特·博世集团);OpenDriveLab at Shanghai Innovation Institute(上海创新研究院自动驾驶实验室);University of Stuttgart(斯图加特大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Stanford University(斯坦福大学)
本文提出伪模拟方法,通过在真实数据上生成合成观测,提升自动驾驶评估的现实性和效率,实现与闭环模拟更紧密的关联。
2026-03-20 cs.AI cs.CV cs.LG
Contrastive Label Disambiguation for Self-Supervised Terrain Traversability Learning in Off-Road Environments
针对越野地形可通过性判别中标签模糊和依赖平台的问题,本文提出一种基于对比标签消歧的自监督学习框架,通过驾驶经验投影生成伪标签,并利用原型对比表示学习迭代更新伪标签,在无需人工标注的情况下实现平台和任务特定的可通过性学习,并在RELLIS-3D和戈壁沙漠数据集上验证了有效性。
2023-07-06 cs.RO
Unsupervised Self-Driving Attention Prediction via Uncertainty Mining and Knowledge Embedding
Beijing University of Posts and Telecommunications(北京邮电大学);University of Rochester(罗切斯特大学)
针对自动驾驶注意力预测依赖大规模标注及域差距问题,提出结合UMB不确定性挖掘与KEB驾驶知识嵌入的无监督框架,在三个公开数据集上达到或超过全监督SOTA性能。
2023-07-15 cs.CV
WILD SAM: A Simulated-and-Real Data Augmentation for Autonomous Driving Perception under Challenging Weather
Electrical and Computer Engineering(电气与计算机工程);Michigan State University(密歇根州立大学)
本文提出WILD SAM方法,通过伪标签去噪和模拟训练缓解恶劣天气导致的领域偏移问题,实验表明其在Four Seasons数据集上提升了AP至13%。
2026-05-01 cs.CV
You Only Click Once: Single Point Weakly Supervised 3D Instance Segmentation for Autonomous Driving
University of Science and Technology of China(中国科学技术大学);COWAROBOT(酷哇机器人)
本文提出 YoCo 框架,利用鸟瞰图单点点击标注、视觉基础模型、时空标签更新与 IoU 引导增强生成高质量 3D 伪标签,以极低标注成本达到并超越全监督性能。
2025-03-15 cs.CV
Unlock the Power of Unlabeled Data in Language Driving Model
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));NanJing University(南京大学)
本文提出半监督语言驾驶框架,通过模板提示生成伪问答并以自洽性精炼提升标注质量,仅用5%标注数据即可显著增强LDM。
2025-03-15 cs.CV
OASIS-DC: Generalizable Depth Completion via Output-level Alignment of Sparse-Integrated Monocular Pseudo Depth
Vehicle Intelligence Perception Lab (VIPLAB), Gachon University, Seongnam-si, Republic of Korea(高银大学)
OASIS-DC通过输出级对齐稀疏集成单目伪深度,实现无需大量标注样本的通用深度补全。
2026-02-01 cs.CV cs.RO
Pseudo-LiDAR Based Road Detection
The University of Adelaide(阿德莱德大学);Northwestern Polytechnical University(西北工业大学);Intellifusion(云天励飞)
道路检测是自动驾驶汽车的一项至关重要的任务。通过采用LiDAR数据,最近的工作显着提高了道路检测的准确性。当只有相机可用时,依赖LiDAR传感器限制了这些方法的广泛应用。在本文中,我们提出了一种新的道路检测方法与RGB是唯一的输入在推理。具体来说,我们利用伪激光雷达使用深度估计,并提出了一个特征融合网络,RGB和学习的深度信息融合,以提高道路检测。进一步优化网络结构,提高网络效率。我们使用NAS技术寻找特征融合模块的网络结构。最后,请注意,通过深度估计从RGB生成伪LiDAR会引入额外的计算成本,并依赖于深度估计网络,我们设计了一种模态蒸馏策略,并利用它进一步将我们的网络从这些额外的计算成本和推理过程中的依赖关系中解放出来。该方法在两个具有挑战性的基准测试KITTI和R2D上实现了最先进的性能。
2022-03-11 cs.CV cs.RO
FAST3D: Flow-Aware Self-Training for 3D Object Detectors
Graz University of Technology(格拉茨技术大学)
在自动驾驶领域,自训练被广泛应用于减轻基于LiDAR的3D对象检测器中的分布偏移。这消除了每当环境改变时对昂贵的高质量标签的需要(例如,地理位置、传感器设置、天气状况)。然而,最先进的自我训练方法大多忽略了自动驾驶数据的时间特性。为了解决这个问题,我们提出了一种流量感知的自训练方法,使连续激光雷达点云上的3D对象检测器的无监督领域自适应。为了获得可靠的伪标签,我们利用场景流来传播检测。特别是,我们引入了一个基于流的多目标跟踪器,利用流的一致性过滤和细化产生的轨道。然后,出现的精确伪标签作为模型重新训练的基础。从预先训练的KITTI模型开始,我们在具有挑战性的Waymo开放数据集上进行实验,以证明我们方法的有效性。在没有任何先前目标领域知识的情况下,我们的研究结果显示出比最先进的技术有了显着的改进。
2021-10-18 cs.CV cs.RO
Dual-Curriculum Teacher for Domain-Inconsistent Object Detection in Autonomous Driving
Peking University(北京大学);National University of Singapore(新加坡国立大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
自动驾驶汽车的目标检测近年来受到了越来越多的关注,其中标记数据通常是昂贵的,而未标记数据可以很容易地收集,因此需要对该领域的半监督学习进行研究。现有的半监督目标检测(SSOD)方法通常假设标记数据和未标记数据来自相同的数据分布。然而,在自动驾驶中,数据通常是从不同的场景中收集的,例如不同的天气条件或一天中的不同时间。受此启发,我们研究了一个新的,但具有挑战性的域不一致的SSOD问题。它涉及到两种不同领域之间的分布偏移,包括(1)数据分布差异和(2)类别分布偏移,使得现有的SSOD方法存在伪标签不准确的问题,影响了模型的性能。为了解决这个问题,我们提出了一种新的方法,即双课程教师(DucTeacher)。具体来说,DucTeacher由两个模块组成,即,(1)领域演化课程寻求通过估计领域之间的相似性来逐步地从数据中学习以处理数据分布差异,以及(2)分布匹配课程寻求估计每个未标记领域的类分布以处理类分布偏移。通过这种方式,DucTeacher可以校准有偏见的伪标签,并有效地处理域不一致的SSOD问题。DucTeacher在最大的公共半监督自动驾驶数据集SODA10M和广泛使用的SSOD基准测试COCO上展示了其优势。实验表明,DucTeacher在SODA 10M上实现了2.2 mAP的改进,在COCO上实现了0.8 mAP的改进。
2022-10-17 cs.CV
Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos
Applied Intuition;Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出一种无标签、教师引导的框架,通过未经处理的现实视频学习自动驾驶表示,无需姿态、标签或LiDAR,实现高效的自动驾驶感知和规划。
2026-03-04 cs.CV
PPT: Pretraining with Pseudo-Labeled Trajectories for Motion Forecasting
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(巴黎智能与机器人系统研究所)
PPT通过利用伪标签轨迹进行预训练,提升运动预测的泛化能力和在低数据环境下的性能。
2026-02-26 cs.CV cs.RO
RTS3D: Real-time Stereo 3D Detection from 4D Feature-Consistency Embedding Space for Autonomous Driving
University of Chinese Academy of Sciences(中国科学院大学)
虽然最近的基于图像的三维目标检测方法使用伪激光雷达表示已经表现出很大的能力,在效率和精度仍然存在显着的差距相比,基于激光雷达的方法。此外,过度依赖于独立的深度估计器,在训练阶段需要大量的逐像素注释,在推理阶段需要更多的计算,限制了现实世界中的缩放应用。在本文中,我们提出了一个有效的和准确的三维目标检测方法从立体图像,命名为RTS3D。与伪激光雷达中的3D占用空间不同,我们设计了一种新的4D特征一致嵌入(FCE)空间作为3D场景的中间表示,无需深度监督。FCE空间通过探索从立体对变形的多尺度特征一致性来编码对象的结构和语义信息。此外,一个语义引导的径向基函数(RBF)和结构感知的注意力模块的设计,以减少FCE空间噪声的影响,没有实例掩码监督。在KITTI基准上的实验表明,RTS3D是第一个真正的实时的【形】立体图像三维检测系统(FPS $>$ 24),同时与以前的最先进的方法相比,在平均精度上实现了$10\%$的提高。代码将在https://github.com/Banconxuan/RTS3D上提供
2020-12-30 cs.CV
DeFlow: Decoder of Scene Flow Network in Autonomous Driving
KTH Royal Institute of Technology(瑞典皇家理工学院);Scania CV AB(斯堪尼亚商用车公司);The Hong Kong University of Science and Technology(香港科技大学)
针对自动驾驶场景流估计中点云体素化丢失点级特征的问题,本文提出DeFlow方法,通过GRU细化实现体素特征到点特征的转换,结合考虑静动态点数据不平衡的新型损失函数,在Argoverse 2数据集上取得大规模点云场景流估计的当前最优性能,且效率更优,代码已开源。
2024-01-29 cs.CV cs.RO
PseudoCal: Towards Initialisation-Free Deep Learning-Based Camera-LiDAR Self-Calibration
Université de technologie de Compiègne(贡比涅技术大学);CNRS, Heudiasyc Laboratory(法国国家科学研究中心,Heudiasyc实验室)
本文提出PseudoCal,一种基于伪激光雷达概念并在三维空间中工作的免初始化相机-激光雷达自标定方法,能够准独立于初始参数估计实现一次性标定,解决现有方法难以处理的极端标定场景。
2023-09-18 cs.CV
Ensemble-based Semi-supervised Learning to Improve Noisy Soiling Annotations in Autonomous Driving
Valeo Vision Systems(法雷奥视觉系统公司)
在环绕视图摄像机上手动注释污染是非常具有挑战性且昂贵的任务。各种污染类别(如水滴或泥颗粒)的边界不清晰通常会导致注释质量的较大差异。因此,在这些注释不佳的数据上训练的模型远非最佳。在本文中,我们专注于通过伪标签驱动的集成模型来处理这种嘈杂的注释,这使我们能够快速发现有问题的注释,并且在大多数情况下也可以充分修复它们。我们训练一个污染的分割模型上的噪音和精致的标签,并证明显着的改善,使用精致的注释。它还说明了有效地细化较低成本的粗略注释是可能的。
2021-07-11 cs.CV
Beyond Simulation: Benchmarking World Models for Planning and Causality in Autonomous Driving
Noah’s Ark Lab, Huawei Technologies Canada(华为技术加拿大分公司诺亚 Ark 实验室);York University, Toronto, Canada(多伦多大学)
本研究评估世界模型作为自动驾驶策略训练伪环境的现有指标,提出新指标以揭示其对不可控对象的敏感性,并分析最先进模型的性能。
2025-08-03 cs.RO
Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);the University of Hong Kong(香港大学);Hunan University(湖南大学)
针对自动驾驶中的在线持续学习面临的灾难性遗忘和数据不平衡问题,提出解析无样本在线持续学习算法AEF-OCL,利用岭回归分类器和伪特征生成器,在SODA10M数据集上超越多种方法。
2024-11-05 cs.LG cs.RO
Geometry-based Occlusion-Aware Unsupervised Stereo Matching for Autonomous Driving
近年来,出现了许多基于无监督学习的自动驾驶立体匹配方法。它们中的大多数利用重建损失来消除对视差地面实况的依赖。遮挡处理是立体匹配中的一个具有挑战性的问题,特别是对于无监督的方法。以前的无监督方法未能充分利用几何属性的遮挡处理。在本文中,我们介绍了一种有效的方法来检测遮挡区域,并提出了一种新的无监督训练策略来处理遮挡,只使用预测的左视差图,通过利用其几何特征,在一个迭代的方式。在训练过程中,我们将预测的左视差图视为伪地面实况,并使用几何特征来推断遮挡区域。然后将所得的遮挡掩模用于训练、后处理或两者中作为指导。实验结果表明,该方法能有效地解决遮挡问题,并明显优于其他无监督的立体匹配方法。此外,我们的遮挡感知策略可以方便地扩展到其他立体方法,并提高其性能。
2020-10-21 cs.CV
ALISE: Annotation-Free LiDAR Instance Segmentation for Autonomous Driving
Department of Electronic Engineering and Information Science, University of Science & Technology of China(电子工程与信息科学系,中国科学技术大学)
ALISE提出一种完全无标注的激光雷达实例分割框架,利用视觉基础模型生成伪标签,结合时空投票与双语义监督,实现无监督3D分割新SOTA,mAP达50.95%,超越有监督方法MWSIS 2.53%。
2025-10-10 cs.CV
SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving
本文提出SToRM框架,通过监督令牌缩减方法在保持性能的同时降低计算成本,实现实时端到端自动驾驶。
2026-03-16 cs.AI cs.CV cs.RO
AD-GS: Object-Aware B-Spline Gaussian Splatting for Self-Supervised Autonomous Driving
College of Computer Science, Nankai University(南开大学计算机科学学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院)
AD-GS提出自监督框架,利用B样条与三角函数结合的运动模型及自动场景分割,实现高质量动态驾驶场景渲染,无需标注且性能优于现有无标注方法。
2025-08-05 cs.CV
HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving
Bosch Corporate Research(博世企业研究);School of Communication and Information Engineering(信息工程学院)
HiST-VLA通过分层时空视觉-语言-动作模型提升自动驾驶轨迹生成的精度与效率,实现端到端的自动驾驶系统。
2026-02-11 cs.AI cs.CV cs.RO
LIORNet: Self-Supervised LiDAR Snow Removal Framework for Autonomous Driving under Adverse Weather Conditions
Ministry of National Defense(国防 ministry);Department of Smart Mobility Engineering(智能移动工程系)
本文提出LIORNet,通过自监督学习和多物理统计线索生成伪标签,有效区分噪声点与环境结构,提升恶劣天气下激光雷达感知的准确性和鲁棒性。
2026-03-20 cs.CV cs.RO
Iterative Imitation Policy Improvement for Interactive Autonomous Driving
The Hong Kong University of Science and Technology(香港科技大学);University of California, Berkeley(加州大学伯克利分校)
我们提出了一个模仿学习系统的自动驾驶在城市交通的互动。我们训练一个行为克隆(BC)策略来模仿从真实城市交通中收集的驾驶行为,并应用数据聚合算法来迭代地改进其性能。在这种情况下应用数据聚合面临两个挑战。第一个挑战是在真实的城市交通中收集在线推出数据是昂贵和危险的。在模拟器(如CARLA)中创建类似的交通场景以进行在线部署收集也很困难。相反,我们建议从训练数据集创建一个弱模拟器,其中所有周围的车辆都遵循数据集提供的数据轨迹。我们发现,在这样的模拟器中收集的在线数据仍然可以用来提高BC策略的性能。第二个挑战是在线推出期间人工标签过程的繁琐和耗时。为了解决这个问题,我们使用一个$^*$规划器作为一个伪专家提供专家一样的演示。我们在真实的城市交通场景中验证了我们提出的模仿学习系统。实验结果表明,我们的系统可以显着提高基线BC策略的性能。
2021-09-03 cs.RO
SelfD: Self-Learning Large-Scale Driving Policies From the Web
Boston University(波士顿大学)
有效地利用互联网上免费提供的大量以自我为中心的导航数据可以推进广义智能系统,即,跨视角、平台、环境条件、场景和地理位置稳健地扩展。然而,很难直接利用如此大量的未标记和高度多样化的数据来进行复杂的3D推理和规划任务。因此,研究人员主要关注其用于各种辅助像素和图像级计算机视觉任务,这些任务不考虑最终的导航目标。在这项工作中,我们介绍了SelfD,一个框架,用于学习可扩展的驾驶,利用大量的在线单眼图像。我们的关键思想是在从未标记数据中学习模仿代理时利用迭代半监督训练。为了处理不受约束的视点、场景和相机参数,我们训练了一个基于图像的模型,该模型直接学习在鸟瞰图(BEV)空间中进行规划。接下来,我们使用未标记的数据通过自我训练来增强初始训练模型的决策知识和鲁棒性。特别是,我们提出了一个伪标签的步骤,使充分利用高度多样化的示范数据,通过“假设”的规划为基础的数据增强。我们采用了一个大型的公开的YouTube视频数据集来训练SelfD,并全面分析其在具有挑战性的导航场景中的泛化优势。在不需要任何额外的数据汇集或注释工作的情况下,SelfD在nuScenes、Argoverse、Waymo和CARLA上的驾驶性能评估方面表现出了一致的改进(高达24%)。
2022-04-21 cs.AI cs.CV cs.RO
Variational Voxel Pseudo Image Tracking
Aarhus University(奥胡斯大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
不确定性估计是机器人和自动驾驶等关键问题的重要任务,因为它允许创建统计上更好的感知模型,并将模型预测的确定性发送给决策方法或人类监督者。在本文中,我们提出了一个变分神经网络为基础的版本的体素伪图像跟踪(VPIT)方法的三维单目标跟踪。所提出的变分VPIT的变分特征生成网络计算目标和搜索区域的特征以及相应的不确定性,随后使用不确定性感知互相关模块以两种方式之一进行组合:通过计算相应不确定性之间的相似性并将其添加到常规互相关值,或者通过惩罚不确定特征通道以增加某些特征的影响。在实验中,我们表明,这两种方法提高跟踪性能,而惩罚的不确定性功能提供了最好的不确定性质量。
2023-02-12 cs.CV cs.LG
Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving
QwenTeam(阿里巴巴千问团队);Huazhong University of Science and Technology(华中科技大学)
研究团队提出Qwen-Drive-1.0,在保留通用视觉-语言能力的同时,将3D感知、视觉问答、运动规划集成于统一框架,经多类评估证实其3D感知与运动规划性能具竞争力。
2026-09-02 cs.CV
Context-based Motion Retrieval using Open Vocabulary Methods for Autonomous Driving
Munich University of Applied Sciences(慕尼黑应用科学大学);Intelligent Vehicles Lab (IVL)(智能车辆实验室)
针对自动驾驶安全关键场景中罕见人类行为检索的挑战,提出结合SMPL动作序列与视频帧的上下文感知动作检索框架,并构建WayMoCo数据集,在动作-上下文检索准确率上最高提升27.5%。
2025-08-12 cs.CL cs.CV cs.IR
MIM4D: Masked Modeling with Multi-View Video for Autonomous Driving Representation Learning
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);Institute of Artificial Intelligence, Huazhong University of Science & Technology(华中科技大学人工智能研究院);Horizon Robotics
提出MIM4D,一种基于双重掩码图像建模的多视角视频预训练方法,利用场景流和3D可微渲染学习时空表示,在nuScenes上显著提升BEV分割、3D检测和HD地图构建性能。
2024-03-13 cs.CV
UniOcc: A Unified Benchmark for Occupancy Forecasting and Prediction in Autonomous Driving
本文提出 UniOcc,一个用于自动驾驶中占用预报与预测的统一基准,整合多源真实与仿真数据并提供 2D/3D 占用标签及逐体素流,同时引入无监督评估指标,实验证明大规模多样数据与显式流信息可显著提升模型性能。
2025-08-14 cs.AI cs.CV cs.LG
DriveExplorer: Images-Only Decoupled 4D Reconstruction with Progressive Restoration for Driving View Extrapolation
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology(广东省级超高清沉浸媒体技术重点实验室);School of Electronic and Computer Engineering(电子与计算机工程学院);Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
DriveExplorer通过图像解耦和渐进修复实现驾驶视角外推,利用4D高斯框架和扩散模型提升重建质量。
2025-12-30 cs.CV
HQ-OV3D: A High Box Quality Open-World 3D Detection Framework based on Diffision Model
HQ-OV3D框架通过跨模态几何一致性生成和基于DDIM的去噪优化,为开放词汇3D检测生成高质量伪标签,在新类别上mAP提升7.37%。
2025-08-18 cs.CV cs.LG cs.RO
VESPA: Towards un(Human)supervised Open-World Pointcloud Labeling for Autonomous Driving
Technical University of Munich(慕尼黑技术大学)
针对自动驾驶3D点云人工标注成本高、现有LiDAR自动标注方法语义粒度有限等问题,提出融合LiDAR几何信息与相机语义的多模态流水线VESPA,利用VLM实现开放词汇标注与新类别发现,在Nuscenes数据集上取得优异性能。
2025-07-27 cs.CV
Generative Scenario Rollouts for End-to-End Autonomous Driving
Qualcomm AI Research(高通人工智能研究)
GeRo通过自回归回放策略,结合规划与生成,提升自动驾驶系统的长期推理和多代理规划能力。
2026-11-11 cs.CV
Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
为解决自动驾驶中多视觉任务统一问题,提出VTD挑战及统一网络VTDNet,通过CPF训练方案在仅需20%计算量下显著优于单任务模型。
2023-11-26 cs.CV
Domain Knowledge Driven Pseudo Labels for Interpretable Goal-Conditioned Interactive Trajectory Prediction
Georgia Institute of Technology(佐治亚理工学院);Honda Research Institute(本田研究所);University of California Berkeley(加州大学伯克利分校)
高度交互场景下的运动预测是自动驾驶中的一个具有挑战性的问题。在这种情况下,我们需要准确地预测交互代理的联合行为,以确保自动驾驶车辆的安全和高效导航。近年来,目标条件方法由于其在性能上的优势以及能够捕捉轨迹分布中的多峰性而受到越来越多的关注。在这项工作中,我们研究了目标条件框架下的联合轨迹预测问题。特别是,我们引入了一个条件变分自动编码器为基础的(CVAE)模型显式编码不同的相互作用模式到潜在的空间。然而,我们发现香草模型遭受后验崩溃,不能诱导出所需的信息潜在空间。为了解决这些问题,我们提出了一种新的方法,以避免KL消失,并诱导一个可解释的交互式潜在空间与伪标签。建议的伪标签使我们能够以灵活的方式将领域知识纳入交互。我们激励所提出的方法使用一个说明性的玩具的例子。此外,我们还通过定量和定性评估在Waymo Open Motion数据集上验证了我们的框架。
2022-08-12 cs.AI cs.RO
Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix
Nanyang Technological University(南洋理工大学);Huazhong University of Science and Technology(华中科技大学);SenseTime Research(商汤科技研究院)
针对类别无关运动预测全监督训练标注成本高的问题,提出含运动选择再生模块、时间采样与BEVMix增强的半监督框架,仅用少量标注数据性能就远超自监督方法,可平衡标注成本与性能。
2023-12-14 cs.CV
Unsupervised Adaptation from Repeated Traversals for Autonomous Driving
Cornell University(康奈尔大学);The Ohio State University(俄亥俄州立大学)
为了使自动驾驶汽车可靠地运行,其感知系统必须推广到最终用户的环境-理想情况下没有额外的注释工作。一种潜在的解决方案是利用未标记的数据(例如,未标记的LiDAR点云),以使系统适应训练和测试环境之间的差异。虽然已经对这种无监督的领域自适应问题进行了广泛的研究,但一个基本问题仍然存在:在目标域中没有可靠的信号来监督自适应过程。为了克服这个问题,我们观察到,很容易从重复路线的多次遍历中收集无监督数据。虽然与传统的无监督领域自适应不同,但由于许多驾驶员共享相同的道路,因此该假设非常现实。我们表明,这个简单的附加假设足以获得一个有效的信号,使我们能够在目标域上执行3D对象检测器的迭代自训练。具体地说,我们生成伪标签与域外检测器,但减少误报,通过删除检测到的移动对象是持久的遍历。此外,我们通过鼓励在不持久的区域进行预测来减少假阴性。我们在两个大规模驾驶数据集上对我们的方法进行了实验,并在汽车、行人和骑自行车者的3D目标检测方面表现出显着的改进,使我们更接近可推广的自动驾驶。
2023-03-27 cs.CV cs.LG
Neighbor-Vote: Improving Monocular 3D Object Detection through Neighbor Distance Voting
University of Science and Technology of China(中国科学技术大学);The University of Sydney(悉尼大学)
随着摄像机越来越多地部署在自动驾驶等新的应用领域,在单目图像上执行3D目标检测成为视觉场景理解的重要任务。单目3D目标检测的最新进展主要依赖于“伪LiDAR”的产生,其执行单目深度估计并将2D像素提升为伪3D点。然而,由于单目图像的深度估计的精度差,导致伪LiDAR点在对象内的不可避免的位置偏移。因此,预测的边界框可能遭受不准确的位置和变形的形状。在本文中,我们提出了一种新的邻居投票方法,结合邻居预测,以改善目标检测严重变形的伪激光雷达点云。具体来说,物体周围的每个特征点形成自己的预测,然后通过投票达成“共识”。通过这种方式,我们可以有效地将邻居的预测与本地预测相结合,实现更准确的3D检测。为了进一步扩大前景感兴趣区域(ROI)伪LiDAR点与背景点之间的差异,我们还将2D前景像素的ROI预测分数编码为相应的伪LiDAR点。我们在KITTI基准测试上进行了大量的实验,以验证我们所提出的方法的优点。我们的结果在鸟瞰图检测优于国家的最先进的性能由一个很大的利润,特别是对于“硬”的水平检测。
2021-07-06 cs.CV
HD$^2$-SSC: High-Dimension High-Density Semantic Scene Completion for Autonomous Driving
针对自动驾驶中基于相机的3D语义场景补全存在的输入输出维度及标注现实密度差距问题,提出HD²-SSC框架,通过高维度语义解耦和高密度占据精修模块提升预测效果,在两个数据集上验证了有效性。
2025-11-13 cs.CV
Real-World Perception for Autonomous Driving in Adverse Weather: Enhancing Standard Detectors via Foundation-Guided Auto-Annotation
Virginia Commonwealth University (VCU)(弗吉尼亚联邦大学)
针对恶劣天气下自动驾驶检测器性能下降问题,提出利用基础模型SAM3离线生成伪标签自动标注数据,微调YOLOv8,在真实数据集上mAP提升16.04%,无需架构改动即可增强环境鲁棒性。
2026-09-23 cs.CV
Robust Deep Learning for Autonomous Driving
HESAM Université(HESAM大学);Conservatoire national des arts et métiers(法国国立工艺学院);Cnam(法国国立工艺学院);Télécom Paris(巴黎电信学院);INSA Rouen(鲁昂国立应用科学学院);University of Guelph(圭尔夫大学);University of Cambridge(剑桥大学);Wayve(Wayve公司);Sorbonne Université(索邦大学)
过去十年对人工智能的研究对自动驾驶的发展产生了重大影响。然而,在高风险环境中部署此类系统时,安全性仍然是一个主要问题。本论文的目标是开发方法工具,为深度神经网络提供可靠的不确定性估计。首先,我们引入了一个新的标准来可靠地估计模型的置信度:真类概率(TCP)。我们发现,TCP提供了更好的性能故障预测比目前的不确定性措施。由于真正的类本质上是未知的,在测试时,我们建议学习TCP标准的数据与辅助模型,引入一个特定的学习计划,适应这种情况。在图像分类和语义分割数据集上验证了该方法的相关性。然后,我们扩展我们的学习信心的方法,以任务的领域自适应,它提高了自我训练方法中的伪标签的选择。最后,我们通过引入一种新的基于证据模型的不确定性度量,并在单纯形上定义,来解决联合检测误分类和分布外样本的挑战。
2022-11-14 cs.CV cs.LG stat.ML
Doubly Robust Self-Training
University of California, Berkeley(加州大学伯克利分校)
本文提出双重稳健自训练算法,可在伪标签全错时仅用标注数据、全准时利用全部数据,并在 ImageNet 与 nuScenes 上验证其优于标准自训练基线。
2023-11-02 cs.AI cs.CV cs.LG
A Novel Graph based Trajectory Predictor with Pseudo Oracle
Changzhou University(常州大学);University of California, Berkeley(加州大学伯克利分校);Nanjing Xiaozhuang University(南京晓庄学院)
动态场景中的行人轨迹预测在许多应用中仍然是一个具有挑战性和关键性的问题,例如自动驾驶汽车和具有社交意识的机器人。挑战集中在捕捉行人的运动模式和社会互动,以及处理未来的不确定性。最近的研究集中在使用递归神经网络对行人的运动模式进行建模,使用基于池或基于图的方法捕获社会交互,以及使用随机高斯噪声作为潜在变量来处理未来的不确定性。然而,他们没有整合特定的避障经验(OAE),可以提高预测性能。例如,行人的未来轨迹总是受到前面其他人的影响。在这里,我们提出了GTPPO(基于图形的轨迹预测与伪甲骨文),编码器解码器为基础的方法,行人的未来行为的条件。行人的运动模式编码与长短期记忆单元,它引入了时间注意突出特定的时间步骤。它们的交互由基于图的注意力机制捕获,该机制将OAE引入图注意力的数据驱动学习过程。未来的不确定性是通过生成具有信息潜变量的多模态输出来处理的。这样的变量是由一种新的伪预言预测器生成的,它最大限度地减少了历史轨迹和地面实况轨迹之间的知识差距。最后,GTPPO在ETH、UCY和Stanford Drone数据集上进行了评估,结果显示了最先进的性能。此外,定性评估显示成功的情况下,处理突然的运动变化的未来。这些发现表明,GTPPO可以窥视未来。
2021-06-18 cs.CV
HACMatch Semi-Supervised Rotation Regression with Hardness-Aware Curriculum Pseudo Labeling
Shanghai Jiao Tong University(上海交通大学)
提出一种难度感知课程学习框架,通过动态选择伪标签样本和结构化数据增强,在少量标注数据下提升半监督旋转回归性能。
2026-06-18 cs.CV
Towards Robust Unsupervised Attention Prediction in Autonomous Driving
Beijing University of Posts and Telecommunications(北京邮电大学)
提出一种鲁棒的无监督注意力预测方法,通过不确定性挖掘分支、知识嵌入模块和新型数据增强方法 RoboMixup 弥合领域差异并提升鲁棒性,同时构建了 DriverAttention-C 基准,性能媲美全监督方法。
2025-01-29 cs.AI cs.CV
3DSFLabelling: Boosting 3D Scene Flow Estimation by Pseudo Auto-labelling
PhiGent Robotics(菲根特机器人公司);University of Cambridge(剑桥大学);Shanghai Jiaotong University(上海交通大学)
针对真实LiDAR点云3D场景流标签稀缺问题,提出3DSFLabelling伪自动标注与运动增强方法,在多个真实数据集上显著超越现有监督和无监督方法。
2024-03-01 cs.CV
TPPO: A Novel Trajectory Predictor with Pseudo Oracle
Changzhou University(常州大学);University of California, Berkeley(加州大学伯克利分校);Hohai University(河海大学)
在动态场景中预测行人轨迹仍然是各种应用中的关键问题,例如自动驾驶和具有社会意识的机器人。这种预测是具有挑战性的,因为人与人和人与物体的相互作用以及人类随机性造成的未来不确定性。基于生成模型的方法通过对潜在变量进行采样来处理未来的不确定性。然而,很少有研究探讨潜变量的产生。在这项工作中,我们提出了轨迹预测与伪甲骨文(TPPO),这是一个基于生成模型的轨迹预测。第一个伪预言是行人的移动方向,第二个是根据地面真实轨迹估计的潜在变量。一个社会注意力模块被用来聚合邻居的互动基于行人的移动方向和未来的轨迹之间的相关性。这种相关性的灵感来自于这样一个事实,即行人未来的轨迹往往受到前面行人的影响。提出了一种潜变量预测器,用于从观测轨迹和地面实况轨迹中估计潜变量分布。此外,这两个分布之间的差距在训练期间被最小化。因此,潜变量预测器可以从观察到的轨迹估计潜变量以近似从地面实况轨迹估计的潜变量。我们在几个公共数据集上比较了TPPO与相关方法的性能。结果表明,TPPO优于国家的最先进的方法,具有较低的平均和最终的位移误差。烧蚀研究表明,预测性能不会显着降低采样时间下降,在测试过程中。
2021-12-29 cs.CV
AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving
Nanyang Technological University (NTU)(南洋理工大学);University of Maryland(马里兰大学);China-Singapore International Joint Research Institute(中新国际联合研究院)
利用机载传感器进行目标检测(例如,激光雷达、雷达和摄像头)在自动驾驶(AD)中发挥着至关重要的作用,这些传感器在模式上相互补充。虽然crowdsensing可能会利用这些传感器(数量巨大)来获得更全面的知识,但\textit{federated learning}(FL)似乎是实现这一潜力的必要工具:它使自动驾驶汽车(AV)能够在不显式共享原始传感数据的情况下训练机器学习模型。然而,多模态传感器在分布式AV之间引入了各种数据异质性(例如,标签数量偏差和不同的方式),提出了关键的挑战,有效的FL。为此,我们提出AutoFed作为异质性意识FL框架,充分利用多模态感官数据的AV,从而使强大的AD。具体来说,我们首先提出了一种新的模型,利用伪标签,以避免错误地对待未标记的对象作为背景。我们还提出了一种基于自动编码器的数据填补方法,以填补缺失的数据模态(某些AV)与可用的。为了进一步协调异构性,我们最后提出了一个客户端选择机制,利用客户端模型之间的相似性,以提高训练稳定性和收敛速度。我们在基准数据集上的实验证实,AutoFed在准确率和召回率方面都大大提高了现状方法,同时对恶劣天气条件表现出强大的鲁棒性。
2023-03-30 cs.AI cs.CV cs.LG