Grid-Centric Traffic Scenario Perception for Autonomous Driving: A Comprehensive Review
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与 mobility学院）；Kargobot Inc.（卡戈机器人公司）；DiDi Chuxing（滴滴出行）
本文系统综述了自动驾驶中网格中心感知技术，梳理了从2D BEV网格、3D占用到4D占用预测的发展脉络，并总结了标签高效学习、系统集成及未来趋势。
2024-06-09 cs.CV cs.RO
Driving in the Occupancy World: Vision-Centric 4D Occupancy Forecasting and Planning via World Models for Autonomous Driving
Zhejiang University（浙江大学）；Huawei Technologies（华为技术有限公司）
该研究提出Drive-OccWorld，将以视觉为中心的4D预测世界模型适配自动驾驶端到端规划，通过语义运动条件归一化、灵活动作条件注入等设计，实现可控4D占据生成与最优轨迹选择，在多个数据集上验证了有效性。
2025-01-17 cs.CV
Semi-Supervised Vision-Centric 3D Occupancy World Model for Autonomous Driving
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对自动驾驶3D占用世界模型依赖高成本3D标签的问题，提出半监督视觉中心模型PreWorld，通过自监督预训练（利用2D标签）和全监督微调两阶段训练，在nuScenes数据集上的多任务中取得竞争力性能。
2025-02-11 cs.CV
DLWM: Dual Latent World Models enable Holistic Gaussian-centric Pre-training in Autonomous Driving
HKUST（香港科技大学）；CUHK-SZ（香港中文大学（深圳））；USTC（中国科学技术大学）；Huawei Foundation Model Department（华为基础模型部门）
本文提出DLWM，通过双潜在世界模型实现自动驾驶中的整体高斯中心预训练，提升3D占用感知、4D占用预测和运动规划性能。
2026-04-01 cs.CV
Allo-centric Occupancy Grid Prediction for Urban Traffic Scene Using Video Prediction Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）
动态环境预测对自主车辆的安全导航至关重要。由于各种动态代理（如车辆和弱势道路使用者）之间的复杂交互，城市交通场景的预测特别具有挑战性。先前的方法已经使用自我中心的占用网格地图来表示和预测动态环境。然而，这些预测遭受模糊，场景结构的损失，并在较长的预测范围内消失的代理。在这项工作中，我们提出了一个新的框架，使长期的预测，代表交通场景在一个固定的框架，称为allo为中心的占用网格。这允许静态场景保持固定，并像其他代理一样在网格上表示自我车辆的运动。我们研究了不同视频预测网络的异中心网格预测，并在真实世界的Nuscenes数据集上验证了该方法。结果表明，与传统的以自我为中心的网格方法相比，以自我为中心的网格表示显着提高了场景预测。
2023-01-11 cs.AI cs.CV cs.RO
GaussianAD: Gaussian-Centric End-to-End Autonomous Driving
Tsinghua University（清华大学）；Li Auto（理想汽车）；Peking University（北京大学）
针对自动驾驶决策中场景表示全面性与效率难以兼顾的问题，提出以3D语义高斯体为核心的端到端GaussianAD框架，兼顾场景描述的全面性与稀疏高效性，在nuScenes数据集多项任务上验证了有效性。
2024-12-13 cs.AI cs.CV cs.LG
Foresight in Motion: Reinforcing Trajectory Prediction with Reward Heuristics
HKUST（香港科技大学）；Voyager Research, Didi Chuxing（维嘉尔研究，滴滴出行）；Zhuoyu Technology（筑宇科技）
本文提出“先推理后预测”的轨迹预测框架，通过查询中心逆强化学习推导奖励分布并推理多意图，结合层次化类DETR解码器与双向选择性状态空间模型，在Argoverse和nuScenes上取得有竞争力的预测性能。
2025-07-16 cs.CV cs.RO
Inverse++: Vision-Centric 3D Semantic Occupancy Prediction Assisted with 3D Object Detection
University of Sydney（悉尼大学）；Australian Centre for Robotics (ACFR)（澳大利亚机器人中心）
本文提出Inverse++，通过引入3D目标检测辅助分支为3D语义占用预测增加监督信号，增强对弱势道路使用者等小目标的捕捉能力，在nuScenes上取得领先性能。
2025-04-07 cs.CV cs.RO
CarFormer: Self-Driving with Learned Object-Centric Representations
Koç University（科克大学）；KUIS AI Center（KUIS人工智能中心）
本文提出CarFormer，在鸟瞰图中学习对象中心槽表示，结合Transformer进行自动驾驶与未来预测，提升路线完成率和驾驶得分，验证了槽表示作为世界模型的有效性。
2024-07-22 cs.AI cs.CV cs.RO
MASAR: Motion-Appearance Synergy Refinement for Joint Detection and Trajectory Forecasting
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Munich University of Applied Sciences（慕尼黑应用科学大学）
MASAR通过联合编码外观和运动特征，提升自动驾驶中的3D检测与轨迹预测性能，实现超过20%的精度提升。
2026-02-13 cs.CV cs.LG
Narrowing the Coordinate-frame Gap in Behavior Prediction Models: Distillation for Efficient and Accurate Scene-centric Motion Forecasting
Princeton University（普林斯顿大学）；Waymo LLC（Waymo有限责任公司）
近年来，行为预测模型已经激增，特别是在流行的自动驾驶的现实世界机器人应用中，其中表示移动代理的可能未来的分布对于安全和舒适的运动规划至关重要。在这些模型中，选择坐标框架来表示投入和产出具有关键的权衡，大致分为两类。以代理为中心的模型转换输入并在以代理为中心的坐标中执行推理。这些模型本质上对场景元素之间的平移和旋转是不变的，在公共排行榜上表现最好，但随着代理和场景元素的数量成二次方地缩放。以场景为中心的模型使用固定的坐标系来处理所有代理。这给了他们在所有代理之间共享表示的优势，提供了有效的摊销推理计算，该计算与代理的数量呈线性关系。然而，这些模型必须学习场景元素之间的平移和旋转的不变性，并且通常表现不佳。在这项工作中，我们开发了概率运动预测模型之间的知识蒸馏技术，并应用这些技术来缩小以代理为中心和以场景为中心的模型之间的性能差距。这将以场景为中心的模型性能在公共Argoverse基准测试中提高了13.2%，在Waymo开放数据集上提高了7.8%，在大型内部数据集上提高了9.4%。这些改进的以场景为中心的模型在公共排行榜中排名很高，在繁忙的场景中，效率比以代理为中心的教师同行高出15倍。
2022-06-10 cs.AI cs.CV cs.LG
DAG-Net: Double Attentive Graph Neural Network for Trajectory Forecasting
AImageLab（AImage实验室）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
理解人类运动行为对于自动驾驶汽车或社交机器人等几种可能的应用来说是一项关键任务，并且通常对于自主智能体必须在以人为中心的环境中导航的所有设置来说都是如此。这是不平凡的，因为人类运动本质上是多模态的：给定人类运动路径的历史，人们在未来可以通过许多合理的方式移动。此外，人员活动通常由目标驱动，例如到达特定位置或与环境交互。我们通过提出一个新的循环生成模型来解决上述问题，该模型既考虑了单个代理的未来目标，也考虑了不同代理之间的交互。该模型利用基于双重注意力的图神经网络来收集关于不同代理之间的相互影响的信息，并将其与关于代理可能的未来目标的数据相结合。我们的建议是一般性的，足以适用于不同的场景：该模型在城市环境中，也在体育应用中实现了最先进的结果。
2020-10-23 cs.CV cs.LG
RiskWorld: Object-Centric Latent World Modeling for Autonomous Driving Risk Identification
提出 RiskWorld 模型，以对象为中心的潜在世界建模，结合预训练视频表示与自车-对象历史，在 RiskBench 上实现 63.0% F1 和 2.1% 误报率，可有效识别自动驾驶风险。
2026-08-25 cs.LG cs.RO
Pivot-Centric Trajectory Prediction: Bridging Long Horizons via Dynamical Guidance
针对长时程轨迹预测的误差累积问题，本文提出PCTP方法，通过引入枢轴点解耦预测任务，提升了主流模型在Argoverse数据集上的预测精度，且可灵活集成到现有模型中。
2026-08-05 cs.AI cs.RO
SIMPL: A Simple and Efficient Multi-agent Motion Prediction Baseline for Autonomous Driving
Hong Kong University of Science and Technology（香港科技大学）；DJI Technology Company, Ltd.（大疆创新科技有限公司）
本文提出 SIMPL，一种基于对称有向消息传递和伯恩斯坦多项式轨迹解码的轻量级多智能体运动预测基线，在 Argoverse 基准上实现实时高精度预测，并开源代码。
2024-02-04 cs.AI cs.CV cs.LG
EgoTraj-Bench: Towards Robust Trajectory Prediction Under Ego-view Noisy Observations
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The University of Hong Kong（香港大学）；Miraikan – The National Museum of Emerging Science and Innovation（Miraikan——新兴科学与创新国家博物馆）
EgoTraj-Bench通过引入BiFlow模型，解决第一人称视角噪声观测下的轨迹预测问题，实现更鲁棒的预测性能。
2026-03-05 cs.AI cs.CV cs.RO
SSL-Interactions: Pretext Tasks for Interactive Trajectory Prediction
University of Waterloo（滑铁卢大学）
针对多智能体环境轨迹预测中非线性交互建模不足的问题，提出SSL-Interactions框架，通过四个交互感知代理任务、交互密集场景筛选及新评估指标，使运动预测性能提升达8%。
2024-08-26 cs.AI cs.CV cs.RO
COME: Adding Scene-Centric Forecasting Control to Occupancy World Model
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院）；State Key Laboratory of Intelligent Green Vehicle and Mobility（智能绿色车辆与移动系统国家重点实验室）；Kargobot Inc（Kargobot公司）；Nankai University（南开大学）
针对自动驾驶世界模型难分离自车运动与场景演化的问题，提出COME框架，通过以场景为中心的预测分支与定制ControlNet解耦表征，在nuScenes-Occ3D数据集上多配置下显著优于SOTA方法。
2025-06-16 cs.CV
QCNeXt: A Next-Generation Framework For Joint Multi-Agent Trajectory Prediction
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Hon Hai Research Institute（鸿海研究院）；Carnegie Mellon University（卡内基梅隆大学）
QCNeXt提出查询中心编码与多智能体DETR解码器，实现联合轨迹预测，在边际指标上超越边际模型，获Argoverse 2基准第一。
2023-06-18 cs.CV cs.RO
Instance-Aware Predictive Navigation in Multi-Agent Environments
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
在这项工作中，我们的目标是实现高效的端到端学习的动态多智能体环境中的驾驶策略。在对象级别预测和预测未来事件对于做出明智的驾驶决策至关重要。我们提出了一个实例感知预测控制（IPC）的方法，预测代理之间的相互作用以及未来的场景结构。我们采用了一种新的多实例事件预测模块来估计可能的互动代理在自我为中心的观点，条件是所选择的动作序列的自我车辆。为了决定每一步的动作，我们通过重复采样可能的动作序列，根据预测模块的输出来寻找可以导致安全未来状态的动作序列。我们设计了一个顺序动作采样策略，以更好地利用场景级和实例级的预测状态。我们的方法建立了一个新的艺术状态在具有挑战性的CARLA多智能体驾驶模拟环境中没有专家演示，提供更好的解释性和样本效率。
2021-01-14 cs.CV cs.RO
TextOCVP: Object-Centric Video Prediction with Language Guidance
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能机器学习研究所）；Center for Robotics（机器人中心）
TextOCVP通过文本指导的对象中心模型实现更精确可控的视频预测，优于现有基线。
2026-02-04 cs.CV
TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
提出TPS-Drive框架，通过任务引导的表示净化（Agent-Centric Tokenizer）解决VLM在自动驾驶中的空间幻觉和表示干扰问题，实现精确的3D空间预测与安全规划。
2026-05-26 cs.RO
Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions
University of Bonn（波恩大学）
提出OCVP transformer模块解耦时间动态与物体交互，在两个数据集上优于物体无关模型，保持一致准确的物体表示。
2023-07-31 cs.CV
DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving
School of Computer Science, Peking University（北京大学计算机学院）；Defense Innovation Institute（国防创新研究院）；China Telecom Institute of AI & NPU（中国电信人工智能与NPU研究院）；HKUST（香港科技大学）；GigaAI（极佳科技）；BUPT（北京邮电大学）；Ant Group（蚂蚁集团）；SYSU（中山大学）；THU（清华大学）；BJTU（北京交通大学）
本文提出 DriveWorld 框架，利用世界模型和记忆状态空间模型从多相机视频中学习4D时空表征，并在多项自动驾驶下游任务上取得显著性能提升。
2024-05-07 cs.CV
Interpretable Social Anchors for Human Trajectory Forecasting in Crowds
EPFL（洛桑联邦理工学院）
人群中的人类轨迹预测，其核心是一个序列预测问题，具有捕获序列间依赖性（社会交互）并因此预测社会兼容的多模态分布的特定挑战。近年来，基于神经网络的方法已被证明在基于距离的度量上优于手工制作的方法。然而，这些数据驱动的方法仍然受到一个关键的限制：缺乏可解释性。为了克服这一限制，我们利用离散选择模型的力量来学习可解释的基于规则的意图，并随后利用神经网络的可表达性来建模特定场景的残差。在以交互为中心的基准测试TrajNet++上进行的大量实验表明，我们提出的架构可以有效地解释其预测，而不会影响准确性。
2021-05-07 cs.CV
Human Trajectory Forecasting in Crowds: A Deep Learning Perspective
在过去的几十年里，人类轨迹预测一直是一个活跃的研究领域，因为它有许多现实世界的应用：疏散情况分析，智能交通系统的部署，交通运营，仅举几例。早期的作品基于领域知识手工制作了这种表示。然而，在拥挤的环境中，社会互动不仅多样，而且往往微妙。最近，深度学习方法的表现已经超过了手工制作的方法，因为它们以更通用的数据驱动方式学习人与人之间的交互。在这项工作中，我们对现有的基于深度学习的方法进行了深入分析，用于对社交互动进行建模。我们提出了两种基于知识的数据驱动的方法来有效地捕捉这些社会互动。为了客观地比较这些基于交互的预测模型的性能，我们开发了一个大规模的以交互为中心的基准TrajNet++，这是人类轨迹预测领域中一个重要但缺失的组件。我们提出了新的性能指标，评估模型输出社会可接受的轨迹的能力。TrajNet++上的实验验证了我们提出的指标的必要性，我们的方法在真实世界和合成数据集上的性能都优于竞争基线。
2021-01-11 cs.CV
CARFF: Conditional Auto-encoded Radiance Field for 3D Scene Forecasting
UC Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究所）；Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
CARFF通过条件自编码辐射场将2D图像映射到3D潜在场景分布，利用POMDP建模和两阶段训练，实现可解释的未来场景预测，并在CARLA模拟中支持复杂自动驾驶的轨迹与应急规划。
2024-07-19 cs.CV
InfraWorld: Motion-Aware World Modeling for Roadside 4D Occupancy Forecasting
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航天工程学院）
InfraWorld是一种路侧4D占用预测的运动感知世界模型，通过DQI、LST、MAQI实现选择性状态演化，在InfraOcc和Occ3D-nus数据集上达当前最优性能，自中心设置下仍有效。
2026-10-14 cs.CV
Social-Mamba: Socially-Aware Trajectory Forecasting with State-Space Models
EPFL, Switzerland（瑞士联邦理工学院）
本文提出Social-Mamba，通过将社会互动视为结构化序列过程，结合循环Mamba模块和社交三元组分解，实现高效准确的轨迹预测，实验表明其在多个基准上表现优异。
2026-05-14 cs.CV
Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute of Technology（东部技术研究院）；School of Electronic Information and Electrical Engineering（电子信息与电气工程学院）；Li Auto（力汽车）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生实验室）；Ningbo Institute of Digital Twin（宁波数字孪生研究院）
针对占据数据稀缺问题，构建最大语义占据数据集Nuplan-Occ，并提出统一框架联合生成高质量语义占据、多视角视频和LiDAR点云，采用时空解耦架构及高斯泼溅稀疏点图渲染和传感器感知嵌入策略，实现高保真生成。
2026-05-23 cs.CV
SlotPi: Physics-informed Object-centric Reasoning Models
Renmin University of China（中国人民大学）；Huawei Technologies Ltd.（华为技术有限公司）
针对现有以对象为中心的动态仿真方法缺乏物理知识融合、场景适应性不足的问题，提出融合哈密顿物理模块与时空预测模块的SlotPi模型，在多类数据集任务中表现优异，为世界模型研发奠定基础。
2025-06-12 cs.AI cs.CV cs.LG
UniEgoMotion: A Unified Model for Egocentric Motion Reconstruction, Forecasting, and Generation
Stanford University（斯坦福大学）；Panasonic Holdings Corporation（松下控股公司）；Panasonic R&D Company of America（美国松下研发公司）
提出统一条件扩散模型UniEgoMotion，采用头部中心运动表示，从第一人称图像实现场景感知的自我中心运动重建、预测与生成，并构建EE4D-Motion数据集，性能达最优。
2025-10-16 cs.CV
DriveMotion: A Large-Scale Multi-Source Benchmark for Driver Motion Sequence Modeling and Forecasting
University of South Florida（南佛罗里达大学）；Purdue University（普渡大学）；Stanford University（斯坦福大学）；University of Central Florida（中佛罗里达大学）
DriveMotion是一个大规模多源基准，用于连续驾驶员运动预测，通过动态锚定评估和操作丰富训练，显著提升预测性能。
2026-09-09 cs.CV cs.HC
Joint Hand Motion and Interaction Hotspots Prediction from Egocentric Videos
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Intel Labs（英特尔实验室）；UC San Diego（加州大学圣地亚哥分校）
我们建议预测未来的手对象的相互作用，以自我为中心的视频。我们不预测动作标签或像素，而是直接预测手部运动轨迹和下一个活动对象上的未来接触点（即，互动热点）。这种相对低维的表示提供了对未来交互的具体描述。为了解决这个问题，我们首先提供了一种自动的方法来收集大规模数据上的轨迹和热点标签。然后，我们使用这些数据来训练以对象为中心的Transformer（OCT）模型进行预测。我们的模型通过Transformers中的自注意力机制来执行手和物体的交互推理。OCT还提供了一个概率框架来对未来轨迹和热点进行采样，以处理预测中的不确定性。我们在Epic-Kitchen-55、Epic-Kitchen-100和EGTEA Gaze+数据集上进行了实验，结果表明OCT的性能大大优于最先进的方法。项目页面可在https://stevenlsw.github.io/hoi-forecast上找到。
2022-04-04 cs.CV cs.LG
A Hierarchical Hybrid Learning Framework for Multi-agent Trajectory Prediction
Wuhan University of Technology（武汉理工大学）
精确和鲁棒的邻近智能体轨迹预测是自主车辆在复杂场景中穿越的关键。近年来提出的大多数方法都是基于深度学习的，因为它们在编码复杂交互方面很强大。然而，不合理的预测往往会产生，因为它们严重依赖于过去的观察，不能有效地捕捉到稀疏样本的瞬态和偶然的相互作用。在本文中，我们提出了一个分层的混合框架，深度学习（DL）和强化学习（RL）的多智能体轨迹预测，以应对预测运动的挑战，形成多尺度的相互作用。在DL阶段，交通场景被划分为多个中等规模的异构图，在此基础上，采用Transformer风格的GNN来编码中间和全局级别的异构交互。在RL阶段，我们利用DL阶段预测的关键未来点将交通场景划分为局部子场景。为了模拟运动规划过程，以便产生轨迹预测，基于变换器的近端策略优化（PPO）结合车辆运动学模型设计规划运动的主要影响下的微观相互作用。多目标奖励旨在平衡以代理为中心的准确性和场景兼容性。实验结果表明，我们的建议相匹配的国家的最先进的Argoverse预测基准。可视化结果还表明，分层学习框架捕捉到了多尺度的相互作用，提高了预测轨迹的可行性和顺应性。
2023-03-24 cs.CV cs.RO
