Bayesian Spatial Kernel Smoothing for Scalable Dense Semantic Mapping
University of Michigan(密歇根大学)
本文开发了一个贝叶斯连续的3D语义占用地图从嘈杂的点云通过推广贝叶斯核推理模型的建设占用地图,一个二进制的问题,语义地图,一个多类的问题。所提出的方法提供了一个统一的概率模型的占用和语义概率,并很好地恢复到原来的占用映射框架时,只有一个被占用的类存在于所获得的测量。贝叶斯空间核推理放松了独立网格假设,并为地图推理带来了平滑性和连续性,从而能够利用环境中存在的局部相关性并提高性能。附带的软件使用多线程和矢量化,在笔记本电脑CPU上以约2 Hz的频率运行。使用立体相机和LiDAR数据集的多个序列的评估表明,所提出的方法始终优于当前的基线。我们还提出了一个定性的评估,使用密歇根大学北校区的双足机器人平台收集的数据。
2020-01-26 cs.RO
BUOL: A Bottom-Up Framework with Occupancy-aware Lifting for Panoptic 3D Scene Reconstruction From A Single Image
South China University of Technology(华南理工大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出BUOL框架,通过自底向上的确定性语义提升和占用感知填充,解决单图像全景三维重建中的实例通道与体素重建歧义,在3D-Front和Matterport3D上显著超越现有方法。
2024-01-16 cs.CV
OccuSeg: Occupancy-aware 3D Instance Segmentation
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
3D实例分割在机器人技术和增强现实中有着广泛的应用,目前需求量很大。与作为环境的投影观测的2D图像不同,3D模型提供场景的度量重建,而没有遮挡或尺度模糊。在本文中,我们定义“3D占用大小”,作为每个实例所占用的体素的数量。在此基础上,提出了一种基于占用感知的三维实例分割算法OccupSeg。我们的多任务学习产生占用信号和嵌入表示,其中空间和特征嵌入的训练随着它们在尺度感知方面的差异而变化。我们的聚类方案受益于预测占用大小和聚类占用大小之间的可靠比较,这鼓励硬样本被正确聚类,避免过度分割。该方法在ScanNetV2、S3DIS和SceneNN 3个真实数据集上实现了最先进的性能,同时保持了高效率。
2020-04-28 cs.CV
Towards Flexible 3D Perception: Object-Centric Occupancy Completion Augments 3D Object Detection
FNii-Shenzhen(深圳先进电子学院);SSE, CUHK-Shenzhen(香港中文大学(深圳)理工学院);TuSimple(图森未来);Xiaomi EV(小米汽车)
本文提出以对象为中心的占据表示及补全网络,并构建相应数据集,利用长序列时序信息稳健补全目标形状,显著增强3D检测器对不完整和远距离目标的检测。
2024-12-06 cs.AI cs.CV
PanoSSC: Exploring Monocular Panoptic 3D Scene Reconstruction for Autonomous Driving
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与出行学院);Kargobot(卡戈机器人);DiDi Chuxing(滴滴出行)
针对现有自动驾驶占用网络存在的物体预测不一致、相邻物体混淆问题,提出实例感知占用网络PanoSSC,通过前后景分离预测、新型3D实例掩码解码器实现多任务统一,在SemanticKITTI基准上取得有竞争力的结果。
2024-06-11 cs.CV
ViewFormer: Exploring Spatiotemporal Modeling for Multi-View 3D Occupancy Perception via View-Guided Transformers
Uisee Foundation Research & Development(驭势科技基金会研发部);University of Science and Technology of China(中国科学技术大学)
针对多视角3D占据感知中现有注意力机制特征聚合受限的问题,提出视角引导的ViewFormer框架及FlowOcc3D基准,在多类3D任务中性能超越现有最优水平。
2024-07-12 cs.CV
Online Diffusion-Based 3D Occupancy Prediction at the Frontier with Probabilistic Map Reconciliation
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对机器人在未测绘环境中难以推断未观测几何结构的问题,提出改进的扩散模型实现全地图实时在线3D占据预测,结合概率更新方法提升前沿预测准确率,并将开源相关代码与ROS节点。
2024-09-16 cs.RO
Occupancy World Model for Robots
Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);Beijing Institute of Technology(北京理工大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出RoboOccWorld,通过CCSA与HSTA建模室内细粒度3D占据场景演化,并重构OccWorld-ScanNet基准,实验显示其预测性能优于现有方法。
2025-05-07 cs.CV cs.RO
Scene as Occupancy
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
提出OccNet多视图视觉流水线,通过3D占据表示捕捉细粒度障碍物细节,并构建OpenOcc基准,在检测、分割和规划等多任务中显著提升性能,运动规划碰撞率降低15%-58%。
2023-06-26 cs.CV cs.RO
UnsOcc: 3D Semantic Occupancy Prediction in Unstructured Scene via Rendering Fusion
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Waytous Inc.(Waytous公司)
提出UnsOcc多模态框架,通过渲染融合模块和基于高斯溅射的细节感知辅助监督,解决非结构化场景中跨模态融合困难与长尾分布问题,在露天矿和nuScenes数据集上超越现有方法。
2026-06-02 cs.CV cs.RO
Safety-Oriented Pedestrian Motion and Scene Occupancy Forecasting
Uber ATG(优步先进技术集团);University of Toronto(多伦多大学);Cornell University(康奈尔大学)
在本文中,我们解决的重要问题,在自动驾驶的预测多行人运动和他们的共享场景占用地图,安全导航至关重要。我们的贡献是双重的。首先,我们提倡预测个体运动以及场景占用图,以便有效地处理由后处理引起的缺失检测,例如,置信度阈值和非最大抑制。其次,我们提出了一个场景-演员图神经网络(SA-GNN),它通过二维卷积保留行人的相对空间信息,并捕捉在同一场景中的行人之间的相互作用,包括那些没有被检测到,通过消息传递。在nuScenes和ATG 4D这两个大规模的真实世界数据集上,我们展示了我们的场景占用预测比最先进的运动预测方法更准确,校准更好,同时也与行人运动预测指标相匹配。
2021-01-07 cs.CV cs.LG cs.RO
StopNet: Scalable Trajectory and Occupancy Prediction for Urban Autonomous Driving
Waymo;Korea University(高丽大学)
我们介绍了一种运动预测(行为预测)方法,可以在不牺牲准确性的情况下满足密集城市环境中自动驾驶的延迟要求。全场景稀疏输入表示允许StopNet扩展到预测数百个道路代理的轨迹,并具有可靠的延迟。除了预测轨迹外,我们的场景编码器还可以预测整个场景的概率占用网格,这是一种适合繁忙城市环境的补充输出表示。占领网格允许AV集体推理代理组的行为,而不处理他们的个人轨迹。我们证明了我们的稀疏输入表示和我们的模型在三个数据集的计算和准确性方面的有效性。我们进一步表明,共同训练一致的轨迹和占用预测在标准指标下提高了最先进的性能。
2022-06-02 cs.CV cs.RO
Allo-centric Occupancy Grid Prediction for Urban Traffic Scene Using Video Prediction Networks
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所)
动态环境预测对自主车辆的安全导航至关重要。由于各种动态代理(如车辆和弱势道路使用者)之间的复杂交互,城市交通场景的预测特别具有挑战性。先前的方法已经使用自我中心的占用网格地图来表示和预测动态环境。然而,这些预测遭受模糊,场景结构的损失,并在较长的预测范围内消失的代理。在这项工作中,我们提出了一个新的框架,使长期的预测,代表交通场景在一个固定的框架,称为allo为中心的占用网格。这允许静态场景保持固定,并像其他代理一样在网格上表示自我车辆的运动。我们研究了不同视频预测网络的异中心网格预测,并在真实世界的Nuscenes数据集上验证了该方法。结果表明,与传统的以自我为中心的网格方法相比,以自我为中心的网格表示显着提高了场景预测。
2023-01-11 cs.AI cs.CV cs.RO
AnyScene: Towards Highly Controllable Driving Scene Generation at Anywhere and Beyond
Li Auto(利汽车);Southwest Jiaotong University(西南交通大学);Tsinghua University(清华大学)
提出AnyScene框架,通过时空占用扩散Transformer和几何引导视图扩展模块,实现从BEV布局生成语义占用序列和参考无关的多视角驾驶视频,支持精确可控和长时生成。
2026-05-25 cs.CV cs.RO
Integrating Specialized and Generic Agent Motion Prediction with Dynamic Occupancy Grid Maps
本文提出融合专用与通用智能体运动预测的动态占用网格地图框架,通过定制损失函数实现稳健的运动预测,提升复杂场景中动态实体的预测性能。
2026-02-08 cs.CV cs.RO
SceneSense: Diffusion Models for 3D Occupancy Synthesis from Partial Observation
University of Colorado Boulder(科罗拉多大学博尔德分校)
SceneSense提出一种实时三维扩散模型,利用运行占据地图和RGB-D相机预测被遮挡或视野外的几何信息,不覆盖观测空间,提升局部占据预测准确性。
2024-03-18 cs.RO
OccWAM: Occupancy World-Action Models with Joint Scene-to-Ego Flow Matching
Nanyang Technological University(南洋理工大学);Tongji University(同济大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR))
本文提出OccWAM模型,通过场景到自车流匹配联合生成未来占用与自车轨迹,在Bench2Drive和nuScenes数据集上实现了自动驾驶相关任务的最优性能。
2026-10-14 cs.RO
SelectOccFlow: Selective Spatiotemporal Aggregation for 3D Occupancy and Scene Flow Prediction
Hunan University(湖南大学);National Engineering Research Center of Robot Visual Perception and Control Technology(国家机器人视觉感知与控制技术工程研究中心)
提出SelectOccFlow,通过语义引导采样、状态条件时间聚合和范围感知空间聚合,选择性细化图像、时间与体素域证据,提升相机占据与场景流预测的鲁棒性,在OpenOcc上达到SOTA OccScore 44.9。
2026-10-06 cs.CV cs.RO
Towards Learning a Generalizable 3D Scene Representation from 2D Observations
University of Hamburg - Department of Informatics(汉堡大学信息学院);ZAL Center of Applied Aeronautical Research(应用航空研究中心);Hamburger Informatik Technologie-Center e.V. (HITeC)(汉堡信息科技中心(HITeC))
本文提出了一种通用神经辐射场方法,通过第一人称机器人观测学习3D场景表示,实现了对未见场景的泛化能力,并在真实场景中验证了其高精度的3D重建性能。
2026-02-11 cs.CV cs.RO
Real-time 3D semantic occupancy prediction for autonomous vehicles using memory-efficient sparse convolution
针对自动驾驶实时3D语义占据预测中现有transformer类方法计算量高的问题,提出结合前视相机与LiDAR特征、采用Minkowski Engine稀疏卷积的高效框架,联合求解场景补全与语义分割,在nuScenes上取得有竞争力的精度且适配实时需求。
2024-05-19 cs.CV cs.RO
Planning Oriented 3D Scene Completion via Coupled TUDF Occupancy Representation Learning from Partial Observations
Institute of Cyber-System and Control, College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院网络系统与控制研究所)
本文提出面向路径规划的3D场景补全框架,通过耦合TUDF连续几何表示与体素占用图,利用双向学习提升重建质量并直接支持轨迹规划,实验验证了其有效性。
2026-09-30 cs.RO
Flow-guided Motion Prediction with Semantics and Dynamic Occupancy Grid Maps
Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所)
提出一种利用动态占用栅格地图和语义信息预测未来场景流与车辆语义栅格的多任务框架,在NuScenes数据集上验证了其提升预测及保留动态车辆的能力。
2024-07-22 cs.AI cs.CV cs.RO
DynamicCity: Large-Scale 4D Occupancy Generation from Dynamic Scenes
WorldBench Team(WorldBench团队)
DynamicCity通过VAE和DiT模型生成高质量动态4D占用图,提升拟合质量与训练效率。
2025-12-03 cs.CV cs.RO
Occupancy-Grounded Room Segmentation for Hierarchical 3D Scene Graphs
University of Turku(图尔库大学);Centre for Artificial Intelligence, Zürich University of Applied Sciences(苏黎世应用科学大学人工智能中心)
提出一种基于占用分解的房间节点锚定方法,构建分层3D场景图,在Matterport3D数据集上相比基线方法恢复了更多房间实例。
2026-06-15 cs.RO
Estimation of Appearance and Occupancy Information in Birds Eye View from Surround Monocular Images
Ola Electric AI(奥拉电动人工智能部门)
自动驾驶需要对场景中不同智能体的位置和外观进行有效推理,这有助于目标检测、目标跟踪和路径规划等下游任务。在过去的几年里,将经典自动驾驶堆栈中不同的基于任务的模块结合到端到端(E2 E)可训练学习系统中的方法激增。这些方法用具有共享潜在空间嵌入的单个连续模块来替换感知、预测和传感器融合模块,从中提取场景的人类可解释的表示。最流行的表示之一是鸟瞰图(BEV),它从自上而下的角度表达了不同交通参与者在自我车辆框架中的位置。然而,BEV不捕获参与者的色彩外观信息。为了克服这一限制,我们提出了一种新的表示,捕捉各种交通参与者的外观和占用信息从一个阵列的单目摄像机覆盖360度视场(FOV)。我们使用所有相机图像的学习图像嵌入来生成场景的BEV,该BEV在任何时刻捕获场景的外观和占用,这可以帮助下游任务,例如对象跟踪和执行基于语言的命令。我们测试了我们的方法对CARLA生成的合成数据集的有效性。代码、数据集和结果可以在https://rebrand.ly/APP OCC-results上找到。
2022-11-08 cs.CV cs.RO
Equivalence and Divergence of Bayesian Log-Odds and Dempster's Combination Rule for 2D Occupancy Grids
Constructor University(Constructor大学);JetBrains LTD(JetBrains公司)
本文提出了一种基于猪性转换的方法,用于比较贝叶斯对数几率与德普斯特组合规则在二维占用网格映射中的表现,证明贝叶斯融合在多数情况下表现更优。
2026-02-21 cs.RO
OccLLaMA: An Occupancy-Language-Action Generative World Model for Autonomous Driving
Academy for Engineering & Technology, Fudan University(复旦大学工程与应用技术研究院);Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院)
本文提出OccLLaMA,一种以语义占用为通用视觉表征、通过自回归统一视觉-语言-动作模态的生成式世界模型,在4D占用预测、运动规划和视觉问答等自动驾驶任务中取得有竞争力的性能。
2024-09-05 cs.CV cs.RO
Streaming Gaussian Encoding for 4D Panoptic Occupancy Tracking
University of Freiburg(弗莱堡大学);Bosch Research, Robert Bosch GmbH(博世研究中心,罗伯特·博世有限公司);University of Haifa(海法大学)
提出流式高斯编码器,通过持久化场景表示和置信度引导的预算约束,实现相机4D全景占据跟踪,在nuScenes和Waymo上达到新最优。
2026-07-01 cs.CV cs.RO
Occupancy as Set of Points
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);Horizon Robotics(地平线机器人)
本文提出OSP框架,用兴趣点表示场景进行三维占用预测,突破体素方法局限,在Occ3D nuScenes基准上表现优异且可与体素方法集成。
2024-07-04 cs.CV cs.RO
ST-GS: Vision-Based 3D Semantic Occupancy Prediction with Spatial-Temporal Gaussian Splatting
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(电子与计算机工程系,香港科学与技术大学)
ST-GS通过空间-时间高斯点划法提升3D语义占用预测的时空建模能力,实现更优的时间一致性与性能
2026-02-26 cs.CV cs.RO
A Coarse-to-Fine Approach to Multi-Modality 3D Occupancy Grounding
College of Software Technology, Zhejiang University(浙江大学软件技术学院);College of Computer Science, Zhejiang University(浙江大学计算机科学学院)
针对现有视觉定位依赖边界框导致物体表示不准确的问题,提出基于nuScenes的3D占据定位基准及端到端多模态模型GroundingOcc,由粗到精预测物体位置与占据信息,性能优于现有基线。
2025-09-03 cs.CV cs.RO
Humanoid-OmniOcc: Stereo-Based Full-View Occupancy Dataset for Embodied AI
School of Computer Science, Wuhan University(武汉大学计算机学院);D-Robotics(地瓜机器人);Soochow University(苏州大学);UTS(悉尼科技大学)
针对现有占用数据集局限于自动驾驶场景的问题,提出面向人形机器人的大规模全景立体占用数据集Humanoid-OmniOcc,采用Real2Sim2Real闭环范式,并设计立体引导占用模型,在模拟和真实环境中均优于单目基线。
2026-06-23 cs.CV cs.RO
Learning Spatiotemporal Occupancy Grid Maps for Lifelong Navigation in Dynamic Scenes
University of Toronto Institute for Aerospace Studies (UTIAS)(多伦多大学航空航天研究所);ETH Zürich(苏黎世联邦理工学院);Apple Inc.(苹果公司)
我们提出了一种新的方法来生成,预测和使用时空占用网格地图(SOGM),其中嵌入未来的动态场景的信息。我们的自动生成过程从以前的导航数据创建groundtruth SOGM。我们建立在以前的工作,根据其动态特性注释激光雷达点,然后将其投影到带有时间戳的2D网格上:SOGM。我们设计了一个3D-2D前馈架构,训练以预测SOGM的未来时间步长,给定3D激光雷达帧作为输入。我们的流水线完全是自我监督的,从而使机器人能够终身学习。该网络由一个3D后端和一个2D前端组成,3D后端提取丰富的特征并实现激光雷达帧的语义分割,2D前端预测规划中嵌入SOGM中的未来信息。我们还设计了一个导航管道,使用这些预测的SOGM。我们提供了定量和定性的见解的预测和验证我们的网络设计的选择与比较的最先进的和消融研究。
2021-09-16 cs.RO
Stochastic Occupancy Grid Map Prediction in Dynamic Scenes
Temple University(天普大学)
本文提出一种基于变分自编码器的随机预测算法,利用机器人运动、动态物体和静态几何信息,在模拟和真实数据集上实现更准确稳健的未来状态预测,并集成于不确定性感知规划器。
2023-10-13 cs.RO
LOPR: Latent Occupancy PRediction using Generative Models
针对自动驾驶环境预测中确定性占用栅格预测不真实的问题,提出LOPR框架,利用生成模型在潜在空间进行随机预测,并在多个真实数据集上达到最先进性能。
2025-10-17 cs.CV cs.RO
ActMVS: Active Scene Reconstruction with Monocular Multi-View Stereo
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所)
提出ActMVS框架,通过视图因子图构建和全局深度优化,实现单目相机在线生成高质量、全局一致的密集深度图,支持机器人/UAV的主动场景重建与安全轨迹规划。
2026-05-31 cs.CV cs.RO
Lambda-Field: A Continuous Counterpart of the Bayesian Occupancy Grid for Risk Assessment
Université Clermont Auvergne(克莱蒙奥弗涅大学);CNRS(法国国家科学研究中心);SIGMA Clermont(克莱蒙费朗西格玛中心);Institut Pascal(帕斯卡研究所);Irstea(法国农业环境与技术研究所);Northern Robotics Laboratory(北方机器人实验室);Université Laval(拉瓦尔大学)
在自主机器人的背景下,最重要的任务之一是确保机器人及其周围环境的安全。在大多数情况下,航行的风险被简单地说成是碰撞的概率。这种风险的概念在文献中没有很好的定义,特别是在处理占用网格时。贝叶斯占有网格是处理复杂环境最常用的方法。然而,这并不适合计算沿着其离散性质的路径的风险,因此给出了差的结果。在这篇文章中,我们提出了一种新的方法来存储的占用环境,允许的风险计算为一个给定的路径。然后,我们定义的风险,碰撞的力量,将发生一个给定的障碍。使用这个框架,我们能够生成导航路径,确保机器人的安全。
2019-08-28 cs.RO
Dynamic Lambda-Field: A Counterpart of the Bayesian Occupancy Grid for Risk Assessment in Dynamic Environments
Université Clermont Auvergne(克莱蒙奥弗涅大学);CNRS(法国国家科学研究中心);Clermont Auvergne INP(克莱蒙奥弗涅国立应用科学学院);Institut Pascal(帕斯卡研究所);Sherpa Engineering(夏尔巴工程公司);Université Laval(拉瓦尔大学);INRAE(法国国家农业、食品与环境研究院)
在自动驾驶汽车的背景下,最关键的任务之一是估计所采取行动的风险。在复杂的城市环境中导航时,贝叶斯占用网格是最流行的地图类型之一,其中占用信息存储为碰撞概率。虽然被广泛使用,但这种表示并不适合风险评估:由于其离散性,碰撞概率取决于镶嵌尺寸。因此,贝叶斯占用网格上的风险评估不能产生有意义的物理单位的风险。在这篇文章中,我们提出了一个替代框架,称为动态λ场,能够在动态环境中评估一般的物理风险,而不依赖于镶嵌大小。使用我们的框架,我们能够规划安全的轨迹,其中风险函数可以根据场景进行调整。我们验证了我们的方法与定量实验,显示网格的收敛速度,该框架是适合于现实世界的场景。
2021-07-28 cs.RO
ROG-Map: An Efficient Robocentric Occupancy Grid Map for Large-scene and High-resolution LiDAR-based Motion Planning
University of Hong Kong(香港大学);Harbin Institute of Technology(哈尔滨工业大学)
LiDAR技术的最新进展为机器人导航开辟了新的可能性。鉴于占用网格地图(OGM)在机器人运动规划中的广泛使用,本文旨在解决LiDAR与OGM集成的挑战。为此,我们提出了ROG-Map,一个统一的基于网格的OGM,保持一个本地地图移动与机器人,使高效的地图操作,并减少大场景自主飞行的内存成本。此外,我们提出了一种新的增量障碍通货膨胀的方法,显着降低通货膨胀的计算成本。该方法在各种公共数据集上的性能优于最先进的(SOTA)方法。为了证明ROG-Map的有效性和效率,我们将其集成到一个完整的四旋翼系统中,并针对小障碍物和大规模场景进行自主飞行。在具有0.05 m分辨率本地地图和30 mx30 mx 12 m本地地图大小的真实世界飞行测试期间,ROG-Map以50 Hz的帧速率(\ie,20 ms中5.96 ms)平均仅花费29.8%的帧时间来更新地图,包括0.33%(即,0.66 ms)来执行障碍物充气,展示了出色的真实世界性能。我们发布ROG-Map作为开源ROS包,以促进基于LiDAR的运动规划的发展。
2023-02-28 cs.RO
QueryOcc: Query-based Self-Supervision for 3D Semantic Occupancy
Chalmers University of Technology(查尔姆斯理工大学);Zenseact
提出QueryOcc,一种基于查询的自监督框架,通过相邻帧的4D时空查询直接学习连续3D语义占据,利用视觉基础模型或激光雷达数据提供监督,并引入收缩场景表示以在恒定内存下实现远程监督,在Occ3D-nuScenes基准上语义RayIoU提升26%。
2026-06-12 cs.CV cs.RO
Robust Robotic Exploration and Mapping Using Generative Occupancy Map Synthesis
本文提出了一种基于生成占用地图合成的鲁棒机器人探索方法,通过实时融合预测提升地图质量和可通行性,实验表明其在不同环境中提升了探索一致性。
2025-12-29 cs.AI cs.RO
Occ-LLM: Enhancing Autonomous Driving with Occupancy-Based Large Language Models
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本研究提出首个基于占用表示的大语言模型Occ-LLM,通过运动分离变分自动编码器(MS-VAE)编码占用输入并解决类别不平衡问题,在自动驾驶关键任务中显著优于现有方法,具变革潜力。
2025-02-10 cs.RO
WildOcc: A Benchmark for Off-Road 3D Semantic Occupancy Prediction
Research Center for Intelligent Computing Systems, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能计算系统研究中心);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
针对越野场景缺乏3D语义占据预测数据集与基准的问题,本文提出WildOcc基准、由粗到细的真值生成流程及融合图像与点云时空信息的多模态框架,并通过跨模态蒸馏迁移几何知识。
2024-10-27 cs.AI cs.CV cs.RO
Occupancy Map Building through Bayesian Exploration
University of Sydney(悉尼大学)
我们提出了一种新的整体方法,安全的自主探索和地图建设的基础上约束贝叶斯优化。该方法找到最佳连续路径,而不是固有地满足运动和安全约束的离散感测位置。评估目标函数和约束函数都需要对预期观测值进行正向模拟。由于这样的评估是昂贵的,贝叶斯优化器只提出可能产生最优结果并以高置信度满足约束的路径。通过平衡与每条路径相关的回报和风险,优化器最大限度地减少了昂贵函数评估的数量。我们证明了我们的方法的有效性,在一系列的实验中,无论是在模拟和一个真正的地面机器人,并提供与其他探索技术的比较。显然,每种方法都有其特定的有利条件,在这些条件下,它优于所有其他技术。然而,通过推理整个路径的有用性,而不是它的终点,我们的方法通过所有测试提供了一个强大的和一致的性能,并表现得比其他领先的方法更好或一样好。
2017-03-01 cs.RO
CrowdOcc: Monocular Semantic Scene Completion for Quadruped Robots in Crowded Indoor Environments
Tongji University(同济大学);Loughborough University(拉夫堡大学)
针对拥挤室内环境中四足机器人单目语义场景补全受遮挡影响的问题,提出CrowdOcc数据集与框架,通过法线引导融合和以人为中心的稀疏交互,在测试集上达到15.80 IoU等最先进性能。
2026-10-05 cs.CV cs.RO
Dynamics-Aware Spatiotemporal Occupancy Prediction in Urban Environments
Stanford University(斯坦福大学)
移动障碍物的检测和分割,以及对本地环境未来占用状态的预测,对于自动驾驶汽车主动做出安全和明智的决策至关重要。在本文中,我们提出了一个框架,使用深度神经网络架构将这两种功能集成在一起。我们的方法首先检测和分割场景中的移动对象,并使用这些信息来预测自动驾驶汽车周围环境的时空演变。为了解决静态-动态对象分割和环境预测模型直接集成的问题,我们建议在整个框架中使用基于占用的环境表示。我们的方法在真实世界的Waymo Open Dataset上进行了验证,并显示出比基线方法更高的预测准确性。
2022-09-27 cs.CV cs.RO
Self-supervised Multi-future Occupancy Forecasting for Autonomous Driving
Stanford University(斯坦福大学);University of California, Riverside(加州大学河滨分校)
针对自动驾驶环境预测中确定性方法无法捕捉随机性的问题,提出LOPR框架,在生成架构潜在空间进行随机占用预测,并融合多模态条件,在nuScenes和Waymo Open数据集上优于先前方法。
2025-10-17 cs.CV cs.RO
OccupancyDETR: Using DETR for Mixed Dense-sparse 3D Occupancy Prediction
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications(北京邮电大学计算机学院(国家示范性软件学院))
针对3D语义占据感知计算资源消耗高的问题,提出OccupancyDETR方法,采用类DETR检测与混合稠密-稀疏解码器区分前后景并分别处理,在SemanticKITTI上实现14的mIoU与10FPS速度,兼顾效率与精度。
2024-05-18 cs.CV cs.RO
Local Occupancy-Enhanced Object Grasping with Multiple Triplanar Projection
Peking University(北京大学)
本文提出一种局部占用增强的多三平面投影方法,通过预测抓取点周围体素占用并融合全局线索,补全遮挡场景中的物体形状,从而提升6自由度抓取位姿估计的准确性,在GraspNet-1Billion基准和真实机械臂上均取得领先性能。
2024-07-22 cs.AI cs.RO
OccFusion: Multi-Sensor Fusion Framework for 3D Semantic Occupancy Prediction
Australian Centre for Robotics (ACFR)(澳大利亚机器人中心);University of Sydney(悉尼大学)
针对纯视觉3D语义占据预测易受光照和天气影响的问题,本文提出OccFusion多传感器融合框架,融合相机、激光雷达与环视雷达特征,在nuScenes和semanticKITTI上实现更准确鲁棒的顶尖性能。
2024-05-09 cs.CV cs.RO
Monocular Semantic Occupancy Grid Mapping with Convolutional Variational Encoder-Decoder Networks
Eindhoven University of Technology(埃因霍温理工大学)
在这项工作中,我们研究和评估端到端的学习单目语义度量占用网格映射从弱双目地面真理。该网络学习预测四个类别,以及相机到鸟瞰图的映射。在核心,它利用了一个变分编码器-解码器网络,该网络对驾驶场景的前视视觉信息进行编码,随后将其解码为2-D俯视笛卡尔坐标系。对Cityscapes的评估表明,语义度量占用网格的端到端学习优于平面假设的确定性映射方法,平均IoU超过12%。此外,我们表明,变分采样与一个相对较小的嵌入向量带来了对车辆动态扰动的鲁棒性,和不可见的KITTI数据的推广。我们的网络实现了约实时推理率。对于分辨率为256 x512像素的输入图像和使用Titan V GPU的具有64 x64占用网格单元的输出地图,使用35 Hz。
2018-12-31 cs.CV cs.RO
OC-SOP: Enhancing Vision-Based 3D Semantic Occupancy Prediction by Object-Centric Awareness
Autonomous Intelligent Systems group, Computer Science Institute VI – Intelligent Systems and Robotics – and the Center for Robotics and the Lamarr Institute for Machine Learning and Artificial Intelligence, University of Bonn, Germany(自主智能系统组,计算机科学研究所VI——智能系统与机器人——以及机器人中心和拉玛尔人工智能与机器学习研究所,波恩大学,德国)
针对自动驾驶感知中的遮挡和数据不完整问题,提出OC-SOP框架,通过将检测分支提取的高级以对象为中心的线索集成到语义占用预测流程中,显著提升动态前景物体预测精度,并在SemanticKITTI上实现最先进性能。
2025-08-13 cs.AI cs.CV cs.RO
BORM: Bayesian Object Relation Model for Indoor Scene Recognition
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);Hong Kong University of Science and Technology(香港科技大学)
场景识别是机器人感知的一项基本任务。对于人类来说,场景识别是合理的,因为人类对现实世界有着丰富的对象知识。将先验对象知识从人类转移到场景识别的想法是重要的,但仍然很少被利用。在本文中,我们提出了利用有意义的对象表示的室内场景表示。首先,我们利用改进的对象模型(IOM)作为基线,通过引入在具有与室内场景相关的丰富对象类别的ADE 20 K数据集上预训练的场景解析算法来丰富对象知识。为了分析对象同现和成对对象关系,我们从贝叶斯的角度制定了贝叶斯对象关系模型(BORM)的IOM。同时,我们将所提出的BORM与PlacesCNN模型结合起来,作为用于场景识别的组合贝叶斯对象关系模型(CBORM),并在简化的Places 365数据集和未经重新训练的SUN RGB-D数据集上显着优于最先进的方法,显示出所提出的方法具有出色的泛化能力。代码可以在https://github.com/hszhoushen/borm上找到。
2021-08-01 cs.CV cs.RO
OFMPNet: Deep End-to-End Model for Occupancy and Flow Prediction in Urban Environment
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI))
本文提出端到端模型OFMPNet,融合鸟瞰道路图、占据栅格与运动流预测所有动态对象未来行为,并以时间加权运动流损失在Waymo基准上取得SOTA。
2024-04-02 cs.AI cs.CV cs.RO