GeoTransfer : Generalizable Few-Shot Multi-View Reconstruction via Transfer Learning
Inria(法国国家信息与自动化研究所);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(雷恩信息、信号与自动化研究所);M2S(运动、交互与表现实验室)
本文提出GeoTransfer方法,通过将预训练可泛化NeRF特征快速迁移至隐式占用网络,实现少样本稀疏三维重建,大幅缩短训练时间,并在DTU和Blended MVS数据集上取得领先精度。
2024-09-28 cs.CV
DeepMapping: Unsupervised Map Estimation From Multiple Point Clouds
University of Rochester(罗切斯特大学);NYU Tandon School of Engineering(纽约大学坦登工程学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
我们提出了DeepMapping,这是一种新的注册框架,使用深度神经网络(DNN)作为辅助功能,将多个点云从头对齐到全局一致的框架。我们使用DNN来模拟高度非凸映射过程,传统上涉及手工数据关联,传感器姿态初始化和全局优化。我们的关键新颖之处在于,用适当定义的无监督损失“训练”这些DNN相当于解决潜在的注册问题,但对良好初始化的敏感性低于ICP。我们的框架包含两个DNN:一个估计输入点云姿态的定位网络,以及一个通过估计全局坐标的占用状态来建模场景结构的地图网络。这使我们能够将注册问题转换为二进制占用分类,可以使用基于梯度的优化来有效地解决。我们进一步表明,DeepMapping可以很容易地扩展到解决激光雷达SLAM的问题,通过在连续的点云之间施加几何约束。在模拟和真实数据集上进行了实验。定性和定量比较表明,DeepMapping通常比现有技术更强大,更准确地实现多个点云的全局配准。我们的代码可在https://ai4ce.github.io/DeepMapping/上获得。
2019-04-09 cs.CV cs.RO
TACOcc:Target-Adaptive Cross-Modal Fusion with Volume Rendering for 3D Semantic Occupancy
School of Software Engineering(软件工程学院);Xi’an Jiaotong University(西安交通大学)
针对多模态3D占用预测中固定融合策略的几何语义不匹配与稀疏标注导致的表面细节丢失问题,提出TACOcc框架,通过目标自适应双向对称检索机制实现精准跨模态对齐,结合基于3D高斯溅射的体渲染监督增强细节重建,在两个基准上验证了有效性。
2025-05-19 cs.CV
Unsupervised Depth Completion from Visual Inertial Odometry
University of California, Los Angeles(加州大学洛杉矶分校)
我们描述了一种方法来推断密集的深度从相机运动和稀疏的深度估计使用视觉惯性里程计系统。与使用激光雷达或结构光传感器的点云的其他场景不同,我们只有几百到几千个点,不足以告知场景的拓扑结构。我们的方法首先构建一个分段平面脚手架的场景,然后使用它来推断密集的深度使用的图像以及稀疏点。我们使用一个预测性的跨模态标准,类似于“自我监督”,测量跨时间的光度一致性,前后姿势一致性,以及与稀疏点云的几何兼容性。我们还推出了第一个视觉惯性+深度数据集,我们希望这将促进更多的探索,以结合视觉和惯性传感器的互补优势。为了将我们的方法与以前的工作进行比较,我们采用了无监督的KITTI深度完成基准,并在其上显示了最先进的性能。代码可在:https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry上获得。
2021-07-21 cs.AI cs.CV cs.LG
Vision-Only Gaussian Splatting for Collaborative Semantic Occupancy Prediction
本研究提出基于稀疏3D语义高斯散射的协作语义占用预测方法,通过高效融合和减少通信开销,提升了协作感知的性能和鲁棒性。
2025-11-22 cs.CV cs.RO
Unsupervised Learning of Depth Estimation and Visual Odometry for Sparse Light Field Cameras
School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney(悉尼大学航空航天、机械与机电工程学院);Sydney Institute for Robotics and Intelligent Systems(悉尼机器人与智能系统研究院)
虽然出现了令人兴奋的多种新型成像设备,可以大大提高机器人的感知能力,但校准和解释这些相机的挑战限制了它们在机器人领域的应用。在这项工作中,我们概括了技术,从无监督学习,让机器人自主解释新类型的相机。我们考虑新兴的稀疏光场(LF)相机,其捕获描述穿过平面的光线的集合的4D LF函数的子集。我们介绍了一个广义的稀疏LF编码,允许无监督学习的里程和深度。我们证明了所提出的方法优于单目和传统的技术处理4D图像,产生更准确的里程计和深度图,并提供这些与度量尺度。我们期望我们的技术推广到广泛的LF和稀疏LF相机,并使无人监督的重新校准,以应对在机器人的生命周期内相机行为的变化。这项工作代表了在机器人应用中简化新型成像设备集成的第一步。
2021-03-21 cs.CV cs.RO
Occupancy-MAE: Self-supervised Pre-training Large-scale LiDAR Point Clouds with Masked Occupancy Autoencoders
Peking University(北京大学);Defense Innovation Institute(国防科技创新研究院)
针对自动驾驶感知模型依赖大量标注3D数据的问题,提出面向体素式大规模室外激光雷达点云的自监督预训练方法Occupancy-MAE,通过距离感知掩码与占用预测任务提升多个下游任务性能,减少标注需求。
2023-10-09 cs.CV
TriO: Tri-Modal Unsupervised Occupancy World Model for Anything Perception
TriO利用相机、激光雷达和雷达三种模态进行无监督自监督,预测4D占用、障碍物分割、光流和激光雷达,实现开放集长尾物体分割,并在多个3D/4D任务上达到最先进水平。
2026-09-30 cs.AI cs.CV
GS-Occ3D: Scaling Vision-only Occupancy Reconstruction with Gaussian Splatting
IIIS, THU(清华大学人工智能学院);Shanghai Qi Zhi Institute(上海启智研究院);AIR, THU(清华大学人工智能研究院);BAAI(北京人工智能研究院);Mercedes-Benz Group China Ltd.(梅赛德斯-奔驰集团中国有限公司)
提出GS-Occ3D,一种基于高斯泼溅的视觉独占占用重建框架,通过八叉树高斯曲面元和场景分解实现高效可扩展的几何重建,在Waymo和nuScenes数据集上验证了其作为自动标注新范式的潜力。
2025-08-02 cs.CV
Unsupervised Inference of Signed Distance Functions from Single Sparse Point Clouds without Learning Priors
Tsinghua University(清华大学);Wayne State University(韦恩州立大学)
从3D点云中推断有符号距离函数(SDF)至关重要。最新的方法依赖于从大规模监督中学习到的先验知识的推广。然而,学习的先验知识并不能很好地推广到训练过程中看不到的各种几何变化,特别是对于极其稀疏的点云。为了解决这个问题,我们提出了一个神经网络直接推断SDF从单个稀疏点云,而不使用有符号的距离监督,学习先验甚至法线。我们在这里的见解是以端到端的方式学习曲面参数化和SDF推理。为了弥补稀疏性,我们利用参数化表面作为粗糙表面采样器,在训练迭代中提供许多粗糙表面估计,根据这些估计,我们挖掘监督,并且我们基于薄板样条(TPS)的网络以统计方式将SDF推断为光滑函数。我们的方法显着提高了泛化能力和精度在看不见的点云。我们的实验结果表明,我们的优势,国家的最先进的方法在表面重建稀疏点云在合成数据集和真实扫描。
2023-03-25 cs.CV
Learning Topology from Synthetic Data for Unsupervised Depth Completion
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种从图像和稀疏深度测量推断密集深度图的方法,该方法利用合成数据来学习稀疏点云与密集自然形状的关联,并使用图像作为证据来验证预测的深度图。我们针对自然形状的学习先验仅使用稀疏深度作为输入,而不是图像,因此当尝试将学习模型从合成数据转换为真实数据时,该方法不受协变量偏移的影响。这使我们能够使用大量的合成数据与地面真理学习重建过程中最困难的组成部分,这是拓扑估计,并使用图像来完善基于光度证据的预测。我们的方法比以前的方法使用更少的参数,但在室内和室外基准数据集上都达到了最先进的水平。代码可在:https://github.com/alexklwong/learning-topology-synthetic-data获得。
2021-08-24 cs.CV cs.LG cs.RO
ESP-Zero: Unsupervised enhancement of zero-shot classification for Extremely Sparse Point cloud
Inspur Gensoft Co. Ltd., Inspur Group Co. Ltd.(浪潮软件股份有限公司、浪潮集团有限公司);Zhejiang University(浙江大学);University of Nottingham(诺丁汉大学)
针对极稀疏点云零样本分类中特征与文本嵌入错位问题,提出融合交叉注意力层和互补自蒸馏的无监督自适应方法,无需重新预训练即可显著提升零样本性能。
2024-04-30 cs.CV
Latent Gaussian Splatting for 4D Panoptic Occupancy Tracking
University of Freiburg(弗赖堡大学);Bosch Research(博世研究院);University of Haifa(海法大学)
提出潜在高斯泼溅(LaGS)方法,通过特征高斯体作为动态关键点实现多视图特征聚合,用于4D全景占据跟踪,在Occ3D nuScenes和Waymo上达到最优性能。
2026-06-19 cs.AI cs.CV cs.RO
Generalizable Neural Reconstruction of High-Fidelity Surfaces via Sparse Volumetric Representations
Computer Vision Laboratory, EPFL, Switzerland(苏黎世联邦理工学院计算机视觉实验室)
针对通用神经曲面重建中稠密体素导致的内存与分辨率瓶颈,提出SVRecon框架,利用占用率驱动的稀疏体素和两阶段架构,在32GB硬件上实现高达512³分辨率的高保真重建,在稀疏视图下表现更优。
2026-09-17 cs.CV
UnO: Unsupervised Occupancy Fields for Perception and Forecasting
Waabi(瓦比公司);University of Toronto(多伦多大学)
本文提出 UnO,一种利用 LiDAR 自监督学习连续4D时空占据场的无监督世界模型,可迁移至点云、语义占据和几何占据预测并取得领先性能。
2024-06-12 cs.AI cs.CV cs.LG
Unsupervised UAV 3D Trajectories Estimation with Sparse Point Clouds
Jianghan University(江汉大学);Nanyang Technological University(南洋理工大学)
针对小型无人机难以探测的安全问题,提出一种基于时空序列处理融合多激光雷达扫描的无监督无人机探测方法,在CVPR 2024挑战赛中获得第四名,并将开源代码。
2025-01-19 cs.CV cs.RO
Unsupervised 4D LiDAR Moving Object Segmentation in Stationary Settings with Multivariate Occupancy Time Series
Telekooperation Lab, Technical University Darmstadt(达姆施塔特工业大学远程协作实验室)
在这项工作中,我们解决了从固定传感器记录的4D LiDAR数据中的无监督运动对象分割(MOS)问题,其中不涉及地面实况注释。用于LiDAR MOS的基于深度学习的最先进方法强烈依赖于注释的地面实况数据,这是昂贵的获得和稀缺的存在。为了缩小固定设置中的这一差距,我们提出了一种新的基于多变量时间序列的4D LiDAR表示,该表示将无监督MOS的问题放松为时间序列聚类问题。更具体地说,我们提出了一个多变量占用时间序列(MOTS),它捕捉体素水平上的时空占用变化及其周围的邻居的体素的占用率的变化建模。为了执行无监督MOS,我们训练一个神经网络在一个自我监督的方式编码MOTS到体素级的特征表示,它可以通过聚类算法分为移动或静止。在来自原始KITTI数据集的静止场景上的实验表明,我们的完全无监督方法的性能与有监督的最先进方法相当。
2023-01-12 cs.CV
Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(东部技术研究院);School of Electronic Information and Electrical Engineering(电子信息与电气工程学院);Li Auto(力汽车);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字衍生实验室);Ningbo Institute of Digital Twin(宁波数字孪生研究院)
针对占据数据稀缺问题,构建最大语义占据数据集Nuplan-Occ,并提出统一框架联合生成高质量语义占据、多视角视频和LiDAR点云,采用时空解耦架构及高斯泼溅稀疏点图渲染和传感器感知嵌入策略,实现高保真生成。
2026-05-23 cs.CV
SparseOccVLA: Bridging Occupancy and Vision-Language Models via Sparse Queries for Unified 4D Scene Understanding and Planning
Huazhong University of Science and Technology(华中科技大学);Xiaomi EV(小米电动车);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院)
SparseOccVLA通过稀疏查询整合视觉语言模型与语义占用,实现统一的4D场景理解和规划,提升自动驾驶性能。
2026-01-17 cs.AI cs.CV
Rebenchmarking Unsupervised Monocular 3D Occupancy Prediction
本文提出重新基准测试无监督单目3D占用预测,通过改进评估协议和引入遮挡感知极化机制,提升遮挡区域的预测性能。
2026-02-06 cs.CV
VoxelSplat: Dynamic Gaussian Splatting as an Effective Loss for Occupancy and Flow Prediction
PCA Lab, VCIP, College of Computer Science, Nankai University(PCA实验室、VCIP、计算机科学学院、南开大学)
本文提出VoxelSplat正则化框架,通过三维高斯泼溅的二维投影增强语义监督,并利用场景流建模高斯运动实现自监督学习,从而在不增加推理时间的情况下提升占用与流预测精度。
2025-06-05 cs.CV
Efficient LiDAR Point Cloud Geometry Compression Through Neighborhood Point Attention
Nanjing University(南京大学)
尽管多尺度稀疏张量的卷积表示在精确建模密集对象点云几何分量压缩的占用概率方面表现出了卓越的效率,但其表示稀疏LiDAR点云几何(PCG)的能力在很大程度上受到限制。这是因为:1)卷积的固定感受野不能很好地表征极端和不均匀分布的稀疏LiDAR点; 2)具有固定权重的预训练卷积不足以动态捕获以输入为条件的信息。因此,这项工作提出了邻域点注意(NPA)来解决这些问题,我们首先使用k个最近的邻居(kNN)来构建自适应的局部邻域,然后利用自注意力机制来动态地聚合该邻域内的信息。这种NPA被设计为NPAFormer,以最好地利用跨尺度和同尺度相关性进行几何占用概率估计。与使用标准化G-PCC的锚点相比,我们的方法在有损压缩下提供了>17%的BD速率增益,并且在SemanticKITTI和Ford数据集中使用流行的LiDAR点云的无损场景下提供了>14%的比特率降低。与使用注意力优化八叉树编码方法的最新(SOTA)解决方案相比,我们的方法需要更少的解码运行时间,平均约640倍的加速比,同时仍然呈现出更好的压缩效率。
2022-08-26 cs.CV eess.IV
SparseWorld: A Flexible, Adaptive, and Efficient 4D Occupancy World Model Powered by Sparse and Dynamic Queries
AIR
针对现有占用世界模型感知灵活性不足、与动态连续场景不匹配的问题,提出SparseWorld 4D占用世界模型,通过三个核心模块设计,在多任务上达到SOTA性能。
2025-11-17 cs.AI cs.CV
SparseWorld-TC: Trajectory-Conditioned Sparse Occupancy World Model
Tongji University(同济大学);Li Auto Inc(力汽车公司)
本文提出了一种基于轨迹的未来3D场景占用预测新架构,通过端到端方式直接从原始图像特征预测多帧占用,避免了离散token化和BEV表示的限制,实现了nuScenes基准上的1-3秒占用预测最优性能。
2026-04-14 cs.CV
OccupancyDETR: Using DETR for Mixed Dense-sparse 3D Occupancy Prediction
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications(北京邮电大学计算机学院(国家示范性软件学院))
针对3D语义占据感知计算资源消耗高的问题,提出OccupancyDETR方法,采用类DETR检测与混合稠密-稀疏解码器区分前后景并分别处理,在SemanticKITTI上实现14的mIoU与10FPS速度,兼顾效率与精度。
2024-05-18 cs.CV cs.RO
OWL: Unsupervised 3D Object Detection by Occupancy Guided Warm-up and Large Model Priors Reasoning
OWL通过占用引导预热和大模型先验推理实现无监督3D物体检测,有效提升mAP性能15%以上。
2025-12-05 cs.CV
Fully Sparse 3D Occupancy Prediction
Nanjing University(南京大学);Shanghai AI Lab(上海人工智能实验室)
本文提出全稀疏占用网络SparseOcc,从相机输入重建稀疏3D表示并用稀疏查询预测占用,设计RayIoU指标,实现34.0 RayIoU和17.3 FPS实时性能。
2024-07-19 cs.CV
TGP: Two-modal occupancy prediction with 3D Gaussian and sparse points for 3D Environment Awareness
China Telecom Research Institute(中国电信研究院);University of Chinese Academy of Sciences(中国科学院大学);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所)
针对体素和点云方法在3D语义占据预测中的信息损失与结构表达不足,本文提出融合3D Gaussian集合与稀疏点的Transformer双模态框架,并在Occ3D-nuScenes上提升IoU指标。
2025-03-13 cs.AI cs.CV
SparseOcc++: Geometry-Aware Sparse Latent Representation for Semantic Occupancy Prediction
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(教育部人工智能重点实验室,上海交通大学人工智能研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
研究针对基于视觉的3D语义占用预测,提出SparseOcc++框架,通过场景完成场将场景完成与语义分割解耦,用新方法建模复杂户外几何,实验表明其提升了IoU且速度更快。
2026-07-07 cs.CV
SparseOcc: Rethinking Sparse Latent Representation for Vision-Based Semantic Occupancy Prediction
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对自动驾驶视觉感知中稠密潜在表示复杂度高、投影压缩有信息损失的问题,提出采用无损稀疏潜在表示的SparseOcc网络,通过三项创新设计,在大幅降低FLOPs的同时提升了语义占用预测的准确率。
2024-04-15 cs.CV
Road Scene Understanding by Occupancy Grid Learning from Sparse Radar Clusters using Semantic Segmentation
General Motors, Advanced Technical Center(通用汽车先进技术中心)
占用网格映射是自动驾驶道路场景理解的重要组成部分。它封装了可驾驶区域、道路障碍物的信息,并实现安全的自动驾驶。雷达是自动驾驶车辆视觉中的新兴传感器,由于其长距离传感,低成本和对恶劣天气条件的鲁棒性而得到越来越广泛的应用。尽管深度学习技术取得了最新进展,但雷达数据的占用网格映射仍然主要使用经典滤波方法完成。在这项工作中,我们提出了从聚类雷达数据中学习用于占用网格映射的逆传感器模型。这是在利用计算机视觉技术的数据驱动方法中完成的。由于雷达传感器的数据稀疏性和噪声特性,这项任务非常具有挑战性。这个问题被制定为一个语义分割任务,我们展示了如何使用激光雷达数据生成地面实况。我们定性和定量地表明,我们学习的占用网络使用最近发布的NuScenes真实世界的驾驶数据,大大优于经典方法。
2019-09-02 cs.CV
S2GO: Streaming Sparse Gaussian Occupancy Prediction
Applied Intuition;Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
S2GO提出用紧凑3D查询以在线流式方式传播并解码为语义高斯,结合去噪渲染目标,在nuScenes和KITTI占用基准上以5.9倍更快推理超越GaussianWorld 1.5 IoU。
2025-06-05 cs.CV
Real-time 3D semantic occupancy prediction for autonomous vehicles using memory-efficient sparse convolution
针对自动驾驶实时3D语义占据预测中现有transformer类方法计算量高的问题,提出结合前视相机与LiDAR特征、采用Minkowski Engine稀疏卷积的高效框架,联合求解场景补全与语义分割,在nuScenes上取得有竞争力的精度且适配实时需求。
2024-05-19 cs.CV cs.RO
SUG-Occ: Explicit Semantics and Uncertainty Guided Sparse Learning for Efficient 3D Occupancy Prediction
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
本文提出SUGOcc框架,通过显式语义和不确定性引导稀疏学习,实现高效3D占用预测,结合稀疏表示和轻量级解码器提升精度与效率。
2026-03-28 cs.CV
GPOcc++: Unified Sparse Gaussian Occupancy Prediction with Visual Geometry Priors
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
研究针对3D场景理解中从视觉观察恢复完整体积表示的挑战,提出GPOcc++,它基于视觉几何先验,将其转换为占用感知的稀疏高斯表示,能在统一框架中处理多视图观察和时间序列,扩展到室外,实验证明其性能强、效率高且泛化能力好。
2026-07-16 cs.CV
Needles in a Raystack: Ultra-Sparse LiDAR Occupancy Detection for Bat Tracks
Center for Solar Energy and Hydrogen Research (ZSW)(太阳能与氢能研究中心(ZSW));University of Stuttgart(斯图加特大学)
针对蝙蝠夜间飞行产生的超稀疏LiDAR数据,提出轻量级3D U-Net进行体素占用检测,结合加权损失处理类别不平衡,成功恢复前景轨迹,为生物多样性保护应用奠定基础。
2026-09-18 cs.CV
SHTOcc: Effective 3D Occupancy Prediction with Sparse Head and Tail Voxels
City University of Hong Kong(香港城市大学);East China Normal University(东华大学)
本文提出SHTOcc方法,通过稀疏头尾体素构建与解耦学习解决3D占用预测中的长尾和几何分布问题,在多个基线上显著降低显存、提升速度并提高准确率。
2025-05-29 cs.CV
SPOT-Occ: Sparse Prototype-guided Transformer for Camera-based 3D Occupancy Prediction
Artificial Intelligence Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学人工智能方向(广州));Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学计算机科学与工程系)
SPOT-Occ提出了一种基于稀疏原型的Transformer解码器,通过引导特征选择和聚焦聚合提升基于相机的3D占用预测的效率与精度。
2026-02-04 cs.CV cs.LG cs.RO
Sparse-Aware Vector Quantization for Bandwidth-Efficient Collaborative 3D Semantic Occupancy Prediction
School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院);School of Cybersecurity, Tianjin University(天津大学网络空间安全学院)
提出稀疏感知向量量化(SAVQ)机制,利用3D场景稀疏性压缩编码信息区域,大幅降低通信开销同时保持几何完整性,并设计双分支自适应空间细化模块增强结构一致性,实现高达82倍通信量减少。
2026-07-03 cs.CV
OPUS-V2: Bridging the Gap between Sparse Points and Dense Voxels
Nankai University(南开大学);Momenta(Momenta(魔门塔));KargoBot(智加科技)
针对基于点的占据预测与自动驾驶所需稠密体素占据的不匹配问题,提出OPUS-V2框架,通过点-体素变换模块和特征-占据解耦设计,在两个数据集上实现了先进性能并保持实时运行。
2026-09-01 cs.CV
STCOcc: Sparse Spatial-Temporal Cascade Renovation for 3D Occupancy and Scene Flow Prediction
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence(人机混合增强智能国家实验室);Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(人工智能与机器人学院,西安交通大学)
提出STCOcc,一种基于显式状态的3D占用与场景流预测方法,通过稀疏遮挡感知注意力与级联细化策略修复3D特征,在提升RayIoU和mAVE性能的同时将训练显存降至8.7GB。
2025-04-28 cs.CV
No more meta-parameter tuning in unsupervised sparse feature learning
Universitat de Barcelona(巴塞罗那大学);Centre de Visió per Computador(计算机视觉中心)
我们提出了一个元参数自由,现成的,简单而快速的无监督特征学习算法,它利用了一种新的稀疏优化方法。STL-10上的实验表明,该方法具有最先进的性能,并提供了判别特征,推广良好。
2014-02-24 cs.CV cs.LG
Enhancing Indoor Occupancy Prediction via Sparse Query-Based Multi-Level Consistent Knowledge Distillation
College of AI, Tsinghua University(清华大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);AIR, Tsinghua University(清华大学人工智能研究院);TARS;College of Intelligent Robotics and Advanced Manufacturing, Fudan University(复旦大学智能机器人与先进制造学院)
DiScene通过多级一致知识蒸馏和教师引导初始化,实现高效鲁棒的室内占用预测,优于现有方法并取得SOTA性能。
2026-02-02 cs.CV
OPUS: Occupancy Prediction Using a Sparse Set
College of Computer Science, Nankai University(南开大学计算机学院);KargoBot Inc.(卡尔戈博特公司);Shanghai Jiao Tong University(上海交通大学);NKIARI(南京科工研究院)
针对自动驾驶中占据预测任务空体素计算冗余的问题,提出基于集合预测范式的OPUS框架,通过Transformer与Chamfer距离损失实现端到端训练,在Occ3D-nuScenes数据集上兼顾精度与速度。
2024-10-31 cs.CV
Generalizing Visual Geometry Priors to Sparse Gaussian Occupancy Prediction
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
GPOcc通过利用可泛化的视觉几何先验进行单目占用预测,在速度和精度上均优于现有方法。
2026-02-25 cs.CV
BePo: Dual Representation for 3D Occupancy Prediction
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
本文提出BePo,通过结合BEV和稀疏点的双表示,解决小物体和大平面的占用预测问题,实验表明其在多个基准上表现优异且推理成本低。
2026-04-05 cs.CV
Unsupervised Abnormality Detection through Mixed Structure Regularization (MSR) in Deep Sparse Autoencoders
Philips Medical Systems Technologies Ltd.(飞利浦医疗系统科技有限公司)
除了显式稀疏正则化项和具有高斯噪声的输入数据的随机损坏之外,具有混合结构正则化(MSR)的深度稀疏自动编码器具有改进无监督异常检测的潜力。基于使用深度稀疏自动编码器识别离群值的无监督异常检测对于医学计算机辅助检测系统来说是非常有吸引力的方法,因为它只需要健康的数据进行训练,而不是专家注释的异常。在冠状动脉计算机断层扫描血管造影(CCTA)检测冠状动脉疾病的任务中,我们的研究结果表明,与深度稀疏和去噪自动编码器相比,MSR有可能将整体性能提高20-30%。
2019-02-28 cs.CV cs.LG
Unsupervised learning with sparse space-and-time autoencoders
Facebook AI Research(脸书人工智能研究院)
我们使用空间稀疏的二维、三维和四维卷积自动编码器网络来建模2D空间、3D空间和3+1=4维时空中的稀疏结构。我们通过测试其对下游任务的有用性来评估由此产生的潜在空间。其应用包括2D手写识别、3D对象中的部分分割、3D场景中的对象分割以及从运动捕捉数据生成的4D线框模型的身体部分分割。
2018-11-26 cs.AI cs.CV
Sparse Unsupervised Capsules Generalize Better
Incubator 491(491孵化中心)
我们发现,仅使用重建损失对潜在胶囊层进行无监督训练,而不进行掩蔽以选择正确的输出类,会导致方差和其他理想的胶囊质量损失。这意味着有监督的胶囊网络不能很深。潜在胶囊层活动的无监督稀疏既恢复了这些质量,又比监督掩蔽更好地泛化,同时可能实现更深的胶囊网络。我们在MNIST上训练了一个与Sabour et al(2017)几何结构相似的稀疏无监督胶囊网络,然后使用SVM层在affNIST上测试分类准确性。精度从基准的79%提高到90%。
2018-04-17 cs.CV
SQS: Enhancing Sparse Perception Models via Query-based Splatting in Autonomous Driving
FNii;SSE, CUHK-Shenzhen(SSE,CUHK-Shenzhen);HKUST;Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出SQS,一种基于查询的泼溅预训练方法,通过从稀疏查询预测3D高斯表示并重建多视图图像与深度图来增强稀疏感知模型,在占用预测和3D目标检测任务上显著超越现有预训练方法。
2025-09-20 cs.AI cs.CV cs.RO
Unsupervised Feature Learning by Deep Sparse Coding
Georgia Institute of Technology(佐治亚理工学院);DeepMind Technologies(DeepMind科技公司);Princeton University(普林斯顿大学);The City College of New York(纽约城市学院);University of Virginia(弗吉尼亚大学)
在本文中,我们提出了一种新的无监督特征学习框架,即深度稀疏编码(DeepSC),它将稀疏编码扩展到视觉对象识别任务的多层架构。该框架的主要创新之处在于它通过一个稀疏到密集的模块将不同层的稀疏编码器连接起来。稀疏到密集模块是局部空间池化步骤和低维嵌入过程的组合,其利用图像中的空间平滑信息。其结果是,新方法是能够学习几个层次的稀疏表示的图像捕捉功能在各种抽象层次,同时保持相邻的图像补丁之间的空间平滑度。结合来自多个层的特征表示,DeepSC在多个对象识别任务上实现了最先进的性能。
2013-12-20 cs.CV cs.LG cs.NE
Deep unsupervised 3D human body reconstruction from a sparse set of landmarks
Computer Vision Center(计算机视觉中心);Universitat de Barcelona(巴塞罗那大学)
在本文中,我们提出了人体重建中的第一种深度无监督方法,从稀疏的地标集合中估计身体表面,称为DeepMurf。我们应用去噪自动编码器来估计丢失的地标。然后,我们应用注意力模型从地标估计身体关节。最后,应用级联网络对重建人体的统计生成模型的参数进行回归。我们提出的损失函数集允许我们以无监督的方式训练网络。四个公共数据集上的结果表明,我们的方法准确地重建人体从现实世界的mocap数据。
2021-06-23 cs.CV
ODG: Occupancy Prediction Using Dual Gaussians
Qualcomm AI Research(高通人工智能研究)
针对自动驾驶占用预测现有方法分辨率受限或难以适配多样物体的问题,提出ODG分层双稀疏高斯表示方法,结合双高斯查询、分层高斯Transformer及渲染监督,在两个基准上以低推理成本实现新SOTA。
2025-06-12 cs.CV
RibPull: Implicit Occupancy Fields and Medial Axis Extraction for CT Ribcage Scans
Electrical and Computer Engineering Department, University of California, Santa Cruz(加州大学圣克ruz分校电子与计算机工程系);Inria, Univ. Rennes, CNRS, IRISA, M2S, Rennes(Inria,里尔大学,CNRS,IRISA,M2S,里尔);LIRIS - CNRS - Université Claude Bernard Lyon 1(LIRIS-CNRS-里尔1大学);Computer Science Engineering Department, University of California, Santa Cruz(加州大学圣克ruz分校计算机科学工程系)
本研究提出RibPull方法,利用神经隐式占用场表示CT扫描胸廓,结合拉普拉斯收缩提取中轴,在RibSeg数据集20份扫描上验证了连续坐标表示相对体素方法的几何操作优势。
2025-09-01 cs.CV