PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection
College of Computer Science and Technology, Taiyuan University of Technology（太原理工大学计算机科学与技术学院）；Key Laboratory of Machine Perception, Peking University（北京大学机器感知实验室）；University of Pisa（比萨大学）；University of Trento（特伦托大学）
提出两阶段3D目标检测器PVAFN，通过点-体素注意力机制自适应融合点云与BEV特征，并引入多池化增强模块整合多尺度局部与全局信息，在KITTI和Waymo数据集上取得竞争力性能。
2024-08-26 cs.CV
Pillar-Voxel Fusion Network for 3D Object Detection in Airborne Hyperspectral Point Clouds
School of Electronics and Information Engineering, Harbin Institute of Technology（电子与信息工程学院，哈尔滨工业大学）
本文提出PiV-AHPC网络，通过柱体-体素双分支编码器和多级特征融合机制，有效解决空中超光谱点云中3D目标检测的几何-光谱失真问题，实现高精度检测与泛化能力。
2025-07-05 cs.CV
Homogeneous Multi-modal Feature Fusion and Interaction for 3D Object Detection
East China Normal University（华东师范大学）；Shanghai AI Lab（上海人工智能实验室）；Fudan University（复旦大学）
多模态三维目标检测是自动驾驶领域的一个研究热点。然而，探索稀疏3D点和密集2D像素之间的跨模态特征融合并非易事。最近的方法要么融合图像特征与点云特征，投影到2D图像平面上，或者将稀疏点云与密集图像像素相结合。这些融合方法往往遭受严重的信息丢失，从而导致次优性能。为了解决这些问题，我们通过将相机特征转换到LiDAR 3D空间来构建点云和图像之间的同构结构，以避免投影信息丢失。本文提出了一种用于三维目标检测的同质多模态特征融合与交互方法。具体来说，我们首先设计了一个图像体素升降机模块（IVLM），以提升到3D空间的2D图像特征，并生成均匀的图像体素功能。然后，通过引入基于自注意的查询融合机制（QFM），将体素化后的点云特征与不同区域的图像特征进行融合。接下来，我们提出了一个体素特征交互模块（VXI），以加强同质点云和图像体素表示中相同对象的语义信息的一致性，这可以为跨模态特征融合提供对象级对齐指导，并增强复杂背景下的区分能力。我们在KITTI和Waymo Open Dataset上进行了广泛的实验，与最先进的多模态方法相比，所提出的HMFI实现了更好的性能。特别是，对于骑自行车的3D检测的KITTI基准，HMFI超过了所有已发表的算法的大幅度。
2022-10-18 cs.CV
SDVRF: Sparse-to-Dense Voxel Region Fusion for Multi-modal 3D Object Detection
本文提出SDVRF方法，通过动态生成体素区域并融合图像稠密像素与稀疏点云特征，结合多尺度融合框架，有效缓解点云稀疏和模态未对齐问题，在KITTI上提升多模态三维目标检测性能，尤其改善行人和骑行者等小目标检测。
2023-09-17 cs.AI cs.CV
VPFNet: Voxel-Pixel Fusion Network for Multi-class 3D Object Detection
National Taiwan University（国立台湾大学）
许多基于激光雷达的方法用于检测大型物体，单类目标检测，或在简单的情况下，声称表现相当不错。然而，他们的性能检测小物体或在困难的情况下，并没有超过那些基于融合的，由于未能利用图像语义。为了提高复杂环境下的检测性能，提出了一种基于深度学习（DL）融合的多类3D目标检测网络（Voxel-Pixel Fusion Network，VPFNet），该网络同时支持LiDAR和摄像机传感器数据流。在该网络内部，一个关键的新颖组件称为体素-像素融合（VPF）层，它利用体素-像素对的几何关系，并通过适当的机制融合体素特征和像素特征。此外，考虑到体素-像素对的特点，设计了几个参数来指导和增强融合效果。最后，该方法进行了评估的KITTI基准多类三维目标检测任务下的多级难度，并表现出优于所有国家的最先进的方法的平均精度（mAP）。同样值得注意的是，我们的方法在KITTI排行榜上排名第一，用于具有挑战性的行人类别。
2021-11-01 cs.AI cs.CV cs.LG
Radar Voxel Fusion for 3D Object Detection
Institute of Automotive Technology, Technical University of Munich（慕尼黑工业大学汽车技术研究所）；mLab:Real-Time and Embedded Systems Lab, University of Pennsylvania（宾夕法尼亚大学mLab实时与嵌入式系统实验室）
由于需要处理的各种可能的场景、对象和天气条件，汽车交通场景是复杂的。与自动化地下列车等更受约束的环境相比，汽车感知系统不能针对特定任务的狭窄领域进行定制，而是必须处理不断变化的环境和不可预见的事件。由于目前没有一个传感器能够可靠地感知周围环境中的所有相关活动，因此应用传感器数据融合来感知尽可能多的信息。不同传感器和传感器模态在低抽象级别上的数据融合使得能够在信息丰富的传感器数据被压缩之前补偿传感器之间的传感器弱点和误检测，从而在传感器个体目标检测之后丢失信息。本文提出了一种用于三维目标检测的低层传感器融合网络，该网络融合了激光雷达、摄像机和雷达数据。融合网络在nuScenes数据集上进行训练和评估。在测试集上，与基线激光雷达网络相比，雷达数据的融合将产生的AP（平均精度）检测分数提高了约5.1%。雷达传感器融合证明在恶劣条件下，如下雨和夜景特别有益。融合额外的摄像机数据仅在与雷达融合结合时才有积极的贡献，这表明传感器的相互依赖性对检测结果很重要。此外，本文提出了一种新的损失，以处理一个简单的偏航表示目标检测的不连续性。我们更新的损失增加了所有传感器输入配置的检测和方向估计性能。本研究的代码已在GitHub上提供。
2021-06-26 cs.CV
VoxelNeXt: Fully Sparse VoxelNet for 3D Object Detection and Tracking
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）
3D对象检测器通常依赖于手工制作的代理，例如，锚点或中心，并将研究良好的2D框架转换为3D。因此，稀疏体素特征需要通过密集预测头进行加密和处理，这不可避免地需要额外的计算。在本文中，我们提出VoxelNext用于完全稀疏的3D目标检测。我们的核心见解是直接基于稀疏体素特征预测对象，而不依赖于手工制作的代理。我们强大的稀疏卷积网络VoxelNeXt完全通过体素特征检测和跟踪3D对象。它是一个优雅而高效的框架，不需要稀疏到密集的转换或NMS后处理。我们的方法比nuScenes数据集上的其他主机检测器实现了更好的速度-精度权衡。这是第一次，我们证明了一个完全稀疏的基于体素的表示工程体面的激光雷达三维目标检测和跟踪。在nuScenes，Waymo和Argoverse 2基准上进行的大量实验验证了我们方法的有效性。在没有花里胡哨的情况下，我们的模型在nuScenes跟踪测试基准上的性能优于所有现有的LIDAR方法。
2023-03-20 cs.CV
MVX-Net: Multimodal VoxelNet for 3D Object Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；Apple Inc.（苹果公司）
最近关于3D目标检测的许多工作都集中在设计可以消耗点云数据的神经网络架构上。虽然这些方法表现出令人鼓舞的性能，但它们通常基于单一模态，并且无法利用来自其他模态（例如相机）的信息。虽然有一些方法融合来自不同模态的数据，但这些方法要么使用复杂的管道来顺序处理模态，要么执行后期融合，并且无法在早期阶段学习不同模态之间的交互。在这项工作中，我们提出了PointFusion和VoxelFusion：两个简单而有效的早期融合方法，结合RGB和点云模式，利用最近推出的VoxelNet架构。对KITTI数据集的评估表明，与仅使用点云数据的方法相比，性能有显着提高。此外，所提出的方法提供了具有竞争力的结果与国家的最先进的多模态算法，实现前2排名中的五个六鸟瞰图和3D检测类别的KITTI基准，通过使用一个简单的单级网络。
2019-04-02 cs.CV
Voxel or Pillar: Exploring Efficient Point Cloud Representation for 3D Object Detection
Xi’an Jiaotong University（西安交通大学）
针对 3D 点云检测中 voxel 与 pillar 编码差异及垂直学习不足的问题，提出完全稀疏的 VPF 框架，通过双向 SFL 融合两类特征，在 nuScenes 与 Waymo 上实现竞争力性能和实时推理。
2024-03-03 cs.CV
SVGA-Net: Sparse Voxel-Graph Attention Network for 3D Object Detection from Point Clouds
University of Electronic Science and Technology of China（电子科技大学）
从点云中精确检测3D目标检测已成为自动驾驶的关键组成部分。然而，在以往的作品的体积表示和投影方法未能建立局部点集之间的关系。在本文中，我们提出了稀疏体素图注意力网络（SVGA-Net），这是一种新型的端到端可训练网络，主要包含体素图模块和稀疏到密集回归模块，用于从原始LIDAR数据中实现可比的3D检测任务。具体来说，SVGA-Net在每个划分的3D球形体素内构建局部完整图，并通过所有体素构建全局KNN图。局部和全局图作为注意力机制来增强提取的特征。此外，新的稀疏到稠密回归模块通过在不同级别上聚合特征图来提高3D框估计的准确性。在KITTI检测基准上的实验表明，将图表示扩展到三维目标检测是有效的，所提出的SVGA-Net能够达到良好的检测精度。
2021-12-23 cs.CV
3D Dual-Fusion: Dual-Domain Dual-Query Camera-LiDAR Fusion for 3D Object Detection
Hanyang University（汉阳大学）；Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院（KAIST））
融合来自相机和LiDAR传感器的数据是实现稳健的3D目标检测的基本技术。相机-LiDAR融合的一个关键挑战是在融合其特征时，在坐标和数据分布方面减轻两个传感器之间的大域差距。在本文中，我们提出了一种新的相机-LiDAR融合架构，称为3D Dual-Fusion，旨在缩小相机和LiDAR数据的特征表示之间的差距。该方法融合了摄像机视图和三维体素视图域的特征，并通过可变形注意力来建模它们的交互。我们重新设计了Transformer融合编码器来聚合来自两个域的信息。两个主要的变化包括：1）基于双查询的可变形注意力，以交互方式融合双域特征; 2）3D局部自注意力，在双查询解码之前对体素域查询进行编码。实验评估的结果表明，所提出的相机-LiDAR融合架构在KITTI和nuScenes数据集上实现了具有竞争力的性能，在一些3D目标检测基准类别中具有最先进的性能。
2023-02-16 cs.CV
MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection
Xi’an Jiaotong University（西安交通大学）
本研究提出跨模态3D目标检测网络MLF-DET，通过特征级、决策级双层融合及遮挡感知数据增强策略，在KITTI汽车检测基准上取得82.89%的中等难度AP，实现了无额外技巧的SOTA性能。
2023-07-18 cs.CV
SparseVoxFormer: Sparse Voxel-based Transformer for Multi-modal 3D Object Detection
Samsung Electronics, AI Center（三星电子人工智能中心）；Samsung R&D Institute China Xi’an (SRCX)（三星中国西安研发中心）
本文提出SparseVoxFormer，利用稀疏体素特征替代BEV作为Transformer检测器输入，并通过体素坐标到图像的投影实现显式多模态融合，在降低计算成本的同时提升3D目标检测的整体与远距离性能。
2025-03-11 cs.CV
Co-Evidential Fusion with Information Volume for Medical Image Segmentation
Peking University（北京大学）；University of Macau（澳门大学）
本文针对半监督医学图像分割提出协同证据融合策略与质量函数信息量概念，以更精确度量体素级不确定性并优化证据学习，在四个数据集上取得竞争性性能。
2025-06-03 cs.CV
VR3Dense: Voxel Representation Learning for 3D Object Detection and Monocular Dense Depth Reconstruction
Ford Greenfield Labs（福特绿地实验室）
三维目标检测和密集深度估计是自动驾驶中最重要的任务之一。多传感器模态可以共同属性朝向更好的机器人感知，并为此，我们介绍了一种方法，用于联合训练三维目标检测和单目密集深度重建神经网络。它在推理过程中将LiDAR点云和单个RGB图像作为输入，并生成对象姿势预测以及密集重建的深度图。将LiDAR点云转换为一组体素，并使用3D卷积层提取其特征，从中回归物体姿态参数。相应的RGB图像特征提取使用另一个二维卷积神经网络。我们进一步使用这些组合特征来预测密集的深度图。虽然我们的目标检测是以监督的方式训练的，但深度预测网络是用自监督和监督损失函数训练的。我们还介绍了一个损失函数，边缘保持平滑损失，并表明，这导致更好的深度估计相比，边缘感知平滑损失函数，经常用于深度预测工作。
2021-09-14 cs.AI cs.CV cs.LG
GVSynergy-Det: Synergistic Gaussian-Voxel Representations for Multi-View 3D Object Detection
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（电子与电气工程系，香港理工大学）
GVSynergy-Det通过协同高斯-体素表示学习，在无需深度或密集3D监督的情况下实现多视角3D目标检测的高精度
2025-12-29 cs.CV
Uncertainty-aware Evidential Fusion-based Learning for Semi-supervised Medical Image Segmentation
Key Laboratory of High Confidence Software Technologies (Peking University)（高可信软件技术重点实验室（北京大学））；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）
针对半监督医学图像分割中单一不确定性评估可信度不足的问题，提出基于证据深度学习的融合方法与体素级渐近学习策略，在多个数据集上取得优于现有SOTA的性能。
2024-04-11 cs.AI cs.CV
VMNet: Voxel-Mesh Network for Geodesic-Aware 3D Semantic Segmentation
Hong Kong University of Science and Technology（香港科技大学）；Tencent Lightspeed & Quantum Studios（腾讯光子工作室群）；City University of Hong Kong（香港城市大学）
近年来，由于强大的3D CNN，基于稀疏体素的方法已经成为室内场景的3D语义分割的最新技术。然而，由于忽略了底层的几何形状，基于体素的方法在空间上接近的对象上具有模糊的特征，并且由于缺乏测地线信息而难以处理复杂和不规则的几何形状。鉴于此，我们提出了体素网格网络（VMNet），一种新型的3D深度架构，它利用欧几里得和测地线信息对体素和网格表示进行操作。直觉上，从体素中提取的欧几里得信息可以提供表示附近对象之间相互作用的上下文线索，而从网格中提取的测地线信息可以帮助分离空间上接近但具有断开表面的对象。为了将这些信息从这两个领域，我们设计了一个域内关注模块有效的功能聚合和域间关注模块的自适应功能融合。实验结果验证了VMNet的有效性：具体来说，在具有挑战性的ScanNet数据集上进行室内场景的大规模分割，它的性能优于最先进的SparseConvNet和MinkowskiNet（在mIoU中分别为74.6%和72.5%和73.6%），网络结构更简单（17M与30M和38M参数）。代码发布：https://github.com/hzykent/VMNet
2022-07-25 cs.CV
Understanding Temporal Semantic Stability in Open-Vocabulary UAV Perception through Metric 3D Fusion
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文针对开放词汇无人机感知中移动平台的预测时间不一致问题，提出体素级评估框架，结合度量3D融合研究时间语义稳定性，发现观测持久性是评估长程语义可靠性的关键条件变量。
2026-10-30 cs.CV cs.RO
Dense Fusion Classmate Network for Land Cover Classification
Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Group Limited（商汤科技有限公司）
近年来，基于模糊认知网络的方法在语义分割方面取得了很大的进展。与普通场景不同，卫星图像具有特定的特征，这些特征的元素总是延伸到很大的范围，没有规则或清晰的边界。因此，有效的中间层结构信息极度缺失，精确的像素级分类成为难题。本文提出了一种用于土地覆盖分类的密集融合分类网络（Dense Fusion Classmate Network，DFCNet）。
2019-11-19 cs.CV
AdaFuse-Det: Adaptive Cross-Modal Fusion of Event Cameras for Robust Object Detection in Low-Light RGB Imagery
SRM University AP, India（印度SRM大学AP分校）；Aptiv, Bengaluru, India（印度Aptiv公司，班加罗尔）；Arizona State University, USA（美国亚利桑那州立大学）；Sejong University, South Korea（韩国世宗大学）；Indian Institute of Information Technology Sri City, India（印度Sri City信息学院）
提出AdaFuse-Det双流框架，通过基于最小方差线性估计的自适应跨模态融合模块融合CLAHE增强RGB与事件数据，在低光照下实现鲁棒目标检测，在LLE-VOS基准上召回率65.54%、精确率53.85%、F1分数59.12%。
2026-05-23 cs.CV
Unifying Voxel-based Representation with Transformer for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）；SmartMore（思谋科技）
在这项工作中，我们提出了一个统一的框架，多模态三维目标检测，命名为UVTR。所提出的方法旨在统一体素空间中的多模态表示，以实现准确和鲁棒的单模态或跨模态3D检测。为此，首先设计模态特定空间以表示体素特征空间中的不同输入。与以前的工作不同，我们的方法保留了体素空间没有高度压缩，以减轻语义歧义，并使空间连接。为了充分利用来自不同传感器的输入，提出了跨模态交互，包括知识传递和模态融合。通过这种方式，很好地利用了点云中的几何感知表达式和图像中的上下文丰富特征，以获得更好的性能和鲁棒性。Transformer解码器用于从具有可学习位置的统一空间中有效地采样特征，这有助于对象级交互。总的来说，UVTR提出了在一个统一的框架中表示不同模态的早期尝试。它超越了以前的工作，在单一或多模态条目。所提出的方法在nuScenes测试集中实现了目标检测和后续目标跟踪任务的领先性能。代码可在https://github.com/dvlab-research/UVTR上公开获取。
2022-10-13 cs.CV
Sparse Dense Fusion for 3D Object Detection
Beihang University（北京航空航天大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
提出Sparse Dense Fusion (SDF)互补框架，通过Transformer架构结合稀疏与稠密融合模块，弥补信息损失，在nuScenes基准上mAP和NDS分别提升4.3%和2.5%。
2023-04-09 cs.CV
BiCo-Fusion: Bidirectional Complementary LiDAR-Camera Fusion for Semantic- and Spatial-Aware 3D Object Detection
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）人工智能方向）；School of Electrical and Electronic Engineering (EEE), Nanyang Technological University (NTU)（南洋理工大学电子与电气工程学院）
针对多模态3D目标检测中直接融合导致语义与空间感知能力被削弱的问题，提出双向互补融合框架BiCo-Fusion，通过预融合增强双模态特征后自适应融合，提升了检测性能。
2025-06-11 cs.AI cs.CV
HVNet: Hybrid Voxel Network for LiDAR Based 3D Object Detection
我们提出了混合体素网络（HVNet），一种新的一级统一网络的点云为基础的3D目标检测的自动驾驶。最近的研究表明，2D体素化与每体素PointNet风格的特征提取器，导致准确和有效的检测器的大型3D场景。由于特征图的大小决定了计算和内存成本，因此体素的大小成为难以平衡的参数。较小的体素大小提供了更好的性能，特别是对于小对象，但推理时间较长。较大的体素可以用较小的特征图覆盖相同的区域，但无法捕获较小物体的复杂特征和准确位置。我们提出了一种混合体素网络，解决了这个问题，融合体素特征编码器（VFE）的不同尺度在逐点水平和投影到多个伪图像特征映射。我们进一步提出了一个专注的体素特征编码，优于普通的VFE和特征融合金字塔网络聚合多尺度信息在特征图级别。在KITTI基准测试上的实验表明，单个HVNet在所有现有方法中实现了最好的mAP，实时的推理速度为31 Hz。
2020-03-16 cs.AI cs.CV cs.RO
3D Instance Segmentation via Multi-Task Metric Learning
KAUST（阿卜杜拉国王科技大学）；ETH Zurich（苏黎世联邦理工学院）
我们提出了一种新的方法，例如密集的三维体素网格的标签分割。我们的目标体积场景表示，已获得与深度传感器或多视图立体视觉的方法，并已处理与语义3D重建或场景完成的方法。主要任务是学习有关单个对象实例的形状信息，以便准确地将它们分离，包括连接和不完全扫描的对象。我们用多任务学习策略解决了3D实例标记问题。第一个目标是学习一个抽象的特征嵌入，它将具有相同实例标签的体素分组，同时将具有不同实例标签的聚类彼此分离。第二个目标是通过密集估计每个体素的实例质心的方向信息来学习实例信息。这对于在聚类后处理步骤中找到实例边界以及对第一个目标的分割质量进行评分特别有用。合成和真实世界的实验证明了我们的方法的可行性和优点。事实上，它在ScanNet 3D实例分割基准测试中达到了最先进的性能。
2019-11-01 cs.CV
Robust Semantic Segmentation By Dense Fusion Network On Blurred VHR Remote Sensing Images
Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；Beijing Futong Dongfang Technology Co, Ltd（北京富通东方科技有限公司）；Beijing University of Chemical Technology（北京化工大学）
无人机遥感影像的鲁棒语义分割对于地球观测、土地利用、土地覆盖或制图等应用具有重要意义。阴影、天气干扰和相机抖动等多种因素使得这个问题极具挑战性，特别是仅使用RGB图像。在本文中，我们提出了使用多模态数据，包括近红外，RGB和DSM的模糊或部分损坏的VHR遥感图像，以增加分割的鲁棒性。通过提出一个级联的密集编码器-解码器网络和基于SELayer的融合和组装技术，所提出的RobustDenseNet实现了稳定的性能，当图像质量下降，与最先进的语义分割模型相比。
2020-12-01 cs.CV
PCSCNet: Fast 3D Semantic Segmentation of LiDAR Point Cloud for Autonomous Car using Point Convolution and Sparse Convolution Network
Hanyang University（汉阳大学）；Chonnam University（全南大学）；Konkuk University（建国大学）
自动驾驶汽车必须快速识别驾驶环境以确保安全驾驶。随着激光雷达（Light Detection And Range，LiDAR）传感器在自动驾驶汽车中的广泛应用，对传感器帧速率范围内的点云进行逐点分类的快速语义分割在驾驶环境识别中引起了人们的关注。基于体素和融合的语义分割模型是目前点云语义分割的主流模型，但由于体素分辨率高，计算量大，影响了其实时性。本文提出了一种基于点卷积和三维稀疏卷积的快速体素语义分割模型（PCSCNet）。所提出的模型的设计优于在高和低体素分辨率使用点卷积为基础的特征提取。此外，该模型在特征提取后使用3D稀疏卷积加速特征传播。实验结果表明，该模型在语义分割方面优于SemanticKITTI和nuScenes的实时模型，在LiDAR点云推理方面达到了实时性要求。
2022-02-21 cs.CV
Frustum Fusion: Pseudo-LiDAR and LiDAR Fusion for 3D Detection
Koc University（科奇大学）
大多数自动驾驶汽车都配备了LiDAR传感器和立体摄像头。前者是非常准确的，但产生稀疏的数据，而后者是密集的，有丰富的纹理和颜色信息，但难以提取鲁棒的3D表示。在本文中，我们提出了一种新的数据融合算法相结合，从立体对密集，但不太准确的点云精确的点云。我们开发了一个框架，将该算法集成到各种三维目标检测方法。我们的框架从两个RGB图像的2D检测开始，计算平截头体及其相交，从立体图像创建伪LiDAR数据，并用密集的伪LiDAR点填充LiDAR数据缺乏的相交区域的部分。我们训练多个三维目标检测方法，并表明我们的融合策略不断提高检测器的性能。
2021-11-08 cs.CV
BEVDilation: LiDAR-Centric Multi-Modal Fusion for 3D Object Detection
BEVDilation提出以LiDAR为中心的多模态融合方法，通过稀疏体素扩张和语义引导BEV扩张模块提升3D目标检测性能，有效缓解深度误差带来的空间错位问题。
2025-12-02 cs.CV cs.RO
LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection
University of Michigan（密歇根大学）
本文提出LiRaFusion，通过设计早期和中间融合模块自适应融合LiDAR与radar特征，有效提升了3D目标检测性能并在nuScenes数据集上取得显著改善。
2024-02-18 cs.CV cs.RO
JL-DCF: Joint Learning and Densely-Cooperative Fusion Framework for RGB-D Salient Object Detection
Sichuan University（四川大学）；Nankai University（南开大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Wuhan University（武汉大学）
提出了一种新的联合学习和密集协作融合（JL-DCF）结构，用于RGB-D显著目标检测。现有的模型通常将RGB和深度视为独立的信息，并设计单独的网络用于从每个中提取特征提取。这种方案很容易受到有限的训练数据或过度依赖精心设计的训练过程的限制。相比之下，我们的JL-DCF通过Siamese网络从RGB和深度输入中学习。为此，我们提出了两个有效的组件：联合学习（JL）和密集合作融合（DCF）。JL模块提供了强大的显着性特征学习，而后者被引入用于互补特征发现。对四种常用的显著性检测方法进行了综合实验，结果表明，该框架具有较好的泛化能力，是一种鲁棒的RGB-D显著性检测方法。因此，JL-DCF在六个具有挑战性的数据集上将前1名的D3 Net模型平均提高了约1.9%（S-测量），这表明所提出的框架为现实世界的应用提供了一个潜在的解决方案，并可以为跨模态互补任务提供更多的见解。该代码将在https://github.com/kerenfu/JLDCF/上提供。
2020-04-18 cs.CV
HyperFusion-Net: Densely Reflective Fusion for Salient Object Detection
Dalian University of Technology（大连理工大学）；The University of Adelaide（阿德莱德大学）
显著目标检测（SOD）是一项重要而又具有挑战性的视觉任务，其目标是找到感兴趣的最重要区域并分割出该区域内的相关目标。这个问题的灵感来自于这样一个事实，即人类似乎感知具有高优先级的主要场景元素。因此，复杂场景中显著目标的准确检测对于人机交互至关重要。在本文中，我们提出了一种新的特征学习框架SOD，在其中我们投SOD作为一个像素的分类问题。该框架利用一个密集的分层特征融合网络，命名为HyperFusion-Net，自动预测最重要的区域，并以端到端的方式分割相关的对象。具体而言，受人类感知系统和图像反射分离的启发，我们首先通过内容保持变换将输入图像分解为反射图像对。然后，利用交织卷积神经网络（ICNN）联合提取反射图像对的互补信息，并采用超密集融合机制进行分层融合。基于融合的多尺度特征，我们的方法最终实现了一个有前途的方法来预测SOD。如我们广泛的实验所示，该方法在七个公共数据集上的性能始终优于其他最先进的方法，并且具有很大的优势。
2018-04-14 cs.CV
Towards Voxel Spacing Consistency for Medical Image Segmentation
Institute of Medical Robotics, Shanghai Jiao Tong University（上海交通大学医疗机器人研究院）；Department of Ultrasound, Shanghai Chest Hospital（上海市胸科医院超声科）；CAMPAR, Technical University of Munich（慕尼黑工业大学CAMPAR）
提出Consispace框架，通过ODE约束和语义特征重加权实现轴向体素间距一致，提升重采样质量与下游分割性能。
2026-07-01 cs.CV
VoxelEmbed: 3D Instance Segmentation and Tracking with Voxel Embedding based Deep Learning
Dartmouth College（达特茅斯学院）；Vanderbilt University（范德堡大学）
生物成像的最新进展为科学家提供了卓越的高时空分辨率，以观察活细胞的动态作为3D立体视频。不幸的是，3D生物医学视频分析是滞后的，阻碍了资源不敏感的人类策展使用现成的3D分析工具。在此，生物学家通常需要通过经由最大强度投影在2D分析上妥协来丢弃相当大量的丰富的3D空间信息。最近，基于像素嵌入的细胞实例分割和跟踪为理解细胞动力学提供了一个整洁和可推广的计算范例。在这项工作中，我们提出了一种新的时空体素嵌入（VoxelEmbed）为基础的学习方法，同时进行细胞实例分割和跟踪的三维体积视频序列。我们的贡献是在四个方面：（1）提出的体素嵌入推广了像素嵌入与三维上下文信息;（2）提出了一个简单的多流学习方法，允许有效的时空嵌入;（3）完成了一个端到端的框架，一个阶段的三维细胞实例分割和跟踪没有沉重的参数调整;（4）所提出的3D量化经由具有12 GB存储器的单个GPU是存储器高效的。我们在ISBI细胞跟踪挑战赛的四个3D数据集（具有不同的细胞类型）上评估了我们的VoxelEmbed方法。所提出的VoxelEmbed方法在两个密集注释的数据集上实现了一致的优越的整体性能（OP）。在两个稀疏注释的队列中，性能也具有竞争力，其中20.6%和2%的数据集具有分割注释。结果表明，体素嵌入方法是一个通用的和内存有效的解决方案。
2021-06-22 cs.CV eess.IV
RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation
Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）
点云可以以许多形式（视图）表示，通常是基于点的集合、基于体素的单元或基于范围的图像（即，全景）。基于点的视图在几何上是精确的，但它是无序的，这使得很难有效地找到局部邻居。基于体素的视图是规则的，但是稀疏的，并且当体素分辨率增加时，计算以立方方式增长。基于范围的视图是规则的并且通常是密集的，然而球面投影使物理维度失真。基于体素和基于范围的视图都遭受量化损失，特别是对于面对大规模场景的体素。为了在细粒度分割任务中充分利用不同视点的优势，同时弥补各自的不足，提出了一种新的距离-点-体素融合网络RPVNet。在该网络中，我们设计了一个深度融合框架，这三个视图之间的多个和互信息交互，并提出了一个门控融合模块（称为GFM），它可以自适应地合并三个功能的基础上并发输入。此外，建议RPV相互作用机制是高效的，我们总结成一个更一般的配方。通过利用这种有效的相互作用和相对较低的体素分辨率，我们的方法也被证明是更有效的。最后，我们在两个大规模数据集上评估了所提出的模型，即，SemanticKITTI和nuScenes，它在这两个方面都展示了最先进的性能。请注意，我们的方法目前在SemanticKITTI排行榜上排名第一，没有任何额外的技巧。
2021-03-24 cs.CV
ConQueR: Query Contrast Voxel-DETR for 3D Object Detection
The Chinese University of Hong Kong（香港中文大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
尽管基于DETR的3D检测器可以简化检测管道并实现直接稀疏预测，但其性能仍然落后于具有用于从点云进行3D目标检测的后处理的密集检测器。DETR通常采用比GT更多的查询（例如，300个查询与Waymo中的40个对象），这在推理过程中不可避免地会产生许多误报。在本文中，我们提出了一种简单而有效的稀疏3D检测器，名为查询对比度体素-DETR（ConQueR），以消除具有挑战性的误报，并实现更准确和更稀疏的预测。我们观察到，大多数误报是高度重叠的局部区域，由于缺乏明确的监督，以区分本地类似的查询。因此，我们提出了一个查询对比机制，显式地增强查询对他们最匹配的GT在所有不匹配的查询预测。这是通过为每个GT构建正GT查询对和负GT查询对，以及基于特征相似性增强正GT查询对与负GT查询对的对比损失来实现的。ConQueR缩小了稀疏和密集3D检测器的差距，并减少了高达60%的误报。我们的单帧ConQueR在具有挑战性的Waymo开放数据集验证集上实现了新的最先进的（sota）71.6 mAPH/L2，优于之前的sota方法（例如，PV-RCNN++）超过2.0 mAPH/L2。
2022-12-14 cs.CV cs.RO
PV-SSD: A Multi-Modal Point Cloud Feature Fusion Method for Projection Features and Variable Receptive Field Voxel Features
针对点云3D检测中规则化表示易致信息损失的问题，提出PV-SSD多模态融合方法，通过双分支提取投影与可变感受野体素特征并融合，在KITTI和ONCE数据集上验证了有效性。
2024-04-13 cs.CV
Learning and Segmenting Dense Voxel Embeddings for 3D Neuron Reconstruction
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）；Zetta AI LLC（Zetta AI有限责任公司）
我们表明，通过深度度量学习学习的密集体素嵌入可以用于从3D电子显微镜图像中产生高度准确的神经元分割。在体素之间的一组边缘上的“度量图”由卷积网络生成的密集体素嵌入构造。分割的度量图与长程边缘排斥约束产生一个初始分割精度高，非常薄的对象具有很大的精度增益。卷积嵌入网络在没有任何修改的情况下被重用，以聚集由复杂的“自接触”图案引起的系统分裂。我们所提出的方法实现了最先进的精度上的挑战性问题的三维神经元重建从连续切片电子显微镜获得的脑图像。我们的替代方案，以对象为中心的表示可以更普遍地用于自动神经回路重建中的其他计算任务。
2021-08-05 cs.CV
Vox-Fusion++: Voxel-based Neural Implicit Dense Tracking and Mapping with Multi-maps
Zhejiang University（浙江大学）；CARDC（中国空气动力研究与发展中心）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出Vox-Fusion++，一种基于体素神经隐式表示和多地图策略的稠密跟踪与建图系统，通过八叉树划分、多进程框架及回环检测优化，在重建质量和精度上超越现有方法，并支持增强现实与协同建图。
2024-03-19 cs.CV
Self-Supervised Scene Flow Estimation with Point-Voxel Fusion and Surface Representation
Harbin Engineering University（哈尔滨工程大学）；Guangdong University of Petrochemical Technology（广东石油化工学院）
提出点-体素融合与表面特征提取的自监督场景流估计方法，在FlyingThings3D和KITTI上优于现有自监督方法，EPE分别降低8.51%和10.52%。
2025-01-18 cs.CV
Streaming Dense Voxel Representations for 3D Occupancy Prediction
1 Korea University 2 TU Darmstadt \& hessian.AI 3 University of Michigan 4 DGIST 5 NAVER LABS
提出StreamOcc框架，通过两种聚合策略解决密集体素流式处理中的扭曲和动态对象退化问题，在实时约束下实现SOTA性能。
2026-06-23 cs.CV
Dense Multiscale Feature Fusion Pyramid Networks for Object Detection in UAV-Captured Images
North University of China（中北大学）
尽管基于深度学习的目标检测研究取得了很大进展，但对于小尺寸目标的检测仍然是一个具有挑战性的课题，这在无人机拍摄的图像中尤为突出。针对这些问题，迫切需要探索能够提取更充分的小目标特征信息的特征提取方法。本文提出了一种新的方法--密集多尺度特征融合金字塔网络（DMFFPN），其目的是获取尽可能丰富的特征，提高信息的传播和重用。具体来说，密集连接被设计为充分利用来自不同卷积层的表示。此外，级联结构应用于第二阶段，以提高定位能力。在基于无人机的数据集VisDrone-DET上的实验表明，我们的方法具有竞争力的性能。
2020-12-19 cs.CV cs.LG eess.IV
Dense RGB-D semantic mapping with Pixel-Voxel neural network
University of Birmingham（伯明翰大学）；Toshiba Research Europe（东芝欧洲研究院）
对于智能机器人应用，将3D映射扩展到3D语义映射使机器人不仅能够相对于场景的几何特征定位自己，而且还能够同时理解场景上下文的更高层次的含义。尽管联合估计可以提高语义映射的准确性，但大多数先前的方法独立地关注几何3D重建和场景理解。本文提出了一种基于像素-体素网络的密集RGB-D语义映射系统，该系统能够在进行密集3D映射的同时，对3D地图中的每个点进行识别和语义标注。提出的Pixel-Voxel网络通过使用PixelNet利用RGB图像获得全局上下文信息，同时通过使用VoxelNet利用相应的3D点云来保留精确的局部形状信息。与现有的架构，融合得分地图从不同的模型具有相同的权重，我们提出了一个Softmax加权融合堆栈，自适应地学习PixelNet和VoxelNet的不同贡献，并融合得分地图的两个模型根据各自的置信水平。提出的像素-体素网络在SUN RGB-D基准数据集上实现了最先进的语义分割性能。建议系统的运行时间可以提升到11- 12 Hz，使用配备Titan X GPU的i7 8核PC实现接近实时的性能。
2017-10-04 cs.CV
OPUS-V2: Bridging the Gap between Sparse Points and Dense Voxels
Nankai University（南开大学）；Momenta（Momenta（魔门塔））；KargoBot（智加科技）
针对基于点的占据预测与自动驾驶所需稠密体素占据的不匹配问题，提出OPUS-V2框架，通过点-体素变换模块和特征-占据解耦设计，在两个数据集上实现了先进性能并保持实时运行。
2026-09-01 cs.CV
LESV: Language Embedded Sparse Voxel Fusion for Open-Vocabulary 3D Scene Understanding
Huawei Noah's Ark Lab（华为诺亚方舟实验室）；CAOR, Mines Paris-PSL, France（法国巴黎高科矿业学院CAOR实验室）
本文提出LESV框架，通过稀疏体素 rasterization 解决3D场景理解中空间和语义模糊问题，利用AM-RADIO实现密集对齐，提升细粒度查询性能。
2026-07-10 cs.CV
Vox-Fusion: Dense Tracking and Mapping with Voxel-based Neural Implicit Representation
Zhejiang University（浙江大学）；University of Bristol（布里斯托大学）；SenseTime（商汤科技）
在这项工作中，我们提出了一个密集的跟踪和映射系统Vox-Fusion，它无缝地融合了神经隐式表示与传统的体积融合方法。我们的方法受到最近开发的隐式映射和定位系统的启发，并进一步扩展了这一想法，使其可以自由地应用于实际场景。具体来说，我们利用基于体素的神经隐式表面表示来编码和优化每个体素内的场景。此外，我们采用基于八叉树的结构来划分场景并支持动态扩展，使我们的系统能够跟踪和映射任意场景，而无需像以前的作品那样知道环境。此外，我们提出了一个高性能的多进程框架，以加快该方法，从而支持一些应用程序，需要实时性能。评估结果表明，我们的方法可以实现更好的准确性和完整性比以前的方法。我们还表明，我们的Vox-Fusion可以用于增强现实和虚拟现实应用。我们的源代码可在https://github.com/zju3dv/Vox-Fusion上公开获取。
2023-03-06 cs.CV cs.GR cs.RO
Voxel-Aggregated Feature Synthesis: Efficient Dense Mapping for Simulated 3D Reasoning
University of Central Florida（中佛罗里达大学）
针对开放集多模型稠密3D建图计算冗余问题，本文提出VAFS，利用仿真器物理引擎的分割点云并合成区域视图，将嵌入特征从RGBD帧数降至物体数，实现快一个数量级的真值语义图构建，并在IoU与速度上优于现有方法。
2025-01-09 cs.CV
Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
Shanghai Jiao Tong University（上海交通大学）
针对稀疏视图 NeRF 中深度图噪声与重建耗时问题，提出深度引导的点云融合及向量-矩阵分解体素网格方法，提升准确性、紧凑性和速度。
2024-03-04 cs.CV
MR-Occ: Efficient Camera-LiDAR 3D Semantic Occupancy Prediction Using Hierarchical Multi-Resolution Voxel Representation
Hanyang University（汉阳大学）；RideFlux Inc.（RideFlux公司）；Seoul National University（首尔大学）
MR-Occ通过分层体素特征细化、多尺度占用解码器和像素到体素融合网络，实现高效且准确的相机-激光雷达三维语义占用预测，并在多个基准上取得领先性能。
2024-12-29 cs.CV
Learning Bottleneck Transformer for Event Image-Voxel Feature Fusion based Classification
Anhui University（安徽大学）
针对基于事件的相机目标识别中模态单一、网络结构限制性能的问题，提出融合事件图像与体素的双流瓶颈Transformer框架，在两个常用数据集上取得最优性能。
2023-08-23 cs.AI cs.CV
SparseVoxelDet: Fully Sparse Voxel Networks for Efficient Event-Based Drone Detection
University of Oklahoma（俄克拉荷马大学）
本文提出SparseVoxelDet，首个基于事件相机的完全稀疏目标检测器，通过稀疏体素卷积在占用体素上进行特征提取和检测，显著降低内存和存储开销，验证了稀疏处理在事件相机目标检测中的可行性。
2026-08-10 cs.CV
VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion
University of California, Santa Barbara（加州大学圣巴巴拉分校）
最近的体积3D重建方法可以产生非常准确的结果，甚至对于未观察到的表面也具有合理的几何形状。然而，当涉及到多视图融合时，它们面临着不期望的权衡。它们可以通过全局平均来融合所有可用的视图信息，从而丢失精细的细节，或者它们可以对局部融合的视图进行聚类，从而限制它们联合考虑所有视图的能力。我们的关键见解是，可以保留更多的细节，而不限制视图的多样性，通过学习相机姿势和图像内容的条件下的视图融合功能。我们建议使用Transformer来学习这种多视图融合。为此，我们引入了VoRTX，这是一种端到端的体积3D重建网络，使用Transformers进行宽基线，多视图特征融合。我们的模型是闭塞意识，利用Transformer架构来预测一个初始的，投影场景的几何估计。该估计用于避免通过表面将图像特征反向投影到被遮挡区域中。我们在ScanNet上对我们的模型进行了训练，并表明它比最先进的方法产生了更好的重建。我们还展示了泛化，没有任何微调，优于其他两个数据集，TUM-RGBD和ICL-NUIM相同的最先进的方法。
2021-12-01 cs.CV cs.LG
VIAFormer: Voxel-Image Alignment Transformer for High-Fidelity Voxel Refinement
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
VIAFormer通过体素-图像对齐变换器实现高保真体素细化，结合图像索引、校正流目标和混合流变换器，提升多视角条件下体素修复的精度与鲁棒性。
2026-01-21 cs.CV
