JPerceiver: Joint Perception Network for Depth, Pose and Layout Estimation in Driving Scenes
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
深度估计、视觉里程计（VO）和鸟瞰（BEV）场景布局估计为驾驶场景感知提出了三个关键任务，这是自动驾驶中运动规划和导航的基础。虽然它们是相辅相成的，但以前的作品通常专注于每个单独的任务，很少同时处理所有三个任务。一种简单的方法是以顺序或并行的方式独立地完成它们，但是存在许多缺点，即，1)深度和VO结果受到固有的比例模糊问题的影响; 2）BEV布局直接从正视图像预测，而不使用任何深度相关信息，尽管深度图包含用于推断场景布局的有用几何线索。在本文中，我们解决这些问题，提出了一种新的联合感知框架命名为JPerceiver，它可以同时估计尺度感知的深度和VO以及BEV布局从单目视频序列。它利用交叉视图几何变换（CGT）传播的绝对比例从道路布局的深度和VO的基础上精心设计的规模损失。同时，设计了一个跨视图和跨模态转换（CCT）模块，通过注意力机制利用深度线索推理道路和车辆布局。JPerceiver可以以端到端的多任务学习方式进行训练，其中CGT尺度损失和CCT模块促进任务间的知识转移，以利于每个任务的特征学习。在Argoverse，Nuscenes和KITTI上的实验表明，JPerceiver在准确性，模型大小和推理速度方面优于现有的方法。代码和型号可在~ \href{https://github.com/sunnyHelen/JPerceiver}{https://github.com/s…
2022-07-16 cs.CV
Document Layout Analysis via Dynamic Residual Feature Fusion
East China Normal University（华东师范大学）；Videt Tech Ltd.（维迪特科技有限公司）
文档版面分析（DLA）的目的是将文档图像分割成不同的感兴趣区域，并了解每个区域的作用，在光学字符识别（OCR）系统和文档检索等领域有着广泛的应用。然而，由于训练数据非常有限，并且缺乏有效的模型，因此构建DLA系统是一个挑战。在本文中，我们提出了一个端到端的联合网络命名为动态残差融合网络（DRFN）的DLA任务。具体而言，我们设计了一个动态的残差特征融合模块，可以充分利用低维信息，保持高维类别信息。此外，为了解决由于数据不足而导致的模型过拟合问题，提出了在有限的训练数据下进行有效微调的动态选择机制。我们用两个具有挑战性的数据集进行了实验，并证明了所提出的模块的有效性。
2021-04-07 cs.CV
MV-SAM3D: Adaptive Multi-View Fusion for Layout-Aware 3D Generation
Peking University（北京大学）；JD Explore Academy（京东探索研究院）
MV-SAM3D通过多视图一致性与物理合理性提升3D生成质量，无需额外训练，实现更可信的布局生成。
2026-04-09 cs.CV
360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
针对全景布局估计中压缩序列导致语义混淆及数据标注成本高的问题，提出正交平面解耦网络DOPNet与无监督自适应技术，通过1D代价卷和优化策略利用多视图几何一致性，在单目和多视图任务上超越SoTA模型。
2024-08-29 cs.CV
Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds
Queen’s University（女王大学）
协作感知允许联网自主车辆（CAV）与附近的其他CAV交互，以增强对周围物体的感知，从而提高安全性和可靠性。它可以弥补传统车辆感知的局限性，如盲点，低分辨率和天气影响。一个有效的特征融合模型可以改善特征选择和信息聚合，进一步提高协同感知的中间融合方法的感知精度。我们提出了自适应特征融合模型与可训练的特征选择模块。我们提出的模型之一空间自适应特征融合（S-AdaFusion）在OPV 2V数据集的两个子集上的性能优于所有其他最先进的（SOTA）：用于车辆检测的默认CARLA Towns和用于领域自适应的Culver City。此外，以前的研究只测试了车辆检测的合作感知。然而，行人更有可能在交通事故中受重伤。我们使用CODD数据集评估车辆和行人检测的合作感知性能。我们的架构在CODD数据集上实现了比其他现有模型更高的车辆和行人检测平均精度（AP）。实验结果表明，与传统的单车辆感知过程相比，协同感知也提高了行人检测的准确性。
2023-01-12 cs.CV
MapPrior: Bird's-Eye View Map Layout Estimation with Generative Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT（麻省理工学院）
针对现有鸟瞰图感知模型生成地图布局真实性不足、无法应对传感器信息不确定性的问题，提出结合判别式模型与生成模型的MapPrior框架，在nuScenes基准上的表现优于现有最优方法，相关评估得分显著提升。
2023-08-24 cs.CV cs.RO
2D LiDAR and Camera Fusion Using Motion Cues for Indoor Layout Estimation
University of Notre Dame（圣母大学）
本文提出了一种新的室内布局估计系统的基础上融合的二维激光雷达和强度相机数据。地面机器人探索具有单层地板和垂直墙壁的室内空间，并收集一系列强度图像和2D LiDAR数据集。LiDAR提供准确的深度信息，而相机捕获高分辨率数据用于语义解释。通过将LiDAR点作为房间轮廓的样本与图像中的地墙边界对齐来联合计算传感器输出的对齐和图像分割。将对准问题解耦为自顶向下的视图投影和二维相似变换估计，根据两个传感器的垂直消失点和运动来求解。递归随机样本共识算法的实现，以产生，评估和优化多个假设的顺序测量。该系统允许联合分析来自不同传感器的几何解释，而无需离线校准。在LiDAR观测的辅助下，消除了地物边界提取图像中的模糊性，提高了语义分割的准确性。使用融合数据细化定位和映射，这使得系统能够在具有低纹理或低几何特征的场景中可靠地工作。
2022-04-24 cs.CV
LLM-Guided Probabilistic Fusion for Label-Efficient Document Layout Analysis
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）；Department of Civil, Construction & Environmental Engineering, Iowa State University（土木、建设与环境工程系，爱荷华州立大学）
针对文档布局理解数据密集问题，提出LLM引导的概率融合框架，融合视觉预测与LLM结构先验生成伪标签，在轻量级和预训练模型上均提升性能，仅用5%标签即取得优异结果，还支持隐私保护部署。
2025-11-13 cs.CV
FusionCell: Cross-Attentive Fusion of Layout Geometry and Netlist Topology for Standard-Cell Performance Prediction
School of Integrated Circuits, Peking University, Beijing, China（集成电路学院，北京大学，北京，中国）
本文提出FusionCell，通过跨注意力机制融合布局几何和网络列表拓扑，以提高标准单元性能预测的准确性，解决了传统方法忽略布局几何导致的耦合和布局依赖效应的问题。
2026-05-19 cs.AI cs.CV cs.LG
Collective PV-RCNN: A Novel Fusion Technique using Collective Detections for Enhanced Local LiDAR-Based Perception
University of Tübingen（蒂宾根大学）
针对自动驾驶感知受限问题，提出CPV-RCNN，在局部LiDAR检测流程中融合集体检测，扩展PV-RCNN++框架，提升感知能力。
2023-09-11 cs.CV
Infrared and Visible Image Fusion with Hierarchical Human Perception
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Key Laboratory of Image Cognition, Chongqing University of Posts and Telecommunications（重庆邮电大学图像认知重点实验室）
针对现有图像融合方法缺乏人类感知增强的问题，提出HPFusion方法，利用大视觉语言模型引入分层人类语义先验，在信息保留和视觉增强上实现高质量融合。
2024-09-14 cs.CV
Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
University of California Los Angeles（加州大学洛杉矶分校）；Shanghai AI Lab（上海人工智能实验室）；Beijing Institute of Technology（北京理工大学）；East China Normal University（华东师范大学）
本文综述了自动驾驶感知中多模态传感器融合方法，提出了基于融合阶段的新分类法，并分析了现有方法的剩余问题与未来研究方向。
2024-12-16 cs.CV
Street-View Image Generation from a Bird's-Eye View Layout
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出条件生成模型BEVGen，通过结合空间注意力设计的跨视图变换，合成与鸟瞰图交通布局相匹配的逼真且空间一致的环视街景图像，助力自动驾驶仿真与感知模型开发。
2024-02-13 cs.CV
Non-linear and Selective Fusion of Cross-Modal Images
Northwestern Polytechnical University（西北工业大学）
人类视觉感知系统在图像融合中具有很强的鲁棒性。这种鲁棒性是基于人类视觉感知系统的特征选择特性和不同特征的非线性融合。为了在图像融合任务中模拟人类的视觉感知机制，提出了一种结合光照因子和注意力机制的多源图像融合框架。该框架有效地结合了传统图像特征和现代深度学习特征。首先，我们对多源图像进行多尺度分解。然后，将视觉显著图和深度特征图与照度融合因子相结合，进行高低频非线性融合。其次，通过通道注意力网络选择高低频融合特征，得到最终融合图。通过在图像融合中模拟人类视觉感知系统的非线性特性和选择特性，使融合后的图像更符合人类视觉感知机制。最后，我们验证了我们的融合框架上的红外和可见光图像，医学图像和多聚焦图像的公共数据集。实验结果表明，我们的融合框架在视觉质量，客观的融合指标和鲁棒性方面优于最先进的。
2020-06-21 cs.CV
CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion
针对协同感知中单一传感器数据共享的局限，提出CoBEVFusion框架，融合激光雷达与相机数据生成BEV表示，利用DWCA模块和3D CNN聚合多车特征，在OPV2V数据集上优于单模态及最先进BEV融合模型。
2023-10-09 cs.CV
MR3D-Net: Dynamic Multi-Resolution 3D Sparse Voxel Grid Fusion for LiDAR-Based Collective Perception
University of Tübingen（蒂宾根大学）
针对协同感知中早期融合带宽需求大、晚期融合性能差的问题，提出动态多分辨率3D稀疏体素网格融合架构MR3D-Net，在OPV2V基准上实现SOTA性能，带宽较早期融合最多降94%。
2024-08-12 cs.CV
DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出DocLayout-YOLO，通过DocSynth-300K数据集预训练和Global-to-Local可控感受模块优化，在保持速度的同时提升文档布局分析的准确性，并在新基准DocStructBench上验证了其卓越性能。
2024-10-16 cs.CV
RayFusion: Ray Fusion Enhanced Collaborative Visual Perception
Zhejiang University（浙江大学）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）
针对相机协同感知缺乏深度信息导致预测不准的问题，提出基于射线占用融合的RayFusion方法，减少冗余与误检，显著提升3D检测性能。
2025-10-09 cs.CV
HydraFusion: Context-Aware Selective Sensor Fusion for Robust and Efficient Autonomous Vehicle Perception
University of California, Irvine（加州大学尔湾分校）
尽管自动驾驶汽车（AV）有望彻底改变交通运输，但在广泛的驾驶环境中实现强大的感知仍然是一个重大挑战。已经提出了融合来自相机、雷达和激光雷达传感器的传感器数据的技术来改善AV感知。然而，现有的方法在困难的驾驶环境（例如，恶劣天气、低光、传感器障碍）。这些方法分为两大类：（i）早期融合，当传感器数据有噪声或模糊时会失败，以及（ii）后期融合，无法利用来自多个传感器的特征，从而产生更差的估计。为了解决这些限制，我们提出了HydraFusion：一个选择性传感器融合框架，它可以学习识别当前的驾驶环境，并融合传感器的最佳组合，以最大限度地提高鲁棒性，而不影响效率。HydraFusion是第一种提出在早期融合、晚期融合以及两者之间的组合之间进行动态调整的方法，从而改变融合的应用方式和时间。我们发现，平均而言，HydraFusion比早期和晚期融合方法分别高出13.66%和14.54%，而不会增加行业标准Nvidia Drive PX2 AV硬件平台上的计算复杂性或能耗。我们还提出并评估了静态和基于深度学习的上下文识别策略。我们的开源代码和模型实现可在https://github.com/AICPS/hydrafusion上获得。
2022-01-17 cs.CV
Is Discretization Fusion All You Need for Collaborative Perception?
National University of Defense Technology（国防科技大学）；Sony Research and Development Center China（索尼中国研发中心）
针对现有协同感知方法依赖离散特征图融合存在灵活性不足、难聚焦高信息特征的问题，提出锚点中心范式ACCO，通过三大组件实现高效通信与融合，实验验证其在减少通信量、提升感知范围和检测性能上的优势。
2025-03-18 cs.CV
V2XPnP: Vehicle-to-Everything Spatio-Temporal Fusion for Multi-Agent Perception and Prediction
University of California, Los Angeles（加州大学洛杉矶分校）
针对V2X单帧感知忽略时间信息的问题，提出V2XPnP中间融合框架，利用Transformer统一建模时空关系，并引入支持全协作模式的序列数据集，在感知与预测任务上超越现有方法。
2025-08-05 cs.CV
HEAD: A Bandwidth-Efficient Cooperative Perception Approach for Heterogeneous Connected and Autonomous Vehicles
University of North Texas（北得克萨斯大学）；Toyota InfoTech Labs（丰田信息技术实验室）
提出HEAD方法，通过融合3D目标检测网络中分类与回归头特征，实现异构传感器车辆间低带宽、高精度的协同感知。
2024-08-27 cs.CV
LANS: A Layout-Aware Neural Solver for Plane Geometry Problem
MAIS Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所MAIS研究所）
本文提出布局感知神经求解器LANS，通过MLA-PLM和LA-FA两个模块增强几何图形布局建模与跨模态融合，在Geometry3K和PGPS9K上取得优于现有求解器的性能。
2024-02-20 cs.AI cs.CV
Exploring Recurrent Long-term Temporal Fusion for Multi-view 3D Perception
Megvii Technology（旷视科技）；Huazhong University of Science and Technology（华中科技大学）；Waseda University（早稻田大学）；Tsinghua University（清华大学）
本文提出VideoBEV，一种基于LSS的简单长期循环时序融合方法，通过时序嵌入模块增强对丢帧的鲁棒性，在nuScenes上显著提升多视角3D检测、分割、跟踪和运动预测性能。
2024-04-09 cs.CV
RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
针对雷达与相机模态差异导致的融合难题，提出RCBEVDet及增强版RCBEVDet++，通过RadarBEVNet与CAMF稀疏融合实现多任务高性能3D感知。
2024-09-08 cs.CV
CoRA: A Collaborative Robust Architecture with Hybrid Fusion for Efficient Perception
CoRA通过混合融合方法实现高效且鲁棒的协作感知，显著提升性能并降低通信开销。
2025-12-15 cs.CV
Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System
AGH University of Kraków（克拉科夫AGH科技大学）；Aptiv Services（安波福服务公司）
本文提出一种基于跨域空间匹配（CDSM）的相机与雷达融合方法，通过将2D图像特征转换至3D空间并与雷达数据互补融合，在NuScenes数据集上实现了优于单传感器且媲美顶级融合方法的3D目标检测性能。
2024-04-25 cs.CV
CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes
ETH Zurich（苏黎世联邦理工学院）；INSAIT；Sofia University St. Kliment Ohridski（圣克莱门特奥赫里德斯基索非亚大学）
提出条件感知多模态融合方法CAFuser，通过RGB相机生成条件令牌指导多传感器融合，并引入模态特定适配器对齐特征，在MUSES和DeLiVER基准上达到最优性能。
2025-01-27 cs.CV
PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出感知感知红外-可见光图像融合框架PAIF，通过分解式架构搜索和自适应学习策略提升对抗攻击下的语义分割鲁棒性，在对抗场景中mIOU提升15.3%。
2023-08-08 cs.CV
Explicit Attention-Enhanced Fusion for RGB-Thermal Perception Tasks
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）
最近，基于RGB-热的感知已经显示出显著的进步。当视觉摄像机受到弱光和雾等不良照明条件的影响时，热信息提供了有用的线索。然而，如何有效地融合RGB图像和热数据仍然是一个开放的挑战。以前的工作涉及朴素的融合策略，例如在输入处合并它们，在模型内部连接多模态特征，或将注意力应用于每个数据模态。这些融合策略简单明了，但还不够。在本文中，我们提出了一种新的融合方法命名为显式注意增强融合（EAEF），充分利用每种类型的数据。具体来说，我们考虑以下情况：i）RGB数据和热数据，ii）只有一种类型的数据，以及iii）它们都不生成区分特征。EAEF使用一个分支来增强i）和iii）的特征提取，并且使用另一个分支来补救ii）的不充分表示。两个分支的输出被融合以形成互补特征。结果表明，该融合方法在语义分割的mIoU、显著目标检测的MAE、目标检测的mAP和人群计数的MAE中分别比现有技术提高了1.6%、3.1%、2.3%和8.1%.该代码可在https://github.com/FreeformRobotics/EAEFNet上获得。
2023-03-28 cs.CV
Local Region Perception and Relationship Learning Combined with Feature Fusion for Facial Action Unit Detection
University of Science and Technology of China（中国科学技术大学）
人类情感行为分析在人机交互系统中起着至关重要的作用。在本文中，我们介绍了我们提交的CVPR 2023年情感行为分析比赛（ABAW）。我们提出了一个单阶段训练的AU检测框架。具体来说，为了有效地提取与AU检测相关的面部局部区域特征，我们使用局部区域感知模块来有效地提取不同AU的特征。同时，我们使用一个基于图神经网络的关系学习模块来捕捉AU之间的关系。此外，考虑到目标人脸的整体特征对AU检测的作用，我们还利用特征融合模块对骨干网络提取的特征信息和关系学习模块提取的AU特征信息进行融合。我们还采用了一些抽样方法、数据增强技术和后处理策略来进一步提高模型的性能。
2023-03-19 cs.CV
Fisheye Camera and Ultrasonic Sensor Fusion For Near-Field Obstacle Perception in Bird's-Eye-View
University of Limerick（利默里克大学）；Valeo India（法雷奥印度公司）；Valeo Driving Assistance Research（法雷奥驾驶辅助研究中心）；Valeo Vision Systems（法雷奥视觉系统公司）；Indian Statistical Institute（印度统计研究所）
针对鱼眼相机在低光等场景下近场障碍物感知性能下降的问题，提出融合鱼眼相机与超声波传感器的BEV端到端模型，通过单模态编码、特征转换、内容感知空洞卷积及两阶段解码实现精准感知，验证了方法的有效性。
2024-02-01 cs.CV
AWM-Fuse: Multi-Modality Image Fusion for Adverse Weather via Global and Local Text Perception
Guangdong-HongKong-Macao Joint Laboratory for Intelligent MicroNano Optoelectronic Technology（粤港澳联合智能微纳光电子技术联合实验室）；Foshan University（佛山大学）；School of Mechanical Electronic and Information Engineering（机械电子信息工程学院）；China University of Mining and Technology（中国矿业大学）；School of Information Engineering and Automation（信息工程与自动化学院）
AWM-Fuse提出一种利用全局BLIP字幕与局部ChatGPT场景描述进行文本感知的恶劣天气多模态图像融合方法，通过共享权重架构和文本约束提升融合质量，并在复杂天气及下游任务中取得最优性能。
2025-08-23 cs.CV
Keypoints-Based Deep Feature Fusion for Cooperative Vehicle Detection of Autonomous Driving
Institute of Cartography and Geo-informatics, Leibniz University Hannover, Germany（汉诺威莱布尼茨大学制图与地理信息研究所）
为了减少车辆间的遮挡，提高自主驾驶的感知准确性和安全性，研究了车辆间共享集体感知信息（CPM）的方法。然而，高度准确的数据共享和低通信开销对于集体感知来说是一个巨大的挑战，特别是当互联和自动化车辆之间需要实时通信时。在本文中，我们提出了一种基于3D对象检测器PV-RCNN的高效且有效的基于关键点的深度特征融合框架，称为Fusion PV-RCNN（简称FPV-RCNN），用于集体感知。我们引入了一个高性能的限界框建议匹配模块和关键点选择策略，以压缩CPM的大小，解决多车辆数据融合问题。此外，我们还提出了一个有效的定位误差校正模块的最大一致性原则的基础上，以增加数据融合的鲁棒性。与鸟瞰图（BEV）关键点特征融合相比，FPV-RCNN在专用于集体感知的合成数据集COMAP上的高评估标准（IoU 0.7）下实现了约9%的检测精度提高。此外，其性能与两个原始数据融合基线相当，在共享中没有数据丢失。此外，我们的方法还将CPM大小显着降低到小于0.3 KB，因此比以前工作中使用的BEV特征图共享小约50倍。即使进一步减少CPM特征通道，即，从128到32，检测性能没有表现出明显的下降。我们的方法的代码可在https://github.com/YuanYunshuang/FPV_RCNN上获得。
2022-02-15 cs.CV
Perception Reinforcement Using Auxiliary Learning Feature Fusion: A Modified Yolov8 for Head Detection
Shenzhen University（深圳大学）；The Chinese University of Hong Kong（香港中文大学）
提出改进的Yolov8，利用ALFF模块和噪声校准的分布焦点损失增强目标感知，在Yolov8n和Yolov8m上提升头部检测精度与鲁棒性。
2023-10-14 cs.CV
Cross-Modal Image Fusion Theory Guided by Subjective Visual Attention
Northwestern Polytechnical University（西北工业大学）
人类视觉感知系统在各种图像处理任务中具有很强的鲁棒性和上下文感知能力。这种鲁棒性和上下文感知的感知能力与人类视觉感知系统的多任务辅助学习和主观注意的特性密切相关。为了提高图像融合任务的鲁棒性和上下文感知能力，提出了一种主观注意引导的多任务辅助学习图像融合理论。图像融合理论将人脑的主观任务意图和先验知识有效地统一起来。为了实现我们提出的图像融合理论，我们首先分析了多任务辅助学习的机理，构建了一个多任务辅助学习网络。其次，基于人类视觉注意感知机制，在多任务辅助学习网络的基础上，引入了主观任务引导的人类视觉注意网络。通过主观注意任务模型引入主观意图，使网络能够根据主观意图进行图像融合。最后，为了验证本文所提出的图像融合理论的优越性，在组合视觉系统图像数据集上进行了实验，并对红外和可见光图像数据集进行了实验验证。实验结果表明，我们的融合理论在上下文感知和鲁棒性方面优于最新技术。
2019-12-23 cs.CV
CoST: Efficient Collaborative Perception From Unified Spatiotemporal Perspective
Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；University of California, Los Angeles（美国加州大学洛杉矶分校）
针对现有协同感知将时空融合拆分导致的效率与精度问题，提出统一时空空间的CoST方法，实现单次特征传输与全局融合，兼容多数现有方法，兼顾效率与精度提升。
2025-08-01 cs.CV
End-to-End 3-D Spatiotemporal Perception with Multimodal Fusion and V2X Collaboration
National Center for Materials Service Safety（材料服务安全国家中心）；University of Science and Technology Beijing（北京科技大学）
XET-V2X通过多模态融合与V2X协作，实现端到端3D时空感知，提升复杂交通场景下的检测与跟踪性能。
2026-07-29 cs.CV
RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects
Uber Advanced Technologies Group（Uber先进技术集团）；University of Waterloo（滑铁卢大学）
我们解决了在自动驾驶的背景下利用雷达进行感知的问题，因为雷达以多普勒速度的形式为其他传感器（如LiDAR或相机）提供补充信息。使用雷达的主要挑战是噪声和测量模糊性，这对于现有的简单输入或输出融合方法来说是一个挑战。为了更好地解决这个问题，我们提出了一种新的解决方案，利用激光雷达和雷达传感器进行感知。我们的方法，被称为RadarNet，具有基于体素的早期融合和基于注意力的后期融合，从数据中学习，利用雷达数据的几何和动态信息。RadarNet在目标检测和速度估计任务中对两个大规模真实世界数据集取得了最先进的结果。我们进一步表明，利用雷达提高了感知能力，检测遥远的物体和理解动态物体的运动。
2020-07-28 cs.CV
SmartCooper: Vehicular Collaborative Perception with Adaptive Fusion and Judger Mechanism
Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）
提出 SmartCooper 自适应车辆协同感知框架，通过通信约束下的连接优化、基于 CSI 的自适应压缩及评判器过滤有害数据，在 OpenCOOD 上降低通信成本并提升 AP@IoU。
2024-03-04 cs.CV
Unleashing HyDRa: Hybrid Fusion, Depth Consistency and Radar for Unified 3D Perception
Technical University of Munich（慕尼黑工业大学）；FusionRide Technology（FusionRide科技公司）
HyDRa提出摄像头-雷达混合融合架构，通过高度关联Transformer和雷达加权深度一致性提升深度预测，在nuScenes和Occ3D基准上达到新最先进性能。
2025-03-26 cs.CV
Vision-RADAR fusion for Robotics BEV Detections: A Survey
Motional（Motional公司）
由于构建自主机器人感知系统的趋势需要，传感器融合吸引了研究人员和工程师的大量关注，以充分利用跨模态信息。然而，为了大规模地构建机器人平台，我们还需要强调自主机器人平台的成本。相机和雷达本身就包含互补的感知信息，具有大规模开发自主机器人平台的潜力。然而，与LiDAR融合视觉工作相比，围绕雷达融合视觉的工作有限。在本文中，我们解决了这个差距的视觉雷达融合方法的BEV目标检测系统的调查。首先，我们通过背景信息，机器人感知系统的目标检测任务、传感器的选择、传感器设置、基准数据集和评估指标。稍后，我们将介绍每模态（相机和雷达）数据表示，然后详细介绍基于子组的传感器融合技术，即，早期融合、深度融合和后期融合，以便轻松了解每种方法的优缺点。最后，我们提出了未来可能的发展趋势，视觉雷达融合启发未来的研究。定期更新的摘要可在https://github.com/ApoorvRoboticist/Vision-RADAR-Fusion-BEV-Survey上找到
2023-02-13 cs.CV
PSMNet: Position-aware Stereo Merging Network for Room Layout Estimation
Zillow Group（Zillow集团）；The City College of New York（纽约城市学院）
在本文中，我们提出了一种新的基于深度学习的方法，用于在给定一对360度全景图的情况下估计房间布局。我们的系统，称为位置感知立体融合网络或PSMNet，是一个端到端的联合布局姿态估计器。PSMNet由一个立体全景姿态（SP2）Transformer和一个新的交叉透视投影（CP2）层组成。立体视图SP2 Transformer用于隐式地推断视图之间的对应关系，并且可以处理噪声姿态。姿态感知CP2层被设计为将来自相邻视图的特征渲染到锚（参考）视图，以便执行视图融合并估计可见布局。我们的实验和分析验证了我们的方法，它显着优于最先进的布局估计，特别是对于大型和复杂的房间空间。
2022-03-30 cs.CV
UECP: Uncertainty-Enhanced Collaborative Perception
Renmin University of China（中国人民大学）；National University of Defense Technology（国防科技大学）；China Waterborne Transport Research Institute（交通运输部水运科学研究院）
针对协同感知中证据不可靠和融合不充分的问题，提出基于物理场景感知的不确定性图，并构建UECP框架，通过UAPF模块实现鲁棒融合，在真实数据集上超越现有方法。
2026-06-23 cs.CV
HyDRA: Hybrid Domain-Aware Robust Architecture for Heterogeneous Collaborative Perception
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（电气工程学院，韩国科学技术院）
HyDRA通过整合中间和晚期融合，在领域感知框架中解决异构协作感知中的性能退化问题，采用轻量级领域分类器和锚点引导姿态图优化，实现无需额外训练的性能提升。
2026-03-25 cs.CV
SparseFusion: Efficient Sparse Multi-Modal Fusion Framework for Long-Range 3D Perception
University of Chinese Academy of Sciences（中国科学院大学）；TuSimple（图森未来）
SparseFusion提出基于稀疏3D特征的稀疏视图变换器，实现高效远距离多模态3D感知，在Argoverse2上内存减半、推理加速两倍，mAP达41.2%。
2024-03-15 cs.CV
Collaborative Semantic Occupancy Prediction with Hybrid Feature Fusion in Connected Automated Vehicles
Technical University of Munich（慕尼黑工业大学）；Technische Hochschule Ingolstadt（英戈尔施塔特应用科学大学）；Fraunhofer IVI（弗劳恩霍夫交通和基础设施系统研究所）
针对自动驾驶协同感知缺乏全面3D环境预测的问题，提出首个协同3D语义占用预测方法，通过混合融合任务特征与车辆间共享注意力特征提升预测效果，并扩充数据集，实验证明其准确率和语义感知能力显著优于单车及现有3D检测技术。
2024-04-25 cs.CV
A Survey on Intermediate Fusion Methods for Collaborative Perception Categorized by Real World Challenges
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
本综述按真实世界挑战分类分析了自动驾驶协同感知中的中间融合方法，详述其特征与评估指标，并探讨应对传输效率、定位误差、通信中断、异构性、对抗攻防及域偏移等挑战的策略，概述了该方法对推动该领域发展的作用。
2024-04-28 cs.CV cs.RO
RWKV-UI: UI Understanding with Enhanced Perception and Reasoning
Sun Yat-sen University（中山大学）；Shenzhen Yuanshi Intelligence Co., Ltd（深圳元石智能有限公司）
本文提出基于RWKV架构的视觉语言模型RWKV-UI，通过布局检测视觉提示和思维链视觉提示增强高分辨率UI理解与交互推理能力，实验验证了其显著性能提升。
2025-02-06 cs.CV cs.HC
IFTR: An Instance-Level Fusion Transformer for Visual Collaborative Perception
Zhejiang University（浙江大学）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）
针对当前协同感知多依赖激光雷达、视觉方法研究不足的问题，提出实例级融合Transformer IFTR，通过实例特征聚合、跨域查询适配等提升纯相机协同检测性能，在多个数据集上实现显著性能提升并优化带宽效率。
2024-07-13 cs.CV
DATA: Domain-And-Time Alignment for High-Quality Feature Fusion in Collaborative Perception
Southeast University（东南大学）；Washington State University（华盛顿州立大学）
本文提出DATA网络，通过域对齐模块CDAM、时间对齐模块PTAM和特征聚合模块IFAM，系统解决协同感知中特征融合面临的域差距与传输延迟问题，在三个数据集上取得最优性能并保持鲁棒性。
2025-09-23 cs.CV
Self-Supervised Sparse Sensor Fusion for Long Range Perception
Torc Robotics（Torc机器人公司）；Princeton University（普林斯顿大学）
本文提出一种基于稀疏表示与自监督预训练的多模态传感器融合方法，将自动驾驶感知距离扩展至250米，显著提升检测与LiDAR预测性能。
2025-08-19 cs.CV
D3FNet: A Differential Attention Fusion Network for Fine-Grained Road Structure Extraction in Remote Perception Systems
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；HUN-REN Institute for Computer Science and Control（匈牙利研究网络计算机科学与控制研究所）
本文提出D3FNet，通过差分注意力扩张提取、双流解码融合和多尺度扩张策略，解决高分辨率遥感影像中细粒度狭窄道路分割难题，并在DeepGlobe和CHN6-CUG上取得领先性能。
2025-08-21 cs.CV
Text-Guided Channel Perturbation and Pretrained Knowledge Integration for Unified Multi-Modality Image Fusion
Xilai Li, Xiaosong Li, Weijun Jiang（作者）
针对统一多模态图像融合中梯度冲突、泛化性差的问题，本文提出UP-Fusion框架，通过SCPM、GAM、TCPM三个模块优化特征处理，在融合及下游任务上性能优于现有方法。
2025-11-16 cs.CV
