BEV-Seg: Bird's Eye View Semantic Segmentation Using Geometry and Semantic Point Cloud
University of California, Berkeley（加州大学伯克利分校）
鸟瞰图（BEV）是一种功能强大且广泛采用的道路场景表示方法，它可以捕获周围的物体及其空间位置，以及场景中的整体背景。在这项工作中，我们专注于鸟的眼睛语义分割，一个任务，预测像素明智的语义分割BEV从侧面RGB图像。这项任务是由模拟器，如卡拉，它允许廉价的数据汇集，任意相机的位置，以及监督的方式，否则不可能在现实世界中。这个任务有两个主要的挑战：从侧视图到鸟瞰图的视图转换，以及迁移学习到看不见的领域。现有的工作通过完全连接的层在视图之间进行转换，并通过GANs进行迁移学习。这是因为缺乏深度推理和跨域性能下降。我们新颖的2阶段感知管道明确预测像素深度，并以有效的方式将它们与像素语义相结合，允许模型利用深度信息来推断BEV中对象的空间位置。此外，我们迁移学习抽象高层次的几何特征和预测的中间表示，是共同的跨不同领域。我们发布了一个名为BEVSEG-Carla的新数据集，并表明我们的方法将最先进的mIoU提高了24%，并且在转移到新领域时表现良好。
2020-06-23 cs.CV
PersDet: Monocular 3D Detection in Perspective Bird's-Eye-View
MEGVII Technology（旷视科技）
目前，在鸟瞰图（BEV）中检测3D物体优于用于自动驾驶和机器人的其他3D检测器。然而，将图像特征转换为BEV需要特殊的操作员来进行特征采样。许多边缘设备不支持这些操作符，这在部署检测器时带来了额外的障碍。为了解决这个问题，我们重新审视BEV表示的生成，并提出在透视BEV中检测对象-一种不需要特征采样的新BEV表示。我们证明，透视BEV功能同样可以享受BEV范式的好处。此外，透视BEV通过解决由特征采样引起的问题来提高检测性能。基于这一发现，我们提出了在透视BEV空间中用于高性能目标检测的DET。在实现一个简单和内存高效的结构的同时，在nuScenes基准测试中，RSDet的性能优于现有的最先进的单眼方法，当使用ResNet-50作为主干时，达到34.6%的mAP和40.8%的NDS。
2022-08-19 cs.CV
BEV-DG: Cross-Modal Learning under Bird's-Eye View for Domain Generalization of 3D Semantic Segmentation
Xiamen University（厦门大学）；Northeastern University（东北大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对3D语义分割域泛化中无法访问目标域及2D-3D点像素错位问题，提出BEV-DG，通过BAF鸟瞰区域融合与BDCL域对比学习学习域无关表示，并在三种设置下大幅超越现有方法。
2023-08-12 cs.CV
Cross-Dataset Experimental Study of Radar-Camera Fusion in Bird's-Eye View
Stellantis, Opel Automobile GmbH（斯泰兰蒂斯集团，欧宝汽车有限公司）；Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau（莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
提出一种灵活的雷达-相机鸟瞰图融合网络，在nuScenes与View-of-Delft上跨数据集评估，证明融合显著优于单传感器基线。
2023-09-27 cs.CV
FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal Consistent Transformer for 3D Object Detection
Cainiao Network（菜鸟网络）；Westlake University（西湖大学）
针对现有多传感器3D目标检测方法转换到鸟瞰图空间易丢失Z轴信息的问题，提出融合可变形注意力与残差结构的FusionFormer框架，在nuScenes数据集上取得了最优单模型性能。
2023-10-09 cs.CV
BEVScope: Enhancing Self-Supervised Depth Estimation Leveraging Bird's-Eye-View in Dynamic Scenarios
Tsinghua University（清华大学）；University of Science and Technology Beijing（北京科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Southeast University（东南大学）
BEVScope利用鸟瞰图特征和自适应损失函数，解决自监督深度估计中多相机视图利用不足和动态物体处理有限的问题，在Nuscenes上表现优异。
2023-06-20 cs.CV
Structured Bird's-Eye-View Traffic Scene Understanding from Onboard Images
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
自主导航需要道路网络的结构化表示和其他交通代理的实例识别。由于交通场景是在地平面上定义的，因此这对应于鸟瞰图（BEV）中的场景理解。然而，自动驾驶汽车的车载摄像头通常水平安装，以便更好地观察周围环境，这使得这项任务非常具有挑战性。在这项工作中，我们研究了从单个车载摄像头图像中提取表示BEV坐标中的局部道路网络的有向图的问题。此外，我们表明，该方法可以扩展到检测动态物体上的BEV平面。检测到的对象的语义、位置和方向与道路图一起促进对场景的全面理解。这种理解对于下游任务（如路径规划和导航）来说至关重要。我们根据强大的基线验证了我们的方法，并表明我们的网络实现了卓越的性能。我们还通过消融研究证明了各种设计选择的效果。代码：https://github.com/ybarancan/STSU
2021-10-05 cs.CV
Self-Supervised Bird's Eye View Motion Prediction with Cross-Modality Signals
Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Southern California（南加州大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对自监督 BEV 运动流中点云对应导致的虚假流与不一致问题，提出跨模态自监督框架，并用掩码 Chamfer 距离、分段刚性和时间一致性三类损失提升运动预测性能。
2024-01-21 cs.CV
Robust Bird's Eye View Segmentation by Adapting DINOv2
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
针对现有BEV感知方法在各类损坏下性能骤降的问题，提出用LoRA将DINOv2适配到SimpleBEV框架，提升了BEV分割鲁棒性，且具备参数少、收敛快的优势。
2024-09-16 cs.CV
A Dual-Cycled Cross-View Transformer Network for Unified Road Layout Estimation and 3D Object Detection in the Bird's-Eye-View
鸟瞰图（BEV）表示允许对自动驾驶的多个任务进行鲁棒学习，包括道路布局估计和3D目标检测。然而，用于统一道路布局估计和3D目标检测的当代方法很少处理训练数据集的类别不平衡和多类别学习以减少所需的网络总数。为了克服这些限制，我们提出了一个统一的模型，道路布局估计和三维目标检测的启发Transformer架构和CycleGAN学习框架。该模型处理由于利用焦点损失和建议的双循环损失的数据集的类不平衡的性能下降。此外，我们建立了广泛的学习场景，研究在各种情况下的道路布局估计的多类学习的效果。为了验证所提出的模型和学习方案的有效性，我们进行了彻底的消融研究和比较研究。实验结果证明了该模型的有效性，在道路布局估计和三维目标检测任务中，我们都达到了最先进的性能。
2022-09-19 cs.CV
A Geometric Approach to Obtain a Bird's Eye View from an Image
VGG, Dept. of Engineering Science（工程科学系视觉几何组）；University of Oxford（牛津大学）；Latent Logic（潜在逻辑公司）
本文的目的是纠正任何单目图像通过计算单应矩阵，将其转换为鸟瞰（开销）视图。我们的贡献如下：（i）我们证明了单应矩阵可以用四个参数来参数化，这些参数指定地平线和垂直消失点，或者在视场或焦距已知的情况下只用两个参数;（ii）我们介绍了一种新的表示的几何形状的线或点（其可以是无穷大），其适合于利用卷积神经网络（CNN）进行回归;（iii）我们引入了一个大型的合成图像数据集，其中包含正交消失点的地面真实值，这可以用于训练CNN来预测这些几何实体;最后（iv）我们在地平线检测上获得了最先进的结果，在野生数据集中的地平线上具有74.52%的AUC。该方法具有快速、鲁棒性强的特点，可用于实时的去除视频中的透视失真。
2020-09-27 cs.CV
BoxNet: A Deep Learning Method for 2D Bounding Box Estimation from Bird's-Eye View Point Cloud
LG Canada（LG加拿大）；Huawei Technologies Canada（华为技术加拿大）
提出了一种基于学习的方法，从二维鸟瞰（BEV）LiDAR点估计对象的限界框。我们的方法名为BoxNet，利用了一个简单的深度神经网络，可以有效地处理无序点。该方法将所有点的2D坐标作为输入，输出是由盒子姿态（LiDAR坐标系中的位置和方向）及其大小（宽度和长度）组成的矢量。为了处理角度不连续的问题，我们建议估计的双角度正弦值，而不是角度本身。我们还预测了中心相对于点云的平均值，以提高估计盒子位置的性能。所提出的方法不依赖于在许多现有的方法中的点的排序，并且可以准确地预测限界框的实际大小的基础上，从训练数据获得的先验信息。BoxNet使用KITTI 3D对象数据集进行了验证，与最先进的非学习方法相比有显着改进
2019-08-19 cs.CV
TBP-Former: Learning Temporal Bird's-Eye-View Pyramid for Joint Perception and Prediction in Vision-Centric Autonomous Driving
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；Shanghai AI Laboratory（上海人工智能实验室）
以视觉为中心的联合感知和预测（PSENS）已经成为自动驾驶研究的一个新兴趋势。它从原始RGB图像中预测周围环境中交通参与者的未来状态。然而，由于不可避免的几何失真，同步在多个相机视图和时间戳处获得的特征并进一步利用这些时空特征仍然是一个关键的挑战。为了解决这个问题，我们提出了一个时间鸟瞰金字塔Transformer（TBP-Former）的视觉为中心的PADER，其中包括两个新颖的设计。首先，提出了姿态同步的BEV编码器，以在任何时间将具有任何相机姿态的原始图像输入映射到共享和同步的BEV空间，以实现更好的时空同步。其次，引入时空金字塔Transformer，在时空先验的支持下，综合提取多尺度BEV特征并预测未来BEV状态。在nuScenes数据集上进行的大量实验表明，我们提出的框架总体上优于所有最先进的基于视觉的预测方法。
2023-03-22 cs.CV
RendBEV: Semantic Novel View Synthesis for Self-Supervised Bird's Eye View Segmentation
Verizon Connect（威瑞森连接公司）；University of Bologna（博洛尼亚大学）；University of Florence（佛罗伦萨大学）
本文提出RendBEV方法，通过可微体积渲染利用2D语义分割结果实现BEV语义分割的自监督训练，在零样本和低标注微调场景下均取得优异性能。
2025-04-10 cs.CV
RopeBEV: A Multi-Camera Roadside Perception Network in Bird's-Eye-View
Baidu Inc.（百度公司）
针对路侧多摄像头BEV感知面临的位姿多样、数量不定等挑战，提出首个密集型方法RopeBEV，通过BEV增强、CamMask等技术解决相关问题，在公开及私有数据集上取得优异表现。
2024-09-18 cs.CV
Geo-ConvGRU: Geographically Masked Convolutional Gated Recurrent Unit for Bird-Eye View Segmentation
School of Instrument Science and Engineering, Harbin Institute of Technology (HIT)（哈尔滨工业大学仪器科学与工程学院）；Huawei Noah’s Ark Lab, Huawei inc.（华为诺亚方舟实验室）；School of Astronautics, Beihang University（北京航空航天大学宇航学院）
本文提出Geo-ConvGRU模块，用ConvGRU替换3D CNN并引入地理掩码抑制噪声，以高效建模时间依赖，在NuScenes上实现鸟瞰图分割最优性能。
2024-12-28 cs.CV
MotionNet: Joint Perception and Motion Prediction for Autonomous Driving Based on Bird's Eye View Maps
Rutgers University（罗格斯大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
可靠地感知环境状态的能力，特别是物体的存在及其运动行为，对于自动驾驶至关重要。在这项工作中，我们提出了一个高效的深度模型，称为MotionNet，用于从3D点云联合执行感知和运动预测。MotionNet将一系列LiDAR扫描作为输入，并输出鸟瞰图（BEV）地图，该地图对每个网格单元中的对象类别和运动信息进行编码。MotionNet的主干是一种新颖的时空金字塔网络，它以分层的方式提取深层的空间和时间特征。为了增强预测在空间和时间上的平滑性，MotionNet的训练进一步正则化，具有新的空间和时间一致性损失。大量的实验表明，所提出的方法总体上优于最先进的，包括最新的场景流和3D对象检测为基础的方法。这表明了所提出的方法作为基于边界框的系统的备份的潜在价值，并为自动驾驶中的运动规划器提供补充信息。代码可在https://github.com/pxiangwu/MotionNet上获得。
2020-03-15 cs.CV
Camera-Only Bird's Eye View Perception: A Neural Approach to LiDAR-Free Environmental Mapping for Autonomous Vehicles
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出一种仅用相机的鸟瞰图感知框架，通过扩展 Lift-Splat-Shoot 并结合 YOLOv11 与 DepthAnythingV2，在 OpenLane-V2 和 NuScenes 上实现接近 LiDAR 精度的低成本 360 度环境建图。
2025-05-09 cs.CV
SBEVNet: End-to-End Deep Stereo Layout Estimation
Carnegie Mellon University（卡内基梅隆大学）；National Robotics Engineering Center（国家机器人工程中心）
准确的布局估计对于自动驾驶等机器人应用中的规划和导航至关重要。在本文中，我们介绍了立体鸟瞰视图网络（SBEVNet），一种新的监督端到端的框架估计鸟瞰视图布局从一对立体图像。尽管我们的网络重用了最先进的深度学习网络中的一些构建块来进行视差估计，但我们表明显式的深度估计既不充分也不必要。相反，良好的内部鸟瞰图特征表示的学习对于布局估计是有效的。具体来说，我们首先使用立体图像的特征生成视差特征量，然后将其投影到鸟瞰视图坐标。这为我们提供了关于场景结构的粗粒度信息。我们还应用逆透视映射（IPM）来映射输入图像及其特征到鸟瞰图。这给了我们细粒度的纹理信息。将IPM特征与投影的特征体连接起来，创建了一个丰富的鸟瞰图表示，这对空间推理很有用。我们使用这种表示来估计BEV语义图。此外，我们表明，使用IPM功能作为立体声功能的监督信号可以提高性能。我们在两个数据集上展示了我们的方法：KITTI数据集和CARLA模拟器合成生成的数据集。对于这两个数据集，我们建立了与基线技术相比最先进的性能。
2021-10-17 cs.CV
BirdSLAM: Monocular Multibody SLAM in Bird's-Eye View
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Innovation Labs（塔塔咨询服务公司创新实验室）
在本文中，我们提出了BirdSLAM，一种新颖的同时定位与地图构建（SLAM）系统，用于仅配备单目摄像头的自动驾驶平台的挑战性场景。BirdSLAM通过使用正交（鸟瞰）视图作为执行定位和映射的配置空间来解决其他单目SLAM系统所面临的挑战（例如单目重建中的尺度模糊性、动态对象定位和特征表示中的不确定性）。通过仅假设自我摄像头在地面上方的高度，BirdSLAM利用单视图计量线索来准确定位鸟瞰视图中的自我车辆和所有其他交通参与者。我们证明，我们的系统优于以前的工作，严格使用更多的信息，并通过消融分析突出每个设计决策的相关性。
2020-11-15 cs.AI cs.CV cs.LG
UniFusion: Unified Multi-view Fusion Transformer for Spatial-Temporal Representation in Bird's-Eye-View
Zhejiang University（浙江大学）；DJI（大疆创新）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Lab（上海人工智能实验室）
鸟瞰图（BEV）表示是一种基于空间融合的新的自动驾驶感知形式。此外，时间融合也被引入到BEV表示中，并取得了很大的成功。在这项工作中，我们提出了一种新的方法，统一了空间和时间融合，并将它们合并成一个统一的数学公式。统一融合不仅可以为BEV融合提供新的视角，还可以带来新的能力。通过提出的统一时空融合，我们的方法可以支持远程融合，这是很难实现在传统的BEV方法。此外，我们的工作中的BEV融合是时间自适应的，时间融合的权重是可学习的。相比之下，传统的方法主要使用固定和相等的权重进行时间融合。此外，提出的统一融合方法可以避免传统BEV融合方法中的信息丢失，并充分利用特征。在NuScenes数据集上的大量实验和消融研究表明了所提出方法的有效性，并且我们的方法在地图分割任务中获得了最先进的性能。
2023-03-20 cs.CV
BEVSeg2TP: Surround View Camera Bird's-Eye-View Based Joint Vehicle Segmentation and Ego Vehicle Trajectory Prediction
University of Limerick（利默里克大学）
提出BEVSeg2TP系统，将感知与轨迹预测统一，利用环视相机鸟瞰图进行车辆分割并预测自车轨迹，以提升性能。
2023-12-20 cs.CV
BEVTraj: Map-Free Multimodal Trajectory Prediction with Sensor-Derived BEV Context and Sparse Goal Reasoning
Department of Automobile and IT Convergence, Kookmin University（汽车与IT融合系，韩国釜山大学）；Department of Automotive Engineering, Kookmin University（汽车工程系，韩国釜山大学）；Graduate School of Automobile and Mobility, Kookmin University（汽车与移动研究生院，韩国釜山大学）
BEVTraj通过可变形注意力和稀疏目标提案实现无地图端到端鸟瞰图轨迹预测，提升自动驾驶的鲁棒性和灵活性。
2026-11-04 cs.CV
Vision-Driven 2D Supervised Fine-Tuning Framework for Bird's Eye View Perception
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与 Mobility学院）；State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（清华大学智能绿色车辆与交通全国重点实验室）
针对BEV感知依赖昂贵LiDAR真值的问题，提出基于视觉2D语义感知的网络微调框架，并在nuScenes与Waymo上验证其有效性。
2024-09-09 cs.CV
ViT-BEVSeg: A Hierarchical Transformer Network for Monocular Birds-Eye-View Segmentation
Hamilton Institute Maynooth University（汉密尔顿研究所梅努斯大学）；Valeo Vision Systems（法雷奥视觉系统公司）；Maynooth University（梅努斯大学）
生成环境的详细近场感知模型是自动驾驶车辆和自主移动机器人中的重要且具有挑战性的问题。提供全景表示的鸟瞰视图（BEV）地图是一种常用的方法，其为许多下游任务提供车辆周围环境的简化2D表示以及准确的语义级分割。当前用于生成BEV图的现有技术方法采用卷积神经网络（CNN）主干来创建特征图，特征图通过空间Transformer以将导出的特征投影到BEV坐标系上。在本文中，我们评估使用视觉Transformer（ViT）作为骨干架构，以生成BEV地图。我们的网络架构ViT-BEVSeg采用标准视觉Transformer来生成输入图像的多尺度表示。然后将所得的表示作为输入提供给空间Transformer解码器模块，该模块输出BEV网格中的分割图。我们在nuScenes数据集上评估了我们的方法，证明了相对于最先进的方法，性能有了相当大的提高。
2022-05-31 cs.CV
BVMatch: Lidar-based Place Recognition Using Bird's-eye View Images
Zhejiang University（浙江大学）；Ningbo Research Institute, Zhejiang University（浙江大学宁波研究院）
提出基于激光雷达鸟瞰图的位置识别框架BVMatch，通过Log-Gabor滤波器和BVFT描述符统一实现高召回率的位置识别与2D相对位姿估计，性能优于现有方法。
2022-01-16 cs.CV
BEVSegFormer: Bird's Eye View Semantic Segmentation From Arbitrary Camera Rigs
Nullmax；Zhengzhou University（郑州大学）
鸟瞰图中的语义分割是自动驾驶的一项重要任务。虽然这项任务已经吸引了大量的研究工作，但灵活地应对自动驾驶汽车上配备的任意（单个或多个）相机传感器仍然具有挑战性。在本文中，我们提出了BEVSegFormer，一个有效的基于变换的方法，用于任意摄像机设备的BEV语义分割。具体来说，我们的方法首先编码图像特征从任意相机与共享的骨干。这些图像特征，然后增强的可变形的基于变换的编码器。此外，我们引入了BEV Transformer解码器模块来解析BEV语义分割结果。设计了一种有效的多摄像机变形注意单元来实现BEV到图像的视图转换。最后，根据BEV中的网格布局对查询进行整形，并上采样以监督方式产生语义分割结果。我们在公共nuScenes数据集和自我收集的数据集上评估了所提出的算法。实验结果表明，我们的方法取得了很好的性能BEV语义分割从任意相机钻机。我们还通过消融研究证明了每个组件的有效性。
2022-08-17 cs.CV
BEVFusion4D: Learning LiDAR-Camera Fusion Under Bird's-Eye-View via Cross-Modality Guidance and Temporal Aggregation
SAIC AI LAB（上汽人工智能实验室）
将LiDAR和相机信息集成到鸟瞰视图（BEV）中已成为自动驾驶中3D目标检测的重要课题。现有的方法大多采用独立的双分支框架来生成LiDAR和摄像机BEV，然后进行自适应模态融合。由于点云提供了更准确的定位和几何信息，它们可以作为一个可靠的空间之前，从图像中获取相关的语义信息。因此，我们设计了一个激光雷达引导的视图Transformer（LGVT），有效地获得相机表示在BEV空间，从而有利于整个双分支融合系统。LGVT将相机BEV作为原始语义查询，反复利用LiDAR BEV的空间线索来提取多个相机视图中的图像特征。此外，我们将我们的框架扩展到时间域与我们提出的时间变形对齐（TDA）模块，其目的是从多个历史帧聚合BEV功能。包括这两个模块在内，我们的BEVFusion4D框架在3D目标检测方面取得了最先进的结果，在nuScenes验证集上分别有72.0%的mAP和73.5%的NDS，在nuScenes测试集上分别有73.3%的mAP和74.7%的NDS。
2023-03-30 cs.CV
Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing Simulation-to-Real Domain Shift in LiDAR Bird's Eye View
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
基于LiDAR信息的目标检测方法的性能受到训练数据的可用性的严重影响，通常限于某些激光设备。因此，当训练神经网络模型时，合成数据的使用变得流行，因为传感器规格和驾驶场景都可以临时生成。然而，弥合虚拟和真实环境之间的差距仍然是一个开放的挑战，因为目前的模拟器无法完全模拟真实的激光雷达操作。为了解决这个问题，通常应用领域自适应策略，当应用于范围视图（RV）和鸟瞰视图（BEV）投影时，在车辆检测上获得显著的结果，而对于较小的道路代理则失败。在本文中，我们提出了一种基于CycleGAN的BEV领域自适应方法，该方法使用先验语义分类，以便在领域自适应过程中保留感兴趣的小对象的信息。已使用KITTI 3D目标检测基准中最先进的3D目标检测框架对生成的BEV的质量进行了评估。所得到的结果表明，所提出的方法比现有的替代品的优势。
2021-04-22 cs.CV
Lifting Multi-View Detection and Tracking to the Bird's Eye View
Technical University of Munich（慕尼黑工业大学）
本文提出一种多视角聚合架构，结合外观与运动线索，将检测与跟踪提升至鸟瞰视角，在行人（Wildtrack、MultiviewX）和路边感知（Synthehicle）数据集上达到最先进性能。
2024-03-19 cs.CV
UniDistill: A Universal Cross-Modality Knowledge Distillation Framework for 3D Object Detection in Bird's-Eye View
MEGVII Technology（旷视科技）；Shanghai Jiao Tong University（上海交通大学）
在用于自动驾驶的3D目标检测领域，包括多模态和单模态的传感器组合是多样且复杂的。由于多模态方法具有系统复杂性，而单模态方法的精度相对较低，如何在两者之间进行权衡是一个困难的问题。在这项工作中，我们提出了一个通用的跨模态知识蒸馏框架（UniDistill），以提高单模态检测器的性能。具体来说，在训练过程中，UniDistill将教师和学生检测器的特征投影到鸟瞰图（BEV）中，这是不同模态的友好表示。然后，计算三个蒸馏损失以稀疏地对齐前景特征，帮助学生从老师那里学习，而不会在推理过程中引入额外的成本。利用BEV中不同检测器的相似检测模式，UniDistill轻松支持LiDAR到摄像头、摄像头到LiDAR、fusion-to-LiDAR和fusion-to-camera蒸馏路径。此外，这三个蒸馏损失可以过滤失调的背景信息的影响，并平衡不同尺寸的对象之间，提高蒸馏效率。在nuScenes上的大量实验表明，UniDistill有效地提高了学生检测器的mAP和NDS，提高幅度为2.0%~ 3.2%。
2023-03-27 cs.CV
Deep Perspective Transformation Based Vehicle Localization on Bird's Eye View
Shahid Beheshti University（沙希德·贝赫什提大学）；Institute for Research in Fundamental Sciences（基础科学研究所）
提出一种基于深度透视变换的鸟瞰图车辆定位方法，通过生成场景俯视图并分割周围车辆，以低成本高效方式为自动驾驶提供环境信息，并发布合成数据集与代码。
2023-11-12 cs.CV
BEVCon: Advancing Bird's Eye View Perception with Contrastive Learning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；Aurora Innovation（奥罗拉创新）
BEVCon提出一种简单有效的对比学习框架，通过实例特征与透视视图两个对比模块增强BEV感知中的特征表示，在nuScenes上较基线最高提升+2.4% mAP。
2025-08-06 cs.CV
SemanticBEVFusion: Rethink LiDAR-Camera Fusion in Unified Bird's-Eye View Representation for 3D Object Detection
Bosch Corporate Research（博世集团研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出SemanticBEVFusion，通过统一BEV表示深度融合激光雷达几何与相机语义特征，在nuScenes上实现SOTA的3D检测性能。
2022-12-09 cs.CV
HeightFormer: Explicit Height Modeling without Extra Data for Camera-only 3D Object Detection in Bird's Eye View
Polytechnic Institute, Zhejiang University（浙江大学理工学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出HeightFormer，一种在BEV空间中显式建模高度、无需额外数据的纯视觉三维目标检测方法，通过自递归方式估计高度和不确定性，达到SOTA性能。
2024-07-16 cs.CV
BroadBEV: Collaborative LiDAR-camera Fusion for Broad-sighted Bird's Eye View Map Construction
NAVER LABS；Korea University（高丽大学）
针对现有BEV传感器融合存在的相机估计不准、远距离感知受激光雷达点稀疏限制的问题，提出BroadBEV方法，通过点散射模块实现跨模态空间同步，结合ColFusion模块完成特征融合，实现了高性能的广视野BEV感知。
2023-11-08 cs.CV
FIERY: Future Instance Prediction in Bird's-Eye View from Surround Monocular Cameras
Wayve；University of Cambridge（剑桥大学）
驾驶需要与道路代理进行交互，并预测他们未来的行为，以便安全导航。我们提出了FIERY：一个概率未来预测模型，从单目相机鸟瞰。我们的模型预测未来的实例分割和运动的动态代理，可以转化为非参数的未来轨迹。我们的方法结合了传统自动驾驶堆栈的感知，传感器融合和预测组件，通过直接从环绕RGB单目相机输入估计鸟瞰图预测。FIERY学习以端到端的方式仅从相机驾驶数据中建模未来的固有随机性，而不依赖于高清地图，并预测多模式未来轨迹。我们表明，我们的模型在NuScenes和Lyft数据集上的表现优于以前的预测基线。代码和训练模型可在https://github.com/wayveai/fiery上获得。
2021-10-18 cs.CV cs.RO
DA-BEV: Unsupervised Domain Adaptation for Bird's Eye View Perception
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）；University of Technology Sydney（悉尼科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对纯相机鸟瞰图（BEV）感知的无监督域自适应研究不足问题，提出DA-BEV框架，通过基于查询的对抗学习与自训练利用双视图特征互补性，在多任务多数据集上实现了更优的域自适应BEV感知性能。
2024-08-13 cs.CV
MaskBEV: Joint Object Detection and Footprint Completion for Bird's-eye View 3D Point Clouds
Université Laval（拉瓦尔大学）；Northern Robotics Laboratory（北方机器人实验室）
本文提出MaskBEV，一种基于鸟瞰图掩码的LiDAR点云目标检测架构，将检测问题转化为纯分类问题，并在单次前向传播中联合完成目标检测与足迹补全，在SemanticKITTI和KITTI数据集上验证了性能。
2023-08-01 cs.CV
TinyBEV: Cross Modal Knowledge Distillation for Efficient Multi Task Bird's Eye View Perception and Planning
University of Arkansas（阿肯色大学）
TinyBEV通过多阶段跨模态知识蒸馏，将大型规划导向教师模型UniAD的全栈驾驶能力压缩至28M参数的仅摄像头实时学生模型，在nuScenes上以5倍速度实现检测、预测与规划性能，弥合大规模模型与可部署实时自主系统之间的差距。
2025-09-22 cs.CV
Range and Bird's Eye View Fused Cross-Modal Visual Place Recognition
Tongji University（同济大学）；Beijing Institute of Control Engineering（北京控制工程研究所）
本文提出一种结合距离图像与鸟瞰图的跨模态视觉位置识别方法，通过全局描述符重排序和自适应边距三元组损失，在KITTI数据集上显著超越现有技术。
2025-02-28 cs.CV
Street-View Image Generation from a Bird's-Eye View Layout
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出条件生成模型BEVGen，通过结合空间注意力设计的跨视图变换，合成与鸟瞰图交通布局相匹配的逼真且空间一致的环视街景图像，助力自动驾驶仿真与感知模型开发。
2024-02-13 cs.CV
F2BEV: Bird's Eye View Generation from Surround-View Fisheye Camera Images for Automated Driving
University of Washington（华盛顿大学）；Volvo Cars（沃尔沃汽车）
本文提出基线F2BEV，利用畸变感知空间交叉注意力模块从环视鱼眼图像生成BEV高度图和语义分割图，在合成数据集上优于现有方法并支持真实图像生成。
2023-08-01 cs.CV
EarlyBird: Early-Fusion for Multi-View Tracking in the Bird's Eye View
Technical University of Munich（慕尼黑工业大学）
本文提出EarlyBird框架，通过将多视角投影到鸟瞰图进行早期融合检测，并学习重识别特征解决时间关联问题，在多目标多相机跟踪任务上显著提升了准确率并超越了现有最优方法。
2023-10-20 cs.CV
CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion
针对协同感知中单一传感器数据共享的局限，提出CoBEVFusion框架，融合激光雷达与相机数据生成BEV表示，利用DWCA模块和3D CNN聚合多车特征，在OPV2V数据集上优于单模态及最先进BEV融合模型。
2023-10-09 cs.CV
BEVerse: Unified Perception and Prediction in Birds-Eye-View for Vision-Centric Autonomous Driving
Tsinghua University（清华大学）；PhiGent Robotics（鉴智机器人）
在本文中，我们提出了BEVerse，一个基于多摄像头系统的3D感知和预测的统一框架。与专注于改进单任务方法的现有研究不同，BEVerse的特点是从多摄像头视频中生成时空鸟瞰图（BEV）表示，并联合推理以视觉为中心的自动驾驶的多个任务。具体而言，BEVerse首先执行共享特征提取和提升，以从多时间戳和多视图图像生成4D BEV表示。在自我运动对准之后，时空编码器用于BEV中的进一步特征提取。最后，附加多个任务解码器，用于联合推理和预测。在解码器中，我们提出了网格采样器来生成不同任务的不同范围和粒度的BEV特征。此外，我们还设计了一种迭代流的方法来进行内存有效的未来预测。我们表明，时间信息提高了三维目标检测和语义地图的建设，而多任务学习可以隐含地有利于运动预测。通过在nuScenes数据集上的大量实验，我们表明多任务BEVerse在3D目标检测、语义地图构建和运动预测方面优于现有的单任务方法。与序贯范式相比，BEVerse也有利于显著提高效率。代码和训练模型将在https://github.com/zhangyp15/BEVerse上发布。
2022-05-19 cs.CV
Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
自主车辆感知的目标是从多个传感器中提取语义表示，并将这些表示融合到单个“鸟瞰”坐标框架中，以供运动规划使用。我们提出了一个新的端到端的架构，直接提取一个鸟瞰图表示的场景给定的图像数据从任意数量的摄像机。我们的方法背后的核心思想是将每个图像单独“提升”到每个相机的特征截头体中，然后将所有截头体“splat”到栅格化的鸟瞰图网格中。通过对整个相机装备进行训练，我们提供了证据，证明我们的模型不仅能够学习如何表示图像，还能够学习如何将所有相机的预测融合到场景的单个内聚表示中，同时对校准误差具有鲁棒性。在标准的鸟瞰任务，如对象分割和地图分割，我们的模型优于所有基线和以前的工作。在追求学习密集表示运动规划的目标，我们表明，我们的模型推断的表示，使可解释的端到端的运动规划通过“拍摄”模板轨迹到鸟瞰成本地图输出我们的网络。我们将我们的方法与使用激光雷达的Oracle深度的模型进行基准测试。项目页面代码：https://nv-tlabs.github.io/lift-splat-shoot.
2020-08-13 cs.CV
CoBEVT: Cooperative Bird's Eye View Semantic Segmentation with Sparse Transformers
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Davis（加利福尼亚大学戴维斯分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
鸟瞰图（BEV）语义分割在自动驾驶的空间感知中起着至关重要的作用。尽管最近的文献在BEV地图理解方面取得了重大进展，但它们都是基于单智能体相机系统的。这些解决方案有时难以处理遮挡或在复杂的交通场景中检测远处的物体。车对车（V2V）通信技术使自动驾驶汽车能够共享感知信息，与单智能体系统相比，大大提高了感知性能和范围。在本文中，我们提出了CoBEVT，第一个通用的多智能体多摄像头感知框架，可以协同生成BEV地图预测。为了有效地融合摄像机功能，从多视图和多智能体数据的底层Transformer架构，我们设计了一个融合的轴向注意力模块（FAX），它捕获稀疏的本地和全球的空间交互视图和代理。在V2V感知数据集OPV2V上的大量实验表明，CoBEVT在协作BEV语义分割方面达到了最先进的性能。此外，CoBEVT被证明可推广到其他任务，包括1）单智能体多相机的BEV分割和2）多智能体LiDAR系统的3D目标检测，实现最先进的性能和实时推理速度。该代码可在https://github.com/DerrickXuNu/CoBEVT上获得。
2022-09-25 cs.CV
A Black-Box Evaluation Framework for Semantic Robustness in Bird's Eye View Detection
University of Exeter（埃克塞特大学）；University of Liverpool（利物浦大学）
本文提出首个针对BEV检测语义鲁棒性的黑盒评估框架，通过对抗优化几何变换、颜色偏移和运动模糊三种扰动，并设计SimpleDIRECT算法，对十个BEV模型进行基准测试，发现PolarFormer最鲁棒而BEVDet完全失效。
2025-02-04 cs.CV
KD360-VoxelBEV: LiDAR and 360-degree Camera Cross Modality Knowledge Distillation for Bird's-Eye-View Segmentation
Durham University（杜伦大学）
KD360-VoxelBEV通过跨模态知识蒸馏，利用激光雷达和360度摄像头数据提升鸟瞰图分割性能，实现高效且低成本的自动驾驶应用。
2025-12-17 cs.CV
Unveiling the Black Box: Independent Functional Module Evaluation for Bird's-Eye-View Perception Model
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与学院）；State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（清华大学智能绿色车辆与交通全国重点实验室）；School of Mathematical Sciences, Nankai University（南开大学数学科学学院）；School of Electronic and Information Engineering, Beijing University of Aeronautics and Astronautics（北京航空航天大学电子信息工程学院）
针对自动驾驶端到端BEV感知模型内部机制难以拆解的问题，提出BEV-IFME评估框架，通过两阶段对齐自编码器实现特征与真值的统一空间对齐，以相似度得分评估模块成熟度，与BEV指标平均相关系数达0.9387，具备高可靠性。
2024-09-18 cs.CV
U-BEV: Height-aware Bird's-Eye-View Segmentation and Neural Map-based Relocalization
BayerLab, Huawei Zurich Research Center（华为苏黎世研究中心拜耳实验室）；MPI for Informatics（马克斯·普朗克信息学研究所）；BayerLab, Huawei（华为拜耳实验室）
U-BEV提出一种多高度层U-Net架构的BEV分割方法，结合可微模板匹配器实现神经地图重定位，在nuScenes上显著提升精度与召回率。
2025-03-29 cs.CV
RoadBEV: Road Surface Reconstruction in Bird's Eye View
Tsinghua University（清华大学）；UC Berkeley（加州大学伯克利分校）
本文提出RoadBEV-mono和RoadBEV-stereo两个BEV路面高程重建模型，分别利用单目和立体图像，在真实数据集上取得1.83厘米和0.50厘米的高程误差，为自动驾驶提供可靠的道路预览信息。
2024-08-07 cs.CV
SA-BEV: Generating Semantic-Aware Bird's-Eye-View Feature for Multi-view 3D Object Detection
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
针对多视图3D检测中BEV特征易被背景淹没的问题，提出SA-BEV框架，通过语义感知池化、BEV-Paste增强和多尺度跨任务头提升特征质量，在nuScenes上取得SOTA性能。
2023-07-21 cs.CV
