OccTrack360: 4D Panoptic Occupancy Tracking from Surround-View Fisheye Cameras
School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学）；State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（极端光子学与仪器国家重点实验室，浙江大学）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（机器人视觉感知与控制技术国家工程研究中心，湖南大学）
OccTrack360提出新的4D全景占用跟踪基准及FoSOcc框架，解决鱼眼成像中的球面投影和体素定位问题，提升占用跟踪性能。
2026-07-28 cs.CV cs.RO eess.IV
ADD: An Automatic Desensitization Fisheye Dataset for Autonomous Driving
Zongmu Technology (Shanghai) Co., Ltd（纵目科技（上海）股份有限公司）；Xinjiang University（新疆大学）
针对自动驾驶鱼眼图像中的人脸与车牌隐私保护问题，本文构建含65万张图像的ADD数据集，提出多任务脱敏网络DesCenterNet及评价标准，并通过实验验证其有效性。
2023-08-15 cs.CV
Complete Solution for Vehicle Re-ID in Surround-view Camera System
Zongmu Technology（纵目科技）；Technical University of Braunschweig（布伦瑞克工业大学）
车辆再识别（Re-ID）是自动驾驶感知系统的关键组成部分，近年来该领域的研究加速。然而，目前还没有完美的解决方案，以车辆重新识别问题相关联的汽车的环绕视图摄像头系统。我们的分析确定了上述场景中的两个重要问题：i）由于鱼眼相机的独特构造，难以在许多图片帧中识别同一车辆。ii）当通过环绕视觉系统的几个摄像机观看时，同一车辆的外观是相当不同的。为了克服这些问题，我们提出了一个综合的车辆Re-ID解决方案。一方面，我们提供了一种用于确定跟踪盒漂移相对于目标的一致性的技术。另一方面，我们将基于注意力机制的Re-ID网络与空间限制相结合，以提高涉及多个相机的情况下的性能。最后，我们的方法结合了最先进的准确性和实时性能。我们将很快提供源代码和带注释的鱼眼数据集。
2022-12-08 cs.CV
FisheyePP4AV: A privacy-preserving method for autonomous vehicles on fisheye camera images
VinFast；Hanoi University of Science and Technology（河内科技大学）；Academy of Cryptography Techniques（密码技术学院）
本文提出FisheyePP4AV框架，通过多教师模型提取知识和鱼眼变换技术，在遵守法律的同时有效保护自动驾驶车辆鱼眼相机图像中的行人面部和车牌隐私，并在PP4AV数据集上表现优于基线方法。
2023-09-07 cs.AI cs.CV
OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving
Valeo（法雷奥）；TU Ilmenau（伊尔默瑙工业大学）
本文提出 OmniDet 多任务鱼眼视觉感知网络，通过共享编码器、协同解码器、相机几何自适应和多边形检测，实现六项自动驾驶感知任务并取得先进性能。
2023-06-06 cs.CV cs.RO
3D Visual Perception for Self-Driving Cars using a Multi-Camera System: Calibration, Mapping, Localization, and Obstacle Detection
University of California Berkeley（加州大学伯克利分校）；DSO National Laboratories（新加坡国防科技研究院）；National University of Singapore（新加坡国立大学）；Graz University of Technology（格拉茨技术大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）
摄像头是自动驾驶汽车的关键外感受传感器，因为它们成本低，体积小，提供有关环境的外观信息，并在各种天气条件下工作。它们可以用于多种目的，如视觉导航和障碍物检测。我们可以使用环绕多摄像头系统来覆盖汽车周围的360度全视野。通过这种方式，我们避免了可能导致事故的盲点。为了最大限度地减少环绕感知所需的相机数量，我们使用鱼眼相机。因此，用于3D映射、视觉定位、障碍物检测等的标准视觉流水线需要进行调整，以充分利用多个相机的可用性，而不是单独对待每个相机。此外，必须支持鱼眼图像的处理。在本文中，我们描述了摄像机校准和后续处理流水线的多鱼眼摄像机系统开发的V-Charge项目的一部分。该项目旨在为自动驾驶汽车提供自动代客泊车服务。我们的管道能够精确校准多摄像头系统，构建用于视觉导航的稀疏3D地图，根据这些地图视觉定位汽车，生成准确的密集地图，以及基于实时深度地图提取检测障碍物。
2017-08-31 cs.CV
WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving
Valeo（法雷奥）
鱼眼相机通常用于在监视、增强现实以及特别是汽车应用中获得大视场。尽管它们很流行，但很少有公共数据集用于对鱼眼图像进行计算机视觉算法的详细评估。我们发布了第一个广泛的鱼眼汽车数据集WoodScape，以1906年发明鱼眼相机的Robert Wood命名。WoodScape包括四个环绕视图摄像头和九个任务，包括分割，深度估计，3D限界框检测和污染检测。为超过10，000张图片提供了40个类的实例级语义标注，为超过100，000张图片提供了其他任务的标注。通过WoodScape，我们希望鼓励社区为鱼眼相机调整计算机视觉模型，而不是使用天真的纠正。
2021-07-02 cs.AI cs.CV cs.LG
Fisheye Camera and Ultrasonic Sensor Fusion For Near-Field Obstacle Perception in Bird's-Eye-View
University of Limerick（利默里克大学）；Valeo India（法雷奥印度公司）；Valeo Driving Assistance Research（法雷奥驾驶辅助研究中心）；Valeo Vision Systems（法雷奥视觉系统公司）；Indian Statistical Institute（印度统计研究所）
针对鱼眼相机在低光等场景下近场障碍物感知性能下降的问题，提出融合鱼眼相机与超声波传感器的BEV端到端模型，通过单模态编码、特征转换、内容感知空洞卷积及两阶段解码实现精准感知，验证了方法的有效性。
2024-02-01 cs.CV
Surround-view Fisheye Camera Perception for Automated Driving: Overview, Survey and Challenges
Valeo（法雷奥）；University of Limerick（利默里克大学）
全景鱼眼相机通常用于自动驾驶中的近场传感。车辆四个侧面的四个鱼眼摄像头足以覆盖车辆周围的360°，捕捉整个近场区域。一些主要的用例是自动停车、交通拥堵辅助和城市驾驶。由于汽车感知的重点是远场感知，因此近场感知任务的数据集有限，工作很少。与远场相比，由于10 cm的高精度目标检测要求和物体的部分可见性，环绕视图感知带来了额外的挑战。由于鱼眼相机的大径向失真，标准算法不能容易地扩展到环绕视图用例。因此，我们的动机是为研究人员和从业者提供一个独立的参考汽车鱼眼相机的感知。首先，我们提供了一个统一的和分类的处理常用的鱼眼相机模型。其次，我们讨论了各种感知任务和现有的文献。最后，我们讨论了挑战和未来的方向。
2023-01-05 cs.CV
Exploring Surround-View Fisheye Camera 3D Object Detection
Changcai Li 1,2（李昌才 1,2）；Wenwei Lin 1（林文伟 1）；Zuoxun Hou 3（侯宙勋 3）；Gang Chen 1（陈刚 1）；Wei Zhang 2（张伟 2）；Huihui Zhou 2（周会会 2）；Weishi Zheng 1（郑伟世 1）
本文提出FisheyeBEVDet和FisheyePETR两种方法，利用鱼眼图像的几何特性提升3D目标检测精度，通过Fisheye3DOD数据集验证效果，提升6.2%
2025-11-24 cs.CV
DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning
QT Technologies Ireland Limited（QT技术爱尔兰有限公司）；Qualcomm Technologies International GmbH（高通技术国际有限公司）；Qualcomm Technologies, Inc.（高通技术公司）
针对环视鱼眼相机缺少BEV分割数据集与去畸变缺陷的问题，本文构建Cognata合成数据集，提出支持任意相机模型、带畸变感知BEV池化和遮挡推理的DaF-BEVSeg。
2024-04-09 cs.CV cs.RO
FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception
Automated Driving, Qualcomm Technologies, Inc（高通技术公司自动驾驶部门）；Automated Driving, Qualcomm India Private Limited（高通印度私人有限公司自动驾驶部门）
本文提出FishRoPE，通过轻量框架将冻结的视觉基础模型适配到鱼眼几何，利用旋转位置嵌入重新参数化注意力机制，实现角分离而非像素距离的处理，提升全方位视觉感知性能。
2026-04-12 cs.AI cs.CV
FisheyeGaussianLift: BEV Feature Lifting for Surround-View Fisheye Camera Perception
本文提出一种失真感知的BEV分割框架，通过高斯参数化和可微溅射融合，实现鱼眼影像的高精度语义分割，无需失真校正。
2025-11-21 cs.CV
Vehicle Re-ID for Surround-view Camera System
Zongmu Technology（纵目科技）；University of Victoria（维多利亚大学）；Xiamen University（厦门大学）
车辆再识别（ReID）在自动驾驶感知系统中起着至关重要的作用，近年来受到越来越多的关注。然而，据我们所知，目前还没有针对安装在车辆上的环绕视图系统的完整解决方案。在本文中，我们讨论了上述场景中的两个主要挑战：i）在单摄像机视图中，由于鱼眼失真，遮挡，截断等原因，很难从过去的图像帧中识别出同一车辆。ii）在多摄像机视图中，同一车辆的外观在不同摄像机的视点上变化很大。因此，我们提出了一个完整的车辆Re-ID解决方案来解决这些问题。具体而言，我们提出了一种新的质量评估机制，以平衡跟踪框的漂移和目标的一致性的影响。此外，我们利用基于注意力机制的Re-ID网络，然后结合空间约束策略，以进一步提高不同相机之间的性能。实验表明，我们的解决方案达到了最先进的精度，同时在实践中是实时的。此外，我们将发布代码和注释的鱼眼数据集，以造福社区。
2020-06-30 cs.CV cs.RO eess.IV
FisheyeDetNet: 360° Surround view Fisheye Camera based Object Detection System for Autonomous Driving
University of Limerick（利默里克大学）；Valeo Vision Systems（法雷奥视觉系统公司）
针对鱼眼摄像头径向畸变导致标准边界框失效的问题，提出FisheyeDetNet模型，采用多边形等扩展表示并在Valeo数据集上取得49.5% mAP，是首个自动驾驶鱼眼目标检测详细研究。
2024-04-27 cs.CV cs.RO
FisheyeMultiNet: Real-time Multi-task Learning Architecture for Surround-view Automated Parking System
Valeo Vision Systems（法雷奥视觉系统）
自动泊车是一种低速机动场景，非常非结构化和复杂，需要车辆周围的全360°近场感知。本文从基于摄像头的深度学习算法的角度讨论了自动停车系统的设计与实现。我们提供了一个工业系统的整体概述，涵盖了嵌入式系统，用例和深度学习架构。我们展示了一个名为FisheyeMultiNet的实时的【形】多任务深度学习网络，它可以检测在低功耗嵌入式系统上停车所需的所有对象。FisheyeMultiNet在4个摄像头下以15 fps的速度运行，它有三个任务，即目标检测，语义分割和污染检测。为了鼓励进一步的研究，我们通过WoodScape项目\cite{yogamani2019woodscape}发布了包含语义分割和限界框检测地面实况的5,000张图像的部分数据集。
2019-12-23 cs.CV cs.RO
SVDistNet: Self-Supervised Near-Field Distance Estimation on Surround View Fisheye Cameras
Valeo DAR Kronach（法雷奥DAR克罗纳赫）；TU Ilmenau（伊尔梅瑙工业大学）；TU Braunschweig（布伦瑞克工业大学）；Valeo Vision Systems（法雷奥视觉系统）
场景几何的360°感知对于自动驾驶至关重要，特别是对于停车和城市驾驶场景。通常情况下，它是通过使用环绕视角鱼眼相机来实现的，聚焦于车辆周围的近场区域。大多数当前的深度估计方法集中于仅采用单个相机，这不能直接推广到多个相机。深度估计模型必须在数百万辆汽车上配备的各种摄像机上进行测试，这些摄像机具有不同的摄像机几何形状。即使在一辆车内，由于制造公差，本质也会有所不同。深度学习模型对这些变化很敏感，实际上不可能对每个相机变体进行训练和测试。因此，我们提出了新的相机几何自适应多尺度卷积，利用相机参数作为条件输入，使模型能够推广到以前看不见的鱼眼相机。此外，我们通过基于成对和分片向量的自注意编码器网络改进了距离估计。我们评估我们的方法在鱼眼WoodScape环绕视图数据集，显着改善了以前的方法。我们还展示了我们的方法在不同相机视角的泛化，并进行了广泛的实验，以支持我们的贡献。为了与其他方法进行比较，我们评估了KITTI数据集上的前置摄像头数据（针孔摄像头图像），并在自监督单目方法中实现了最先进的性能。https://youtu.be/bmX0UcU9wtA提供了定性结果的概述视频。基线代码和数据集将被公开。
2021-04-09 cs.CV cs.RO
An Online Learning System for Wireless Charging Alignment using Surround-view Fisheye Cameras
Valeo（法雷奥）；University of Limerick（利默里克大学）
电动汽车越来越普遍，感应充电板被认为是一种方便有效的电动汽车充电方式。然而，驾驶员通常不善于将车辆对准到有效感应充电所需的精度，使得两个充电板的自动对准是期望的。在车队电气化的同时，利用全景摄像机系统的自动停车系统正变得越来越受欢迎。在这项工作中，我们提出了一个系统的基础上的环绕视图摄像头架构来检测，定位，并自动对齐车辆与感应充电板。充电垫的视觉设计不标准化，不一定事先知道。因此，依赖离线训练的系统在某些情况下会失败。因此，我们提出了一种自我监督的在线学习方法，该方法利用驾驶员在手动将车辆与充电板对齐时的动作，并将其与来自语义分割和深度的弱监督相结合，以学习分类器来自动注释视频中的充电板以进行进一步训练。通过这种方式，当面对之前看不见的充电板时，驾驶员只需要手动对齐车辆一次。由于充电板平放在地面上，从远处不易察觉。因此，我们建议使用Visual SLAM管道来学习相对于充电板的地标，以实现更大范围的对齐。我们演示了自动驾驶汽车上的工作系统，如https://youtu.be/_cLCmkW4UYo上的视频所示。为了鼓励进一步的研究，我们将分享这项工作中使用的充电板数据集。
2022-12-21 cs.CV
Near-field Perception for Low-Speed Vehicle Automation using Surround-view Fisheye Cameras
University of Limerick（利默里克大学）；Valeo Vision Systems（法雷奥视觉系统公司）
本文综述面向自动泊车等低速场景的环视鱼眼近场感知系统，提出由识别、重建、重定位和重组构成的4R架构，并结合既有结果与架构方案论证其协同可行性。
2023-06-06 cs.CV cs.RO
Real-time Detection, Tracking, and Classification of Moving and Stationary Objects using Multiple Fisheye Images
Carnegie Mellon University（卡内基梅隆大学）
检测行人和其他移动物体的能力对于自动驾驶汽车至关重要。这必须以最小的系统开销实时的【形】完成。本文讨论了实现的环绕视图系统，以确定移动以及静态物体接近自我车辆。该算法适用于鱼眼相机捕获的4个视图，这些视图合并成一个帧。移动目标检测和跟踪解决方案使用最小的系统开销来隔离包含移动对象的感兴趣区域（ROI）。然后使用深度神经网络（DNN）分析这些ROI以对移动对象进行分类。通过在城市环境中的实车上进行部署和测试，我们证明了该解决方案的实际可行性。我们算法的视频演示已经上传到Youtube：https：//youtu.be/vpoCfC724iA，www.example.com
2018-08-31 cs.CV
Restricted Deformable Convolution based Road Scene Semantic Segmentation Using Surround View Cameras
Shanghai Jiao Tong University（上海交通大学）；SJTU-ParisTech Elite Institute of Technology（上海交通大学-巴黎高科卓越工程学院）
了解车辆周围环境仍然是自动驾驶面临的挑战之一。本文提出了360度道路场景语义分割使用环绕视图摄像头，这是广泛配备在现有的生产汽车。首先，为了解决鱼眼图像中的大失真问题，提出了一种用于语义分割的受限可变形卷积（RDC）方法，该方法通过学习输入特征图上卷积滤波器的形状，有效地对几何变换进行建模。其次，为了获得大规模的环绕视图图像的训练集，提出了一种称为变焦增强的新方法将常规图像转换为鱼眼图像。最后，建立了一个基于RDC的语义分割模型，通过将真实世界图像与变换后的图像相结合的多任务学习架构，对真实世界的环绕视图图像训练该模型。实验证明了RDC处理大失真图像的有效性，并且所提出的方法在变换后的图像的帮助下使用环绕视图相机显示出良好的性能。
2019-09-16 cs.CV
Fisheye Lens Camera based Autonomous Valet Parking System
Handong Global University（韩东国际大学）；VADAS Co., Ltd.（VADAS有限公司）
本文提出了一种有效的自主代客泊车系统，只利用摄像头，这是最广泛使用的传感器。为了即时捕捉更多信息并对周围环境的变化做出快速反应，鱼眼相机与针孔相机相比具有更宽的视角。因此，视觉同时定位与地图构建用于识别停车场的布局并跟踪车辆的位置。此外，输入的图像帧被转换成周围的视图监视器图像，以解决鱼眼镜头的失真，因为边缘检测算法应该被应用于针孔相机拍摄的图像。所提出的系统采用了一个查找表的实时的操作，最大限度地减少了处理AVM图像时遇到的计算复杂性。测量每个过程的检测率和自主停车的成功率，以评估性能。实验结果证实，自主泊车可以实现只用视觉传感器。
2021-04-27 cs.CV
Let's Get Dirty: GAN Based Data Augmentation for Camera Lens Soiling Detection in Autonomous Driving
Valeo（法雷奥）；CTU in Prague（布拉格捷克理工大学）
广角鱼眼摄像头通常用于自动驾驶停车和低速导航任务。四个这样的摄像头形成一个环绕视图系统，提供车辆的完整和详细的视图。这些相机直接暴露在恶劣的环境中，很容易被泥土、灰尘、水和霜冻弄脏。摄像机镜头上的污染会严重降低视觉感知算法，并且越来越多地部署由污染检测算法触发的摄像机清洁系统。虽然恶劣的天气条件，如下雨，最近越来越受到关注，但在一般土壤方面的工作有限。主要原因是难以收集不同的数据集，因为这是一个相对罕见的事件。我们提出了一种新的基于GAN的算法，用于生成污染图像的不可见模式。此外，所提出的方法自动提供相应的污染掩模消除人工注释成本。增强所生成的污染图像进行训练，显着提高污染检测任务的准确性18%，证明其有用性。手动标注的污染数据集和生成的扩增数据集将被公开。我们展示了我们的鱼眼训练GAN模型在Cityscapes数据集上的泛化。我们提供了一个经验评估的退化的语义分割算法与污染的数据。
2020-11-14 cs.CV cs.LG cs.RO
Parking Spot Classification based on surround view camera system
本文基于环视鱼眼摄像头系统解决停车位分类问题，通过改进YOLOv4并引入新型多边形边界框模型，有效区分普通、电动汽车及残疾人车位，是自动代客泊车场景下的首个详细研究。
2023-10-05 cs.AI cs.CV
Universal Semantic Segmentation for Fisheye Urban Driving Images
Zhejiang University（浙江大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语义分割是自动驾驶领域的一种重要方法。在进行语义图像分割时，更宽的视场（FoV）有助于获得更多关于周围环境的信息，使自动驾驶更安全，更可靠，这可以通过鱼眼相机提供。然而，由于没有大规模的公共鱼眼数据集，且鱼眼相机拍摄的鱼眼图像具有较大的FoV，畸变较大，无法直接使用常用的语义分割模型。本文提出了一种七自由度（DoF）增强方法，以更全面的方式将直线图像转换为鱼眼图像。在训练过程中，直线图像被转换成鱼眼图像在七个自由度，这模拟了鱼眼图像拍摄的相机的不同位置，方向和焦距。实验结果表明，七自由度增强训练可以提高模型的精度和对不同畸变鱼眼数据的鲁棒性。这种七自由度增强为不同自动驾驶应用中的鱼眼相机提供了通用的语义分割解决方案。此外，我们还提供了自动驾驶增强的具体参数设置。最后，我们在真实的鱼眼图像上测试了我们的通用语义分割模型，取得了令人满意的结果。代码和配置在www.example.com上发布。
2020-08-24 cs.CV cs.LG stat.ML
MIVIFI: Bridging Perspective and Fisheye Domains for Training Multi-View Fisheye Image Generation Models
ETH Zurich（苏黎世联邦理工学院）；Bosch Research（博世研究中心）；Technical University of Munich（慕尼黑工业大学）
本研究针对多视图鱼眼图像生成问题，提出SyntheOcc-FE与MIVIFI两种方法，其中MIVIFI利用跨域学习缓解鱼眼数据稀缺问题，实现高保真的多视图鱼眼图像生成。
2026-08-25 cs.CV cs.RO
Relative Drone-Ground Vehicle Localization using LiDAR and Fisheye Cameras through Direct and Indirect Observations
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；The University of Tokyo（东京大学）；Line Corporation（Line公司）
估计无人飞行器（UAV）或无人机的姿态是一项具有挑战性的任务。它适用于许多应用，如导航，监视，跟踪地面上的物体和3D重建。在这项工作中，我们提出了一种基于激光雷达相机的无人机和地面车辆之间的相对姿态估计方法，使用激光雷达传感器和鱼眼相机在车辆的屋顶和另一个鱼眼相机安装在无人机下。LiDAR传感器直接观察无人机并测量其位置，两个摄像头通过间接观察周围物体来估计相对方位。我们提出了一种基于动态自适应核的无人机检测和跟踪方法，使用激光雷达。我们检测消失点在两个相机，并找到它们的对应关系，以估计相对取向。此外，我们提出了一种旋转校正技术，依靠通过激光雷达观察到的无人机的运动。在我们的实验中，我们能够实现对无人机的快速初始检测和实时跟踪。我们的方法是全自动的。
2020-11-17 cs.CV cs.RO
FUSEye: Training-Light Fisheye Detection with Overlapping Views and Zero-Initialized Adapters
Hunan University（湖南大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
FUSEye通过重叠网格视图、零初始化适配器和跨投影一致性融合，以极轻训练成本将COCO预训练YOLO26-x高效转化为鱼眼检测器，在WoodScape基准上显著提升性能。
2026-10-05 cs.CV cs.RO eess.IV
Camera calibration for the surround-view system: a benchmark and dataset
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network（北京先进信息科学与网络重点实验室）
针对环视系统外参标定不成熟的问题，提出一种基于车道线和迭代优化的稳健标定流程，并构建含40个视频、32,000帧的环视鱼眼数据集以评估性能。
2023-12-27 cs.CV
RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；SenseAuto Research（速腾聚创研究院）
本文针对拥挤和非结构化环境下的自我中心机器人感知问题，搭建了多传感器平台并构建了大规模多模态数据集RoboSense，提出近场3D感知新匹配标准并规划6项任务提供基准，显著提升了近场障碍物标注规模。
2025-03-05 cs.AI cs.CV
LayerPeeler: Autoregressive Peeling for Layer-wise Image Vectorization
City University of Hong Kong（香港城市大学）；Monash University（墨尔本大学）
本文提出分层图像矢量化方法LayerPeeler，通过自回归剥离策略结合视觉语言模型、微调扩散模型与局部注意力控制，解决遮挡区域矢量化缺陷问题，效果显著优于现有方法。
2025-11-13 cs.CV cs.GR
SUPS: A Simulated Underground Parking Scenario Dataset for Autonomous Driving
Fudan University（复旦大学）；FAW (Nanjing) Technology Development Co.,Ltd（一汽（南京）科技开发有限公司）
随着自动驾驶范围的扩大，自动地下停车场引起了相当大的关注。自动车辆应该获得环境信息，跟踪其位置，并建立可靠的场景地图。主流解决方案包括经过良好训练的神经网络和同时定位与地图构建（SLAM）方法，这些方法需要大量仔细标记的图像和多个传感器估计。然而，缺乏具有多个传感器和良好标记的图像的地下停车场景数据集，这些数据集支持SLAM任务和感知任务，例如语义分割和停车位检测。在本文中，我们提出了SUPS，一个模拟数据集的地下自动停车场，它支持多个任务与多个传感器和多个语义标签对齐连续图像根据时间戳。我们打算覆盖现有数据集的缺陷与环境的变化性和传感器的多样性和可访问性的虚拟场景。具体来说，该数据集记录了来自四个周围鱼眼相机、两个前向针孔相机、一个深度相机的帧，以及来自LiDAR、惯性测量单元（IMU）、GNSS的数据。为对象提供像素级语义标签，特别是地面标志，如箭头、停车线、车道和减速带。我们的数据集支持感知、3D重建、深度估计和SLAM以及其他相关任务。我们还评估了我们数据集上最先进的SLAM算法和感知模型。最后，我们开源了基于Unity Engine构建的虚拟3D场景，并在https://github.com/jarvishou829/SUPS上发布了我们的数据集。
2023-02-25 cs.CV cs.RO
LF-VIO: A Visual-Inertial-Odometry Framework for Large Field-of-View Cameras with Negative Plane
Zhejiang University（浙江大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）
视觉惯性里程计在自动驾驶和机器人领域引起了广泛的关注。视场（FoV）的大小在视觉里程计（VO）和视觉惯性里程计（VIO）中起着重要作用，因为大的FoV使得能够感知广泛的周围场景元素和特征。然而，当相机的场到达负半平面时，不能再简单地使用[u，v，1]^T来表示图像特征点。为了解决这个问题，我们提出了LF-VIO，这是一个用于具有极大FoV的相机的实时VIO框架。我们利用一个单位长度的三维向量来表示特征点，并设计了一系列的算法来克服这一挑战。为了解决具有地面实况位置和姿态的全景视觉里程计数据集的稀缺性，我们提出了PALVIO数据集，该数据集使用全景环形透镜（PAL）系统收集，具有360°x（40°-120°）的整个FoV和IMU传感器。通过各种实验，在PALVIO基准和FoV为360°x（0°-93.5°）的公共鱼眼相机数据集上验证了所提出的LF-VIO。LF-VIO优于最先进的视觉惯性里程计方法。我们的数据集和代码在https://github.com/flysoaryun/LF-VIO上公开发布
2022-07-18 cs.CV cs.RO eess.IV
Enhanced Parking Perception by Multi-Task Fisheye Cross-view Transformers
Valeo（法雷奥）
本文提出多任务鱼眼跨视角Transformer（MT F-CVT），利用四摄像头环视系统与多头注意力生成BEV特征，结合分割和Polygon-Yolo检测实现停车位与车辆感知，在25m×25m场景中平均定位误差仅20cm，并在嵌入式平台达到16fps。
2024-09-30 cs.AI cs.CV
ViLiVO: Virtual LiDAR-Visual Odometry for an Autonomous Vehicle with a Multi-Camera System
Shanghai Jiao Tong University（上海交通大学）；SAIC Motor（上海汽车集团股份有限公司）
在本文中，我们提出了一个多摄像机视觉里程计（VO）系统的自主车辆。我们的系统主要由一个虚拟激光雷达和一个姿态跟踪器。我们使用透视变换的方法来合成一个环绕视图的图像从无失真的鱼眼相机图像。利用语义分割模型，可以提取出自由空间。虚拟激光雷达的扫描是通过离散化自由空间的轮廓来生成的。在姿态跟踪方面，提出了一种融合特征匹配和虚拟激光雷达扫描匹配结果的视觉里程计系统。只有那些位于自由空间区域中的特征点被用来确保用于位姿估计的2D-2D匹配。此外，进行光束法平差（BA），以最小化特征点重投影误差和扫描匹配误差。我们将我们的系统应用于配备四个鱼眼摄像头的自动驾驶汽车。测试场景包括室外停车场和室内车库。实验结果表明，我们的系统实现了更强大的和准确的性能相比，基于鱼眼相机的单目视觉里程计系统。
2019-09-30 cs.CV cs.RO
Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via Establishing Pseudo-Stereo Supervision
Beijing Jiaotong University（北京交通大学）
全向多视图立体视觉（MVS）视觉因其超宽视场（FoV）而具有吸引力，使机器能够感知360° 3D环境。然而，现有的解决方案需要昂贵的密集深度标签进行监督，这使得它们在现实世界的应用中不切实际。在本文中，我们提出了第一个无监督的全向MVS框架的基础上，多个鱼眼图像。为此，我们将所有图像投影到一个虚拟的视图中心，并从两对背靠背的鱼眼图像合成两个具有球面几何形状的全景图像。两个360°图像形成具有特殊姿态的立体对，并且利用光度一致性来建立无监督约束，我们称之为“伪立体监督”。此外，我们还提出了一种高效的无监督全向MVS网络Un-OmniMVS，以提高两个有效组件的推理速度。首先，提出了一种新的特征提取器与频率的关注，同时捕获的非局部傅立叶特征和局部空间特征，明确地促进特征表示。然后，提出了一种基于方差的轻代价体积，以降低计算复杂性。实验表明，我们的无监督解决方案的性能是有竞争力的最先进的（SoTA）监督方法，在现实世界的数据具有更好的泛化。
2023-02-22 cs.CV
COMPASS: COmpact Multi-channel Prior-map And Scene Signature for Floor-Plan-Based Visual Localization
Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg (UL)（自动化与机器人研究组，安全、可靠性与信任跨学科中心（SnT），卢森堡大学（UL））
本文提出COMPASS算法，利用平面图中的几何和语义先验信息，通过多通道径向描述符估计配备双鱼眼相机的机器人姿态，验证了跨模态结构匹配的可行性。
2026-04-28 cs.CV cs.RO
VH-HFCN based Parking Slot and Lane Markings Segmentation on Panoramic Surround View
Tongji University（同济大学）
自动泊车正在由汽车制造商和供应商大规模开发。到目前为止，自动泊车存在两个问题。首先，在全景环绕视图（PSV）数据集上没有开放可用的停车位分割标签。第二，如何鲁棒地检测停车位和道路结构。因此，在本文中，我们建立了一个公共PSV数据集。同时，我们提出了一种基于高度融合卷积网络（HFCN）的停车位和车道标记的分割方法的基础上的PSV数据集。环绕视图图像由从四个鱼眼相机捕获的四个校准图像组成。我们为此任务收集并标记了4，200多张环绕视图图像，其中包含不同类型停车位的各种照明场景。本文提出了一种VH-HFCN网络，它以HFCN为基础，通过一个高效的VH级来更好地分割各种标记。VH级由两个独立的线性卷积路径组成，分别具有垂直卷积核和水平卷积核。这种修改使网络能够鲁棒且精确地提取线性特征。我们在PSV数据集上对我们的模型进行了评估，结果显示在地面标记分割方面表现出色。在分割标线的基础上，通过灰度化、霍夫线变换和直线排列，得到停车位和车道。
2018-05-07 cs.CV cs.RO
ParkGaussian: Surround-view 3D Gaussian Splatting for Autonomous Parking
Hangzhou Dianzi University（杭州电子科技大学）
ParkGaussian通过整合3D高斯点云法，实现了停车场景的高质量重建，提升了自动驾驶停车任务中的感知一致性。
2026-01-04 cs.AI cs.CV
Multi-Task Network Pruning and Embedded Optimization for Real-time Deployment in ADAS
Valeo（法雷奥）
自动驾驶系统中越来越需要基于相机的深度学习算法来实现感知。然而，来自汽车行业的限制通过将有限的计算资源强加给嵌入式系统来挑战CNN的部署。在本文中，我们提出了一种方法来嵌入一个多任务的CNN网络在商业原型平台上，即低功耗的片上系统（SoC）处理四个环绕视图鱼眼相机在10 FPS的条件下。第一个重点是设计一个高效和紧凑的多任务网络架构。其次，应用修剪方法来压缩CNN，有助于将运行时间和内存使用减少2倍，而不会显着降低性能。最后，提出了混合量化格式的使用和不同存储区之间的高效数据传输等嵌入式优化技术，以保证实时的【形】执行和避免带宽瓶颈。该方法在硬件平台上进行了评估，考虑嵌入式检测性能，运行时间和内存带宽。与大多数文献中专注于分类任务的作品不同，我们的目标是研究修剪和量化对具有目标检测，语义分割和污染检测任务的紧凑多任务网络的影响。
2021-01-19 cs.CV cs.LG
