Rethinking Camera Choice: An Empirical Study on Fisheye Camera Properties in Robotic Manipulation
Shanghai Jiao Tong University(上海交通大学);Southeast University(东南大学);USTC(中国科学技术大学);Shanghai Innovation Institute(上海创新研究院);Noematrix Ltd.(Noematrix有限公司)
本文通过实证研究发现鱼眼相机在机器人操作中需考虑视场角、环境复杂性和随机尺度增强策略以提升性能。
2026-03-02 cs.CV cs.RO
Real-Time Dense Mapping for Self-driving Vehicles using Fisheye Cameras
ETH Zürich(苏黎世联邦理工学院);DSO National Laboratories(DSO国家实验室);MPI-IS(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);Microsoft(微软);Chalmers University of Technology(查尔姆斯理工大学)
提出了一种适用于大规模环境的实时的【形】稠密几何映射算法。与现有的使用针孔摄像机的方法不同,我们的实现是基于鱼眼摄像机,具有更大的视野,并有利于其他一些任务,包括视觉惯性里程计,定位和车辆周围的目标检测。我们的算法在车载PC上以大约15 Hz的频率运行,为自动驾驶车辆提供仅视觉的3D场景感知。对于由多个相机捕获的每个同步图像集,我们首先使用平面扫描立体来计算参考相机的深度图。为了保持准确性和效率,同时考虑到鱼眼图像具有相当低的分辨率的事实,我们使用多个图像分辨率来恢复深度。我们采用快速目标检测框架YOLOv3来去除潜在的动态对象。在流水线的最后,我们将鱼眼深度图像融合到截断符号距离函数(TSDF)体积中以获得3D地图。我们在大规模城市数据集上对我们的方法进行了评估,结果表明,我们的方法即使在复杂的环境中也能很好地工作。
2019-04-18 cs.RO
Localization of a Smart Infrastructure Fisheye Camera in a Prior Map for Autonomous Vehicles
Texas A&M University(得克萨斯农工大学);Ford Autonomous Vehicles LLC(福特自动驾驶汽车有限责任公司)
这项工作提出了一种技术,用于本地化的智能基础设施节点,由鱼眼相机,在先前的地图。这些摄像头可以检测自动驾驶汽车(AV)视线之外的物体,并使用V2X技术将这些信息发送给AV。然而,为了使该信息对AV有任何用处,应在AV用于其自身导航的先前地图的参考系中提供检测到的对象。因此,重要的是知道基础设施相机相对于先前地图的准确姿态。在这里,我们建议解决这个定位问题,在两个步骤中,\textit{(i)}我们执行鱼眼图像和鸟瞰图(BEV)卫星图像的透视投影之间的特征匹配,从先验地图估计初始相机姿态,\textit{(ii)}我们完善的初始化最大化之间的互信息(MI)的鱼眼图像的像素值的强度和反射率的3D激光雷达点的地图数据。我们验证我们的方法模拟数据,并与现实世界的数据。
2021-09-28 cs.RO
Benchmarking Multi-View BEV Object Detection with Mixed Pinhole and Fisheye Cameras
Machine Learning Group, fortiss GmbH(fortiss GmbH机器学习组)
本文提出混合相机配置下的多视图鸟眼图检测基准,通过转换KITTI-360为nuScenes格式,评估了三种BEV架构在不同策略下的性能,证明投影自由架构更抗鱼眼畸变。
2026-03-29 cs.CV cs.RO
Spherical formulation of geometric motion segmentation constraints in fisheye cameras
Valeo Vision Systems(法雷奥视觉系统公司);University of Limerick(利默里克大学)
我们介绍了一种视觉运动分割方法采用球面几何鱼眼相机和自动驾驶。针孔图像中三个常用的几何约束(正高度,正深度和核线约束)被重新表述为球坐标,只要相机校准是已知的,使它们对特定的相机配置不变。第四个约束,被称为反平行约束,被添加到解决运动视差模糊,以支持检测相对于主车辆进行平行或接近平行运动的移动物体。一个最终的约束约束,被称为球面三视图约束,虽然没有在我们提出的算法描述。结果表明,该建议是一种有效的运动分割方法,直接就业的鱼眼图像。
2021-04-26 cs.CV cs.RO
Generalized Object Detection on Fisheye Cameras for Autonomous Driving: Dataset, Representations and Baseline
Valeo R&D(法雷奥研发中心);Valeo Vision Systems(法雷奥视觉系统公司);Valeo DAR Kronach(法雷奥克罗纳赫DAR);University of Limerick(利默里克大学)
目标检测是自动驾驶领域的一个研究热点。然而,在鱼眼相机的情况下,它相对较少被探索。标准的限界框在鱼眼相机中由于强烈的径向失真而失败,特别是在图像的外围。在这项工作中,我们探索更好的表示,如有向的限界框,椭圆,和通用多边形的目标检测鱼眼图像。我们使用IoU度量来使用准确的实例分割地面实况来比较这些表示。我们设计了一种新的弯曲限界框模型,具有最佳的鱼眼失真模型的属性。我们还设计了一个曲率自适应周长采样方法获得多边形顶点,提高相对mAP得分4.9%,均匀采样相比。总体而言,所提出的多边形模型将mIoU的相对准确度提高了40.3%。据我们所知,这是第一次详细研究自动驾驶场景中鱼眼摄像头的目标检测。由10,000张图像组成的数据集以及所有对象表示地面真相将公开,以鼓励进一步研究。我们在https://youtu.be/iLkOzvJpL-A上的一个简短的视频中总结了我们的工作和定性结果。
2022-12-21 cs.CV cs.RO
Relative Drone-Ground Vehicle Localization using LiDAR and Fisheye Cameras through Direct and Indirect Observations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);The University of Tokyo(东京大学);Line Corporation(Line公司)
估计无人飞行器(UAV)或无人机的姿态是一项具有挑战性的任务。它适用于许多应用,如导航,监视,跟踪地面上的物体和3D重建。在这项工作中,我们提出了一种基于激光雷达相机的无人机和地面车辆之间的相对姿态估计方法,使用激光雷达传感器和鱼眼相机在车辆的屋顶和另一个鱼眼相机安装在无人机下。LiDAR传感器直接观察无人机并测量其位置,两个摄像头通过间接观察周围物体来估计相对方位。我们提出了一种基于动态自适应核的无人机检测和跟踪方法,使用激光雷达。我们检测消失点在两个相机,并找到它们的对应关系,以估计相对取向。此外,我们提出了一种旋转校正技术,依靠通过激光雷达观察到的无人机的运动。在我们的实验中,我们能够实现对无人机的快速初始检测和实时跟踪。我们的方法是全自动的。
2020-11-17 cs.CV cs.RO
Stitching Videos from a Fisheye Lens Camera and a Wide-Angle Lens Camera for Telepresence Robots
Beijing Institute of Technology(北京理工大学)
许多远程呈现机器人都配备了一个面向前方的摄像头用于视频通信,一个面向下方的摄像头用于导航。在本文中,我们提出了缝合视频从FF相机与广角镜头和DF相机与鱼眼镜头的遥现机器人。我们的目标是提供更紧凑和有效的视觉反馈的用户界面的遥现机器人与用户友好的交互体验。为此,我们提出了一种基于多单应性的视频拼接方法,该方法将来自广角相机和鱼眼相机的视频拼接在一起。该方法包括视频图像对齐,接缝切割,图像融合。基于多单应性对准算法,直接将广角视频图像与鱼眼视频图像进行对准,无需标定、畸变校正和反扭曲等过程。因此,我们可以获得一个拼接的视频与形状保持在非重叠区域和对准的重叠区域的远程呈现。为了减轻在远程呈现机器人驱动期间由移动对象和/或移动相机引起的重影效应,找到用于对准的视频合成的最佳接缝,并且考虑空间和时间相干性,将在后续帧中更新最佳接缝。最后拼接的视频通过基于最佳接缝的图像混合来创建。我们进行了用户研究,以证明我们的方法的有效性和优越性的遥现机器人与拼接视频作为视觉反馈。
2019-03-15 cs.CV cs.HC cs.RO
SVDistNet: Self-Supervised Near-Field Distance Estimation on Surround View Fisheye Cameras
Valeo DAR Kronach(法雷奥DAR克罗纳赫);TU Ilmenau(伊尔梅瑙工业大学);TU Braunschweig(布伦瑞克工业大学);Valeo Vision Systems(法雷奥视觉系统)
场景几何的360°感知对于自动驾驶至关重要,特别是对于停车和城市驾驶场景。通常情况下,它是通过使用环绕视角鱼眼相机来实现的,聚焦于车辆周围的近场区域。大多数当前的深度估计方法集中于仅采用单个相机,这不能直接推广到多个相机。深度估计模型必须在数百万辆汽车上配备的各种摄像机上进行测试,这些摄像机具有不同的摄像机几何形状。即使在一辆车内,由于制造公差,本质也会有所不同。深度学习模型对这些变化很敏感,实际上不可能对每个相机变体进行训练和测试。因此,我们提出了新的相机几何自适应多尺度卷积,利用相机参数作为条件输入,使模型能够推广到以前看不见的鱼眼相机。此外,我们通过基于成对和分片向量的自注意编码器网络改进了距离估计。我们评估我们的方法在鱼眼WoodScape环绕视图数据集,显着改善了以前的方法。我们还展示了我们的方法在不同相机视角的泛化,并进行了广泛的实验,以支持我们的贡献。为了与其他方法进行比较,我们评估了KITTI数据集上的前置摄像头数据(针孔摄像头图像),并在自监督单目方法中实现了最先进的性能。https://youtu.be/bmX0UcU9wtA提供了定性结果的概述视频。基线代码和数据集将被公开。
2021-04-09 cs.CV cs.RO
A*SLAM: A Dual Fisheye Stereo Edge SLAM
Astar.ai, Inc.(Astar.ai公司)
本文提出了一种融合两组鱼眼立体摄像机,以图像边缘作为SLAM特征的A*SLAM系统。双鱼眼立体摄像头组覆盖了SLAM系统的完整环境视图。从每个鱼眼立体图像对中,可以直接提取全景深度图像用于初始化SLAM特征。边缘特征是光照不变特征。本文提出了一种基于边缘的同时定位与地图构建方法,该方法可交替使用正像和逆像。
2019-11-11 cs.CG cs.RO
Distortion-Aware PETR for BEV Object Detection with Mixed Pinhole-Fisheye Cameras
fortiss GmbH(fortiss有限公司)
针对鱼眼相机径向畸变破坏BEV检测器均匀采样假设的问题,提出DAPETR,通过畸变感知位置编码和双向特征-几何协同调制模块,在KITTI-360基准上优于基线方法,并揭示了学习适应与显式几何重参数化之间的冲突。
2026-06-07 cs.CV cs.RO
SynDistNet: Self-Supervised Monocular Fisheye Camera Distance Estimation Synergized with Semantic Segmentation for Autonomous Driving
Valeo DAR Kronach(法雷奥DAR克罗纳赫);Technische Universität Ilmenau(伊尔默瑙工业大学);Technische Universität Braunschweig(布伦瑞克工业大学);Valeo Vision Systems(法雷奥视觉系统)
用于单目深度估计的最先进的自监督学习方法通常遭受尺度模糊。当应用于复杂投影模型的距离估计时,例如在鱼眼和全向相机中,它们不能很好地推广。本文介绍了一种新的多任务学习策略,以改善鱼眼和针孔相机图像的自监督单目距离估计。我们对这项工作的贡献是三方面的:首先,我们引入了一种新的距离估计网络架构,使用基于自注意力的编码器,再加上强大的语义特征指导,可以在一个阶段的方式训练的解码器。其次,我们集成了一个广义的鲁棒损失函数,它显着提高了性能,同时消除了需要超参数调整与重投影损失。最后,我们减少了文物所造成的动态对象违反静态世界的假设,使用语义掩蔽策略。我们显着改善后的RMSE的鱼眼由25%的RMSE减少以前的工作。由于鱼眼相机的工作很少,我们评估了所提出的方法KITTI使用针孔模型。我们在自监督方法中实现了最先进的性能,而无需外部尺度估计。
2020-11-14 cs.CV cs.RO
FisheyeSuperPoint: Keypoint Detection and Description Network for Fisheye Images
Maynooth University(梅努斯大学);University of Limerick(利默里克大学);Valeo Vision Systems(法雷奥视觉系统公司)
关键点检测和描述是计算机视觉系统中常用的构建块,特别是用于机器人和自动驾驶。然而,到目前为止,大多数技术都集中在标准相机上,很少考虑通常用于城市驾驶和自动停车的鱼眼相机。在本文中,我们提出了一种新的鱼眼图像的训练和评估管道。我们使用SuperPoint作为我们的基线,它是一个自监督的关键点检测器和描述符,在单应性估计方面取得了最先进的结果。我们引入了一个鱼眼自适应管道,以支持在未失真的鱼眼图像上进行训练。我们评估的性能HPatches基准,并通过引入基于鱼眼的评价方法检测重复性和描述符匹配的正确性,在牛津RobotCar数据集。
2021-11-29 cs.CV cs.RO
DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning
QT Technologies Ireland Limited(QT技术爱尔兰有限公司);Qualcomm Technologies International GmbH(高通技术国际有限公司);Qualcomm Technologies, Inc.(高通技术公司)
针对环视鱼眼相机缺少BEV分割数据集与去畸变缺陷的问题,本文构建Cognata合成数据集,提出支持任意相机模型、带畸变感知BEV池化和遮挡推理的DaF-BEVSeg。
2024-04-09 cs.CV cs.RO
Adapting CNNs for Fisheye Cameras without Retraining
Australian Centre For Robotics (ACFR)(澳大利亚机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院);The University of Sydney(悉尼大学)
针对大视场鱼眼图像校正需大幅裁剪、现有CNN无法直接适配的问题,提出无需重训的RectConv层替换方案,可直接处理原生鱼眼图像,在公开数据集上验证了分割与检测效果,推动透视图像资源适配多类相机。
2024-04-12 cs.CV cs.RO
MFVINS: Multiple Fisheye Camera-Based Visual Inertial System
Jeonbuk National University(国立全北大学);BSTAR Robotics, Inc.(BSTAR机器人公司)
针对单目VINS在遮挡、光照变化和无纹理环境下误差累积的问题,提出基于多鱼眼相机的MFVINS,采用IMU辅助FAST特征跟踪、畸变外点滤除及带物理约束的重投影误差束调整,实现实时鲁棒定位。
2026-09-09 cs.CV cs.RO
Real-Time Variational Fisheye Stereo without Rectification and Undistortion
The University of Tokyo(东京大学)
来自广角相机的密集3D地图有利于机器人应用,如导航和自动驾驶。在这项工作中,我们提出了一个实时的【形】的鱼眼相机密集的三维映射方法,没有明确的整流和不失真。我们扩展了传统的变分立体方法,通过限制对应搜索沿极线曲线使用的轨迹场引起的摄像机运动。我们还提出了一种快速生成轨迹场的方法,而不增加处理时间相比,传统的整流方法。通过我们的实现,我们能够使用现代GPU实现实时的【形】处理。我们的研究结果表明,我们的非整流稠密映射方法相比,整流变分方法和非整流离散立体匹配方法的优势。
2019-09-17 cs.CV cs.RO eess.IV
OccTrack360: 4D Panoptic Occupancy Tracking from Surround-View Fisheye Cameras
School of Artificial Intelligence and Robotics, Hunan University(人工智能与机器人学院,湖南大学);State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University(极端光子学与仪器国家重点实验室,浙江大学);National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University(机器人视觉感知与控制技术国家工程研究中心,湖南大学)
OccTrack360提出新的4D全景占用跟踪基准及FoSOcc框架,解决鱼眼成像中的球面投影和体素定位问题,提升占用跟踪性能。
2026-07-28 cs.CV cs.RO eess.IV
Systematic Comparison of Projection Methods for Monocular 3D Human Pose Estimation on Fisheye Images
Chair for Computer Vision, RWTH Aachen University(计算机视觉系,亚琛工业大学);Robert Bosch GmbH, Corporate Research & Bosch Center for AI(博世集团,博世人工智能研究中心)
本文系统比较了针孔、等距、双球和圆柱投影方法对单目鱼眼图像三维人体姿态估计的影响,提出基于检测框选择投影模型的启发式方法,并引入新数据集FISHnCHIPS,发现双球模型显著提升精度。
2025-06-24 cs.CV cs.RO
Look Both Ways: Bidirectional Visual Sensing for Automatic Multi-Camera Registration
Ford Greenfield Labs(福特格林菲尔德实验室)
这项工作描述了一个大型网络(约40)的自动注册的固定,安装在天花板上的环境摄像机分布在一个大的区域(约800平方米)使用移动校准机器人配备了一个单一的朝上鱼眼摄像机和背光ArUco标记,便于检测。鱼眼摄像机用于进行视觉里程计(VO),ArUco标记便于在环境摄像机中轻松检测校准机器人。此外,鱼眼相机还能够检测环境相机。这种双向、双向检测约束环境摄像机的姿态以解决优化问题。这种方法可以用于自动注册用于监视、自动停车或机器人应用的大规模多摄像机系统。这种基于VO的多相机配准方法已经使用真实世界的实验进行了广泛的验证,并且还与使用LiDAR的类似方法进行了比较-LiDAR是一种昂贵,较重且耗电的传感器。
2022-10-07 cs.RO
Geometry-Aware Fisheye-LiDAR Fusion for Robust 3D Object Detection in Low-Overlap Setups
Technical University of Munich(慕尼黑工业大学)
针对稀疏视角下鱼眼相机与激光雷达的几何畸变和低重叠问题,提出几何感知混合融合框架,通过畸变感知LSS模块和双注意力校正模块实现极坐标与笛卡尔特征融合,在三个基准上提升检测精度。
2026-06-07 cs.CV cs.RO
Near-field Perception for Low-Speed Vehicle Automation using Surround-view Fisheye Cameras
University of Limerick(利默里克大学);Valeo Vision Systems(法雷奥视觉系统公司)
本文综述面向自动泊车等低速场景的环视鱼眼近场感知系统,提出由识别、重建、重定位和重组构成的4R架构,并结合既有结果与架构方案论证其协同可行性。
2023-06-06 cs.CV cs.RO
CubemapSLAM: A Piecewise-Pinhole Monocular Fisheye SLAM System
The College of Computer and Control Engineering, Nankai University(南开大学计算机与控制工程学院);UISEE Technology (Beijing) Co., Ltd.(UISEE科技(北京)有限公司);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种基于特征的大视场鱼眼摄像机实时同时定位与地图构建系统。大型FoV摄像机对于大规模户外SLAM应用是有益的,因为它们增加了连续帧之间的视觉重叠,并捕获更多属于环境静态部分的像素。然而,当前基于特征的SLAM系统(诸如PTAM和ORB-SLAM)将其相机模型仅限于针孔。为了弥补这一空缺,我们提出了一种新的SLAM系统与立方体地图模型,利用完整的FoV而不引入鱼眼镜头的失真,这大大有利于特征匹配管道。在初始化和点三角剖分阶段,我们采用了一个统一的基于矢量的表示,以有效地处理跨多个面的匹配,并基于此表示,我们提出并分析了一种新的内点检查度量。在优化阶段,我们设计并测试了一种新的多针孔重投影误差度量,它的性能大大优于其他度量。我们在一个公共数据集和一个包含现实世界挑战性序列的自我收集的数据集上全面评估了我们的系统。结果表明,我们的系统比其他基于特征的鱼眼SLAM方法更鲁棒和准确。CubemapSLAM系统已被释放到公有领域。
2019-02-27 cs.RO
Dynamic Object Detection and Tracking in Construction: A Fisheye Camera and LiDAR Sensor Fusion Model
Georgia Institute of Technology(佐治亚理工学院)
针对建筑等复杂环境中机器人动态目标检测与跟踪问题,提出融合鱼眼相机与激光雷达传感器的框架,通过在配准点云里识别移动物体、投影坐标分配语义标签并结合图像检测更新卡尔曼滤波器观测,具有高精度、简单且鲁棒的特点。
2026-07-09 cs.CV cs.RO
Observation Quality Matters: Robust Multi-Fisheye Calibration via Failure-Oriented Analysis
The Hong Kong University of Science and Technology(香港科技大学)
研究多鱼眼相机校准难题,通过面向失败分析发现内参初始化是主因,提出CO - Calib框架,结合鲁棒目标检测器和误差分析引导帧选择器,实验表明该框架提升校准成功率、外参精度及校准稳定性。
2026-07-08 cs.RO
BAMF-SLAM: Bundle Adjusted Multi-Fisheye Visual-Inertial SLAM Using Recurrent Field Transforms
Institute for Photogrammetry, University of Stuttgart, Germany(摄影测量研究所,斯图加特大学,德国);Audiovisual Lab, Huawei Munich Research Center, Germany(视听实验室,华为慕尼黑研究中心,德国);CAMP, Technical University of Munich, Germany(CAMP,慕尼黑技术大学,德国);Central Media Technology Institute, Huawei 2012 Laboratories, China(中央媒体技术研究所,华为2012实验室,中国)
提出BAMF-SLAM多鱼眼视觉惯性SLAM系统,结合束调整与循环场变换,实现低纹理场景下高精度鲁棒状态估计,并在多个数据集及Hilti挑战赛中取得领先性能。
2023-06-14 cs.RO
ViLiVO: Virtual LiDAR-Visual Odometry for an Autonomous Vehicle with a Multi-Camera System
Shanghai Jiao Tong University(上海交通大学);SAIC Motor(上海汽车集团股份有限公司)
在本文中,我们提出了一个多摄像机视觉里程计(VO)系统的自主车辆。我们的系统主要由一个虚拟激光雷达和一个姿态跟踪器。我们使用透视变换的方法来合成一个环绕视图的图像从无失真的鱼眼相机图像。利用语义分割模型,可以提取出自由空间。虚拟激光雷达的扫描是通过离散化自由空间的轮廓来生成的。在姿态跟踪方面,提出了一种融合特征匹配和虚拟激光雷达扫描匹配结果的视觉里程计系统。只有那些位于自由空间区域中的特征点被用来确保用于位姿估计的2D-2D匹配。此外,进行光束法平差(BA),以最小化特征点重投影误差和扫描匹配误差。我们将我们的系统应用于配备四个鱼眼摄像头的自动驾驶汽车。测试场景包括室外停车场和室内车库。实验结果表明,我们的系统实现了更强大的和准确的性能相比,基于鱼眼相机的单目视觉里程计系统。
2019-09-30 cs.CV cs.RO
End-to-end Autonomous Vehicle Following System using Monocular Fisheye Camera
department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学);Key Laboratory of System Control and Information Processing, Ministry of Education(系统控制与信息处理重点实验室,教育部);Global Institute of Future Technology, Shanghai Jiao Tong University(未来技术全球研究院,上海交通大学)
本文提出一种基于单目鱼眼摄像头的端到端自动驾驶跟车系统,通过语义掩码和动态采样机制提升驾驶性能,实现低成本的车辆编队应用。
2025-11-24 cs.RO
360$^\circ$ Depth Estimation from Multiple Fisheye Images with Origami Crown Representation of Icosahedron
The University of Tokyo(东京大学);Chiba Institute of Technology(千叶工业大学);Tohoku University(东北大学)
在这项研究中,我们提出了一种方法,从室内环境的多个全向图像的全方位深度估计。特别是,我们专注于平面扫描立体作为从图像的深度估计的方法。我们提出了一种新的基于二十面体的表示和全方位图像的ConvNets,我们将其命名为“CrownConv”,因为该表示类似于折纸制成的皇冠。CrownConv可以应用于鱼眼图像和等距矩形图像来提取特征。此外,我们提出了基于二十面体的球形扫描,用于从提取的特征生成二十面体上的成本体积。使用三维CrownConv对成本体积进行正则化,并通过深度回归从成本体积获得最终深度。我们提出的方法是鲁棒的摄像机对准通过使用外部摄像机参数,因此,它可以实现精确的深度估计,即使当摄像机对准不同于在训练数据集。我们在合成数据集上评估了所提出的模型,并证明了其有效性。由于我们提出的方法计算效率高,因此使用带有GPU的笔记本电脑在不到一秒的时间内从四个鱼眼图像中估计深度。因此,它适用于现实世界的机器人应用。我们的源代码可在https://github.com/matsuren/crownconv360depth上获得。
2020-07-14 cs.CV cs.RO
Fish2Mesh Transformer: 3D Human Mesh Recovery from Egocentric Vision
Santa Clara University(圣克拉拉大学)
本文提出Fish2Mesh,一种基于鱼眼感知Transformer的第一人称三维人体网格恢复模型,通过第一人称位置嵌入、多任务SMPL回归和弱监督训练,在自遮挡和畸变条件下优于现有方法。
2025-03-08 cs.CV cs.RO
FishDreamer: Towards Fisheye Semantic Completion via Unified Image Outpainting and Segmentation
Zhejiang University(浙江大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hunan University(湖南大学);University of Oxford(牛津大学);Supremind(超维视景)
该研究提出鱼眼语义补全任务,利用融合 PCA 的 FishDreamer 统一视场外图像外推与视场内分割,并构建两个数据集验证其优势。
2023-04-20 cs.CV cs.RO eess.IV
OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving
Valeo(法雷奥);TU Ilmenau(伊尔默瑙工业大学)
本文提出 OmniDet 多任务鱼眼视觉感知网络,通过共享编码器、协同解码器、相机几何自适应和多边形检测,实现六项自动驾驶感知任务并取得先进性能。
2023-06-06 cs.CV cs.RO
Let's Get Dirty: GAN Based Data Augmentation for Camera Lens Soiling Detection in Autonomous Driving
Valeo(法雷奥);CTU in Prague(布拉格捷克理工大学)
广角鱼眼摄像头通常用于自动驾驶停车和低速导航任务。四个这样的摄像头形成一个环绕视图系统,提供车辆的完整和详细的视图。这些相机直接暴露在恶劣的环境中,很容易被泥土、灰尘、水和霜冻弄脏。摄像机镜头上的污染会严重降低视觉感知算法,并且越来越多地部署由污染检测算法触发的摄像机清洁系统。虽然恶劣的天气条件,如下雨,最近越来越受到关注,但在一般土壤方面的工作有限。主要原因是难以收集不同的数据集,因为这是一个相对罕见的事件。我们提出了一种新的基于GAN的算法,用于生成污染图像的不可见模式。此外,所提出的方法自动提供相应的污染掩模消除人工注释成本。增强所生成的污染图像进行训练,显着提高污染检测任务的准确性18%,证明其有用性。手动标注的污染数据集和生成的扩增数据集将被公开。我们展示了我们的鱼眼训练GAN模型在Cityscapes数据集上的泛化。我们提供了一个经验评估的退化的语义分割算法与污染的数据。
2020-11-14 cs.CV cs.LG cs.RO
COMPASS: COmpact Multi-channel Prior-map And Scene Signature for Floor-Plan-Based Visual Localization
Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg (UL)(自动化与机器人研究组,安全、可靠性与信任跨学科中心(SnT),卢森堡大学(UL))
本文提出COMPASS算法,利用平面图中的几何和语义先验信息,通过多通道径向描述符估计配备双鱼眼相机的机器人姿态,验证了跨模态结构匹配的可行性。
2026-04-28 cs.CV cs.RO
Vehicle Re-ID for Surround-view Camera System
Zongmu Technology(纵目科技);University of Victoria(维多利亚大学);Xiamen University(厦门大学)
车辆再识别(ReID)在自动驾驶感知系统中起着至关重要的作用,近年来受到越来越多的关注。然而,据我们所知,目前还没有针对安装在车辆上的环绕视图系统的完整解决方案。在本文中,我们讨论了上述场景中的两个主要挑战:i)在单摄像机视图中,由于鱼眼失真,遮挡,截断等原因,很难从过去的图像帧中识别出同一车辆。ii)在多摄像机视图中,同一车辆的外观在不同摄像机的视点上变化很大。因此,我们提出了一个完整的车辆Re-ID解决方案来解决这些问题。具体而言,我们提出了一种新的质量评估机制,以平衡跟踪框的漂移和目标的一致性的影响。此外,我们利用基于注意力机制的Re-ID网络,然后结合空间约束策略,以进一步提高不同相机之间的性能。实验表明,我们的解决方案达到了最先进的精度,同时在实践中是实时的。此外,我们将发布代码和注释的鱼眼数据集,以造福社区。
2020-06-30 cs.CV cs.RO eess.IV
An Open Panoramic Aerial Robot: Airframe-Integrated Multi-Fisheye Sensing, Onboard ERP Formation, and Field Evaluation
School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院);Tianmushan Laboratory(天目山实验室)
该研究提出一种视差感知机载平台,可将四路同步鱼眼流转为ERP全景,经实验验证其能实现低功耗高帧率的全景感知,适用于超低空无人机。
2026-09-24 cs.RO
Multi-modal curb detection and filtering
Scania(斯堪尼亚)
可靠的道路边界知识对于自主车辆导航至关重要。我们提出了一个强大的路边检测和过滤技术的基础上融合的相机语义和密集的激光雷达点云。通过融合多个激光雷达来收集激光雷达点云,以进行鲁棒的特征检测。相机语义是基于修改后的EfficientNet架构,该架构是用从机载鱼眼相机收集的标记数据进行训练的。在利用鱼眼模型投影将点云投影到图像空间中之后,利用$L_2$范数分析将点云与最近的路缘线段相关联。接下来,使用无监督的基于密度的空间聚类对所选择的点进行聚类,以检测不同的路边区域。当在连续帧中检测到新的路缘点时,使用时间可达性约束将它们与现有路缘簇相关联。如果没有找到可达性约束,则从这些新点形成新的路缘簇。这确保我们可以检测到多个路缘存在于由多个车道组成的路段中,如果它们在传感器的视野中。最后,应用Delaunay滤波去除离群点,并将其性能与传统的基于RANSAC的滤波进行比较。使用从商业地图供应商获得的包含地面实况路缘点的高清地图对所提出的解决方案进行客观评估。所提出的系统已被证明能够检测任何方向的路缘石在复杂的城市道路场景,包括直线道路,弯曲的道路,和交叉口与交通岛。
2022-05-14 cs.CV cs.RO