HandSeg: An Automatically Labeled Dataset for Hand Segmentation from Depth Images
University of Victoria（维多利亚大学）；MPI Informatics（马克斯·普朗克信息学研究所）；TU Graz（格拉茨工业大学）
我们提出了一种自动生成基于深度的手部分割的高质量注释的方法，并介绍了一个大规模的手部分割数据集。现有的数据集通常仅限于单手。通过利用RGBD传感器和一双彩色手套给出的视觉线索，我们自动生成密集的注释双手分割。这降低了创建高质量数据集的成本/复杂性，并使其易于在未来扩展数据集。我们进一步表明，现有的数据集，即使与数据增强，是不足以训练的手分割算法，可以区分双手。来源和数据集将公开提供。
2018-08-02 cs.CV
EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；University of Maryland, College Park（马里兰大学帕克分校）
介绍了一种新的事件相机数据集EVIMO2，它通过在更复杂的场景中提供来自更好的相机的更多数据来改进流行的EVIMO数据集。与其前身一样，EVIMO2以每像素地面真实深度和分割以及相机和对象姿势的形式提供标签。所有序列都使用来自物理相机的数据，许多序列具有多个独立移动的对象。通常，这样的标记数据在物理事件相机数据集中不可用。因此，EVIMO2将作为现有算法的一个具有挑战性的基准，并为新算法的开发提供丰富的训练集。特别是，EVIMO2是适合于支持运动和对象分割，光流，运动恢复结构和视觉（惯性）里程计在单眼或立体配置的研究。EVIMO 2包含来自三个640 $\times$ 480事件相机、一个2080 $\times$ 1552经典彩色相机的41分钟数据、来自两个六轴惯性测量单元的惯性测量以及来自Vicon运动捕捉系统的毫米精度物体姿态。数据集的173个序列被分为三类。3.75独立移动的家居物品22.55分钟，静态场景22.55分钟，浅层场景中的基本运动14.85分钟。一些序列是在弱光条件下记录的，而传统的相机无法做到。深度和分段对于事件相机以60 Hz提供，对于经典相机以30 Hz提供。可以使用开源代码重新生成掩码，速率高达200 Hz。本技术报告简要介绍了EVIMO2。完整的文件可在网上查阅。单个序列的视频可以在下载页面上进行采样。
2022-05-06 cs.CV cs.RO
Resource-Efficient Gesture Recognition using Low-Resolution Thermal Camera via Spiking Neural Networks and Sparse Segmentation
imec；KU Leuven（鲁汶大学）；VUB（布鲁塞尔自由大学）
本文提出利用低分辨率热传感器结合MMV脉冲神经网络与稀疏分割实现资源高效手势识别，在车内5类手势数据集上达到93.9%准确率，且计算和内存成本比深度学习低一个数量级以上。
2024-01-12 cs.CV cs.HC
LiRCDepth: Lightweight Radar-Camera Depth Estimation via Knowledge Distillation and Uncertainty Guidance
Technical University of Munich（慕尼黑工业大学）；Infineon Technologies AG（英飞凌科技股份公司）
本文提出轻量级雷达-相机深度估计模型LiRCDepth，通过逐像素、逐对特征蒸馏及不确定性感知的深度间蒸馏损失，在nuScenes数据集上将MAE提升6.6%。
2024-12-27 cs.CV eess.IV
Literature Review: Human Segmentation with Static Camera
University of Alberta（阿尔伯塔大学）
我们的研究课题是人体分割与静态相机。本课题可以分为三个子任务，即目标检测、实例识别和分割。这些子任务是三个密切相关的主题。每个学科的发展对其他两个领域都有很大的影响。在这篇文献综述中，我们将首先介绍人体分割的背景，然后讨论与上述三个领域相关的问题以及它们如何相互作用。
2019-10-28 cs.CV
Versatile Depth Estimator Based on Common Relative Depth Estimation and Camera-Specific Relative-to-Metric Depth Conversion
Korea University（高丽大学）；Gauss Labs Inc.（高斯实验室公司）
典型的单目深度估计器是针对单个相机训练的，因此其性能在使用不同相机拍摄的图像上严重下降。为了解决这个问题，我们提出了一个通用的深度估计器（VDE），由一个共同的相对深度估计器（CRDE）和多个相对度量转换器（R2MC）。CRDE提取相对深度信息，并且每个R2MC转换相对信息以预测特定相机的度量深度。建议的VDE可以应付不同的场景，包括室内和室外的场景，只有1.12%的参数增加每个摄像机。实验结果表明，VDE支持多个摄像机有效和高效，也达到了最先进的性能，在传统的单摄像机的情况下。
2023-03-20 cs.CV
Label Correction for Road Segmentation Using Road-side Cameras
Aalto University（阿尔托大学）
本文提出一种路边摄像头半自动标注方法，仅手动标注一帧并通过频域图像配准将标签传播到其余帧，利用芬兰927个摄像头冬季数据验证，有效提升了多种深度学习模型的道路分割性能。
2025-02-03 cs.CV
BEVSegFormer: Bird's Eye View Semantic Segmentation From Arbitrary Camera Rigs
Nullmax；Zhengzhou University（郑州大学）
鸟瞰图中的语义分割是自动驾驶的一项重要任务。虽然这项任务已经吸引了大量的研究工作，但灵活地应对自动驾驶汽车上配备的任意（单个或多个）相机传感器仍然具有挑战性。在本文中，我们提出了BEVSegFormer，一个有效的基于变换的方法，用于任意摄像机设备的BEV语义分割。具体来说，我们的方法首先编码图像特征从任意相机与共享的骨干。这些图像特征，然后增强的可变形的基于变换的编码器。此外，我们引入了BEV Transformer解码器模块来解析BEV语义分割结果。设计了一种有效的多摄像机变形注意单元来实现BEV到图像的视图转换。最后，根据BEV中的网格布局对查询进行整形，并上采样以监督方式产生语义分割结果。我们在公共nuScenes数据集和自我收集的数据集上评估了所提出的算法。实验结果表明，我们的方法取得了很好的性能BEV语义分割从任意相机钻机。我们还通过消融研究证明了每个组件的有效性。
2022-08-17 cs.CV
EV-SegNet: Semantic Segmentation for Event-based Cameras
Universidad de Zaragoza（萨拉戈萨大学）
事件相机或动态视觉传感器（DVS）是非常有前途的传感器，其已经显示出比基于帧的相机的几个优点。然而，这些相机的实际应用的最新工作集中在3D重建和6-DOF相机跟踪。基于深度学习的方法在视觉识别任务中处于领先地位，可能会利用DVS的优势，但仍然需要进行一些调整，以便有效地在这些相机上工作。这项工作介绍了第一个基线的语义分割与这种数据。我们建立了一个语义分割CNN的基础上，国家的最先进的技术，将事件信息作为唯一的输入。此外，我们提出了一种新的表示DVS数据，优于以前使用的事件表示相关的任务。由于没有现有的标记数据集，这项任务，我们提出了如何自动生成近似的语义分割标签的DDD 17数据集的一些序列，我们一起发布的模型，并证明他们是有效的训练模型的DVS数据。我们比较了我们的结果语义分割从DVS数据与结果使用相应的灰度图像，证明它们是互补的，值得结合。
2018-11-29 cs.CV
Adapting Semantic Segmentation Models for Changes in Illumination and Camera Perspective
Australian Centre for Field Robotics（澳大利亚野外机器人学中心）；University of Sydney（悉尼大学）
使用深度神经网络的语义分割已被广泛探索以生成用于自主车辆的高级上下文信息。为了获得一个完整的$180^\circ$语义理解的前方环境，我们建议缝合语义图像从多个摄像机具有不同的方向。然而，先前训练的语义分割模型在摄像机方向和照明条件发生显著变化后表现出不可接受的性能。为了避免耗时的手工标记，我们探索和评估使用数据增强技术，特别是倾斜和伽马校正，从一个实际的现实世界的角度来扩展现有的模型，并提供更强大的性能。所提出的实验结果显示出显着的改善与不同的照明和相机的角度变化。
2018-09-13 cs.CV
Calibration of depth cameras using denoised depth images
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Institute for Infocomm Research（信息通信研究院）；National University of Singapore（新加坡国立大学）
随着微软Kinect和PMD（光子混合设备）相机的出现，深度传感设备在科学和商业研究中创造了各种新的应用。这些应用中的大多数都需要对深度相机进行预校准。然而，由于低图像分辨率，使用棋盘的传统校准方法对于深度相机不是很好地工作。在本文中，我们提出了一种深度校准方案，该方案在只有少数角点和校准图像时，能够很好地估计相机校准参数。我们利用PMD设备的噪声特性来对深度测量进行降噪，并使用降噪深度作为一组额外的测量值来执行相机校准。我们的合成和真实实验表明，我们的深度去噪和基于深度的校准方案提供了显着优于传统的校准方法的结果。
2017-09-08 cs.CV
Extrinsic Camera Calibration with Semantic Segmentation
Ulm University（乌尔姆大学）
单目摄像头传感器对于智能车辆操作和自动驾驶辅助至关重要，并且在交通控制基础设施中也得到了大量应用。然而，校准单目摄像机是耗时的，并且通常需要大量的人工干预。在这项工作中，我们提出了一个外部的摄像机标定方法，自动化的参数估计，利用图像和点云的语义分割信息。我们的方法依赖于相机姿态的粗略初始测量，并建立在安装在车辆上的激光雷达传感器上，具有高精度定位以捕获相机环境的点云。之后，通过执行语义分割的传感器数据的激光雷达到相机配准来获得相机坐标空间与世界坐标空间之间的映射。我们评估我们的方法模拟和真实世界的数据，以证明低误差测量的校准结果。我们的方法适用于基础设施传感器以及车辆传感器，同时它不需要相机平台的运动。
2022-08-08 cs.CV
ArticulatedFusion: Real-time Reconstruction of Motion, Geometry and Segmentation Using a Single Depth Camera
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出了一种实时的【形】动态场景重建方法，能够再现运动，几何形状，并同时从一个单一的RGB-D相机的实时深度流分割。我们的方法融合几何帧的帧，并使用分割增强的节点图结构来驱动注册步骤中的几何变形。提出了一种两级节点运动优化算法。节点运动的优化空间和物理上合理的变形范围大大减少，利用关节运动的优势，这是解决了一个有效的节点图分割方法。与以往的基于融合的动态场景重建方法相比，我们的实验表明，鲁棒性和改进的切向和遮挡运动的重建结果。
2018-07-19 cs.CV
Depth Over RGB: Automatic Evaluation of Open Surgery Skills Using Depth Camera
Technion – Israel Institute of Technology（以色列理工学院）；University of Wisconsin-Madison School of Medicine and Public Health（威斯康星大学麦迪逊分校医学与公共卫生学院）；University of Wisconsin Hospitals and Clinics（威斯康星大学医院与诊所）
本文提出用深度相机自动评估开放手术技能，结合YOLOv8、UVAST和MSTCN++完成器械检测与动作分割，证明其性能可媲美RGB相机且更具隐私与鲁棒性优势。
2024-01-18 cs.CV
Noise in Structured-Light Stereo Depth Cameras: Modeling and its Applications
Indian Institute of Science（印度科学学院）
从商业上可获得的基于结构光立体的深度相机（诸如Kinect）获得的深度图易于使用，但是受到大量噪声的影响。本文致力于研究这种深度图的固有噪声特性，即估计深度中的噪声的标准偏差随着对象与深度相机的距离二次变化。我们验证了这个理论模型对经验的观察，并证明了这个噪声模型在三个流行的应用程序的效用：深度图去噪，体积扫描合并的3D建模，并确定深度图中的3D平面。
2015-05-08 cs.CV
Deep Depth from Focal Stack with Defocus Model for Camera-Setting Invariance
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Shiga University（滋贺大学）
我们提出了一个基于学习的深度从聚焦/散焦（DFF），它需要一个焦点堆栈作为输入估计场景深度。散焦模糊是用于深度估计的有用线索。然而，模糊的大小不仅取决于场景深度，还取决于相机设置，如焦距，焦距和f数。如果相机设置在训练和测试时间不同，则当前基于学习的方法没有任何散焦模型，无法估计正确的深度图。我们的方法将平面扫描体积作为场景深度、散焦图像和相机设置之间的约束的输入，并且这种中间表示使得能够在训练和测试时间使用不同的相机设置进行深度估计。这种相机设置不变性可以增强基于学习的DFF方法的适用性。实验结果还表明，我们的方法是强大的对合成到真正的域差距，并表现出最先进的性能。
2022-02-26 cs.CV
Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Shenzhen DJI Sciences and Technologies Ltd.（深圳市大疆创新科技有限公司）；Tsinghua University（清华大学）
从图像中估计深度图是机器人系统中的重要任务。现有的方法可以分为两组，包括多视图立体视觉和单目深度估计。前者要求摄像机之间有较大的重叠区域和足够的基线，而后者对每幅图像进行独立处理，很难保证摄像机之间的结构一致性。在本文中，我们提出了一种新的多摄像机协作深度预测方法，不需要大的重叠区域，同时保持摄像机之间的结构一致性。具体来说，我们制定的深度估计作为一个加权组合的深度基础，其中的权重迭代更新的细化网络驱动的建议的一致性损失。在迭代更新期间，跨相机比较深度估计的结果，并且在基公式的帮助下将重叠区域的信息传播到整个深度图。在DDAD和NuScenes数据集上的实验结果证明了该方法的优越性能。
2022-10-05 cs.CV
Deep Learning Based Segmentation Free License Plate Recognition Using Roadway Surveillance Camera Images
Havelsan Inc.（哈维桑公司）
智能自动化交通执法解决方案近年来越来越受欢迎。这些解决方案广泛用于安全带违规检测、闯红灯违规检测和超速违规检测。高精度的车牌识别是这些系统中不可或缺的一部分。然而，一般的车牌识别系统需要高分辨率的图像以获得高性能。在这项研究中，我们提出了一种新的车牌识别方法，一般道路监控摄像头。提出的无分割车牌识别算法在字符检测和识别过程中利用基于深度学习的目标检测技术。所提出的方法已被测试2000图像上捕获的道路上。
2019-12-05 cs.CV
KD360-VoxelBEV: LiDAR and 360-degree Camera Cross Modality Knowledge Distillation for Bird's-Eye-View Segmentation
Durham University（杜伦大学）
KD360-VoxelBEV通过跨模态知识蒸馏，利用激光雷达和360度摄像头数据提升鸟瞰图分割性能，实现高效且低成本的自动驾驶应用。
2025-12-17 cs.CV
Joint Person Segmentation and Identification in Synchronized First- and Third-person Videos
Indiana University（印第安纳大学）
在摄像机无处不在的世界中，公共空间通常由固定和移动的不同类型的摄像机从多个角度捕获。一个重要的问题是通过找到它们之间的联系来组织这些异构的视频集合，例如识别出现在视频中的人与持有或佩戴相机的人之间的对应关系。在本文中，我们希望解决两个具体问题：（1）给定场景的两个或更多个同步的第三人称视频，产生每个可见人的像素级分割，并识别跨不同视图的对应人（即，确定相机A中的谁对应于相机B中的谁），以及（2）给定一个或多个同步的第三人称视频以及由移动或可穿戴相机拍摄的第一人称视频，分割并识别第三人称视频中的相机佩戴者。与以前的工作，需要地面真值边界框来估计的对应关系，我们执行的人分割和识别联合。我们发现，同时解决这两个问题是互利的，因为更好的细粒度分割使我们能够更好地执行跨视图的匹配，来自多个视图的信息有助于我们执行更准确的分割。我们在两个具有挑战性的数据集上评估了我们的方法，这些数据集是从多个可穿戴相机捕获的交互人员，并表明我们提出的方法在人员分割和识别方面的表现明显优于最先进的方法。
2018-07-25 cs.CV
LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training
Amirkabir University of Technology（阿米尔卡比尔理工大学）；The University of Tokyo（东京大学）
本文提出一种LiDAR与图像特征融合模块，结合两个简单修改，在无需视频训练的情况下显著提升自动驾驶场景的图像与视频全景分割性能，评估指标最高提升5个点。
2024-12-30 cs.CV
Camera-trap images segmentation using multi-layer robust principal component analysis
Universidad de Antioquia UdeA（安蒂奥基亚大学）
从相机捕获的图像中分割动物是一项艰巨的任务。为了说明，由于这些图像中的环境条件和硬件限制，存在各种挑战。提出了一种多层鲁棒主成分分析（多层RPCA）背景减除方法。我们的方法计算稀疏和低秩图像的描述符的加权和，使用颜色和纹理特征作为相机陷阱图像分割的研究案例。该算法采用直方图均衡化或高斯滤波作为图像的预处理，结合活动轮廓线的形态滤波器作为图像的后处理。我们的多层RPCA的参数进行了优化与穷举搜索。该数据库由亚历山大·冯·洪堡生物资源研究所拍摄的哥伦比亚森林的相机陷阱图像组成。我们分析了我们的方法在固有的，因此具有挑战性的情况下的相机陷阱图像的性能。此外，我们将我们的方法与一些最先进的背景减除算法进行了比较，其中我们的多层RPCA优于这些其他方法。我们的多层RPCA达到76.17和69.97%的平均细粒度的F-措施的颜色和红外序列，分别。据我们所知，本文是第一个提出多层RPCA并将其用于相机陷阱图像分割的工作。
2017-12-30 cs.CV
A Novel Vision Transformer for Camera-LiDAR Fusion based Traffic Object Segmentation
Tallinn University of Technology（塔林理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本研究提出基于视觉Transformer的相机-激光雷达融合模型CLFT，可实现多类交通目标分割并适配多种天气，提升了自动驾驶感知水平，但恶劣环境下的性能仍待优化。
2025-01-06 cs.CV
Color-based Segmentation of Sky/Cloud Images From Ground-based Cameras
Nanyang Technological University（南洋理工大学）；Advanced Digital Sciences Center（高级数字科学中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
地面摄像机拍摄的天空/云图像（又名全天空成像仪）由于其在包括气候建模、天气预报、可再生能源发电和卫星通信在内的多个领域中的应用，如今被越来越多地使用。由于这些图像中的云类型和光照条件多种多样，因此云的准确和鲁棒分割具有挑战性。在本文中，我们提出了一个监督的分割框架，地面的天空/云图像的基础上，不同的颜色空间和组件的系统分析，使用偏最小二乘（PLS）回归。与其他最先进的方法不同，我们提出的方法完全基于学习，不需要任何手动定义的参数。此外，我们还向研究界发布了新加坡全天空影像分割数据库（SWIMSEG），这是一个大型的天空/云图像注释数据库。
2016-06-12 cs.CV
EGA-Depth: Efficient Guided Attention for Self-Supervised Multi-Camera Depth Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
提出EGA-Depth引导注意力架构，通过透视图交叉参考相邻视图，仅对重叠视图执行注意力，提升自监督多相机深度估计的效率与精度，在nuScenes和DDAD基准上达到SOTA。
2023-04-06 cs.CV
The Edge of Depth: Explicit Constraints between Segmentation and Depth
Michigan State University（密歇根州立大学）
在这项工作中，我们研究了两个常见的计算机视觉任务，自我监督的深度估计和图像的语义分割的相互利益。例如，为了帮助无监督的单目深度估计，已经隐式地探索了来自语义分割的约束，诸如共享和变换特征。相比之下，我们建议显式地测量分割和深度之间的边界一致性，并通过迭代地监督网络朝向局部最优解来以贪婪的方式将其最小化。部分原因是我们观察到，即使用有限的地面实况（200张KITTI图像）训练的语义分割也可以提供比任何（单眼或立体）基于图像的深度估计更准确的边界。通过大量的实验，我们提出的方法先进的无监督单目深度估计在KITTI的艺术状态。
2020-04-01 cs.CV
Coherent Motion Segmentation in Moving Camera Videos using Optical Flow Orientations
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
在移动摄像机视频中，通常使用像素的图像平面运动或光流来执行运动分割。但是，与相机处于不同深度的对象可能会显示不同的光流，即使它们共享相同的真实世界运动。这可能导致场景的深度相关分割。我们的目标是开发一种分割算法，集群像素，具有类似的现实世界中的运动，无论其在场景中的深度。我们的解决方案使用光流方向，而不是完整的矢量，并利用众所周知的属性，即在相机平移，光流方向是独立的对象深度。我们引入了一个概率模型，自动估计观察到的独立运动的数量，并导致与场景中的真实运动一致的标签。我们的系统的结果是，静态对象被正确地识别为一个片段，即使它们在不同的深度。颜色特征和信息，从以前的帧中的视频序列被用来纠正偶尔的错误，由于基于方向的分割。我们展示了来自不同基准的30多个视频的结果。该系统在包含深度显著不同的对象的复杂背景场景上特别鲁棒
2015-11-05 cs.CV
B$^3$-Seg: Camera-Free, Training-Free 3DGS Segmentation via Analytic EIG and Beta-Bernoulli Bayesian Updates
Sony Group Corporation（索尼集团公司）；Pixomondo
B$^3$-Seg通过分析EIG和贝塔-伯努利贝叶斯更新，实现无相机和无训练的3DGS分割，以高效且理论严谨的方式进行开放词汇分割。
2026-02-19 cs.CV
A Compact Light Field Camera for Real-Time Depth Estimation
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
在许多应用中使用深度相机。最近，光场方法越来越多地用于深度计算。虽然这些方法证明了技术上的可行性，但它们不能被带入现实世界的应用，因为它们具有高计算时间以及大的设计。本文正是克服了这两个缺点。本文首次提出了一种基于光场原理的深度相机，它不仅能提供实时的【形】深度信息，而且设计紧凑。
2019-07-25 cs.CV
Uncertainty Guided Depth Fusion for Spike Camera
Nanjing University（南京大学）；Peking University（北京大学）；Beihang University（北京航空航天大学）；Intel Labs（英特尔实验室）
深度估计对于自动驾驶等各种重要的现实应用至关重要。然而，它遭受严重的性能下降，在高速的情况下，因为传统的相机只能捕捉模糊的图像。为了解决这个问题，尖峰相机被设计成以高帧速率捕获逐像素的亮度强度。然而，使用传统的基于光度一致性的单目或立体深度估计算法，使用尖峰相机的深度估计仍然非常具有挑战性。在本文中，我们提出了一种新的不确定性引导的深度融合（UGDF）框架，融合单目和立体深度估计网络的预测尖峰相机。我们的框架是出于这样一个事实，立体尖峰深度估计在近距离取得更好的结果，而单眼尖峰深度估计在长距离取得更好的结果。因此，我们引入了一个双任务的深度估计架构与联合训练策略和估计的分布式不确定性融合的单眼和立体的结果。为了证明尖峰深度估计相对于传统相机深度估计的优势，我们贡献了一个名为CitySpike20 K的尖峰深度数据集，其中包含20 K配对样本，用于尖峰深度估计。UGDF在CitySpike 20 K上实现了最先进的结果，超过了所有单目或立体声尖峰深度估计基线。我们进行了广泛的实验，以评估我们的方法在CitySpike20K的有效性和推广。据我们所知，我们的框架是第一个双任务融合框架的尖峰相机深度估计。将发布代码和数据集。
2022-08-29 cs.CV
Restricted Deformable Convolution based Road Scene Semantic Segmentation Using Surround View Cameras
Shanghai Jiao Tong University（上海交通大学）；SJTU-ParisTech Elite Institute of Technology（上海交通大学-巴黎高科卓越工程学院）
了解车辆周围环境仍然是自动驾驶面临的挑战之一。本文提出了360度道路场景语义分割使用环绕视图摄像头，这是广泛配备在现有的生产汽车。首先，为了解决鱼眼图像中的大失真问题，提出了一种用于语义分割的受限可变形卷积（RDC）方法，该方法通过学习输入特征图上卷积滤波器的形状，有效地对几何变换进行建模。其次，为了获得大规模的环绕视图图像的训练集，提出了一种称为变焦增强的新方法将常规图像转换为鱼眼图像。最后，建立了一个基于RDC的语义分割模型，通过将真实世界图像与变换后的图像相结合的多任务学习架构，对真实世界的环绕视图图像训练该模型。实验证明了RDC处理大失真图像的有效性，并且所提出的方法在变换后的图像的帮助下使用环绕视图相机显示出良好的性能。
2019-09-16 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
Robust and Flexible Omnidirectional Depth Estimation with Multiple 360-degree Cameras
Nanjing University（南京大学）；Jinling Institute of Technology（金陵科技学院）
本文利用多台360度相机的几何约束与冗余信息，提出两阶段和一阶段两种全向深度估计算法，并构建含污损与眩光的合成数据集，实现了鲁棒、灵活且达到最先进性能的深度预测。
2025-02-06 cs.CV
3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）
我们提出了一种方法，用于从输入视频中对放置在平面上的单个对象进行3D重建和分割。我们的方法是执行密集的深度图估计多个视图使用建议的目标函数，保留细节。然后，使用对估计误差具有鲁棒性的建议的隐式表面函数来融合所得到的深度图，从而产生整个场景的平滑表面重建。最后，使用建议的2D-3D分割，将图像和深度线索与先验和正则化的3D体积和2D分割从剩余的场景中分割出对象。我们在我们的Object-Videos数据集上定性评估3D重建，与融合，多视图立体和分割基线进行比较。我们还使用RGBD场景V2数据集[Henry et al. 2013]定量评估了密集深度估计，并使用Object-Videos数据集的关键帧注释进行了分割。
2016-07-27 cs.CV
Camera-Independent Single Image Depth Estimation from Defocus Blur
University of Virginia（弗吉尼亚大学）
针对单目散焦模糊深度估计对相机参数敏感的问题，提出基于光学物理方程的无需重训练校正方法，并构建合成数据集，在DDFF12和NYU depth V2上验证了方法对相机变化的强鲁棒性。
2023-11-21 cs.CV
Exploiting Depth from Single Monocular Images for Object Detection and Semantic Segmentation
The University of Adelaide（阿德莱德大学）；The University of Queensland（昆士兰大学）
增强RGB数据与测量的深度已被证明可以提高计算机视觉中的一系列任务的性能，包括目标检测和语义分割。尽管诸如微软Kinect之类的深度传感器已经促进了这种深度信息的容易获取，但是在视觉任务中使用的绝大多数图像不包含深度信息。在本文中，我们表明，增强RGB图像与估计的深度也可以提高目标检测和语义分割的准确性。具体来说，我们首先利用最近成功的深度估计从单目图像和学习深度深度估计模型。然后，我们从估计的深度学习深度特征，并结合RGB特征进行目标检测和语义分割。此外，我们提出了一种RGB-D语义分割方法，该方法采用多任务训练方案：语义标签预测和深度值回归。我们在几个数据集上测试了我们的方法，并证明了将来自估计深度的信息结合起来显著提高了目标检测和语义分割的性能。
2016-10-06 cs.CV
Hand Segmentation and Fingertip Tracking from Depth Camera Images Using Deep Convolutional Neural Network and Multi-task SegNet
Chonnam National University（全南国立大学）；Chosun University（朝鲜大学）
在基于手势的人机交互系统中，手部分割和指尖检测起着不可或缺的作用。在这项研究中，我们提出了一种方法来区分手的组成部分，并在RGB-D图像中定位指尖。该系统由三个主要步骤组成：使用RGB图像进行手部检测，提供被认为是有前途的区域进行进一步处理，手部分割，以及使用深度图像和我们修改后的SegNet进行指尖检测，SegNet是一个轻量级架构，可以同时处理两个独立的任务。实验结果表明，我们的系统是一个很有前途的方法，手分割和指尖检测，实现了相当的性能，而模型复杂度是适合实时应用。
2020-03-11 cs.CV
Matching-based Depth Camera and Mirrors for 3D Reconstruction
University of Montreal（蒙特利尔大学）；University of Science and Technology（科技大学）
三维物体模型的重建在计算机视觉的许多应用中起着重要的作用。本文提出了一种简单的方法来构建一个更便宜的系统，只使用一个深度相机和2个或更多的镜子进行3D重建，而不是像许多研究中那样使用一组相机和/或传感器。每个反射镜被等效地视为另一视点处的深度相机。由于所有场景数据仅由一个深度传感器提供，因此我们的方法可以应用于移动对象，并且不需要任何同步协议。一些实验进行了易于评估的对象，以确认我们所提出的系统的重建精度。
2019-08-17 cs.CV
Total Variation-Based Dense Depth from Multi-Camera Array
National University of Ireland, Galway（爱尔兰国立高威大学）
多相机阵列越来越多地用于消费者和工业应用中，并且记录了各种被动技术以估计来自此类相机阵列的深度。当前的深度估计方法提供成像场景中的深度的有用估计，但是由于显著的计算要求而通常是不切实际的。本文提出了一种新的框架，从多相机阵列/光场相机生成高质量的连续深度图。所提出的框架利用对局部对极平面图像（EPI）的分析来启动深度估计过程。然后，使用基于Fenchel-Rockafellar对偶的总变差（TV）最小化来处理估计的深度图。该方法的基础上，一个众所周知的基准评估表明，所提出的框架相比，排名靠前的深度估计方法和基线算法的准确性方面表现良好。测试数据集包括真实感和非真实感场景。值得注意的是，当与顶级算法相比时，实现等同精度所需的计算要求显著降低。因此，所提出的框架是适合部署在消费者和工业应用。
2017-11-21 cs.CV
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
UC Irvine（加州大学尔湾分校）；Carnegie Mellon University（卡内基梅隆大学）
单目深度预测器通常在大规模训练集上进行训练，这些训练集自然偏向于相机姿态的分布。因此，训练的预测器无法对在不常见的相机姿势下捕获的测试示例进行可靠的深度预测。为了解决这个问题，我们提出了两种新的技术，在训练和预测过程中利用相机的姿态。首先，我们引入了一种简单的视角感知数据增强，它通过以几何一致的方式扰动现有示例，合成具有更多样化视图的新训练样本。其次，我们提出了一个条件模型，利用每图像相机构成的先验知识，将其编码为输入的一部分。我们表明，联合应用这两种方法可以提高对在不常见甚至从未见过的相机姿势下捕获的图像的深度预测。我们表明，我们的方法提高性能时，应用到一系列不同的预测架构。最后，我们表明，显式编码的相机姿态分布提高了综合训练的深度预测器的泛化性能时，对真实图像进行评估。
2021-03-28 cs.CV
Panoptic-Depth Color Map for Combination of Depth and Image Segmentation
National Taiwan University（国立台湾大学）
针对自动驾驶场景，提出深度学习网络Panoptic-DepthLab，通过在分割网络中加入深度估计分支实现带深度的实例分割，在Cityscape数据集验证有效，为多任务结合提升自动驾驶安全提供新思路。
2023-08-24 cs.CV
CamLessMonoDepth: Monocular Depth Estimation with Unknown Camera Parameters
University of Applied Sciences (HTW)（应用科学大学）
在计算机视觉的许多应用中，感知3D信息至关重要。单目深度估计的最新进展已经表明，通过训练深度神经网络来预测逆深度和姿态，从单个相机输入获得这样的知识是可能的，而不需要地面实况数据。然而，大多数这样的方法需要在训练期间明确地馈送相机参数。因此，在训练期间不能使用来自野生的图像序列。虽然存在也预测相机本质的方法，但它们的性能与将相机参数作为输入的新方法不一样。在这项工作中，我们提出了一种隐式估计针孔摄像机的内在以及深度和姿态的方法，通过学习单目图像序列。此外，通过利用有效的子像素卷积，我们表明，高保真度的深度估计可以获得。我们还将逐像素的不确定性估计嵌入到框架中，以强调这项工作在实际领域中的可能适用性。最后，我们证明了在没有相机固有特性的先验知识的情况下准确预测深度信息的可能性，同时在KITTI基准上优于现有的最先进的方法。
2021-10-27 cs.CV
M${^2}$Depth: Self-supervised Two-Frame Multi-camera Metric Depth Estimation
Tsinghua University（清华大学）；Megvii Technology（旷视科技）
本文提出M${^2}$Depth，一种自监督双帧多相机度量深度估计网络，通过时空代价体融合与SAM神经先验增强边缘，在nuScenes和DDAD上达到最先进性能。
2024-05-03 cs.CV
CAM-Convs: Camera-Aware Multi-Scale Convolutions for Single-View Depth
University of Zaragoza（萨拉戈萨大学）；University of Freiburg（弗莱堡大学）；Intel Labs（英特尔实验室）；Bitbrain（Bitbrain（公司））；cs.uni-freiburg.de（（注：原文本中该部分为邮箱域名，不应作为机构提取，实际有效机构为上述列出的））
单视图深度估计存在这样的问题，即在来自一个相机的图像上训练的网络不能推广到用不同相机模型拍摄的图像。因此，改变相机模型需要收集全新的训练数据集。在这项工作中，我们提出了一种新型的卷积，可以考虑相机参数，从而允许神经网络学习校准感知模式。实验证实，这大大提高了深度预测网络的泛化能力，并且当用不同的相机获取训练和测试图像时，明显优于现有技术。
2019-04-03 cs.CV
Toward Depth Estimation Using Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
最近，编码掩模已被用于演示一种薄形无透镜相机FlatCam，其中掩模被直接放置在裸露的图像传感器的顶部。在本文中，我们提出了一个成像模型和算法，联合估计的深度和强度信息的场景从一个或多个FlatCams。我们使用一个光场表示模型的3D场景到传感器的映射，其中来自不同深度的光线产生不同的调制模式。我们提出了一个贪婪的深度追踪算法来搜索3D体积和估计的深度和强度的相机视场内的每个像素。我们目前的仿真结果分析我们所提出的模型和算法的性能与不同的FlatCam设置。
2017-11-09 cs.CV
Depth-Aware Image Compositing Model for Parallax Camera Motion Blur
Tampere University（坦佩雷大学）
相机运动由于3D世界中的深度变化而引入空间变化的模糊。这项工作调查场景配置，这种模糊视差相机运动下产生的。我们提出了一个简单的，但准确的，图像合成模糊（ICB）模型的深度相关的空间变化模糊。（前向）模型从单个图像、深度图和相机轨迹产生逼真的运动模糊。此外，我们利用ICB模型，结合基于坐标的MLP，从模糊输入中学习清晰的神经表示。实验结果报告合成和真实的例子。结果表明，ICB正演模型计算效率高，产生逼真的模糊，尽管缺乏遮挡信息。此外，我们的方法恢复一个尖锐的表示证明是一个有竞争力的方法去模糊的任务。
2023-03-30 cs.CV
Region Graph Based Method for Multi-Object Detection and Tracking using Depth Cameras
University of Washington（华盛顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
在本文中，我们提出了一种使用深度相机的多目标检测和跟踪方法。在目标检测中，深度图的噪声和模糊性很大。我们首先提出了一个基于区域的方法来抑制高幅度的噪声，不能使用空间滤波器过滤。其次，该方法通过时间学习检测感兴趣区域，然后使用基于加权图的方法进行跟踪。我们证明了所提出的方法在标准深度相机数据集上有和没有对象遮挡的性能。实验结果表明，该方法能够抑制深度图中的高幅度噪声，并检测/跟踪对象（有和无遮挡）。
2016-03-11 cs.CV
Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras
Carnegie Mellon University（卡内基梅隆大学）；Waymo；Meta
针对多视角RGB三维人体姿态方法需多视角、已标定相机且依赖真实姿态训练的问题，提出无需训练回归模型的MVD-HPE流程，结合深度引导相机位姿估计与深度约束姿态优化，在自采数据集上性能优于现有无回归方案。
2024-01-28 cs.CV
Neural Camera Models
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
现代计算机视觉已经超越了互联网照片收集的领域，进入了物理世界，引导配备摄像头的机器人和自动驾驶汽车通过非结构化环境。为了使这些具体的代理与现实世界的对象进行交互，相机越来越多地被用作深度传感器，为各种下游推理任务重建环境。机器学习辅助深度感知或深度估计为图像中的每个像素预测到成像场景点的距离。虽然在深度估计中已经取得了令人印象深刻的进步，但是仍然存在重大挑战：（1）大规模收集地面实况深度标签是困难的并且是昂贵的，（2）相机信息通常被假设为已知的，但是通常是不可靠的，以及（3）限制性相机假设是常见的，即使在实践中使用了各种各样的相机类型和镜头。在这篇论文中，我们专注于放松这些假设，并描述对最终目标的贡献，把相机变成真正通用的深度传感器。
2022-08-27 cs.CV
Real-Time Human Motion Capture with Multiple Depth Cameras
The University of British Columbia（不列颠哥伦比亚大学）
通常使用的人体运动捕捉系统需要插入式附着标记，这些标记用多个相机在视觉上跟踪。在这项工作中，我们提出了一个有效的和廉价的解决方案，无标记的运动捕捉只使用几个Kinect传感器。与以前使用单个深度相机进行3d姿态估计的工作不同，我们放松了对相机位置的约束，并且不假设合作用户。我们将最新的图像分割技术应用于深度图像，并使用课程学习来对纯粹的合成数据训练我们的系统。我们的方法准确地定位身体部位，而不需要一个明确的形状模型。然后通过结合来自多个视图的实时的【形】证据来恢复身体关节位置。我们还引入了一个约600万合成深度帧的数据集，用于多个相机的姿态估计，并超过了Berkeley MHAD数据集的最新结果。
2016-05-25 cs.CV
FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras
KAIST（韩国科学技术院）；Brown University（布朗大学）
高精度的每像素深度对于计算摄影至关重要，因此智能手机现在具有多模式相机系统，具有飞行时间（ToF）深度传感器和多种彩色相机。然而，由于ToF传感器的低分辨率和有限的主动照明功率，产生精确的高分辨率深度仍然具有挑战性。融合RGB立体和ToF信息是克服这些问题的一个很有前途的方向，但仍然存在一个关键问题：为了提供高质量的2D RGB图像，主颜色传感器的镜头是光学稳定的，导致浮动镜头的未知姿态打破了多模态图像传感器之间的几何关系。利用ToF深度估计和广角RGB相机，我们设计了一种基于密集2D/3D匹配的自动校准技术，该技术可以从单个快照中估计稳定的主RGB传感器的相机外部，内部和失真参数。这使我们能够通过相关体积融合立体声和ToF线索。对于融合，我们通过真实世界的训练数据集应用深度学习，并通过神经重建方法估计深度监督。为了进行评估，我们使用商业高功率深度相机获取测试数据集，并表明我们的方法比现有基线实现了更高的准确性。
2022-10-06 cs.CV
Segmentation of Camera Captured Business Card Images for Mobile Devices
Jadavpur University（贾达普大学）；School of Mobile Computing and Communication（移动计算与通信学院）
由于相机捕获的图像中的巨大变形、名片的性质的多样性以及移动设备的计算限制，设计高效的名片阅读器（BCR）对研究人员具有挑战性。提取文本区域并将其分割成字符是其中一个挑战。在本文中，我们提出了一个有效的字符分割技术的名片图像捕获的手机摄像头，设计在我们目前的工作，发展一个有效的BCR。首先，从卡片图像中提取文本区域，然后使用计算效率高的倾斜校正技术来校正倾斜的文本区域。最后，这些倾斜校正后的文本区域被分割成行和字符的基础上的水平和垂直直方图。实验结果表明，该方法是有效的，适用于移动设备，和平均分割准确率为97.48%，实现了3兆像素（500-600 dpi）的图像。它只需要1.1秒的分割，包括所有的预处理步骤，在一个中等强大的笔记本电脑（双核T2370，1.73 GHz，1GB RAM，1 MB二级缓存）。
2011-01-03 cs.CV
Single Image Deblurring and Camera Motion Estimation with Depth Map
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；Australia Centre for Robotic Vision（澳大利亚机器人视觉中心）
曝光过程中的相机抖动是手持摄影的一个主要问题，因为它会导致图像模糊，破坏拍摄图像的细节。在现实世界中，这种模糊主要是由相机运动和复杂的场景结构引起的。虽然已经基于关于场景结构或相机运动的各种假设提出了相当多的现有方法，但是很少有现有方法可以处理真实的6 DoF相机运动。在本文中，我们提出联合估计6 DoF相机运动，并通过利用它们的潜在几何关系来消除相机运动引起的不均匀模糊，并将单个模糊图像及其深度图（直接深度测量或学习的深度图）作为输入。我们制定我们的联合去模糊和6自由度相机运动估计作为一个能量最小化的问题，这是解决在一个替代的方式。我们的模型能够恢复6自由度相机运动和潜在的干净图像，这也可以实现从单个模糊图像生成清晰序列的目标。在具有挑战性的真实世界和合成数据集上的实验表明，在我们提出的框架内可以很好地解决相机抖动引起的图像模糊问题。
2019-03-01 cs.CV
BEVSeg2TP: Surround View Camera Bird's-Eye-View Based Joint Vehicle Segmentation and Ego Vehicle Trajectory Prediction
University of Limerick（利默里克大学）
提出BEVSeg2TP系统，将感知与轨迹预测统一，利用环视相机鸟瞰图进行车辆分割并预测自车轨迹，以提升性能。
2023-12-20 cs.CV
