Multimodal Object Detection using Depth and Image Data for Manufacturing Parts
Department of Mechanical Engineering - Engineering Mechanics, Michigan Technological University(机械工程系-工程力学系,密歇根技术大学)
本文提出一种结合RGB摄像机与3D点云传感器的多模态目标检测方法,基于Faster R-CNN处理图像与深度数据,显著优于单模态基线,提升了智能制造中零件检测的可靠性与鲁棒性。
2025-06-30 cs.AI cs.CV cs.RO
Object Semantics Give Us the Depth We Need: Multi-task Approach to Aerial Depth Completion
University of Victoria(维多利亚大学);University of Ottawa(渥太华大学);National Research Council Canada(加拿大国家研究委员会)
本文提出单次前向传播的编码器型多任务网络,联合完成航空深度补全与目标检测,利用对象语义提升缺失深度填补效果,并在缺陷输入下优于单任务模型。
2023-04-25 cs.AI cs.CV cs.RO
DeepV2D: Video to Depth with Differentiable Structure from Motion
Princeton University(普林斯顿大学)
我们提出了DeepV2D,这是一种端到端的深度学习架构,用于从视频中预测深度。DeepV2D将神经网络的表示能力与控制图像形成的几何原理相结合。我们组成了一个集合的经典几何算法,这些算法被转换成可训练的模块,并结合到一个端到端的微分架构。DeepV2D交织两个阶段:运动估计和深度估计。在推断期间,运动和深度估计交替进行并且收敛到准确的深度。代码可从https://github.com/princeton-vl/DeepV2D获得。
2020-04-27 cs.CV
LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering
National Tsing Hua University(清华大学);National Chiao Tung University(交通大学);NEC Labs America(美国NEC实验室)
虽然在房间布局估计方面已经取得了重大进展,但大多数方法旨在减少2D像素坐标中的损失,而不是利用3D空间中的房间结构。为了在3D中重建房间布局,我们将360度布局估计的任务制定为预测全景图的地平线上的深度的问题。具体来说,我们提出了可微分深度渲染过程,使从布局到深度预测的转换可微分,从而使我们提出的模型端到端可训练,同时利用3D几何信息,而无需提供地面真实深度。我们的方法在众多360布局基准数据集上实现了最先进的性能。此外,我们的公式可以在深度数据集上进行预训练,这进一步提高了我们的布局估计模型的通用性。
2021-04-03 cs.CV
Differentiable Diffusion for Dense Depth Estimation from Multi-view Images
Brown University(布朗大学);KAIST(韩国科学技术院)
我们提出了一种方法来估计密集的深度,通过优化一组稀疏的点,使其扩散到深度图中,最大限度地减少了RGB监督的多视图重投影误差。我们优化点的位置,深度和权重的损失,差分溅射模型点作为高斯分析透射率。此外,我们开发了一个高效的优化例程,可以同时优化复杂场景重建所需的50k+点。我们使用地面实况数据验证了我们的例程,并显示出高重建质量。然后,我们通过自我监督将其应用于光场和更宽的基线图像,并显示从不准确的稀疏点扩散的深度图的平均值和离群值误差的改进。最后,我们将定性和定量结果与图像处理和深度学习方法进行比较。http://visual.cs.brown.edu/diffdiffdepth
2021-06-29 cs.CV
Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS Erlangen(弗劳恩霍夫研究所埃朗根)
本文提出通过多视角可微渲染优化,提升单目深度图的精度与一致性,实现更高质量的深度估计。
2025-09-03 cs.CV
Self-Supervised Learning of Depth and Ego-motion with Differentiable Bundle Adjustment
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
学习仅从RGB输入预测场景深度和相机运动是一项具有挑战性的任务。大多数现有的基于学习的方法以监督的方式处理该任务,这需要获取昂贵的地面实况数据。最近的方法探索了在自监督学习框架中估计场景深度和相机姿态的可能性。尽管令人鼓舞的结果显示,当前的方法要么学习从单眼视频的深度和姿势,通常这样做,而不强制执行场景结构和相机运动之间的多视图几何约束,或需要立体序列作为输入,其中地面实况帧间运动参数需要是已知的。在本文中,我们建议通过最小化特征度量误差来结合可微束调整(BA)层来联合优化场景深度和相机运动,然后形成具有视图合成的光度一致性损失作为最终的监督信号。所提出的方法只需要未标记的单目视频作为输入,在KITTI和Cityscapes数据集上进行的大量实验表明,我们的方法在使用单目视频作为输入的自监督方法中取得了最先进的结果,甚至比从校准的立体序列(即姿势监督)中学习的方法更有优势。
2019-09-28 cs.CV
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University(同济大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近,微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而,这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中,我们提出了一个有效的算法,它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题,即较重的计算开销和较弱的搜索稳定性,我们解决了搜索空间近似和正则化,分别。通过显著减少搜索时间(在单个GPU上约7小时),我们的方法在代理数据集(CIFAR10或CIFAR100)和目标数据集(ImageNet)上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering
Tencent(腾讯);DJI Technology(大疆创新科技有限公司);Fudan University(复旦大学);Zhejiang University(浙江大学)
本文提出一种无需额外数据或标注的几何保持深度估计框架,通过可微渲染新视角并设计跨视角一致性损失,在多个基准上超越现有方法,且能仅用无标签图像自主恢复尺度与偏移系数。
2023-09-18 cs.CV
DGECN: A Depth-Guided Edge Convolutional Network for End-to-End 6D Pose Estimation
Wuhan University(武汉大学);Anhui University(安徽大学)
单目6D位姿估计是计算机视觉中的一项基本任务。现有的工作通常采用两阶段的管道,通过建立对应关系,并利用RANSAC算法来计算6自由度(6DoF)的姿态。最近的工作尝试集成可微RANSAC算法,以实现端到端的6D姿态估计。然而,大多数算法在执行可微RANSAC算法时,很少考虑三维空间的几何特征,忽略了拓扑线索。为此,我们提出了一种深度引导边缘卷积网络(DGECN)的6D姿态估计任务。本文主要从以下三个方面进行了研究:1)利用深度估计信息指导对应关系提取过程,并结合几何信息指导级联可微RANSAC算法。2)利用深度图估计的不确定性来提高输出6D姿态的准确性和鲁棒性。3)我们提出了一个可微的透视n点(PPENS)算法,通过边缘卷积来探索2D-3D对应之间的拓扑关系。实验表明,我们提出的网络优于目前的工作的有效性和效率。
2022-04-21 cs.CV
Dense Metric Depth Completion from Sparse Direct Time-of-Flight Sensors
KAIST(韩国科学技术院);USTC(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本文提出一种深度引导双分支视觉Transformer框架,结合dToF模拟流程,实现稀疏dToF到密集度量深度的零样本泛化补全,性能优于现有方法且高效。
2026-08-06 cs.CV cs.GR
Differentiable Network Adaption with Elastic Search Space
SenseTime Research(商汤科技研究院)
在本文中,我们提出了一种新的网络自适应方法称为微分网络自适应(DNA),它可以适应现有的网络,以一种可微的方式调整的宽度和深度,以特定的计算预算。基于梯度的优化允许DNA实现宽度和深度的自动优化,而不是严重依赖于人类先验的先前的探试法。此外,我们提出了一个新的弹性搜索空间,可以灵活地压缩或扩大在优化过程中,允许网络的宽度和深度的双向优化方式。通过DNA,我们成功地实现了网络结构优化,在宽度和深度维度上进行压缩和扩展。在ImageNet上的大量实验表明,DNA可以适应现有的网络,以满足不同的目标计算要求,并且比以前的方法具有更好的性能。更重要的是,DNA可以进一步提高通过最先进的神经架构搜索方法(如EfficientNet和MobileNet-v3)获得的高精度网络的性能。
2021-03-30 cs.CV cs.LG
Differentiable Adaptive 4D Structured Illumination for Joint Capture of Shape and Reflectance
State Key Lab of CAD&CG(CAD与CG国家重点实验室);Hangzhou Research Institute of Holographic and AI Technology(杭州全息与人工智能技术研究院)
本文提出一种可微框架,通过统一的空间-角结构光和单相机,高效获取物体形状和反光的高质联合数据,采用基于直方图的像素级概率模型减少深度不确定性。
2026-05-07 cs.CV
Differentiable design of the PIAA-ZWFS: a flexible wavefront sensor that approaches the fundamental limit
Leiden Observatory, Leiden University(莱顿天文台,莱顿大学)
提出PIAA-ZWFS波前传感器,利用可微优化框架和贝叶斯实验设计,在模拟中相比传统ZWFS将性能差距缩小10倍,并证明振幅与相位信息获取存在权衡。
2026-10-19 astro-ph.IM cs.CV physics.optics
Learning Online Multi-Sensor Depth Fusion
KU Leuven(鲁汶大学);Google Research(谷歌研究院);ETH Zürich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Lund University(隆德大学)
许多手持式或混合现实设备与单个传感器一起用于3D重建,尽管它们通常包括多个传感器。多传感器深度融合能够显著提高3D重建方法的鲁棒性和准确性,但现有技术不足以处理以不同值范围以及噪声和离群值统计操作的传感器。为此,我们引入了SenFuNet,这是一种深度融合方法,可以学习特定于传感器的噪声和离群值统计数据,并以在线方式组合来自不同传感器的深度帧数据流。我们的方法融合多传感器的深度流,而不管时间同步和校准和推广以及很少的训练数据。我们在现实世界的CoRBS和Scene3D数据集以及CNAS数据集上使用各种传感器组合进行实验。实验表明,我们的融合策略优于传统的和最近的在线深度融合方法。此外,多个传感器的组合比使用单个传感器产生更鲁棒的离群值处理和更精确的表面重建。源代码和数据可在https://github.com/tfy14esa/SenFuNet上获得。
2022-09-21 cs.CV
Probabilistic 3D Multi-Object Cooperative Tracking for Autonomous Driving via Differentiable Multi-Sensor Kalman Filter
Robotics Institute of Carnegie Mellon University(卡内基梅隆大学机器人研究所);NVIDIA Research(英伟达研究院)
本文提出基于可微分多传感器卡尔曼滤波的自动驾驶3D多目标协同跟踪算法,通过学习估计各检测的测量不确定性,在V2V4Real上以0.037倍通信开销将跟踪精度提升17%。
2024-02-26 cs.CV cs.RO
TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering
NAVER LABS(NAVER实验室);University of Maryland(马里兰大学)
我们提出了一种新的管道,用于在野外使用单个智能手机获取纹理网格,该智能手机可以访问图像,深度图和有效姿势。我们的方法首先引入了一个RGBD辅助的运动恢复结构,它可以产生过滤后的深度图,并根据相应的深度来细化相机姿态。然后,我们采用神经隐式曲面重建方法,它允许高质量的网格,并开发了一个新的训练过程,用于应用经典的多视图立体视觉方法提供的正则化。此外,我们应用微分渲染微调不完整的纹理地图,并生成纹理的感知更接近原始场景。我们的流水线可以应用于现实世界中的任何常见对象,而无需实验室环境或精确的掩模图像。我们展示了捕获的对象与复杂形状的结果,并验证我们的方法对现有的三维重建和纹理映射方法的数值。
2023-03-27 cs.CV
DOT-Sim: Differentiable Optical Tactile Simulation with Precise Real-to-Sim Physical Calibration
Stanford University(斯坦福大学);University of Cambridge(剑桥大学);Toyota Research Institute University 2.0 Program(丰田研究院大学2.0计划);ARL grant W911NF-21-2-0104(ARL授予的W911NF-21-2-0104项目);Vannevar Bush Faculty Fellowship(范内var布什教职 fellowship);Flexiv corporation(Flexiv公司);Shanghai Jiao Tong University(上海交通大学)
本文提出DOT-Sim,通过材料点法建模软传感器为弹性材料,实现高精度光学触觉仿真,支持大变形和非线性模拟,并在实-仿真任务中验证了物理和视觉真实性。
2026-04-30 cs.CV cs.GR cs.RO
Spatio-thermal depth correction of RGB-D sensors based on Gaussian Processes in real-time
Profactor GmbH(Profactor有限公司);JKU Department of Computational Perception(约翰内斯·开普勒大学计算感知系)
商品RGB-D传感器可以实时的【形】捕捉彩色图像和密集的像素深度信息。典型的RGB-D传感器提供有工厂校准,并且由于粗略的校准值、老化和热影响效应而呈现不稳定的深度读数。这限制了它们在计算机视觉和机器人技术中的应用。我们提出了一种新的方法来准确地校准深度,同时考虑空间和热的影响。我们的工作是基于高斯过程回归在四维笛卡尔和热域。我们建议利用现代GPU进行实时的【形】密集深度图校正。为了重现性,我们公开了我们的数据集和源代码。
2019-07-01 cs.CV
DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image
Zhejiang University(浙江大学);Google(谷歌)
重量轻的飞行时间(ToF)深度传感器体积小,价格便宜,能耗低,已被大规模部署在移动设备上,用于自动对焦,障碍物检测等目的。然而,由于其特定的测量(区域中的深度分布,而不是某个像素处的深度值)和极低的分辨率,它们不足以用于需要高保真深度的应用,如3D重建。在本文中,我们提出了DELTAR,这是一种新的方法,通过与彩色图像合作,使轻型ToF传感器具有测量高分辨率和准确深度的能力。作为DELTAR的核心,提出了一种深度分布特征提取器和一种基于注意力的神经网络结构,有效地融合了颜色和ToF域的信息。为了在真实场景中评估我们的系统,我们设计了一个数据汇集设备,并提出了一种新的方法来校准RGB相机和ToF传感器。实验表明,我们的方法比现有的深度完成和深度超分辨率框架产生更准确的深度,并达到与商品级RGB-D传感器相当的性能。代码和数据可在https://zju3dv.github.io/deltar/上获得。
2022-09-27 cs.CV
Depth on Demand: Streaming Dense Depth from a Low Frame Rate Active Sensor
University of Bologna(博洛尼亚大学);Sony Depthsensing Solutions(索尼深度感知解决方案公司)
针对主动深度传感器帧率低、能耗高、空间稀疏的问题,提出Depth on Demand框架,结合高帧率RGB与低帧率稀疏主动深度传感器,经多模态编码等三阶段实现稠密深度估计,降低能耗并在多场景验证有效。
2024-09-12 cs.CV
Project to Adapt: Domain Adaptation for Depth Completion from Noisy and Sparse Sensor Data
Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学)
深度补全旨在从稀疏深度输入预测密集深度图。获取用于深度完井设置的密集地面实况注释可能很困难,同时,真实LiDAR测量值与合成数据之间的显著域差距阻碍了在虚拟设置中成功训练模型。我们提出了一种领域自适应方法,用于从合成数据训练的稀疏到密集的深度完成,而不需要在实域或额外的传感器中进行注释。我们的方法模拟RGB+LiDAR设置中的真实传感器噪声,由三个模块组成:通过投影模拟合成域中的真实LiDAR输入,过滤真实噪声LiDAR进行监督,并使用CycleGAN方法调整合成RGB图像。我们广泛评估这些模块对国家的最先进的KITTI深度完成基准,显示出显着的改善。
2020-08-05 cs.CV
FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出FlowMap,一种端到端可微方法,通过梯度下降最小化光流目标函数,联合估计视频序列的相机位姿、内参和密集深度,在360度新视角合成任务中表现媲美COLMAP。
2024-07-23 cs.CV
Is my Depth Ground-Truth Good Enough? HAMMER -- Highly Accurate Multi-Modal Dataset for DEnse 3D Scene Regression
Technical University of Munich(慕尼黑工业大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Siemens AG(西门子股份公司)
深度估计是三维计算机视觉的核心任务。最近的方法研究了用各种深度传感器模态训练的单眼深度的任务。每种传感器都有其优点和缺点,这是由估计的性质造成的。在文献中,主要是平均的深度平均误差进行了调查,传感器的能力通常没有讨论。然而,特别是室内环境对一些设备提出了挑战。无纹理区域对来自运动的运动恢复结构提出了挑战,反射材料对于主动感测是有问题的,并且半透明材料的距离对于用现有传感器测量是复杂的。本文提出了HAMMER,一个数据集,包括来自多个常用传感器的深度估计,用于室内深度估计,即ToF,立体声,结构光以及单目RGB+P数据。我们在3D扫描仪和对齐渲染的帮助下构建高度可靠的地面真实深度图。一个流行的深度估计器是在这些数据和典型的深度传感器上训练的。在不同的场景结构下对估计进行了广泛的分析。我们注意到在具有挑战性但日常场景内容的家庭环境中各种传感器技术所产生的泛化问题。我们公开提供的HAMMER为有针对性的深度改进和传感器融合方法铺平了道路。
2022-05-09 cs.CV
Frequency Domain TOF: Encoding Object Depth in Modulation Frequency
MIT Media Lab(麻省理工学院媒体实验室);Skoltech(斯科尔科沃科学技术研究所);Cornell University(康奈尔大学)
飞行时间相机可能会成为首选的3D传感器。如今,飞行时间传感器使用基于相位的采样,其中发射和接收的高频信号之间的相位延迟对距离进行编码。在本文中,我们提出了一种新的飞行时间架构,只依赖于频率-我们称之为频域飞行时间(FD-TOF)的这种技术。受光学相干断层扫描(OCT)的启发,FD-TOF在频率带宽较高时表现出色。随着TOF传感器使用频率的增加,飞行时间传感的新挑战不断出现。在高频下,FD-TOF提供了基于相位的飞行时间方法的几个潜在优势。
2015-03-05 cs.CV cs.GR
Inferring Super-Resolution Depth from a Moving Light-Source Enhanced RGB-D Sensor: A Variational Approach
Technical University of Munich(慕尼黑工业大学)
提出了一种基于多视点未标定光度立体的深度图超分辨率实现方法。实际上,LED光源连接到商品RGB-D传感器上,用于从多个视点捕获具有未知运动的对象。这种非静态的摄像机到对象的设置描述与非凸变分方法,使照明或摄像机运动的校准是必需的,由于制定的端到端的联合优化问题。解决所提出的变分模型的结果在高分辨率的深度,反射率和相机姿态估计,因为我们在具有挑战性的合成和现实世界的数据集。
2019-12-13 cs.CV
PA-SFM: Tracker-free differentiable acoustic radiation for freehand 3D photoacoustic imaging
本文提出PA-SFM,通过可微声辐射建模实现无需外部传感器的自由手3D光声成像,实现了高精度3D重建和低成本解决方案。
2026-03-23 cs.CV
Deformable Modeling for Human Body Acquired from Depth Sensors
本文提出了一种新的方法来重建完整的三维变形模型随时间的推移,由一个单一的深度相机。这些是用于使来自单个深度相机的对象变形的步骤。从不同的捕获时间重建的部分表面组装在一起,形成一个完整的3D表面。在线性网格变形的基础上,提出了一种网格变形算法来实现不同局部曲面的对齐。然后应用体积方法来组合部分表面,修复丢失的孔和平滑对准误差。
2017-08-30 cs.CV
Self-supervised Depth Denoising Using Lower- and Higher-quality RGB-D sensors
In3D;Skoltech(斯科尔科沃科学技术学院);Samsung AI Center, Moscow(三星人工智能中心莫斯科)
本文提出一种自监督深度去噪方法,利用不同步的低质量和高质量RGB-D传感器记录序列并时空对齐,以高质量数据为监督训练神经网络,提升低质量深度质量,在三维重建中实现更精细融合表面和更好跟踪。
2020-09-13 cs.CV
Image-based Pose Estimation and Shape Reconstruction for Robot Manipulators and Soft, Continuum Robots via Differentiable Rendering
University of California San Diego(加州大学圣地亚哥分校);LIRMM(蒙彼利埃计算机科学、机器人学与微电子实验室);Univ Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心)
根据测量数据进行状态估计对于机器人应用至关重要,因为自主系统依赖于传感器来捕获运动并在3D世界中定位。在设计用于测量机器人姿势或测量软体机器人形状的传感器中,视觉传感器是有利的,因为它们信息丰富、易于设置且具有成本效益。随着计算机视觉的最新进展,基于深度学习的方法不再需要标记来识别机器人上的特征点。然而,基于学习的方法需要大量数据,因此不适合软机器人和原型机器人,因为构建此类基准数据集通常是不可行的。在这项工作中,我们实现了基于图像的机器人姿态估计和形状重建从相机图像。我们的方法不需要精确的机器人网格,而是利用可微分渲染器和原始形状。因此,它可以应用于CAD模型可能不可用或粗糙的机器人。我们的参数估计管道是完全可微的。机器人的形状和姿态估计迭代通过反向传播的图像损失更新的参数。我们证明,我们使用几何形状基元的方法可以在软连续体机器人的形状重建和机器人操作器的位姿估计中实现高精度。
2023-02-27 cs.CV cs.RO
Pixel-wise Regression: 3D Hand Pose Estimation via Spatial-form Representation and Differentiable Decoder
Harbin Institute of Technology(哈尔滨工业大学)
基于单幅深度图像的三维手姿态估计是计算机视觉和人机交互领域的一个重要课题。虽然深度学习方法的兴起大大提高了准确率,但由于人手结构的复杂性,该问题仍然难以解决。现有的深度学习方法要么丢失了手部结构的空间信息,要么缺乏对关节坐标的直接监督。本文提出了一种新的逐像素回归方法,该方法使用空间形式表示(SFR)和可微解码器(DD)来解决这两个问题。为了使用我们的方法,我们建立了一个模型,在这个模型中,我们设计了一个特殊的SFR和相关的DD,它将三维关节坐标分为两部分,平面坐标和深度坐标,并使用两个模块分别称为平面回归(PR)和深度回归(DR)来处理它们。我们进行了烧蚀实验,表明我们提出的方法取得了更好的效果比以前的方法。并探讨了不同的训练策略对学习到的SFR和结果的影响。在三个公共数据集上的实验表明,我们的模型与现有的最先进的模型是相当的,在其中一个我们的模型可以减少平均3D联合误差25%。
2019-05-27 cs.CV
DVIO: Depth aided visual inertial odometry for RGBD sensors
SOC R&D, Samsung Semiconductor, Inc.(三星半导体公司 SOC 研发部)
在过去的几年中,我们已经观察到RGBD传感器在移动设备中的使用有所增加。这些传感器提供了对相机帧的深度图的良好估计,其可以用于许多增强现实应用中。本文提出了一种新的视觉惯性里程计(VIO)系统,它使用从RGBD传感器和惯性测量单元(IMU)传感器的测量估计的移动终端的运动状态。由此产生的系统被称为深度辅助VIO(DVIO)系统。在这个系统中,我们添加了深度测量作为非线性优化过程的一部分。具体而言,我们提出了使用一维(1D)特征参数化以及三维(3D)特征参数化的深度测量方法。此外,我们建议利用深度测量来估计非同步IMU和RGBD传感器之间的时间偏移。最后,我们提出了一种新的基于块的边缘化方法,以加快边缘化过程,并保持整个系统的实时性能。实验结果验证了所提出的DVIO系统优于其他国家的最先进的VIO系统的轨迹精度以及处理时间。
2021-10-20 cs.CV cs.RO
Efficient and accurate monitoring of the depth information in a Wireless Multimedia Sensor Network based surveillance
Antonine University(安东尼大学);Femto-ST Institute(Femto-ST研究所);Université de Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学)
无线多媒体传感器网络(WMSN)是一种很有前途的技术,可以捕获丰富的多媒体数据,如音频和视频,这可以是有用的监测环境下的监视。然而,实时的监测中的许多场景需要3D深度信息。在这项研究工作中,我们建议使用的视差图,计算从两个或多个图像,以监测的深度信息,在一个对象或事件的监视下,使用WMSN。我们的系统是基于分布式无线传感器,使我们能够显着减少三维深度重建所需的计算时间,从而使实时的解决方案的成功。每对传感器将捕获目标位置/对象的图像,并将操作立体匹配以创建视差图。视差图将使我们能够减少带宽上的流量,因为它们的大小很小。这将增加WMSN的寿命。在计算场景中的目标对象的深度值之后,可以检测任何事件,并且还可以利用视差图和由节点获取的一些参考图像来实现3D场景重构。
2017-06-25 cs.CV
Monocular Depth Estimation for Soft Visuotactile Sensors
Toyota Research Institute(丰田研究院)
填充液体的软性视觉触觉传感器(如Soft-bubbles)缓解了稳健操作的关键挑战,因为它们能够实现可靠的抓握,并能够获得关于接触几何形状和力的高分辨率感官反馈。虽然它们结构简单,但由于封闭的定制IR/深度成像传感器直接测量表面变形所引入的尺寸限制,它们的实用性受到限制。为了减轻这一限制,我们研究了应用最先进的单目深度估计来直接从内部单个小型IR成像传感器推断密集的内部(触觉)深度图。通过真实世界的实验,我们表明,通常用于长距离深度估计(1- 100米)的深度网络可以有效地训练,以便在一个几乎无纹理的可变形流体填充传感器内的更短范围(1- 100毫米)内进行精确预测。我们提出了一个简单的监督学习过程来训练一个对象不可知的网络,该网络需要少于10个随机的姿势,接触不到10秒,用于一小组不同的对象(杯子,酒杯,盒子和手指在我们的实验中)。我们表明,我们的方法是样本高效,准确,并概括了不同的对象和传感器配置在训练时看不见。最后,我们讨论了我们的软视觉触觉传感器和夹具的设计方法的影响。
2021-01-05 cs.CV cs.RO
LiDAR Meta Depth Completion
ETH Zurich(苏黎世联邦理工学院);Huawei Technologies(华为技术有限公司)
本文提出LiDAR元深度补全网络,通过学习任务网络动态调整主网络权重,使单一模型适配并泛化到不同LiDAR扫描模式,在稀疏场景下优于专用模型。
2023-08-16 cs.CV
CZU-MHAD: A multimodal dataset for human action recognition utilizing a depth camera and 10 wearable inertial sensors
Changzhou University(常州大学);Tongji University(同济大学)
人体动作识别在生活的许多领域得到了广泛的应用,同时也有大量的人体动作数据集被公开。然而,大多数多模态数据库在传感器的布局和数量上存在一些缺点,不能完全表示动作特征。针对这些问题,本文提出了一个免费的数据集,命名为CZU-MHAD(常州大学:一个全面的多模态人类行动数据集)。它由22个动作和三个模态的时间同步数据组成。这些模态包括来自kinect v2摄像头的深度视频和骨骼位置,以及来自10个可穿戴传感器的惯性信号。与单模态传感器相比,多模态传感器可以采集不同模态的数据,因此使用多模态传感器可以更准确地描述动作。此外,CZU-MHAD通过绑定惯性传感器获得10个主运动关节的3轴加速度和3轴角速度,这些数据是同时捕获的。实验结果表明,该数据集可用于研究人体不同部位之间的结构关系时,执行的动作和融合方法,涉及多模态传感器数据。
2022-02-07 cs.CV
OccFusion: Depth Estimation Free Multi-sensor Fusion for 3D Occupancy Prediction
Wuhan University(武汉大学)
针对现有多传感器融合3D占用预测依赖深度估计、准确性与鲁棒性受限且计算成本高的问题,提出无需深度估计的OccFusion框架,搭配可泛化的主动训练方法与主动解码器,在相关数据集上实现性能提升。
2024-07-10 cs.CV
Joint Mapping and Calibration via Differentiable Sensor Fusion
Uber AI Labs(优步人工智能实验室);Uber ATG(优步先进技术集团);Stanford University(斯坦福大学)
我们利用自动微分(AD)和概率编程开发一个端到端的优化算法,批量三角测量的大量未知对象。考虑到从没有深度信息的嘈杂的地理位置的街道级图像中提取的噪声检测,我们联合估计不同类型的对象的数量和位置,以及传感器噪声特性的参数和以边信息为条件的对象的先验分布。整个算法被构造为嵌套的随机变分推理。内部循环通过循环置信传播解决软数据关联问题;中间循环使用正则化牛顿求解器(利用AD框架)执行软EM聚类;外部循环通过内部循环反向传播以训练全局参数。我们将先验传感器参数为不同的交通对象类型,并展示了更丰富的先验结合环境知识的改进。我们测试我们的算法上安装摄像头的汽车观察到的路标检测,虽然在实践中,这种技术可以用于任何地理标记的图像。这些检测是由神经图像检测器和分类器提取的,我们独立地对每种类型的标志(例如停车、交通灯)进行三角测量。我们发现,我们的模型对DNN错误分类的鲁棒性比目前的方法更强,可以推广到各种符号类型,并且可以使用几何信息来提高精度。我们的算法优于我们目前的生产基线的基础上k均值聚类。我们表明,变分推理训练允许通过学习符号特定的参数进行推广。
2018-12-20 cs.AI cs.CV cs.LG
DiffPoseNet: Direct Differentiable Camera Pose Estimation
University of Maryland, College Park(马里兰大学帕克分校)
当前用于相机姿态估计的深度神经网络方法依赖于用于3D运动估计的场景结构,但这降低了鲁棒性,从而使得跨数据集泛化困难。相反,从运动恢复运动恢复结构的经典方法利用光流来估计3D运动,然后计算深度。然而,它们的准确性强烈地依赖于光流的质量。为了避免这个问题,已经提出了直接方法,其将3D运动与深度估计分离,但是仅使用正常流形式的图像梯度来计算3D运动。在本文中,我们介绍了一个网络NFlowNet,正常的流量估计,这是用来执行强大的和直接的约束。特别地,正常流用于基于手征(深度正性)约束来估计相对相机姿态。我们通过将优化问题制定为可微的cheirality层来实现这一点,该层允许端到端学习相机姿势。我们对所提出的DiffPoseNet对噪声的敏感性及其在数据集上的泛化进行了广泛的定性和定量评估。我们将我们的方法与KITTI,TartanAir和TUM-RGBD数据集上现有的最先进方法进行比较。
2022-03-21 cs.CV cs.RO
Depth Map Estimation of Dynamic Scenes Using Prior Depth Information
深度信息对于许多应用是有用的。有源深度传感器之所以吸引人,是因为它们获得密集且准确的深度图。然而,由于从功率限制到多传感器干扰的问题,这些传感器不能总是连续使用。为了克服这一限制,我们提出了一种算法,估计深度图使用同时收集的图像和先前测量的深度图的动态场景,其中相机和场景中的对象可以独立移动。为了估计这些场景中的深度,我们的算法使用独立的和刚性的运动模型的动态场景运动。然后,它使用先前的深度图来有效地估计这些刚性运动并获得新的深度图。我们的目标是在主动深度传感器和计算之间平衡深度的获取,而不会产生大量的计算成本。因此,我们利用先前的深度信息来避免计算上昂贵的操作,如在类似方法中使用的密集光流估计或分割。我们的方法可以在标准笔记本电脑上以高达实时(30 FPS)的速度获得密集的深度图,这比类似的方法快了几个数量级。当使用各种动态场景的RGB-D数据集进行评估时,我们的方法估计深度图的平均相对误差为2.5%,同时将主动深度传感器的使用减少了90%以上。
2020-02-02 cs.CV eess.IV
Self-Supervised Enhancement for Depth from a Lightweight ToF Sensor with Monocular Images
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(科学与工程学院,香港中文大学(深圳));Insta360 Research(Insta360研究院)
针对轻量化ToF传感器低分辨率深度增强需真实深度监督的问题,提出自监督框架SelfToF及升级版本SelfToF*,通过深度一致性损失、尺度恢复等设计,在不同稀疏度ToF数据下均实现高效且稳健的深度增强效果,经NYU、ScanNet数据集验证有效。
2025-06-17 cs.CV
FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras
KAIST(韩国科学技术院);Brown University(布朗大学)
高精度的每像素深度对于计算摄影至关重要,因此智能手机现在具有多模式相机系统,具有飞行时间(ToF)深度传感器和多种彩色相机。然而,由于ToF传感器的低分辨率和有限的主动照明功率,产生精确的高分辨率深度仍然具有挑战性。融合RGB立体和ToF信息是克服这些问题的一个很有前途的方向,但仍然存在一个关键问题:为了提供高质量的2D RGB图像,主颜色传感器的镜头是光学稳定的,导致浮动镜头的未知姿态打破了多模态图像传感器之间的几何关系。利用ToF深度估计和广角RGB相机,我们设计了一种基于密集2D/3D匹配的自动校准技术,该技术可以从单个快照中估计稳定的主RGB传感器的相机外部,内部和失真参数。这使我们能够通过相关体积融合立体声和ToF线索。对于融合,我们通过真实世界的训练数据集应用深度学习,并通过神经重建方法估计深度监督。为了进行评估,我们使用商业高功率深度相机获取测试数据集,并表明我们的方法比现有基线实现了更高的准确性。
2022-10-06 cs.CV
Efficient Stereo Depth Estimation for Pseudo LiDAR: A Self-Supervised Approach Based on Multi-Input ResNet Encoder
Ontario Tech University(安大略理工大学)
感知和定位对于自动运载工具至关重要,由于其精确的距离测量能力,主要通过3D LiDAR传感器进行估计。本文提出了一种从图像传感器获取实时伪点云代替激光传感器的策略。我们提出了一种方法,使用不同的深度估计,以获得伪点云,如激光雷达,以获得更好的性能。此外,深度估计器的训练和验证策略采用立体图像数据来估计更精确的深度估计以及点云结果。我们生成深度图的方法优于KITTI基准,同时产生点云的速度明显快于其他方法。
2022-05-17 cs.CV
SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Engenharia de Sistemas e Computadores, Investigação e Desenvolvimento(系统与计算机工程研究所);Institute for System and Robotics(系统与机器人研究所);Human Technology Institute, University of Technology Sydney(悉尼科技大学人类技术学院)
本文提出 SelfReDepth,一种利用连续深度帧与颜色数据的自监督深度恢复方法,无需真实深度数据即可在消费级 RGB-D 传感器上以超过 30fps 实现实时去噪与孔洞填充,性能优于现有方法。
2024-06-05 cs.AI cs.CV cs.HC
Comparing Commercial Depth Sensor Accuracy for Medical Applications
本文在猪骨、猪肚和硅胶肾模型上,以触针采样为参考,比较了立体视觉、结构光和飞行时间四类深度传感器在50cm距离下的精度,发现Zivid 2M+ 60在所有物体和指标上表现最佳。
2026-09-21 cs.CV cs.RO
High-Resolution Depth Maps Based on TOF-Stereo Fusion
Inria(法国国家信息与自动化研究所)
距离传感器与彩色摄像机的组合对于机器人导航、语义感知、操纵和远程呈现非常有用。结合范围和颜色数据的几种方法已被研究,并成功地用于各种机器人应用。这些系统中的大多数遭受距离数据中的噪声和距离传感器与彩色相机之间的分辨率失配的问题,因为当前距离传感器的分辨率远小于彩色相机的分辨率。可以使用立体匹配来获得高分辨率深度图,但是这通常无法构建弱/重复纹理场景的准确深度图,或者如果场景表现出复杂的自遮挡。距离传感器提供粗略的深度信息,而不管是否存在纹理。使用由飞行时间(TOF)相机和立体相机对组成的校准系统允许数据融合,从而克服两个单独传感器的弱点。我们提出了一种新的飞行时间立体融合方法的基础上,一个有效的种子生长算法,使用的飞行时间数据投影到立体图像对作为一个初始的对应关系。然后,这些初始的“种子”基于贝叶斯模型进行传播,该贝叶斯模型将图像相似性得分与从低分辨率范围数据计算的粗略深度先验相结合。总体结果是在手头的彩色相机的分辨率下获得密集而准确的深度图。我们表明,所提出的算法优于基于2D图像的立体算法,并且结果比现成的颜色范围传感器具有更高的分辨率,例如,Kinect此外,该算法潜在地表现出在单个CPU上的实时性能。
2021-07-30 cs.CV
Automatic Spatial Calibration of Near-Field MIMO Radar With Respect to Optical Depth Sensors
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学);University College London(伦敦大学学院)
针对近场下MIMO雷达与光学深度传感器难以联合标定的问题,提出一种含定制靶标的自动空间标定方法,经两种深度传感技术验证,该方法标定准确高效且定位鲁棒。
2024-08-13 cs.CV cs.RO
Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种深度估计的方法,融合来自立体对的信息与来自激光雷达传感器或测距相机的稀疏距离测量。这项工作的目标是利用两种传感器形式的互补优势,准确但稀疏的距离测量和模糊但密集的立体信息。通过结合各向异性扩散和半全局匹配的思想,这两个源被有效地和高效地融合。我们在KITTI 2015和Middlebury 2014数据集上评估了我们的方法,使用随机采样的地面真值范围测量作为我们的稀疏深度输入。我们实现了显着的性能改进,在两个数据集上的距离测量的一小部分。我们还提供了使用PMDTec Monstar传感器的平台的定性结果。我们的整个流水线在NVIDIA TX-2平台上以5 Hz的频率运行,具有128个视差级别的1280 x1024立体图像。
2018-09-20 cs.CV
Event-Based Structured Light for Depth Reconstruction using Frequency Tagged Light Patterns
本文提出了一种利用异步时间驱动图像传感器输出进行三维深度估计的新方法。与高速数字光处理投影系统相结合,我们的方法实现了高达数百赫兹的3D点云的实时重建。与现有技术的方法不同,我们引入了一种依赖于使用频率标记光图案的方法,该方法利用基于事件的传感器的高时间分辨率。这种方法简化了匹配,因为每个图案的唯一频率允许所显示的图案与基于事件的传感器之间的任何容易的匹配。结果显示在真实的场景。
2018-11-27 cs.CV
Learned Semantic Multi-Sensor Depth Map Fusion
ETH Zurich(苏黎世联邦理工学院);Czech Technical University in Prague(布拉格捷克理工大学);Microsoft(微软)
基于截断符号距离函数的体深度图融合已成为标准方法,并用于许多3D重建流水线中。在本文中,我们正在推广这一经典的方法在多个方面:1)语义:语义信息丰富的场景表示,并被纳入融合过程。2)多传感器:深度信息可以来自不同的传感器或算法,具有非常不同的噪声和离群值统计,这些统计在数据融合期间被考虑。3)场景去噪和完成:传感器可能无法恢复某些材料和光线条件下的深度,或者由于遮挡而丢失数据。我们的方法对几何体进行降噪、关闭孔洞并为每个语义类计算防水表面。4)学习:我们提出了一种神经网络重建方法,将所有这些属性统一在一个强大的框架内。我们的方法学习传感器或算法属性与语义深度融合和场景完成,也可以用作一个专家系统,例如,统一各种光度立体算法的优势。我们的方法是第一个统一所有这些属性。对合成数据集和真实数据集的实验评估表明了明显的改进。
2019-09-02 cs.CV cs.LG eess.IV
Decoder Modulation for Indoor Depth Completion
Samsung AI Center Moscow(三星莫斯科人工智能中心)
深度补全从传感器测量恢复密集深度图。目前的方法主要是针对室外环境中的LiDAR进行非常稀疏的深度测量,而对于室内场景,主要使用飞行时间(ToF)或结构光传感器。这些传感器提供半密集地图,在某些区域进行密集测量,而在其他区域几乎是空的。我们提出了一个新的模型,考虑到这些地区之间的统计差异。我们的主要贡献是一个新的解码器调制分支添加到编码器-解码器架构。编码器从级联的RGB图像和原始深度中提取特征。给定缺失值的掩码作为输入,所提出的调制分支针对不同区域不同地控制来自这些特征的密集深度图的解码。这是通过经由空间自适应去归一化(SPADE)块修改解码器内部的输出信号的空间分布来实现的。我们的第二个贡献是一个新的训练策略,使我们能够训练的半密集传感器数据时,地面真理深度图不可用。我们的模型在室内Matterport 3D数据集上实现了最先进的结果。我们的模型是为半密集输入深度设计的,与KITTI数据集上面向LiDAR的方法相比仍然具有竞争力。我们的训练策略显着提高了预测质量,没有密集的地面真相可用,在NYUv 2数据集上验证。
2021-02-08 cs.CV
Towards Improved Human Action Recognition Using Convolutional Neural Networks and Multimodal Fusion of Depth and Inertial Sensor Data
Ryerson University(瑞尔森大学)
本文试图通过融合深度和惯性传感器数据来提高人体动作识别(HAR)的准确性。首先,我们将深度数据转换为序列前视图图像(SFI),并在这些图像上微调预训练的AlexNet。然后,惯性数据被转换为信号图像(SI),并在这些图像上训练另一个卷积神经网络(CNN)。最后,从两个CNN中提取学习的特征,融合在一起以形成共享特征层,并将这些特征馈送到分类器。我们用两种分类器,即支持向量机(SVM)和softmax分类器进行实验,并比较它们的性能。还计算每个模态、单独的深度数据和单独的传感器数据的识别精度,并将其与基于融合的精度进行比较,以突出模态的融合产生比单个模态更好的结果的事实。在UTD-MHAD和Kinect 2D数据集上的实验结果表明,与最近提出的其他视觉惯性动作识别方法相比,该方法达到了最先进的效果。
2020-08-22 cs.AI cs.CV cs.LG
Depth estimation of endoscopy using sim-to-real transfer
Gachon University(嘉泉大学)
为了有效地使用导航系统,诸如深度传感器的距离信息传感器是必不可少的。由于深度传感器难以用于内窥镜检查,许多小组提出了一种使用卷积神经网络的方法。在本文中,通过内窥镜模拟使用CT结肠成像分割的结肠模型,生成深度图像和内窥镜图像的地面真值。使用cycleGAN内窥镜图像可以使用模拟到真实的方法创建照片般逼真的模拟图像。通过训练生成的数据集,我们提出了一个定量内窥镜深度估计网络。所提出的方法比现有的基于无监督训练的结果具有更好的评估分数。
2021-12-27 cs.CV eess.IV
Unsupervised confidence for LiDAR depth maps and applications
University of Bologna(博洛尼亚大学)
深度感知在许多领域都很关键,例如机器人和自动驾驶等。因此,诸如LiDAR的深度传感器在许多应用中迅速普及。这些传感器生成的3D点云通常必须与RGB相机相结合,以从语义上理解框架场景。通常,前者被投影在相机图像平面上,导致稀疏的深度图。不幸的是,这个过程,再加上影响所有深度传感器的固有问题,在最终输出中产生噪声和总异常值。有目的地,在本文中,我们提出了一个有效的无监督框架,旨在通过学习估计LiDAR稀疏深度图的置信度来明确解决这个问题,从而允许过滤出离群值。在KITTI数据集上的实验结果表明,我们的框架在这方面表现出色。此外,我们还展示了这一成就如何改善广泛的任务。
2022-10-06 cs.CV