Deep-6DPose: Recovering 6D Object Pose from a Single RGB Image
The University of Adelaide(阿德莱德大学)
从RGB图像中检测物体及其6D姿态是许多机器人应用的重要任务。虽然深度学习方法在视觉目标检测和分割方面取得了重大进展,但物体姿态估计任务仍然具有挑战性。在本文中,我们介绍了一个端到端的深度学习框架,名为Deep-6DPose,它可以联合检测,分割,最重要的是从单个RGB图像中恢复对象实例的6D姿态。特别是,我们扩展了最新的最先进的实例分割网络Mask R-CNN,其中包含一个新的姿态估计分支,可以直接回归6D对象姿态,而无需任何后细化。我们的关键技术贡献是解耦的姿态参数到平移和旋转,使旋转可以通过李代数表示回归。由此产生的姿势回归损失是差分的且不受约束的,使得训练易于处理。在两个标准姿态基准数据集上的实验表明,我们提出的方法与最先进的基于RGB的多阶段姿态估计方法相比是有利的。重要的是,由于端到端架构,Deep-6DPose比竞争对手的多阶段方法快得多,提供了10 fps的推理速度,非常适合机器人应用。
2018-02-28 cs.CV cs.RO
A Multi-view RGB-D Approach for Human Pose Estimation in Operating Rooms
ICube, University of Strasbourg, CNRS, IHU Strasbourg(ICube实验室,斯特拉斯堡大学,法国国家科学研究中心,斯特拉斯堡大学医院);University Hospital of Strasbourg(斯特拉斯堡大学医院)
已经提出了许多方法用于单视图和多视图RGB图像中的人体姿态估计。然而,某些环境,例如手术室,对于最先进的RGB方法仍然非常具有挑战性。在本文中,我们提出了一种从RGB-D图像进行多视图3D人体姿态估计的方法,并证明了使用额外的深度通道进行姿态细化的好处,而不仅仅是用于生成改进的功能。所提出的方法允许联合检测和估计的姿态,而不知道先验的场景中存在的人数。我们在一个新的多视图RGB-D数据集上评估了这种方法,该数据集是在现场手术期间获得的,并用地面真实3D姿势进行了注释。
2017-01-25 cs.CV
M2RNet: Multi-modal and Multi-scale Refined Network for RGB-D Salient Object Detection
Nankai University(南开大学);Peking University(北京大学)
显著目标检测是计算机视觉的一个基本课题。以往的基于RGB-D的特征融合方法存在多模态特征融合不兼容和多尺度特征聚合不足的问题。为了解决这两个难题,我们提出了一种新的多模态和多尺度细化网络(M2 RNet)。该网络有三个基本组成部分。嵌套的双重注意模块(NDAM)明确地利用RGB和深度流的组合特征。相邻交互式聚合模块(AIAM)逐步整合高、中、低三层的邻居特征。联合混合优化损失(JHOL)使预测具有突出的轮廓。大量的实验表明,我们的方法优于其他国家的最先进的方法。
2021-09-16 cs.CV
Lifting Monocular Events to 3D Human Poses
Istituto Italiano di Tecnologia(意大利理工学院);University of Genova(热那亚大学)
本文提出了一种新的三维人体姿态估计方法,使用一个单一的异步事件流作为输入。大多数最先进的方法都是使用RGB相机来解决这个问题,但是当主体快速移动时,这些方法就很难解决了。另一方面,基于事件的3D姿态估计受益于事件相机的优势,特别是它们的效率和对外观变化的鲁棒性。然而,在异步事件中找到人类姿势通常比标准RGB姿势估计更具挑战性,因为在静态场景中很少或没有事件被触发。在这里,我们提出了第一个基于学习的方法,从一个单一的事件流的3D人体姿势。我们的方法包括两个步骤。首先,我们处理事件相机流以预测每个关节的三个正交热图;每个热图是关节在一个正交平面上的投影。接下来,我们融合热图集来估计身体关节的3D定位。作为进一步的贡献,我们通过模拟RGB Human3.6m数据集的事件,提供了一个新的、具有挑战性的数据集,用于基于事件的人体姿势估计。实验表明,我们的方法实现了坚实的准确性,缩小了标准RGB和基于事件的视觉之间的性能差距。该代码可在https://iit-pavis.github.io/lifting_events_to_3d_hpe上免费获得。
2021-04-21 cs.CV
Global-Local Propagation Network for RGB-D Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
深度信息在RGB-D语义分割任务中很重要,用于为彩色图像提供额外的几何信息。现有的方法大多采用多级融合策略将深度特征传播到RGB分支。然而,在非常深的阶段,以简单的逐元素添加方式的传播不能充分利用深度信息。我们提出了全局-局部传播网络(GLPNet)来解决这个问题。具体地说,局部上下文融合模块(L-CFM)被引入到元素级融合之前动态对齐两个模态,和全局上下文融合模块(G-CFM)被引入到传播的深度信息的RGB分支,通过联合建模的多模态全局上下文功能。大量的实验证明了所提出的融合模块的有效性和互补性。将两个融合模块嵌入到双流编码器-解码器结构中,我们的GLPNet在两个具有挑战性的室内场景分割数据集上实现了新的最先进性能,即,NYU-Depth v2和SUN-RGBD数据集。
2021-01-26 cs.CV
UniPose: Unified Cross-modality Pose Prior Propagation towards RGB-D data for Weakly Supervised 3D Human Pose Estimation
National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(多谱段信息智能处理技术国家重点实验室,人工智能与自动化学院,华中科技大学)
提出 UniPose 框架,通过自监督跨模态传播将RGB图像中的2D姿态先验迁移至RGB-D点云,并以伪真值驱动3D提升,在无需3D标注的情况下达到接近全监督的性能。
2025-09-27 cs.CV
VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Universidad Rey Juan Carlos(胡安卡洛斯国王大学)
我们提出了第一个实时的方法来捕捉完整的全球三维骨骼姿态的人在一个稳定的,时间上一致的方式使用一个单一的RGB相机。我们的方法结合了一个新的卷积神经网络(CNN)为基础的姿态回归与运动骨架拟合。我们新颖的全卷积姿态公式实时的联合回归2D和3D关节位置,并且不需要紧密裁剪的输入帧。一种实时的运动学骨架拟合方法使用CNN输出以在相干运动学骨架的基础上产生时间稳定的3D全局姿态重建。这使得我们的方法是第一个单目RGB方法可用于实时的应用程序,如3D字符控制-到目前为止,只有单目方法为这样的应用程序采用专门的RGB-D相机。我们的方法的准确性在定量上与最好的离线3D单目RGB姿态估计方法相当。我们的结果在质量上与单目RGB-D方法(如Kinect)的结果相当,有时甚至更好。然而,我们表明,我们的方法比RGB-D解决方案更广泛地适用,即它适用于户外场景,社区视频和低质量的商品RGB相机。
2017-05-03 cs.CV cs.GR
Deep Sliding Shapes for Amodal 3D Object Detection in RGB-D Images
Princeton University(普林斯顿大学)
我们专注于任务的非模态三维目标检测的RGB-D图像,其目的是产生一个三维限界框的对象在其完整的范围内的度量形式。我们引入了深度滑动边界,这是一种3D ConvNet公式,它将RGB-D图像中的3D体积场景作为输入,并输出3D对象边界框。在我们的方法中,我们提出了第一个3D区域建议网络(RPN),以学习对象的几何形状和第一个联合对象识别网络(ORN),以提取几何特征在3D和颜色特征在2D。特别是,我们通过在两个不同的尺度上训练一个非模态RPN和一个ORN来处理各种大小的对象,以回归3D边界框。实验表明,我们的算法优于国家的最先进的13.8在mAP和200倍的速度比原来的滑动搜索。所有源代码和预训练模型都将在GitHub上提供。
2016-03-09 cs.CV
Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction
Dalian University of Technology(大连理工大学)
深度图具有颜色无关性、光照不变性和位置区分性,可以为复杂环境中显著目标的提取提供重要的补充信息。然而,高质量的深度传感器价格昂贵,无法广泛应用。而一般的深度传感器会产生噪声和稀疏的深度信息,这给基于深度的网络带来了不可逆的干扰。在本文中,我们提出了一种新的多任务和多模态滤波Transformer(MMFT)网络的RGB-D显著目标检测(SOD)。具体来说,我们统一了三个互补的任务:深度估计,显着的目标检测和轮廓估计。多任务机制促进模型从辅助任务中学习任务感知特征。通过这种方式,可以完成和纯化深度信息。此外,我们引入了一个多模态滤波Transformer(MFT)模块,它配备了三个模态特定的过滤器,以生成每个模态的transformer增强功能。在测试阶段,所提出的模型以无深度的方式工作。实验结果表明,该方法在多数据集上不仅显著优于基于深度的RGB-D SOD方法,而且能够同时准确预测出高质量的深度图和显著轮廓。并且,所得到的深度图可以帮助现有的RGB-D SOD方法获得显著的性能增益。源代码将在https://github.com/Xiaoqi-Zhao-DLUT/MMFT上公开。
2022-11-08 cs.CV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich(慕尼黑工业大学)
从单个图像中理解3D场景是各种任务的基础,例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建,或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发,我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像,预测图像的相机截头体中场景的完整几何重建,以及语义和实例分割。因此,我们提出了一种新的方法,从一个单一的RGB图像的整体三维场景理解,学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明,这种整体视图的联合场景重建,语义,和实例分割是有益的独立处理的任务,从而优于其他方法。
2022-05-16 cs.CV
Human Pose Estimation from RGB Input Using Synthetic Training Data
我们解决的问题,估计使用RGB图像输入的人的姿势。更具体地说,我们使用随机森林分类器将像素分类为基于关节的身体部位类别,这与著名的Kinect姿势估计器非常相似[11],[12]。但是,我们使用的是纯RGB输入,即没有深度。由于随机森林需要大量的训练样本,我们使用计算机图形生成的合成训练数据。此外,我们假设我们可以访问大量具有限界框标签的真实图像,例如由行人检测器或跟踪系统提取。我们提出了一个新的目标函数的随机森林训练,使用弱标记的数据从目标域,鼓励学习者选择的功能,从合成源域推广到真正的目标域。我们在公开可用的数据集上证明了[6],所提出的目标函数产生的分类器显著优于使用标准熵目标训练的基线分类器[10]。
2014-05-27 cs.CV
3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans
Technical University of Munich(慕尼黑工业大学)
我们介绍了3D-SIS,一种新的神经网络架构,用于商品RGB-D扫描中的3D语义实例分割。我们方法的核心思想是从几何和颜色信号中联合学习,从而实现准确的实例预测。我们观察到大多数计算机视觉应用程序都有多视图RGB-D输入,而不是只在2D帧上操作,我们利用它来构建一种用于3D实例分割的方法,该方法有效地将这些多模态输入融合在一起。我们的网络通过基于3D重建的姿态对齐将2D图像与体积网格相关联来利用高分辨率RGB输入。对于每个图像,我们首先用一系列2D卷积为每个像素提取2D特征;然后将得到的特征向量反向投影到3D网格中的相关体素。这种2D和3D特征学习的组合允许比最先进的替代方案显著更高精度的目标检测和实例分割。我们展示了合成和真实世界公共基准的结果,在真实世界数据上实现了超过13的mAP改进。
2019-04-29 cs.CV
Polarization-driven Semantic Segmentation via Efficient Attention-bridged Fusion
Zhejiang University(浙江大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
语义分割(Semantic Segmentation,SS)在自动驾驶、辅助导航等安全关键应用中有着广阔的应用前景,但传统的SS主要基于RGB图像,这限制了SS在复杂户外场景中的可靠性,RGB图像缺乏充分感知无约束环境所需的信息维度。作为初步的调查,我们检查SS在一个意想不到的障碍物检测的情况下,这表明多模态融合的必要性。因此,在这项工作中,我们提出了EAFNet,一个有效的注意力桥接融合网络,以利用来自不同光学传感器的互补信息。具体来说,我们将偏振传感,以获得补充信息,考虑到其光学特性的强大的代表性的不同材料。通过使用单次激发偏振传感器,我们构建了第一个RGB-P数据集,该数据集由394个注释像素对齐的RGB偏振图像组成。各种各样的实验表明,EAFNet融合偏振和RGB信息的有效性,以及适应其他传感器组合场景的灵活性。
2021-01-22 cs.CV cs.RO eess.IV
RevealNet: Seeing Behind Objects in RGB-D Scans
Technical University of Munich(慕尼黑工业大学)
在3D重建过程中,通常情况下,人们无法从所有视图扫描每个单独的对象,从而导致捕获的扫描中丢失几何形状。这种缺失的几何形状可能从根本上限制了许多应用,例如,机器人需要知道看不见的几何形状以在物体上执行精确的抓取。因此,我们引入语义实例完成的任务:从一个不完整的RGB-D扫描的场景,我们的目标是检测单个对象实例,并推断其完整的对象几何形状。这将为与场景中的对象进行交互开辟新的可能性,例如虚拟或机器人代理。我们通过引入RevealNet来解决这个问题,RevealNet是一种新的数据驱动方法,可以联合检测对象实例并预测其完整的几何形状。这使得扫描场景能够语义上有意义地分解为单个完整的3D对象,包括隐藏和未观察到的对象部分。RevealNet是一种端到端3D神经网络架构,利用联合颜色和几何特征学习。我们的3D网络的完全卷积性质使得能够在单个前向传递中以大型室内环境的规模有效地推断3D扫描的语义实例完成。我们表明,预测完整的对象几何形状提高了3D检测和实例分割的性能。我们对新任务的真实和合成扫描基准数据进行了评估,在ScanNet上,我们在mAP@0.5中的表现优于最先进的方法超过15,在SUCG上的mAP@0.5超过18。
2020-03-11 cs.CV
Self-adversarial Multi-scale Contrastive Learning for Semantic Segmentation of Thermal Facial Images
University College London(伦敦大学学院)
人脸热图像的分割是一个具有挑战性的任务。这是因为面部特征通常由于高动态热范围场景和遮挡问题而缺乏显著性。来自无约束设置的数据集的有限可用性进一步限制了最先进的分割网络、损失函数和学习策略的使用,这些都是针对RGB图像构建和验证的。为了应对这一挑战,我们提出了自对抗多尺度对比学习(SAM-CL)框架作为一种新的训练策略,用于热图像分割。SAM-CL框架由SAM-CL损失函数和作为特定领域增强技术的热图像增强(TiAug)模块组成。我们使用热脸数据库来证明我们的方法的有效性。在现有的分割网络(UNET,Attention-UNET,DeepLabV 3和HRNetv 2)上进行的实验证明了SAM-CL框架的一致性能增益。此外,我们还对UBComfort和DeepBreath数据集进行了定性分析,以讨论我们提出的方法在处理无约束情况时的表现。
2022-10-07 cs.CV
UniTriGen: Unified Triplet Generation of Aligned Visible-Infrared-Label for Few-Shot RGB-T Semantic Segmentation
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Computer Science & Technology, Xi’an University of Posts & Telecommunications(西安邮电大学计算机科学与技术学院);MMLab, The Chinese University of Hong Kong(香港中文大学MMLab)
UniTriGen提出统一三元组生成框架,通过共享潜在空间和扩散过程生成一致的可见-红外-标签三元组,解决少样本RGB-T语义分割中的对齐问题。
2026-05-14 cs.CV
Developing Normative Gait Cycle Parameters for Clinical Analysis Using Human Pose Estimation
CSIRO Data61(联邦科学与工业研究组织Data61研究院);University of New South Wales(新南威尔士大学)
本文提出一种基于RGB视频和2D人体姿态估计的数据驱动方法,通过逐周期关节角度分析建立规范性步态运动学参数,实现仅用单目视频对个体步态异常进行客观、自动化的空间与时间偏差识别。
2024-11-20 cs.CV
PlaneRecNet: Multi-Task Learning with Cross-Task Consistency for Piece-Wise Plane Detection and Reconstruction from a Single RGB Image
分段三维平面重建提供了对人造环境的整体场景理解,特别是对于室内场景。最近的方法主要集中在通过引入先进的网络架构来改善分割和重建结果,但忽略了分段平面作为对象和几何模型的双重特性。与其他现有方法不同,我们从多任务卷积神经网络PlaneRecNet的跨任务一致性开始,PlaneRecNet集成了一个用于分段平面分割的单级实例分割网络和一个深度解码器,用于从单个RGB图像重建场景。为了实现这一目标,我们引入了几个新的损失函数(几何约束),共同提高分段平面分割和深度估计的准确性。同时,提出了一种新的平面先验注意模型,通过对平面实例的感知来指导深度估计。在这项工作中进行了详尽的实验,以验证我们的方法的有效性和效率。
2022-01-30 cs.CV
RDVSv2: A Large-scale Benchmark for RGB-D Video Salient Object Detection
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University(四川大学合成视觉基础科学国家重点实验室);College of Computer Science, Sichuan University(四川大学计算机学院)
介绍用于RGB-D视频显著目标检测的大规模基准测试RDVSv2,其规模大、场景多样。基于SAM2建立强大基线,采用参数高效微调策略联合编码多模态线索,该基线在RDVSv2及现有基准测试中达最优,为相关研究提供资源。
2026-07-29 cs.CV
Dual Mutual Learning Network with Global-local Awareness for RGB-D Salient Object Detection
College of Artificial Intelligence, Nankai University(南开大学人工智能学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出GL-DMNet,通过位置与通道互融合模块及级联Transformer解码器解决RGB-D显著目标检测中的跨模态差异与全局-局部融合难题,在六个基准上超越24种方法。
2025-01-03 cs.CV cs.MM
Privacy-Preserving Semantic Segmentation from Ultra-Low-Resolution RGB Inputs
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所);Center for Robotics(机器人中心)
本文提出一种全新联合学习框架,解决超低分辨率RGB输入下的语义分割难题,通过实验验证方法在隐私保护与分割性能间取得良好平衡,并在真实机器人任务中成功应用。
2026-04-04 cs.CV cs.RO
Center3D: Center-based Monocular 3D Object Detection with Joint Depth Understanding
Technische Universität Darmstadt(达姆施塔特工业大学)
在3D空间中定位对象并理解其相关的3D属性是具有挑战性的,因为只有单目RGB图像。这种情况由于透视投影期间深度信息的丢失而变得复杂。我们提出了Center 3D,一个阶段的锚免费的方法,有效地估计3D位置和深度,只使用单目RGB图像。通过利用2D和3D中心之间的差异,我们能够一致地估计深度。Center 3D使用分类和回归的组合来理解隐藏的深度信息,比单独使用每种方法更强大。我们的方法采用了两种联合方法:(1)LID:一种分类主导的方法与顺序线性递增离散化。(2)DepJoint:一种回归主导的方法,具有用于深度估计的多个本征变换。在中等对象的KITTI数据集上进行评估,Center 3D将BEV中的AP从$29.7\%$改进为$42.8\%$,将3D中的AP从$18.6\%$改进为$39.1\%$。与最先进的检测器相比,Center 3D在实时单目目标检测中实现了最佳的速度-精度权衡。
2020-05-27 cs.CV cs.LG
RGB-X Object Detection via Scene-Specific Fusion Modules
California Institute of Technology(加州理工学院);Ford Motor Company(福特汽车公司)
本文提出一种基于场景特定融合模块的高效模块化RGB-X融合网络,通过融合预训练单模态模型,仅需小规模配准多模态数据和少量额外参数即可实现优于现有方法的RGB-热红外与RGB-门控目标检测。
2023-10-30 cs.AI cs.CV cs.RO
Privacy-Preserving Semantic Segmentation from High-Resolution Depth and Ultra-Low-Resolution RGB
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所);Center for Robotics(机器人中心);Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用科学大学);Fraunhofer Institute for Intelligent Analysis and Information Systems(弗劳恩霍夫智能分析和信息系统研究所)
针对移动机器人视觉隐私问题,提出结合高分辨率深度与超低分辨率RGB的非对称感知设置,通过联合2D框架和2D到3D流水线实现隐私保护下的最佳2D/3D分割及零样本迁移,并验证了隐私可恢复性降低与导航实用性。
2026-09-24 cs.CV cs.RO
Joint Estimation of Age and Gender from Unconstrained Face Images using Lightweight Multi-task CNN for Mobile Applications
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
基于无约束图像的自动年龄和性别分类已经成为移动设备上的基本技术。在有限的计算能力下,如何开发一个健壮的系统成为一个具有挑战性的任务。在本文中,我们提出了一种高效的卷积神经网络(CNN),称为轻量级多任务CNN,用于同时进行年龄和性别分类。轻量级多任务CNN使用深度可分离卷积来减少模型大小并节省推理时间。在公开的Adience数据集上,年龄和性别分类的准确性优于基线多任务CNN方法。
2018-06-06 cs.CV
HODINet: High-Order Discrepant Interaction Network for RGB-D Salient Object Detection
Nankai University(南开大学);New York University(纽约大学)
针对RGB和深度特征贡献不同的问题,提出HODINet,利用Transformer和CNN双骨干提取高阶表示并嵌入空间与通道注意力进行跨模态特征融合,在七个数据集上取得优于24种SOTA方法的竞争力表现。
2023-07-03 cs.CV eess.IV
DetMatch: Two Teachers are Better Than One for Joint 2D and 3D Semi-Supervised Object Detection
Carnegie Mellon University(卡内基梅隆大学);University of California Berkeley(加州大学伯克利分校)
虽然许多3D检测工作利用RGB图像和点云之间的互补关系,但半监督对象识别的更广泛框架的发展仍然不受多模态融合的影响。当前的方法开发了用于2D和3D半监督学习的独立管道,尽管成对的图像和点云帧是可用的。观察到每个传感器的独特特性导致它们偏向于检测不同的对象,我们提出了DetMatch,一个灵活的框架,联合半监督学习的2D和3D模式。通过识别在两个传感器中检测到的对象,我们的管道生成了一组更干净,更强大的伪标签,既展示了更强的性能,又阻止了单模态错误传播。此外,我们利用RGB图像更丰富的语义来纠正不正确的3D类别预测并改进3D框的本地化。在具有挑战性的KITTI和Waymo数据集上进行评估,我们改进了强半监督学习方法,并观察到更高质量的伪标签。代码将在https://github.com/Divadi/DetMatch上发布
2022-03-17 cs.AI cs.CV cs.LG
Towards Spectral Estimation from a Single RGB Image in the Wild
ETH Zurich(苏黎世联邦理工学院)
在目前的文献相比,我们解决的问题,从一个单一的共同的三色RGB图像下获得的无约束设置(例如,未知的相机参数,未知的场景辐射,未知的场景内容)的光谱估计。为此,我们使用高光谱图像相机提供的参考光谱,并提出有效的深度学习解决方案,用于从单个RGB图像进行灵敏度函数估计和光谱重建。我们进一步扩展了光谱重建的概念,以便适用于野外拍摄的RGB图像,并提出了一种基于卷积网络的解决方案,该网络以估计的灵敏度函数为条件。除了提出的解决方案,我们还研究通用和敏感性专门的模型,并讨论其局限性。我们在标准的基于示例的光谱重建基准测试中取得了最先进的竞争结果:ICVL,CAVE,NUS和NTIRE。此外,我们的实验表明,第一次,准确的光谱估计从一个单一的RGB图像在野外是我们力所能及的。
2018-12-03 cs.CV
RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignment
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术卓越创新中心);University of Science and Technology of China(中国科学技术大学);Beihang University(北京航空航天大学)
由于RGB和IR图像之间的大的跨模态变化,RGB-红外(IR)人重新识别是一个重要且具有挑战性的任务。大多数传统的方法旨在通过特征表示学习来弥合跨通道的差距。与现有的方法不同,本文提出了一种新的端到端对齐生成对抗网络(AlignGAN)的RGB-IR RE-ID任务。所提出的模型具有几个优点。首先,它可以联合利用像素对齐和特征对齐。据我们所知,这是第一个工作,建模的两个对齐策略联合RGB-IR RE-ID问题。其次,该模型由像素生成器、特征生成器和联合特征生成器组成。通过在三个组件之间进行最小-最大博弈,我们的模型不仅能够减轻跨模态和模态内的变化,而且还能够学习身份一致的特征。在两个标准基准上的大量实验结果表明,该模型对最先进的方法表现良好。特别是,在SYSU-MM 01数据集上,我们的模型在Rank-1和mAP方面可以实现15.4%和12.9%的绝对增益。
2019-10-28 cs.CV
3DMV: Joint 3D-Multi-View Prediction for 3D Semantic Scene Segmentation
Stanford University(斯坦福大学);Technical University of Munich(慕尼黑工业大学)
我们提出了3DMV,一种新的方法,用于在室内环境中使用联合3D多视图预测网络进行RGB-D扫描的3D语义场景分割。与现有的使用几何或RGB数据作为输入的方法相比,我们将这两种数据形式结合在一个联合的端到端网络架构中。而不是简单地将颜色数据投影到体积网格中并仅在3D中操作-这将导致细节不足-我们首先从相关的RGB图像中提取特征图。这些功能,然后映射到三维网络的体积特征网格使用可微反投影层。由于我们的目标是可能有许多帧的3D扫描场景,因此我们使用多视图池方法来处理不同数量的RGB输入视图。这种RGB和几何特征的学习组合与我们的联合2D-3D架构实现了比现有基线更好的结果。例如,与现有的体积架构相比,我们在ScanNet 3D分割基准上的最终结果从52.8%提高到75%的准确性。
2018-03-28 cs.CV
ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields
EPFL(洛桑联邦理工学院);Schindler EPFL Lab(迅达-洛桑联邦理工学院实验室)
针对现有方法重建几何与温度数据不一致的问题,提出ThermoNeRF多模态神经辐射场方法,联合渲染RGB和热红外新视角,并构建ThermoScenes配对数据集,在建筑等场景温度估计误差降低超50%。
2024-11-29 cs.CV
Recognition of Grasp Points for Clothes Manipulation under unconstrained Conditions
Advanced Mining Technology Center & Dept. of Elect. Eng., Universidad de Chile(智利大学先进采矿技术中心与电气工程系)
在这项工作中,提出了一个系统,用于识别RGB-D图像中的抓点。该系统旨在由家用机器人在将衣服放置在桌子上的随机位置时使用。考虑到抓握点通常靠近衣服的关键部位,例如裤子的腰部或衬衫的颈部。所提出的系统试图检测这些关键部分第一,使用一个本地的多变量轮廓,相应地适应其形状。然后,所提出的系统应用血管增强滤波器来识别衣服中的皱纹,从而可以计算衣服的粗糙度指数。最后,通过混合(i)关键部位轮廓和(ii)由血管滤波器获得的粗糙度信息,系统能够识别用于展开一件衣服的抓取点。识别系统进行了验证,使用逼真的RGB-D图像的不同类型的布。
2017-06-20 cs.CV cs.RO
Point Cloud Scene Completion with Joint Color and Semantic Estimation from Single RGB-D Image
Dalian University of Technology(大连理工大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong (ShenZhen)(香港中文大学(深圳));Princeton University(普林斯顿大学)
提出了一种基于深度强化学习的渐进式视图修复方法,在体指导下完成彩色语义点云场景的修复,实现了对严重遮挡的单幅RGB-D图像的高质量场景重建。我们的方法是端到端的,由三个模块组成:三维场景体重建,二维RGB-D和分割图像修补,多视图选择完成。对于一幅RGB-D图像,该方法首先预测其语义分割图,并通过3D体积分支获得体积场景重建,作为下一个视图修复步骤的指导,该步骤试图弥补缺失的信息;第三步涉及在输入的相同视图下投影体积,将它们连接以完成当前视图RGB-D和分割图,以及将所有RGB-D和分割图集成到点云中。由于遮挡区域不可用,我们采用A3 C网络扫视周围,并逐步选择下一个最佳视图进行大孔完成,直到场景得到充分重建,同时保证有效性。所有步骤都是共同学习的,以实现稳健和一致的结果。我们对3D-FUTURE数据进行了大量的实验,进行了定性和定量评估,获得了比最先进技术更好的结果。
2022-10-12 cs.CV
JRN-Geo: A Joint Perception Network based on RGB and Normal images for Cross-view Geo-localization
College of Information Science and Engineering, Northeastern University(信息科学与工程学院,东北大学);School of Computer Science, University of Sheffield(计算机科学学院,谢菲尔德大学)
针对跨视角地理定位中视角差异大、外观变化的问题,提出融合RGB和法线图像的联合感知网络JRN-Geo,利用双分支框架、差异感知融合和联合约束聚合,并采用3D地理增强技术,在University-1652和SUES-200上取得最优性能。
2025-09-06 cs.CV
Two-hand Global 3D Pose Estimation Using Monocular RGB
Brigham Young University(杨百翰大学)
我们解决了具有挑战性的任务,估计全球3D关节位置的双手通过只有单目RGB输入图像。我们提出了一种新的基于多级卷积神经网络的流水线,该流水线准确地分割和定位手,尽管双手之间的遮挡和复杂的背景噪声,并且在没有任何深度信息的情况下估计2D和3D规范关节位置。全局关节相对于摄像机原点的位置计算使用的手姿态估计和关键骨的实际长度与一种新的投影算法。为了训练CNN来完成这项新任务,我们引入了一个大规模的合成3D手部姿势数据集。我们证明了我们的系统优于以前的作品3D规范的手姿态估计基准数据集与RGB的唯一信息。此外,我们提出了第一个工作,实现准确的全球3D手跟踪双手使用RGB的唯一输入,并提供广泛的定量和定性评估。
2020-08-25 cs.CV
Joint Prediction of Depths, Normals and Surface Curvature from RGB Images using CNNs
Monash University(莫纳什大学)
在开发完全自主的机器人时,了解场景的3D结构至关重要。为此,我们提出了一种新的基于深度学习的框架,该框架仅使用单个RGB图像来估计深度、表面法线和表面曲率。据我们所知,这是第一次使用机器学习方法从颜色估计表面曲率。此外,我们还证明了通过调整网络来推断设计良好的特征,如表面曲率,我们可以在估计深度和法线方面实现更好的性能,这表明网络指导仍然是设计和训练神经网络的一个有用方面。我们进行了大量的实验,训练网络来推断不同的任务,同时模型容量保持不变,从而根据手头的任务产生不同的特征图。我们优于以前的国家的最先进的基准,共同估计深度和表面法线,同时预测表面曲率并行。
2017-06-23 cs.CV
A Unified Deep Framework for Joint 3D Pose Estimation and Action Recognition from a Single RGB Camera
Cerema Research Center(Cerema研究中心);Aparnix;Cortexica Vision Systems Ltd.(Cortexica视觉系统有限公司);Vingroup Big Data Institute (VinBDI)(Vingroup大数据研究所(VinBDI))
我们提出了一个基于深度学习的多任务框架,用于从RGB视频序列中进行联合3D人体姿势估计和动作识别。我们的方法分为两个阶段。首先,我们运行实时2D姿态检测器来确定身体重要关键点的精确像素位置。然后设计并训练双流神经网络以将检测到的2D关键点映射到3D姿态。在第二,我们部署的高效神经架构搜索(ENAS)算法,以找到一个最佳的网络架构,用于通过基于图像的中间表示和执行动作识别的估计3D姿态的时空演变建模。在Human3.6M、MSR 3D和SBU Kinect Interaction数据集上的实验验证了该方法在目标任务上的有效性。此外,我们表明,我们的方法需要一个低的计算预算的培训和推理。
2019-07-16 cs.CV
End-to-end Hand Mesh Recovery from a Monocular RGB Image
Beihang University(北京航空航天大学);Y-tech, Kwai(快手Y-tech)
在本文中,我们提出了一个HAMR框架来解决从单个RGB图像重建人手的完整3D网格的问题。与现有的从RGB或/和深度图像数据进行2D或3D手部姿态估计的研究相比,HAMR可以为单目手部图像理解提供更具表现力和有用的网格表示。具体地,通过用形状和相对3D关节角度参数化通用3D手模型来实现网格表示。通过利用这种网格表示,我们可以通过网格顶点之间的线性插值轻松地计算3D关节位置,同时通过3D关节的投影获得2D关节位置。为此,可以根据导出的表示和地面实况标签定义可微的重新投影损失,从而使我们的框架端到端可训练。定性实验表明,我们的框架能够恢复吸引人的3D手网格,即使在严重的闭塞存在。定量,我们的方法也优于现有技术的方法,从几个基准数据集上的单目RGB图像的2D和3D手部姿势估计。
2019-09-07 cs.CV
Joint RGB-Spectral Decomposition Model Guided Image Enhancement in Mobile Photography
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);Nanyang Technological University(南洋理工大学);Key Laboratory of Optoelectronic Devices and Systems with Extreme Performances of MOE, Nanjing University(南京大学极端性能光电器件与系统教育部重点实验室)
针对光谱传感器在移动摄影中应用受限的问题,提出联合RGB-光谱分解模型引导的增强框架,结合RGB与Lr-MSI预测先验并集成到HDRNet,构建Mobile-Spec数据集,为移动光谱视觉奠定基础。
2024-11-28 cs.CV
RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical Flow and Scene Flow Estimation
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学)
本文提出 RPEFlow 多阶段多模态融合模型,结合 RGB、点云和事件,通过交叉注意力与互信息正则联合估计光流和场景流,并发布新合成数据集,性能显著超过现有方法。
2023-09-26 cs.CV
RGB Pre-Training Enhanced Unobservable Feature Latent Diffusion Model for Spectral Reconstruction
Institute of Artificial Intelligence, College of Computer Science, Zhejiang University(人工智能研究院,计算机科学学院,浙江大学);Department of Computer Science and Technology, Ocean University of China(计算机科学与技术系,中国海洋大学)
本文提出将RGB预训练潜在扩散模型扩展为不可观测特征潜在扩散模型,通过两阶段流程分别学习光谱结构表示和光谱-空间联合分布,在紧凑潜在空间中建模不可观测特征,在光谱重建和重新照明任务上达到最先进性能。
2025-07-17 cs.CV
Dense 3D Facial Reconstruction from a Single Depth Image in Unconstrained Environment
Ocean University of China(中国海洋大学);University of Portsmouth(朴茨茅斯大学);Shandong University of Science & Technology(山东科技大学)
随着人们对3D电影、虚拟人机交互、虚拟智能体等虚拟现实应用需求的不断增长,作为虚拟现实任务的基础,三维人脸分析越来越受到人们的重视。由于由附加维度提供的信息,3D面部重建使得能够以比基于2D面部分析的那些更高的精度来实现上述任务。三维人脸模型的密度越大,它所能提供的信息就越多。然而,大多数现有的密集三维人脸重建方法需要复杂的处理和高系统成本。为此,本文提出了一种新的方法,简化了密集的3D面部重建的过程中,只采用一帧的深度数据与现成的RGB-D传感器。实验结果与真实世界的数据具有竞争力。
2017-04-24 cs.CV
Real-time Joint Tracking of a Hand Manipulating an Object from RGB-D Input
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Aalto University(阿尔托大学)
实时的【形】同时跟踪手操作和与外部物体交互在增强现实、有形计算和可穿戴计算中具有许多潜在的应用。然而,由于困难的闭塞,快速运动,和统一的手的外观,联合跟踪手和对象的姿态是更具有挑战性的比单独跟踪两者之一。许多先前的方法诉诸于复杂的多相机设置来补救遮挡问题,并且通常采用昂贵的分割和优化步骤,这使得实时的【形】跟踪是不可能的。在本文中,我们提出了一种使用单一商品RGB-D相机的实时的【形】解决方案。我们的方法的核心是一个3D铰接高斯混合对准策略,适合手对象跟踪,允许快速姿态优化。对准能量使用新颖的正则化器来解决遮挡和手-物体接触。为了增加鲁棒性,我们用手的判别部分分类和对象的分割来指导优化。我们在几个现有的数据集上进行了广泛的实验,并引入了一个新的带注释的手对象数据集。定量和定性结果显示了我们方法的关键优势:速度、准确性和鲁棒性。
2016-10-16 cs.CV
MSO: Multi-Feature Space Joint Optimization Network for RGB-Infrared Person Re-Identification
Beijing Jiaotong University(北京交通大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);JD AI Research(京东人工智能研究院)
RGB-红外跨模态人物再识别(ReID)任务旨在识别可见光模态和红外模态之间具有相同身份的图像。现有的方法主要采用双流结构来消除最终公共特征空间中两种模态之间的差异,忽略了每种模态在浅层的单一空间。为了解决这个问题,本文提出了一种新的多特征空间联合优化(MSO)网络,它可以在单模态空间和公共空间中学习模态共享特征。首先,基于边缘信息是模态不变的观察,我们提出了一个边缘特征增强模块,以增强每个单模态空间中的模态可共享的特征。具体来说,我们设计了一种感知边缘特征(PEF)丢失后的边缘融合策略进行分析。据我们所知,这是第一个在跨模态ReID任务的单模态特征空间中提出显式优化的工作。此外,为了增加跨模态距离和类距离之间的差异,我们在公共特征空间中的模态联合约束中引入了一种新的跨模态对比中心(CMCC)损失。PEF损耗和CMCC损耗以端到端的方式联合优化模型,显著提高了网络的性能。大量的实验表明,该模型显着优于国家的最先进的方法在SYSU-MM 01和RegDB数据集。
2021-10-21 cs.CV
IDCNet: Guided Video Diffusion for Metric-Consistent RGBD Scene Generation with Precise Camera Control
提出IDC-Net框架,在统一几何感知扩散模型中联合生成RGB图像与深度图,实现精确相机控制下的度量一致RGBD场景生成,构建相机-图像-深度一致数据集并引入几何感知Transformer块,提升视觉质量与几何一致性,可直接用于3D场景重建。
2025-08-06 cs.CV
A2J-Transformer: Anchor-to-Joint Transformer Network for 3D Interacting Hand Pose Estimation from a Single RGB Image
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心);Institute of High Performance Computing (IHPC)(高性能计算研究所)
提出A2J-Transformer网络,通过引入Transformer的非局部编码-解码框架和3D锚点机制,增强局部-全局感知能力,有效解决单张RGB图像3D交互手部姿态估计中的遮挡等问题,实现最先进的无模型性能。
2023-04-07 cs.CV
JointDiT: Enhancing RGB-Depth Joint Modeling with Diffusion Transformers
POSTECH;Microsoft Research Asia(微软亚洲研究院);KAIST(韩国科学技术院)
JointDiT通过扩散Transformer联合建模RGB和深度,采用自适应调度权重和不平衡时间步采样,实现高质量联合生成、深度估计及深度条件图像生成,性能优异。
2025-08-05 cs.AI cs.CV
A Keyframe-based Continuous Visual SLAM for RGB-D Cameras via Nonparametric Joint Geometric and Appearance Representation
University of Michigan(密歇根大学)
本文报告了一个强大的RGB-D SLAM系统,在几乎没有纹理和结构化的环境中表现良好。我们提出了一种新的基于关键帧的连续视觉里程计,建立在最近开发的连续传感器配准框架。联合几何和外观表示是将RGB-D图像转换为存在于再生核希尔伯特空间(RKHS)中的函数的结果。我们通过RKHS中的内积结构解决了注册和关键帧选择问题。我们还提出了基于关键帧的里程计方法扩展到SLAM系统使用间接ORB环闭合约束。使用公开的RGB-D基准的实验评估表明,开发的关键帧选择技术,使用连续视觉里程计优于其强大的密集(和直接)视觉里程计等效。此外,所开发的SLAM系统在不同的训练和验证序列中具有更好的泛化能力;它对场景中缺乏纹理和结构具有鲁棒性;并显示出与最先进的SLAM系统相当的性能。
2019-12-02 cs.CV cs.RO
MMPhysVideo: Physically Plausible Video Generation Through Joint RGB-Perception Modeling
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);StepFun(阶跃星辰);Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information(多模态信息超级智能安全北京市重点实验室);School of Information Science and Technology, Shanghai Tech University(上海科技大学信息科学与技术学院)
MMPhysVideo通过联合多模态建模提升视频生成的物理合理性,将感知线索统一为伪RGB格式,提出双向控制教师架构以减少跨模态干扰,并通过MMPhysPipe构建物理丰富的多模态数据集,提升物理合理性和视觉质量。
2026-08-04 cs.CV
SC3EF: A Joint Self-Correlation and Cross-Correspondence Estimation Framework for Visible and Thermal Image Registration
Zhejiang University(浙江大学);Texas A&M University(德克萨斯农工大学)
针对可见光与热红外图像因模态差异导致配准困难的问题,提出SC3EF框架,通过卷积-Transformer提取局部特征并编码全局相关性,结合分层光流解码器优化对应图,在相关数据集上优于SOTA方法且泛化性强。
2025-04-17 cs.CV
Using a single RGB frame for real time 3D hand pose estimation in the wild
Institute of Computer Science, FORTH(FORTH 计算机科学研究所);Computer Science Department, UOC(克里特大学计算机科学系)
我们提出了一种使用单个商品RGB相机实时估计一个或多个人手的完整3D姿态的方法。最近在该领域的工作显示了令人印象深刻的进展,使用RGBD输入。然而,自从RGBD传感器的引入以来,对于单眼彩色输入的情况几乎没有进展。我们利用深度学习的最新进展,将其与生成手部姿势估计技术的功能相结合,以实现在不受限制的场景中实时单目3D手部姿势估计。更具体地说,给定RGB图像和相关的相机校准信息,我们采用最先进的检测器来定位手。给定图像中的一只手,我们运行OpenPose的预训练网络来估计手关节的2D位置。最后,非线性最小二乘最小化拟合的3D模型的手估计的2D关节位置,恢复的3D手姿势。广泛的实验结果提供了与现有技术的比较以及该方法在野外的定性评估。
2017-12-11 cs.CV
Recognizing American Sign Language Manual Signs from RGB-D Videos
The Graduate Center, The City University of New York(纽约市立大学研究生中心)
本文提出了一种基于3D卷积神经网络(3DCNN)的多流框架来识别美国手语(ASL)中的手势通过融合多通道的多模态特征,包括手势、面部表情和身体姿势,(RGB、深度、运动和骨架关节)。为了学习视频中的整体时间动态,通过为每个视频选择帧的子集来生成代理视频,然后将其用于训练所提出的3DCNN模型。我们收集了一个新的ASL数据集ASL-100-RGBD,其中包含由Microsoft Kinect V2摄像头捕获的42个RGB-D视频,每个视频包含100个ASL手动标志,包括RGB通道,深度图,骨骼关节,面部特征和HDface。数据集针对每个语义区域进行了完全注释(即,人类签名者执行的每个单词的持续时间)。我们提出的方法实现了92.88的准确率识别100个ASL单词在我们新收集的ASL-100-RGBD数据集。我们的框架用于从RGB-D视频中识别手势的有效性在Chalearn IsoGD数据集上得到了进一步证明,并且通过仅使用5个通道而不是以前工作中的12个通道,在平均融合方面达到了76的准确率,比最先进的工作高5.51。
2019-06-07 cs.CV
An End-to-end Framework for Unconstrained Monocular 3D Hand Pose Estimation
University of Sydney(悉尼大学)
这项工作解决了具有挑战性的问题,无约束的3D手姿态估计使用单目RGB图像。大多数现有的方法假设一些先验知识的手(如手的位置和边信息)可用于3D手姿态估计。这限制了它们在不受约束的环境中的使用。因此,我们提出了一个端到端的框架,该框架通过学习ConvNet模型,同时仅使用关键点注释,来鲁棒地预测手部先验信息并准确地推断3D手部姿势。为了实现鲁棒性,所提出的框架使用了一种新的基于关键点的方法来同时预测手区域和侧标签,而不像现有的方法,这些方法会因使用基于分割或检测的技术而导致背景颜色混淆。此外,受人手生物结构的启发,我们将两个几何约束直接引入到3D坐标预测中,进一步提高了其在弱监督训练中的性能。实验结果表明,我们提出的框架不仅表现出强大的无约束设置,但也优于最先进的方法在标准的基准数据集。
2019-11-28 cs.CV cs.LG eess.IV
Explicit Spatiotemporal Joint Relation Learning for Tracking Human Pose
Microsoft Research(微软研究院);Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了一种基于学习关节间时空关系的人体姿态跟踪方法。除了生成给定帧中关节的热图之外,我们的系统还学会预测该关节与帧中相邻关节的偏移。此外,它被训练来预测关节从其在前一帧中的位置的位移,其方式可以考虑可能改变的关节外观,这与光流不同。通过仅关注视频帧中的相关区域,以鲁棒的方式推断空间域和时间域中的这些关系线索。通过明确地学习和利用这些关节关系,我们的系统在各种姿势跟踪任务的标准基准上实现了最先进的性能,包括RGB视频中的3D身体姿势跟踪,深度序列中的3D手部姿势跟踪和RGB视频中的3D手势跟踪。
2019-03-27 cs.CV