Event-based Monocular Dense Depth Estimation with Recurrent Transformers
提供高时间分辨率和高动态范围的事件摄像机为解决常见挑战带来了新的视角(例如,运动模糊和低光深度估计。然而,如何有效地利用稀疏的空间信息和丰富的时间线索,从异步事件仍然是一个具有挑战性的努力。为此,我们提出了一种新的基于事件的单目深度估计与经常性的Transformers器,即EReFormer,这是第一个纯Transformer与递归机制来处理连续的事件流。在空间建模方面,提出了一种基于空间Transformer融合模块的变换器编解码器,具有比基于CNN的方法更好的全局上下文信息建模能力。对于时间建模,我们设计了一个门递归视觉Transformer单元,引入了递归机制到Transformers,提高时间建模能力,同时减轻昂贵的GPU内存成本。实验结果表明,我们的EReFormer在合成和真实世界的数据集上都优于最先进的方法。我们希望我们的工作将吸引进一步的研究,在基于事件的视觉社区中开发出令人惊叹的Transformers。我们的开源代码可以在补充材料中找到。
2022-12-06 cs.CV
GlocalFuse-Depth: Fusing Transformers and CNNs for All-day Self-supervised Monocular Depth Estimation
The University of Hong Kong(香港大学);Advanced Biomedical Instrumentation Centre(先进生物医学仪器中心)
近年来,自监督单目深度估计因其无需深度标注且在标准基准上取得了显著的效果而受到广泛关注。然而,大多数现有的方法只集中在白天或夜间图像,因此,他们的性能下降的其他领域,因为白天和夜间图像之间的大范围移动。为了解决这个问题,在本文中,我们提出了一个两个分支的网络GlocalFuse-Depth自监督深度估计的全天图像。输入图像对中的白天和夜间图像分别被馈送到两个分支:CNN分支和Transformer分支,其中可以有效地捕获细粒度细节和全局依赖性。此外,提出了一种新的融合模块来融合这两个分支的多维特征。大量的实验表明,GlocalFuse-Depth在Oxford RobotCar数据集上实现了全天图像的最新结果,这证明了我们方法的优越性。
2023-02-20 cs.CV
DFTR: Depth-supervised Fusion Transformer for Salient Object Detection
Tencent Jarvis Lab(腾讯Jarvis实验室);University of Science and Technology of China(中国科学技术大学)
自动显著目标检测(SOD)在计算机视觉的许多应用中起着越来越重要的作用。深度监督卷积神经网络(CNN)通过将深度信息重新表达为监督而不是输入,在RGB和RGB-D SOD场景下都取得了令人满意的结果,其优点是在推理阶段不需要额外的深度网络和深度输入。本文首次寻求将深度监督的适用性扩展到Transformer架构。具体来说,我们开发了深度监督融合Transformer(DFTR),以进一步提高RGB和RGB-D SOD的准确性。本文提出的DFTR包含三个主要特征:1)DFTR是第一个基于transformer的深度监督SOD模型; 2)提出了多尺度特征聚合(MFA)模块,充分利用Swin Transformer编码的多尺度特征; 3)为了实现不同特征流之间的双向信息流,一种新的多阶段特征融合(MFF)模块进一步集成到我们的DFTR中,重点关注不同网络学习阶段的显著区域。我们广泛地评估了十个基准数据集的建议DFTR。实验结果表明,我们的DFTR始终优于现有的最先进的方法,RGB和RGB-D SOD任务。代码和模型将公开提供。
2022-04-11 cs.CV
Forecasting of depth and ego-motion with transformers and self-supervision
Renault Software Factory(雷诺软件工厂);CNRS-I3S(法国国家科学研究中心I3S实验室);Côte d’Azur University(蔚蓝海岸大学)
本文讨论了端到端的深度和自我运动的自我监督预测的问题。给定一系列原始图像,其目的是使用自我监督的光度损失来预测几何形状和自我运动。该架构是使用卷积和Transformer模块设计的。这利用了两个模块的优势:CNN的感应偏置和Transformers的多头注意力,从而实现了丰富的时空表示,从而实现了准确的深度预测。先前的工作试图使用具有监督的地面实况数据的多模态输入/输出来解决这个问题,这是不实际的,因为需要大的注释数据集。替代以前的方法,本文预测深度和自我运动只使用自监督的原始图像作为输入。该方法在KITTI数据集基准上表现得非常好,几个性能标准甚至可以与以前的非预测自监督单目深度推理方法相媲美。
2022-06-15 cs.CV
CompletionFormer: Depth Completion with Convolutions and Vision Transformers
University of Bologna(博洛尼亚大学);PhiGent Robotics(视比特机器人)
本文提出CompletionFormer,以深度耦合卷积注意力与Vision Transformer的JCAT块构建金字塔模型,兼顾局部细节与全局上下文,在KITTI和NYUv2上超越CNN方法且FLOPs约为纯Transformer的1/3。
2023-04-25 cs.CV
MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer
East China University of Science and Technology(华东理工大学);University of Bologna(博洛尼亚大学);PhiGent Robotics(鉴智机器人)
自监督单目深度估计是一种有吸引力的解决方案,它不需要难以获取的深度标签进行训练。最近,卷积神经网络(CNN)在这项任务中取得了巨大成功。然而,它们有限的感受野限制了现有的网络架构只能在本地进行推理,从而抑制了自我监督范式的有效性。鉴于视觉Transformer(ViTs)最近取得的成功,我们提出了MonoViT,一个全新的框架相结合的全局推理ViT模型的灵活性,自我监督单眼深度估计。通过将普通卷积与Transformer块相结合,我们的模型可以在本地和全局进行推理,从而以更高的细节和准确度进行深度预测,从而使MonoViT能够在已建立的KITTI数据集上实现最先进的性能。此外,MonoViT在Make3D和DrivingStereo等其他数据集上证明了其卓越的泛化能力。
2022-08-06 cs.CV
Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes
Zhejiang University(浙江大学)
自监督方法在深度估计任务上显示出有希望的结果。然而,以前的方法估计的目标深度图和摄像机的自我运动同时,未充分利用多帧的相关性信息,忽略了动态对象的运动。本文提出了一种新的Dyna-Depthformer框架,该框架联合预测场景深度和3D运动场,并使用Transformer聚合多帧信息。我们的贡献是双重的。首先,我们利用多视图相关性通过一系列的自我和交叉注意层,以获得增强的深度特征表示。具体来说,我们使用透视变换来获取初始参考点,并使用可变形注意力来减少计算成本。其次,我们提出了一种基于变形的运动网络来估计动态对象的运动场,而不使用语义先验。为了提高运动场的预测,我们提出了一个迭代优化策略,连同稀疏正则化损失。整个管道通过构建最小的重投影损失来实现端到端的自监督训练。在KITTI和Cityscapes基准上的大量实验证明了我们方法的有效性,并表明我们的方法优于最先进的算法。
2023-03-20 cs.CV
Depth Estimation Algorithm Based on Transformer-Encoder and Feature Fusion
United International College(联合国际学院)
本研究提出基于Transformer编码器的深度估计算法,结合SSIM与MSE的复合损失函数解决过度平滑问题,在NYU数据集上表现优异,推动单图像深度估计在复杂场景下的发展。
2024-03-03 cs.CV
DepthTCM: High Efficient Depth Compression via Physics-aware Transformer-CNN Mixed Architecture
Department of Mechanical Engineering, Yonsei University(延世大学机械工程系);Meta Reality Labs(Meta现实实验室)
DepthTCM通过物理感知的Transformer-CNN混合架构实现深度图压缩,采用多波长深度编码将深度映射为平滑的3通道图像,并通过4位量化和学习编码器实现高效压缩,实验显示其在Middlebury 2014数据集上达到0.307 bpp的压缩率,精度达99.38%。
2026-03-22 cs.CV
Multi-Frame Self-Supervised Depth with Transformers
Toyota Research Institute (TRI)(丰田研究院(TRI))
除了学习基于外观的特征之外,多帧深度估计还通过经由特征匹配利用图像之间的几何关系来改进单帧方法。在本文中,我们重新审视自我监督的单目深度估计的特征匹配,并提出了一种新的Transformer架构的成本体积生成。我们使用深度离散核线采样来选择匹配的候选人,并通过一系列的自我和交叉注意层来改进预测。这些层提高了像素特征之间的匹配概率,改善了容易产生歧义和局部最小值的标准相似性度量。细化的成本体积被解码为深度估计,整个管道仅使用光度目标从视频进行端到端训练。在KITTI和DDAD数据集上的实验表明,我们的DepthFormer架构在自监督单目深度估计方面建立了一个新的技术水平,甚至可以与高度专业化的监督单帧架构竞争。我们还表明,我们学习的交叉注意力网络产生了跨数据集可转移的表示,提高了预训练策略的有效性。项目页面:https://sites.google.com/tri.global/depthformer
2022-06-10 cs.CV
Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers
Johns Hopkins University(约翰斯·霍普金斯大学)
立体深度估计依赖于左图像和右图像中的核线上的像素之间的最佳对应匹配来推断深度。在这项工作中,我们重新审视这个问题,从序列到序列对应的角度来取代成本量建设密集像素匹配使用位置信息和注意。这种方法称为STTR(STEreo Transformer),具有以下几个优点:1)放宽了固定视差范围的限制,2)识别遮挡区域并提供置信度估计,以及3)在匹配过程中施加唯一性约束。我们在合成和真实世界的数据集上报告了有希望的结果,并证明STTR即使没有微调也能在不同的领域中推广。
2021-08-25 cs.CV
Depth Map Decomposition for Monocular Depth Estimation
Korea University(高丽大学);Gauss Labs Inc.(高斯实验室公司);Dongguk University(东国大学)
提出了一种新的单目深度估计算法,该算法将度量深度图分解为归一化深度图和尺度特征。所提出的网络由一个共享的编码器和三个解码器组成,称为G-Net,N-Net和M-Net,分别估计梯度图,归一化深度图和度量深度图。M-Net学习使用G-Net和N-Net提取的相对深度特征更准确地估计度量深度。该算法的优点是可以使用没有深度标签的数据集来提高深度深度估计的性能。在不同数据集上的实验结果表明,该算法不仅提供了具有竞争力的性能,国家的最先进的算法,但也产生了可接受的结果,即使只有少量的度量深度数据可用于其训练。
2022-08-23 cs.CV
EndoDepthL: Lightweight Endoscopic Monocular Depth Estimation with CNN-Transformer
Imperial College London(帝国理工学院)
本文提出EndoDepthL,一种结合CNN与Transformer的轻量级内窥镜单目深度估计方法,通过多尺度空洞卷积、多通道注意力机制及统计置信度边界掩码优化网络并减少反射影响,同时提出新的复杂度评估指标,实验证明其在轻量级结构下保证了深度估计准确性。
2023-08-16 cs.CV
Uncertainty-Guided Inference-Time Depth Adaptation for Transformer-Based Visual Tracking
本文提出UncL-STARK,通过动态不确定性引导的深度适应,在不修改网络的情况下,提升基于变换器的视觉跟踪效率,实现计算开销降低和能耗节省。
2026-02-19 cs.CV
PanoFormer: Panorama Transformer for Indoor 360 Depth Estimation
Beijing Jiaotong University(北京交通大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
现有的基于卷积神经网络(CNN)的全景深度估计方法主要集中在去除全景失真上,由于CNN的感受野固定,无法有效地感知全景结构。本文提出了全景图Transformer(PanoFormer)来估计全景图中的深度,它使用球面域的切线块、可学习的令牌流和全景图特定的度量。特别是,我们将球面切域上的补丁划分为令牌,以减少全景失真的负面影响。由于几何结构对于深度估计是必不可少的,因此重新设计了具有额外可学习令牌流的自注意模块。此外,针对球面域的特点,本文提出了两种基于全景图的深度估计方法,以综合评价全景图深度估计模型的性能。大量的实验表明,我们的方法显着优于最先进的(SOTA)方法。此外,所提出的方法可以有效地扩展到解决语义全景分割(类似的像素2像素任务)。代码将可用。
2022-07-12 cs.CV
EGformer: Equirectangular Geometry-biased Transformer for 360 Depth Estimation
Seoul National University(首尔国立大学);Inha University(仁荷大学)
本文提出EGformer,一种等距柱面几何偏置Transformer,通过将等距柱面几何作为局部注意力的偏置,在限制计算成本和参数数量的同时提取大感受野的几何感知局部注意力,实现了最优的360度图像深度估计效果。
2023-09-07 cs.CV
ROIFormer: Semantic-Aware Region of Interest Transformer for Efficient Self-Supervised Monocular Depth Estimation
OPPO
互惠互利的跨域的探索已经显示出巨大的潜力,以准确的自我监督深度估计。在这项工作中,我们重温深度和语义信息之间的特征融合,并提出了一个有效的局部自适应注意几何感知表示增强方法。我们没有在特征空间中建立全局连接或无约束地变形注意力,而是将空间交互绑定在可学习的感兴趣区域内。特别是,我们利用语义信息中的几何线索来学习局部自适应边界框,以指导无监督特征聚合。局部区域将大多数不相关的参考点排除在注意力空间之外,从而产生更多的选择性特征学习和更快的收敛。我们自然地扩展到一个多头和层次的方式,使信息蒸馏在不同的语义水平,提高细粒度的深度估计的特征判别能力的范式。在KITTI数据集上的大量实验表明,我们提出的方法建立了一个新的最先进的自监督单目深度估计任务,证明了我们的方法比以前的Transformer变体的有效性。
2023-03-06 cs.CV
Illustrator's Depth: Monocular Layer Index Prediction for Image Decomposition
本文提出插画师深度,通过单目层索引预测实现图像分解,提升编辑性和可解释性,应用于图像矢量化、文本到矢量图形生成和3D relief生成。
2026-03-16 cs.CV
Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning
Seoul National University(首尔大学);Inha University(仁荷大学)
本文针对360°单目深度估计中深度数据不足和自监督解不稳定问题,提出仅用重力对齐视频的自监督方法、监督与自监督联合学习方案以及非局部融合块,首次将Transformer成功应用于360°深度估计,并在多个基准上达到最先进性能。
2021-12-30 cs.CV
Investigating transformers in the decomposition of polygonal shapes as point collections
Delft University of Technology(代尔夫特理工大学)
Transformers可以通过两种方法生成预测:1.通过以先前的序列元素为条件来自回归地调节每个序列元素,或者2.直接并行产生输出序列。虽然研究主要探讨了NLP中顺序任务的这种差异,但我们研究了视觉集预测任务中自回归和并行预测之间的差异,特别是图像中的多边形形状,因为多边形代表了许多类型的对象,例如建筑物或飞行器的障碍物。这对于深度学习架构来说是具有挑战性的,因为多边形可以由不同的点组成。我们提供的证据自然秩序的重要性,Transformers,并显示出的好处,分解复杂的多边形的点的集合中的自回归的方式。
2021-08-17 cs.CV
HTMNet: A Hybrid Network with Transformer-Mamba Bottleneck Multimodal Fusion for Transparent and Reflective Objects Depth Completion
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology(机器人系统国家重点实验室,哈尔滨工业大学)
提出HTMNet混合模型,通过融合CNN、Transformer与Mamba架构的编码器、瓶颈和解码器模块,首次将Mamba应用于透明与反射物体深度补全,在多个公开数据集上达到SOTA性能。
2025-05-28 cs.CV
Hybrid Transformer Based Feature Fusion for Self-Supervised Monocular Depth Estimation
Indian Institute Of Technology Madras(印度理工学院马德拉斯分校)
随着旨在使用视觉线索导航现实世界的代理和系统数量的空前增加以及3D视觉模型的不断增长,深度估计的重要性很难低估。虽然监督方法仍然是该领域的黄金标准,但训练此类模型所需的大量配对立体数据使其不切实际。在自监督和无监督领域中的大多数最新技术(SOTA)作品采用基于ResNet的编码器架构来预测来自给定输入图像的视差图,该视差图最终与相机姿态估计器一起用于在没有直接监督的情况下预测深度。ResNets的完全卷积性质使它们易于捕获每像素的局部信息,这对于深度预测来说是次优的。我们消除这个瓶颈的关键见解是使用视觉Transformer,它采用自我注意力来捕获输入图像中存在的全局上下文信息。我们的模型融合了使用两个完全卷积深度编码器学习的每像素局部信息,以及由Transformer编码器在不同尺度上学习的全局上下文信息。它在特征空间中使用掩码引导的多流卷积来实现这一点,以在大多数标准基准测试中实现最先进的性能。
2022-11-20 cs.CV
Interpretable Vision Transformers in Monocular Depth Estimation via SVDA
Dept. Electrical and Computer Engineering(电子与计算机工程系);Democritus University of Thrace(德米特里乌斯大学);Athena Research Center(雅典研究中心);University Campus at Kimmeria(基米里亚大学校园)
SVDA通过引入谱结构化的注意力机制,提升了单目深度估计的可解释性,同时保持了预测精度并降低了计算开销。
2026-02-11 cs.CV
TDCNet: Transparent Objects Depth Completion with CNN-Transformer Dual-Branch Parallel Network
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences(中国科学院长春光学精密机械与物理研究所);University of Chinese Academy of Sciences(中国科学院大学);Harbin Institute of Technology(哈尔滨工业大学);College of Physics, Northeast Normal University(东北师范大学物理学院)
针对透明物体深度补全精度受限问题,提出双分支CNN-Transformer并行网络TDCNet,分别处理部分深度图和RGB-D图像,在多个公开数据集上达到最先进性能。
2024-12-19 cs.CV
Single Image Depth Prediction with Wavelet Decomposition
Ecole des Ponts Univ Gustave Eiffel(古斯塔夫·埃菲尔大学桥梁学院);CNRS(法国国家科学研究中心);Niantic(Niantic公司)
我们提出了一种新的方法,预测准确的深度从单目图像与高效率。这种最佳效率是通过利用小波分解,这是集成在一个完全可微的编码器-解码器架构。我们证明,我们可以通过预测稀疏小波系数重建高保真深度图。与以前的作品相比,我们表明,小波系数可以学习系数没有直接监督。相反,我们只监督通过逆小波变换重建的最终深度图像。我们还表明,小波系数可以在完全自我监督的情况下学习,而无需获得地面实况深度。最后,我们将我们的方法应用于不同的最先进的单眼深度估计模型,在每种情况下,与原始模型相比,得到类似或更好的结果,同时需要解码器网络中的乘法相加的不到一半。代码https://github.com/nianticlabs/wavelet-monodepth
2021-08-16 cs.CV
Self-Supervised Monocular Scene Decomposition and Depth Estimation
KUIS AI Center(KUIS AI中心);Koç University(科奇大学)
自监督单目深度估计方法要么忽略场景中独立移动的对象,要么需要单独的分割步骤来识别它们。我们提出MonoDepthSeg来联合估计深度并从单目视频中分割移动对象,而不使用任何地面真实标签。我们将场景分解为固定数量的组件,每个组件对应于图像上的一个区域,其自身的变换矩阵表示其运动。我们估计的掩模和运动的每个组件有效地与共享的编码器。我们在三个驱动数据集上评估了我们的方法,并表明我们的模型在将场景分解为单独移动组件的同时明显提高了深度估计。
2021-10-21 cs.CV
ModeT: Learning Deformable Image Registration via Motion Decomposition Transformer
School of Biomedical Engineering, Shenzhen University Medical School, Shenzhen University(深圳大学医学院生物医学工程学院)
提出运动分解Transformer(ModeT),通过将多头邻域注意力转化为多坐标关系建模多种运动模式,并结合竞争性加权模块生成形变场,在脑部MRI数据集上优于现有配准网络。
2023-06-09 cs.CV
STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model
CNRS-I3S(法国国家科学研究中心-蔚蓝海岸大学信息、信号与系统实验室);Côte d’Azur University(蔚蓝海岸大学);Renault Software Factory(雷诺软件工厂)
在本文中,提出了一种自监督模型,同时预测一系列的未来帧的视频输入与一种新的时空注意力(ST)网络。ST Transformer网络允许约束跨未来帧的时间一致性,同时约束跨图像中不同尺度的空间对象的一致性。这在先前的深度预测工作中不是这样的,其专注于预测单个帧作为输出。所提出的模型利用先验场景知识,如物体形状和纹理类似于单图像深度推理方法,同时还约束输入图像序列的运动和几何形状。除了Transformer架构之外,相对于先前工作的主要贡献之一在于目标函数,该目标函数在输出帧序列而不是单个输出帧上强制时空一致性。如将示出的,这导致更准确和鲁棒的深度序列预测。该模型实现了高度准确的深度预测结果,优于KITTI基准的现有基线。进行了广泛的消融研究,以评估所提出的技术的有效性。所提出的模型的一个显着的结果是,它是隐式地能够预测场景中的对象的运动,而不是需要复杂的模型,涉及多目标检测,分割和跟踪。
2023-03-02 cs.CV
URCDC-Depth: Uncertainty Rectified Cross-Distillation with CutFlip for Monocular Depth Estimation
Beihang University(北京航空航天大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
这项工作旨在从单个RGB图像中估计高质量的深度图。由于缺乏深度线索,充分利用长程相关和局部信息是精确深度估计的关键。为此,我们在Transformer和卷积神经网络(CNN)之间引入了一种不确定性校正交叉蒸馏,以学习统一的深度估计器。具体来说,我们使用来自Transformer分支和CNN分支的深度估计作为伪标签来相互教导。同时,我们对像素级深度不确定性进行建模,以纠正噪声伪标签的损失权重。为了避免由强Transformer分支引起的大容量间隙恶化交叉蒸馏,我们将特征图从Transformer转移到CNN,并设计耦合单元来帮助弱CNN分支利用转移的特征。此外,我们提出了一个令人惊讶的简单而高效的数据增强技术CutFlip,它强制执行的模型,以利用更有价值的线索,除了垂直图像位置的深度推断。大量的实验表明,我们的模型,称为~ \textbf{URCDC-Depth},超过了以前的国家的最先进的方法在KITTI,NYU-Depth-v2和SUN RGB-D数据集,即使没有额外的计算负担在推理时间。源代码可在\url{https://github.com/ShuweiShao/URCDC-Depth}上公开获得。
2023-02-17 cs.CV
Unified Depth Prediction and Intrinsic Image Decomposition from a Single Image via Joint Convolutional Neural Fields
Yonsei University(延世大学);Microsoft Research(微软研究院)
我们提出了一种从单个图像输入联合预测深度图和内在图像的方法。这两个任务通过联合条件随机场(CRF)以协同方式进行制定,该联合条件随机场(CRF)使用称为联合卷积神经场(JCNF)模型的新型卷积神经网络(CNN)架构进行求解。针对我们的联合估计问题,JCNF与以前的CNN不同之处在于,它在每个任务的网络之间共享卷积激活和层,它在梯度域中的推理,其中深度和内在图像之间存在更大的相关性,以及引入梯度尺度网络,学习估计梯度的置信度,以便在解决方案中有效地平衡它们。这种方法被证明是超越国家的最先进的方法,无论是对单图像的深度估计和内在的图像分解。
2016-03-21 cs.CV
Lite-Mono: A Lightweight CNN and Transformer Architecture for Self-Supervised Monocular Depth Estimation
University of Twente(特文特大学)
近年来,不需要用于训练的地面实况的自监督单目深度估计引起了关注。设计轻量级但有效的模型,以便它们可以部署在边缘设备上,这是非常有趣的。许多现有的架构受益于以牺牲模型大小为代价使用较重的主干。本文实现了一个轻量级的体系结构的可比结果。具体而言,CNN和Transformers的有效组合进行了研究,并提出了一种称为Lite-Mono的混合架构。提出了卷积扩张卷积(CDC)模块和局部-全局特征交互(LGFI)模块。前者用于提取丰富的多尺度局部特征,后者利用自注意力机制将长程全局信息编码到特征中。实验表明,Lite-Mono在准确性上优于Monodepth 2,可训练参数减少了约80%。
2023-03-15 cs.CV
3D Scene Reconstruction with Multi-layer Depth and Epipolar Transformers
University of California, Irvine(加州大学欧文分校);Georgia Institute of Technology(佐治亚理工学院)
我们解决了从单个RGB图像自动重建场景的完整3D模型的问题。这项具有挑战性的任务需要推断可见和被遮挡表面的形状。我们的方法利用以观众为中心,多层表示的场景几何适应最近的方法,单个对象的形状完成。为了提高复杂场景的以视图为中心的表示的准确性,我们引入了一种新的“对极特征Transformer”,该特征将卷积网络特征从输入视图转移到其他虚拟相机视点,从而更好地覆盖3D场景几何。与现有方法不同,现有方法首先在3D中检测和定位对象,然后使用特定类别的模型推断对象形状,我们的方法是完全卷积的,端到端可区分的,并且避免了体素表示的分辨率和内存限制。我们展示了多层深度表示和核线特征Transformers在重建大型室内场景数据库上的优势。
2019-08-27 cs.CV
Vision Transformer Pruning Via Matrix Decomposition
University of Chicago(芝加哥大学)
本研究针对视觉Transformer剪枝的降维需求,对比多种矩阵分解方法的准确率表现,最终选定奇异值分解在保留重要特征的前提下进一步降低线性投影的维度与复杂度。
2023-08-21 cs.CV stat.CO
Flow and Depth Assisted Video Prediction with Latent Transformer
本文提出基于流和深度的视频预测方法,通过整合点流和深度信息提升遮挡场景下的预测性能和背景运动准确性。
2025-11-20 cs.CV
SHADeS: Self-supervised Monocular Depth Estimation Through Non-Lambertian Image Decomposition
University College London(伦敦大学学院);UCL Hawkes Institute(伦敦大学学院霍克斯研究所)
本文提出自监督模型 SHADeS,通过非朗伯图像分解将镜面反射作为独立光照分量,从单张结肠镜图像联合估计阴影、反照率、深度和镜面反射,并在真实与体模数据上验证其鲁棒性。
2025-02-18 cs.CV
Depth-Wise Convolutions in Vision Transformers for Efficient Training on Small Datasets
University of Kansas(堪萨斯大学);Amazon(亚马逊公司);Toronto Metropolitan University(多伦多都会大学)
针对视觉Transformer缺乏局部归纳偏置、小数据集训练效率低的问题,提出引入深度可分离卷积模块的两种架构变体,以极小开销增强局部信息捕获,显著提升多视觉任务性能,小数据集提升更明显。
2024-11-23 cs.CV
FreqPDE: Rethinking Positional Depth Embedding for Multi-View 3D Object Detection Transformers
Shanghai Jiao Tong University(上海交通大学);Xi’an Jiaotong University(西安交通大学);SenseAuto Research(SenseAuto研究院)
针对多视角3D目标检测中深度预测质量差及忽视跨视角一致性和尺度不变性的问题,提出FreqPDE方法,通过频率感知金字塔、跨视角尺度不变深度预测和位置深度编码三个模块,在nuScenes上验证了有效性。
2025-10-17 cs.CV
METER: a mobile vision transformer architecture for monocular depth estimation
Sapienza University of Rome(罗马第一大学)
本文提出轻量级视觉Transformer架构METER,用于嵌入式设备上的单目深度估计,通过三种配置、新型损失函数和数据增强策略,在NYU Depth v2和KITTI数据集上超越现有轻量级方法,实现低延迟推理。
2024-03-13 cs.CV
Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);Michigan State University(密歇根州立大学)
针对深度可分离卷积加速但损失准确率的问题,提出基于SVD/GSVD的深度分解,将常规卷积分解为可分离卷积,并在ShuffleNet V2上验证其优于通道分解且Top-1提升约2%。
2023-09-23 cs.CV
On the Connection between Local Attention and Dynamic Depth-wise Convolution
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Baidu Inc.(百度公司)
视觉Transformer(ViT)在视觉识别方面达到了最先进的性能,而变体Local视觉Transformer则进一步改进。局部视觉Transformer中的主要组件局部注意力在小的局部窗口上单独执行注意力。我们将局部注意力重新表述为通道局部连接层,并从两种网络正则化方式,稀疏连接和权重共享以及权重计算来分析它。稀疏连接:通道之间没有连接,每个位置都连接到一个小的局部窗口内的位置。权重共享:一个位置的连接权重在通道之间或在每组通道内共享。动态权重:根据每个图像实例动态预测连接权重。我们指出,局部注意力类似于深度卷积及其在稀疏连接中的动态版本。主要区别在于权重共享-深度卷积在空间位置上共享连接权重(内核权重)。我们根据经验观察到,基于深度卷积和具有较低计算复杂度的动态变体的模型在ImageNet分类、COCO目标检测和ADE语义分割方面的表现与Swin Transformer相当,有时甚至略优于Swin Transformer,即Local视觉Transformer的实例。这些观察表明,局部视觉Transformer利用两种正则化形式和动态权重来增加网络容量。代码可在https://github.com/Atten4Vis/DemystifyLocalViT上获得。
2022-08-04 cs.CV
Pixel-Perfect Depth with Semantics-Prompted Diffusion Transformers
Huazhong University of Science and Technology(华中科技大学);Xiaomi EV(小米电动车);Zhejiang University(浙江大学)
针对现有生成式深度估计模型因VAE压缩产生飞点的问题,提出直接在像素空间扩散的Pixel-Perfect Depth模型,结合SP-DiT和级联DiT设计,在5个基准及边缘感知点云评估中表现最优。
2025-10-29 cs.CV
DELTA: Dense Depth from Events and LiDAR using Transformer's Attention
Lund University(隆德大学);CNRS(法国国家科学研究中心);INSA Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);Heudiasyc(于迪阿斯实验室);LIRIS(里昂信息与系统科学实验室)
本文提出DELTA架构,利用Transformer自注意力和交叉注意力融合事件相机与LiDAR数据,实现稠密深度估计,并在近距离误差上较先前最优方法降低最多四倍。
2025-05-05 cs.CV
Adjacent-view Transformers for Supervised Surround-view Depth Estimation
School of Computer Science, Wuhan University(武汉大学计算机学院);Waytous;Tsinghua University(清华大学);PhiGent Robotics(PhiGent机器人);Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);GigaAI(极佳科技);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对单目深度估计忽略环视相机相关性的问题,提出AVT-SSDepth方法,通过全局到局部特征提取模块和相邻视图注意力机制实现多相机深度图联合预测,在DDAD和nuScenes数据集上性能优于现有方法。
2025-11-12 cs.CV
UniMoD: Efficient Unified Multimodal Transformers with Mixture-of-Depths
National University of Singapore(新加坡国立大学)
针对统一多模态Transformer训练成本高的问题,提出任务感知的token剪枝方法UniMoD,为每个任务设单独路由器,在Show-o和Emu3上分别减少15%和40%训练FLOPs,同时保持或提升性能。
2025-02-10 cs.CV
SideRT: A Real-time Pure Transformer Architecture for Single Image Depth Estimation
Meituan Group(美团集团)
由于上下文建模对于从单个图像估计深度至关重要,因此研究人员投入了大量精力来获取全局上下文。许多全局操作是为传统的基于CNN的架构设计的,以克服卷积的局部性。注意力机制或最初设计用于捕获远程依赖关系的Transformers可能是更好的选择,但通常会使体系结构复杂化,并可能导致推理速度降低。在这项工作中,我们提出了一种称为SideRT的纯Transformer架构,可以实时的【形】实现出色的预测。为了更好地捕捉全局上下文,跨尺度注意(CSA)和多尺度细化(MSR)模块被设计为协同工作,以有效地融合不同尺度的特征。CSA模块侧重于融合语义相似度高的特征,而MSR模块旨在融合相应位置的特征。这两个模块包含一些没有卷积的可学习参数,基于这些参数构建了一个轻量级但有效的模型。这种架构实现了最先进的实时的【形】性能(51.3 FPS),并且在较小的主干Swin-T(83.1 FPS)上具有合理的性能下降,速度更快。此外,它的性能大大超过了以前的最先进水平,KITTI的AbsRel指标提高了6.9%,NYU提高了9.7%。据我们所知,这是第一个工作表明,基于变换的网络可以达到最先进的性能,实时的【形】在单一图像深度估计领域。代码将很快提供。
2022-04-29 cs.CV
DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation
University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出DepthFormer模型,结合Transformer的长程相关性和CNN的局部信息,通过层次聚合与异构交互模块,在KITTI等数据集上显著提升单目深度估计精度。
2022-03-27 cs.CV
Monocular Depth Decomposition of Semi-Transparent Volume Renderings
Ulm University(乌尔姆大学)
神经网络在从彩色图像中提取几何信息方面取得了巨大的成功。特别是,单目深度估计网络在真实世界场景中越来越可靠。在这项工作中,我们调查的适用性,这样的单眼深度估计网络的半透明体渲染图像。由于深度是出了名的难以定义的体积场景中没有明确定义的表面,我们认为不同的深度计算已经出现在实践中,并比较国家的最先进的单眼深度估计方法,这些不同的解释在评估过程中考虑不同程度的不透明度的渲染。此外,我们研究如何扩展这些网络,以进一步获得颜色和不透明度信息,以创建一个分层表示的场景的基础上一个单一的彩色图像。该分层表示由空间上分离的半透明间隔组成,这些间隔与原始输入渲染合成。在我们的实验中,我们表明,现有的方法,单目深度估计可以适应执行良好的半透明体渲染,这有几个应用领域的科学可视化,如重新组合与额外的对象和标签或额外的阴影。
2023-02-18 cs.CV
Transformers in Self-Supervised Monocular Depth Estimation with Unknown Camera Intrinsics
Advanced Research Lab, NavInfo Europe(四维图新欧洲高级研究实验室)
自动驾驶和高级驾驶员辅助系统的出现使得计算机视觉在3D场景理解方面的不断发展成为必要。自监督单目深度估计是一种不使用地面真值标签的单目距离估计方法,是三维场景理解中的一项重要任务。然而,用于该任务的现有方法限于卷积神经网络(CNN)架构。与使用局部线性运算并在各层中丢失特征分辨率的CNN相比,视觉Transformer在每个阶段都以恒定的分辨率处理全局感受野。虽然最近的工作比较了Transformers与他们的CNN同行的任务,如图像分类,没有研究存在调查的影响,使用Transformers的自我监督单眼深度估计。在这里,我们首先演示了如何适应视觉Transformer的自我监督单眼深度估计。此后,我们比较了Transformer和基于CNN的架构在KITTI深度预测基准上的性能,以及它们对自然损坏和对抗攻击的鲁棒性,包括当相机内部函数未知时。我们的研究演示了如何基于transformer的架构,虽然运行时效率较低,实现了相当的性能,同时更强大和更普遍。
2022-02-07 cs.AI cs.CV
GLPanoDepth: Global-to-Local Panoramic Depth Estimation
Nanjing University(南京大学)
在本文中,我们提出了一种基于学习的方法来预测密集的深度值的场景从单目全向图像。全向图像具有全视场,提供比透视图像更完整的场景描述。然而,目前大多数解决方案所依赖的全卷积网络无法从全景图中捕获丰富的全局上下文。为了解决这个问题,也是全景图中的等距矩形投影的失真,我们提出Cubemap视觉Transformer(CViT),一个新的基于变压器的架构,可以模拟远程依赖关系,并提取无失真的全局特征的全景。我们表明,立方体图视觉Transformer在每个阶段都有一个全球性的感受野,可以提供全球一致的预测球形信号。为了保留重要的局部特征,我们在管道中进一步设计了一个基于卷积的分支(称为GLPanoDepth),并在多个尺度上融合来自cubemap视觉Transformer的全局特征。这种全局到局部的策略使我们能够充分利用全景图中有用的全局和局部特征,在全景图深度估计中实现最先进的性能。
2022-02-08 cs.CV
Rethinking Vision Transformer Depth via Structural Reparameterization
Case Western Reserve University(凯斯西储大学)
本文提出一种结构重参数化方法,通过减少视觉变换器的层数并在保持性能的同时提升推理速度。
2025-11-24 cs.CV
Towards Comprehensive Monocular Depth Estimation: Multiple Heads Are Better Than One
Beihang University(北京航空航天大学);Amazon(亚马逊)
本文提出融合多个基于 Transformer 与 CNN 的弱深度预测器,并通过混合器自适应集成,构建 TEDepth,在 NYU-Depth-v2、KITTI 及跨数据集测试中取得先进性能。
2023-09-25 cs.CV
Lightweight Temporal Transformer Decomposition for Federated Autonomous Driving
AIOZ;Department of Computer Science, NTHU(计算机科学系);Department of Computer Science, University of Liverpool(计算机科学系)
针对联邦自动驾驶中资源密集型融合网络难以训练的问题,提出轻量级时间Transformer分解方法,通过分解注意力图降低复杂度,实现高效权重更新与实时预测,在多个数据集和真实机器人上表现优异。
2025-06-30 cs.CV
SparseTrack: Multi-Object Tracking by Performing Scene Decomposition based on Pseudo-Depth
Huazhong University of Science and Technology(华中科技大学)
提出SparseTrack多目标跟踪器,通过伪深度估计和深度级联匹配算法将密集目标集分解为稀疏子集进行关联,有效解决拥挤场景下的遮挡问题。
2023-11-20 cs.CV
Controlling Explanatory Heatmap Resolution and Semantics via Decomposition Depth
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Singapore University of Technology(新加坡科技设计大学);Berlin Institute of Technology(柏林工业大学);Korea University(高丽大学)
我们提出了分层相关传播(LRP)算法在最先进的深度卷积神经网络和Fisher向量分类器中的应用,以使用可视化热图来比较两种分类器的图像感知和预测策略。分层相关传播(LRP)是一种计算输入图像的各个分量的分数的方法,表示它们对一个特定测试点的分类器预测的贡献。我们展示了LRP过程中不同分解截止点选择的影响,控制PASCAL VOC 2007测试数据集测试图像上热图的分辨率和语义。
2016-04-04 cs.CV