LVT: Large-Scale Scene Reconstruction via Local View Transformers
Google, USA(美国谷歌公司);Northeastern University USA(美国东北大学)
针对标准 Transformer 二次复杂度限制大规模 3D 场景扩展的问题,本文提出 LVT,利用局部邻域视图、相对几何位置编码和 3D Gaussian Splat 表示,实现单次前向传播重建任意大的高分辨率场景。
2025-09-29 cs.CV cs.LG
Multi-view Gait Recognition based on Siamese Vision Transformer
Yunnan Normal University(云南师范大学)
虽然视觉Transformer已被用于步态识别,但其在多视角步态识别中的应用仍然有限。不同视角对步态轮廓特征的提取和识别精度有显著影响。为了解决这个问题,本文提出了一个暹罗移动视觉Transformer(SMViT)。该模型不仅关注了人体步态空间的局部特征,而且考虑了远距离注意关联的特征,能够提取多维步态状态特征。此外,它描述了不同的视角如何影响步态特征,并生成可靠的视角特征关系因子。SMViT在CASIA B数据集上的平均识别率达到96.4%。实验结果表明,与步态GAN、多视角GAN、Posegait等先进的步态识别模型相比,SMViT具有更好的识别性能。
2022-10-19 cs.CV cs.LG
An Initial Study of Bird's-Eye View Generation for Autonomous Vehicles using Cross-View Transformers
Federal University of Santa Catarina (UFSC)(圣卡塔琳娜联邦大学)
本文研究利用跨视角Transformer从相机图像生成道路、车道标线和规划轨迹三类BEV地图,发现四相机配置配合L1损失在跨城镇泛化测试中表现最稳健。
2025-08-17 cs.AI cs.CV
MV-Swin-T: Mammogram Classification with Multi-view Swin Transformer
University of Nevada, Reno(内华达大学里诺分校)
本文提出MV-Swin-T,一种基于Transformer的多视图乳腺X线分类网络,通过移位窗口动态注意力模块在空间特征图层面融合视图间信息,并在CBIS-DDSM和Vin-Dr Mammo数据集上验证了其有效性。
2024-02-26 cs.AI cs.CV
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University(国立阳明交通大学)
最近,基于变换器的方法已被用于提高人类动作识别的性能。然而,大多数这些研究假设多视图数据是完整的,这可能并不总是在现实世界的情况下。因此,本文提出了一种新的多视图知识蒸馏Transformer(MKDT)框架,由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言,多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明,我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
Incomplete Multi-View Multi-Label Learning via Label-Guided Masked View- and Category-Aware Transformers
Shenzhen Key Laboratory of Visual Object Detection and Recognition, Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Pengcheng Laboratory, Shenzhen, China(鹏城实验室)
多视图数据比单视图数据具有更好的表现力,多标签标注比单标签标注具有更丰富的监督信息,这使得多视图多标签学习广泛适用于各种模式识别任务。在这个复杂的表示学习问题中,三个主要的挑战可以被描述如下:i)如何在所有视图中学习样本的一致表示?ii)如何开发和利用多标签的类别相关性来指导推理?(iii)如何避免因视图或标签不完整而产生的负面影响?为了解决这些问题,本文提出了一个通用的多视图多标签学习框架,称为标签引导的屏蔽视图和类别感知Transformers。首先,我们设计了两个基于transformer风格的模块,分别用于跨视图特征聚合和多标签分类。前者在提取视图特定特征的过程中聚合来自不同视图的信息,后者学习子类别嵌入以提高分类性能。其次,考虑到视图间表达能力的不均衡性,提出了一种自适应加权视图融合模块,以获得视图一致的嵌入特征。第三,我们在样本级表示学习中施加标签流形约束,以最大限度地利用监督信息。最后,所有的模块都是在视图和标签不完全的前提下设计的,这使得我们的方法能够适应任意的多视图和多标签数据。在五个数据集上的广泛实验证实,我们的方法比其他最先进的方法具有明显的优势。
2023-03-13 cs.CV cs.LG
Scaling View Synthesis Transformers
MIT(麻省理工学院);Adobe(Adobe公司)
本文提出了一种可扩展的视图合成模型,通过系统研究扩展规律,实现了计算最优的NVS模型,并在减少训练计算的情况下超越了现有最先进方法。
2026-02-24 cs.AI cs.CV
VG3T: Visual Geometry Grounded Gaussian Transformer
Kookmin University(国民大学)
VG3T通过基于视觉几何的高斯变换器,实现了更高效且一致的3D场景表示,提升了mIoU性能并降低了计算成本。
2025-11-28 cs.AI cs.CV cs.LG
Multiple View Geometry Transformers for 3D Human Pose Estimation
University of Toronto(多伦多大学);Southeast University(东南大学);Microsoft Research Asia(微软亚洲研究院)
提出混合模型 MVGFormer,通过迭代结合无需学习的几何模块与可学习的外观模块,有效解决多视图 3D 人体姿态估计中的遮挡问题,显著提升了准确性与跨域泛化能力。
2023-11-18 cs.AI cs.CV cs.LG
Adaptive Multi-view and Temporal Fusing Transformer for 3D Human Pose Estimation
Nanjing University of Information Science and Technology(南京信息工程大学)
本文提出了一种统一的框架称为多视图和时间融合Transformer(MTF-Transformer),以适应不同的视图数和视频长度,而无需摄像机校准的三维人体姿态估计(HPE)。它由特征提取器、多视图融合Transformer(MFT)和时间融合Transformer(TFT)组成。特征提取器从每个图像中估计2D姿态,并根据置信度融合预测。它提供了以姿势为中心的特征嵌入,并使后续模块在计算上轻量化。MFT融合了不同数量的视图与一个新的相对注意力块的功能。它自适应地测量每对视图之间的隐式相对关系,并重建更多的信息特征。TFT聚合整个序列的特征并通过Transformer预测3D姿态。它自适应地处理任意长度的视频,并充分利用时间信息。Transformers的迁移使我们的模型能够更好地学习空间几何,并为不同的应用场景保持鲁棒性。我们报告了Human3.6M、TotalCapture和KTH Multiview Football II的定量和定性结果。与相机参数的最先进的方法相比,MTF变压器获得了有竞争力的结果,并推广到动态捕捉与任意数量的不可见的意见。
2022-07-04 cs.CV
Understanding Robustness of Transformers for Image Classification
Google Research(谷歌研究院)
深度卷积神经网络(CNN)长期以来一直是计算机视觉任务的首选架构。最近,像视觉Transformer(ViT)这样基于Transformer的架构已经在图像分类方面与ResNets相匹配,甚至超过了ResNets。然而,Transformer体系结构的细节--比如使用非重叠补丁--让人怀疑这些网络是否同样健壮。在本文中,我们对ViT模型鲁棒性的各种不同度量进行了广泛的研究,并将研究结果与ResNet基线进行了比较。我们调查的鲁棒性输入扰动以及模型扰动的鲁棒性。我们发现,当用足够多的数据进行预训练时,ViT模型在广泛的扰动下至少与ResNet模型一样鲁棒。我们还发现,Transformers是强大的删除几乎任何单一的层,虽然从后面的层激活是高度相关的彼此,他们仍然发挥了重要作用的分类。
2021-10-08 cs.AI cs.CV cs.LG
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research(百度研究院);University of Amsterdam(阿姆斯特丹大学)
受CNN在图像识别中取得的巨大成功的启发,基于视图的方法应用CNN对投影视图进行建模,以实现3D对象理解,并取得了优异的性能。然而,多视图CNN模型不能对来自不同视图的块之间的通信进行建模,从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发,我们提出了一种用于三维物体识别的多视角视觉Transformer(MVT)。由于Transformer块中的每个补丁特征具有全局接收场,因此它自然地实现了来自不同视图的补丁之间的通信。同时,与CNN相比,它需要更少的归纳偏差。考虑到有效性和效率,我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试,ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法,应用于Detection Transformer和Vision Transformer等大规模模型,通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
3D-RETR: End-to-End Single and Multi-View 3D Reconstruction with Transformers
ETH Zurich(苏黎世联邦理工学院);RWTH Aachen(亚琛工业大学);LMU Munich(慕尼黑大学)
3D重建的目的是从2D视图重建3D对象。以前的3D重建工作主要集中在视图之间的特征匹配或使用CNN作为骨干。最近,Transformers在计算机视觉的多种应用中显示出有效性。然而,Transformers是否可以用于3D重建仍不清楚。在本文中,我们填补了这一空白,提出3D-RETR,这是能够执行端到端的3D重建与Transformers。3D-RETR首先使用预训练的Transformer从2D输入图像中提取视觉特征。3D-RETR然后使用另一个Transformer Decoder来获得体素特征。然后,CNN解码器将体素特征作为输入以获得重建的对象。3D-RETR能够从单个视图或多个视图进行3D重建。在两个数据集上的实验结果表明,3DRETR在三维重建方面达到了最先进的性能。其他消融研究也证明了3D-DETR受益于使用Transformers。
2021-11-16 cs.CV
Transformers Improve Breast Cancer Diagnosis from Unregistered Multi-View Mammograms
University of Oklahoma(俄克拉荷马大学);XPeng Motors(小鹏汽车)
深度卷积神经网络(CNN)已广泛用于各种医学成像任务。然而,由于卷积运算的固有局部性,CNN通常不能很好地对长程依赖性进行建模,这对于准确识别或映射从未注册的多个乳房X线照片计算的相应乳房病变特征是重要的。这促使我们利用多视图视觉Transformer的架构,在一次检查中捕获来自同一患者的多个乳房X线照片的远程关系。为此,我们采用本地Transformer块分别学习补丁的关系,从两个视图(CC/MLO)的两侧(右/左)乳房获得的四个乳房X线照片。来自不同视图和侧面的输出被连接并馈送到全局Transformer块中,以共同学习表示左右乳房的两个不同视图的四个图像之间的补丁关系。为了评估所提出的模型,我们回顾性地收集了一个涉及949组乳腺X线照片的数据集,其中包括470例恶性病例和479例正常或良性病例。我们使用五重交叉验证方法对模型进行了训练和评估。没有任何费力的预处理步骤(例如,最佳窗口裁剪、胸壁或胸肌去除、双视图图像配准等),我们的四图像(双视图双侧)基于变换器的模型实现了病例分类性能,ROC曲线下面积(AUC = 0.818),显著优于最先进的多视图CNN实现的AUC = 0.784(p = 0.009)。它还优于两个单视图双侧模型,分别达到0.724(CC视图)和0.769(MLO视图)的AUC。这项研究表明,使用Transformers开发高性能的计算机辅助诊断方案,结合四…
2022-06-21 cs.AI cs.CV eess.IV
View-Disentangled Transformer for Brain Lesion Detection
Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)深圳大数据研究院);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
深度神经网络(DNN)已被广泛用于脑病变检测和分割。然而,在2D MRI切片中定位小病变是具有挑战性的,并且需要在3D上下文聚合的粒度和计算复杂性之间进行平衡。在本文中,我们提出了一种新的视图解纠缠Transformer,以提高MRI特征的提取,更准确的肿瘤检测。首先,所提出的Transformer在3D脑扫描中的不同位置之间收获远程相关性。其次,Transformer将一组切片特征建模为多个2D视图,并逐视图增强这些特征,从而以有效的方式近似实现3D相关计算。第三,我们将所提出的Transformer模块部署在Transformer骨干中,该模块可以有效地检测大脑病变周围的2D区域。实验结果表明,我们提出的视图解纠缠的Transformer表现良好的脑病变检测上具有挑战性的脑MRI数据集。
2022-09-20 cs.CV
Multi-view analysis of unregistered medical images using cross-view transformers
Data Science Group, Faculty of Science Radboud University, Nijmegen, the Netherlands(拉德堡德大学理学院数据科学组)
多视角医学图像分析往往依赖于多个视角信息的组合。然而,视角的差异或其他形式的未对准可能会使有效地组合视图变得困难,因为配准并不总是可能的。在没有配准的情况下,视图只能通过在全局池化之后加入特征向量来在全局特征级别进行组合。我们提出了一种新的跨视图Transformer方法,在空间特征图的水平上在未注册的视图之间传递信息。我们在多视图乳腺摄影和胸部X射线数据集上证明了这种方法。在这两个数据集上,我们发现一个连接空间特征图的跨视图Transformer可以优于一个在全局池化后连接特征向量的基线模型。
2021-09-23 cs.CV
Multi-View Stereo with Transformer
Tianjin University(天津大学);University of Wollongong(卧龙岗大学);AI Labs, Didi Chuxing(滴滴出行AI Labs)
本文提出了一种用于多视图立体视觉(MVS)的MVSTR网络。它构建在Transformer之上,能够提取具有全局上下文和3D一致性的密集特征,这对于实现MVS的可靠匹配至关重要。具体来说,为了解决现有的基于CNN的MVS方法的有限的接受域的问题,全局上下文Transformer模块首先提出了探索内部视图全局上下文。此外,为了进一步使密集特征具有3D一致性,构建了3D几何Transformer模块,该模块具有设计良好的交叉视图注意力机制,以促进视图间的信息交互。实验结果表明,该算法在DTU数据集上具有最佳的整体性能,在Tanks & Temples基准数据集上具有较强的泛化能力。
2021-12-01 cs.CV
GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);University of Amsterdam(阿姆斯特丹大学)
本文提出几何变换注意力GTA,通过查询与键值对之间的相对几何变换编码token的3D结构,在稀疏宽基线多视图新视角合成任务中无需额外参数即可提升Transformer模型的学习效率与性能。
2024-06-07 cs.AI cs.CV cs.LG
ViewFormer: NeRF-free Neural Rendering from Few Images Using Transformers
Czech Technical University in Prague(布拉格捷克理工大学);Delft University of Technology(代尔夫特理工大学)
新视点合成是一个长期存在的问题。在这项工作中,我们考虑一个变种的问题,我们只给出了几个上下文视图稀疏覆盖一个场景或一个对象。目标是预测场景中的新视点,这需要学习先验知识。现有技术基于神经辐射场(NeRF),并且在实现令人印象深刻的结果的同时,这些方法遭受长的训练时间,因为它们需要针对每个图像经由神经网络评估数百万个3D点样本。我们提出了一个二维的方法,映射多个上下文视图和查询姿势到一个新的图像在一个单一的通过神经网络。我们的模型使用两个阶段的架构,包括一个码本和一个Transformer模型。码本用于将单个图像嵌入到更小的潜在空间中,并且Transformer在这个更紧凑的空间中解决视图合成任务。为了有效地训练我们的模型,我们引入了一种新的分支注意力机制,使我们能够使用相同的模型不仅用于神经渲染,而且用于相机姿态估计。在真实场景上的实验结果表明,该方法与NeRF方法相比具有很强的竞争力,同时不需要在3D中进行显式推理,而且训练速度更快.
2022-07-21 cs.CV cs.LG
PPT: token-Pruned Pose Transformer for monocular and multi-view human pose estimation
University of California, Irvine(加州大学欧文分校);Tencent Inc(腾讯公司);Meta AI
近年来,视觉Transformer及其变体在单目和多视角人体姿态估计中发挥了越来越重要的作用。将图像补丁视为令牌,Transformers可以对整个图像内或来自其他视图的图像之间的全局依赖性进行建模。然而,全局注意力在计算上是昂贵的。因此,很难将这些基于变换的方法扩展到高分辨率特征和许多视图。在本文中,我们提出了令牌修剪姿态Transformer(PPT)的二维人体姿态估计,它可以定位一个粗略的人体面具,并执行自我注意力只在选定的令牌。此外,我们将我们的PPT扩展到多视图人体姿态估计。基于PPT,我们提出了一种新的跨视图融合策略,称为人体区域融合,认为所有的人类前景像素作为相应的候选人。COCO和MPII上的实验结果表明,我们的PPT可以匹配以前的姿态Transformer方法的精度,同时减少了计算。此外,在人类3.6M和滑雪姿势上的实验表明,我们的多视图PPT可以有效地融合来自多个视图的线索,并实现新的最先进的结果。
2022-09-16 cs.CV
Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations
Google(谷歌)
计算机视觉中的一个经典问题是从可以用于以交互速率呈现新颖视图的少数图像推断3D场景表示。以前的工作集中在重建预定义的3D表示,例如纹理网格,或隐式表示,例如辐射场,并且通常需要输入图像具有精确的相机姿态和每个新场景的长处理时间。在这项工作中,我们提出了场景表示Transformer(SRT),一种方法,处理构成或未构成的RGB图像的一个新的区域,推断出一个“设置潜在的场景表示”,并合成新的意见,所有在一个单一的前馈通过。为了计算场景表示,我们提出了一个概括的视觉Transformer的图像集,使全球信息集成,因此3D推理。高效的解码器Transformer通过参与场景表示来参数化光场以渲染新颖的视图。通过最小化新视图重建误差来监督端到端的学习。我们表明,这种方法在PSNR和速度方面优于合成数据集的最新基线,包括为本文创建的新数据集。此外,我们证明了SRT的规模,以支持交互式可视化和语义分割的真实世界的户外环境,使用街景图像。
2022-03-29 cs.AI cs.CV cs.GR
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey(萨里大学)
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而,由于自我注意的二次复杂性和缺乏感应偏差,Transformers是资源密集型的,并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题,使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络(STAN),它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类,具有数据效率,并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
Sequential View Synthesis with Transformer
University of Oulu(奥卢大学);Tampere University(坦佩雷大学)
本文解决了新的视图合成的问题,通过神经渲染,我们感兴趣的是在任意的摄像机姿态的基础上,从其他观点的输入图像的一组给定的预测新的视图。使用已知的查询姿势和输入姿势,我们创建一个有序的观察集,导致目标视图。因此,单个新视图合成的问题被重新表述为一个顺序视图预测任务。在本文中,提出了基于转换器的生成查询网络(T-GQN)通过添加两个新的概念扩展了神经渲染方法。首先,我们使用上下文图像之间的多视图注意学习,以获得多个隐式场景表示。其次,我们引入了一个顺序渲染解码器来预测图像序列,包括目标视图,基于学习的表示。最后,我们在各种具有挑战性的数据集上评估了我们的模型,并证明我们的模型不仅给出了一致的预测,而且不需要进行任何微调的再训练。
2020-09-22 cs.CV cs.LG eess.IV
WT-MVSNet: Window-based Transformers for Multi-view Stereo
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司);Bar-Ilan University(巴伊兰大学);Research Institute of Tsinghua, Pearl River Delta(清华大学珠江三角洲研究院)
最近,Transformers被示出通过实现长距离特征交互来增强多视图立体视觉的性能。在这项工作中,我们提出了基于窗口的Transformers(WT)的局部特征匹配和全局特征聚合在多视图立体视觉。我们介绍了一种基于窗口的核线Transformer(WET),通过使用核线约束减少匹配冗余。由于点到线匹配是敏感的错误的相机姿势和校准,我们匹配的极线附近的窗口。第二个移位WT用于在成本量内聚合全局信息。我们提出了一种新的成本Transformer(CT),以取代3D卷积成本体积正则化。为了更好地约束多视图的估计深度图,我们进一步设计了一种新的几何一致性损失(Geo Loss),它惩罚不可靠的区域,其中多视图一致性不满意。我们的WT多视图立体视觉方法(WT-MVSNet)在多个数据集上实现了最先进的性能,并在坦克和寺庙基准测试中排名$1^{st}$。
2022-05-28 cs.CV
Multi-domain Integrative Swin Transformer network for Sparse-View Tomographic Reconstruction
Sun Yat-sen University(中山大学);China Three Gorges University(三峡大学);The First People’s Hospital of Yichang(宜昌市第一人民医院)
减少投影视图以降低X射线辐射剂量通常会导致严重的条纹伪影。为了提高稀疏数据的图像质量,本文提出了一种多域集成Swin Transformer网络(MIST-net)。首先,MIST-net采用灵活的网络结构,将数据、残差数据、图像和残差图像等丰富的域特征融合在一起,其中残差数据和残差图像子网络被视为数据一致性模块,以消除插值和重建误差。其次,一个可训练的边缘增强滤波器被纳入检测和保护图像的边缘。第三,高质量的重建Swin Transformer(即,Recformer)被设计用于捕获图像全局特征。在48个视图的数值和真实心脏临床数据集上的实验结果表明,我们提出的MIST-net提供了更好的图像质量,具有更多的小特征和尖锐的边缘比其他竞争对手。
2022-04-15 cs.CV cs.LG eess.IV
TransFusion: Cross-view Fusion with Transformer for 3D Human Pose Estimation
University of California, Irvine(加州大学欧文分校);Facebook(脸书);Amazon(亚马逊)
估计每个视图中的2D人体姿态通常是校准的多视图3D姿态估计中的第一步。但是2D姿态检测器的性能受到诸如遮挡和倾斜视角等具有挑战性的情况的影响。为了解决这些挑战,以前的工作从对极几何中导出不同视图之间的点对点对应关系,并利用这些对应关系来合并预测热图或特征表示。而不是预测后的合并/校准,在这里,我们介绍了一个Transformer框架的多视图3D姿态估计,旨在通过整合来自不同视图的信息,直接提高个人的2D预测。受以前的多模态Transformers的启发,我们设计了一个统一的Transformer架构,名为TransFusion,融合来自当前视图和相邻视图的线索。此外,我们提出了核线场的概念,编码到Transformer模型的三维位置信息。由对极场引导的3D位置编码提供了对不同视图的像素之间的对应性进行编码的有效方式。在Human 3.6M和Ski-Pose上的实验表明,与其他融合方法相比,该方法具有更高的效率和一致的改进。具体来说,我们在Human 3.6M上实现了25.8 mm MPJPE,仅使用256 x 256分辨率的5 M参数。
2021-12-09 cs.CV
DT-NVS: Diffusion Transformers for Novel View Synthesis
UCL(伦敦大学学院);NVIDIA(英伟达)
针对单视角生成日常场景新视角的问题,提出DT-NVS这一3D感知扩散模型,采用Transformer架构,改进图像转3D表示的方法和相机条件策略,在真实世界数据集上训练,性能优于现有模型且输出多样。
2025-11-11 cs.AI cs.CV
PFT-SSR: Parallax Fusion Transformer for Stereo Image Super-Resolution
The Chinese University of Hong Kong(香港中文大学);Shanghai University(上海大学);Jiangsu Key Laboratory of Image and Video Understanding for Social Safety(江苏省社会安全图像与视频理解重点实验室);Nanjing University of Posts and Telecommunications(南京邮电大学);East China Normal University(华东师范大学)
立体图像超分辨率是利用双目系统提供的辅助信息来提高图像超分辨率的性能。虽然以前的方法取得了可喜的成果,但他们没有充分利用跨视图和视图内的信息。为了进一步释放双目图像的潜力,在这封信中,我们提出了一种新的Transformerbased视差融合模块称为视差融合Transformer(PFT)。PFT采用交叉视图融合Transformer(CVFT)来利用交叉视图信息,并采用视图内细化Transformer(IVRT)来进行视图内特征细化。同时,我们采用Swin Transformer作为特征提取和SR重构的骨干,形成了一个纯Transformer架构,称为PFT-SSR。大量的实验和烧蚀研究表明,PFT-SSR取得了有竞争力的结果,并优于大多数SOTA方法。源代码可在https://github.com/MIVRC/PFT-PyTorch上获得。
2023-03-24 cs.CV
Multi-view 3D Reconstruction with Transformer
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);University of Michigan(密歇根大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
到目前为止,基于深度CNN的方法已经在多视图3D对象重建中取得了最先进的结果。尽管这些方法取得了长足的进步,但其两个核心模块--多视角特征提取和融合,通常是分开研究的,而对不同视角下的目标关系研究较少。在本文中,最近的巨大成功的启发自注意力为基础的Transformer模型,我们重新制定的多视图三维重建序列到序列的预测问题,并提出了一个新的框架命名为三维体积Transformer(伏特)这样一个任务。与以前使用单独设计的基于CNN的方法不同,我们将特征提取和视图融合统一在单个Transformer网络中。我们的设计的一个自然优势在于在多个无序输入之间使用自我注意来探索视图到视图的关系。在ShapeNet -一个大规模的3D重建基准数据集上,我们的方法在多视图重建中实现了新的最先进的精度,与其他基于CNN的方法相比,参数更少($70\%$更少)。实验结果也表明我们的方法具有很强的缩放能力。我们的代码将公开提供。
2021-03-24 cs.CV
Geometry-Free View Synthesis: Transformers and no 3D Priors
Ludwig Maximilian University of Munich(慕尼黑大学);IWR Heidelberg University(海德堡大学跨学科科学计算中心)
从单个图像合成新视图需要几何模型吗?由于受到局部卷积的约束,CNN需要显式的3D偏差来模拟几何变换。相比之下,我们证明了基于transformer的模型可以合成完全新颖的视图,而没有任何手工设计的3D偏差。这是通过(i)全局注意力机制来实现的,该全局注意力机制用于隐式地学习源视图和目标视图之间的长距离3D对应关系,以及(ii)捕获在从单个图像预测新视图中固有的模糊性所必需的概率公式化,从而克服了限于相对小的视点变化的先前方法的限制。我们评估各种方法来集成到一个Transformer架构的三维先验。然而,我们的实验表明,不需要这样的几何先验,并且Transformer能够隐式地学习图像之间的3D关系。此外,这种方法在视觉质量方面优于现有技术,同时覆盖可能实现的全部分布。代码可在https://git.io/JOnwn上获得
2021-08-30 cs.CV
CheXFusion: Effective Fusion of Multi-View Features using Transformers for Long-Tailed Chest X-Ray Classification
Carnegie Mellon University(卡内基梅隆大学)
针对医学图像分类中疾病长尾分布、标签共现及多视图问题,提出基于Transformer的CheXFusion融合模块,结合数据平衡与自训练,在CXR-LT竞赛中获0.372 mAP并取得第一名。
2023-08-08 cs.AI cs.CV
Generalizable Neural Radiance Fields for Novel View Synthesis with Transformer
我们提出了一个基于变压器的NeRF(transNeRF)学习一个通用的神经辐射场条件下的新的视图合成任务的视图图像。相比之下,现有的基于MLP的NeRF不能直接接收任意数量的观察视图,并且需要辅助的基于池化的操作来融合源视图信息,导致源视图和目标渲染视图之间的复杂关系缺失。此外,目前的方法单独处理每个3D点,忽略了辐射场场景表示的局部一致性。这些限制可能会降低它们在具有挑战性的现实世界应用中的性能,其中源视图和新的渲染视图之间可能存在很大的差异。为了解决这些挑战,我们的transNeRF利用注意力机制自然解码任意数量的源视图到基于坐标的场景表示的深关联。在统一的Transformer网络中,考虑了光线投射空间和周围视图空间中形状和外观的局部一致性。实验表明,我们的TransNeRF,在各种场景上训练,可以实现更好的性能相比,最先进的基于图像的神经渲染方法在场景不可知和每场景微调的情况下,特别是当有一个相当大的差距源视图和渲染视图。
2022-06-10 cs.CV
Photorealistic Novel View Synthesis of Human Faces using Next-Scale Transformers
École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Meta
本研究将next-scale自回归范式适配人脸新视角合成,结合Transformer模型实现高保真多视角人脸3D模型生成,较扩散模型需更少专用训练数据,提升了感知与跨视角一致性。
2026-08-25 cs.CV cs.LG
Trans${^2}$-CBCT: A Dual-Transformer Framework for Sparse-View CBCT Reconstruction
Department of Electrical Engineering and Computer Science at Syracuse University(苏利文大学电气工程与计算机科学系)
本文提出Trans$^2$-CBCT双Transformer框架,结合TransUNet与邻域感知Point Transformer,在稀疏视角CBCT重建中显著提升PSNR和SSIM,验证了混合特征与几何推理的有效性。
2025-06-20 cs.AI cs.CV eess.IV
HaploOmni: Unified Single Transformer for Multimodal Video Understanding and Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);The University of Hong Kong(香港大学);Xi’an JiaoTong University(西安交通大学)
本文提出HaploOmni,通过多模态预热、特征预缩放和多模态AdaLN技术,以有限训练成本构建统一单Transformer,在图像和视频理解与生成任务上取得竞争性性能。
2025-06-03 cs.AI cs.CV
Video Swin Transformers for Egocentric Video Understanding @ Ego4D Challenges 2022
Universidad de Los Andes(洛斯安第斯大学);Google Research(谷歌研究院)
我们实现了视频Swin Transformer作为一个基础架构的不归点时间定位和对象状态变化分类的任务。我们的方法在这两个挑战中都取得了有竞争力的性能。
2022-07-22 cs.CV
Déjà View: Looping Transformers for Multi-View 3D Reconstruction
NVIDIA;University of Modena and Reggio Emilia, AImageLab(摩德纳和雷焦艾米利亚大学,AImageLab);University of Toronto, Vector Institute(多伦多大学,向量研究所);ETH Zürich(苏黎世联邦理工学院)
提出DéjàView模型,通过循环应用单个Transformer块进行迭代细化,以更少的参数和计算量在多个3D重建基准上达到或超越大规模前馈模型。
2026-05-29 cs.CV
CVSformer: Cross-View Synthesis Transformer for Semantic Scene Completion
Tianjin University(天津大学);Shenzhen University(深圳大学);A*STAR(新加坡科技研究局);The Hong Kong Polytechnic University(香港理工大学);South China University of Technology(华南理工大学);Alibaba Damo Academy(阿里巴巴达摩院)
针对语义场景补全中跨视图物体关系建模不足的问题,本文提出 CVSformer,通过旋转三维卷积核合成多视图特征并以跨视图 Transformer 融合增强,实现体素占据与语义预测的最优性能。
2023-07-16 cs.CV
Multi-View Stenosis Classification Leveraging Transformer-Based Multiple-Instance Learning Using Real-World Clinical Data
Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital(人工智能在医疗与健康中的chair,慕尼黑技术大学及慕尼黑技术大学医院);Department of Computing, Imperial College London, UK, and Munich Center for Machine Learning (MCML)(计算系,伦敦帝国学院,英国,以及慕尼黑机器学习中心);Department of Internal Medicine, TUM University Hospital(内科系,慕尼黑技术大学医院)
本文提出SegmentMIL,一种基于变换器的多视角多实例学习框架,利用真实世界临床数据实现患者级别的冠状动脉狭窄分类,无需视图级注释,有效提升诊断性能。
2026-02-02 cs.AI cs.CV
Multiview Detection with Shadow Transformer (and View-Coherent Data Augmentation)
Australian National University(澳大利亚国立大学)
多视点检测结合多个摄像机视点来处理遮挡问题,其核心问题是多视点融合。给定从多个视图到公共地平面上的特征映射投影,最先进的方法通过卷积来解决这个问题,无论对象位置如何,卷积都应用相同的计算。然而,这种投影不变的行为可能不是最好的选择,因为对象特征根据其位置和相机经历各种投影失真。在本文中,我们提出了一种新的多视图检测器,MVDeTr,采用新引入的阴影Transformer聚合多视图信息。与卷积不同,阴影Transformer在不同的位置和相机上以不同的方式参与,以处理各种类似阴影的扭曲。我们提出了一个有效的训练方案,其中包括一个新的视图相干数据增强方法,它适用于随机增强,同时保持多视图的一致性。在两个多视图检测基准,我们报告新的国家的最先进的精度与建议的系统。代码可在https://github.com/hou-yz/MVDeTr上获得。
2021-08-12 cs.CV
RUMPL: Ray-Based Transformers for Universal Multi-View 2D to 3D Human Pose Lifting
ICTEAM/ELEN, UCLouvain(ICTEAM/ELEN,乌尔克大学);EPFL(瑞士联邦理工学院)
RUMPL提出了一种基于变换器的3D姿态提升方法,通过引入3D射线表示实现多视角姿态估计的通用性和鲁棒性,显著提升了姿态提升的精度。
2025-12-17 cs.CV
RETR: Multi-View Radar Detection Transformer for Indoor Perception
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));University of Bologna(博洛尼亚大学);Information Technology R&D Center (ITC), Mitsubishi Electric Corporation(三菱电机公司信息技术研发中心(ITC))
针对室内多视角雷达感知,提出RETR模型,基于DETR架构,通过深度优先特征相似性、三平面损失和可学习变换,在检测和分割上分别超越SOTA 15.38+ AP和11.91+ IoU。
2025-01-17 cs.AI cs.CV cs.LG
Implicit Ray-Transformers for Multi-view Remote Sensing Image Segmentation
Beihang University(北京航空航天大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出隐式射线Transformer(IRT),通过神经场编码三维结构先验并结合二维纹理特征,在稀疏标签条件下实现准确且视角一致的遥感多视角场景语义分割,并在合成与真实数据集上验证了其优于现有方法。
2023-03-15 cs.AI cs.CV
Long-Range Grouping Transformer for Multi-View 3D Reconstruction
Macau University of Science and Technology(澳门科技大学)
针对多视图3D重建中大量视图令牌导致自注意力学习困难的问题,本文提出长程分组注意力LGA及渐进式上采样解码器,构建LRGT,并在ShapeNet上达到SOTA精度。
2023-08-17 cs.CV
MultiTSF: Transformer-based Sensor Fusion for Human-Centric Multi-view and Multi-modal Action Recognition
本文提出MultiTSF,通过Transformer动态建模多视角关系并引入人体检测模块生成伪标签,在多视角多模态动作识别中超越现有方法。
2025-04-07 cs.CV
Learning Parallax Transformer Network for Stereo Image JPEG Artifacts Removal
Fudan University(复旦大学)
在立体设置下,可以通过利用由第二视图提供的附加信息来进一步提高图像JPEG伪影去除的性能。然而,将此信息用于立体图像JPEG伪影去除是一个巨大的挑战,因为现有的压缩伪影使得像素级视图对齐困难。在本文中,我们提出了一种新的视差Transformer网络(PTNet)的信息,从立体图像对立体图像JPEG伪影去除。具体来说,一个精心设计的对称双向视差Transformer模块,提出了匹配功能与相似的纹理之间的不同意见,而不是像素级的视图对齐。由于遮挡和边界的问题,提出了一个基于置信度的跨视图融合模块,以实现更好的特征融合的两个视图,其中跨视图的特征加权与置信度地图。特别是,我们采用了由粗到细的设计,跨视图的交互,导致更好的性能。综合的实验结果表明,我们的PTNet可以有效地消除压缩文物,并取得优于其他测试国家的最先进的方法的性能。
2022-07-15 cs.CV
Multi-view Pyramid Transformer: Look Coarser to See Broader
Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
提出MVP,一种可扩展的多视角变换器架构,通过局部到全局的视角层次和细到粗的空间层次,实现从数十到数百张图像中单次前向重建大型3D场景,结合3D高斯泼溅达到最先进的可泛化重建质量。
2026-05-31 cs.CV
3D Shuffle-Mixer: An Efficient Context-Aware Vision Learner of Transformer-MLP Paradigm for Dense Prediction in Medical Volume
Tencent AI Lab(腾讯人工智能实验室);Peking Union Medical College Hospital(北京协和医院)
医学体积中的密集预测为临床分析提供了丰富的指导。CNN主干由于缺乏长距离依赖性和全局上下文建模能力而遇到瓶颈。由于CNN具有较强的全局捕获能力和学习能力,最近的工作提出将视觉Transformer与CNN相结合。然而,大多数工作仅限于简单地应用具有几个致命缺陷的纯Transformer(即,缺乏归纳偏差、计算量大且很少考虑3D数据)。因此,设计一个优雅和高效的视觉Transformer学习器在医学体积密集预测是有前途的和具有挑战性的。在本文中,我们提出了一种新的3D洗牌混合器网络的一个新的本地视觉Transformer -MLP范例的医疗密集预测。在我们的网络中,一个本地的视觉Transformer块被用来洗牌和学习空间上下文从全视图切片的重新排列的体积,一个剩余的轴向MLP被设计为混合和捕获剩余的体积上下文切片感知的方式,和一个MLP视图聚合器被用来投影学习的全视图丰富的上下文以视图感知的方式的体积功能。此外,提出了一种自适应缩放增强的局部视觉Transformer,以增强沿空间和通道的自适应特征,并提出了一种交叉合并的金字塔结构中的多尺度功能适当的跳跃连接。大量的实验表明,该模型优于其他国家的最先进的医疗密集预测方法。
2022-04-14 cs.AI cs.CV
ViewFormer: Exploring Spatiotemporal Modeling for Multi-View 3D Occupancy Perception via View-Guided Transformers
Uisee Foundation Research & Development(驭势科技基金会研发部);University of Science and Technology of China(中国科学技术大学)
针对多视角3D占据感知中现有注意力机制特征聚合受限的问题,提出视角引导的ViewFormer框架及FlowOcc3D基准,在多类3D任务中性能超越现有最优水平。
2024-07-12 cs.CV
Transformers Meet Visual Learning Understanding: A Comprehensive Review
Xidian University(西安电子科技大学)
动态注意力机制和全局建模能力使Transformer表现出较强的特征学习能力。近年来,Transformer已成为计算机视觉中的CNN方法。本文主要综述了Transformer在图像和视频应用中的研究进展,对Transformer在视觉学习理解中的应用进行了全面的综述。首先,回顾了《Transformer》中的注意力机制。然后介绍了可视化的Transformer模型和各个模块的工作原理。第三,研究了现有的基于transformer的模型,并比较了它们在视觉学习理解应用中的性能。研究了计算机视觉的三种图像任务和两种视频任务。前者主要包括图像分类、目标检测和图像分割。后者包括对象跟踪和视频分类。这对于在多个公共基准数据集上比较不同模型在不同任务中的性能具有重要意义。最后,总结了目前存在的十个问题,并对可视化Transformer的发展前景进行了展望。
2022-03-24 cs.CV
VTP: Volumetric Transformer for Multi-view Multi-person 3D Pose Estimation
Hangzhou Dianzi University(杭州电子科技大学)
提出首个用于多视角多人3D姿态估计的3D体积Transformer框架VTP,通过聚合多视角2D关键点特征并结合3D卷积与稀疏Sinkhorn注意力,有效降低内存开销并提升性能,在多个基准上取得优异结果。
2022-05-25 cs.CV
DPPE: Rethinking Camera-Based Positional Encoding for Scaling Multi-View Transformers
Keio University(庆应义塾大学);SB Intuitions
针对多视图Transformer中基于相机参数的位置编码导致训练后期性能停滞的问题,提出解耦位姿位置编码(DPPE),将旋转和平移显式分离,实现稳定长训练并提升外推泛化能力。
2026-11-04 cs.AI cs.CV
Cross-view Geo-localization with Evolving Transformer
College of Computer Science and Software Engineering(计算机科学与软件工程学院);Shenzhen University(深圳大学)
在这项工作中,我们解决的问题,跨视图地理定位,估计的地理空间位置的街景图像匹配它与地理标记的航空图像的数据库。跨视图匹配任务是极具挑战性的,由于激烈的外观和几何形状的差异,跨视图。与现有的方法主要依靠CNN,在这里,我们设计了一种新的不断发展的地理定位Transformer(EgoTR),利用Transformer中的自我注意力的属性来建模全局依赖关系,从而显着减少跨视图地理定位中的视觉模糊性。我们还利用Transformer的位置编码来帮助EgoTR理解和对应地面和空中图像之间的几何配置。与对几何知识施加强假设的最先进方法相比,EgoTR通过训练目标灵活地学习位置嵌入,因此在许多现实场景中变得更加实用。虽然Transformer非常适合我们的任务,但它的香草自我注意力机制在每一层的图像块内独立交互,忽略了层之间的相关性。相反,本文提出了一个简单而有效的自交叉注意力机制,以提高学习表征的质量。自交叉注意力模型的全局依赖性相邻层之间,这涉及图像补丁之间,同时建模如何在前一层的功能演变。因此,所提出的自交叉注意导致更稳定的训练,提高了泛化能力,并鼓励表示随着网络的深入而不断进化。大量的实验表明,我们的EgoTR表现良好,对国家的最先进的方法对标准,细粒度和跨数据集跨视图地理定位任务。
2021-07-05 cs.CV