PanoContext-Former: Panoramic Total Scene Understanding with a Transformer
Alibaba Group（阿里巴巴集团）；Hong Kong University of Science and Technology（香港科技大学）
提出PanoContext-Former，利用深度先验和Transformer上下文模块从单张全景图联合恢复房间布局、物体边界框与形状，并构建真实数据集，实验表现优于现有方法。
2023-06-05 cs.CV
SOAT: A Scene- and Object-Aware Transformer for Vision-and-Language Navigation
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
用于视觉导航的自然语言指令通常使用场景描述（例如，“卧室”）和对象引用（例如，“绿色椅子”）以提供到目标位置的面包屑轨迹。这项工作提出了一种基于transformer的视觉和语言导航（VLN）代理，它使用两种不同的视觉编码器-场景分类网络和对象检测器-产生匹配这两种不同类型的视觉提示的功能。在我们的方法中，场景功能有助于高层次的上下文信息，支持对象级处理。通过这种设计，我们的模型能够使用视觉和语言预训练（即，从大规模Web数据中学习图像和文本之间的对齐），以大幅提高房间到房间（R2 R）和房间跨房间（RxR）基准测试的性能。具体而言，我们的方法导致R2 R上SPL的绝对改善1.8%，RxR上SR的绝对改善3.7%。我们的分析揭示了包含六个或更多对象引用的导航指令的更大收益，这进一步表明我们的方法能够更好地使用对象特征并将它们与指令中的引用对齐。
2021-10-27 cs.CV
Semantic Segmentation on VSPW Dataset through Aggregation of Transformer Models
Xiaomi Inc.（小米公司）
语义分割是计算机视觉中的一项重要任务，从中衍生出一些重要的使用场景，如自动驾驶、场景解析等，由于对视频语义分割任务的重视，我们参加了本次大赛。在这份报告中，我们简要介绍了“BetterThing”团队为ICCV 2021-视频场景解析野外挑战赛提供的解决方案。Transformer作为提取视频帧特征的主干，最终结果是SWIN和VOLO两个Transformer模型输出的聚合。该解决方案实现了57.3%的mIoU，在Wild Challenge视频场景解析中排名第三。
2021-09-03 cs.CV
HSCNet++: Hierarchical Scene Coordinate Classification and Regression for Visual Localization with Transformer
Aalto University（阿尔托大学）；CTU in Prague（捷克布拉格技术大学）
针对单图像RGB定位中直接回归像素-3D坐标映射难度大的问题，本文提出HSCNet的扩展方法HSCNet++，以由粗到精的分层方式预测像素场景坐标，可训练适配大型环境的紧凑模型，在多个基准数据集上取得单图像定位最优性能。
2023-05-05 cs.CV
Learning Content-enhanced Mask Transformer for Domain Generalized Urban-Scene Segmentation
University of Amsterdam（阿姆斯特丹大学）
针对域泛化城市场景语义分割，本文提出 CMFormer，通过融合多分辨率图像特征的内容增强型掩码注意力提升风格鲁棒性，mIoU 最高提升 14.00%。
2023-12-17 cs.CV
ComplETR: Reducing the cost of annotations for object detection in dense scenes with vision transformers
AWS AI Labs（AWS人工智能实验室）；Yonsei University（延世大学）
注释用于目标检测的边界框是昂贵的、耗时的并且容易出错。在这项工作中，我们提出了一个基于DETR的框架，称为COMPLETR，旨在明确地完成部分注释的密集场景数据集缺失的注释。这减少了对场景中的每个对象实例进行注释的需要，从而降低了注释成本。在DETR解码器中，COMPLETR使用图像中对象的补丁信息来增强对象查询。结合匹配损失，它可以有效地找到与输入补丁相似的对象，并完成缺失的注释。我们表明，我们的框架优于最先进的方法，如软采样和无偏见的教师本身，而在同一时间可以与这些方法结合使用，以进一步提高其性能。我们的框架对下游对象检测器的选择也是不可知的;我们在多个密集场景数据集上显示了几种流行检测器的性能改进，例如Faster R-CNN，Cascade R-CNN，CenterNet 2和Deformable DETR。
2022-09-13 cs.CV
P2T: Pyramid Pooling Transformer for Scene Understanding
Nankai University（南开大学）；Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）；Alibaba DAMO Academy（阿里巴巴达摩院）
最近，视觉Transformer通过推动各种视觉任务的最新技术，取得了巨大的成功。视觉Transformer中最具挑战性的问题之一是图像令牌的大序列长度导致高计算成本（二次复杂度）。这个问题的一个流行的解决方案是使用单个池操作来减少序列长度。本文考虑如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不太强大。为此，我们注意到，金字塔池已被证明是有效的各种视觉任务，由于其强大的能力，在上下文抽象。然而，金字塔池尚未在骨干网设计中进行探索。为了弥补这一差距，我们建议在视觉Transformer中将金字塔池化适应多头自注意力（MHSA），同时减少序列长度并捕获强大的上下文特征。插入基于池的MHSA，我们构建了一个通用的视觉Transformer主干，称为金字塔池Transformer（P2T）。大量的实验表明，当应用P2T作为骨干网络时，与以前的CNN和基于transformer的网络相比，它在各种视觉任务（如图像分类，语义分割，目标检测和实例分割）中显示出巨大的优越性。该代码将在https://github.com/yuhuan-wu/P2T上发布。
2022-08-31 cs.CV
FAST3DIS: Feed-forward Anchored Scene Transformer for 3D Instance Segmentation
Goertek Alpha Labs（歌尔阿尔法实验室）
本文提出FAST3DIS，一种端到端的3D实例分割方法，通过前馈锚定场景Transformer避免后处理聚类，提升分割精度与效率。
2026-03-27 cs.CV
Transformer Meets Convolution: A Bilateral Awareness Network for Semantic Segmentation of Very Fine Resolution Urban Scene Images
Wuhan University（武汉大学）；Surveying and Mapping Institute Lands and Resource Department of Guangdong Province（广东省国土资源厅测绘院）
从极细分辨率（VFR）城市场景图像中进行语义分割在自动驾驶、土地覆盖分类、城市规划等应用场景中具有重要作用。然而，VFR图像中包含的大量细节，尤其是对象的尺度和外观变化，严重限制了现有深度学习方法的潜力。解决这些问题是遥感界一个很有前途的研究领域，为场景级景观格局分析和决策铺平了道路。在本文中，我们提出了一个双边感知网络，它包含一个依赖路径和纹理路径，以充分捕捉VFR图像中的长距离关系和细粒度细节。具体地说，依赖路径进行的基础上的RestT，一种新的Transformer骨干内存高效的多头自注意，而纹理路径是建立在堆栈卷积运算。此外，利用线性注意力机制，设计了一个特征聚合模块，有效地融合了依赖特征和纹理特征。在三个大规模的城市场景图像分割数据集上进行了广泛的实验，ISPRS Vaihingen数据集、ISPRS Potsdam数据集和UAVid数据集证明了我们的BANet的有效性。具体而言，在UAVid数据集上实现了64.6%的mIoU。代码可在https://github.com/WangLibo1995/GeoSeg上获得。
2022-06-03 cs.CV
Few Could Be Better Than All: Feature Sampling and Grouping for Scene Text Detection
NetEase（网易）；Huazhong University of Science and Technology（华中科技大学）
近年来，基于变换的方法在目标检测中取得了可喜的进展，因为它们可以消除NMS等后处理并丰富深度表示。然而，这些方法不能很好地处理场景文本，由于其极端变化的尺度和长宽比。在本文中，我们提出了一个简单而有效的基于变换的架构场景文本检测。与以往以整体方式学习场景文本的鲁棒深度表示的方法不同，我们的方法基于少数代表性特征进行场景文本检测，避免了背景的干扰，降低了计算成本。具体来说，我们首先选择几个代表性的功能，在所有规模是高度相关的前景文本。然后，我们采用了一个Transformer模型的采样特征之间的关系，有效地将它们划分到合理的组。由于每个特征组对应于一个文本实例，因此无需任何后处理操作即可轻松获得其限界框。使用基本的特征金字塔网络进行特征提取，我们的方法在几个流行的场景文本检测数据集上一致地实现了最先进的结果。
2022-03-30 cs.CV
TERDNet: Transformer Encoder-Recurrent Decoder Network for Scene Change Detection
Department of AI Convergence, Gwangju Institute of Science and Technology (GIST)（人工智能融合系，全州科学技术院（GIST））
本文提出TERDNet，一种用于场景变化检测的Transformer编码器-递归解码器网络，通过多级特征提取、特征融合模块、递归解码器和上采样模块，提升了场景变化检测的精度和鲁棒性。
2026-05-20 cs.CV
UNetFormer: A UNet-like Transformer for Efficient Semantic Segmentation of Remote Sensing Urban Scene Imagery
Wuhan University（武汉大学）；Key Laboratory of Natural Resources Monitoring in Tropical and Subtropical Area of South China, Ministry of Natural Resources（自然资源部华南热带亚热带自然资源监测重点实验室）；Lancaster University（兰卡斯特大学）；UK Centre for Ecology & Hydrology（英国生态与水文研究中心）；University of Twente（特文特大学）；University of Southampton（南安普顿大学）；Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences（中国科学院地理科学与资源研究所）
在土地覆盖制图、城市变化检测、环境保护、经济评估等实际应用中，遥感城市场景图像的语义分割是一项重要的研究内容，在深度学习技术快速发展的推动下，卷积神经网络（CNN）多年来一直主导着语义分割。CNN采用层次化特征表示，表现出较强的局部信息抽取能力。然而，卷积层的局部属性限制了网络捕获全局上下文。近年来，Transformer作为计算机视觉领域的一个热点，在全局信息建模方面显示出巨大的潜力，极大地促进了图像分类、目标检测，尤其是语义分割等与视觉相关的任务。在本文中，我们提出了一个基于transformer的解码器，并构建了一个类似于UNet的Transformer（UNetFormer）的实时城市场景分割。为了高效分割，UNetFormer选择轻量级ResNet 18作为编码器，并开发了一个高效的全局-局部注意力机制，以在解码器中对全局和局部信息进行建模。大量的实验表明，与最先进的轻量级模型相比，我们的方法不仅运行速度更快，而且精度更高。具体而言，拟议的UNetFormer在UAVid和LoveDA数据集上分别实现了67.8%和52.4%的mIoU，而推理速度可以在单个NVIDIA GTX 3090 GPU上实现高达322.4 FPS的512 x512输入。在进一步的探索中，所提出的基于Transformer的解码器与Swin Transformer编码器相结合，也在Vaihingen…
2022-06-26 cs.CV
AQ3D: Adaptive Query Transformer for 3D Instance Segmentation
Hamburg University of Technology（汉堡工业大学）
本文提出AQ3D，通过自适应查询和改进的位置编码、解码器模块，在无额外数据增强的情况下，于多个ScanNet数据集的3D实例分割任务中取得新的SOTA性能。
2026-09-01 cs.CV
Superpoint Transformer for 3D Scene Instance Segmentation
South China University of Technology（华南理工大学）
现有的三维实例分割方法大多是通过扩展用于三维目标检测或三维语义分割的模型来实现的。然而，这些非直接的方法有两个缺点：1）不精确的边界框或不令人满意的语义预测限制了整个3D实例分割框架的性能。2)现有的方法需要一个耗时的聚合中间步骤。针对这些问题，提出了一种基于Superpoint Transformer的端到端三维实例分割方法SPFormer。它将点云中的潜在特征组合成超点，通过查询向量直接预测实例，而不依赖于目标检测或语义分割的结果。该框架的关键是一个新颖的查询解码器和Transformers器，它可以通过超点交叉注意力机制捕获实例信息，并生成实例的超点掩码。SPFormer通过基于超点掩码的二分匹配实现网络训练，不需要中间的聚合步骤，加快了网络的速度。在ScanNetv2和S3DIS基准测试上的大量实验验证了该方法的简洁性和有效性。值得注意的是，SPFormer在ScanNetv2隐藏测试集上的mAP方面超过了最先进的方法4.3%，同时保持了快速的推理速度（每帧247 ms）。代码可在https://github.com/sunjiahao1999/SPFormer上获得。
2022-11-28 cs.CV
S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR
The Chinese University of Hong Kong（香港中文大学）；Institute of Medical Intelligence and XR（医学智能与XR研究院）；Technical University of Denmark（丹麦技术大学）；National University of Singapore（新加坡国立大学）
本文提出单阶段双模态Transformer框架S^2Former-OR，通过融合多视角2D场景与3D点云并直接预测实体对关系，在4D-OR基准上以更低计算成本实现了更优的手术室场景图生成性能。
2024-08-07 cs.CV
KASportsFormer: Kinematic Anatomy Enhanced Transformer for 3D Human Pose Estimation on Short Sports Scene Video
Nagoya University（名古屋大学）
针对体育短视频中复杂瞬时动作的3D姿态估计难题，提出KASportsFormer，通过BoneExt与LimbFus融合运动解剖学多模态特征，在SportsPose和WorldPose上达到最优MPJPE。
2025-07-28 cs.CV
Point Transformer
University of Oxford（牛津大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Intel Labs（英特尔实验室）
自注意网络已经彻底改变了自然语言处理，并在图像分析任务（如图像分类和目标检测）方面取得了令人印象深刻的进展。受此成功的启发，我们研究了自注意网络在3D点云处理中的应用。我们为点云设计了自注意层，并使用这些层来构建自注意网络，用于语义场景分割，对象部分分割和对象分类等任务。我们的Point Transformer设计改进了以前跨域和任务的工作。例如，在用于大规模语义场景分割的具有挑战性的S3DIS数据集上，Point Transformer在Area 5上达到了70.4%的mIoU，比最强的先验模型高出3.3个绝对百分点，并首次超过了70%的mIoU阈值。
2021-09-26 cs.CV
PanSR: An Object-Centric Mask Transformer for Panoptic Segmentation
University of Ljubljana（卢布尔雅那大学）
PanSR 是一种以对象为中心的掩码 Transformer，通过改进查询生成与监督，缓解实例合并、增强小物体检测，在 LaRS 基准上提升 PQ 3.4，达到 Cityscapes 最先进水平。
2024-12-13 cs.CV
Fast Point Transformer
POSTECH GSAI & CSE（浦项科技大学研究生院人工智能系与计算机科学与工程系）
最近神经网络的成功使得能够更好地解释3D点云，但处理大规模3D场景仍然是一个具有挑战性的问题。目前大多数方法将大规模场景划分为小区域，并将局部预测组合在一起。然而，该方案不可避免地涉及额外的预处理和后处理阶段，并且由于局部视角的预测，也可能降低最终输出。本文介绍了Fast Point Transformer，它由一个新的轻量级自关注层组成。我们的方法对连续的3D坐标进行编码，基于体素散列的架构提高了计算效率。通过三维语义分割和三维检测验证了该方法的有效性。我们的方法的准确性与最好的基于体素的方法相比具有竞争力，我们的网络的推理时间比最先进的Point Transformer快129倍，并且在S3DIS数据集上的3D语义分割中具有合理的准确性。
2022-04-04 cs.CV
ASSET: Autoregressive Semantic Scene Editing with Transformers at High Resolutions
UMass Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
我们提出了ASSET，神经架构自动修改输入的高分辨率图像根据用户的编辑其语义分割地图。我们的架构是基于一个Transformer与一个新的注意力机制。我们的关键思想是稀疏的Transformer的注意力矩阵在高分辨率下，在较低的图像分辨率提取的密集的注意力的指导下。虽然以前的注意力机制在处理高分辨率图像时计算成本太高，或者在特定图像区域内受到过度约束，从而阻碍了长距离交互，但我们的新颖注意力机制在计算上高效且有效。我们的稀疏注意力机制能够捕捉远程交互和上下文，从而合成场景中有趣的现象，例如将景观反射到与景观其余部分一致的水或植物上，这些都是以前的convnets和Transformer方法无法可靠生成的。我们提出了定性和定量的结果，以及用户研究，证明了我们的方法的有效性。
2022-05-24 cs.CV cs.GR
Efficient Multi-Task Scene Analysis with RGB-D Transformers
Ilmenau University of Technology, Neuroinformatics（伊门瑙技术大学，神经信息学）；Cognitive Robotics Lab（认知机器人实验室）
本文提出EMSAFormer，一种基于RGB-D变换器的高效多任务场景分析方法，通过单编码器整合RGB和深度数据，实现全景分割、实例方向估计和场景分类，达到最先进的性能并支持高速推理。
2026-01-01 cs.CV cs.RO
DiffPixelFormer: Differential Pixel-Aware Transformer for RGB-D Indoor Scene Segmentation
State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）；Institute for Infocomm Research, A*STAR（信息通信研究机构，A*STAR）；College of Information Science and Electronic Engineering, Zhejiang University（信息科学与电子工程学院，浙江大学）
针对现有RGB-D室内语义分割方法计算成本高、跨模态特征对齐不足的问题，本文提出DiffPixelFormer模型，通过IIMIB模块与动态融合策略实现精准跨模态对齐，在两个基准数据集上取得了优于对比方法的分割精度。
2025-11-17 cs.CV cs.RO
Surg-SegFormer: A Dual Transformer-Based Model for Holistic Surgical Scene Segmentation
Department of Surgery, Hamad Medical Corporation（哈马德医疗集团外科部）；College of Engineering, Qatar University（卡塔尔大学工程学院）
本文提出无需提示的双Transformer模型Surg-SegFormer，用于机器人辅助手术整体场景分割，在EndoVis2018和EndoVis2017上分别取得0.80和0.54的mIoU，减轻专家教学负担并提升住院医师对复杂手术环境的独立理解能力。
2025-07-06 cs.AI cs.CV eess.IV
SceneFormer: Indoor Scene Generation with Transformers
Technical University of Munich（慕尼黑工业大学）
我们解决室内场景生成的任务，通过生成一系列的对象，以及他们的位置和方向的房间布局的条件。大规模的室内场景数据集允许我们从用户设计的室内场景中提取模式，并基于这些模式生成新的场景。现有的方法依赖于这些场景的2D或3D外观，除了对象的位置，并假设对象之间的可能关系。相比之下，我们不使用任何外观信息，并隐式学习对象关系使用Transformers的自我注意力机制。我们表明，我们的模型设计导致更快的场景生成与以前的方法相比，具有类似或改进的现实主义水平。我们的方法也很灵活，因为它不仅可以根据房间布局，而且可以根据房间的文本描述，只使用Transformers的交叉注意力机制。我们的用户研究表明，我们生成的场景在卧室和客厅场景中分别有53.9%和56.7%的时间比最先进的FastSynth场景更受欢迎。同时，我们平均在1.48秒内生成一个场景，比FastSynth快20%。
2021-04-02 cs.CV
Learning Multi-Scene Absolute Pose Regression with Transformers
Bar-Ilan University（巴伊兰大学）
绝对相机姿态回归器仅从捕获的图像估计相机的位置和取向。通常，具有多层感知器头的卷积骨干用图像和姿势标签进行训练，以一次嵌入单个参考场景。最近，该方案被扩展为通过用一组完全连接的层替换MLP头来学习多个场景。在这项工作中，我们建议学习多场景绝对相机姿态回归与Transformers，其中编码器用于聚合激活地图与自我注意和解码器转换潜在的功能和场景编码到候选姿势预测。这种机制允许我们的模型专注于为本地化提供信息的一般特征，同时并行嵌入多个场景。我们评估我们的方法对常见的基准室内和室外数据集，并表明它超越了多场景和最先进的单场景绝对姿态回归。我们在https://github.com/yolish/multi-scene-pose-transformer上公开发布我们的代码。
2021-07-26 cs.CV
Scenes and Surroundings: Scene Graph Generation using Relation Transformer
Ludwig Maximilian University of Munich（慕尼黑大学）；Fraunhofer IKS（弗劳恩霍夫智能感知与认知系统研究所）；Siemens AG（西门子股份公司）
将图像中的对象及其相互关系识别为场景图可以深入理解图像内容。尽管最近在深度学习方面取得了进展，但视觉对象关系的检测和标记仍然是一项具有挑战性的任务。这项工作提出了一种新的本地上下文感知架构命名为关系Transformer，它利用复杂的全局对象到对象和对象到边缘（关系）的相互作用。我们的分层多头注意力为基础的方法有效地捕捉对象之间的上下文依赖关系，并预测它们的关系。与最先进的方法相比，我们在Visual Genome数据集上的所有场景图生成任务中实现了总体平均\textbf{4.85\%}改进和新的基准。
2021-07-12 cs.CV
Aggregated Text Transformer for Scene Text Detection
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Videt Lab（维德实验室）
本文提出Aggregated Text TRansformer（ATTR），通过多尺度自注意力机制聚合图像金字塔特征，将文本实例表示为二值掩码，有效提升了自然图像中场景文本检测的性能。
2024-06-04 cs.CV
Spatial-Channel Transformer Network for Trajectory Prediction on the Traffic Scenes
Southeast University（东南大学）
预测周围智能体的运动对于自动驾驶战术路径规划的实际应用至关重要。由于智能体之间复杂的时间依赖性和社会交互性，在线轨迹预测是一项具有挑战性的任务。随着近年来注意力机制研究的深入，Transformer模型首先应用于自然语言序列处理，然后应用于图像处理。在本文中，我们提出了一种用于具有注意力功能的轨迹预测的空间通道Transformer网络。我们采用Transformer模型来捕获Agent的时空特征，而不是RNN模型。一个通道明智的模块被插入到测量代理之间的社会互动。我们发现，空间通道Transformer网络在交通场景的真实世界轨迹预测数据集上取得了可喜的成果。
2021-02-05 cs.CV
Masked Vision-Language Transformers for Scene Text Recognition
Westone Information Industry INC.（卫士通信息产业股份有限公司）
场景文本识别（STR）使计算机能够识别和阅读各种真实世界场景中的文本。最近的STR模型受益于考虑语言信息，除了视觉线索。我们提出了一种新的掩蔽视觉语言Transformers（MVLT）捕捉显式和隐式的语言信息。我们的编码器是一个视觉Transformer，我们的解码器是一个多模态Transformer。MVLT的训练分为两个阶段：在第一阶段，我们设计了一个基于掩蔽策略的STR定制预训练方法;在第二阶段，我们微调我们的模型，并采用迭代校正方法来提高性能。MVLT在几个基准测试中获得了优于最先进STR模型的结果。我们的代码和模型可以在https://github.com/onealwj/MVLT上找到。
2022-11-09 cs.CV
TBN-ViT: Temporal Bilateral Network with Vision Transformer for Video Scene Parsing
Ant Group（蚂蚁集团）
随着自动驾驶技术的飞速发展，野外环境下的视频场景解析是一个具有挑战性和重要意义的课题。数据集Video Scene Parsing in the Wild（VSPW）包含修剪良好的长时间，密集注释和高分辨率剪辑。在VSPW的基础上，设计了一个带有视觉Transformer的时间双边网络.我们首先设计了一个空间路径与卷积生成低级别的功能，可以保持空间信息。同时，采用具有视觉Transformer的上下文路径来获得足够的上下文信息。此外，一个时间上下文模块被设计来利用帧间上下文信息。最后，所提出的方法可以实现49.85\%的平均交集超过并集（mIoU）的VSPW2021挑战测试数据集。
2021-12-02 cs.CV
3D Scene Reconstruction with Multi-layer Depth and Epipolar Transformers
University of California, Irvine（加州大学欧文分校）；Georgia Institute of Technology（佐治亚理工学院）
我们解决了从单个RGB图像自动重建场景的完整3D模型的问题。这项具有挑战性的任务需要推断可见和被遮挡表面的形状。我们的方法利用以观众为中心，多层表示的场景几何适应最近的方法，单个对象的形状完成。为了提高复杂场景的以视图为中心的表示的准确性，我们引入了一种新的“对极特征Transformer”，该特征将卷积网络特征从输入视图转移到其他虚拟相机视点，从而更好地覆盖3D场景几何。与现有方法不同，现有方法首先在3D中检测和定位对象，然后使用特定类别的模型推断对象形状，我们的方法是完全卷积的，端到端可区分的，并且避免了体素表示的分辨率和内存限制。我们展示了多层深度表示和核线特征Transformers在重建大型室内场景数据库上的优势。
2019-08-27 cs.CV
Pure Transformer with Integrated Experts for Scene Text Recognition
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
场景文本识别（STR）涉及读取自然场景的裁剪图像中的文本的任务。STR中的常规模型在编码器-解码器框架中采用卷积神经网络（CNN），然后是递归神经网络。近年来，Transformer架构在STR中被广泛采用，因为它在捕获长期依赖性方面表现出很强的能力，这在场景文本图像中显得很突出。许多研究人员将Transformer用作混合CNN-Transformer编码器的一部分，通常后面是Transformer解码器。然而，这样的方法仅在编码过程的中途利用长期依赖性。虽然视觉Transformer（ViT）是能够捕获这种依赖在早期阶段，其利用率仍然在很大程度上未被利用的STR。这项工作提出了使用一个变压器的唯一模型作为一个简单的基线，优于混合CNN变压器模型。此外，还确定了两个需要改进的关键领域。首先，第一解码字符具有最低的预测精度。其次，不同原始长宽比的图像对补丁分辨率的反应不同，而ViT只采用一个固定的补丁分辨率。为了探索这些领域，提出了具有集成专家的纯Transformer（PTIE）。PTIE是一个Transformer模型，可以处理多个补丁分辨率，并以原始和反向字符顺序进行解码。它在7个常用的基准上进行了检查，并与20多种最先进的方法进行了比较。实验结果表明，该方法优于他们，并在大多数基准测试中获得了最先进的结果。
2022-11-09 cs.CV
SceneGTMM: A Conformal Mapping-based Scene-Aware Transferable GNN-Transformer Dual-Graph Interaction Framework for Map Matching
本文提出SceneGTMM框架，通过保角映射场景策略、双图交互架构与CRF增强预测，提升地图匹配的噪声鲁棒性、跨区域迁移性与可解释性，在多源及跨城轨迹匹配中表现优于基线方法。
2026-08-21 cs.CV
SG-Shuffle: Multi-aspect Shuffle Transformer for Scene Graph Generation
The University of Sydney（悉尼大学）
场景图生成（SGG）为人类理解以及视觉理解任务提供了图像的全面表示。由于在可用的注释数据中的对象和谓词标签的长尾偏置问题，从当前方法生成的场景图可能偏向于常见的、非信息性的关系标签。关系有时可能是非互斥的，可以从几何关系或语义关系等多个角度进行描述，这使得预测最合适的关系标签更具挑战性。在这项工作中，我们提出了用于场景图生成的SG-Shuffle流水线，它有3个组件：1）并行Transformer编码器，它通过将关系标签分组到具有相似目的的组中来学习以更排他性的方式预测对象关系; 2）Shuffle Transformer，它学习从上一步生成的类别特定特征中选择最终的关系标签; 3）加权的CE损失，用于减轻由不平衡数据集引起的训练偏差。
2022-11-09 cs.CV
DEHRFormer: Real-time Transformer for Depth Estimation and Haze Removal from Varicolored Haze Scenes
Southwest University（西南大学）；Jimei University（集美大学）；Xinjiang University（新疆大学）
由彩色投射引起的杂色雾造成雾去除和深度估计的挑战。目前基于学习的深度估计方法主要针对首先去雾然后从无雾场景估计深度。这样，彩色薄雾和场景深度之间的内在联系就丢失了。在本文中，我们提出了一个实时的【形】Transformer同时单图像深度估计和烟雾消除（DEHRFormer）。DEHRFormer由一个编码器和两个特定于任务的解码器组成。具有可学习查询的Transformer解码器被设计为从任务不可知的编码器解码耦合特征，并将它们分别投影到干净的图像和深度图中。此外，我们引入了一种新的学习范式，利用对比学习和域一致性学习来解决现实世界去雾的弱泛化问题，同时从具有多色雾的相同场景预测相同的深度图。实验表明，DEHRFormer实现了显着的性能改善，在不同的杂色雾场景比以前的深度估计网络和去雾方法。
2023-03-13 cs.CV
Scene-aware Human Pose Generation using Transformer
Shanghai Jiao Tong University（上海交通大学）
本文提出基于Transformer的场景感知人体姿态生成方法，将查询嵌入与姿态模板关联并预测其尺度和偏移量，结合知识蒸馏优化学习，在Sitcom数据集上验证了有效性。
2023-08-04 cs.CV
SceneGlue: Scene-Aware Transformer for Feature Matching without Scene-Level Annotation
School of Automation, Southeast University（东南大学自动化学院）；Shenzhen Research Institute of Southeast University（东南大学深圳研究院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生学校）
SceneGlue通过引入隐式并行注意力和显式跨视图可见性估计，提升特征匹配的场景感知能力，无需场景级标注即可提高准确性和鲁棒性。
2026-04-15 cs.CV
SPAN: Learning Similarity between Scene Graphs and Images with Transformers
Institute of Information Processing, Leibniz University Hannover（汉诺威莱布尼茨大学信息处理研究所）
针对现有场景图生成评估指标的缺陷，该研究首次提出场景图-图像对比学习框架SPAN，通过图序列化技术结合Transformer实现跨模态对齐，并提出新评估指标与基准，验证了框架的有效性。
2024-05-20 cs.CV
Scene Text Recognition via Transformer
任意形状的场景文本识别是非常具有挑战性的，由于文本的形状，字体，颜色，背景等大的变化，大多数国家的最先进的算法纠正输入图像到归一化的图像，然后把识别作为一个序列预测任务。这类方法的瓶颈是校正，这将导致错误，由于失真的角度。在本文中，我们发现纠正是完全不必要的。我们所需要的是空间的注意力。因此，我们提出了一个简单但非常有效的场景文本识别方法的基础上Transformer [50]。与先前的基于Transformer的模型[56，34]不同，该模型仅使用Transformer的解码器来解码卷积注意力，所提出的方法使用卷积特征图作为到Transformer中的词嵌入输入。通过这种方式，我们的方法能够充分利用Transformer强大的注意力机制。大量的实验结果表明，所提出的方法显着优于国家的最先进的方法在规则和不规则文本数据集上的一个非常大的保证金。在最具挑战性的CUTE数据集之一，其最先进的预测准确率为89.6%，我们的方法达到了99.3%，这是一个非常令人惊讶的结果。我们将公布我们的源代码，并相信我们的方法将是一个新的基准的场景文本识别与任意形状。
2020-04-29 cs.CV
Surgical Scene Segmentation by Transformer With Asymmetric Feature Enhancement
UM-SJTU Joint Institute（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
针对手术场景分割中patch内信息融合不足和解剖结构、器械特征未被专门建模的问题，提出带有非对称特征增强模块TAFE的Transformer框架，通过多尺度交互注意力融合局部增强特征与编码器嵌入，在多个手术分割任务上超越SOTA并提升细粒度结构识别能力。
2024-10-23 cs.CV
IRISformer: Dense Vision Transformers for Single-Image Inverse Rendering in Indoor Scenes
UC San Diego（加州大学圣地亚哥分校）；Qualcomm AI Research（高通人工智能研究院）
由于任意不同的物体形状、空间变化的材料和复杂的照明之间的无数相互作用，室内场景表现出显着的外观变化。由可见和不可见光源引起的阴影、高光和相互反射需要推理出逆向渲染的远程交互，逆向渲染试图恢复图像形成的组成部分，即形状、材质和照明。在这项工作中，我们的直觉是，Transformer架构学习的长距离注意力非常适合解决单图像逆渲染中的长期挑战。我们演示了一个具体的实例化的密集的视觉Transformer，IRISformer，擅长在单任务和多任务推理所需的逆渲染。具体来说，我们提出了一个Transformer架构，同时估计深度，法线，空间变化的亮度，粗糙度和照明从一个单一的图像的室内场景。我们对基准数据集的广泛评估展示了上述每个任务的最新结果，使对象插入和材料编辑等应用程序能够在单个不受约束的真实图像中实现，比以前的作品具有更高的照片真实感。代码和数据在https://github.com/ViLab-UCSD/IRISformer上公开发布。
2022-06-16 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司）
语义信息建模有助于场景文本识别。在这项工作中，我们提出了一个视觉语义Transformer（VST）的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后，语义信息与视觉特征图（被视为序列）相结合，以形成结合视觉和语义信息的伪多域序列，该序列随后被馈送到基于变换器的交互模块中，以使得能够学习视觉和语义特征之间的交互。通过这种方式，可以通过语义信息增强视觉特征，反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后，解码的视觉特征和增强的语义特征由第三Transformer模块联合处理，获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性，在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
AdaSFormer: Adaptive Serialized Transformers for Monocular Semantic Scene Completion from Indoor Environments
Tianjin Normal University（天津师范大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出AdaSFormer，一种专为室内单目语义场景补全设计的串行变压器框架，通过自适应串行变压器、中心相对位置编码和卷积调制层归一化等设计，实现更高效的语义场景补全。
2026-03-26 cs.CV
PromptonomyViT: Multi-Task Prompt Learning Improves Video Transformers using Synthetic Scene Data
Tel-Aviv University（特拉维夫大学）；Reichman University（赖希曼大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UC Berkeley（加州大学伯克利分校）
本文提出 PromptonomyViT（PViT），通过多任务提示学习将合成场景数据中的物体、关系和三维结构等信息注入视频 Transformer，从而提升多个真实视频理解任务的性能。
2023-12-05 cs.CV
Spatial-Temporal Transformer for Dynamic Scene Graph Generation
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Twente（特文特大学）
动态场景图生成的目的是生成给定视频的场景图。与从图像生成场景图的任务相比，它更具挑战性，因为对象之间的动态关系和帧之间的时间依赖性允许更丰富的语义解释。在本文中，我们提出了时空Transformer（STTran），一个神经网络，它由两个核心模块组成：（1）一个空间编码器，它需要一个输入帧来提取空间上下文和原因的视觉关系的帧内，和（2）一个时间解码器，它需要的空间编码器的输出作为输入，以捕捉帧之间的时间依赖性，并推断动态关系。此外，STTran可以灵活地将不同长度的视频作为输入而无需剪切，这对于长视频尤其重要。我们的方法在基准数据集Action Genome（AG）上进行了验证。实验结果表明，我们的方法在动态场景图方面的优越性能。此外，进行了一组烧蚀研究，并证明了每个模块的效果。代码可在：https://github.com/yrcong/STTran获得。
2021-08-08 cs.CV
FastTextSpotter: A High-Efficiency Transformer for Multilingual Scene Text Spotting
Indian Statistical Institute（印度统计研究所）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出FastTextSpotter框架，通过结合Swin Transformer骨干网络与编码器-解码器架构，并引入更快的自注意力单元SAC2，在多语言场景文本检测与识别中同时提升了精度和效率。
2025-03-12 cs.CV
MiKASA: Multi-Key-Anchor & Scene-Aware Transformer for 3D Visual Grounding
DFKI（德国人工智能研究中心）；Augmented Vision（增强视觉（机构））
针对3D视觉定位中多锚点和视角依赖查询理解困难的问题，本文提出端到端MiKASA Transformer，通过场景感知编码器与多关键锚点技术提升准确率、空间理解和可解释性，并在Sr3D与Nr3D上取得最优结果。
2024-12-01 cs.CV
Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification
Computer Science Department, University of Texas at Tyler（德克萨斯理工大学计算机科学系）
本文比较了视觉Transformer和CNN在遥感土地利用场景分类中的性能，发现CNN在有限训练样本和局部纹理特征强的场景中表现稳健，而ViT在数据充足时能更好地捕捉全局空间关系，但计算成本更高。
2026-07-16 cs.CV
WcDT: World-centric Diffusion Transformer for Traffic Scene Generation
Cardiff University（卡迪夫大学）；University of Minnesota - Twin Cities（明尼苏达大学双城分校）；Mississippi State University（密西西比州立大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Toronto（多伦多大学）；University of Virginia（弗吉尼亚大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出世界中心扩散Transformer（WcDT），融合扩散模型与Transformer生成自动驾驶多模态轨迹，实验证明其在真实性与多样性上表现优越。
2025-03-10 cs.CV
InvPT: Inverted Pyramid Multi-task Transformer for Dense Scene Understanding
HKUST（香港科技大学）
多任务密集场景理解是一个蓬勃发展的研究领域，需要同时感知和推理的一系列相关的任务与像素明智的预测。由于大量使用卷积运算，大多数现有的作品在局部建模时遇到了严重的限制，而在全局空间位置和多任务环境中学习交互和推理对于这个问题至关重要。在本文中，我们提出了一种新的端到端的倒金字塔多任务Transformer（InvPT），在一个统一的框架中执行空间位置和多个任务的同时建模。据我们所知，这是第一个工作，探索设计一个Transformer结构的多任务密集预测场景理解。此外，广泛证明了更高的空间分辨率对于密集预测是非常有益的，而由于大空间尺寸的巨大复杂性，现有Transformers以更高的分辨率进行更深的处理是非常具有挑战性的。InvPT提出了一个高效的UP-Transformer模块，用于以逐渐增加的分辨率学习多任务特征交互，该模块还结合了有效的自注意力消息传递和多尺度特征聚合，以高分辨率生成特定于任务的预测。我们的方法分别在NYUD-v2和PASCAL-Context数据集上实现了卓越的多任务性能，并且显著优于以前的最先进技术。代码可在https://github.com/prismformore/InvPT上获得
2022-11-07 cs.CV
Towards Grouping in Large Scenes with Occlusion-aware Spatio-temporal Transformers
Tianjin University（天津大学）；Cardiff University（卡迪夫大学）；Tsinghua University（清华大学）
本文提出端到端框架GroupTransformer，通过遮挡编码器抑制严重遮挡人物块，并利用时空Transformer分层提取轨迹和融合人际特征，在大规模与小规模场景群体检测中显著超越现有方法。
2023-10-30 cs.CV
Transformer-based Image Generation from Scene Graphs
PeRCeiVe Lab（PeRCeiVe实验室）；University of Catania（卡塔尼亚大学）
图形结构的场景描述可以有效地用于生成模型，以控制生成的图像的组成。以前的方法是基于图卷积网络和对抗方法的组合，分别用于布局预测和图像生成。在这项工作中，我们展示了如何采用多头注意力来编码图形信息，以及在潜在空间中使用基于变换的模型来生成图像，可以提高采样数据的质量，而不需要采用具有训练稳定性方面的后续优势的对抗模型。具体地，所提出的方法完全基于Transformer架构，用于将场景图编码成中间对象布局并用于将这些布局解码成图像，通过由矢量量化的变分自编码器学习的较低维度空间。我们的方法相对于最先进的方法显示出更高的图像质量，并且同一场景图的多代之间具有更高程度的多样性。我们在三个公共数据集上评估了我们的方法：Visual Genome，COCO和CLEVR。我们在COCO和Visual Genome上分别获得了13.7和12.8的初始得分以及52.3和60.3的FID。我们对我们的贡献进行消融研究，以评估每个组件的影响。代码可在https://github.com/perceivelab/trf-sg2im上获得
2023-03-08 cs.CV
Scene Text Image Super-Resolution via Content Perceptual Loss and Criss-Cross Transformer Blocks
文本图像的超分辨率是提高文本图像可读性的一项独特而重要的任务。它被广泛应用于场景文本识别的预处理。然而，由于自然场景的复杂退化，从低分辨率输入中恢复高分辨率文本是模糊和具有挑战性的。现有的方法主要利用深度神经网络，这些神经网络经过针对自然图像重建而设计的像素级损失训练，忽略了文本的独特字符特征。一些作品提出了基于内容的损失。然而，他们只关注文本识别器的准确性，而重建的图像可能仍然是模糊的人类。此外，它们在处理跨语言时通常具有较弱的通用性。为此，我们提出了TATSR，一个文本感知的文本超分辨率框架，它有效地学习独特的文本特征，使用交叉Transformer块（CCTBs）和一种新的内容感知（CP）损失。CCTB通过两个正交Transformers分别从文本图像中提取垂直和水平内容信息。CP Loss通过多尺度文本识别特征来监督文本内容语义重构，有效地将内容感知融入框架。在各种语言数据集上进行的大量实验表明，TATSR在识别精度和人类感知方面都优于最先进的方法。
2022-10-13 cs.CV
Consistency driven Sequential Transformers Attention Model for Partially Observable Scenes
McGill University（麦吉尔大学）；Sunnybrook Research Institute（桑尼布鲁克研究所）；University of Toronto（多伦多大学）
大多数硬注意模型最初观察一个完整的场景，以定位和感知信息瞥见，并预测基于瞥见的场景的类别标签。然而，在许多应用中（例如，空中成像），但由于可用于获取的时间和资源有限，观察整个场景并不总是可行的。在本文中，我们开发了一个顺序的Transformers注意力模型（STAM），只有部分观察到一个完整的图像和预测信息的一瞥位置完全基于过去的一瞥。我们设计我们的代理使用DeiT-distilled和训练它与一步演员评论家算法。此外，为了提高分类性能，我们引入了一个新的训练目标，该目标强制教师模型从完整图像预测的类分布与我们的代理使用一瞥预测的类分布之间的一致性。当智能体只感知到总图像面积的4%时，在我们的训练目标中包含建议的一致性损失，在ImageNet和fMoW数据集上的准确率分别提高了3%和8%。此外，我们的智能体在ImageNet和fMoW上的一瞥中观察到的像素减少了近27%和42%，超过了以前的最先进水平。
2022-04-01 cs.CV
