Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers
Rutgers University（罗格斯大学）；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
给定一个输入视频，其相关的音频，和一个简短的标题，视听场景感知对话（AVSD）任务需要一个代理沉迷于一个问答对话与人类有关的视听内容。因此，这项任务提出了一个具有挑战性的多模态表示学习和推理的情况下，进步可能会影响几个人机交互应用。为了解决这个问题，我们引入了一个语义控制的多模态混洗Transformer推理框架，由一系列的Transformer模块组成，每个模块以一种模态作为输入，并根据输入问题产生表示。我们提出的Transformer变体在其多头输出上使用了洗牌方案，展示了更好的正则化。为了编码细粒度的视觉信息，我们提出了一种新的动态场景图表示学习管道，包括一个帧内推理层产生的空间语义图表示为每一帧，和帧间聚合模块捕捉时间线索。我们的整个管道都是端到端训练的。我们目前的实验基准AVSD数据集，无论是答案生成和选择任务。我们的研究结果证明了所有评估指标的最先进性能。
2021-03-02 cs.CL cs.CV
Shuffle Instances-based Vision Transformer for Pancreatic Cancer ROSE Image Classification
Peking Union Medical College Hospital（北京协和医院）；Sun Yat-sen University（中山大学）
快速现场评价（ROSE）技术通过对快速染色细胞病理学图像的快速分析，可显著提高胰腺癌的诊断速度。计算机辅助诊断（CAD）可以潜在地解决ROSE病理学家短缺的问题。然而，不同样本之间的癌症模式差异很大，这使得CAD任务极具挑战性。此外，由于不同的染色质量和各种采集设备类型，ROSE图像具有关于颜色分布、亮度和对比度的复杂扰动。为了解决这些问题，我们提出了一种基于混洗实例的Vision Transformer（SI-ViT）方法，该方法可以减少扰动并增强实例之间的建模。通过重新分组的shuffle实例包及其包级软标签，该方法利用回归头使模型专注于细胞而不是各种扰动。同时，结合分类头，该模型可以有效地识别不同实例之间的总体分布模式。结果表明，随着关注区域的更加准确，分类准确率得到了显着提高，表明ROSE图像的多样模式被有效提取，复杂的扰动显着减少。这也表明SI-ViT在分析细胞病理学图像方面具有很好的潜力。代码和实验结果可在https://github.com/sagizty/MIL-SI上获得。
2022-08-14 cs.CV eess.IV
SceneFormer: Indoor Scene Generation with Transformers
Technical University of Munich（慕尼黑工业大学）
我们解决室内场景生成的任务，通过生成一系列的对象，以及他们的位置和方向的房间布局的条件。大规模的室内场景数据集允许我们从用户设计的室内场景中提取模式，并基于这些模式生成新的场景。现有的方法依赖于这些场景的2D或3D外观，除了对象的位置，并假设对象之间的可能关系。相比之下，我们不使用任何外观信息，并隐式学习对象关系使用Transformers的自我注意力机制。我们表明，我们的模型设计导致更快的场景生成与以前的方法相比，具有类似或改进的现实主义水平。我们的方法也很灵活，因为它不仅可以根据房间布局，而且可以根据房间的文本描述，只使用Transformers的交叉注意力机制。我们的用户研究表明，我们生成的场景在卧室和客厅场景中分别有53.9%和56.7%的时间比最先进的FastSynth场景更受欢迎。同时，我们平均在1.48秒内生成一个场景，比FastSynth快20%。
2021-04-02 cs.CV
Learning Multi-Scene Absolute Pose Regression with Transformers
Bar-Ilan University（巴伊兰大学）
绝对相机姿态回归器仅从捕获的图像估计相机的位置和取向。通常，具有多层感知器头的卷积骨干用图像和姿势标签进行训练，以一次嵌入单个参考场景。最近，该方案被扩展为通过用一组完全连接的层替换MLP头来学习多个场景。在这项工作中，我们建议学习多场景绝对相机姿态回归与Transformers，其中编码器用于聚合激活地图与自我注意和解码器转换潜在的功能和场景编码到候选姿势预测。这种机制允许我们的模型专注于为本地化提供信息的一般特征，同时并行嵌入多个场景。我们评估我们的方法对常见的基准室内和室外数据集，并表明它超越了多场景和最先进的单场景绝对姿态回归。我们在https://github.com/yolish/multi-scene-pose-transformer上公开发布我们的代码。
2021-07-26 cs.CV
Scenes and Surroundings: Scene Graph Generation using Relation Transformer
Ludwig Maximilian University of Munich（慕尼黑大学）；Fraunhofer IKS（弗劳恩霍夫智能感知与认知系统研究所）；Siemens AG（西门子股份公司）
将图像中的对象及其相互关系识别为场景图可以深入理解图像内容。尽管最近在深度学习方面取得了进展，但视觉对象关系的检测和标记仍然是一项具有挑战性的任务。这项工作提出了一种新的本地上下文感知架构命名为关系Transformer，它利用复杂的全局对象到对象和对象到边缘（关系）的相互作用。我们的分层多头注意力为基础的方法有效地捕捉对象之间的上下文依赖关系，并预测它们的关系。与最先进的方法相比，我们在Visual Genome数据集上的所有场景图生成任务中实现了总体平均\textbf{4.85\%}改进和新的基准。
2021-07-12 cs.CV
Iterative Scene Graph Generation with Generative Transformers
Oklahoma State University（俄克拉荷马州立大学）
场景图通过以图形格式对实体（对象）及其空间关系进行编码来提供场景的丰富的结构化表示。这种表示已被证明在几个任务中是有用的，例如问答、字幕，甚至目标检测，仅举几例。当前的方法采用分类生成方法，其中场景图是通过标记场景中对象之间的所有可能边缘来生成的，这增加了该方法的计算开销。这项工作介绍了一种基于生成变换的方法来生成场景图超越链接预测。使用两个基于transformer的组件，我们首先从检测到的对象及其视觉特征中采样一个可能的场景图结构。然后，我们对采样的边缘进行谓词分类，以生成最终的场景图。这种方法使我们能够有效地生成场景图的图像与最小的推理开销。在Visual Genome数据集上的大量实验证明了该方法的有效性。在没有花里胡哨的情况下，我们在场景图生成（SGG）的不同设置中平均获得了20.7%的平均召回率（mR@100），优于最先进的SGG方法，同时为无偏见的SGG方法提供了有竞争力的性能。
2022-11-30 cs.CV
Aggregated Text Transformer for Scene Text Detection
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Videt Lab（维德实验室）
本文提出Aggregated Text TRansformer（ATTR），通过多尺度自注意力机制聚合图像金字塔特征，将文本实例表示为二值掩码，有效提升了自然图像中场景文本检测的性能。
2024-06-04 cs.CV
Spatial-Channel Transformer Network for Trajectory Prediction on the Traffic Scenes
Southeast University（东南大学）
预测周围智能体的运动对于自动驾驶战术路径规划的实际应用至关重要。由于智能体之间复杂的时间依赖性和社会交互性，在线轨迹预测是一项具有挑战性的任务。随着近年来注意力机制研究的深入，Transformer模型首先应用于自然语言序列处理，然后应用于图像处理。在本文中，我们提出了一种用于具有注意力功能的轨迹预测的空间通道Transformer网络。我们采用Transformer模型来捕获Agent的时空特征，而不是RNN模型。一个通道明智的模块被插入到测量代理之间的社会互动。我们发现，空间通道Transformer网络在交通场景的真实世界轨迹预测数据集上取得了可喜的成果。
2021-02-05 cs.CV
Masked Vision-Language Transformers for Scene Text Recognition
Westone Information Industry INC.（卫士通信息产业股份有限公司）
场景文本识别（STR）使计算机能够识别和阅读各种真实世界场景中的文本。最近的STR模型受益于考虑语言信息，除了视觉线索。我们提出了一种新的掩蔽视觉语言Transformers（MVLT）捕捉显式和隐式的语言信息。我们的编码器是一个视觉Transformer，我们的解码器是一个多模态Transformer。MVLT的训练分为两个阶段：在第一阶段，我们设计了一个基于掩蔽策略的STR定制预训练方法;在第二阶段，我们微调我们的模型，并采用迭代校正方法来提高性能。MVLT在几个基准测试中获得了优于最先进STR模型的结果。我们的代码和模型可以在https://github.com/onealwj/MVLT上找到。
2022-11-09 cs.CV
TBN-ViT: Temporal Bilateral Network with Vision Transformer for Video Scene Parsing
Ant Group（蚂蚁集团）
随着自动驾驶技术的飞速发展，野外环境下的视频场景解析是一个具有挑战性和重要意义的课题。数据集Video Scene Parsing in the Wild（VSPW）包含修剪良好的长时间，密集注释和高分辨率剪辑。在VSPW的基础上，设计了一个带有视觉Transformer的时间双边网络.我们首先设计了一个空间路径与卷积生成低级别的功能，可以保持空间信息。同时，采用具有视觉Transformer的上下文路径来获得足够的上下文信息。此外，一个时间上下文模块被设计来利用帧间上下文信息。最后，所提出的方法可以实现49.85\%的平均交集超过并集（mIoU）的VSPW2021挑战测试数据集。
2021-12-02 cs.CV
3D Scene Reconstruction with Multi-layer Depth and Epipolar Transformers
University of California, Irvine（加州大学欧文分校）；Georgia Institute of Technology（佐治亚理工学院）
我们解决了从单个RGB图像自动重建场景的完整3D模型的问题。这项具有挑战性的任务需要推断可见和被遮挡表面的形状。我们的方法利用以观众为中心，多层表示的场景几何适应最近的方法，单个对象的形状完成。为了提高复杂场景的以视图为中心的表示的准确性，我们引入了一种新的“对极特征Transformer”，该特征将卷积网络特征从输入视图转移到其他虚拟相机视点，从而更好地覆盖3D场景几何。与现有方法不同，现有方法首先在3D中检测和定位对象，然后使用特定类别的模型推断对象形状，我们的方法是完全卷积的，端到端可区分的，并且避免了体素表示的分辨率和内存限制。我们展示了多层深度表示和核线特征Transformers在重建大型室内场景数据库上的优势。
2019-08-27 cs.CV
TSP-Transformer: Task-Specific Prompts Boosted Transformer for Holistic Scene Understanding
ShanghaiTech University（上海科技大学）；Xiaohongshu Inc.（小红书公司）；National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；Shanghai Engineering Research Center of Energy Efficient and Custom AI IC（上海节能与定制AI芯片工程技术研究中心）
针对整体场景理解多子任务需兼顾共性与特性表征的问题，提出TSP-Transformer，通过引入任务特定提示实现通用与任务特定信息的融合学习，在NYUD-v2和PASCAL-Context上达到SOTA性能。
2023-11-06 cs.CV
Pure Transformer with Integrated Experts for Scene Text Recognition
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
场景文本识别（STR）涉及读取自然场景的裁剪图像中的文本的任务。STR中的常规模型在编码器-解码器框架中采用卷积神经网络（CNN），然后是递归神经网络。近年来，Transformer架构在STR中被广泛采用，因为它在捕获长期依赖性方面表现出很强的能力，这在场景文本图像中显得很突出。许多研究人员将Transformer用作混合CNN-Transformer编码器的一部分，通常后面是Transformer解码器。然而，这样的方法仅在编码过程的中途利用长期依赖性。虽然视觉Transformer（ViT）是能够捕获这种依赖在早期阶段，其利用率仍然在很大程度上未被利用的STR。这项工作提出了使用一个变压器的唯一模型作为一个简单的基线，优于混合CNN变压器模型。此外，还确定了两个需要改进的关键领域。首先，第一解码字符具有最低的预测精度。其次，不同原始长宽比的图像对补丁分辨率的反应不同，而ViT只采用一个固定的补丁分辨率。为了探索这些领域，提出了具有集成专家的纯Transformer（PTIE）。PTIE是一个Transformer模型，可以处理多个补丁分辨率，并以原始和反向字符顺序进行解码。它在7个常用的基准上进行了检查，并与20多种最先进的方法进行了比较。实验结果表明，该方法优于他们，并在大多数基准测试中获得了最先进的结果。
2022-11-09 cs.CV
SceneGTMM: A Conformal Mapping-based Scene-Aware Transferable GNN-Transformer Dual-Graph Interaction Framework for Map Matching
本文提出SceneGTMM框架，通过保角映射场景策略、双图交互架构与CRF增强预测，提升地图匹配的噪声鲁棒性、跨区域迁移性与可解释性，在多源及跨城轨迹匹配中表现优于基线方法。
2026-08-21 cs.CV
DEHRFormer: Real-time Transformer for Depth Estimation and Haze Removal from Varicolored Haze Scenes
Southwest University（西南大学）；Jimei University（集美大学）；Xinjiang University（新疆大学）
由彩色投射引起的杂色雾造成雾去除和深度估计的挑战。目前基于学习的深度估计方法主要针对首先去雾然后从无雾场景估计深度。这样，彩色薄雾和场景深度之间的内在联系就丢失了。在本文中，我们提出了一个实时的【形】Transformer同时单图像深度估计和烟雾消除（DEHRFormer）。DEHRFormer由一个编码器和两个特定于任务的解码器组成。具有可学习查询的Transformer解码器被设计为从任务不可知的编码器解码耦合特征，并将它们分别投影到干净的图像和深度图中。此外，我们引入了一种新的学习范式，利用对比学习和域一致性学习来解决现实世界去雾的弱泛化问题，同时从具有多色雾的相同场景预测相同的深度图。实验表明，DEHRFormer实现了显着的性能改善，在不同的杂色雾场景比以前的深度估计网络和去雾方法。
2023-03-13 cs.CV
Scene-aware Human Pose Generation using Transformer
Shanghai Jiao Tong University（上海交通大学）
本文提出基于Transformer的场景感知人体姿态生成方法，将查询嵌入与姿态模板关联并预测其尺度和偏移量，结合知识蒸馏优化学习，在Sitcom数据集上验证了有效性。
2023-08-04 cs.CV
Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models
Northeastern University（东北大学）；Meta GenAI（Meta 生成人工智能）；Meta FAIR；National University of Singapore（国立新加坡大学）；The Chinese University of Hong Kong（香港中文大学）；University of Washington（华盛顿大学）
提出Token-Shuffle方法，通过合并空间局部token减少Transformer中的图像token数量，使多模态大语言模型无需额外文本编码器即可高效生成2048x2048高分辨率图像，并在GenAI-benchmark上优于LlamaGen和LDM。
2025-04-27 cs.CV
Volume Transformer: Revisiting Vanilla Transformers for 3D Scene Understanding
RWTH Aachen University（亚琛RWTH大学）；Eindhoven University of Technology（埃因霍温技术大学）
本文提出体积分层变换器（Volt），通过最小修改将标准变换器编码器应用于3D场景，利用体积分块和全全局自注意力机制，结合3D旋转位置嵌入，实现3D语义分割，并通过多数据集联合训练提升性能，达到室内和室外数据集的最新水平。
2026-08-26 cs.CV
SceneGlue: Scene-Aware Transformer for Feature Matching without Scene-Level Annotation
School of Automation, Southeast University（东南大学自动化学院）；Shenzhen Research Institute of Southeast University（东南大学深圳研究院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生学校）
SceneGlue通过引入隐式并行注意力和显式跨视图可见性估计，提升特征匹配的场景感知能力，无需场景级标注即可提高准确性和鲁棒性。
2026-04-15 cs.CV
SPAN: Learning Similarity between Scene Graphs and Images with Transformers
Institute of Information Processing, Leibniz University Hannover（汉诺威莱布尼茨大学信息处理研究所）
针对现有场景图生成评估指标的缺陷，该研究首次提出场景图-图像对比学习框架SPAN，通过图序列化技术结合Transformer实现跨模态对齐，并提出新评估指标与基准，验证了框架的有效性。
2024-05-20 cs.CV
Scene Text Recognition via Transformer
任意形状的场景文本识别是非常具有挑战性的，由于文本的形状，字体，颜色，背景等大的变化，大多数国家的最先进的算法纠正输入图像到归一化的图像，然后把识别作为一个序列预测任务。这类方法的瓶颈是校正，这将导致错误，由于失真的角度。在本文中，我们发现纠正是完全不必要的。我们所需要的是空间的注意力。因此，我们提出了一个简单但非常有效的场景文本识别方法的基础上Transformer [50]。与先前的基于Transformer的模型[56，34]不同，该模型仅使用Transformer的解码器来解码卷积注意力，所提出的方法使用卷积特征图作为到Transformer中的词嵌入输入。通过这种方式，我们的方法能够充分利用Transformer强大的注意力机制。大量的实验结果表明，所提出的方法显着优于国家的最先进的方法在规则和不规则文本数据集上的一个非常大的保证金。在最具挑战性的CUTE数据集之一，其最先进的预测准确率为89.6%，我们的方法达到了99.3%，这是一个非常令人惊讶的结果。我们将公布我们的源代码，并相信我们的方法将是一个新的基准的场景文本识别与任意形状。
2020-04-29 cs.CV
Surgical Scene Segmentation by Transformer With Asymmetric Feature Enhancement
UM-SJTU Joint Institute（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
针对手术场景分割中patch内信息融合不足和解剖结构、器械特征未被专门建模的问题，提出带有非对称特征增强模块TAFE的Transformer框架，通过多尺度交互注意力融合局部增强特征与编码器嵌入，在多个手术分割任务上超越SOTA并提升细粒度结构识别能力。
2024-10-23 cs.CV
Scene Adaptive Sparse Transformer for Event-based Object Detection
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
针对事件相机目标检测中稀疏Transformer稀疏性和适应性不足的问题，本文提出场景自适应稀疏Transformer（SAST），通过窗口-token协同稀疏化和动态场景优化，在1Mpx和Gen1数据集上以更低计算成本超越了现有稠密与稀疏网络。
2024-04-02 cs.CV
Masked Jigsaw Puzzle: A Versatile Position Embedding for Vision Transformers
University of Pisa（比萨大学）；University of Trento（特伦托大学）；Tencent AI Lab（腾讯人工智能实验室）；Beijing Jiaotong University（北京交通大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
本文提出掩码拼图位置嵌入方法MJP，通过分块随机打乱并遮挡部分图像块的位置嵌入，同时用稠密绝对定位回归器强化未遮挡块的空间关系，在保持甚至提升ViTs准确率与鲁棒性的同时显著增强隐私保护能力。
2023-05-26 cs.CR cs.CV
PSFormer: Point Transformer for 3D Salient Object Detection
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Beijing Aerospace Intelligent Manufacturing Technology Development Co., Ltd（北京航天智能制造技术发展有限公司）；Hong Kong Metropolitan University（香港都会大学）
我们提出了PSFormer，一个有效的点Transformer模型的三维显着目标检测。PSFormer是一个编码器-解码器网络，它充分利用Transformers以多尺度点和场景方式对上下文信息进行建模。在编码器中，我们开发了一个点上下文Transformer（PCT）模块，在点的水平上捕获区域上下文特征; PCT包含两个不同的Transformers，挖掘点之间的关系。在解码器中，我们开发了一个场景上下文Transformer（SCT）模块，以学习场景级别的上下文表示; SCT包含上采样和Transformer块和多上下文聚合单元，以将来自编码器的全局语义和多级特征集成到全局场景上下文中。实验表明，PSFormer明显优于其竞争对手，并验证了PSFormer对小对象，多个对象和具有复杂结构的对象等具有挑战性的情况更具鲁棒性。
2022-10-28 cs.CV
IRISformer: Dense Vision Transformers for Single-Image Inverse Rendering in Indoor Scenes
UC San Diego（加州大学圣地亚哥分校）；Qualcomm AI Research（高通人工智能研究院）
由于任意不同的物体形状、空间变化的材料和复杂的照明之间的无数相互作用，室内场景表现出显着的外观变化。由可见和不可见光源引起的阴影、高光和相互反射需要推理出逆向渲染的远程交互，逆向渲染试图恢复图像形成的组成部分，即形状、材质和照明。在这项工作中，我们的直觉是，Transformer架构学习的长距离注意力非常适合解决单图像逆渲染中的长期挑战。我们演示了一个具体的实例化的密集的视觉Transformer，IRISformer，擅长在单任务和多任务推理所需的逆渲染。具体来说，我们提出了一个Transformer架构，同时估计深度，法线，空间变化的亮度，粗糙度和照明从一个单一的图像的室内场景。我们对基准数据集的广泛评估展示了上述每个任务的最新结果，使对象插入和材料编辑等应用程序能够在单个不受约束的真实图像中实现，比以前的作品具有更高的照片真实感。代码和数据在https://github.com/ViLab-UCSD/IRISformer上公开发布。
2022-06-16 cs.CV
Visual-Semantic Transformer for Scene Text Recognition
Ping An Property & Casualty Insurance Company（平安财产保险股份有限公司）
语义信息建模有助于场景文本识别。在这项工作中，我们提出了一个视觉语义Transformer（VST）的语义和视觉信息建模。VST首先明确地提取主要语义信息的视觉特征图与Transformer模块和主要的视觉语义对齐模块。然后，语义信息与视觉特征图（被视为序列）相结合，以形成结合视觉和语义信息的伪多域序列，该序列随后被馈送到基于变换器的交互模块中，以使得能够学习视觉和语义特征之间的交互。通过这种方式，可以通过语义信息增强视觉特征，反之亦然。增强版本的视觉特征进一步解码的第二视觉语义对齐模块与主要的一个共享的权重。最后，解码的视觉特征和增强的语义特征由第三Transformer模块联合处理，获得最终的文本预测。在包括规则/不规则文本识别数据集的七个公共基准测试上的实验验证了我们提出的模型的有效性，在七个基准测试中的四个上达到了最先进的水平。
2021-12-02 cs.CV
AdaSFormer: Adaptive Serialized Transformers for Monocular Semantic Scene Completion from Indoor Environments
Tianjin Normal University（天津师范大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出AdaSFormer，一种专为室内单目语义场景补全设计的串行变压器框架，通过自适应串行变压器、中心相对位置编码和卷积调制层归一化等设计，实现更高效的语义场景补全。
2026-03-26 cs.CV
PromptonomyViT: Multi-Task Prompt Learning Improves Video Transformers using Synthetic Scene Data
Tel-Aviv University（特拉维夫大学）；Reichman University（赖希曼大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UC Berkeley（加州大学伯克利分校）
本文提出 PromptonomyViT（PViT），通过多任务提示学习将合成场景数据中的物体、关系和三维结构等信息注入视频 Transformer，从而提升多个真实视频理解任务的性能。
2023-12-05 cs.CV
PanoContext-Former: Panoramic Total Scene Understanding with a Transformer
Alibaba Group（阿里巴巴集团）；Hong Kong University of Science and Technology（香港科技大学）
提出PanoContext-Former，利用深度先验和Transformer上下文模块从单张全景图联合恢复房间布局、物体边界框与形状，并构建真实数据集，实验表现优于现有方法。
2023-06-05 cs.CV
Spatial-Temporal Transformer for Dynamic Scene Graph Generation
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Twente（特文特大学）
动态场景图生成的目的是生成给定视频的场景图。与从图像生成场景图的任务相比，它更具挑战性，因为对象之间的动态关系和帧之间的时间依赖性允许更丰富的语义解释。在本文中，我们提出了时空Transformer（STTran），一个神经网络，它由两个核心模块组成：（1）一个空间编码器，它需要一个输入帧来提取空间上下文和原因的视觉关系的帧内，和（2）一个时间解码器，它需要的空间编码器的输出作为输入，以捕捉帧之间的时间依赖性，并推断动态关系。此外，STTran可以灵活地将不同长度的视频作为输入而无需剪切，这对于长视频尤其重要。我们的方法在基准数据集Action Genome（AG）上进行了验证。实验结果表明，我们的方法在动态场景图方面的优越性能。此外，进行了一组烧蚀研究，并证明了每个模块的效果。代码可在：https://github.com/yrcong/STTran获得。
2021-08-08 cs.CV
FastTextSpotter: A High-Efficiency Transformer for Multilingual Scene Text Spotting
Indian Statistical Institute（印度统计研究所）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出FastTextSpotter框架，通过结合Swin Transformer骨干网络与编码器-解码器架构，并引入更快的自注意力单元SAC2，在多语言场景文本检测与识别中同时提升了精度和效率。
2025-03-12 cs.CV
MiKASA: Multi-Key-Anchor & Scene-Aware Transformer for 3D Visual Grounding
DFKI（德国人工智能研究中心）；Augmented Vision（增强视觉（机构））
针对3D视觉定位中多锚点和视角依赖查询理解困难的问题，本文提出端到端MiKASA Transformer，通过场景感知编码器与多关键锚点技术提升准确率、空间理解和可解释性，并在Sr3D与Nr3D上取得最优结果。
2024-12-01 cs.CV
Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification
Computer Science Department, University of Texas at Tyler（德克萨斯理工大学计算机科学系）
本文比较了视觉Transformer和CNN在遥感土地利用场景分类中的性能，发现CNN在有限训练样本和局部纹理特征强的场景中表现稳健，而ViT在数据充足时能更好地捕捉全局空间关系，但计算成本更高。
2026-07-16 cs.CV
WcDT: World-centric Diffusion Transformer for Traffic Scene Generation
Cardiff University（卡迪夫大学）；University of Minnesota - Twin Cities（明尼苏达大学双城分校）；Mississippi State University（密西西比州立大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Toronto（多伦多大学）；University of Virginia（弗吉尼亚大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出世界中心扩散Transformer（WcDT），融合扩散模型与Transformer生成自动驾驶多模态轨迹，实验证明其在真实性与多样性上表现优越。
2025-03-10 cs.CV
InvPT: Inverted Pyramid Multi-task Transformer for Dense Scene Understanding
HKUST（香港科技大学）
多任务密集场景理解是一个蓬勃发展的研究领域，需要同时感知和推理的一系列相关的任务与像素明智的预测。由于大量使用卷积运算，大多数现有的作品在局部建模时遇到了严重的限制，而在全局空间位置和多任务环境中学习交互和推理对于这个问题至关重要。在本文中，我们提出了一种新的端到端的倒金字塔多任务Transformer（InvPT），在一个统一的框架中执行空间位置和多个任务的同时建模。据我们所知，这是第一个工作，探索设计一个Transformer结构的多任务密集预测场景理解。此外，广泛证明了更高的空间分辨率对于密集预测是非常有益的，而由于大空间尺寸的巨大复杂性，现有Transformers以更高的分辨率进行更深的处理是非常具有挑战性的。InvPT提出了一个高效的UP-Transformer模块，用于以逐渐增加的分辨率学习多任务特征交互，该模块还结合了有效的自注意力消息传递和多尺度特征聚合，以高分辨率生成特定于任务的预测。我们的方法分别在NYUD-v2和PASCAL-Context数据集上实现了卓越的多任务性能，并且显著优于以前的最先进技术。代码可在https://github.com/prismformore/InvPT上获得
2022-11-07 cs.CV
Towards Grouping in Large Scenes with Occlusion-aware Spatio-temporal Transformers
Tianjin University（天津大学）；Cardiff University（卡迪夫大学）；Tsinghua University（清华大学）
本文提出端到端框架GroupTransformer，通过遮挡编码器抑制严重遮挡人物块，并利用时空Transformer分层提取轨迹和融合人际特征，在大规模与小规模场景群体检测中显著超越现有方法。
2023-10-30 cs.CV
SOAT: A Scene- and Object-Aware Transformer for Vision-and-Language Navigation
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
用于视觉导航的自然语言指令通常使用场景描述（例如，“卧室”）和对象引用（例如，“绿色椅子”）以提供到目标位置的面包屑轨迹。这项工作提出了一种基于transformer的视觉和语言导航（VLN）代理，它使用两种不同的视觉编码器-场景分类网络和对象检测器-产生匹配这两种不同类型的视觉提示的功能。在我们的方法中，场景功能有助于高层次的上下文信息，支持对象级处理。通过这种设计，我们的模型能够使用视觉和语言预训练（即，从大规模Web数据中学习图像和文本之间的对齐），以大幅提高房间到房间（R2 R）和房间跨房间（RxR）基准测试的性能。具体而言，我们的方法导致R2 R上SPL的绝对改善1.8%，RxR上SR的绝对改善3.7%。我们的分析揭示了包含六个或更多对象引用的导航指令的更大收益，这进一步表明我们的方法能够更好地使用对象特征并将它们与指令中的引用对齐。
2021-10-27 cs.CV
Semantic Segmentation on VSPW Dataset through Aggregation of Transformer Models
Xiaomi Inc.（小米公司）
语义分割是计算机视觉中的一项重要任务，从中衍生出一些重要的使用场景，如自动驾驶、场景解析等，由于对视频语义分割任务的重视，我们参加了本次大赛。在这份报告中，我们简要介绍了“BetterThing”团队为ICCV 2021-视频场景解析野外挑战赛提供的解决方案。Transformer作为提取视频帧特征的主干，最终结果是SWIN和VOLO两个Transformer模型输出的聚合。该解决方案实现了57.3%的mIoU，在Wild Challenge视频场景解析中排名第三。
2021-09-03 cs.CV
Transformer-based Image Generation from Scene Graphs
PeRCeiVe Lab（PeRCeiVe实验室）；University of Catania（卡塔尼亚大学）
图形结构的场景描述可以有效地用于生成模型，以控制生成的图像的组成。以前的方法是基于图卷积网络和对抗方法的组合，分别用于布局预测和图像生成。在这项工作中，我们展示了如何采用多头注意力来编码图形信息，以及在潜在空间中使用基于变换的模型来生成图像，可以提高采样数据的质量，而不需要采用具有训练稳定性方面的后续优势的对抗模型。具体地，所提出的方法完全基于Transformer架构，用于将场景图编码成中间对象布局并用于将这些布局解码成图像，通过由矢量量化的变分自编码器学习的较低维度空间。我们的方法相对于最先进的方法显示出更高的图像质量，并且同一场景图的多代之间具有更高程度的多样性。我们在三个公共数据集上评估了我们的方法：Visual Genome，COCO和CLEVR。我们在COCO和Visual Genome上分别获得了13.7和12.8的初始得分以及52.3和60.3的FID。我们对我们的贡献进行消融研究，以评估每个组件的影响。代码可在https://github.com/perceivelab/trf-sg2im上获得
2023-03-08 cs.CV
HSCNet++: Hierarchical Scene Coordinate Classification and Regression for Visual Localization with Transformer
Aalto University（阿尔托大学）；CTU in Prague（捷克布拉格技术大学）
针对单图像RGB定位中直接回归像素-3D坐标映射难度大的问题，本文提出HSCNet的扩展方法HSCNet++，以由粗到精的分层方式预测像素场景坐标，可训练适配大型环境的紧凑模型，在多个基准数据集上取得单图像定位最优性能。
2023-05-05 cs.CV
Learning Content-enhanced Mask Transformer for Domain Generalized Urban-Scene Segmentation
University of Amsterdam（阿姆斯特丹大学）
针对域泛化城市场景语义分割，本文提出 CMFormer，通过融合多分辨率图像特征的内容增强型掩码注意力提升风格鲁棒性，mIoU 最高提升 14.00%。
2023-12-17 cs.CV
Scene Text Image Super-Resolution via Content Perceptual Loss and Criss-Cross Transformer Blocks
文本图像的超分辨率是提高文本图像可读性的一项独特而重要的任务。它被广泛应用于场景文本识别的预处理。然而，由于自然场景的复杂退化，从低分辨率输入中恢复高分辨率文本是模糊和具有挑战性的。现有的方法主要利用深度神经网络，这些神经网络经过针对自然图像重建而设计的像素级损失训练，忽略了文本的独特字符特征。一些作品提出了基于内容的损失。然而，他们只关注文本识别器的准确性，而重建的图像可能仍然是模糊的人类。此外，它们在处理跨语言时通常具有较弱的通用性。为此，我们提出了TATSR，一个文本感知的文本超分辨率框架，它有效地学习独特的文本特征，使用交叉Transformer块（CCTBs）和一种新的内容感知（CP）损失。CCTB通过两个正交Transformers分别从文本图像中提取垂直和水平内容信息。CP Loss通过多尺度文本识别特征来监督文本内容语义重构，有效地将内容感知融入框架。在各种语言数据集上进行的大量实验表明，TATSR在识别精度和人类感知方面都优于最先进的方法。
2022-10-13 cs.CV
Consistency driven Sequential Transformers Attention Model for Partially Observable Scenes
McGill University（麦吉尔大学）；Sunnybrook Research Institute（桑尼布鲁克研究所）；University of Toronto（多伦多大学）
大多数硬注意模型最初观察一个完整的场景，以定位和感知信息瞥见，并预测基于瞥见的场景的类别标签。然而，在许多应用中（例如，空中成像），但由于可用于获取的时间和资源有限，观察整个场景并不总是可行的。在本文中，我们开发了一个顺序的Transformers注意力模型（STAM），只有部分观察到一个完整的图像和预测信息的一瞥位置完全基于过去的一瞥。我们设计我们的代理使用DeiT-distilled和训练它与一步演员评论家算法。此外，为了提高分类性能，我们引入了一个新的训练目标，该目标强制教师模型从完整图像预测的类分布与我们的代理使用一瞥预测的类分布之间的一致性。当智能体只感知到总图像面积的4%时，在我们的训练目标中包含建议的一致性损失，在ImageNet和fMoW数据集上的准确率分别提高了3%和8%。此外，我们的智能体在ImageNet和fMoW上的一瞥中观察到的像素减少了近27%和42%，超过了以前的最先进水平。
2022-04-01 cs.CV
Is Attention All That NeRF Needs?
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
我们提出了Generalizable NeRF Transformer（GNT），一个基于transformer的架构，重建神经辐射场（NeRFs），并学会从源视图中动态渲染新的视图。虽然NeRFs上的先前工作通过反转手工绘制的渲染方程来优化场景表示，但GNT在两个阶段使用Transformers实现了跨场景的神经表示和渲染。(1)视图Transformer利用多视图几何作为基于注意力的场景表示的归纳偏差，并通过聚合来自相邻视图上的核线的信息来预测坐标对齐的特征。(2)光线Transformer渲染新的视图，使用注意力来解码光线行进期间沿采样点的视图Transformer的特征。我们的实验表明，当在一个单一的场景优化，GNT可以成功地重建NeRF没有显式的渲染公式，由于学习光线渲染。当在多个场景上训练时，GNT在转移到看不见的场景时始终达到最先进的性能，并且平均比所有其他方法高出约10%。我们对学习到的注意力图进行分析，以推断深度和遮挡，这表明注意力可以学习物理基础的渲染。我们的研究结果表明，Transformers作为一个通用的图形建模工具的承诺。请参阅我们的项目页面视频结果：https://vita-group.github.io/GNT/.
2023-03-02 cs.CV
GRAFT: Geometric Refinement and Fitting Transformer for Human Scene Reconstruction
Westlake University（西湖大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
GRAFT通过几何细化和拟合变换，提升单图像中人体与场景交互的重建质量，实现快速且精确的交互推理。
2026-06-29 cs.CV
DPTNet: A Dual-Path Transformer Architecture for Scene Text Detection
Xiamen University（厦门大学）；Tencent Data Platform（腾讯数据平台）
深度学习的繁荣促进了场景文本检测的快速发展。在卷积网络的所有方法中，基于分割的方法由于其在检测任意形状和极端长宽比的文本实例方面的优势而引起了广泛的关注。然而，自下而上的方法局限于其分割模型的性能。在本文中，我们提出了DPTNet（双路径Transformer网络），一个简单而有效的架构来建模的全局和局部信息的场景文本检测任务。我们进一步提出了一种并行设计，将卷积网络与强大的自注意力机制相结合，在注意力路径和卷积路径之间提供互补线索，并开发了一个跨两条路径的双向交互模块，在通道和空间维度上提供互补线索.我们还通过添加额外的多头注意力层来升级集中操作。我们的DPTNet在MSRA-TD 500数据集上实现了最先进的结果，并在检测精度和速度方面提供了与其他标准基准测试相当的结果。
2022-08-21 cs.CV
Unified Semantic Transformer for 3D Scene Understanding
Ulm University（乌尔姆大学）；Google（谷歌）；TU Vienna（维也纳技术大学）；TU Munich（慕尼黑技术大学）
提出UNITE，一个统一的语义Transformer，通过端到端训练从RGB图像直接预测多种密集语义属性，实现3D场景理解，并在多个任务上达到最先进性能。
2026-06-01 cs.CV
Efficient and Accurate Scene Text Recognition with Cascaded-Transformers
Samsung Research United Kingdom（三星英国研究院）；Samsung Electronics South Korea（三星电子韩国公司）
针对视觉Transformer类场景文本识别模型计算内存需求高的问题，提出带级联Transformer的高效STR系统，通过编码阶段逐步缩减视觉token尺寸降本，实现性能持平下计算复杂度近减半。
2025-03-24 cs.CV
ComplETR: Reducing the cost of annotations for object detection in dense scenes with vision transformers
AWS AI Labs（AWS人工智能实验室）；Yonsei University（延世大学）
注释用于目标检测的边界框是昂贵的、耗时的并且容易出错。在这项工作中，我们提出了一个基于DETR的框架，称为COMPLETR，旨在明确地完成部分注释的密集场景数据集缺失的注释。这减少了对场景中的每个对象实例进行注释的需要，从而降低了注释成本。在DETR解码器中，COMPLETR使用图像中对象的补丁信息来增强对象查询。结合匹配损失，它可以有效地找到与输入补丁相似的对象，并完成缺失的注释。我们表明，我们的框架优于最先进的方法，如软采样和无偏见的教师本身，而在同一时间可以与这些方法结合使用，以进一步提高其性能。我们的框架对下游对象检测器的选择也是不可知的;我们在多个密集场景数据集上显示了几种流行检测器的性能改进，例如Faster R-CNN，Cascade R-CNN，CenterNet 2和Deformable DETR。
2022-09-13 cs.CV
HybridOcc: NeRF Enhanced Transformer-based Multi-Camera 3D Occupancy Prediction
Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）；China FAW Group Corp., Ltd.（中国第一汽车集团有限公司）；Engineering Research Center of AI and Robotics, Ministry of Education（教育部人工智能与机器人工程研究中心）；Jilin Provincial Key Laboratory of Intelligence Science and Engineering（吉林省智能科学与工程重点实验室）
针对自动驾驶3D语义场景补全中不可见体素遮挡导致几何生成粗糙的问题，提出融合Transformer与NeRF的HybridOcc方法，通过混合查询、多尺度变换、占据感知采样提升性能，在两个基准数据集上验证有效。
2024-08-17 cs.CV
SGFormer: Semantic Graph Transformer for Point Cloud-based 3D Scene Graph Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Rochester（罗切斯特大学）
提出SGFormer，一种基于Transformer的语义图模型，用于点云3D场景图生成，通过图嵌入和语义注入层解决过平滑问题，在3DSSG数据集上显著提升关系预测性能。
2023-12-20 cs.CV
CVSformer: Cross-View Synthesis Transformer for Semantic Scene Completion
Tianjin University（天津大学）；Shenzhen University（深圳大学）；A*STAR（新加坡科技研究局）；The Hong Kong Polytechnic University（香港理工大学）；South China University of Technology（华南理工大学）；Alibaba Damo Academy（阿里巴巴达摩院）
针对语义场景补全中跨视图物体关系建模不足的问题，本文提出 CVSformer，通过旋转三维卷积核合成多视图特征并以跨视图 Transformer 融合增强，实现体素占据与语义预测的最优性能。
2023-07-16 cs.CV
Efficient Movie Scene Detection using State-Space Transformers
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Comcast Labs（康卡斯特实验室）
本文提出基于状态空间Transformer的TranS4mer模型，通过S4A块结合自注意力与状态空间操作，高效捕获长视频依赖，在多个数据集上实现更优场景检测性能，且速度更快、内存更省。
2023-06-21 cs.CV
