Curriculum-Based Strategies for Efficient Cross-Domain Action Recognition
Carnegie Mellon University（卡内基梅隆大学）
本文提出基于课程学习的跨领域动作识别方法，通过合成和真实数据结合提升模型泛化能力，显著减少训练迭代次数。
2026-01-20 cs.CV
CASA-SDF: Curriculum-Aware Spatial Adaptation with Curvature-Guided Density for Neural Implicit Surface Reconstruction
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Automation, Nanjing University of Science and Technology（南京理工大学自动化学院）
针对室内场景几何异质性带来的高保真曲面重建挑战，提出CASA-SDF框架。通过混合空间自适应不确定性退火构建课程进行先验监督，利用曲率感知局部自适应密度转换增强薄结构表示，实验证明该方法提升了高频结构曲面完整性和细节恢复，且不影响平面稳定性。
2026-07-16 cs.CV cs.GR
Style-CCL: Content-Preserving Style Transfer via Curriculum Continual Learning
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院）
针对扩散变换器在风格迁移中内容与风格特征纠缠的问题，提出多阶段课程持续学习框架Style-CCL，通过从语义到纹理风格、从干净到合成数据的分阶段训练，并采用随机记忆排练防止灾难性遗忘，在风格相似性、内容一致性和美学质量上达到最优。
2026-07-03 cs.CV
Beyond the Performance Illusion: Structure-Aware Stratified Partitioning and Curriculum Distributionally Robust Optimization for Spatially Correlated Domains
QpiAI India Pvt. Ltd.（QpiAI印度私人有限公司）
针对空间相关数据中随机划分导致的数据泄露和隐藏分层问题，提出结构感知分层划分（SASP）减少时空泄露并保持类别平衡，以及课程分布鲁棒优化（CDRO）稳定训练，提升泛化与校准可靠性。
2026-07-03 cs.AI cs.CV cs.LG
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
Southeast University（东南大学）；Xiaohongshu Inc.（小红书公司）；Monash University（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）；Anhui University（安徽大学）
CompGen通过课程强化学习框架提升文本到图像生成的组合能力，采用场景图和自适应采样算法优化模型性能。
2025-11-23 cs.CV
Confidence-Aware Paced-Curriculum Learning by Label Smoothing for Surgical Scene Understanding
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore (Suzhou) Research Institute（新加坡国立大学苏州研究院）；Imperial College London（帝国理工学院）
课程学习和自定进度的学习是训练策略，逐渐喂养样本从简单到更复杂。由于其在机器人视觉中的优异性能，它们吸引了越来越多的关注。最近的工作集中在设计课程的基础上输入样本的难度水平或平滑的特征图。然而，平滑标签以课程方式控制学习效用仍然是未探索的。在这项工作中，我们设计了一个节奏的课程标签平滑（P-CBLS）使用节奏的学习与统一的标签平滑（ULS）的分类任务和融合均匀和空间变化的标签平滑（SVLS）的语义分割任务的课程方式。在ULS和SVLS中，较大的平滑因子值在真实标签中强制执行沉重的平滑惩罚，并限制学习较少的信息。因此，我们采用标签平滑法（CBLS）进行课程设计。我们在训练开始时设置一个较大的平滑值，然后逐渐将其减小到零，以控制模型学习效用从低到高。我们还设计了一个信心感知的起搏功能，并将其与我们的CBLS相结合，以调查各种课程的好处。所提出的技术进行了验证，在四个机器人手术数据集的多类，多标签分类，字幕和分割任务。我们还通过将验证数据损坏为不同的严重程度来研究我们方法的鲁棒性。我们广泛的分析表明，该方法提高了预测精度和鲁棒性。
2022-12-22 cs.CV
Paced-Curriculum Distillation with Prediction and Label Uncertainty for Image Segmentation
Imperial College London（帝国理工学院）；National University of Singapore（新加坡国立大学）；National Institute of Technology Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）；The Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
目的：在课程学习中，想法是先在较容易的样本上进行训练，然后逐渐增加难度，而在自定进度学习中，定步函数定义速度以适应训练进度。虽然这两种方法都严重依赖于对数据样本难度进行评分的能力，但最佳评分函数仍在探索中。方法：蒸馏是一种知识转移方法，其中教师网络通过提供一系列随机样本来指导学生网络。我们认为，指导学生网络与有效的课程策略可以提高模型的泛化和鲁棒性。为此，我们设计了一个基于不确定性的自升华步调课程学习医学图像分割。我们融合了预测不确定性和注释边界不确定性，开发了一种新的进度课程蒸馏（PCD）。我们利用教师模型来获得预测的不确定性和空间变化的标签平滑高斯核生成分割边界的不确定性的注释。我们还研究了我们的方法的鲁棒性，通过应用各种类型和严重程度的图像扰动和腐败。结果如下：该技术在两个医学数据集上进行了验证，即乳腺超声图像分割和机器人辅助手术场景分割，在分割和鲁棒性方面取得了显着更好的性能。结论：P-CD提高了性能，并获得了更好的泛化能力和鲁棒性。虽然课程学习需要对用于调步功能的超参数进行广泛的调整，但是性能改进的水平抑制了这种限制。
2023-02-02 cs.CV
MCAQ-YOLO: Morphological Complexity-Aware Quantization for Efficient Object Detection with Curriculum Learning
Department of Architectural Engineering, Sejong University（建筑工程系，世宗大学）
MCAQ-YOLO通过基于形态复杂度的混合精度量化和课程学习方案，提升目标检测的效率和精度，实现高压缩比和高mAP性能。
2025-12-27 cs.CV cs.LG
CBM: Curriculum by Masking
University of Bucharest（布加勒斯特大学）
该研究提出基于掩码的课程学习策略CBM，通过梯度幅值优先掩码显著区域、按掩码比例控制样本难度构建从易到难课程，在多数据集和多架构上准确率超越现有课程学习方法，迁移学习性能也有提升。
2024-07-09 cs.AI cs.CV cs.LG
A Curriculum Domain Adaptation Approach to the Semantic Segmentation of Urban Scenes
在过去的五年中，卷积神经网络（CNN）已经战胜了语义分割，这是自动驾驶和增强现实等许多应用的核心任务之一。然而，训练CNN需要大量的数据，这些数据很难收集并且注释起来很费力。计算机图形学的最新进展使得在具有计算机生成的注释的照片级真实感合成图像上训练CNN成为可能。尽管如此，真实图像和合成数据之间的域不匹配阻碍了模型的性能。因此，我们提出了一种学习风格的学习方法，以最大限度地减少城市场景语义分割的领域差距。课程领域自适应首先解决简单的任务，以推断目标域的必要属性;特别是，第一个任务是学习图像上的全局标签分布和地标超像素上的局部分布。这些很容易估计，因为城市场景的图像具有很强的特质（例如，建筑物、街道、汽车等的尺寸和空间关系）。然后，我们训练一个分割网络，同时在目标域中对其预测进行正则化，以遵循这些推断的属性。在实验中，我们的方法优于两个数据集和两个骨干网络的基线。我们还报告了关于我们方法的广泛消融研究。
2019-01-10 cs.CV
Training a Vision Transformer from scratch in less than 24 hours with 1 GPU
Borealis AI（贝索利斯人工智能研究院）
Transformers已成为计算机视觉最新进展的核心。然而，从头开始训练视觉Transformer（ViT）模型可能是资源密集型的并且耗时。在本文中，我们的目标是探索降低ViT模型训练成本的方法。我们引入了一些算法改进，以便在有限的硬件（1 GPU）和时间（24小时）资源下从头开始训练ViT模型。首先，我们提出了一个有效的方法来添加本地的ViT架构。其次，我们开发了一种新的图像大小课程学习策略，该策略允许在训练开始时减少从每个图像中提取的补丁的数量。最后，我们通过添加硬件和时间限制，提出了流行的ImageNet1k基准测试的新变体。我们在这个基准上评估了我们的贡献，并表明在拟议的培训预算下，它们可以显着提高绩效。我们将在https://github.com/BorealisAI/efficient-vit-training上分享代码。
2022-11-09 cs.CV
Shuffle Transformer: Rethinking Spatial Shuffle for Vision Transformer
Tencent（腾讯）
最近，基于窗口的Transformers，它在非重叠的局部窗口内计算自我注意力，在图像分类，语义分割和目标检测方面表现出很好的效果。然而，对于提高表示能力的关键因素--跨窗口连接的研究较少。在这项工作中，我们重新审视空间洗牌作为一种有效的方式来建立窗口之间的连接。因此，我们提出了一个新的视觉Transformer，命名为Shuffle Transformer，它是高效的，易于通过修改两行代码实现。此外，引入深度卷积来补充空间混洗以增强相邻窗口连接。所提出的架构实现了良好的性能，在广泛的视觉任务，包括图像级分类，目标检测，和语义分割。代码将被发布用于复制。
2021-06-07 cs.CV
CLoE: Curriculum Learning on Endoscopic Images for Robust MES Classification
Computer Engineering Department Ankara University（安卡拉大学计算机工程系）；Computer Engineering Department Hacettepe University（哈切特佩大学计算机工程系）
本文提出CLoE课程学习框架，利用BBPS训练的轻量模型估计图像质量作为标签置信度代理，结合ResizeMix增强，在LIMUC和HyperKvasir数据集上显著提升MES序数分类的鲁棒性和性能。
2025-08-18 cs.CV cs.LG
Spatial-Channel Transformer Network for Trajectory Prediction on the Traffic Scenes
Southeast University（东南大学）
预测周围智能体的运动对于自动驾驶战术路径规划的实际应用至关重要。由于智能体之间复杂的时间依赖性和社会交互性，在线轨迹预测是一项具有挑战性的任务。随着近年来注意力机制研究的深入，Transformer模型首先应用于自然语言序列处理，然后应用于图像处理。在本文中，我们提出了一种用于具有注意力功能的轨迹预测的空间通道Transformer网络。我们采用Transformer模型来捕获Agent的时空特征，而不是RNN模型。一个通道明智的模块被插入到测量代理之间的社会互动。我们发现，空间通道Transformer网络在交通场景的真实世界轨迹预测数据集上取得了可喜的成果。
2021-02-05 cs.CV
MultiScale Spectral-Spatial Convolutional Transformer for Hyperspectral Image Classification
Defense Innovation Institute, Chinese Academy of Military Sciences（军事科学院国防科技创新研究院）；National University of Defense Technology（国防科技大学）
本文提出MultiscaleFormer，通过多尺度空间块token构建空间Transformer、利用波段空间表示构建光谱Transformer，并引入改进的光谱-空间CAF模块融合跨层信息，从而有效捕获多尺度光谱-空间特征，在高光谱图像分类中优于大多数现有架构。
2023-10-28 cs.CV
TransMOT: Spatial-Temporal Graph Transformer for Multiple Object Tracking
Microsoft（微软）；Stony Brook University（石溪大学）
跟踪视频中的多个对象依赖于对对象的时空交互进行建模。在本文中，我们提出了一个解决方案，名为transMOT，它利用强大的图形Transformers，有效地模拟对象之间的空间和时间的相互作用。TransMOT通过将跟踪对象的轨迹排列为一组稀疏加权图，并基于这些图构建空间图Transformer编码器层、时间图Transformer编码器层和空间图Transformer解码器层，有效地对大量对象的交互进行建模。TransMOT不仅比传统的Transformer计算效率更高，而且跟踪精度更高。为了进一步提高跟踪速度和准确性，我们提出了一个级联关联框架来处理低分数检测和长期遮挡，需要大量的计算资源来在TransMOT中建模。在MOT15、MOT16、MOT17和MOT20等多个基准数据集上对所提出的方法进行了评估，并在所有数据集上实现了最先进的性能。
2021-04-03 cs.CV
Spatial Transformer Networks
Google DeepMind（谷歌DeepMind）
卷积神经网络定义了一类非常强大的模型，但仍然受到缺乏以计算和参数有效的方式对输入数据空间不变的能力的限制。在这项工作中，我们引入了一个新的可学习模块，空间Transformer，它明确地允许在网络内的数据的空间操作。这个可微分模块可以插入到现有的卷积架构中，使神经网络能够主动地对特征图进行空间变换，条件是特征图本身，而无需对优化过程进行任何额外的训练监督或修改。我们表明，使用空间Transformers的结果是模型学习不变性的平移，缩放，旋转和更通用的扭曲，导致国家的最先进的性能在几个基准，并为一些类的变换。
2016-02-04 cs.CV
Learning Spatial Decay for Vision Transformers
本文提出空间衰减变换器（SDT），通过引入上下文感知门控机制，学习动态数据依赖的空间衰减，提升视觉变换器在空间结构化任务中的性能。
2025-12-29 cs.CV
From Easy to Hard++: Promoting Differentially Private Image Synthesis Through Spatial-Frequency Curriculum
University of Virginia（弗吉尼亚大学）；Microsoft Research（微软研究院）
FETA-Pro通过引入频率特征作为训练捷径，提升差分隐私图像合成的保真度和实用性。
2026-01-10 cs.CR cs.CV
FACTR: Force-Attending Curriculum Training for Contact-Rich Policy Learning
Carnegie Mellon University（卡内基梅隆大学）
针对接触丰富任务中力反馈利用不足的问题，提出FACTR方法，通过课程训练破坏视觉输入以引导策略关注力模态，显著提升泛化能力43%。
2025-04-24 cs.AI cs.CV cs.LG
Flow-Guided Transformer for Video Inpainting
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流引导的Transformer，创新性地利用光流暴露的运动差异来指导Transformer中的注意检索，实现高保真视频修复。更特别的是，我们设计了一种新的流完成网络，通过利用相关的流功能在本地时间窗口完成损坏的流。在完成流的基础上，我们将内容跨视频帧传播，并采用流引导的Transformer来合成剩余的损坏区域。我们沿着时间和空间维度解耦Transformers，这样我们就可以很容易地集成本地相关的完成流，以指导空间注意。此外，我们还设计了一个流重新加权模块，以精确地控制完成的流对每个空间Transformer的影响。为了提高效率，我们在空间和时间Transformers中引入了窗口划分策略。特别是在空间Transformer中，我们设计了一个双视角的空间MHSA，它将全局标记与基于窗口的注意力相结合。大量的实验定性和定量地证明了所提出的方法的有效性。代码可在https://github.com/hitachinsk/FGT上获得。
2022-08-14 cs.CV
What to look at and where: Semantic and Spatial Refined Transformer for detecting human-object interactions
AWS AI Labs（AWS人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们提出了一种新的一阶段基于transformer的语义和空间细化的Transformer（SSRT），以解决人与物体的交互检测任务，这需要本地化的人和物体，并预测他们的互动。与以前基于transformer的HOI方法不同，SSRT主要集中在改进最终检测的解码器输出的设计上，它引入了两个新模块来帮助选择图像中最相关的对象-动作对，并使用丰富的语义和空间特征来细化查询的表示。这些增强功能在两个最受欢迎的HOI基准测试中获得了最先进的结果：V-COCO和HICO-DET。
2022-05-25 cs.CV
Rethinking Spatial Dimensions of Vision Transformers
NAVER AI Lab（NAVER AI实验室）；Sogang University（西江大学）
视觉Transformer（ViT）将Transformers的应用范围从语言处理扩展到计算机视觉任务，作为现有卷积神经网络（CNN）的替代架构。由于基于transformer的体系结构是计算机视觉建模的创新，因此对有效体系结构的设计约定的研究较少。从CNN的成功设计原则，我们调查的作用，空间维度转换和其有效性的transformer为基础的架构。我们特别注意CNN的降维原理;随着深度的增加，传统的CNN会增加通道维度并降低空间维度。我们的经验表明，这样的空间降维是有益的Transformer架构，以及，并提出了一种新的基于池的视觉Transformer（PiT）的原始ViT模型。我们表明，PiT实现了改进的模型能力和泛化性能对ViT。在整个广泛的实验中，我们进一步表明PiT优于基线的几个任务，如图像分类，目标检测，和鲁棒性评估。源代码和ImageNet模型可在https://github.com/naver-ai/pit上获得
2021-08-18 cs.CV
GroupFormer: Group Activity Recognition with Clustered Spatial-Temporal Transformer
The Hong Kong Polytechnic University（香港理工大学）；Sensetime Research（商汤科技研究院）
群体活动识别是一个关键而又具有挑战性的问题，其核心在于充分挖掘个体之间的时空交互，并生成合理的群体表征。然而，以前的方法要么模型的空间和时间的信息分开，或直接聚合单个功能，形成组功能。为了解决这些问题，我们提出了一种新的群体活动识别网络，称为GroupFormer。它捕获的时空上下文信息联合增强个人和群体表示有效地与聚类时空Transformer。具体来说，我们的GroupFormer有三个吸引人的优点：（1）一个定制的修改Transformer，空间-时间的transformer Transformer，提出了加强个人表示和组表示。(2)该模型对时空依赖关系进行了统一建模，并利用解码器在时空信息之间架起了桥梁。(3)一个集群的注意力机制被用来动态地将个人分为多个集群，以更好地学习活动感知的语义表示。此外，实验结果表明，该框架优于国家的最先进的方法排球数据集和集体活动数据集。代码可在https://github.com/xueyee/GroupFormer上获得。
2021-08-28 cs.CV
Curriculum Multi-Task Self-Supervision Improves Lightweight Architectures for Onboard Satellite Hyperspectral Image Segmentation
Univ. Toulouse, IRIT, France（法国图卢兹大学IRIT研究所）；CNRS, France（法国国家科学研究中心）；CLLE, CNRS, France（法国国家科学研究中心CLLE）；University of Bucharest, Romania（罗马尼亚布加勒斯特大学）
课程多任务自监督学习提升轻量级架构用于车载卫星超光谱图像分割，通过统一设计解决空间与光谱推理，实现高效且紧凑的模型训练。
2026-02-16 cs.AI cs.CV cs.LG
Decoupled Spatial-Temporal Transformer for Video Inpainting
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）；School of CST, Xidian University（西安电子科技大学计算机科学与技术学院）
视频修复的目标是用逼真的外观来填充给定的时空空洞，但即使有繁荣的深度学习方法，这仍然是一项具有挑战性的任务。最近的工作将有前途的Transformer架构引入到深度视频修复中，并取得了更好的性能。然而，它仍然遭受合成模糊的纹理以及巨大的计算成本。为此，我们提出了一种新的解耦时空Transformer（DSTT），以提高视频修复的效率。我们提出的DSTT将时空注意力的学习任务分解为两个子任务：一个是在相同空间位置的不同帧上关注时间对象运动，这是通过时间解耦的Transformer块实现的，另一个是在所有空间位置的相同帧上关注相似的背景纹理，这是通过空间解耦的Transformer块实现的。这两个块的交织堆栈使我们提出的模型更精确地关注背景纹理和移动对象，从而可以传播所关注的合理和时间连贯的外观来填充漏洞。此外，在Transformer块堆栈之前采用分层编码器，用于学习保持多层次局部空间结构的鲁棒和分层特征，从而产生更具代表性的令牌向量。这两种新设计的无缝结合形成了一个更好的时空注意力方案，我们提出的模型实现了更好的性能比最先进的视频修复方法，具有显着提高效率。
2021-04-14 cs.CV
Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition
Zhengzhou University（郑州大学）；DAMO Academy, Alibaba Group (U.S.) Inc（阿里巴巴集团（美国）达摩院）；University of Wollongong（伍伦贡大学）
尽管Transformer在各种视觉任务中取得了很大的进步，但它仍然是基于视觉的动作识别的探索不足，只有少数尝试。此外，这些方法直接在空间和时间维度上计算所有关节的成对全局自注意，低估了判别性局部关节和短程时间动态的影响。在这项工作中，我们提出了一种新的焦点和全球时空Transformer网络（FG-STFormer），它配备了两个关键组件：（1）FG-SFormer：焦点关节和全球部分耦合空间Transformer。它迫使网络专注于分别为学习到的有区别的空间关节和人体部位建模相关性。选择性的局灶节点消除了无信息节点在积累相关性过程中的负面影响。同时，焦点关节和身体部位之间的相互作用被纳入通过相互交叉注意来增强空间依赖性。(2)FG-TFormer：焦点和全局时间Transformer。扩展时间卷积被集成到全局自注意力机制中，以显式地捕获关节或身体部位的局部时间运动模式，这对使时间Transformer工作至关重要。在NTU-60，NTU-120和NW-UCLA三个基准上的大量实验结果表明，我们的FG-STFormer超越了所有现有的基于变压器的方法，并与最先进的基于GCN的方法相媲美。
2022-10-06 cs.CV
Generalizing Spatial Transformers to Projective Geometry with Applications to 2D/3D Registration
Johns Hopkins University（约翰斯·霍普金斯大学）
微分渲染是一种将3D场景与相应的2D图像连接起来的技术。由于它是可微的，因此可以学习图像形成期间的过程。以前的可区分渲染方法集中在3D场景的基于网格的表示上，这对于其中使用体积、体素化模型来表示解剖结构的医学应用是不合适的。我们提出了一种新的投影空间Transformer模块，将空间Transformers推广到投影几何，从而实现可微体渲染绘制。我们证明了这种架构的有用性的例子，2D/3D射线照片和CT扫描之间的注册。具体来说，我们的Transformer，使端到端学习的图像处理和投影模型，近似的图像相似性函数，是凸的姿态参数，因此可以有效地使用传统的梯度下降优化。据我们所知，这是第一次，空间Transformers已被描述为射影几何。源代码将在本手稿出版后公开，我们希望我们的开发将有利于相关的3D研究应用。
2020-03-24 cs.CV
DeSTNet: Densely Fused Spatial Transformer Networks
Onfido Research（Onfido研究院）
现代卷积神经网络（CNN）在一系列计算机视觉任务上非常强大。然而，当数据的特点是由空间变换引起的大类内变异时，它们的性能可能会降低。空间Transformer网络（Space-Transformer Network，简称ANN）目前是CNN在端到端学习框架中移除这些转换并提高性能的首选方法。在本文中，我们提出了密集融合空间Transformer网络（DeSTNet），据我们所知，这是第一个密集融合模式，用于组合多个STNs。具体来说，我们展示了如何将多个STNs的连接模式从顺序变为密集，从而产生更强大的对齐模块。在MNIST、GTSRB和IDocDB三个基准上的大量实验表明，所提出的技术优于相关的最先进的方法（即，STNs和CSTNs）在准确性和鲁棒性方面都有改进。
2018-07-16 cs.CV
HSTFormer: Hierarchical Spatial-Temporal Transformers for 3D Human Pose Estimation
Case Western Reserve University（凯斯西储大学）；PAII Inc.（平安智能信息有限公司）；Ping An Technology（平安科技）；Duke Kunshan University（昆山杜克大学）
基于变换器的方法已经被成功地提出用于从2D姿态序列估计3D人体姿态（HPE），并且实现了最先进的（SOTA）性能。然而，当前的SOTA很难同时对不同级别的关节的时空相关性进行建模。这是由于姿势的时空复杂性。姿势以不同的速度暂时移动，不同的关节和身体部位在空间上移动。因此，千篇一律的Transformer是不适应的，并且难以满足“野外”要求。为了解决这个问题，我们提出了分层时空变换器（HSTFormer），以捕获多级关节的时空相关性从局部到全局逐渐准确的三维HPE。HSTFormer由四个Transformer编码器（TE）和一个融合模块组成。据我们所知，HSTFormer是第一个研究多级融合的层次TE。在三个数据集上进行了广泛的实验（即，Human3.6M、MPI-INF-3DHP和HumanEva）证明，HSTFormer在各种规模和难度的基准测试中实现了具有竞争力和一致性的性能。具体而言，它超越了具有挑战性的MPI-INF-3DHP数据集和小规模HumanEva数据集的最新SOTA，具有高度通用的系统方法。该代码可从以下网址获得：https://github.com/qianxiaoye825/HSTFormer。
2023-01-18 cs.CV
Cross-domain Detection Transformer based on Spatial-aware and Semantic-aware Token Alignment
University of Electronic Science and Technology of China（电子科技大学）
像DETR这样的检测Transformers最近在许多目标检测任务上显示出有希望的性能，但是这些方法的泛化能力对于跨领域自适应场景仍然是相当具有挑战性的。为了解决跨域问题，一个简单的方法是在Transformers中使用对抗训练来执行令牌对齐。然而，它的性能往往是不令人满意的检测Transformers中的令牌是相当多样化的，并表示不同的空间和语义信息。在本文中，我们提出了一种新的方法称为空间感知和语义感知令牌对齐（SSTA）的跨域检测Transformers。特别是，我们利用交叉注意的特点，用于检测Transformer，并提出了空间感知的令牌对齐（SpaTA）和语义感知的令牌对齐（SemTA）策略，以指导令牌对齐跨域。对于空间感知的标记对齐，我们可以从交叉注意力图（CAM）中提取信息，以根据标记对对象查询的注意力来对齐标记的分布。对于语义感知的标记对齐，我们将类别信息注入到交叉注意力图中，并构造域嵌入来指导多类学习，从而在整个自适应过程中对类别关系进行建模并实现类别级标记对齐。我们在几个广泛使用的基准上进行了大量的实验，结果清楚地表明了我们所提出的方法在现有的最先进的基线上的有效性。
2022-06-01 cs.CV
Learning Compositional Spatio-Temporal Video Grounding with Synthetic Curriculum
Monash University（莫纳什大学）；Southeast University（东南大学）；Shanghai University of Electric Power（上海电力大学）
本文针对现有时空视频定位模型忽略组合式查询的问题，提出CompSTVG任务，构建合成数据引擎与STVG-CompBench基准，引入CurrSTVG框架提升模型在组合式查询上的性能。
2026-09-01 cs.CV
Efficient Video Transformers with Spatial-Temporal Token Selection
Fudan University（复旦大学）；University of Maryland（马里兰大学）；BirenTech Research（壁仞科技研究院）
视频Transformers在主要的视频识别基准测试中取得了令人印象深刻的结果，但计算成本很高。在本文中，我们提出了STTS，令牌选择框架，动态地选择一些信息令牌在时间和空间维度的条件下输入视频样本。具体来说，我们将令牌选择制定为排名问题，通过轻量级评分器网络估计每个令牌的重要性，只有那些得分最高的令牌将用于下游评估。在时间维度上，我们保留了与动作类别最相关的帧，而在空间维度上，我们识别了特征图中最具区分力的区域，而不会影响大多数视频Transformers中以分层方式使用的空间上下文。由于令牌选择的决策是不可微的，我们采用基于扰动最大值的可微Top-K算子进行端到端训练。我们主要在Kinetics-400上进行广泛的实验，并使用最近推出的视频Transformer主干MViT。我们的框架实现了类似的结果，同时需要减少20%的计算量。我们还证明了我们的方法是通用的不同的Transformer架构和视频数据集。代码可在https://github.com/wangjk666/STTS上获得。
2022-07-16 cs.CV
Spatial-temporal Transformer for Affective Behavior Analysis
Institute of Artificial Intelligence（人工智能研究院）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
野外情感行为分析一直是一项重要的研究。在本文中，我们提交了我们的解决方案，第五届研讨会和比赛的情感行为分析在野外（ABAW），其中包括V-A估计，面部表情分类和AU检测子挑战。我们提出了一个具有多头注意力框架的Transformer编码器来学习空间和时间特征的分布。此外，还有多种有效的数据增强策略用于缓解模型训练过程中的样本不平衡问题。实验结果充分证明了基于Aff-Wild 2数据集的模型的有效性。
2023-03-19 cs.CV
SP-ViT: Learning 2D Spatial Priors for Vision Transformers
University of Mannheim（曼海姆大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Siegen（锡根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔信息学园区）；Alibaba Group（阿里巴巴集团）
最近，Transformers在图像分类中显示出巨大的潜力，并在ImageNet基准测试中建立了最先进的结果。然而，与CNN相比，Transformers收敛缓慢，并且由于缺乏空间归纳偏差，在低数据状态下容易过拟合。这样的空间感应偏置可以是特别有益的，因为输入图像的2D结构在Transformers中没有很好地保留。在这项工作中，我们提出了空间先验增强的自我注意力（SP-SA），香草自我注意力（SA）为视觉Transformer量身定制的一种新的变体。空间先验（SPs）是我们提出的家庭的归纳偏见，突出某些群体的空间关系。与卷积归纳偏差不同，卷积归纳偏差被迫只关注硬编码的局部区域，我们提出的SP是由模型本身学习的，并考虑了各种空间关系。具体而言，注意力分数的计算强调了每个头部的某些空间关系，并且这种学习的空间焦点可以彼此互补。基于SP-SA，我们提出了SP-ViT系列，它始终优于其他ViT模型具有类似的GFlops或参数。我们最大的模型SP-ViT-L实现了破纪录的86.3% Top-1准确率，与之前最先进的模型相比，参数数量减少了近50%（SP-ViT-L为150 M，CaiT-M-36为271 M），在224 x224上训练的所有ImageNet-1 K模型中，并在384 x384分辨率上进行了微调w/o额外数据。
2022-06-15 cs.CV
Spatial Transformer for 3D Point Clouds
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
深度神经网络广泛用于理解3D点云。在每个点卷积层，从3D点的局部邻域计算特征，并将其组合用于后续处理，以提取语义信息。现有的方法在整个网络层中采用相同的单个点邻域，由固定输入点坐标上的相同度量定义。这种常见的做法很容易实现，但不一定是最佳的。理想情况下，局部邻域在不同的层应该是不同的，因为更多的潜在信息是在更深的层提取。我们提出了一种新的端到端的方法来学习输入点云的不同的非刚性变换，以便在每一层都可以采用最佳的局部邻域。我们提出了线性（仿射）和非线性（投影和变形）的空间Transformers的三维点云。通过ShapeNet零件分割数据集上的空间Transformers，该网络对所有类别都实现了更高的准确性，特别是耳机和火箭的准确率提高了8%。我们的方法也优于其他点云任务，如分类，检测和语义分割的最先进的。可视化结果表明，空间Transformers可以通过根据3D形状的几何形状和语义动态改变局部邻域来更有效地学习特征，尽管它们在类别内存在变化。我们的代码可在https://github.com/samaonline/spatial-transformer-for-3d-point-clouds上公开获取。
2021-03-30 cs.CV
A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships
Huddersfield University（哈德斯菲尔德大学）
本文综述了用于计算机视觉的Transformer架构，探讨其如何通过捕获全局上下文与空间关系在图像分类、目标检测和分割等任务中表现卓越，并分析了其优势、局限及未来研究方向。
2024-08-27 cs.CV
Hierarchical Spatial Transformer Network
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；The Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
长期以来，计算机视觉研究人员一直期望神经网络具有空间变换能力，以消除几何畸变带来的干扰。空间Transformer网络的出现让梦想成真。空间Transformer网络及其变体可以很好地处理全局位移，但缺乏处理局部空间变化的能力。因此如何在神经网络中实现更好的变形方式已成为当务之急。针对这一问题，分析了近似理论和光流理论的优缺点，提出了一种新的实现图像变形的方法，并采用分层卷积神经网络实现。这种新的方法解决了线性变形以及光流场来模拟图像变形。在复杂的MNIST手写数字分类和图像平面对齐的实验中，我们的方法比基线方法有很大的优势。
2018-01-30 cs.CV
Spatial Transformer Network on Skeleton-based Gait Recognition
South China University of Technology（华南理工大学）
步态识别模型的Rank-1识别率从正常行走的90%到穿大衣行走的70%不等，鲁棒性差。在这项工作中，我们提出了一个国家的最先进的鲁棒的基于卷积的步态识别模型称为步态TR，这是基于空间Transformer框架和时间卷积网络的组合。Gait-TR在步态数据集CASIA-B上实现了比其他基于机器学习的步态模型更高的精度和更好的鲁棒性。特别是在穿着外套行走的情况下，Gait-TR的Rank-1步态识别准确率达到90%，高于基于轮廓的步态识别模型的最佳结果，而基于轮廓的步态识别模型通常具有更高的准确率。此外，我们在CASIA-B上的实验表明，空间Transformer可以更好地从人体骨骼提取步态特征比广泛使用的图卷积网络。
2022-04-08 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China（中北大学）
基于深度学习的水下目标检测（UOD）仍然是一个主要挑战，这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题，提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络，强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性，设计了一种基于视角变换的改进空间Transformer网络，自适应地丰富网络中的图像特征。实验结果表明，该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能，优于许多现有的UOD方法，表明该方法更适合UOD。
2022-03-09 cs.CV
VDTR: Video Deblurring with Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）
视频去模糊是一个尚未解决的问题，由于具有挑战性的时空建模过程。而现有的基于卷积神经网络的方法在视频去模糊的有效空间和时间建模方面表现出有限的能力。本文介绍了VDTR，一个有效的基于transformer的模型，使第一次尝试适应Transformer的视频去模糊。VDTR利用Transformer卓越的远程和关系建模功能进行空间和时间建模。然而，由于复杂的非均匀模糊、多帧间的不对齐以及高分辨率空间建模的高计算成本，设计合适的基于Transformer的视频去模糊模型具有挑战性。为了解决这些问题，VDTR主张在非重叠窗口内执行注意力，并利用分层结构进行长距离依赖建模。对于帧级空间建模，我们提出了一个编码器-解码器Transformer，它利用多尺度特征进行去模糊。对于多帧时间建模，我们采用Transformer来有效地融合多个空间特征。与基于CNN的方法相比，所提出的方法在合成和真实世界的视频去模糊基准上都取得了非常有竞争力的结果，包括DVD，GOPRO，REDS和BSD。我们希望这种基于Transformer的架构可以作为视频去模糊和其他视频恢复任务的强大替代基线。源代码将在\url{https://github.com/ljzycmd/VDTR}上提供。
2022-04-17 cs.CV
Retina Vision Transformer (RetinaViT): Introducing Scaled Patches into Vision Transformers
School of Computer Science and Engineering University of New South Wales（计算机科学与工程学院 新南威尔士大学）
受人类视觉系统启发，RetinaViT将不同空间频率的补丁引入视觉变换器，在无额外偏置下自发实现从低频到高频的注意力转移，并提升对模型缩小的鲁棒性。
2025-09-25 cs.CV
Learning Rate Curriculum
University of Bucharest（布加勒斯特大学）；National University of Science and Technology Politehnica Bucharest（布加勒斯特理工国立科技大学）；University of Trento（特伦托大学）
提出学习率课程学习（LeRaC），通过为神经网络各层分配递减的学习率实现数据无关的课程学习，在12个数据集上一致提升性能且无额外训练成本。
2024-07-20 cs.CL cs.CV cs.LG
SEGT: A General Spatial Expansion Group Transformer for nuScenes Lidar-based Object Detection Task
Tianyijiaotong Technology Ltd.（天宜交通科技有限公司）
提出SEGT，一种基于Transformer的通用空间扩展组框架，通过将体素迁移至有序字段并采用组注意力机制，有效处理点云稀疏性，在nuScenes激光雷达目标检测任务中取得NDS 73.9（无TTA）和74.5（有TTA）的领先成绩，排名第一。
2025-01-21 cs.CV
STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition
Carnegie Mellon University（卡内基梅隆大学）；FAIR, Meta AI（Meta AI FAIR研究院）；HKUST (Guangzhou)（香港科技大学（广州））；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
提出时空网格Transformer（STMT）直接对MoCap网格序列建模，通过帧内偏移注意力和帧间自注意力学习非局部关系，并利用掩码顶点建模和未来帧预测进行自监督，在常见MoCap基准上达到SOTA性能。
2024-07-26 cs.CV
Curriculum Domain Adaptation for Semantic Segmentation of Urban Scenes
University of Central Florida（中佛罗里达大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
在过去的五年中，卷积神经网络（CNN）已经战胜了语义分割，这是自动驾驶等许多应用的核心任务之一。然而，训练CNN需要大量的数据，这些数据很难收集并且注释起来很费力。计算机图形学的最新进展使得在具有计算机生成的注释的照片级真实感合成图像上训练CNN成为可能。尽管如此，真实图像和合成数据之间的域失配削弱了模型的性能。因此，我们提出了一种学习风格的方法，以最大限度地减少城市景观语义分割的领域差距。课程领域自适应首先解决简单的任务，以推断目标域的必要属性;特别是，第一个任务是学习图像上的全局标签分布和地标超像素上的局部分布。这些很容易估计，因为城市场景的图像具有很强的特质（例如，建筑物、街道、汽车等的尺寸和空间关系）。然后，我们训练一个分割网络，同时在目标域中对其预测进行正则化，以遵循这些推断的属性。在实验中，我们的方法优于两个数据集和两个骨干网络的基线。我们还报告了关于我们方法的广泛消融研究。
2018-11-14 cs.CV cs.LG
EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones
Tsinghua University（清华大学）；Huawei Technologies Ltd.（华为技术有限公司）；BAAI（北京智源人工智能研究院）
本文提出 EfficientTrain，通过从低频、弱增强的易学模式逐步过渡到困难模式的广义课程学习，显著降低多种视觉骨干在 ImageNet 上的训练成本。
2023-08-16 cs.AI cs.CV cs.LG
SAR Object Detection with Self-Supervised Pretraining and Curriculum-Aware Sampling
Helsing（赫尔辛公司）
针对星载SAR图像目标检测面临的SAR数据复杂、标注稀缺、小目标检测难等问题，提出TRANSAR模型，通过自监督预训练、辅助语义分割和自适应采样调度器提升检测性能，在基准数据集上优于传统及先进模型。
2025-04-17 cs.AI cs.CV
Spatial-Spectral Transformer for Hyperspectral Image Denoising
Beijing Institute of Technology（北京理工大学）
高光谱图像去噪是高光谱图像后续应用的关键预处理过程。不幸的是，虽然见证了深度学习在HSI去噪领域的发展，但现有的基于卷积的方法面临着计算效率和对HSI的非局部特征建模能力之间的权衡。在本文中，我们提出了一个空间光谱Transformer（SST），以减轻这个问题。为了充分挖掘空间维和谱维的内在相似性特征，我们采用Transformer结构进行非局部空间自关注和全局谱自关注。基于窗口的空间自注意关注的是相邻区域以外的空间相似性。而光谱自注意利用了高度相关的波段之间的长程相关性。实验结果表明，我们提出的方法优于国家的最先进的HSI去噪方法在定量质量和视觉效果。
2022-11-25 cs.CV eess.IV
Inverse Compositional Spatial Transformer Networks
The Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们建立了经典的卢卡斯和Kanade（LK）算法和空间Transformer网络（STNs）的新兴话题之间的理论联系。STNs是视觉和学习社区感兴趣的，因为它们具有在同一理论框架内结合对齐和分类的天然能力。受LK算法的逆合成（IC）变体的启发，我们提出了逆合成空间Transformer网络（IC-STNs）。我们证明了IC-STNs可以比传统的STNs实现更好的性能，模型容量更少;特别是，我们在纯图像对齐任务以及现实世界问题的联合对齐/分类问题中表现出卓越的性能。
2016-12-12 cs.CV cs.LG
Transformer-based Spatial Grounding: A Comprehensive Survey
School of Intelligent Manufacturing, South China University of Technology（华南理工大学智能制造学院）；Department of Software Engineering, University of Engineering & Technology（工程大学软件工程系）
本文系统综述了2018至2025年基于Transformer的空间定位方法，梳理主流架构、数据集、评估指标及工业应用趋势，为构建稳健实用的模型提供指导。
2025-07-17 cs.AI cs.CV
The Role of Masking for Efficient Supervised Knowledge Distillation of Vision Transformers
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
本文提出一种基于掩蔽输入 token 的简单框架，以降低 ViT 知识蒸馏的监督成本，通过掩蔽学生注意力最低的 patch，可节省高达 50% 的教师 FLOPs 且不损失学生准确率。
2024-09-27 cs.CV cs.LG
Getting Space Right: Agentic Rewards for Image Generation
Southeast University（东南大学）；Tencent HY（腾讯HY）；UC Merced（加州大学默塞德分校）；Tsinghua University（清华大学）
针对空间文本到图像生成中RL方法的域内增益、域外退化问题，提出含SpatialCritic与课程学习的框架，在SpaRW-Eval上以小模型实现超越大模型的验证准确率，提升了两类基准的图像生成性能
2026-10-14 cs.AI cs.CV
Hyper-STTN: Hypergraph Augmented Spatial-Temporal Transformer Network for Trajectory Prediction
School of Applied and Creative Computing, Purdue University（普渡大学应用与创意计算学院）；Department of Computer Science and Department of Intelligent Systems Engineering, Indiana University Bloomington（印第安纳大学布卢明顿分校计算机科学系和智能系统工程系）；Department of Applied Artificial Intelligence, Sungkyunkwan University（成均馆大学应用人工智能系）
本文提出Hyper-STTN，通过构建多尺度超图和时空变换器，有效建模人群轨迹预测中的群体和个体交互，实验表明其优于现有方法。
2026-03-20 cs.CV cs.LG
