Self-supervised Graph Transformer with Contrastive Learning for Brain Connectivity Analysis towards Improving Autism Detection
University of Arizona（亚利桑那大学）；Children's National Hospital（儿童国家医院）；Imperial College London（伦敦帝国学院）
本文提出一种结合对比学习与随机图改变的自监督图Transformer框架，通过脑网络Transformer编码器分析fMRI数据，在ABIDE数据集上实现82.6 AUROC和74%准确率，显著提升了自闭症检测性能。
2025-01-18 cs.AI cs.LG
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research（Declic人工智能研究院）；CESI LINEACT Laboratory（CESI LINEACT实验室）；Université Paris-Est（巴黎东部大学）；UPEC（巴黎第十二大学）
本文提出一种集成生成式自监督学习（SSL）与残差图Transformer的前沿方法，通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号，在多数据集上持续优于基线方法，增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
自监督学习（SSL）方法（如掩蔽语言建模）通过预训练用于各种自然语言处理任务的Transformer模型而显示出巨大的性能增益。后续研究采用了类似的方法，如视觉Transformer中的掩码图像建模，并证明了图像分类任务的改进。对于目标检测Transformers（DETR，可变形DETR），没有详尽地研究这种简单的自监督方法，因为它们的Transformer编码器模块在卷积神经网络（CNN）提取的特征空间中而不是像一般的视觉Transformer那样在图像空间中获取输入。然而，CNN特征图仍然保持空间关系，我们利用这一属性来设计自监督学习方法，以在预训练和多任务学习设置中训练目标检测Transformers的编码器。我们探讨了常用的基于图像重建、掩码图像建模和拼图的自监督方法。在iSAID数据集中的初步实验表明，在预训练和多任务学习设置中，DETR在初始阶段的收敛速度更快;然而，在使用可变形DETR的多任务学习中没有观察到类似的改进。我们用DETR和可变形DETR进行实验的代码可分别在https://github.com/gokulkarthik/detr和https://github.com/gokulkarthik/Deformable-DETR上获得。
2022-05-11 cs.AI cs.CV cs.LG
Semi-supervised Vision Transformers at Scale
AWS AI Labs（亚马逊云科技人工智能实验室）
我们研究半监督学习（SSL）的视觉Transformer（ViT），尽管广泛采用的ViT架构不同的任务，一个未充分探讨的话题。为了解决这个问题，我们提出了一个新的SSL管道，包括第一个非/自我监督的预训练，其次是监督微调，最后是半监督微调。在半监督微调阶段，我们采用指数移动平均（EMA）-教师框架，而不是流行的FixMatch，因为前者更稳定，并提供更高的精度为半监督视觉Transformer。此外，我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签，以改进正则化，这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法，被称为半ViT，实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势，可以轻松扩展到大尺寸模型，并提高精度。例如，Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率，这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis
Vanderbilt University（范德堡大学）；NVIDIA（英伟达）
视觉Transformer（ViT）在全局和局部表示的自监督学习中表现出出色的性能，这些表示可以转移到下游应用程序。受这些结果的启发，我们引入了一个新的自监督学习框架与定制的代理任务的医学图像分析。具体而言，我们建议：（i）一种新的基于3D变换器的模型，称为Swin UNEt Transformers（Swin UNETR），具有用于自我监督预训练的分层编码器;（ii）定制的代理任务，用于学习人体解剖学的基本模式。我们在来自各种身体器官的5，050个公开的计算机断层扫描（CT）图像上成功地对所提出的模型进行了预训练。我们的方法的有效性是通过微调预训练模型的超越颅骨拱顶（BTCV）分割挑战与13个腹部器官和分割任务从医学分割十项全能（MSD）数据集。我们的模型目前在MSD和BTCV数据集的公共测试排行榜上都是最先进的（即排名第一）。代码：https://monai.io/research/swin-unetr
2022-03-28 cs.AI cs.CV cs.LG
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay（巴黎-萨克雷大学）；CEA（法国原子能委员会）；LIST（信息系统技术与软件实验室）；Normandie Univ（诺曼底大学）；INSA Rouen（鲁昂国立应用科学学院）；LITIS（信息技术与信息系统实验室）
本文提出COMEDIAN流程，通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位，在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
自监督学习方法在计算机视觉中获得越来越多的关注，这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理（NLP）中，自监督学习和Transformers已经是首选的方法。最近的文献表明，Transformers在计算机视觉中也变得越来越流行。到目前为止，视觉Transformer已经被证明在使用大规模监督数据或某种共同监督（例如，在教师网络方面）进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中，我们调查的优点自监督学习预训练图像/视觉Transformer，然后使用它们的下游分类任务。我们提出了自监督视觉Transformer（SiT），并讨论了几种自监督训练机制，以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明，预训练的SiT可以在小规模数据集上进行下游分类任务的微调，这些数据集由几千张图像组成，而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习，并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Weakly-supervised Knowledge Graph Alignment with Adversarial Learning
Montréal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；University of Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院（CIFAR））
本文研究了来自不同来源或语言的知识图谱的对齐问题。现有的对齐方法大多采用有指导的方法进行训练，这通常需要大量的对齐知识三元组。然而，这样大量的对齐的知识三元组在许多领域中可能是不可用的或者获得起来是昂贵的。因此，在本文中，我们建议研究以完全无监督或弱监督的方式对齐知识图谱，即，没有或只有几个对齐的三联体。我们提出了一个无监督的框架，使不同知识图谱的实体和关系嵌入与对抗学习框架对齐。此外，一个正则化项，最大化的知识图谱的嵌入之间的互信息被用来减轻模式坍塌的问题时，学习对齐功能。这样的框架可以通过利用有限数量的对齐三元组作为指导来进一步与现有的监督方法无缝集成。在多个数据集上的实验结果证明了该方法在无监督和弱监督环境下的有效性。
2019-07-06 cs.AI cs.LG stat.ML
On the Alignment Between Supervised and Self-Supervised Contrastive Learning
Department of Computer Science and Engineering（计算机科学与工程系）；Texas A&M University（德克萨斯农工大学）
本文研究自监督对比学习（CL）与监督替代损失（NSCL）在表示层面的对齐，证明其相似性矩阵在现实条件下保持接近，并指出参数空间耦合不稳定，实验验证对齐随规模和温度增强。
2025-10-09 cs.LG
Masked Self-Supervised Pre-Training for Text Recognition Transformers on Large-Scale Datasets
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
本文提出掩码自监督预训练方法，通过逐步增加掩码概率并改进损失函数，在5000万未标注文本行上预训练文本识别Transformer，显著降低字符错误率（最高相对降低30%），性能与迁移学习相当且无需额外标注数据。
2025-03-28 cs.AI cs.CV cs.LG
Efficient Self-supervised Vision Transformers for Representation Learning
Microsoft Research（微软研究院）；Microsoft Cloud + AI（微软云计算与人工智能部门）
本文研究了两种技术，开发有效的自我监督视觉Transformer（EsViT）的视觉表示学习。首先，我们通过一个全面的实证研究表明，多阶段架构与稀疏的自我注意力可以显着降低建模的复杂性，但失去了捕捉图像区域之间的细粒度对应的能力的成本。其次，我们提出了一个新的区域匹配的预训练任务，它允许模型捕获细粒度的区域依赖关系，从而显着提高了学习的视觉表示的质量。我们的研究结果表明，结合这两种技术，EsViT在ImageNet线性探针评估中达到了81.3%的top-1，优于现有技术，吞吐量高出一个数量级。当转移到下游线性分类任务时，EsViT在18个数据集中的17个数据集上的表现优于其监督对手。代码和模型可在https://github.com/microsoft/esvit上公开获取
2022-07-06 cs.AI cs.CV cs.LG
Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers
LINE Corporation（LINE公司）
本文提出了一种新的标签同步语音到文本对齐技术的自动语音识别（ASR）。语音到文本对齐是将具有未对齐的转录本的长音频记录分割成语音和文本的话语对的问题。与传统的基于帧同步预测的方法不同，该方法将语音到文本对齐重新定义为标签同步文本映射问题。这使得能够实现准确的对齐，受益于最先进的基于注意力的编码器-解码器模型的强推理能力，这不能应用于传统方法。两种不同的Transformer模型，即前向Transformer和后向Transformer，分别用于基于教师强迫的句尾预测来估计给定语音段的初始和最终标记。使用语料库的自发日语（CSJ）的实验表明，所提出的方法提供了一个准确的话语明智的对齐，匹配手动注释对齐的误差只有0.2%。实验结果表明，基于Transformer的CTC/Attention ASR混合模型将对齐后的语音和文本对作为额外的训练数据，可以将字符错误率降低到59.0%，明显优于基于连接主义时间分类模型的传统对齐方法的39.0%。
2021-04-21 cs.LG cs.SD eess.AS
Semi-Supervised Learning by Label Gradient Alignment
OpenAI；University of Waterloo（滑铁卢大学）
我们提出了标签梯度对齐，半监督学习的一种新的算法，该算法为未标记的数据输入标签，并在输入的标签上进行训练。我们通过将点（x，y）映射到模型在（x，y）处的梯度，在输入空间上定义一个语义上有意义的距离度量。然后，我们制定了一个优化问题，其目标是最小化在这个空间中的标记和未标记的数据之间的距离，我们解决它的梯度下降的估算标签。我们使用Oliver等人（2018）引入的标准化架构评估标签梯度对齐，并在半监督CIFAR-10分类中展示了最先进的准确性。
2019-02-06 cs.LG stat.ML
A Self-supervised Method for Entity Alignment
实体对齐是构建大规模知识图的基本问题，其目的是在不同的知识图谱中识别等价实体。在其发展过程中，监督一直被认为是必要的，以准确的路线。受自监督学习最新进展的启发，我们探讨了实体对齐可以在多大程度上摆脱监督。用于此任务的现有监督方法集中于将每对正（标记）实体彼此靠近。然而，我们的分析表明，实体对齐的学习实际上可以从将采样（未标记）的负推得更远而不是将正对齐对拉得更近中受益。我们提出SelfKG利用这一发现，设计一个跨两个KG的对比学习策略。在基准数据集上进行的大量实验表明，没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明，自监督学习为KG中的实体对齐提供了巨大的潜力。
2021-08-25 cs.CL cs.IR cs.LG
SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs
Tsinghua University（清华大学）；Bosch Center for AI（博世人工智能中心）
实体对齐是构建网络规模知识图的基本问题，其目的是在不同的知识图谱中识别等价实体。在其发展过程中，标签监督被认为是准确对齐所必需的。受自监督学习最新进展的启发，我们探讨了实体对齐可以在多大程度上摆脱监督。通常，标签信息（正实体对）用于监督将每个正对中的对齐实体拉得更近的过程。然而，我们的理论分析表明，实体对齐的学习实际上可以从推动未标记的负对远离彼此而不是将标记的正对拉近中受益更多。通过利用这一发现，我们开发了实体对齐的自监督学习目标。我们提出了SelfKG的有效策略，以优化这一目标，调整实体没有标签监督。在基准数据集上进行的大量实验表明，没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明，自监督学习为KG中的实体对齐提供了巨大的潜力。代码和数据可在https://github.com/THUDM/SelfKG上获得。
2022-03-02 cs.CL cs.LG
Attention Alignment and Flexible Positional Embeddings Improve Transformer Length Extrapolation
Carnegie Mellon University（卡内基梅隆大学）
本文提出通过温度缩放的注意力对齐策略，缓解T5模型因位置嵌入灵活性导致的注意力分散问题，从而无需微调即可提升其在长上下文任务中的外推能力。
2023-11-15 cs.CL cs.LG
Random Forest-Supervised Manifold Alignment
Brigham Young University（杨百翰大学）
本文提出利用随机森林导出的保几何邻近度作为有监督初始化来改进半监督流形对齐，实验表明该方法能提升跨域特征融合与下游分类准确率，优于单域基线。
2024-11-18 cs.LG stat.ML
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University（克兰菲尔德大学）；University of Liverpool（利物浦大学）
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法，包括无监督学习，半监督学习，自学习，文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题，提出了一种新的、简单的无监督文本分类模型，并利用国际贸易标准分类（SITC）代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词，并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型，我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据，采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明，即使在将训练数据集的大小增加30%之后，非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型（如Transformers）成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer
University of Padova（帕多瓦大学）
视觉Transformer（ViTs）支持在视觉任务中使用Transformer架构，在大数据集上训练时表现出令人印象深刻的性能。然而，在相对较小的数据集上，ViT由于缺乏归纳偏差而不太准确。为此，我们提出了一个简单但仍然有效的自监督学习（SSL）策略来训练ViTs，没有任何外部注释或外部数据，可以显着提高结果。具体来说，我们定义了一组SSL任务的基础上的关系的图像补丁，该模型必须解决之前或联合监督任务。从ViT继承，我们的RelViT模型优化了与图像块相关的Transformer编码器的所有输出令牌，从而在每个训练步骤中利用更多的训练信号。我们在几个图像基准上研究了我们的方法，发现RelViT大幅提高了SSL最先进的方法，特别是在小数据集上。代码可在：https://github.com/guglielmocamporese/relvit.
2022-10-13 cs.CV cs.LG
Transformer-Based Self-Supervised Learning for Emotion Recognition
Orange Labs（橙色实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
为了利用时间序列信号（例如生理信号）的表示，这些表示从整个信号捕获相关信息是必要的。在这项工作中，我们提出了使用基于变换器的模型来处理心电图（ECG）的情感识别。Transformer的注意力机制可用于构建信号的情境化表示，从而赋予相关部分更多重要性。然后，这些表示可以用完全连接的网络进行处理，以预测情绪。为了克服带有情感标签的数据集相对较小的问题，我们采用了自监督学习。我们收集了几个没有情感标签的ECG数据集来预训练我们的模型，然后我们对AMIGOS数据集进行了微调以进行情感识别。我们表明，我们的方法达到了最先进的性能，使用心电图信号AMIGOS的情感识别。更一般地说，我们的实验表明，Transformers和预训练是很有前途的策略与生理信号的情感识别。
2022-06-03 cs.AI cs.LG eess.SP
Forest-Guided Semantic Transport for Label-Supervised Manifold Alignment
Department of Mathematics and Statistics, Université de Montréal, Montreal, Canada（蒙特利尔大学数学与统计学系）；Mila - Quebec AI Institute, Montreal, Canada（魁北克人工智能研究所）；Department of Mathematics and Statistics, Utah State University, Logan, Utah, USA（犹他州立大学数学与统计学系）；Department of Statistics, Brigham Young University, Provo, Utah, USA（Brigham Young 大学统计学系）
FoSTA通过森林引导的语义传输对齐方法，提升多模态数据对齐和标签转移的性能。
2026-09-29 cs.LG
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务，由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文，这转化为在下游任务（如问答）中的性能提高。在这项工作中，我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频，视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明，与基线相比，这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Exploring Sequence Feature Alignment for Domain Adaptive Detection Transformers
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）；Nanyang Technological University（南洋理工大学）
针对检测Transformer跨域性能不足的问题，提出序列特征对齐（SFA）方法，含DQFA与TDA模块及二分匹配一致性损失，在三个基准上优于现有域自适应目标检测方法。
2026-11-05 cs.CV cs.LG
PARSE: Pairwise Alignment of Representations in Semi-Supervised EEG Learning for Emotion Recognition
Queen’s University（女王大学）；Ingenuity Labs Research Institute（英格纽蒂实验室研究院）
我们提出了PARSE，一种新的半监督架构，用于学习情绪识别的强EEG表示。为了减少大量未标记数据和有限标记数据之间的潜在分布不匹配，PARSE使用成对表示对齐。首先，我们的模型执行数据增强，然后对大量原始和增强的未标记数据进行标签猜测。然后，对猜测的标签进行锐化，并对未标记数据和标记数据进行凸组合。最后，表示对齐和情感分类。为了严格测试我们的模型，我们将PARSE与我们实现并适应EEG学习的几种最先进的半监督方法进行了比较。我们在四个公开的基于EEG的情感识别数据集上进行了这些实验，这些数据集是SEED，SEED-IV，SEED-V和AMIGOS（效价和唤醒）。实验表明，我们提出的框架在SEED、SEED-IV和AMIGOS（效价）中使用不同数量的有限标记样本实现了总体最佳结果，同时在SEED-V和AMIGOS（唤醒）中接近总体最佳结果（达到第二好）。分析表明，我们的成对表示对齐大大提高了性能，通过减少未标记和标记数据之间的分布对齐，特别是当每个类只有1个样本被标记。
2022-09-26 cs.LG
Self-Supervised Transformers for fMRI representation
Tel Aviv University（特拉维夫大学）
我们提出的TFF，这是一个Transformer框架的功能磁共振成像（fMRI）数据的分析。TFF采用两阶段培训方法。首先，将自监督训练应用于fMRI扫描的集合，其中训练模型以重建3D体积数据。其次，预训练的模型在特定任务上进行微调，使用地面真实标签。我们的研究结果显示了各种功能磁共振成像任务的最新表现，包括年龄和性别预测，以及精神分裂症识别。我们的代码的培训，网络架构和结果作为补充材料。
2022-08-13 cs.CV cs.LG eess.IV
Alignment-Guided Flow Transformer for Efficient Vision-Language-Action Policy Learning
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Nanyang Technological University（南洋理工大学）
提出AGFT框架，通过显式三模态对齐损失和流匹配目标，解决VLA模型视觉-语言-动作错位问题，在基准上实现更高成功率和更低推理延迟。
2026-09-30 cs.LG
Attention-Only White-Box Transformer via LeJEPA-Based Self-Supervised Pretraining
本研究提出基于LeJEPA自监督预训练的仅注意力白盒Transformer，减少约31%参数，在CIFAR-10、CIFAR-100上实现与原模型相当的准确率，还发现标准ViT中MLP模块存在冗余。
2026-08-06 cs.LG
Keep It SimPool: Who Said Supervised Transformers Suffer from Attention Deficit?
National Technical University of Athens（雅典国立技术大学）；Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究所（IARAI））
针对监督视觉Transformer注意力图质量低的问题，提出通用基于注意力的池化机制SimPool，无需修改架构或显式损失，即可在监督和自监督下提升性能并生成高质量物体边界注意力图。
2023-09-13 cs.CV cs.LG
Towards Weakly-Supervised Text Spotting using a Multi-Task Transformer
AWS AI Labs（亚马逊云科技人工智能实验室）
由于联合优化文本检测和识别组件的好处，文本定位端到端方法最近在文献中获得了关注。现有的方法通常在检测和识别分支之间有明显的分离，这两个任务需要精确的注释。我们介绍TextTranSpotter（TTS），一种基于transformer的文本识别方法和第一个文本识别框架，它可以用完全和弱监督设置进行训练。通过学习每个单词检测的单个潜在表示，并使用基于匈牙利损失的新型损失函数，我们的方法消除了对昂贵的本地化注释的需求。在真实数据上仅使用文本转录注释进行训练，我们的弱监督方法与以前最先进的全监督方法相比具有竞争力的性能。当以完全监督的方式进行训练时，TextTranSpotter在多个基准测试中显示了最先进的结果。
2022-02-14 cs.CL cs.CV cs.LG
VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text
Columbia University（哥伦比亚大学）；Google（谷歌）；Cornell University（康奈尔大学）
我们提出了一个框架，学习多模态表示从未标记的数据使用卷积自由Transformer架构。具体来说，我们的视频-音频-文本Transformer（VATT）将原始信号作为输入，并提取多模态表示，这些表示足够丰富，可以使各种下游任务受益。我们使用多模态对比损失从头开始训练VATT端到端，并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务来评估其性能。此外，我们研究了一个模态不可知的，单骨干Transformer共享三个模态之间的权重。我们证明了无卷积VATT在下游任务中的性能优于最先进的基于ConvNet的架构。特别是，VATT的视觉Transformer在Kinetics-400上达到了82.1%的顶级准确率，在Kinetics-600上达到了83.6%，在Kinetics-700上达到了72.7%，在Moments in Time上达到了41.1%，这些都是新的记录，同时避免了监督式的预训练。转移到图像分类导致ImageNet上的top-1准确率为78.7%，而从头开始训练相同的Transformer的准确率为64.7%，这表明尽管视频和图像之间存在领域差距，但我们的模型具有普遍性。VATT的音频Transformer还在基于波形的音频事件识别方面创造了新纪录，在AudioSet上实现了39.4%的mAP，而无需任何监督的预训练。VATT的源代码是公开的。
2021-12-07 cs.AI cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
An Empirical Study of Training Self-Supervised Vision Transformers
Facebook AI Research (FAIR)（脸书人工智能研究院）
本文没有描述一种新方法。相反，鉴于计算机视觉的最新进展，它研究了一个简单的，增量的，但必须知道的基线：视觉Transformer（ViT）的自监督学习。虽然标准卷积网络的训练方法已经非常成熟和强大，但ViT的方法还有待建立，特别是在训练变得更具挑战性的自监督场景中。在这项工作中，我们回到基础知识，并研究了几个基本组成部分对训练自我监督ViT的影响。我们观察到，不稳定性是降低准确性的主要问题，并且它可以被表面上良好的结果所隐藏。我们发现，这些结果确实是部分失败的，他们可以得到改善时，培训更加稳定。我们在MoCo v3和其他几个自监督框架中对ViT结果进行了基准测试，并在各个方面进行了消融。我们讨论了目前的积极证据以及挑战和开放的问题。我们希望这项工作将为未来的研究提供有用的数据点和经验。
2021-08-16 cs.CV cs.LG
DSFormer: A Dual-domain Self-supervised Transformer for Accelerated Multi-contrast MRI Reconstruction
Yale University（耶鲁大学）；New York University（纽约大学）；Hyperfine Research（Hyperfine研究公司）
多对比度MRI（MC-MRI）可捕获多种互补成像模式，以辅助放射学决策。鉴于需要降低多次采集的时间成本，当前的深度加速MRI重建网络专注于利用多次对比之间的冗余。然而，现有的工作主要是监督配对数据和/或昂贵的全采样MRI序列。此外，重建网络通常依赖于卷积架构，其在对远程相互作用进行建模的能力方面受到限制，并且可能导致精细解剖细节的次优恢复。为此，我们提出了一个双域自监督Transformer（DSFormer）加速MC-MRI重建。DSFormer开发了一种深度条件级联Transformer（DCCT），由几个级联的Swin Transformer重建网络（SwinRN）组成，在两种深度条件策略下进行训练，以实现MC-MRI信息共享。我们进一步提出了一个双域（图像和k空间）的DCCT自监督学习策略，以减轻获取完全采样的训练数据的成本。DSFormer生成高保真重建，在实验上优于当前的全监督基线。此外，我们发现DSFormer在完全监督或我们提出的双域自监督下训练时达到了几乎相同的性能。
2022-08-17 cs.CV cs.LG eess.IV
Inverse Compositional Spatial Transformer Networks
The Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们建立了经典的卢卡斯和Kanade（LK）算法和空间Transformer网络（STNs）的新兴话题之间的理论联系。STNs是视觉和学习社区感兴趣的，因为它们具有在同一理论框架内结合对齐和分类的天然能力。受LK算法的逆合成（IC）变体的启发，我们提出了逆合成空间Transformer网络（IC-STNs）。我们证明了IC-STNs可以比传统的STNs实现更好的性能，模型容量更少;特别是，我们在纯图像对齐任务以及现实世界问题的联合对齐/分类问题中表现出卓越的性能。
2016-12-12 cs.CV cs.LG
Adapting Self-Supervised Vision Transformers by Probing Attention-Conditioned Masking Consistency
Georgia Institute of Technology（佐治亚理工学院）
视觉领域自适应（DA）试图将训练的模型转移到分布偏移中看不见的未标记域，但方法通常专注于适应用监督ImageNet表示初始化的卷积神经网络架构。在这项工作中，我们将重点转移到适应对象识别的现代体系结构-越来越受欢迎的视觉Transformer（ViT）-以及基于自监督学习（SSL）的现代预训练。受最近SSL方法设计的启发，该方法基于从通过掩蔽或裁剪生成的部分图像输入中学习-无论是通过学习预测丢失的像素，还是学习对这种增强的代表性不变性-我们提出了PACMAC，一种简单的两阶段自适应算法，用于自监督ViTs。PACMAC首先对合并的源和目标数据执行域内SSL，以学习任务区分特征，然后在通过新型注意力条件掩蔽策略生成的一组部分目标输入中探测模型的预测一致性，以识别可靠的候选者进行自我训练。我们简单的方法导致了一致的性能增益竞争的方法，使用ViTs和自我监督的初始化标准的对象识别基准。代码可在https://github.com/virajprabhu/PACMAC获得
2022-06-16 cs.CV cs.LG
Representation Alignment for Just Image Transformers is not Easier than You Think
本文指出，对于Just Image Transformers（JiT）而言，传统的REPA方法在训练过程中表现不佳，导致FID值升高和多样性下降。作者提出PixelREPA方法，通过调整对齐目标并结合掩码变换器适配器，提升了训练收敛性和最终质量。
2026-03-15 cs.CV cs.LG
SentimentArcs: A Novel Method for Self-Supervised Sentiment Analysis of Time Series Shows SOTA Transformers Can Struggle Finding Narrative Arcs
Digital Humanities Colab（数字人文合作实验室）；Integrated Program for Humane Studies（人文研究综合项目）；Kenyon College（凯尼恩学院）
SOTA Transformer和DNN短文本情感分类器在IMDB电影评论等狭窄领域的准确率超过97%。现实世界的性能显着较低，因为传统模型过拟合基准，并且对不同或更开放的领域文本的概括性较差。本文介绍了SentimentArcs，一种新的自监督时间序列情感分析方法，它解决了传统监督情感分析的两个主要局限性：有限的标记训练数据集和泛化能力差。大量不同模型的集合为自监督学习提供了合成的基础事实。新的度量共同优化了在每个可能的语料库中的穷举搜索：模型组合。对语料库和模型的联合优化解决了泛化问题。简单的可视化利用了叙述中的时间结构，因此领域专家可以快速发现趋势，识别关键特征，并注意到数百个弧和数百万个数据点的异常。据我们所知，这是第一个用于时间序列情感分析的自监督方法，也是直接比较长形式叙述的真实世界模型性能的最大调查。
2021-10-18 cs.CL cs.LG
Transformers in Action: Weakly Supervised Action Segmentation
Technische Universität München（慕尼黑工业大学）；Google（谷歌）
视频动作分割任务经常在较弱的监督形式下进行探索，例如转录监督，其中动作列表比密集的帧标签更容易获得。在这个公式中，任务提出了各种挑战的序列建模方法，由于强调动作转换点，长序列长度，和帧上下文，使任务以及Transformers。考虑到使Transformers能够线性扩展的发展，我们通过我们的架构展示了它们如何应用于提高基于RNN的等效模型的动作对齐精度，其中注意力机制专注于突出的动作过渡区域。此外，鉴于最近的重点推理时间的成绩单选择，我们提出了一个补充的成绩单嵌入方法，以选择成绩单更快地在推理时间。此外，我们随后演示了这种方法如何也可以提高整体分割性能。最后，我们在基准数据集上评估了我们提出的方法，以更好地理解Transformers的适用性以及转录本选择在这个视频驱动的弱监督任务中的重要性。
2022-01-20 cs.CV cs.LG
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.（卡考公司）；Kakao Enterprise Corp.（卡考企业公司）
我们提出了联合训练的持续时间通知Transformer（JDI-T），前馈Transformer与持续时间预测器联合训练，没有明确的对齐，以产生一个声学特征序列从输入文本。在这项工作中，受FastSpeech和Durian等持续时间通知网络最近成功的启发，我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说，我们在联合训练期间从自回归Transformer中实时提取音素持续时间，而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知，这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音（KSS）数据集相比，基线文本转语音（TTS）模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Oxford（牛津大学）
自监督视觉表示学习（SSL）的研究提高了编码器的骨干，以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能，但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发，我们提出了一个CNN注意力恢复（CARE）框架，以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流（C-stream）和Transformer流（T-stream）组成，其中每个流包含两个分支。C-stream遵循现有的SSL框架，具有两个CNN编码器，两个投影仪和一个预测器。T-stream包含两个Transformers，两个projector和一个predictor。T-Stream连接到CNN编码器，并与其余的C-Stream并行。在训练过程中，我们同时在两个流中执行SSL，并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强，并且变得适合于SSL场景。我们使用这些调制特征来监督C流，以学习专注的CNN编码器。为此，我们以Transformers为指导，重振CNN的关注。几个标准的视觉识别基准，包括图像分类，目标检测和语义分割的实验表明，所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
TUNet: A Block-online Bandwidth Extension Model based on Transformers and Self-supervised Pretraining
FPT Software（FPT软件公司）；Nanyang Technological University（南洋理工大学）
我们引入了一个块的时间特征线性调制（TFiLM）模型的在线变体，以实现带宽扩展。该架构简化了TFiLM的UNet主干以减少推理时间，并在瓶颈处采用高效的Transformer以缓解性能下降。我们还利用自监督预训练和数据增强来提高带宽扩展信号的质量，并降低对下采样方法的敏感性。在VCTK数据集上的实验结果表明，该方法在侵入性和非侵入性度量方面都优于最近的几个基线。预训练和滤波器增强也有助于稳定和提高整体性能。
2022-06-07 cs.LG cs.SD eess.AS
DINO-CXR: A self supervised method based on vision transformer for chest X-ray classification
Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）
本文提出DINO-CXR，一种基于视觉Transformer的自监督方法，用于胸部X光分类，在肺炎和COVID-19检测中优于现有方法且所需标注数据更少。
2023-08-01 cs.CV cs.LG eess.IV
Supervised Contrastive Vision Transformer for Breast Histopathological Image Classification
Old Dominion University（奥多明尼昂大学）
提出监督对比视觉Transformer（SupCon-ViT），结合预训练ViT与监督对比学习，在乳腺IDC分类中达到SOTA性能（F1=0.8188），并适用于少量标注数据的临床场景。
2024-04-18 cs.CV cs.LG
Understanding and Guiding Weakly Supervised Entity Alignment with Potential Isomorphism Propagation
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Co. LTD（华为公司）
本文从传播视角分析弱监督实体对齐，证明潜在对齐实体具有同构子图，并提出PipEA框架通过潜在同构传播算子提升各类聚合模型的准确率。
2024-10-12 cs.IR cs.LG
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University（上海交通大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Berkeley（加州大学伯克利分校）
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难，我们开发了一个多模态对齐框架（MAF），以利用更广泛可用的标题图像数据集，然后可以用作弱监督的形式。我们首先提出的算法，利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标，我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明，与现有的弱监督方法相比，该方法有显着的改进。在视觉感知语言表示的帮助下，我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究，以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis
Zhejiang University（浙江大学）；ByteDance（字节跳动）；Inner Mongolia University（内蒙古大学）
本文提出MegaTTS 3，通过稀疏对齐算法引导潜扩散变换器，实现高质量零样本语音合成，支持口音强度灵活控制，仅需8步采样即可生成一分钟语音。
2025-03-28 cs.LG cs.SD eess.AS
Self-supervised speech representation learning for keyword-spotting with light-weight transformers
Amazon（亚马逊）
自监督语音表示学习（S3RL）正在彻底改变我们利用不断增长的数据可用性的方式。虽然S3RL相关研究通常使用大型模型，但我们采用轻量级网络来满足计算受限设备的内存要求。我们通过使用具有330k参数的Transformers来证明S3RL在关键词定位（KS）问题上的有效性，并提出了一种增强话语区分的机制，这对于提高分类任务的性能至关重要。在Google语音命令v2数据集上，应用于自回归预测编码S3RL的方法与从头开始训练相比，准确率提高了1.2%。在具有四个不同关键字的内部KS数据集上，它在固定的错误拒绝率下提供了6%至23.7%的相对错误接受改善。我们认为，这表明了S3RL方法的适用性，轻量级模型KS和确认S3RL是一个强大的替代传统的监督学习资源受限的应用程序。
2023-03-07 cs.LG cs.SD eess.AS
Supervised Hyperalignment for multi-subject fMRI data alignment
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Alberta（阿尔伯塔大学）；Purdue University Fort Wayne（普渡大学韦恩堡分校）；Manchester Metropolitan University（曼彻斯特城市大学）
超对齐已广泛应用于多变量模式（MVP）分析中，以基于多学科功能磁共振成像（fMRI）数据集发现人脑的认知状态。大多数现有的HA方法利用无监督的方法，其中它们仅最大化在时间序列中具有相同位置的体素之间的相关性。然而，这些无监督的解决方案可能不是最佳的处理监督MVP问题中的功能对齐。本文提出了一种监督超对齐（SHA）方法，以确保更好的MVP分析的功能对齐，其中所提出的方法提供了一个监督共享空间，可以最大限度地提高属于同一类别的刺激之间的相关性，并最小化不同类别的刺激之间的相关性。此外，SHA采用广义优化解决方案，该解决方案在单次迭代中生成共享空间并计算映射特征，因此对于大型数据集具有最佳的时间和空间复杂度。在多主题数据集上的实验表明，SHA方法在多类问题上的性能比现有的HA算法提高了19%。
2020-01-09 cs.LG q-bio.NC stat.ML
Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition
University of Bristol（布里斯托大学）
Wi-Fi信号的普及为医疗保健等领域的人类感知和活动识别提供了重要机会。最常用于无源Wi-Fi感测的传感器基于无源Wi-Fi雷达（PWR）和信道状态信息（CSI）数据，然而，当前系统不能有效地利用通过多个传感器获取的信息来识别不同的活动。在本文中，我们探索新的性能的Transformer架构的多模态传感器融合。我们研究了不同的信号处理技术，从PWR和CSI数据中提取多个基于图像的特征，如频谱图，尺度图和马尔可夫转移场（MTF）。首先，我们提出了融合Transformer，注意力为基础的多模态和多传感器融合模型。实验结果表明，我们的融合Transformer的方法可以实现有竞争力的结果相比，ResNet架构，但更少的资源。为了进一步改进我们的模型，我们提出了一个简单有效的多模态和多传感器自监督学习（SSL）框架。自监督Fusion Transformer的性能优于基线，达到了95.9%的F1分数。最后，我们展示了这种方法在使用1%（2分钟）到20%（40分钟）的标记训练数据进行训练时，如何显着优于其他方法。
2022-08-15 cs.CV cs.HC cs.LG
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh（爱丁堡大学信息学院 speech 技术研究中心）
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而，由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应，并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何，注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中，我们将注意力权重和对齐之间的对应关系视为一个学习问题，通过施加监督注意力损失。实验已经显示出显着的改进性能，这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
Property Neurons in Self-Supervised Speech Transformers
National Taiwan University（台湾大学）；University of Edinburgh（爱丁堡大学）
本文在自监督语音Transformer的前馈层中识别属性神经元，并证明在剪枝时保护这些神经元比基于范数的剪枝更有效，从而提升下游性能。
2024-09-20 cs.CL cs.LG cs.SD
