Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer
Korea University（高丽大学）
本文提出SpecAugment-Patch Merging方法，通过掩蔽并合并补丁对减少AST处理的令牌数，在几乎不损失准确率（AudioSet mAP 34.07→34.08）的情况下提升吞吐量13.9%，实现高效训练。
2026-09-15 cs.LG cs.SD eess.AS
Masked Hard-Attention Transformers Recognize Exactly the Star-Free Languages
University of Notre Dame（圣母大学）；Yale University（耶鲁大学）
该研究通过形式语言识别刻画硬注意力掩码Transformer的表达能力，证明严格掩码无位置嵌入时其等价于定义无星语言的LTL，并借助Boolean RASP中间语言分析了位置嵌入等因素对表达能力的提升作用。
2024-10-30 cs.FL cs.LG cs.LO
VISION DIFFMASK: Faithful Interpretation of Vision Transformers with Differentiable Patch Masking
University of Amsterdam（阿姆斯特丹大学）
本文提出VISION DIFFMASK，一种利用隐藏层激活和门控机制识别视觉Transformer最小关键输入子集的事后可解释性方法，并在CIFAR-10和ImageNet-1K上验证了其忠实性。
2023-04-13 cs.AI cs.CV cs.LG
Fast Training of Diffusion Transformer with Extreme Masking for 3D Point Clouds Generation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；TUM（慕尼黑工业大学）
针对高分辨率3D体素扩散模型训练成本过高的问题，提出FastDiT-3D，通过体素感知掩码策略和MoE机制，在近99%掩码率下实现SOTA生成效果，训练成本仅为原方法的6.5%。
2023-12-12 cs.AI cs.CV cs.LG
What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs? A Study with Tabula RASA
ETH Zurich（苏黎世联邦理工学院）
通过最小化Transformer修改的消融实验，发现稀疏邻接掩码是驱动多跳推理的主要结构归纳偏置，而关系参数贡献有限。
2026-06-03 cs.AI cs.LG
How to Mask in Error Correction Code Transformer: Systematic and Double Masking
Seoul National University（首尔大学）；University of Ulsan（蔚山大学）；Sungkyunkwan University（成均馆大学）；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
针对提升纠错码Transformer（ECCT）解码性能的问题，提出系统化掩码矩阵和双重掩码ECCT架构两种方法，通过优化掩码设计学习更多样化的码字比特关系特征，最终以显著优势取得当前最优解码性能。
2023-08-25 cs.AI cs.IT cs.LG
Retentive Decision Transformer with Adaptive Masking for Reinforcement Learning based Recommendation Systems
The University of New South Wales（新南威尔士大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
本文提出一种新的离线RLRS方法，通过自适应掩码配置将序列决策建模为推理任务，并引入多尺度分段保留机制高效处理长序列，显著提升了计算效率与推荐性能。
2024-03-26 cs.IR cs.LG
From block-Toeplitz matrices to differential equations on graphs: towards a general theory for scalable masked Transformers
Google Brain Robotics（谷歌大脑机器人部门）；Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Google Research（谷歌研究院）；The Alan Turing Institute（艾伦·图灵研究所）；Google（谷歌）
在本文中，据我们所知，我们提供了第一种全面的方法，用于以可扩展的方式将各种掩蔽机制整合到Transformers架构中。我们表明，最近的结果线性因果注意（Choromanski等人，2021）和对数线性RPE-注意（Luo等人，2021）是这一一般机制的特例。然而，通过铸造的问题作为一个拓扑（基于图形）调制的未掩蔽的注意，我们得到了一些结果未知的，包括有效的d维RPE掩蔽和图形内核掩蔽。我们利用许多数学技术，从频谱分析，通过动态规划和随机游走的新算法解决图上的马尔可夫过程。我们提供了相应的实证评价。
2023-03-28 cs.AI cs.LG
DDT: A Dual-Masking Dual-Expert Transformer for Energy Time-Series Forecasting
School of Informatics (National Characteristic Demonstration Software School), Xiamen University, Xiamen, China（信息学院（国家级特色软件示范学校）、厦门大学、厦门，中国）；Key Laboratory of Southeast Coast Marine Information Intelligent Perception and Application, Ministry of Natural Resources, Zhangzhou, 363000, China（东南沿海海洋信息智能感知与应用重点实验室、自然资源部、漳州，363000，中国）；School of Information Engineering, Changji University, Changji, 831100, China（信息工程学院、昌吉大学、昌吉，831100，中国）
DDT通过双掩码和双专家机制，提升能量时间序列预测的精度与鲁棒性，实现对复杂时间依赖性和多源数据的高效处理。
2026-01-12 cs.AI cs.LG
Contrastive Feature Masking Open-Vocabulary Vision Transformer
Google DeepMind（谷歌DeepMind）
提出CFM-ViT，通过联合图像-文本嵌入空间重建和位置嵌入丢弃，在开放词汇检测中达到最先进性能，同时保持强大的图像级表示。
2023-09-02 cs.AI cs.CV cs.LG
Masked Autoencoder with Swin Transformer Network for Mitigating Electrode Shift in HD-EMG-based Gesture Recognition
Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程学院）；Concordia University（康考迪亚大学）；Nanyang Technological University (NTU)（南洋理工大学）
本文提出MAST框架，通过四种掩码策略与三路径Swin-Unet编码器-解码器结构对HD-sEMG信号进行自监督预训练，有效缓解电极偏移导致的手势识别性能下降。
2024-10-07 cs.AI cs.LG eess.SP
METRIK: Measurement-Efficient Randomized Controlled Trials using Transformers with Input Masking
Princeton University（普林斯顿大学）
针对临床随机对照试验测量成本高的问题，提出METRIK框架，基于带可学习输入掩码的Transformer，仅需少量先验数据即可生成满足设计目标的计划缺失设计，提升采样效率与插补性能。
2024-06-24 cs.LG stat.ME
Word Order Matters when you Increase Masking
École Normale Supérieure-PSL（巴黎高等师范学院-巴黎文理研究大学）；CNRS（法国国家科学研究中心）；U. Sorbonne Nouvelle（新索邦大学）；University of Pisa（比萨大学）
词序是自然语言的一个基本属性，使用位置编码将词序注入到基于transformer的神经语言模型中。然而，最近的实验表明，显式位置编码并不总是有用的，因为一些没有这种功能的模型设法在某些任务上实现了最先进的性能。为了更好地理解这种现象，我们检查了去除位置编码对预训练目标本身的影响（即，掩蔽语言建模），以测试模型是否可以单独从同现重构位置信息。我们通过控制输入句子中的掩蔽标记的数量来实现这一点，作为影响任务位置信息重要性的代理。我们发现，位置信息的必要性随着掩蔽量的增加而增加，并且没有位置编码的掩蔽语言模型无法在任务上重建此信息。这些发现指向掩蔽量和Transformers使用位置编码捕获语言的顺序敏感方面的能力之间的直接关系。
2022-11-08 cs.CL cs.LG cs.NE
TrustEMG-Net: Using Representation-Masking Transformer with U-Net for Surface Electromyography Enhancement
National Taiwan University（台湾大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；National Taiwan University of Science and Technology（台湾科技大学）；Academia Sinica（中央研究院）；Chung Yuan Christian University（中原大学）
针对现有sEMG去噪方法依赖启发式优化、对污染物类型敏感的问题，提出结合U-Net与表征掩码Transformer的TrustEMG-Net去噪模型，在多污染物、多信噪比条件下五项指标最低提升20%，为sEMG应用提供高效鲁棒的通用去噪方案。
2024-10-08 cs.LG eess.SP
VESTIGE: A Knowledge-Guided Masking Strategy for Corruption-Aware Fine-Tuning of Genomic Transformers, Validated on Ancient DNA Reconstruction
该研究提出知识引导的掩码策略 VESTIGE，针对基因组Transformer微调，在古DNA重建任务中，相比标准MLM显著提升性能，且原理可适用于多种降解序列处理场景。
2026-07-31 cs.LG
Towards Flexible Inference in Sequential Decision Problems via Bidirectional Transformers
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
随机掩蔽和预测单词标记已经成为用于各种下游任务的预训练语言模型的成功方法。在这项工作中，我们观察到，同样的想法也自然适用于顺序决策，其中许多经过充分研究的任务，如行为克隆，离线RL，逆动力学和路点条件对应于不同的序列掩码的状态，动作和回报的序列。我们介绍了ESTBIT框架，它提供了一种统一的方式来指定模型，这些模型可以在许多不同的顺序决策任务上进行训练。我们表明，一个单一的BITBIT模型是同时能够执行许多任务的性能类似于或优于专门的模型。此外，我们表明，性能可以进一步提高我们的一般模型上的特定任务的兴趣进行微调。
2022-12-09 cs.LG
Feature-level Interaction Explanations in Multimodal Transformers
University of Alberta（阿尔伯塔大学）
本文提出FL-I2MoE，通过特征级分离独特、协同和冗余证据，提升多模态模型的可解释性，实验表明其在三个基准上表现更优。
2026-06-28 cs.AI cs.LG
Graph Masked Autoencoders with Transformers
University of Technology Sydney（悉尼科技大学）；Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
最近，Transformers在学习图形表示方面表现出了很好的性能。然而，由于深度Transformers很难从头开始训练，加上w.r.t.的二次内存消耗，因此将Transformers应用于现实场景时仍然存在一些挑战。节点的数量。在本文中，我们提出了图掩码自编码器（GMAEs），一个自监督的基于变换的模型学习图表示。为了解决上述两个挑战，我们采用了掩蔽机制和非对称编解码器的设计。具体来说，GMAE以部分掩码图作为输入，并重建掩码节点的特征。编码器和解码器是不对称的，其中编码器是深Transformer，解码器是浅Transformer。掩蔽机制和非对称设计使得GMAE与传统Transformers相比是一种存储效率高的模型。我们表明，当作为一个传统的自监督图表示模型，GMAE实现了最先进的性能在共同的下游评估协议下的图分类任务和节点分类任务。我们还表明，与从头开始的端到端训练相比，我们可以在使用GMAE进行预训练和微调后实现相当的性能，同时简化训练过程。
2022-05-12 cs.IR cs.LG
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST（韩国科学技术院）；AITRICS（艾崔克斯）
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本，这样我们就可以有效地适应特定的目标任务（例如问答）的语言模型。具体而言，我们提出了一种新的基于强化学习的框架，该框架学习掩蔽策略，使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习，并提出了一个基于transformer的策略网络，可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型，通过自动学习最佳自适应掩码，在几个问答和文本分类数据集上验证了我们的神经掩码生成器（NMG），在这些数据集上，它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
STaRFormer: Semi-Supervised Task-Informed Representation Learning via Dynamic Attention-Based Regional Masking for Sequential Data
BMW Group（宝马集团）；University of Glasgow（格拉斯哥大学）
STaRFormer通过动态注意力区域掩码和半监督对比学习，提升序列数据中用户意图预测的准确性与鲁棒性。
2025-11-30 cs.LG
Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers
Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Waymo（Waymo公司）；Peking University（北京大学）；University of Cambridge（剑桥大学）；Alan Turing Institute（阿兰·图灵研究所）
本文提出 FourierLearner-Transformers，通过学习 RPE 的谱表示隐式构造最优相对位置编码，在保持线性注意力与低内存开销的同时支持序列、图像和三维分子等任务。
2024-04-03 cs.LG
A Diffusion Model for Regular Time Series Generation from Irregular Data with Completion and Masking
提出两步框架，先用时间序列Transformer补全不规则数据，再用带掩码的视觉扩散模型生成正则时间序列，实现高效且高质量生成，判别分数提升70%，计算成本降低85%。
2025-10-08 cs.LG
Self-Supervised Learning on Molecular Graphs: A Systematic Investigation of Masking Design
Stony Brook University（石溪大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文系统研究了分子图自监督学习中掩码设计的影响，发现预测目标与编码器架构的协同作用比复杂的掩码分布更为关键，且语义丰富的目标能显著提升下游性能。
2025-12-08 cs.AI cs.LG q-bio.QM
Parity, Sensitivity, and Transformers
CENIA；IPPT PAN；Queen Mary University of London（伦敦大学Queen Mary）
本文研究了变换器计算奇偶性任务的最小层数，证明单层变换器无法解决该任务，而两层变换器可实现，并提出改进的构造方法去除不切实际的假设。
2026-09-09 cs.AI cs.LG
Attention-Only Transformers and Implementing MLPs with Attention Heads
本文证明只要激活函数属于受限类（含SiLU及ReLU和GeLU近似），内部维度为1的掩码注意力头即可实现MLP神经元，从而将标准Transformer转换为仅注意力Transformer，并证明注意力头能分别执行MLP组件及编码任意掩码模式。
2023-09-15 cs.LG
Less Is More -- On the Importance of Sparsification for Transformers and Graph Neural Networks for TSP
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Group Trucks Technology（沃尔沃集团卡车技术部门）
针对机器学习求解TSP时编码器在全图聚合信息的问题，提出图稀疏化与注意力掩码的数据预处理方法及多级集成策略，显著提升了GNN性能，并设计了达到SOTA的transformer编码器，大幅缩小了模型与最优解的差距。
2024-03-25 cs.AI cs.LG
Incremental Transformer Neural Processes
University of Cambridge（剑桥大学）
本文提出增量变换器神经过程（incTNP），通过因果掩码、键值缓存和高效自回归训练策略，在保持预测性能的同时将更新计算复杂度从二次降低到线性，从而在序列推理中实现显著的速度提升，并保持流式推理的一致性。
2026-06-03 cs.LG
Unsupervised pre-training of graph transformers on patient population graphs
Technical University Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
本文提出面向异构多模态临床数据的图 transformer 网络及受 MLM 启发的无监督掩码预训练方法，并在三个医学数据集上验证其自监督与迁移学习收益。
2023-07-17 cs.LG
Representation Learning for Wearable-Based Applications in the Case of Missing Data
本文研究可穿戴设备缺失数据填补的表示学习方法，发现Transformer在变化频繁的信号上优于统计基线，并建议采用混合填补策略以提升下游分类性能。
2024-01-12 cs.AI cs.LG eess.SP
Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget
Sony（索尼）
本研究提出延迟遮蔽策略和合成图像增强，以1890美元成本训练11.6亿参数扩散Transformer，在COCO上实现12.7 FID，成本较现有方法大幅降低。
2024-07-22 cs.AI cs.CV cs.LG
Masking meets Supervision: A Strong Learning Alliance
NAVER AI Lab（NAVER AI实验室）
本文提出掩码子分支（MaskSub）方法，通过主分支与子分支结合及自蒸馏式损失，在监督学习中稳定引入掩码增强，并在多种模型和训练场景下显著提升性能。
2025-03-25 cs.CV cs.LG
Parameter-Efficient Masking Networks
Northeastern University（东北大学）；AInnovation Labs, Inc.（创新奇智实验室公司）；Rochester Institute of Technology（罗切斯特理工学院）
更深的网络结构通常处理更复杂的非线性，并且表现得更有竞争力。如今，高级网络设计通常包含大量重复结构（例如，Transformer）。它们将网络容量提升到一个新的水平，但也不可避免地增加了模型大小，这对模型恢复或传输都是不友好的。在这项研究中，我们首先通过学习不同的掩码来研究具有有限唯一值的固定随机权重的代表性潜力，并引入参数有效掩码网络（PEMN）。这也自然地导致了一种新的范例，用于模型压缩以减小模型大小。具体地说，由于现代神经网络的重复结构，我们利用一个随机初始化层，并配以不同的掩码，来表达不同的特征映射，并表示重复的网络模块。因此，模型可以表示为具有一堆掩码的\textit{one-layer}，这显著地降低了模型存储成本。此外，我们通过学习填充给定随机权重向量的模型的掩码来增强我们的策略。通过这种方式，我们的方法可以进一步降低空间复杂度，特别是对于没有很多重复结构的模型。我们验证了PEMN学习掩码在具有有限唯一值的随机权重上的潜力，并测试了其在基于不同网络架构的新压缩范例中的有效性。代码可在https://github.com/yueb17/PEMN上获得
2022-10-13 cs.LG
Masking Improves Contrastive Self-Supervised Learning for ConvNets, and Saliency Tells You Where
National Yang Ming Chiao Tung University（国立阳明交通大学）；IBM Research（IBM研究院）
本文针对卷积神经网络对比学习中随机掩码可能过度覆盖显著对象的问题，提出引入显著性约束使掩码在前景和背景间均匀分布，并通过掩码大区域显著块构造困难负样本，在多个数据集和任务上验证了方法的优越性。
2024-06-08 cs.AI cs.CV cs.LG
ChronoFormer: Time-Aware Transformer Architectures for Structured Clinical Event Modeling
University of the Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
本文提出时间感知Transformer架构ChronoFormer，通过时间嵌入、分层注意力和领域掩码建模EHR时间依赖，在死亡率、再入院和共病预测任务上超越现有方法。
2025-04-10 cs.AI cs.LG
Introduction to Sequence Modeling with Transformers
Tampere University（坦佩雷大学）
本文面向机器学习工程师，通过逐一添加分词、嵌入、掩码、位置编码和填充等组件，逐步剖析Transformer架构中除注意力外的关键组件，并利用0/1序列阐明其工作机制。
2025-02-26 cs.LG
RelGT-AC: A Relational Graph Transformer for Autocomplete Tasks in Relational Databases
Appsofa LLC（Appsofa公司）
提出RelGT-AC模型，通过列掩码策略、统一任务头和TF-IDF文本编码器，在关系数据库的自动完成任务上优于GraphSAGE基线。
2026-06-02 cs.AI cs.LG
Learning to Estimate Shapley Values with Vision Transformers
University of Washington（华盛顿大学）
Transformers已经成为计算机视觉中的默认架构，但了解是什么驱动了它们的预测仍然是一个具有挑战性的问题。目前的解释方法依赖于注意力值或输入梯度，但这些提供了一个有限的视图模型的依赖关系。Shapley值提供了一个理论上合理的替代方案，但其计算成本使其对于大型高维模型不切实际。在这项工作中，我们的目标是使Shapley值实用的视觉Transformer（ViTs）。要做到这一点，我们首先利用注意力掩蔽方法来评估部分信息的ViTs，然后我们开发了一个程序，通过一个单独的，学习的解释模型生成Shapley值解释。我们的实验将Shapley值与许多基线方法（例如，注意推出，GradCAM，LRP），我们发现我们的方法提供了更准确的解释比现有的方法为ViTs。
2023-03-01 cs.CV cs.LG
Persformer: A Transformer Architecture for Topological Machine Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；L2F SA（L2F公司）
拓扑数据分析（TDA）的主要挑战之一是从持久图中提取机器学习算法直接可用的特征。实际上，持久性图本质上是$\mathbb{R}^2$中的点的（多）集合，并且不能以直接的方式被视为向量。在本文中，我们将介绍$\texttt{Persformer}$，它是第一个接受持久性图作为输入的Transformer神经网络体系结构。$\texttt{Persformer}$架构在经典合成和图形基准数据集上的性能显著优于以前的拓扑神经网络架构。此外，它还满足一个普适逼近定理。这使我们能够介绍拓扑机器学习的第一个可解释性方法，我们在两个例子中探索。
2022-09-26 cs.LG math.AT
Frailty-Aware Transformer for Recurrent Survival Modeling of Driver Retention in Ride-Hailing Platforms
Civil \& Mineral Engineering University of Toronto Toronto, Canada
本文提出一种考虑脆弱性的变换器模型，用于网约车平台司机留存的复发生存建模，通过捕捉长期时间依赖性和司机异质性，提升了风险预测的准确性。
2025-11-25 cs.LG
Clustering in Causal Attention Masking
MIT（麻省理工学院）
本文修改自注意力动力学以适配因果掩码，证明在任意键-查询矩阵和恒等值矩阵下渐近收敛到单聚类，并联系Rényi停车问题探索亚稳态。
2024-11-10 cs.AI cs.LG math.AP
Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation
University of Oxford（牛津大学）；DeepMind（深度思维）
跳过连接和规范化层形成了两个标准架构组件，它们在深度神经网络（DNN）的训练中无处不在，但其确切作用却知之甚少。最近的方法，如Deep Kernel Shaping，已经在减少我们对它们的依赖方面取得了进展，使用宽NN内核理论的见解来改善普通DNN（我们定义为没有跳过或归一化的网络）中的信号传播。然而，这些方法与Transformers中存在的自注意力层不兼容，变压器的内核本质上更复杂，难以分析和控制。所以问题仍然存在：训练深度香草Transformers是可能的吗？我们肯定地回答这个问题，通过设计几种方法，使用参数初始化，偏置矩阵和位置相关的重新缩放的组合，以实现忠实的信号传播香草Transformers。我们的方法解决了Transformers中信号传播的各种复杂性，包括与位置编码和因果掩蔽的相互作用。在WikiText-103和C4上的实验中，我们的方法使没有归一化的深度Transformers能够以与标准对应物匹配的速度进行训练，并且深度香草Transformers在大约5倍的迭代后达到与标准转换器相同的性能。
2023-02-20 cs.AI cs.CL cs.LG
REaLTabFormer: Generating Realistic Relational and Tabular Data using Transformers
The World Bank（世界银行）
表格数据是组织数据的常见形式。多个模型可用于生成观测独立的合成表格数据集，但很少有模型能够生成关系数据集。对关系数据进行建模具有挑战性，因为它需要对“父”表及其跨表的关系进行建模。我们介绍REaLTabFormer（Realistic Relational and Tabular Transformer），一个表格和关系的合成数据生成模型。它首先使用自回归GPT-2模型创建父表，然后使用序列到序列（Seq 2Seq）模型生成以父表为条件的关系数据集。我们实现了目标屏蔽，以防止数据复制，并提出了$Q_δ$统计和统计自举检测过拟合。使用真实世界数据集的实验表明，REaLTabFormer比基线模型更好地捕捉关系结构。REaLTabFormer还可以在预测任务上实现最先进的结果，“开箱即用”，用于大型非关系数据集，而无需微调。
2023-02-04 cs.LG
Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion
University of California, Berkeley（加州大学伯克利分校）
本文提出一种多域傅里叶小波注意力（MDFWA）机制，以次二次复杂度替代Transformer中的自注意力，在PubMed摘要任务上验证了其高效性与表达能力的提升。
2025-04-22 cs.CL cs.LG
Attending to Topological Spaces: The Cellular Transformer
Universitat de Barcelona（巴塞罗那大学）；Universidad de Salamanca（萨拉曼卡大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）；Harvard University（哈佛大学）；Imperial College London（伦敦帝国学院）；University San Francisco（旧金山大学）
本文提出细胞Transformer（CT），将图Transformer推广至细胞复形，利用关联关系与拓扑位置编码，在三个数据集上无需复杂增强即达最先进性能。
2024-05-26 cs.AI cs.CV cs.LG
Pretraining Graph Transformers with Atom-in-a-Molecule Quantum Properties for Improved ADMET Modeling
University of Luxembourg（卢森堡大学）
本文评估了在原子级量子力学特征上预训练 Graph Transformer 对类药化合物 ADMET 建模的影响，发现该策略优于分子量子性质和自监督掩码预训练，能捕获更多低频拉普拉斯特征模态并生成更好的原子环境表示，且在大规模制药数据上表现出良好的泛化性。
2024-10-10 cs.AI cs.LG
Abstain Mask Retain Core: Time Series Prediction by Adaptive Masking Loss with Representation Consistency
Beihang University（北航）；New York University（纽约大学）；Peking University（北京大学）；University of Leeds（利兹大学）
针对时间序列预测中冗余特征损害性能的问题，提出基于信息瓶颈的自适应掩码损失与表示一致性约束方法（AMRC），通过动态掩码抑制冗余学习，显著提升预测精度。
2025-10-22 cs.IT cs.LG math.IT
Uncertainty Estimation of Transformers' Predictions via Topological Analysis of the Attention Matrices
AIRI
针对Transformer语言模型不确定性估计效果不佳的问题，提出从注意力矩阵提取拓扑特征的方法，在相关基准上显著优于现有技术，提供了更高效可解释的解决方案。
2024-09-17 cs.LG
HealthCAT: An Interpretable Encoder-only Transformer Framework for Health Indicator Prediction and Temporal Interpretation of Wearable Sensor Data
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）
本研究提出HealthCAT框架，结合纯编码器Transformer与AttentiveCAT实现可穿戴传感器数据的健康指标预测及时间解释，在两个数据集上的F1分数、准确率优于基线，可支持健康监测等应用。
2026-07-31 cs.AI cs.LG
TabMT: Generating tabular data with masked transformers
Leidos Inc（莱多斯公司）
本文提出 TabMT，一种用于合成表格数据的掩码 Transformer，通过改进掩码技术处理异构与缺失字段，在多规模数据集上达到 SOTA，并实现更优隐私权衡。
2023-12-11 cs.AI cs.LG
TripCast: Pre-training of Masked 2D Transformers for Trip Time Series Forecasting
Trip.com Group（携程集团）
针对旅游业具有前置时间特性的二维出行时间序列，提出 TripCast 建模范式，通过掩码与重建进行二维 Transformer 预训练，在域内和域外预测中取得优异性能。
2024-10-24 cs.AI cs.LG
Model Parallelism With Subnetwork Data Parallelism
Mila；Concordia University（康科迪亚大学）；ISIR-Sorbonne University, CNRS（索邦大学-ISIR与CNRS）
提出子网络数据并行（SDP）框架，通过将模型划分为结构化子网络并在工作节点间独立训练，无需交换激活值，在保持或提升性能的同时显著降低内存占用。
2026-05-31 cs.AI cs.LG
Attention Augmented Convolutional Transformer for Tabular Time-series
Airt Research（Airt研究中心）；Algebra University College（代数大学学院）
时间序列分类是工业数据科学中最常执行的任务之一，工业环境中最广泛使用的数据表示之一是表格表示。在这项工作中，我们提出了一种新的可扩展架构，用于从表格时间序列数据中学习表示，并随后执行下游任务，如时间序列分类。表示学习框架是端到端的，类似于语言建模中的Transformers（BERT）的双向编码器表示，但是，我们引入了适用于时间序列数据预训练的新掩蔽技术。此外，我们还使用了用Transformers增强的一维卷积，并探索了它们的有效性，因为时间序列数据集自然适合一维卷积。我们还提出了一种新的时间戳嵌入技术，这有助于处理在不同的时间粒度级别的周期性周期，和非周期性的趋势存在于时间序列数据。我们提出的模型是端到端的，可以处理分类和连续值输入，并且不需要对连续特征进行任何量化或编码。
2021-10-05 cs.AI cs.LG
Detecting out-of-distribution text using topological features of transformer-based language models
University of Melbourne（墨尔本大学）；Deakin University（迪肯大学）
本研究利用Transformer语言模型自注意力映射的拓扑特征检测分布外文本，在BERT上验证，优于CLS嵌入，尤其擅长区分远域外样本，但近域或同域数据上表现有限。
2024-07-18 cs.CL cs.LG math.AT
