Empirical evaluation of shallow and deep learning classifiers for Arabic sentiment analysis
University of Sharjah（沙迦大学）
这项工作详细比较了深度学习模型的性能，如卷积神经网络（CNN），长短期记忆（LSTM），门控递归单元（GRU），它们的混合体，以及一系列用于阿拉伯语评论情感分析的浅层学习分类器。此外，比较还包括最先进的模型，如Transformer架构和araBERT预训练模型。本研究中使用的数据集是多方言阿拉伯语酒店和书评数据集，这些数据集是阿拉伯语评论的一些最大的公开数据集。结果显示，与文献中报道的类似工作的结果相比，深度学习在二进制和多标签分类方面优于浅层学习。结果的这种差异是由数据集大小引起的，因为我们发现它与深度学习模型的性能成正比。深度和浅层学习技术的性能在准确性和F1得分方面进行了分析。表现最好的浅层学习技术是随机森林，其次是决策树和AdaBoost。使用默认嵌入层的深度学习模型表现相似，而Transformer模型在使用araBERT增强时表现最佳。
2021-12-01 cs.CL cs.LG
T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders
Electrical and Computer Engineering, University of Washington（华盛顿大学电气与计算机工程系）；Applied Mathematics, University of Washington（华盛顿大学应用数学系）；Computer Science & Engineering, University of Washington（华盛顿大学计算机科学与工程系）
T-SHRED通过结合Transformer和符号回归，提升模型正则化和可解释性，适用于不同尺度的混沌系统预测。
2025-12-11 cs.LG
From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When
University of Michigan（密歇根大学）
本研究探讨了在非结构化数据上训练的模型中上下文学习能力的来源，发现共现建模足以实现类比任务，而位置信息对逻辑推理至关重要，并指出了ICL失败的条件。
2024-11-10 cs.CL cs.LG stat.ML
Language Modeling with Deep Transformers
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先，我们回顾专门用于语言建模的Transformer模型配置。我们发现，基于LSTM递归神经网络层的浅栈，配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验，用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型，传统的混合语音识别的格重评分，和子词级模型的注意基于编码器-解码器模型的浅层融合。其次，我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制，它对序列排序是不变的。然而，在自回归设置中，就像语言建模的情况一样，信息量沿着位置维度增加，这本身就是一个位置信号。对注意权重的分析表明，深度自回归自注意模型可以自动利用这种位置信息。我们发现，删除位置编码，甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
Addressing Some Limitations of Transformers with Feedback Memory
Facebook AI Research（脸书人工智能研究院）；LORIA（洛林计算机科学及其应用实验室）
尽管是前馈网络，但Transformers已成功应用于顺序自回归任务。与递归神经网络不同，Transformers在并行处理输入令牌的同时使用注意力来捕获时间关系。虽然这种并行化使它们在计算上高效，但它限制了模型充分利用输入的顺序性质。给定层的表示只能访问来自较低层的表示，而不是已经可用的更高级别的表示。在这项工作中，我们提出了反馈Transformer架构，将所有以前的表示暴露给所有未来的表示，这意味着当前时间步长的最低表示是从过去的最高级别抽象表示形成的。我们在语言建模，机器翻译和强化学习的各种基准测试中证明，增加的表示能力可以创建比同类Transformers性能更强的小而浅的模型。
2021-01-25 cs.CL cs.LG stat.ML
Multimodal data matters: language model pre-training over structured and unstructured electronic health records
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
结构化数据（临床代码）和非结构化数据（临床叙述）作为电子健康记录（EHR）中两种重要的文本形式，近年来越来越多地应用于医疗领域。然而，大多数现有的EHR为导向的研究，要么集中在一个特定的模式或整合数据从不同的方式，在一个简单的方式，通常处理结构化和非结构化数据作为两个独立的信息来源，病人入院，忽略了它们之间的内在相互作用。事实上，这两种模式是在同一次遭遇中记录的，其中结构化数据通知非结构化数据的文档，反之亦然。在本文中，我们提出了一个医疗多模态预训练语言模型，命名为MedM-PLM，学习增强EHR表示结构化和非结构化数据，并探讨两种模式的交互。在MedM-PLM中，首先采用两个基于transformer的神经网络组件来学习每个模态的代表性特征。然后引入一个跨模态模块来模拟它们的相互作用。我们在MIMIC-III数据集上对MedM-PLM进行了预训练，并在三个下游临床任务上验证了模型的有效性，即，用药建议、30天再入院预测和ICD编码。大量的实验证明了MedM-PLM与最先进的方法相比的强大功能。进一步的分析和可视化显示了我们模型的鲁棒性，这可能为临床决策提供更全面的解释。
2022-10-25 cs.CL cs.LG
Coupling Symbolic Reasoning with Language Modeling for Efficient Longitudinal Understanding of Unstructured Electronic Medical Records
Mendel Health Inc.（孟德尔健康公司）
本文提出将符号推理与语言建模相结合，以提升对非结构化电子病历中医学变量的提取效果，并证明免费商用LLMs的检索能力可与商业模型相媲美，同时强调仅靠LLMs性能最低，必须通过符号推理进行引导。
2023-08-07 cs.CL
Training Dynamics of Transformers on Unbounded Inputs: Attention Learning Can Lag Output Layer Learning
Technical University of Munich（慕尼黑工业大学）
该研究针对无界输入下Transformer的训练动力学，发现注意力学习可滞后于输出层学习，提出三阶段梯度下降训练法，验证其在多类任务中有效。
2026-10-14 cs.LG
Learnable Hodge-Laplacian Driven Mixture of Experts for Steady-PDE Surrogates on Coarse Unstructured Meshes
Technical University of Munich（慕尼黑工业大学）；K3Y Labs（K3Y实验室）
针对非结构粗网格稳态偏微分方程代理模型，本文提出基于可学习Hodge-Laplacian的Transformer专家混合架构，在AirFRANS基准上较Transolver显著降低了预测误差。
2026-11-09 cs.CV cs.LG
Thinking Deeper, Not Longer: Memory-Efficient Test-Time Reasoning with Depth-Recurrent Transformers for Compositional Generalization
Computer Science and Information Engineering National Central University（计算机科学与信息工程国家中央大学）
本文提出深度递归变压器，通过在潜在空间中迭代应用共享权重的Transformer块，使模型在推理时能通过增加推理步骤来实现更深层次的推理。在三个组合推理领域中，该方法展示了计算前沿和不同泛化行为。
2026-09-16 cs.AI cs.CL cs.LG
Highway Transformer: Self-Gating Enhanced Self-Attentive Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Pittsburgh（匹兹堡大学）
自我注意力机制在各种序列学习任务中取得了令人瞩目的最新进展，它立足于多头点积注意，关注不同位置的全局情境。通过一个伪信息高速公路，我们引入了一个门控组件的自我依赖单位（SDU），采用LSTM风格的门控单元，以补充内部的语义重要性内的多维潜在空间的个人表示。辅助的基于内容的SDU门允许通过跳过的连接的调制的潜在嵌入的信息流，从而导致利用梯度下降算法的收敛速度的明显裕度。我们可以揭示门控机制的作用，以帮助基于上下文的Transformer模块，假设SDU门，特别是在浅层上，可以在优化过程中更快地推动它走向次优点。
2020-11-24 cs.CL cs.LG
Transformer for Image Quality Assessment
NORCE Norwegian Research Centre（挪威研究中心）；Shenzhen University（深圳大学）
Transformer已成为自然语言处理的新的标准方法，也引起了计算机视觉领域的研究兴趣。本文研究了Transformer在图像质量评价中的应用。在视觉Transformer（ViT）中采用的原始Transformer编码器之后，我们提出了一种在卷积神经网络（CNN）提取的特征图顶部使用浅层Transformer编码器的架构。自适应位置嵌入在Transformer编码器中被采用以处理具有任意分辨率的图像。Transformer体系结构的不同设置已在公开可用的图像质量数据库上进行了研究。我们已经发现，所提出的TRIQ架构实现了出色的性能。TRIQ的实现发布在Github上（https：//github.com/junyongyou/triq）。
2021-01-08 cs.CV cs.LG eess.IV
SuperSAM: Crafting a SAM Supernetwork via Structured Pruning and Unstructured Parameter Prioritization
Iowa State University（爱荷华州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；Intel Labs（英特尔实验室）
本研究针对一次性NAS搜索空间设计难题，提出通过逐层结构化剪枝与参数优先级排序将SAM转化为超网络SuperSAM的策略，所得子网络比原SAM ViT-B小30%-70%且性能更优，为ViT NAS搜索空间设计提供了新方法。
2025-01-15 cs.CV cs.LG
The Optimal BERT Surgeon: Scalable and Accurate Second-Order Pruning for Large Language Models
Institute of Science and Technology Austria（奥地利科学技术研究所）；Neural Magic Inc.（Neural Magic公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于转换器的语言模型已经成为自然语言处理的关键构件。虽然这些模型非常准确，但它们可能太大且计算密集，无法在标准部署上运行。已知各种压缩方法，包括蒸馏、量化、结构化和非结构化修剪，以减小模型大小并提高推理速度，同时具有低精度损失。在这方面，本文的贡献是双重的。我们对BERT模型的非结构化权重修剪的精度-压缩权衡进行了深入研究。我们介绍了最佳BERT外科医生（oBERT），一个有效的和准确的权重修剪方法的基础上近似二阶信息，我们表明，产生国家的最先进的结果在两个阶段的语言任务：预训练和微调。具体而言，oBERT扩展了现有的工作，非结构化的二阶修剪，允许修剪块的权重，并适用于在BERT规模。其次，我们研究了这种修剪方法在复合压缩方法时的影响，以获得高度压缩但准确的模型，用于在边缘设备上部署。这些模型在所有指标方面都大大突破了当前最先进的稀疏BERT模型的界限：模型大小、推理速度和任务准确性。例如，相对于密集BERT库，我们获得了10倍的模型大小压缩（MB），精度下降< 1%，10倍的CPU推理加速，精度下降< 2%，29倍的CPU推理加速，精度下降< 7.5%。我们的代码与Transformers和SparseML完全集成，可以在https://github.com/neuralmagic/sparseml/tree/main/research/optimal_BERT_surgeon_…
2022-10-17 cs.CL cs.LG
Transformative or Conservative? Conservation laws for ResNets and Transformers
ENS-PSL Univ.（巴黎高等师范学院-巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）
本文为卷积ResNet和Transformer推导并分析梯度流训练中的守恒律，证明残差块与无跳跃连接块守恒律相同，并将子集参数守恒律的刻画归结为构建块孤立分析，进而考察其在SGD离散优化下的保持性。
2025-06-06 cs.LG
Combining pre-trained language models and structured knowledge
MIT Media Lab（麻省理工学院媒体实验室）；Dalang Health（大朗健康）
近年来，基于transformer的语言模型在各种NLP基准测试中取得了最先进的性能。这些模型能够从非结构化文本中提取具有一定语义的大部分分布式信息，然而，将结构化信息（例如知识图谱）集成到这些模型中已被证明是具有挑战性的。我们研究了各种方法，将结构化知识集成到当前的语言模型中，并确定了利用结构化和非结构化信息源的挑战和可能的机会。从我们的调查中，我们发现仍然有机会利用基于适配器的注射，并且有可能进一步将各种探索的方法结合到一个系统中。
2021-02-05 cs.CL
Linear attention is (maybe) all you need (to understand transformer optimization)
MIT EECS（麻省理工学院电气工程与计算机科学系）；MIT LIDS（麻省理工学院信息与决策系统实验室）；KAIST（韩国科学技术院）；KAIST ISysE（韩国科学技术院工业系统工程系）；KAIST AI（韩国科学技术院人工智能学院）；MIT CEE（麻省理工学院土木工程与环境工程系）
本研究通过线性化浅层Transformer模型重现训练动态，证明其可作为理解Transformer优化的有效抽象。
2024-03-13 cs.AI cs.LG math.OC
DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams
Aarhus University（奥胡斯大学）；Tampere University（坦佩雷大学）
本文提出DeepCoT，一种无需冗余的编码器注意力机制，适用于现有深度编码器架构，实现线性计算成本，显著提升实时推理效率。
2026-03-31 cs.CL cs.CV cs.LG
Looped Transformers as Programmable Computers
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）
我们提出了一个框架，使用Transformer网络作为通用计算机编程与特定的权重，并把它们放在一个循环。我们的输入序列充当打孔卡，由指令和数据读/写的内存组成。我们证明了一个恒定数量的编码器层可以模拟基本的计算块，包括嵌入编辑操作，非线性函数，函数调用，程序计数器和条件分支。使用这些构建块，我们模拟一个小型的配置集计算机。这允许我们将迭代算法映射到可以由循环的13层Transformer执行的程序。我们展示了这个Transformer如何根据其输入进行指示，可以模拟基本的计算器，基本的线性代数库和采用反向传播的上下文学习算法。我们的工作突出了注意力机制的多功能性，并表明即使是肤浅的Transformers也可以执行成熟的通用程序。
2023-01-30 cs.AI cs.LG
Early-stopping for Transformer model training
School of Mathematics, Shandong University, PR China（山东大学数学学院）；Huawei Technologies Ltd.（华为技术有限公司）；Shandong University-Zhong Tai Securities Institute for Financial Studies（山东大学中泰证券金融研究所）
基于随机矩阵理论，提出Transformer训练早停策略，通过重尾分布和谱签名指标监测模型收敛过程。
2025-12-28 cs.AI cs.LG
Efficient Unstructured Pruning of Mamba State-Space Models for Resource-Constrained Environments
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）；Department of Civil, Construction and Environmental Engineering, Iowa State University（土木、建设与环境工程系，爱荷华州立大学）
针对 Mamba 状态空间模型参数量大、难部署的问题，提出融合梯度幅度、迭代稀疏化与全局分配的非结构化剪枝框架，在多基准上削减最高70%参数并保留95%以上性能。
2025-09-05 cs.CV cs.LG
OPTNet: Ordering Point Transformer Network for Post-disaster 3D Semantic Segmentation
Computer Science and Engineering, Lehigh University, Bethlehem PA 18015, US（计算机科学与工程系，莱维大学，贝特莱姆 PA 18015，美国）；Civil and Environmental Engineering, Lehigh University, Bethlehem PA 18015, US（土木与环境工程系，莱维大学，贝特莱姆 PA 18015，美国）
本文提出OPTNet，一种通过可学习的点排序模块动态预测最优排列以提高注意力机制局部性的网络，用于灾后3D点云语义分割。
2026-05-16 cs.CV cs.LG
GraphMERT: Efficient and Scalable Distillation of Reliable Knowledge Graphs from Unstructured Data
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
本文提出GraphMERT，一种高效的图神经网络模型，通过蒸馏高质量知识图谱提升领域知识的可靠性与有效性。
2026-03-04 cs.AI cs.CL
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University（上海科技大学）
针对扩散Transformer的扩展性问题，提出搭载Expert Race灵活路由策略的Race-DiT模型，结合逐层正则化与路由相似度损失优化专家利用，在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
PMoE: Progressive Mixture of Experts with Asymmetric Transformer for Continual Learning
INFINIQ
本文提出PMoE，通过非对称Transformer中浅层保留通用知识、深层逐步增加专家并由基于深层特征的路由器分配新知识，有效缓解LLM持续学习中的灾难性遗忘，并在多个数据集上超越现有方法。
2024-07-31 cs.AI cs.CL
TransClaw U-Net: Claw U-Net with Transformers for Medical Image Segmentation
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Ryerson University（瑞尔森大学）
近年来，计算机辅助诊断已成为一个越来越热门的话题。基于卷积神经网络的方法在医学图像分割和分类中取得了良好的效果。由于卷积运算的局限性，长期的空间特征往往不能准确地获得。因此，我们提出了一种TransClaw U-Net网络结构，它在编码部分将卷积运算与Transformer运算相结合。卷积部分用于提取浅层空间特征，以便于上采样后图像分辨率的恢复。Transformer部分用于对补丁进行编码，自注意力机制用于获取序列间的全局信息。解码部分保留了底部上采样结构，以获得更好的细节分割性能。在Synapse多器官分割数据集上的实验结果表明，TransClaw U-Net的性能优于其他网络结构。消融实验也证明了TransClaw U-Net的泛化性能。
2021-07-12 cs.AI cs.CV cs.LG
Chain-of-Thought Enhanced Shallow Transformers for Wireless Symbol Detection
Charles L. Brown Department of Electrical and Computer Engineering, University of Virginia, USA（弗吉尼亚大学电气与计算机工程系）；Department of Computer Science, University of Virginia, USA（弗吉尼亚大学计算机科学系）
针对基于 ICL 的无线符号检测 Transformer 模型因深层架构导致高存储与计算开销的问题，提出 CoT 增强浅层框架 CHOOSE，通过在隐藏空间引入自回归潜在推理步骤提升 1-2 层浅模型的推理能力，实现与深模型相当的性能，适用于资源受限的移动设备。
2025-06-26 cs.IT cs.LG eess.SP
Finite-Time Analysis of Gradient Descent for Shallow Transformers
The Ohio State University（俄亥俄州立大学）；RWTH Aachen University（亚琛工业大学）
本文研究了浅层变换器在核域内通过投影梯度下降训练的有限时间性能，发现其宽度需求与样本量呈对数关系，优化误差与序列长度无关，与递归架构形成对比。
2026-04-02 cs.AI cs.LG math.OC
Transformer-based Multi-agent Reinforcement Learning for Separation Assurance in Structured and Unstructured Airspaces
Department of Computer Science George Washington University Washington D.C., United States（计算机科学系乔治·华盛顿大学华盛顿特区，美国）
本文提出基于变换器的多智能体强化学习方法，通过相对极坐标状态空间和改进的编码器架构，实现结构化和非结构化空域中的高效飞机分离保障。
2026-01-07 cs.LG cs.MA cs.RO
A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Michigan State University（密歇根州立大学）；IBM Research（IBM研究院）
本文首次从理论上分析了浅层视觉Transformer（自注意力加两层感知机）的分类学习，刻画了零泛化误差的样本复杂度，证明SGD训练产生稀疏注意力，并表明令牌稀疏化可提升测试性能。
2023-11-12 cs.CV cs.LG stat.ML
Introducing Vision Transformer for Alzheimer's Disease classification task with 3D input
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）
许多高性能分类模型利用复杂的基于CNN的架构进行阿尔茨海默病分类。我们的目标是调查两个相关的问题，关于阿尔茨海默病的分类使用MRI：“做视觉转换器为基础的模型比基于CNN的模型表现更好？以及“是否有可能使用基于CNN的浅三维模型来获得令人满意的结果？“为了实现这些目标，我们提出了两种可以接受和处理3D MRI扫描的模型：卷积体素Vision Transformer（CVVT）架构和ConvNet 3D-4，一种基于浅4块3D CNN的模型。我们的研究结果表明，浅三维CNN为基础的模型是足够的，以实现良好的分类结果阿尔茨海默氏病使用MRI扫描。
2022-10-03 cs.CV cs.LG eess.IV
Mobius Learning: Cyclic Depth Folding in Transformers
Zhejiang University（浙江大学）
研究挑战Transformer中块作用与位置绑定的传统观点，提出基于循环深度折叠的莫比乌斯学习，同一组块在不同数据流中有不同应用时机，实现深度角色叠加，实验表明其在分布式训练中有优势，开辟新设计空间。
2026-07-21 cs.CL cs.DC cs.LG
TinyFusion: Diffusion Transformers Learned Shallow
National University of Singapore（新加坡国立大学）
本文提出 TinyFusion 可学习深度剪枝框架，通过可微采样与模拟微调的协同优化参数，高效获得浅层扩散 Transformer，并在多种架构上以低成本实现优异生成性能。
2024-12-02 cs.AI cs.CV cs.LG
Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers
Tsinghua University（清华大学）；Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）；Peking University（北京大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
针对循环Transformer解码昂贵问题，提出深度异步自推测（DAS），利用值成熟性异步读取前缀，实现4-7倍吞吐提升。
2026-09-29 cs.AI cs.LG
Why "classic" Transformers are shallow and how to make them go deep
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
该研究揭示经典Transformer深度受限源于token相似性攀升问题，提出精准移除过度相似性的新策略，实验验证其在小规模post-norm Transformer中有效。
2024-02-02 cs.AI cs.LG cs.NE
Patient Trajectory Prediction: Integrating Clinical Notes with Transformers
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
针对EHR预测中忽略临床笔记的问题，提出将非结构化笔记整合进Transformer模型，丰富病史表示，提升诊断预测准确性，并在MIMIC-IV上验证优于传统方法。
2025-02-25 cs.LG
Integrating Unstructured Text into Causal Inference: Empirical Evidence from Real Data
Amazon（亚马逊公司）；Stanford University（斯坦福大学）
本文提出利用变压器语言模型从非结构化文本中进行因果推理，通过实证研究验证了非结构化文本在因果推断中的有效性，拓展了因果推理在数据稀缺场景下的应用。
2026-02-15 cs.AI cs.LG
Finite Volume-Informed Neural Network Framework for 2D Shallow Water Equations: Rugged Loss Landscapes and the Importance of Data Guidance
Department of Civil and Environmental Engineering, Pennsylvania State University, University Park, PA, USA（宾夕法尼亚州立大学土木与环境工程系，大学公园，PA，美国）；Institute for Computational and Data Sciences, Pennsylvania State University, University Park, PA, USA（宾夕法尼亚州立大学计算与数据科学研究所，大学公园，PA，美国）
本文提出Data-Guided FVM-PINN框架，通过引入可微的Roe解算器有限体积损失，解决浅水方程中的局部守恒、间断处理和边界适应性问题。实验表明，数据引导显著降低速度场误差，尤其在稀疏数据下效果显著。
2026-05-09 cs.LG
Learning with Shallow Neural Networks on Cluster-Structured Features
Inria（法国国家信息与自动化研究所）
本文研究了簇结构特征中相关性对梯度下降学习样本复杂性的影响，提出可 tractable 模型，证明样本复杂性与隐藏变量数量相关，且在信噪比高时与输入维度无关。
2026-05-14 cs.LG
Multiple Additive Neural Networks for Structured and Unstructured Data
Interdisciplinary Institute for Applied Artificial Intelligence and Data Science（应用人工智能与数据科学跨学科研究所）
本文扩展并解释了多加性神经网络（MANN）方法，通过浅层神经网络替代传统决策树，提升结构化和非结构化数据处理能力，实验表明MANN在准确性上优于XGB等传统方法。
2026-04-29 cs.LG
Mini-Model Adaptation: Efficiently Extending Pretrained Models to New Languages via Aligned Shallow Training
Cohere AI（Cohere人工智能）；University College London（伦敦大学学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI；Reka AI（Reka人工智能）
本文提出迷你模型适配方法，通过构建浅层迷你模型高效训练新语言嵌入，在XNLI、MLQA和PAWS-X上以平均少2.3倍计算量达到标准跨语言迁移性能。
2023-07-04 cs.CL cs.LG
Challenges of Heterogeneity in Big Data: A Comparative Study of Classification in Large-Scale Structured and Unstructured Domains
本研究通过比较结构化和非结构化领域分类策略，揭示了高维空间中线性模型优于深度学习的复杂性悖论，并提出基于Transformer嵌入和贝叶斯编码的鲁棒特征工程方法。
2025-11-29 cs.CL cs.DC cs.LG
FluidFlow: a flow-matching generative model for fluid dynamics surrogates on unstructured meshes
ETSIAE-UPM-School of Aeronautics, Universidad Politécnica de Madrid（马德里理工大学航空学院）；Institute for Cross-Disciplinary Physics and Complex Systems (IFISC, CSIC-UIB)（跨学科物理与复杂系统研究所（IFISC，CSIC-UIB））；Center for Computational Simulation, Universidad Politécnica de Madrid（马德里理工大学计算模拟中心）
本文提出FluidFlow，一种基于条件流匹配的生成模型，用于在无结构网格上构建可扩展的流体动力学替代模型，通过U-Net和扩散Transformer架构在不同复杂度的基准问题中表现出色，误差更低且泛化能力更强。
2026-03-30 cs.AI cs.LG physics.flu-dyn
LLT: Local Linear Transformer for PDE Operator Learning
Tel Aviv University（特拉维夫大学）
研究针对标准注意力应用于偏微分方程的局限，提出局部线性Transformer（LLT）。它结合线性全局注意力与局部空间混合并纳入相关信息，在多类偏微分方程问题上评估，结果显示其准确且高效，降低训练时间并能处理复杂数据集。
2026-07-10 cs.AI cs.LG cs.NA
SMILES Transformer: Pre-trained Molecular Fingerprint for Low Data Drug Discovery
University of Tokyo（东京大学）；International Research Center for Neurointelligence（国际神经智能研究中心）；RIKEN Center for Biosystems Dynamics Research（理化学研究所生物系统动力学研究中心）
在药物发现相关的任务中，如虚拟筛选，机器学习正在成为预测分子特性的一种有前途的方法。传统上，分子指纹（分子的数字表示）是通过基于规则的算法计算的，该算法将分子映射到稀疏的离散空间。然而，这些算法对于浅预测模型或小数据集表现不佳。为了解决这个问题，我们提出了SMILES Transformer。受Transformer和来自自然语言处理的预训练语言模型的启发，SMILES Transformer通过使用SMILES（一种分子文本表示系统）的庞大语料库对序列到序列语言模型进行无监督预训练来学习分子指纹。我们对现有的指纹和基于图的方法在10个数据集上进行了基准测试，并证明了所提出的算法在小数据环境中的优越性，其中预训练有助于良好的泛化。此外，我们定义了一个新的指标，同时衡量模型的准确性和数据效率。
2019-11-12 cs.LG stat.ML
What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation
MPI-SWS（马克斯·普朗克软件系统研究所）；University of Maryland（马里兰大学）
本文提出衡量不变性保留与遗忘的新指标，通过多个基准任务分析视觉 Transformer 微调前后的表征变化，揭示浅层可迁移不变性及深层不变性向浅层压缩的现象。
2023-07-12 cs.CV cs.LG
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
多头注意力在最近Transformer模型的成功中起着至关重要的作用，这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是，这种有效性源于共同参加多个职位的能力。在本文中，我们首先证明，共同出席多个位置是不是一个独特的特点，多头注意力，作为多层次的单头注意也出席多个位置，更有效。然后，我们认为多头注意力的主要优点是训练的稳定性，因为它具有较少的层数比单头注意，当出席相同数量的位置。例如，24层16头Transformer（BERT-large）和384层单头Transformer的总关注头数相同，模型尺寸大致相同，而多头的要明显浅一些。同时，我们表明，随着深度学习的最新进展，我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈，因此更深的单头Transformer实现了一致的性能改进，而无需调整超参数。
2021-06-17 cs.CL cs.LG
Using Interleaved Ensemble Unlearning to Keep Backdoors at Bay for Finetuning Vision Transformers
Duke University（杜克大学）
本文提出交错集成遗忘 IEU，通过浅层 ViT 门控识别投毒样本并以梯度上升异步遗忘，从而在含后门数据上安全微调 ViT，并在多数据集、11 种攻击和多架构上验证有效性。
2024-10-01 cs.CV cs.LG
Key Information Retrieval to Classify the Unstructured Data Content of Preferential Trade Agreements
University of Connecticut（康涅狄格大学）；North Dakota State University（北达科他州立大学）
针对优惠贸易协定长文本中冗余与无关信息影响分类的问题，本文提出先用嵌入技术压缩文本、再用BERT进行分类训练的方法，显著提升准确率并降低计算复杂度。
2024-01-23 cs.CL cs.IR cs.LG
Are More Layers Beneficial to Graph Transformers?
Peking University（北京大学）；Microsoft Research（微软研究院）
尽管在许多神经架构中已经证明了深入是成功的，但现有的图形Transformers相对较浅。在这项工作中，我们探讨了更多的层是否有利于图形Transformers，并发现目前的图形Transformers遭受的瓶颈，提高性能的增加深度。我们进一步分析发现，这是因为深度图Transformers受到全局注意力消失能力的限制，限制了图Transformer对关键子结构的关注，无法获得表达特征。为此，我们提出了一种新的图形Transformer模型DeepGraph，它在编码表示中显式地使用子结构标记，并在相关节点上应用局部注意力以获得基于子结构的注意力编码。我们的模型增强了全局注意力集中在子结构上的能力，并提高了表示的表达能力，解决了自注意力随着图Transformer的深化而受到限制的问题。实验表明，我们的方法解开了图Transformers的深度限制，并在具有更深模型的各种图基准测试中获得了最先进的性能。
2023-03-01 cs.LG
SO(3)-RoPE for Spherical Transformers
University of Göttingen（哥廷根大学）；Max Planck Institute for Dynamics and Self-Organization（马克斯·普朗克动力学与自组织研究所）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对球形Transformer忽略几何结构的问题，提出SO(3)-RoPE位置编码，利用酉SO(3)表示实现等变注意力，并在浅水预测中超越基线，误差更低且运行更快。
2026-10-06 cs.AI cs.LG
Identification and Anonymization of Named Entities in Unstructured Information Sources for Use in Social Engineering Detection
Public University of Navarre（纳瓦拉公立大学）；Vicomtech（维康科技）
本文提出系统收集Telegram平台信息，结合语音转文本模型和NER解决方案，以符合GDPR等法规要求，实现敏感信息检测与匿名化。
2026-04-10 cs.AI cs.LG
Application of Transformers based methods in Electronic Medical Records: A Systematic Literature Review
Federal University of Rio de Janeiro（里约热内卢联邦大学）
本文系统性综述了基于 Transformers 的方法在电子病历 NLP 任务中的应用，从三个公共数据库筛选出 65 篇文献，从业务问题、模型、数据集等维度分析现有研究局限并提出未来建议。
2023-04-05 cs.AI cs.CL cs.LG
Can Transformer Attention Spread Give Insights Into Uncertainty of Detected and Tracked Objects?
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
Transformers最近已经被用于在自动驾驶的背景下执行目标检测和跟踪。这些模型的一个独特特征是在每个前向传递中计算注意力权重，从而洞察模型的内部，特别是，它认为给定任务对输入数据的哪一部分感兴趣。这种具有输入网格的注意力矩阵可用于每个Transformer解码器层中的每个检测到的（或跟踪到的）对象。在这项工作中，我们调查这些注意力权重的分布：它们如何通过解码器层和通过轨道的生命周期变化？它们是否可以用来推断关于物体的附加信息，例如探测不确定性？特别是在非结构化环境中，或者在训练过程中不常见的环境中，检测不确定性的可靠度量对于决定系统是否仍然可信至关重要。
2022-10-26 cs.CV cs.LG
