Relational Attention: Generalizing Transformers for Graph-Structured Tasks
Rice University(莱斯大学);Microsoft Research(微软研究院)
Transformers在表示任务特定实体及其属性的实值向量集上灵活地操作,其中每个向量可以编码一个单词段标记及其在序列中的位置,或者编码一些根本不携带位置的信息段。但作为集合处理器,Transformers在对更一般的图结构数据进行推理时处于劣势,其中节点表示实体,边表示实体之间的关系。为了解决这个缺点,我们概括了Transformer的注意力,以考虑和更新每个Transformer层中的边缘向量。我们评估这种关系的Transformer上的一系列不同的图形结构的任务,包括大型和具有挑战性的CLRS数学推理基准。在那里,它大大优于最先进的图神经网络,专门设计用于对图结构数据进行推理。我们的分析表明,这些收益是由于关系注意力的内在能力,利用更大的表现力的图形集。
2023-03-10 cs.AI cs.LG
Puzzle Solving without Search or Human Knowledge: An Unnatural Language Approach
PeopleTec, Inc.(PeopleTec公司);University of Maryland, College Park(马里兰大学学院市分校)
应用生成式预训练Transformer(GPT-2)来学习文本存档的游戏符号,为探索稀疏奖励游戏提供了一个模型环境。Transformer架构被证明可以在描述迷宫、魔方和数独求解器的已解决文本档案上进行训练。该方法受益于微调的Transformer架构可视化合理的战略以外的任何指导,从人类的经验或领域的专业知识。游戏的大搜索空间($>10^{19}$)提供了一个谜题环境,其中解决方案几乎没有中间奖励和解决挑战的最后一步。
2021-09-07 cs.AI cs.CL cs.LG
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks
Stanford University(斯坦福大学)
Transformer网络在自然语言处理和机器视觉方面取得了巨大成功,其中下一个单词预测和图像分类等任务目标受益于高维输入的细微上下文敏感性。然而,有一个正在进行的辩论如何以及何时Transformers可以获得高度结构化的行为,并实现系统的推广。在这里,我们探讨如何以及因果Transformer可以执行一组算法任务,包括复制,排序,和这些操作的分层组合。我们展示了强大的泛化序列比那些在训练中使用的替换标准的位置编码通常用于Transformers器与标签任意配对的序列中的项目。我们寻找足以解决这些任务的层次和头部配置,然后探索潜在表征和注意模式中系统处理的迹象。我们表明,两层Transformers学习可靠的解决方案,多层次的问题,开发任务分解的迹象,并编码输入项的方式,鼓励利用共享计算相关的任务。这些结果提供了关于注意力层如何在任务内和跨多个任务支持结构化计算的关键见解。
2022-12-10 cs.AI cs.LG
Self-Improving Transformers Overcome Easy-to-Hard and Length Generalization Challenges
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research, AI Frontiers(微软研究院AI前沿部门)
针对大型语言模型在长度泛化及训练分布外复杂问题上的不足,提出自改进方法,使标准Transformer通过迭代学习自身解决方案,在多样任务中实现远超训练分布的泛化,部分任务性能呈指数级提升。
2025-02-13 cs.AI cs.LG
SynEHRgy: Synthesizing Mixed-Type Structured Electronic Health Records using Decoder-Only Transformers
EPFL(洛桑联邦理工学院)
本文提出SynEHRgy方法,通过定制分词策略和GPT式仅解码器Transformer,在MIMIC-III数据集上生成高质量混合类型合成EHR,并在保真度、实用性和隐私性上达到领先水平。
2024-11-20 cs.AI cs.LG
Cliqueformer: Model-Based Optimization with Structured Transformers
Cliqueformer通过功能图模型学习黑盒函数结构,提升模型优化性能,适用于蛋白质工程和材料发现等设计任务。
2026-03-18 cs.AI cs.LG
ChronoFormer: Time-Aware Transformer Architectures for Structured Clinical Event Modeling
University of the Chinese Academy of Sciences(中国科学院大学);Columbia University(哥伦比亚大学)
本文提出时间感知Transformer架构ChronoFormer,通过时间嵌入、分层注意力和领域掩码建模EHR时间依赖,在死亡率、再入院和共病预测任务上超越现有方法。
2025-04-10 cs.AI cs.LG
SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting
Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences(新疆物理化学技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Xinjiang Laboratory of Minority Speech and Language Information Processing(新疆少数民族语言信息处理实验室)
SCFormer通过在Transformer的线性变换中引入时间约束并利用HiPPO处理累积历史状态,解决了通道级自注意力缺乏时间约束和未充分利用历史序列的问题,在多元时间序列预测上显著优于主流基线。
2025-05-05 cs.AI cs.LG
X-LogSMask: Expand Transformer for Graph-Structured Data
提出X-LogSMask,一种可解释的多头对数结构掩码,将对称归一化图拓扑直接注入注意力logits,使标准Transformer无需修改架构即可有效处理图数据,在20个基准测试中13个达到最优。
2026-07-03 cs.AI cs.LG
Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种通过集成替代注意力块和前馈块来增强Transformer模型的新框架,在保持表达能力的同时降低复杂度,实验显示平均性能提升12.4%,参数量减少61.3%。
2024-12-16 cs.AI cs.LG
The Extender: A Log-Structured Transformer
Extender 是一种日志结构化 Transformer,通过拼接通道减少注意力内存占用,在长上下文任务上超越标准 Transformer。
2026-09-29 cs.AI cs.LG
Transformers Linearly Represent Highly Structured World Models
LaBRI, CNRS University of Bordeaux(LaBRI、CNRS 波尔多大学)
研究探讨了Transformer在训练过程中是否能构建任务的内部模型,并发现其内部表示结构与领域结构相匹配,通过Sudoku求解轨迹训练的Transformer展示了其内部计算机制和稀疏可解释的决策电路。
2026-05-13 cs.AI cs.LG
Knowledge Graph and Hypergraph Transformers with Repository-Attention and Journey-Based Role Transport
本文提出一种结合句子和结构化数据的模型,通过仓库注意力和基于旅程的角色传输实现语言和知识表示的分离,并支持多任务学习。
2026-02-07 cs.AI cs.LG
A Study of State Aliasing in Structured Prediction with RNNs
Microsoft Research Montreal(微软蒙特利尔研究院)
端到端强化学习代理同时学习状态表示和策略。递归神经网络(RNN)已经成功地训练成强化学习代理,用于需要结构化预测的对话等环境。在本文中,我们研究了基于RNN的代理在使用策略梯度和基于值的方法进行训练时学习到的表示。我们通过大量的实验和分析表明,当使用策略梯度进行训练时,递归神经网络通常无法学习状态表示,从而在不同状态下采取相同行动的设置中获得最优策略。为了解释这种失败,我们强调了状态混淆的问题,这需要在表示空间中合并两个或更多个不同的状态。我们证明了状态别名发生时,几个国家共享相同的最佳行动和代理是通过策略梯度训练。我们通过对简单迷宫设置和更复杂的基于文本的游戏的实验来描述这种现象,并提出了用强化学习训练RNN的建议。
2019-06-21 cs.AI cs.CL cs.LG
Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique
Shiraz University(设拉子大学);Shiraz University of Medical Sciences(设拉子医科大学)
由于临床实践和研究所需的放射学报告是以自由文本叙述形式编写和存储的,因此难以提取相关信息以供进一步分析。在这些情况下,自然语言处理(NLP)技术可以促进自动信息抽取和自由文本格式到结构化数据的转换。近年来,基于深度学习(DL)的模型已被用于NLP实验,并取得了可喜的成果。尽管基于人工神经网络(ANN)和卷积神经网络(CNN)的DL模型具有显著的潜力,但是这些模型在临床实践中实施时面临一些限制。Transformers是另一种新的深度学习体系结构,它被越来越多地应用于改进过程。因此,在这项研究中,我们提出了一个基于转换器的细粒度命名实体识别(NER)架构的临床信息抽取。我们收集了88腹盆腔超声报告的自由文本格式和注释的基础上,我们开发的信息模式。文本到文本转换Transformer模型(T5)和Scifive(T5模型的预训练特定于领域的适配)用于微调,以提取实体和关系,并将输入转换为结构化格式。在这项研究中,我们基于变换器的模型优于先前应用的方法,例如基于ROUGE-1,ROUGE-2,ROUGE-L和BLEU得分分别为0.816,0.668,0.528和0.743的ANN和CNN模型,同时提供可解释的结构化报告。
2022-09-25 cs.AI cs.CL cs.LG
Higher-Order Transformers With Kronecker-Structured Attention
Mila McGill University(Mila 麦吉尔大学);Mila, CIFAR AI Chair McGill University(Mila,CIFAR AI 职位 麦吉尔大学);Mila - DIRO, CIFAR AI Chair University of Montreal(Mila,DIRO,CIFAR AI 职位 蒙特利尔大学)
针对Transformer直接处理多路张量数据计算成本高、易破坏结构的问题,提出采用克罗内克结构注意力的HOT框架,在保留表达能力的同时降低开销,在多类任务上取得有竞争力的性能。
2025-11-18 cs.AI cs.LG
ETC: Encoding Long and Structured Inputs in Transformers
Google Research(谷歌研究院)
Transformer模型在许多自然语言处理(NLP)任务中推进了最先进的技术水平。在本文中,我们提出了一种新的Transformer架构,扩展的Transformer构造(ETC),解决了标准Transformer架构的两个关键挑战,即缩放输入长度和编码结构化输入。为了将注意力扩展到更长的输入,我们在全局令牌和常规输入令牌之间引入了一种新的全局-局部注意力机制。我们还表明,将全局-局部注意力与相对位置编码和对比预测编码(CPC)预训练目标相结合,可以使ETC对结构化输入进行编码。我们在四个需要长和/或结构化输入的自然语言数据集上实现了最先进的结果。
2020-10-27 cs.LG stat.ML
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文揭示了状态空间模型与注意力变体间的理论联系,提出状态空间对偶性框架,并据此设计了比Mamba快2-8倍且在语言建模上保持竞争力的新架构Mamba-2。
2024-05-31 cs.LG
Target-Driven Structured Transformer Planner for Vision-Language Navigation
Beihang University(北京航空航天大学);University of Technology Sydney(悉尼科技大学);Meituan Inc.(美团公司)
视觉语言导航是指导一个具体的代理导航的任务与自然语言的指令在3D场景。对于智能体来说,从视觉语言线索中推断长期导航目标对于可靠的路径规划至关重要,然而,在文献中很少研究。在这篇文章中,我们提出了一个目标驱动的结构化Transformer规划器(TD-STP)的长期目标引导和房间布局感知导航。具体来说,我们设计了一个假想场景令牌化机制,用于明确估计长期目标(即使位于未探索的环境中)。此外,我们还设计了一个结构化的Transformer规划器,它优雅地将探索的房间布局纳入结构化和全局规划的神经注意力架构中。实验结果表明,我们的TD-STP大大提高了以前最好的方法的成功率分别为2%和5%的R2 R和REVERIE基准测试集。我们的代码可在https://github.com/YushengZhao/TD-STP上获得。
2022-07-19 cs.AI cs.CL cs.CV
Mamba-Shedder: Post-Transformer Compression for Efficient Selective Structured State Space Models
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本文提出Mamba-Shedder压缩方法,通过研究不同粒度移除Mamba等SSM模型组件的敏感性,在保持精度的同时减小规模与开销,实现高达1.4倍推理加速。
2025-01-28 cs.AI cs.CL cs.LG
Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling
Heriot-Watt University(赫瑞瓦特大学);Alana AI
本文比较了基于 Mamba 与 Transformer 的视觉语言模型,发现 Mamba 在图像描述、问答和阅读理解上更优,而 Transformer 在视觉定位及上下文多模态检索上更强,并分析了视觉编码与检索机制对性能差距的影响。
2024-10-01 cs.AI cs.CV cs.LG
Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
抽象摘要是对输入文档进行简明摘要的任务,需要:(1)对源文档进行推理,以确定分散在长文档中的显著信息片段,以及(2)通过将这些显著事实重构为忠实地反映连接这些事实的复杂关系的较短摘要来组成有凝聚力的文本。在本文中,我们采用TP-TRANSFORMER(Schlag等人,2019),这是一种丰富了原始Transformer的架构(Vaswani等人,2017)与显式组成的张量产品表示(TPR),抽象总结的任务。我们的模型的关键特征是结构性偏差,我们通过为每个令牌编码两个单独的表示来分别表示句法结构(使用角色向量)和语义内容(使用填充向量)。然后,模型将角色和填充向量绑定到TPR中作为层输出。我们认为,结构化的中间表示,使模型能够更好地控制的内容(突出的事实)和结构(语法连接的事实)时,生成的摘要。从经验上讲,我们表明,我们的TP-TRANSFORMER优于Transformer和原始的TP-TRANSFORMER显着几个抽象的摘要数据集的基础上,自动和人工评估。在几个句法和语义探测任务中,我们展示了角色向量中的紧急结构信息和TPR层输出中改进的句法可解释性。代码和型号可在https://github.com/jiangycTarheel/TPT-Summ上获得。
2021-06-02 cs.AI cs.CL cs.LG
Transformer for Graphs: An Overview from Architecture Perspective
The University of Manchester(曼彻斯特大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
近年来,Transformer模型在人工智能领域取得了巨大的成功,在图结构数据建模方面显示出了巨大的潜力。到目前为止,已经提出了各种各样的Transformers来适应图结构数据。然而,这些Transformer变体的全面文献综述和系统评价仍然不可用。因此,有必要对现有的图的Transformer模型进行梳理,并系统地研究它们在各种图任务上的有效性。在本调查中,我们从体系结构设计的角度对各种Graph Transformer模型进行了全面的回顾。我们首先拆解了现有的模型,并总结出三种典型的方法来将图信息融入到香草Transformer中:1)GNN作为辅助模块,2)改进的位置嵌入图,3)改进的注意力矩阵图。此外,我们实现了三组代表性的组件,并进行了全面的比较各种著名的图形数据基准,调查每个组件的实际性能增益。我们的实验证实了Transformer上当前特定于图形的模块的优点,并揭示了它们在不同类型的图形任务上的优势。
2022-02-17 cs.AI cs.LG
LoRAP: Transformer Sub-Layers Deserve Differentiated Structured Compression for Large Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对大语言模型压缩需求,本文提出LoRAP混合压缩框架,对Transformer的MHA子层采用差异化低秩近似、对FFN子层采用无梯度结构化剪枝,实验证明在多种压缩比下性能优于现有结构化压缩方法。
2024-04-15 cs.AI cs.CL cs.LG
Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning
提出一种无需最优动作且能超越演示者的预训练决策Transformer方法,利用任务共享结构实现上下文多任务结构化老虎机学习,降低未见任务的累积遗憾。
2025-10-22 cs.LG
Structured Hyperedge Adaptation for Parameter-Efficient Fine-Tuning of Vision Transformers
Griffith University(格里菲斯大学);Data61/CSIRO(Data61/澳大利亚联邦科学与工业研究组织)
提出HyperAdapter,一种基于超图的适配器架构,通过软超边路由实现结构化、组感知的适应,在参数预算下优于现有PEFT方法。
2026-06-23 cs.AI cs.CV cs.LG
Efficient Transformer-based Large Scale Language Representations using Hardware-friendly Block Structured Pruning
University of Connecticut(康涅狄格大学);Northeastern University(东北大学);Syracuse University(雪城大学);Microsoft Corporation(微软公司);Stevens Institute of Technology(史蒂文斯理工学院)
预训练的大规模语言模型在许多自然语言处理(NLP)任务中越来越显示出高准确性。然而,硬件平台上有限的权重存储和计算速度阻碍了预训练模型的普及,特别是在边缘计算时代。在这项工作中,我们提出了一个有效的基于transformer的大规模语言表示使用硬件友好的块结构修剪。我们将重新加权组Lasso块结构修剪优化。除了显着减少的重量存储和计算,所提出的方法实现了高压缩率。在通用语言理解评估(GLUE)基准任务上对不同模型(BERT、RoBERTa和DistilBERT)的实验结果表明,我们在某些任务上实现了高达5.0倍的准确率,并且准确率为零或轻微下降。我们提出的方法也与现有的紧凑的预训练语言模型正交,例如使用知识蒸馏的DistilBERT,因为在DistilBERT的基础上可以实现进一步的1.79倍平均压缩率,并且精度下降为零或轻微。适合在资源受限的边缘设备上部署最终压缩模型。
2020-11-16 cs.AI cs.CL cs.LG
Opinion Extraction as A Structured Sentiment Analysis using Transformers
UC Berkeley School of Information(加州大学伯克利分校信息学院)
关系提取和命名实体识别一直被认为是两个不同的任务,需要不同的输入数据,标签和模型。然而,这两者对于结构化的情感分析都是必不可少的。我们相信,这两个任务可以结合成一个单一的堆栈模型与相同的输入数据。我们进行了不同的实验,以找到从单个句子中提取多个意见元组的最佳模型。意见元组将由持有者、目标和表达式组成。有了意见元组,我们将能够提取我们需要的关系。
2021-12-09 cs.CL cs.LG
Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles
Independent Researcher, Austin, TX, USA(独立研究员,美国德克萨斯州奥斯汀);Independent Researcher, Leander, TX(独立研究员,美国德克萨斯州利安德);Texas A & M University-Victoria, Victoria, TX(德克萨斯农工大学维多利亚分校)
提出一种结合FT-Transformer与XGBoost的混合架构,通过校准感知堆叠集成处理类别不平衡和特征交互,在银行客户流失数据集上F1达62.10%,AUC-ROC为0.861。
2026-05-26 cs.AI cs.ET cs.LG
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University(波士顿大学);Draper(德雷珀实验室)
许多常见的顺序数据源(如源代码和自然语言)都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成,从而产生序列中标记的层次排序。这种结构编码了高度的句法信息,使其成为解决语法纠正等问题的理想方法。然而,很少有工作已经做了开发神经网络,可以操作和利用树结构的数据。在本文中,我们提出了树转换器\textemdash{},一种新的神经网络架构,旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上,我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面,我们取得了与最复杂的最先进系统相当的结果,在CoNLL 2014基准测试中获得了$10\%$召回率的改善,并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
Prompt Tuning Decision Transformers with Structured and Scalable Bandits
Örebro University(奥雷布罗大学);King AI Labs, Microsoft Gaming(King AI实验室,微软游戏)
针对现有提示决策Transformer均匀采样轨迹提示未考虑信息性的问题,提出基于结构化可扩展老虎机的提示调优方法,实现线性缩放与高效奖励建模,理论与实验均验证其性能优于现有基线。
2025-10-01 cs.LG
Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
本文提出非对称注意力头(AAH)框架,通过分层分组头并分配不同因果局部窗口,在4096-token实验中实现比纯全注意力更低的验证损失,为Transformer注意力提供结构化上下文分配机制。
2026-08-21 cs.AI cs.CL cs.LG
Learnable Permutation for Structured Sparsity on Transformer Models
本文提出了一种可学习的排列框架,用于提升Transformer模型的结构稀疏性剪枝效果,通过引入可学习成本矩阵和优化损失函数,实现了端到端的排列优化。
2026-01-30 cs.CL cs.LG
S$^2$Transformer: Scalable Structured Transformers for Global Station Weather Forecasting
Harbin Institute of Technology(哈尔滨工业大学);Swiss Data Science Center(瑞士数据科学中心)
针对全球站点天气预报中空间相关性建模不足的问题,提出S$^2$Transformer,通过空间结构化注意力块划分子图并传递消息,实现可扩展且结构化的多尺度时空预测,性能提升最高达16.8%。
2025-09-25 cs.LG physics.ao-ph
CORP: Closed-Form One-shot Representation-Preserving Structured Pruning
Purdue University(普渡大学)
CORP提出一种闭式单次结构剪枝方法,通过未标记校准数据去除MLP维度和注意力子结构,无需梯度或微调,实现高精度下的高效模型压缩。
2026-11-10 cs.CV cs.LG
Learning Program Representations with a Tree-Structured Transformer
Peking University(北京大学);Nanyang Technological University(南洋理工大学)
学习程序的向量表示是将深度学习技术应用于程序理解任务的关键步骤。提出了各种神经网络模型来从树结构的程序表示学习,例如,抽象语法树(AST)和具体语法树(CST)。然而,大多数神经架构要么无法捕获程序中普遍存在的长程依赖关系,要么无法学习语法树节点的有效表示,使它们无法执行节点级预测任务,例如,缺陷定位在本文中,我们提出了Tree-Transformer,一种新的递归树结构的神经网络学习的矢量表示的源代码。我们提出了一个多头注意力机制来模拟兄弟节点和父子节点对之间的依赖关系。此外,我们提出了一个双向传播策略,让节点的信息传递在两个方向,自下而上和自上而下沿树。通过这种方式,Tree-Transformer可以学习节点特征的信息以及全局上下文信息。大量的实验结果表明,我们的Tree-Transformer显着优于现有的基于树和基于图的程序表示学习方法在树级和节点级的预测任务。
2023-01-07 cs.LG cs.SE
Latent Chain-of-Thought Improves Structured-Data Transformers
本文研究了链式思维对时间序列和表格数据的影响,并提出了一种递归方案,通过压缩查询位置的隐藏状态生成反馈标记,从而在预测前进行多次潜在计算,从而提升结构化数据转换器的性能。
2026-05-19 cs.LG
ORIGAMI: A generative transformer architecture for predictions from semi-structured data
MongoDB, Inc.(MongoDB公司)
本文提出基于transformer的ORIGAMI架构,通过结构保留分词器、键/值位置编码和语法约束框架直接处理半结构化数据,将分类转为下一token预测,在多领域基准上表现优异且无需架构修改即可处理多标签任务。
2024-12-23 cs.LG
Learned Queries and Keys Are All You Need: Replacing the Value Projection with Structured Transforms
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出双头Transformer,用结构化变换(如WHT、DCT等)替代值投影以减少参数和缓存,在ImageNet上优于三头结构。
2026-09-30 cs.LG
DegreeSpar: Structured Degree Sparsity for Efficient Secure Transformer Inference
Iowa State University(爱荷华州立大学);University of Arizona(亚利桑那大学)
DegreeSpar通过结构化多项式度数稀疏化统一压缩安全Transformer推理中的非线性计算,实现2.29x-6.63x加速并保持准确率,确立度数作为共享优化空间。
2026-09-29 cs.CR cs.LG
Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression
提出无校准的注意力头重要性评分方法MP及GQA变体MP-G,通过权重范数统计异常值检测剪枝,在多个模型上匹配或超越数据依赖方法,实现零成本结构化剪枝。
2026-09-23 cs.AI cs.CL cs.LG
Dynamic sparsity in tree-structured feed-forward layers at scale
CITEC, Bielefeld University(比勒费尔德大学认知交互技术研究中心);Department of Computer Science, Royal Holloway, University of London(伦敦大学皇家霍洛威学院计算机科学系)
本文研究了树状结构前馈层作为Transformer中密集MLP块的替代方案,实现条件计算无需额外路由网络。通过动态稀疏性技术,在大规模模型中实现高效的语言建模和问答任务。
2026-03-18 cs.AI cs.CL cs.LG
StrTransformer: Source-Wise Structured Transformers for Unsupervised Blind Source Recovery
PolyU
提出StrTransformer框架,通过源向结构化Transformer分支和观测空间混合器直接优化潜在源矩阵,实现盲源恢复和分支潜在建模。
2026-05-25 cs.LG stat.ML
Reducing Transformer Depth on Demand with Structured Dropout
Facebook AI Research(Facebook人工智能研究(FAIR));LORIA(洛林研究所(法国国家信息与自动化研究所洛林分部))
过参数化的Transformer网络已经在各种自然语言处理任务(例如机器翻译、语言建模和问答)中获得了现有技术水平的结果。这些模型包含数以亿计的参数,需要大量的计算,并使它们易于过拟合。在这项工作中,我们探索了LayerDrop,这是一种结构化dropout,它在训练过程中具有正则化效果,并允许在推理时进行有效的修剪。特别是,我们表明,它是可能的,从一个大型网络中选择任何深度的子网络,而不必微调它们,对性能的影响有限。我们证明了我们的方法的有效性,通过提高最先进的机器翻译,语言建模,摘要,问答和语言理解基准。此外,我们表明,与从头开始训练或使用蒸馏相比,我们的方法可以产生更高质量的小型BERT模型。
2019-09-25 cs.CL cs.LG stat.ML
Patient Trajectory Prediction: Integrating Clinical Notes with Transformers
Aix-Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
针对EHR预测中忽略临床笔记的问题,提出将非结构化笔记整合进Transformer模型,丰富病史表示,提升诊断预测准确性,并在MIMIC-IV上验证优于传统方法。
2025-02-25 cs.LG
Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence
Apple MPS(苹果MPS)
本文提出UniMatrix系列模型,通过结构递归状态和稀疏检索机制,在保持参数效率的同时提升语言模型性能,但长程行为仍需进一步优化。
2026-04-01 cs.CL cs.LG
Graph Mixer Networks
Middle East Technical University(中东技术大学)
近年来,注意力机制在各种任务中表现出卓越的性能,导致GAT和Graph Transformer模型的出现,这些模型利用该机制从图结构数据中提取关系信息。然而,如在视觉Transformer中所见,与Transformer块相关联的高计算成本促使了诸如MLP混合器的替代架构的开发,其已被证明在图像任务中提高性能的同时降低计算成本。尽管Transformers在基于图的任务中有效,但它们的计算效率仍然是一个问题。MLP混合器背后的逻辑解决了图像任务中的这个问题,也有可能应用于图结构数据。在本文中,我们提出了图混合器网络(GMN),也称为图纳斯雷丁网(GNasNets),这是一个框架,它结合了图结构数据的MLP混合器的原理。使用一个PNA模型与多个聚合器作为基础,我们提出的GMN已经证明了改进的性能相比,图Transformers。源代码可在https://github.com/asarigun/GraphMixerNetworks上公开获取。
2023-01-29 cs.LG
Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences
RWTH Aachen University(亚琛工业大学)
自回归模型在NLP文本生成任务中已经被证明是非常强大的,最近也在图像生成中得到了普及。然而,到目前为止,它们在3D形状合成中的应用有限。这主要是由于缺乏一种直接的方法来线性化3D数据,以及在描述复杂形状时所产生的序列长度的缩放问题。在这项工作中,我们解决这两个问题。我们使用八叉树作为紧凑的分层形状表示,可以通过遍历排序来顺序化。此外,我们引入了一个自适应压缩方案,显着减少序列长度,从而使他们的有效生成与Transformer,同时仍然允许完全自回归采样和并行训练。我们展示了我们的模型的性能,通过比较对国家的最先进的形状生成。
2021-11-24 cs.CV cs.GR cs.LG
Modelling the semantics of text in complex document layouts using graph transformer networks
BlackRock Inc.(贝莱德集团)
从复杂文档中表示结构化文本通常需要不同的机器学习技术,例如用于段落的语言模型和用于表格提取的卷积神经网络(CNN),这禁止在不同内容类型的文本跨度之间绘制链接。在这篇文章中,我们提出了一个模型,近似的人类阅读模式的文件,并输出一个独特的语义表示为每个文本跨度,无论内容类型,他们被发现。我们的架构的结构化文本的图形表示的基础上,我们证明,我们不仅可以检索语义相似的信息跨文档,而且我们生成的嵌入空间捕获有用的语义信息,类似于语言模型,只对文本序列的工作。
2022-02-18 cs.AI cs.CL cs.LG
From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
Alibaba Group(阿里巴巴集团)
针对CTR预测中Transformer模型因结构错位导致收益递减的问题,提出Field-Aware Transformer (FAT),通过场感知参数重构和基组合超网络实现结构化表达能力,在理论(Rademacher复杂度标度律)和实验(AUC提升+4.38%,线上CTR+2.33%,RPM+0.66%)上均优于现有方法。
2026-05-31 cs.IR cs.LG
Structured State Space Decoder for Speech Recognition and Synthesis
CyberAgent, Inc.(CyberAgent公司)
近年来开发的自动语音识别(ASR)系统已经显示出具有自我注意力模型(例如,Transformer和Conformer),它们正在取代传统的递归神经网络。同时,最近提出了一种结构化的状态空间模型(S4),为各种长序列建模任务,包括原始语音分类产生了有希望的结果。S4模型可以并行训练,与Transformer模型相同。在这项研究中,我们将S4作为ASR和文本到语音(TTS)任务的解码器,通过与Transformer解码器进行比较。实验结果表明,该模型在LibriSpeech测试-clean/测试-other集上的竞争词出错率(WER)为1.88%/4.25%,在CSJ eval 1/eval 2/eval 3集上的字符出错率(CER)为3.80%/2.63%/2.98%.此外,该模型比标准的Transformer模型更鲁棒,特别是对于两个数据集上的长格式语音。对于TTS任务,所提出的方法优于Transformer基线。
2022-10-31 cs.LG cs.SD eess.AS
Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers
本文提出用固定无参数的Walsh-Hadamard变换替代多头注意力的密集输出投影,减少参数并提升效率,通过实验验证结构化变换在不同复杂度下优于密集投影。
2026-03-30 cs.CL cs.LG
Tailoring Molecules for Protein Pockets: a Transformer-based Generative Solution for Structured-based Drug Design
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Renmin University of China(中国人民大学)
基于结构的药物设计在计算机辅助药物发现中受到越来越多的关注。与通过计算筛选预定义化合物库的虚拟筛选方法相比,基于靶蛋白结构的从头药物设计可以提供新的候选药物。在本文中,我们提出了一种名为TamGent(具有Transformer的目标感知分子生成器)的生成解决方案,该解决方案可以针对给定的目标直接从头开始生成候选药物,克服了现有化合物库的限制。遵循Transformer框架(深度学习中最先进的框架),我们设计了Transformer编码器的变体来处理目标的3D几何信息,并在PubChem的1000万种化合物上预训练Transformer解码器,以生成候选药物。通过对药物库中靶点候选化合物的系统评价,发现化合物的结合亲和力和药物敏感性都有较大提高。TamGent在有效性和效率方面都优于以前的基准。通过产生SARS-CoV-2主要蛋白酶和致癌突变体KRAS G12C的候选化合物进一步验证了该方法。结果表明,我们的方法不仅重新发现了先前验证的药物分子,而且还产生了具有更好对接分数的新分子,扩大了化合物库,并可能导致发现新药。
2022-08-30 cs.LG q-bio.BM
Thinking into the Future: Latent Lookahead Training for Transformers
Apple(苹果公司)
本文提出潜在前瞻训练方法,使模型在生成前进行多步前瞻,提升规划任务表现。
2026-03-03 cs.CL cs.LG