Factored Adaptation for Non-Stationary Reinforcement Learning
City University of Hong Kong(香港城市大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Amsterdam(阿姆斯特丹大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
处理环境中的非平稳性(例如,在过渡动态中)和目标(例如,是一个具有挑战性的问题,在强化学习(RL)的实际应用中至关重要。虽然目前大多数方法将变化建模为单个共享嵌入向量,但我们利用最近因果关系文献的见解,根据个体潜在变化因素和不同环境中的因果关系图来建模非平稳性。特别是,我们提出了非平稳RL的因子自适应(FANS-RL),这是一种因子自适应方法,它可以联合学习因子MDP的因果结构和个体时变变化因子的因子表示。我们证明,在标准的假设下,我们可以完全恢复的因果图表示的因素化的过渡和奖励功能,以及个别的变化因素和状态组件之间的部分结构。通过我们的总体框架,我们可以考虑具有不同功能类型和变化频率的一般非平稳场景,包括跨事件和事件内的变化。实验结果表明,FANS-RL在返回、潜在状态表示的紧凑性以及对不同程度的非平稳性的鲁棒性方面优于现有方法。
2022-10-18 cs.AI cs.LG
Learning Dynamic Attribute-factored World Models for Efficient Multi-object Reinforcement Learning
City University of Hong Kong(香港城市大学);University of Amsterdam(阿姆斯特丹大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对多目标强化学习中现有方法未充分利用属性因子化的问题,提出DAFT-RL框架,通过类模板图、交互模式图等实现高效泛化,在三个基准上性能超越SOTA。
2023-07-18 cs.LG
Dynamical-VAE-based Hindsight to Learn the Causal Dynamics of Factored-POMDPs
School of Computer Science, The University of Sheffield(谢菲尔德大学计算机学院);Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Centrum Wiskunde & Informatica(数学和计算机科学中心)
针对POMDPs中部分观测下的状态表示问题,提出DVAE模型,通过扩展的后见之明框架整合过去、当前和多步未来信息,有效学习因果马尔可夫动力学并揭示隐状态转移的因果图。
2024-11-12 cs.LG stat.ML
From Pixels to Factors: Learning Independently Controllable State Variables for Reinforcement Learning
Brown University(布朗大学);UC Berkeley(伯克利大学)
针对高维观测下强化学习无法利用因子化结构提升样本效率的问题,提出基于对比学习的动作可控因子化方法ACF,利用动作影响的稀疏性挖掘独立可控潜变量,在三个基准测试中性能优于现有解耦算法。
2025-10-02 cs.AI cs.LG
Counterfactual Data Augmentation using Locally Factored Dynamics
University of Toronto(多伦多大学);Vector Institute(向量研究所)
许多动态过程,包括机器人控制和强化学习(RL)中的常见场景,都涉及一组相互作用的子过程。虽然子过程不是独立的,但它们之间的相互作用通常是稀疏的,并且在任何给定时间步的动态通常可以分解为局部独立的因果机制。这种局部因果结构可以被利用来提高序列预测和离线强化学习的样本效率。我们通过引入局部因果模型(LCM)来正式化这一点,该模型是通过状态空间的一个子集进行调节而从全局因果模型中诱导出来的。我们提出了一种方法来推断这些结构的面向对象的状态表示,以及一种新的算法,用于反事实数据增强(CoDA)。CoDA使用局部结构和经验重放来生成在全局模型中因果有效的反事实经验。我们发现,CoDA显着提高了RL代理在本地因素的任务,包括批量约束和目标条件设置的性能。
2020-12-03 cs.AI cs.LG cs.RO
Multiset Transformer: Advancing Representation Learning in Persistence Diagrams
State University of New York at Buffalo(纽约州立大学布法罗分校);Penn State Erie, The Behrend College(宾州州立大学伊利比伦德学院)
本文提出Multiset Transformer,通过多重集注意力与池分解机制保留重数并保证置换不变性,在降低复杂度的同时提升持久图表示学习性能。
2024-11-22 cs.LG
Constrained belief updates explain geometric structures in transformer representations
Simplex;BITS(超越理论科学研究所)
本研究证明Transformer通过约束贝叶斯信念更新实现最优预测,并理论预测了其注意力模式与表示几何结构,揭示了架构约束对算法实现的影响。
2025-10-15 cs.LG
Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
Adam Mickiewicz University(亚当·密茨凯维奇大学)
针对传统Transformer位置嵌入无法捕捉源代码层次结构的问题,提出基于AST的树状位置嵌入方法增强CodeBERTa模型,经MLM预训练和克隆检测任务验证,多项指标均优于基线。
2025-07-05 cs.LG
AGFormer: Efficient Graph Representation with Anchor-Graph Transformer
Anhui University(安徽大学);Northwestern Polytechnical University(西北工业大学)
针对图Transformer计算成本高且对噪声敏感的问题,提出锚点图Transformer(AGFormer),通过锚点将节点间消息传递转为锚点间及锚点-节点传递,提升效率与鲁棒性,并在多个基准数据集上验证了有效性。
2023-05-12 cs.LG
Towards Understanding How Transformers Learn In-context Through a Representation Learning Lens
Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学)
该研究从表示学习视角探索Transformer的上下文学习机制,通过核方法推导注意力层的对偶模型并给出泛化误差界,拓展理论至多层场景,提出注意力改进方案并通过实验验证。
2024-11-01 cs.LG
Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
针对 token 化图 Transformer 仅利用高相似节点导致信息利用不足的问题,本文提出 GCFormer,通过混合 token 生成器、Transformer 骨干和正负序列对比学习提升节点表示,并在多类图数据集上验证其分类优势。
2025-02-16 cs.LG
How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations
UC Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学);Salesforce AI Research(赛富时人工智能研究院)
本文通过构造组合结构的合成ICL问题,从理论和实验两方面证明Transformer能通过表示函数转换输入、上层执行线性ICL,实现近最优的复杂上下文学习。
2023-10-16 cs.LG
SPARTAN: A Sparse Transformer World Model Attending to What Matters
Applied AI Lab University of Oxford, UK(应用人工智能实验室牛津大学,英国);MPI for Intelligent Systems Tübingen, Germany(智能系统Max Planck研究所,图宾根,德国)
SPARTAN通过稀疏正则化学习稀疏的交互图,提升世界模型对动态变化的适应能力与鲁棒性。
2025-12-05 cs.LG stat.ML
Chi-square Tests Driven Method for Learning the Structure of Factored MDPs
University Pierre et Marie Curie - Paris 6(皮埃尔和玛丽·居里大学(巴黎第六大学));LIP6(利皮6实验室)
SDYNA是一个通用框架,旨在解决大型随机强化学习问题。与FMDPs中以前的基于模型的方法不同,它使用监督学习技术增量地学习RL问题的结构和参数。然后,它集成基于FMDPs的决策理论规划算法来计算其策略。SPITI是SDYNA的一个实例,它利用ITI(一种增量决策树算法)来学习奖励函数和动态贝叶斯网络,其中局部结构表示问题的转移函数。这些表示被结构化值迭代算法的增量版本使用。为了学习结构,SPITI使用卡方检验来检测两个概率分布之间的独立性。因此,我们研究了卡方检验中使用的阈值,所建模型的大小和诱导策略的价值函数相对于最优值的相对误差之间的关系。我们表明,在随机问题上,可以调整阈值,从而生成一个紧凑的模型和一个有效的政策。然后,我们表明,SPITI,同时保持其模型的紧凑性,使用其学习方法的泛化性能比随机的经典表格算法在大型RL问题与未知的结构。我们还引入了一种基于卡方的新度量来量化SPITI学习的模型的准确性。我们定性地表明,在SPITI的FMDP框架内的泛化属性可能会阻止指数增长的时间需要学习的结构的大型随机RL问题。
2012-06-27 cs.AI cs.LG stat.ML
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
Independent Researcher(独立研究者)
研究信息输入方式对变压器组合信息绑定的影响,用完全可枚举的有限分解世界研究约6-10K参数变压器,发现端点不变性、少样本绑定的双因素解释、训练早期的双重解离及失败剖析等结果。
2026-11-16 cs.AI cs.LG
Transformer-F: A Transformer network with effective methods for learning universal sentence representation
Beijing University of Posts and Telecommunications(北京邮电大学)
Transformer模型广泛用于自然语言处理中的句子表示。然而,以前的基于transformer的模型集中在功能词,在大多数情况下,具有有限的意义,只能提取高层次的语义抽象特征。本文介绍了两种提高Transformers性能的方法。我们通过将词性权重向量与相关系数相乘来计算注意力得分,这有助于提取更实际意义的单词。权值向量由输入文本序列根据词性的重要性得到。此外,我们融合了每一层的特征,使句子表示结果更加全面和准确。在实验中,我们证明了我们的模型Transformer-F在三个标准文本分类数据集上的有效性。实验结果表明,我们提出的模型显着提高文本分类的性能相比,基线模型。具体来说,我们在简单任务上获得了比普通Transformer 5.28%的相对改进。
2021-07-02 cs.CL cs.LG
TransOpt: Transformer-based Representation Learning for Optimization Problem Classification
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);Jožef Stefan International Postgraduate School(约泽夫·斯蒂芬国际研究生院)
本文提出TransOpt,利用Transformer架构学习优化问题表示,在BBOB基准的24类问题分类中达到70%-80%准确率,验证了Transformer用于黑盒优化问题表示学习的可行性。
2023-11-29 cs.LG math.OC
Learning Explicit Object-Centric Representations with Vision Transformers
Aalto University(阿尔托大学)
随着最近成功的Transformers的视觉域的适应,特别是当训练在一个自我监督的方式,它已被证明,视觉Transformer可以学习令人印象深刻的对象推理的行为和功能表示的任务,在图像中的对象分割。在本文中,我们建立在掩蔽自动编码的自我监督任务的基础上,并探索其有效性,以明确学习以对象为中心的表示与Transformers。为此,我们设计了一个以对象为中心的自编码器,只使用Transformers和训练它端到端重建完整的图像从未掩蔽的补丁。我们表明,该模型有效地学习分解简单的场景测量的分割指标在几个多对象的基准。
2022-10-25 cs.CV cs.LG
Structure-Aware Transformer for Graph Representation Learning
ETH Zürich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(SIB瑞士生物信息学研究所)
最近,Transformer架构在图表示学习中获得了越来越多的关注,因为它通过避免严格的结构归纳偏差而自然地克服了图神经网络(GNN)的几个限制,而是仅通过位置编码对图结构进行编码。在这里,我们表明,由Transformer与位置编码生成的节点表示不一定捕获它们之间的结构相似性。为了解决这个问题,我们提出了结构感知的Transformer,一类简单而灵活的图形Transformers建立在一个新的自我注意力机制。这种新的自我注意力通过在计算注意力之前提取以每个节点为根的子图表示来将结构信息并入原始自我注意力。我们提出了几种方法自动生成的子图表示,并从理论上表明,所得到的表示至少是表达的子图表示。从经验上讲,我们的方法在五个图形预测基准上实现了最先进的性能。我们的结构感知框架可以利用任何现有的GNN来提取子图表示,我们表明,它系统地提高了相对于基本GNN模型的性能,成功地结合了GNN和Transformers的优势。我们的代码可在https://github.com/BorgwardtLab/SAT上获得。
2022-06-13 cs.LG stat.ML
E.T.: Entity-Transformers. Coreference augmented Neural Language Model for richer mention representations via Entity-Transformer blocks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
在过去的十年中,神经语言建模领域发生了巨大的变化,通过使用Transformer架构开发了新的模型。然而,由于存储器约束和增加的计算复杂性,即使这些模型也难以对长序列进行建模。训练数据上的共指注释可以提供远远超出这种语言模型的建模限制的上下文。在本文中,我们对神经语言模型中使用的Transformer-block架构进行了扩展,特别是在GPT 2中,以便在训练过程中加入实体注释。我们的模型,GPT 2 E,扩展了Transformer层架构的GPT 2的multity-transformers,一个架构,旨在处理共指信息时,存在。为此,我们实现了更丰富的实体提及的表示,与微不足道的培训成本。我们在CoNLL 2012和LAMBADA数据集上展示了GPT 2和GPT 2 E之间的比较模型性能,以及实体表示的关键差异及其在下游任务(如命名实体识别)中的影响。此外,我们的方法可以通过大多数基于transformer的语言模型。
2020-11-10 cs.CL cs.LG
Transformer Geometry Observatory TGO-II: Representational Similarity Observatory
Department of Electronics Engineering Sardar Vallabhai National Institute of Technology (SVNIT), Surat, India(电子工程系萨达尔·瓦拉布希国家理工学院(SVNIT),印度萨拉特)
提出TGO-II框架,通过CKA、SVCCA、TwoNN-ID和token协方差分析,发现ViT训练中表征专业化增强、内在维度增加且token交互结构保持,挑战了表征复杂性源于token独立的假设。
2026-07-03 cs.CV cs.LG
Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory
该研究针对Transformer可解释性研究中表示演变分析的不足,提出基于持续同调的Transformer几何观测站TGO-IV拓扑框架,通过多种拓扑工具全面分析表示点云的全局拓扑演变。
2026-08-12 cs.CV cs.LG
Scaffold Then Internalize: Representation Injection for Diffusion Transformers
Sun Yat-sen University(中山大学);Video Rebirth;The Hong Kong Polytechnic University(香港理工大学)
提出REPI,通过将预训练编码器表示注入扩散Transformer并逐步内化,与REPA互补,显著加速训练,仅16万步即可匹配700万步的SiT性能。
2026-09-29 cs.CV cs.LG
Probing Spectrum-Like Organization of States of Mind in Transformer Representation Spaces
Georgia Institute of Technology(佐治亚理工学院)
研究通过线性与浅层非线性探针评估句子嵌入是否能解码人类可解释的认知属性,发现嵌入空间存在显著的几何结构。
2026-07-03 cs.CL cs.LG
Leveraging Manifold Embeddings for Enhanced Graph Transformer Representations and Learning
针对图变换器单一欧氏空间嵌入的局限,提出黎曼混合专家层路由节点至多种流形,集成后提升节点分类准确率至多3%,并增强可解释性。
2025-07-09 cs.AI cs.LG
NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning
Xidian University(西安电子科技大学);Intellifusion(云天励飞);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出NAR-Former V2,一种融合GNN归纳能力的改进Transformer模型,用于通用神经网络表示学习,在延迟估计上显著超越NNLP,在精度预测上与最先进方法相当。
2023-10-16 cs.CV cs.LG
Adaptive Transformers for Learning Multimodal Representations
Transformers的使用已经从学习语言语义发展到形成有意义的语言表征。这些架构通常过于参数化,需要大量的计算。在这项工作中,我们扩展了自适应方法,以了解更多关于模型的可解释性和计算效率。具体来说,我们研究注意广度,稀疏和结构化的辍学方法,以帮助了解他们的注意力机制如何扩展视觉和语言任务。我们进一步表明,这些方法可以帮助我们更多地了解网络如何感知输入序列的复杂性,不同模态的稀疏性偏好以及其他相关现象。
2020-07-08 cs.CL cs.LG
Learning Program Representations with a Tree-Structured Transformer
Peking University(北京大学);Nanyang Technological University(南洋理工大学)
学习程序的向量表示是将深度学习技术应用于程序理解任务的关键步骤。提出了各种神经网络模型来从树结构的程序表示学习,例如,抽象语法树(AST)和具体语法树(CST)。然而,大多数神经架构要么无法捕获程序中普遍存在的长程依赖关系,要么无法学习语法树节点的有效表示,使它们无法执行节点级预测任务,例如,缺陷定位在本文中,我们提出了Tree-Transformer,一种新的递归树结构的神经网络学习的矢量表示的源代码。我们提出了一个多头注意力机制来模拟兄弟节点和父子节点对之间的依赖关系。此外,我们提出了一个双向传播策略,让节点的信息传递在两个方向,自下而上和自上而下沿树。通过这种方式,Tree-Transformer可以学习节点特征的信息以及全局上下文信息。大量的实验结果表明,我们的Tree-Transformer显着优于现有的基于树和基于图的程序表示学习方法在树级和节点级的预测任务。
2023-01-07 cs.LG cs.SE
Addressing Some Limitations of Transformers with Feedback Memory
Facebook AI Research(脸书人工智能研究院);LORIA(洛林计算机科学及其应用实验室)
尽管是前馈网络,但Transformers已成功应用于顺序自回归任务。与递归神经网络不同,Transformers在并行处理输入令牌的同时使用注意力来捕获时间关系。虽然这种并行化使它们在计算上高效,但它限制了模型充分利用输入的顺序性质。给定层的表示只能访问来自较低层的表示,而不是已经可用的更高级别的表示。在这项工作中,我们提出了反馈Transformer架构,将所有以前的表示暴露给所有未来的表示,这意味着当前时间步长的最低表示是从过去的最高级别抽象表示形成的。我们在语言建模,机器翻译和强化学习的各种基准测试中证明,增加的表示能力可以创建比同类Transformers性能更强的小而浅的模型。
2021-01-25 cs.CL cs.LG stat.ML
Emergent Stack Representations in Modeling Counter Languages Using Transformers
Birla Institute of Technology and Science, Pilani(比拉理工学院皮拉尼分校);Saarland University(萨尔大学)
本文在4种计数器语言上训练Transformer模型,并用栈等价表示这些语言,通过探测内部表示发现模型作为下一token预测器学习到了类似栈的表示,为理解Transformer学习语言的算法机制和电路发现提供了新见解。
2025-02-03 cs.CL cs.LG
Probabilistic Topic Modelling with Transformer Representations
Institute of Mathematics, Clausthal University of Technology(克劳斯塔尔工业大学数学研究所);BASF(巴斯夫公司);Georg-August-Universität Göttingen(哥廷根大学)
本研究提出Transformer表示神经主题模型TNTM,结合Transformer嵌入空间主题表示与概率建模优势,用VAE框架提升性能,在嵌入连贯性上比肩SOTA且主题多样性近乎完美。
2024-03-06 cs.CL cs.LG
Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
Johns Hopkins University(约翰霍普金斯大学)
研究利用表示编码器进行生成建模时标准扩散变压器收敛失败的问题,指出根本原因是几何干扰,提出黎曼流匹配与雅可比正则化方法,使标准扩散变压器无需宽度缩放就能收敛。
2026-07-07 cs.CV cs.LG
Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning
Huazhong University of Science and Technology(华中科技大学)
通过将图的结构信息融入到Transformers中,图Transformers近年来在图表示学习方面表现出了良好的性能。现有的图Transformers利用特定的策略,例如节点对的拉普拉斯特征向量和最短路径,来保留节点的结构特征,并将它们馈送到普通的Transformer中以学习节点的表示。对于拓扑结构变化较大的任意图,这种预定义的规则很难提取信息丰富的图结构特征,限制了模型的学习能力。为此,我们提出了一个自适应图Transformer,称为多邻域注意基于图Transformer(MNA-GT),它捕获的多邻域注意力机制自适应的每个节点的图结构信息。MNA-GT通过将执行缩放点积的输入定义为注意力核,基于邻域的不同跳数构造多个注意力核,使得每个注意力核可以捕获每个节点对的对应邻域的特定图结构信息。通过这种方式,MNA-GT可以通过合并由不同注意力核学习的节点表示来有效地保留图的结构信息。MNA-GT还采用注意力层来学习不同注意力核的重要性,以使模型能够自适应地捕获不同节点的图结构信息。在各种图基准上进行了大量的实验,实证结果表明,MNA-GT优于许多强基线。
2022-11-15 cs.LG cs.SI
StARformer: Transformer with State-Action-Reward Representations for Visual Reinforcement Learning
Stony Brook University(石溪大学)
强化学习(RL)可以被认为是一个序列建模任务:给定一系列过去的状态-动作-奖励经验,智能体预测一系列接下来的动作。在这项工作中,我们提出了视觉RL的状态-动作-奖励Transformer(StARformer),它显式地模拟短期状态-动作-奖励表示(StAR表示),本质上是引入了类似马尔可夫的归纳偏差,以改善长期建模。我们的方法首先提取星表示的自我参加图像状态补丁,动作和奖励令牌在一个很短的时间窗口。然后将这些与纯图像状态表示相结合-提取为卷积特征,以在整个序列上执行自我注意。我们的实验表明,在离线RL和模仿学习设置中,StARformer在基于图像的Atari和DeepMind Control Suite基准测试中的表现优于最先进的基于Transformer的方法。StARformer也更符合较长的输入序列。我们的代码可在https://github.com/elicassion/StARformer上获得。
2023-01-04 cs.AI cs.LG
Do Transformers Really Perform Bad for Graph Representation?
Dalian University of Technology(大连理工大学);Princeton University(普林斯顿大学);Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
Transformer架构已经成为许多领域的主要选择,例如自然语言处理和计算机视觉。然而,与主流GNN变体相比,它在图形级预测的流行排行榜上没有取得有竞争力的性能。因此,Transformers如何在图表示学习中表现良好仍然是一个谜。在本文中,我们通过介绍Graphormer来解决这个谜团,Graphormer建立在标准的Transformer架构之上,并且可以在广泛的图表示学习任务上取得优异的成绩,特别是在最近的OGB大规模挑战赛上。我们在图中使用Transformer的关键见解是必须将图的结构信息有效地编码到模型中。为此,我们提出了几种简单而有效的结构编码方法,以帮助Graphormer更好地建模图结构数据。此外,我们在数学上描述了Graphormer的表达能力,并展示了我们对图的结构信息进行编码的方式,许多流行的GNN变体可以作为Graphormer的特例。
2021-11-24 cs.AI cs.LG
Learning Attributed Graph Representations with Communicative Message Passing Transformer
Sun Yat-sen University(中山大学);Galixir Technologies Ltd(Galixir科技有限公司)
构建适当的分子表示是许多任务的核心,如材料科学,化学和药物设计。近年来的研究将分子抽象为属性图,并利用图神经网络(GNN)进行分子表示学习,在分子图建模方面取得了显著的成果。尽管功能强大,但当前的模型要么基于局部聚合操作,从而错过了高阶图属性,要么只关注节点信息,而没有充分利用边信息。为此,我们提出了一个通信的消息传递Transformer(CoMPT)神经网络,以改善分子图表示的基础上,Transformer架构,加强节点和边缘之间的消息交互。与之前将分子视为完全连接图的transformer风格的GNN不同,我们引入了一种消息扩散机制来利用图连接性诱导偏差并减少消息丰富爆炸。大量的实验表明,该模型获得了优越的性能(约4 $\%$平均)对国家的最先进的基线上的7个化学性质数据集(图级任务)和两个化学位移数据集(节点级任务)。进一步的可视化研究也表明,我们的模型实现了更好的表示能力。
2021-07-28 cs.AI cs.LG
Transformers from Compressed Representations
King Abdullah University of Science and Technology(卡塔尔国王 Abdullah 科学与技术大学);Meta AI Research(Meta AI 研究)
针对压缩表示在表示学习中潜力未被充分挖掘的问题,提出TEMPEST方法,利用压缩文件字节流结构设计分词编码策略,让标准Transformer直接从压缩数据学习语义表示,在保证准确率的同时提升内存与计算效率。
2025-10-29 cs.AI cs.LG
Visuo-Tactile Transformers for Manipulation
University of Michigan(密歇根大学)
在视觉和触觉的联合域中学习表示可以通过利用互信息和互补线索来提高操纵灵活性、鲁棒性和样本复杂性。在这里,我们提出了视觉触觉Transformers(VTT),一种新的多模态表示学习方法,适合于基于模型的强化学习和规划。我们的方法扩展了视觉Transformer \cite{dosovitskiy2021image}来处理视觉触觉反馈。具体来说,VTT使用触觉反馈以及自我和跨模态注意力来构建潜在热图表示,将注意力集中在视觉领域的重要任务特征上。我们证明了VTT的表示学习的有效性与四个模拟机器人任务和一个现实世界的块推任务的基线进行比较评估。我们对VTT的组成部分进行了消融研究,以强调跨通道在表示学习中的重要性。
2022-09-30 cs.LG cs.RO
Sparsifying Transformer Models with Trainable Representation Pooling
Jagiellonian University(雅盖隆大学);Poznan University of Technology(波兹南理工大学)
我们提出了一种新的方法来稀疏注意力的Transformer模型,学习选择最信息的令牌表示在训练过程中,从而专注于特定于任务的输入部分。由于采用了一个鲁棒的可训练top- $k$算子,算法的时间和内存复杂度都降低到了次线性.我们在一个具有挑战性的长文档摘要任务上的实验表明,即使是我们简单的基线也可以达到当前的SOTA,并且通过可训练的池化,我们可以保持其最高质量,同时在训练过程中$1.8\times$更快,在推理过程中$4.5\times$更快,在解码器中$13\times$的计算效率更高。
2022-03-07 cs.CL cs.LG
Multi-Task Bidirectional Transformer Representations for Irony Detection
The University of British Columbia(不列颠哥伦比亚大学)
监督式深度学习需要大量的训练数据。在FIRE2019阿拉伯语反讽检测共享任务(IDAT@FIRE2019)的背景下,我们展示了如何通过在多任务设置中对黄金数据进行Transformers(BERT)的预训练双向编码器进行微调来缓解这种需求。我们进一步改进我们的模型,通过进一步预训练BERT的“域内”数据,从而减轻了方言不匹配的问题,在谷歌发布的BERT模型。我们最好的模型获得了82.4的宏F1分数,并且具有无特征工程的独特优势(即,完全基于深度学习)。
2019-10-31 cs.CL cs.LG
Graph Propagation Transformer for Graph Representation Learning
OPPO Research Institute(OPPO研究院)
该研究提出图传播Transformer(GPTrans)架构,通过支持三类信息传播的图传播注意力机制学习图表示,在多个基准实验中性能优于现有基于Transformer的图模型。
2024-10-09 cs.AI cs.LG
CETransformer: Casual Effect Estimation via Transformer Based Representation Learning
Beijing Jiaotong University(北京交通大学)
治疗效果估计是对因果关系的估计,其目的是衡量因果关系的强度,在许多领域具有重要意义,但在实践中是一个具有挑战性的问题。目前,数据驱动的因果效应估计面临两个主要挑战,即,选择偏差和反事实的缺失。为了解决这两个问题,大多数现有的方法倾向于通过学习一个平衡的表征来减少选择偏差,然后通过表征来估计反事实。然而,在学习平衡表示时,它们严重依赖于精细手工制作的度量函数,这通常不适用于原始分布复杂的情况。在本文中,我们提出了一个CE Transformer模型的因果效应估计通过Transformer为基础的表示学习。为了鲁棒地学习协变量(特征)的表示,提出了一种自监督的Transformer,通过自注意机制可以很好地利用协变量之间的相关性。此外,采用对抗网络来平衡处理组和控制组在表示空间中的分布。三个真实世界的数据集上的实验结果表明,所提出的CETransformer的优势,与最先进的治疗效果估计方法相比。
2021-07-19 cs.AI cs.LG
Improving Performance Prediction of Electrolyte Formulations with Transformer-based Molecular Representation Model
IBM Research - Tokyo(IBM东京研究院);IBM Almaden Research Center(IBM阿尔马登研究中心)
本文提出一种基于Transformer的分子表示模型来捕捉电解质配方表示,并在两个电池性质预测任务上验证其性能优于现有最优方法。
2024-06-28 cs.ET cs.LG
Do we need more complex representations for structure? A comparison of note duration representation for Music Transformers
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Pontifical Catholic University of Minas Gerais(米纳斯吉拉斯天主教大学)
本研究探讨了仅使用未标注MIDI信息的现成Music Transformer模型在结构相似性指标上的表现,发现对常见表示的轻微调整能带来微小但显著的改进,并指出寻找更好的未标注音乐表示比生成大量标注数据更具成本效益。
2024-10-14 cs.LG cs.SD eess.AS
Understanding Rate-Distortion Performance in Distributed Transformer Inference
Simon Fraser University(西蒙弗雷泽大学)
本文提出基于率-失真原理的压缩框架,通过学习紧凑编码在准确率与比特率间进行权衡,实验证明其在语言基准测试中能显著提升压缩效率。
2026-08-04 cs.IT cs.LG math.IT
Evaluating Document-Tuned Transformer Representations for Person-level Mental Health Assessment
Vanderbilt University(范德堡大学);Lund University(隆德大学);Carnegie Mellon University(卡内基梅隆大学)
比较基础Transformer和文档调优Transformer在个体级心理健康评估中的表现,发现文档调优模型在预测准确性和鲁棒性上显著优于基础模型。
2026-06-23 cs.CL cs.LG
Domain Generalisation with Bidirectional Encoder Representations from Vision Transformers
Dublin City University(都柏林城市大学)
本研究使用视觉Transformer进行域泛化,发现BEIT架构最佳,并在PACS、Home-Office和DomainNet基准上显著提升准确率,缩小分布内外差距。
2023-07-16 cs.CV cs.LG
Transformer Neural Networks Attending to Both Sequence and Structure for Protein Prediction Tasks
George Mason University(乔治梅森大学)
越来越多的基因组蛋白质序列的解码开辟了新的研究途径,连接蛋白质序列的功能与Transformer神经网络。最近的研究表明,已知蛋白质序列的数量支持通过Transformers学习有用的,任务不可知的序列表示。在本文中,我们认为学习联合序列结构表示可以为功能相关的预测任务提供更好的表示。我们提出了一个Transformer神经网络,出席了序列和三级结构。我们表明,这种联合表示比基于序列的表示更强大,并且它们在各种指标上对超家族成员产生更好的性能。
2022-06-17 cs.AI cs.LG q-bio.QM
GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation
Harbin Institute of Technology(哈尔滨工业大学)
本文提出GTC架构,通过GNN与Transformer协同学习并结合跨视图对比学习,有效解决了过平滑问题,实现了自监督异构图表示。
2024-03-22 cs.IR cs.LG
nGPT: Normalized Transformer with Representation Learning on the Hypersphere
NVIDIA
提出nGPT架构,将所有向量归一化到超球面,通过层间位移实现快速学习,训练步数减少4至20倍。
2025-04-23 cs.AI cs.LG
GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization
University of Southern California(南加州大学)
与自然语言相反,源代码理解受标记之间的语法关系的影响,而不管它们的标识符名称。源代码的图形表示(如抽象树(AST))可以捕获标记之间的关系,这些关系在源代码中并不明显。我们提出了一种新的方法,GN-Transformer在融合序列和图形模态上学习端到端,我们称之为Syntax-Code-Graph(SCG)。GN-Transformer使用自注意机制扩展了图网络(GN)框架。SCG是源代码片段和AST表示之间早期融合的结果。我们对SCG的结构进行了实验,对模型设计进行了消融研究,并得出结论,性能优势来自融合表示。所提出的方法在两个代码摘要数据集和三个自动代码摘要度量(BLEU,METEOR,ROUGE-L)上实现了最先进的性能。我们进一步评估我们的模型和以前的工作与专家用户的研究人类感知质量。我们的模型在人类感知质量和准确性方面优于最先进的技术。
2021-11-17 cs.LG cs.PL
Probabilistic thermal stability prediction through sparsity promoting transformer representation
DTU Compute(丹麦技术大学计算系);Novo Nordisk A/S(诺和诺德公司)
预训练的蛋白质语言模型在不同的蛋白质工程任务中表现出显著的适用性。这些预先训练的Transformer模型潜在表示的一般用途是使用跨残基位置的平均池来减少特征维度以进一步下游任务,例如预测生物物理特性或其他功能行为。在本文中,我们提供了一个双重的贡献机器学习(ML)驱动的药物设计。首先,我们通过促进预先训练的Transformer模型的惩罚来证明稀疏性的力量,以确保单链可变片段的更稳健和准确的解链温度(Tm)预测,平均绝对误差为0.23 C。其次,我们展示了在概率框架中构建预测问题的能力。具体来说,我们提倡采用概率框架的必要性,特别是在ML驱动的药物设计的背景下。
2022-11-10 cs.LG stat.ML
A Transformer-based Framework for Multivariate Time Series Representation Learning
Brown University(布朗大学);IBM Research(IBM研究院)
在这项工作中,我们首次提出了一个基于transformer的框架,用于多变量时间序列的无监督表示学习。预训练模型可以用于下游任务,如回归和分类,预测和缺失值插补。通过在多个多元时间序列回归和分类的基准数据集上评估我们的模型,我们表明我们的建模方法不仅代表了迄今为止对多元时间序列进行无监督学习的最成功的方法,而且它还超过了当前最先进的监督方法的性能;即使在训练样本的数量非常有限的情况下,它也能这样做,同时提供计算效率。最后,我们证明了我们的Transformer模型的无监督预训练比完全监督学习提供了实质性的性能优势,即使没有利用额外的未标记数据,即,通过无监督目标重用相同的数据样本。
2020-12-08 cs.AI cs.LG
Visualizing Attention in Transformer-Based Language Representation Models
Palo Alto Research Center(帕洛阿尔托研究中心)
我们提出了一个开源工具,用于在基于transformer的语言表示模型中可视化多头自我注意力。该工具扩展了早期的工作,通过在三个粒度级别上可视化注意力:注意力头级别,模型级别和神经元级别。我们描述了这些视图如何帮助解释模型,并在BERT模型和OpenAI GPT-2模型上演示了该工具。我们还提出了分析GPT-2的三个用例:检测模型偏差,识别重复模式,以及将神经元与模型行为联系起来。
2019-04-11 cs.HC cs.LG stat.ML