Transformers Can Learn Connectivity in Some Graphs but Not Others
研究探讨了变换器在推断传递关系任务中的能力,发现其在网格状图中能有效推断连接性,但对非网格图尤其是具有多个不连通组件的图表现较差。
2026-04-21 cs.AI cs.CL cs.LG
Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
The Ohio State University(俄亥俄州立大学)
本文研究了隐式推理能力,探讨了递归深度变换器在系统泛化和深度扩展中的作用,发现其能有效提升多跳推理能力,但过度递归会导致泛化能力下降。
2026-08-12 cs.AI cs.CL cs.LG
TransformerFAM: Feedback attention is working memory
Google LLC(谷歌公司)
本文提出TransformerFAM架构,通过反馈回路让Transformer关注自身潜在表示以形成工作记忆,无需额外权重即可无缝集成预训练模型,并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
Towards Better Understanding of In-Context Learning Ability from In-Context Uncertainty Quantification
Imperial College Business School, Imperial College London(伦敦帝国学院商学院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文通过双目标预测(条件期望与方差)研究Transformer的上下文学习,证明其接近贝叶斯最优,但任务偏移时并非贝叶斯推断,并给出更紧的泛化界。
2024-05-24 cs.CL cs.LG stat.ML
Counting Ability of Large Language Models and Impact of Tokenization
University of British Columbia(不列颠哥伦比亚大学);Stony Brook University(纽约州立大学石溪分校)
本研究针对通用大语言模型计数能力受架构限制的问题,探究分词方式对其计数能力的影响,通过理论与实验分析揭示分词选择对模型理论可计算性的作用,为优化分词以提升大模型推理能力提供思路。
2024-10-29 cs.AI cs.CL
PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Data Science, Fudan University(复旦大学上海市数据科学重点实验室);Xiaohongshu Inc.(小红书公司)
本文提出PENGUIN,一种周期-嵌套组注意力机制,用于提升Transformer在长期时间序列预测中的性能,通过捕捉周期结构和处理多重周期性。
2026-03-29 cs.AI cs.LG
Trees in transformers: a theoretical analysis of the Transformer's ability to represent trees
New York University(纽约大学);University of Virginia(弗吉尼亚大学)
Transformer网络是自然语言处理中事实上的标准体系结构。到目前为止,还没有对Transformer捕获树结构的能力进行理论分析。我们专注于Transformer网络学习树结构的能力,这对树转导问题是很重要的。我们首先分析了标准Transformer体系结构的理论能力,以在给定所有可能的树骨干的枚举的情况下学习树结构,我们将其定义为没有标签的树。然后,我们证明了具有ReLU激活函数的两个线性层可以从任何两个非零、线性独立的起始骨干恢复任何树骨干。这意味着Transformer在理论上可以很好地学习树结构。我们进行实验与合成数据,并发现标准的Transformer实现类似的准确性相比,Transformer,其中树的位置信息被明确编码,虽然收敛速度较慢。这从经验上证实了Transformers可以学习树结构。
2021-12-16 cs.CL cs.LG
On the Ability of Transformers to Verify Plans
Saarland University(萨尔兰大学);Australian National University(澳大利亚国立大学);University of Toulouse / LAAS-CNRS(图卢兹大学 / LAAS-CNRS)
研究分析了解码器-only模型验证计划的能力,提出C*-RASP框架以保证序列长度和词汇量增长时的泛化能力,发现某些经典规划领域中Transformer能有效学习验证长计划。
2026-07-07 cs.AI cs.CL cs.LG
Beyond Transformers for Function Learning
Princeton Neuroscience Institute(普林斯顿神经科学研究所)
针对 Transformer 能否复现人类函数外推能力的问题,本文引入两种源自认知科学抽象推理模型的归纳学习偏置,提升大型神经网络的函数学习与外推表现。
2023-04-19 cs.AI cs.LG
Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input
the University of Tokyo(东京大学);RIKEN(理化学研究所)
本文研究了Transformer处理无限维输入的序列到序列函数的逼近与估计能力,证明其凭借特征提取和参数共享能避免维度灾难,并在平滑性变化时动态提取特征,实现与固定平滑性相似的收敛速率。
2023-05-30 cs.LG stat.ML
DyFormer: A Scalable Dynamic Graph Transformer with Provable Benefits on Generalization Ability
Penn State University(宾夕法尼亚州立大学);Meta AI
Transformers在多个领域取得了巨大成功,包括自然语言处理和计算机视觉。然而,它的应用到现实世界的图是探索较少,主要是由于其计算成本高,其推广性差造成的缺乏足够的训练数据在图域。为了填补这一空白,我们提出了一个可扩展的transformer类动态图学习方法命名为动态图Transformer(DyFormer)与时空编码,有效地学习图形拓扑结构和捕获隐含的链接。为了实现高效和可扩展的训练,我们提出了时间并图结构及其相关的基于子图的节点采样策略。为了提高泛化能力,我们引入了两个互补的自监督预训练任务,并通过信息论分析表明,联合优化这两个预训练任务会导致更小的贝叶斯出错率。在真实世界数据集上进行的大量实验表明,与所有基准测试的基线相比,DyFormer实现了一致的1%-3% AUC增益(所有时间步长的平均值)。
2023-01-30 cs.LG
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
系统组合性是人类语言中的一种基本机制,它允许已知部分的重组来创造新的表达。然而,现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战(Lake和Baroni,2018)中失败,需要将命令解析为动作,我们提出了两个辅助序列预测任务,用于跟踪函数和参数语义的进展,作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中,模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明,我们的方法鼓励Transformer理解命令的组合结构,将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个(5%)训练实例的情况下,我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此,我们认为,组合性可以诱导在Transformers给予最小的,但适当的指导。我们还表明,更好的结果是实现使用较少的上下文向量作为注意力的查询,实现系统的组合性的架构选择提供见解。最后,我们展示了对PulledSCAN任务的积极推广结果(Ruis等人,2020年)。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections
Brain Corporation(Brain公司)
针对Transformer缺乏上下文相关特征和信息流调节的问题,本文提出评估器调节单元(EAU)与门控残差连接(GRC),通过动态调节注意力输出和选择性控制信息流,在NLP基准上展现出更强的适应性和效率。
2024-05-22 cs.AI cs.LG
On the Ability and Limitations of Transformers to Recognize Formal Languages
Microsoft Research India(微软印度研究院)
Transformers已经在大量的NLP任务中取代了循环模型。然而,在他们的能力,以模拟不同的句法属性的差异仍然在很大程度上是未知的。过去的工作表明LSTM在正则语言上有很好的推广,并且与计数器语言有着密切的联系。在这项工作中,我们系统地研究了Transformers的能力,以模拟这样的语言,以及它的各个组件在这样做的作用。我们首先提供了一个构造的Transformers的子类计数器语言,包括研究良好的语言,如n元布尔表达式,Dyck-1,及其推广。在实验中,我们发现Transformers在这个子类上表现良好,并且它们的学习机制与我们的构式有很强的相关性。也许令人惊讶的是,与LSTM相比,Transformers只在性能下降的正则语言的一个子集上表现良好,因为我们根据众所周知的复杂性度量使语言变得更加复杂。我们的分析还提供了洞察自我注意力机制在建模某些行为的作用和位置编码方案对模型的学习和泛化能力的影响。
2020-10-08 cs.CL cs.LG
Peri-midFormer: Periodic Pyramid Transformer for Time Series Analysis
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Xidian University(西安电子科技大学)
针对时间序列分析中多周期变化建模难题,提出周期金字塔Transformer,通过解耦周期分量并引入自注意力,在五个主流任务上取得卓越性能。
2024-11-07 cs.LG
On the Existence of Universal Simulators of Attention
Indian Statistical Institute West Bengal(印度统计研究所西孟加拉)
本文研究了Transformer编码器能否模拟通用注意力机制,通过构建由Transformer编码器组成的通用模拟器U,利用RASP框架提出算法解决方案,证明了数据无关的算法可实现解的存在。
2026-04-22 cs.AI cs.LG
What Can Transformer Learn with Varying Depth? Case Studies on Sequence Learning Tasks
The University of Hong Kong(香港大学)
本文通过设计序列学习任务,系统研究了Transformer深度对其记忆、推理、泛化和上下文泛化能力的影响,发现不同能力所需的最小注意力层数不同,并指出复杂任务可由单层可执行的简单操作组合并通过堆叠多层注意力层解决。
2024-04-02 cs.LG
Simplicity Bias in Transformers and their Ability to Learn Sparse Boolean Functions
Mila(米拉人工智能研究所);McGill University(麦吉尔大学);University of Oxford(牛津大学);Cohere(Cohere公司)
本文通过布尔函数实证研究揭示 Transformer 相比 LSTM 更偏向低敏感度函数,并在稀疏布尔函数上表现出更强抗噪泛化能力,从而解释了其实际泛化优势。
2023-07-10 cs.CL cs.LG
Pre-trained Language Models Improve the Few-shot Prompt Ability of Decision Transformer
Department of Electrical and Computer Engineering(电气与计算机工程系);Duke University(杜克大学);Department of Biostatistics and Bioinformatics(生物统计学与生物信息学系);Department of Computer Science(计算机科学系)
预训练语言模型提升决策变换器的少样本提示能力,通过初始化和提示正则化增强RL任务区分能力。
2025-12-02 cs.AI cs.CL cs.LG
Transformers Can Achieve Length Generalization But Not Robustly
Google DeepMind(谷歌DeepMind);University of Toronto(多伦多大学)
本文通过整数加法任务测试了Transformer的长度泛化能力,发现使用正确的数据格式与位置编码组合可实现2.5倍长度外推,但该能力受随机种子等因素影响仍显脆弱。
2024-02-14 cs.AI cs.CL cs.LG
WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence Learning Ability
UC San Diego(加州大学圣地亚哥分校);Mindverse
本文提出 Wavelet Space Attention(WavSpA),通过在可学习小波系数空间中进行注意力学习来替代传统 Transformer 注意力,在保持线性时间复杂度的同时捕获位置与频率信息,显著提升了模型的长序列学习与推理外推能力。
2023-05-22 cs.CL cs.LG
A novel Fourier Adjacency Transformer for advanced EEG emotion recognition
Faculty of Information Engineering and Automation, Kunming University of Science and Technology(昆明理工大学信息工程与自动化学院);School of Artificial Intelligence and Advanced Computing, Xi’an Jiaotong-Liverpool University(西交利物浦大学人工智能与先进计算学院)
提出融合Fourier周期特征提取与邻接注意力图结构建模的Fourier Adjacency Transformer,在SEED和DEAP上超越现有方法,准确率提升约6.5%。
2025-02-28 cs.AI cs.LG eess.SP
How Well Can Transformers Emulate In-context Newton's Method?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Yale University(耶鲁大学);Princeton University(普林斯顿大学)
该研究验证了带 ReLU 层的线性注意力 Transformer 可在逻辑回归任务中近似二阶优化算法,且仅两层的纯线性注意力 Transformer 就能实现单步牛顿矩阵求逆,证明其具备实现梯度下降外复杂算法的能力。
2024-03-05 cs.AI cs.LG math.OC
Solving Reasoning Tasks with a Slot Transformer
Deepmind(深度思维)
将世界划分为有用的抽象概念,以便对时间和空间进行推理的能力是智能的重要组成部分。为了成功地感知和有效地使用感官采取行动,我们必须解析和压缩大量的信息,以便进行进一步的下游推理,从而使越来越复杂的概念出现。如果有任何希望扩展表示学习方法来处理真实世界的场景和时间动态,那么就必须有一种方法来学习准确,简洁和可组合的抽象。我们提出了插槽Transformer,一个架构,利用插槽的注意力,Transformers和迭代变分推理视频场景数据来推断这样的表示。我们评估的插槽Transformer CLEVRER,动力学600和CATER datesets和证明,该方法使我们能够开发强大的建模和推理周围的复杂行为,以及这些数据集的分数,比较有利的现有基线。最后,我们评估架构的关键组件的有效性,模型的代表性能力和预测能力,从不完整的输入。
2022-10-20 cs.LG
Periodic Graph Transformers for Crystal Material Property Prediction
Texas A&M University(德克萨斯农工大学);Florida State University(佛罗里达州立大学)
我们考虑周期图编码晶体材料上的表示学习。与正则图不同的是,周期图是由三维空间中的一个最小单元格在一个正则格上重复自己组成的。如何有效地编码这些周期性结构提出了独特的挑战,不存在于规则图表示学习。除了是E(3)不变的,周期图表示需要是周期不变的。也就是说,学习的表示应该对人为施加的细胞边界的移位保持不变。此外,需要明确地捕获周期性重复图案,因为不同尺寸和取向的晶格可能对应于不同的材料。在这项工作中,我们提出了一个Transformer架构,称为Matformer,用于周期图表示学习。我们的Matformer被设计为不随周期变化,并且可以明确地捕获重复模式。特别是,Matformer通过有效利用相邻单元中相同原子之间的几何距离来编码周期性图案。在多个常见基准数据集上的实验结果表明,我们的Matformer始终优于基线方法。此外,我们的研究结果表明,晶体表示学习的周期不变性和明确的重复模式编码的重要性。
2022-09-23 cs.LG
Stabilizing Transformers for Reinforcement Learning
DeepMind;Carnegie Mellon University(卡内基梅隆大学)
由于它们能够在长时间范围内有效地整合信息并扩展到大量数据,自注意力架构最近在自然语言处理(NLP)方面取得了突破性的成功,在语言建模和机器翻译等领域取得了最先进的成果。利用Transformer处理长时间信息的能力可以在部分可观察的强化学习(RL)领域提供类似的性能提升,但NLP中使用的大规模Transformers尚未成功应用于RL设置。在这项工作中,我们证明了标准的Transformer架构是难以优化的,这是以前在监督学习设置中观察到的,但在RL目标中变得特别明显。我们提出的架构修改,大大提高了稳定性和学习速度的原始Transformer和XL的变种。所提出的架构Gated Transformer-XL(GTrXL)在具有挑战性的内存环境中超越了LSTM,并在多任务DMLab-30基准测试套件中取得了最先进的结果,超过了外部内存架构的性能。我们发现,使用相同损失训练的GTrXL具有稳定性和性能,始终匹配或超过竞争性LSTM基线,包括在内存不太重要的反应性任务中。GTrXL提供了一个易于训练,易于实现,但更具有表现力的架构替代标准多层LSTM普遍用于部分可观察环境中的RL代理。
2019-10-13 cs.AI cs.LG stat.ML
Utilizing Evolution Strategies to Train Transformers in Reinforcement Learning
Faculty of Mathematics and Physics, Charles University(数学与物理系,查理大学);Institute of Computer Science, Czech Academy of Sciences(计算机科学研究所,捷克科学院)
本研究探索进化策略训练强化学习中Transformer架构策略智能体的能力,采用OpenAI高并行化进化策略在MuJoCo Humanoid和Atari环境训练Decision Transformer,验证了该黑盒方法可训练复杂大模型并取得优异性能。
2025-07-30 cs.LG cs.NE
CycleTransGAN-EVC: A CycleGAN-based Emotional Voice Conversion Model with Transformer
Graduate School of Engineering Science, Osaka University(大阪大学工学研究科);Advanced Telecommunications Research Institute International(国际高级电信研究所);RIKEN(理化学研究所)
在这项研究中,我们探讨了Transformer的能力,捕捉帧之间的关系,通过扩大模型的感受野。具体来说,我们提出了一个基于CycleGAN的模型与Transformer,并研究其在情感语音转换任务的能力。在训练过程中,我们采用课程学习的方法逐渐增加帧长,使模型能够从短段一直看到整个语音。在日本情感语音数据集上对所提出的方法进行了评估,并与几个基线(ACVAE,CycleGAN)进行了客观和主观评估。结果表明,我们提出的模型是能够转换的情感与更高的强度和质量。
2021-11-30 cs.LG cs.SD eess.AS
Shortcut Solutions Learned by Transformers Impair Continual Compositional Reasoning
Johns Hopkins Applied Physics Lab(约翰霍普金斯应用物理实验室)
研究探讨了Transformer模型在连续学习中的表现,发现BERT学习快捷方案限制了泛化能力,而ALBERT通过循环结构提升了连续学习性能,但两者在跨经验组合任务中均表现不足。
2026-05-06 cs.LG
ComplexFormer: Disruptively Advancing Transformer Inference Ability via Head-Specific Complex Vector Attention
ComplexFormer通过复数多头注意力机制,在每个注意力头中统一建模语义和位置差异,显著提升了Transformer在多项任务上的性能与长上下文连贯性。
2025-05-27 cs.CL cs.LG
Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem
University of Science and Technology of China(中国科学技术大学);Jiaxing University(嘉兴学院)
Transformer架构在诸如自然语言处理(NLP)和计算机视觉(CV)等许多任务中产生了最先进的结果,因为能够有效地捕获输入序列之间的精确远程依赖性耦合。然而,这种先进的能力,二次的时间复杂度和高内存使用,防止Transformer处理长时间序列预测问题(LTFP)。为了解决这些困难:(1)重新审视了香草自我注意的学习注意模式,基于最大熵原理重新设计了自我注意的计算方法。(ii)本文提出了一种新的稀疏化自注意的方法,该方法可以避免由于随机抽样而丢失更重要的自注意分数。(iii)我们提出了Keys/Values Distilling方法,其动机是原始自注意图中的大量特征是冗余的,这可以进一步降低时间和空间复杂度,并使输入更长的时间序列成为可能。最后,我们提出了一种将编码器-解码器架构与季节趋势分解相结合的方法,即,使用编码器-解码器架构来捕获更具体的季节部分。在多个大规模数据集上的大量实验表明,本文提出的方法明显优于现有方法。我们希望这为Transformer解决LTFP开辟一个新的解决方案,并探索Transformer架构捕获更长时间依赖性的能力。
2023-01-04 cs.LG
ConvTransSeg: A Multi-resolution Convolution-Transformer Network for Medical Image Segmentation
提出ConvTransSeg混合编码器-解码器网络,结合CNN局部特征与Transformer全局上下文,以多分辨率连接实现高效医学图像分割,在多个数据集上取得最优性能且无需预训练。
2022-10-13 cs.CV cs.LG
Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis
Rensselaer Polytechnic Institute(罗切斯特理工学院);The Chinese University of Hong Kong(香港中文大学);IBM Research(IBM研究院)
本研究首次从理论上分析了训练非线性注意力Transformer以获得思维链推理能力所需的样本与迭代条件,证明了其在分布偏移的未见任务上的泛化性,并刻画了噪声示例下仍能准确推理的条件,实验验证了理论结果。
2025-05-25 cs.CL cs.LG
Transformer on a Diet
Amazon Web Services(亚马逊云服务)
由于Transformer能够以有效的方式捕获序列信息,因此它得到了广泛的应用。然而,最近的发展,如BERT和GPT-2,只提供了重型架构,重点是有效性。在本文中,我们探讨了三种精心设计的轻型Transformer架构,以确定计算量较少的Transformer是否可以产生有竞争力的结果。在语言模型基准数据集上的实验结果表明,这种折衷是有希望的,轻量级的Transformer最多减少了70%的参数,同时获得了与标准Transformer相比具有竞争力的困惑度。源代码是公开的。
2020-02-14 cs.CL cs.LG
Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System
Stanford University(斯坦福大学);University of Technology Sydney(悉尼科技大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);University of New South Wales(新南威尔士大学);University of Science and Technology of China(中国科学技术大学)
针对Transformer在长期时间序列预测中因数据冗余导致的过拟合问题,提出CLMFormer框架,通过课程噪声和记忆解码器提升泛化,在六个基准上最高提升30%。
2025-03-25 cs.CV cs.LG
Set Interdependence Transformer: Set-to-Sequence Neural Networks for Permutation Learning and Structure Prediction
IT University of Copenhagen(哥本哈根信息技术大学);Tjek A/S(Tjek公司)
对于神经网络来说,学习将输入集映射到其元素的置换序列上的任务是具有挑战性的。集合到序列问题出现在自然语言处理、计算机视觉和结构预测中,其中大集合的元素之间的相互作用定义了最优输出。模型必须表现出关系推理,处理不同的基数和管理组合的复杂性。先前的基于注意力的方法需要其集合变换的$n$层来显式地表示$n$阶关系。我们的目标是通过一个额外的相互依赖的组件,以提高他们的能力,有效地建模高阶的相互作用。我们提出了一种新的神经集编码方法,称为集相互依赖Transformer,能够将集合的置换不变表示与任何基数的集合内的元素。我们将其与置换学习模块结合成一个完整的3部分集合序列模型,并在许多任务上展示了其最先进的性能。这些范围从组合优化问题,通过对句子排序的合成和建立的NLP数据集的置换学习挑战,到产品目录结构预测的新领域。此外,网络的能力,以推广到看不见的序列长度的研究和现有的方法的能力,学习高阶相互作用的比较实证分析。
2022-06-08 cs.CL cs.LG
Johnny: Structuring Representation Space to Enhance Machine Abstract Reasoning Ability
University of Science and Technology Beijing(北京科技大学)
本文提出Johnny表示空间框架和Spin-Transformer架构,通过结构化表示空间与轻量级注意力优化,提升RPM抽象推理性能并降低计算开销。
2025-05-13 cs.CV cs.LG
Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning
The University of Tokyo(东京大学);RIKEN AIP(日本科学技术厅AIP)
本研究证明Transformer在非平稳强化学习中可实现近乎最优的动态遗憾界,并实验验证其能匹配或超越现有专家算法。
2025-10-23 cs.LG stat.ML
BiRT: Bio-inspired Replay in Vision Transformers for Continual Learning
NavInfo Europe(四维图新欧洲);Eindhoven University of Technology(埃因霍温理工大学)
针对视觉Transformer持续学习中表征回放多样性不足导致的过拟合问题,提出BiRT方法,通过在各阶段引入建设性噪声并强制与指数移动平均预测一致,在多个基准上取得优于原始图像回放和朴素表征回放的性能,且内存高效、鲁棒。
2023-05-08 cs.CV cs.LG cs.NE
Breaking through the learning plateaus of in-context learning in Transformer
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
本文通过分离权重成分与上下文成分,揭示Transformer上下文学习平台期源于权重成分功能受损,并提出三种加速策略,在合成任务和自然语言处理任务中验证其有效性。
2024-06-06 cs.CL cs.CV cs.LG
Transformer-based Atmospheric Density Forecasting
Massachusetts Institute of Technology(麻省理工学院);Universidad Politécnica de Madrid(马德里理工大学)
本文针对空间态势感知中大气密度预报问题,提出基于Transformer的非线性预报架构,并与DMDc方法在NRLMSISE-00、JB2008和TIEGCM模型上进行比较,以改进传统线性传播方法的预报能力。
2023-10-25 cs.LG physics.ao-ph physics.space-ph
Transformers for Modeling Physical Systems
University of Notre Dame(圣母大学)
由于Transformers能够对文本中的长期依赖关系进行建模,因此广泛用于自然语言处理中。虽然这些模型实现了许多语言相关任务的最先进的性能,其适用性以外的自然语言处理领域一直是最小的。在这项工作中,我们提出了使用Transformer模型的物理现象的动力系统代表的预测。基于Koopman的嵌入提供了一种独特而强大的方法,用于将任何动态系统投影到矢量表示中,然后可以通过Transformer进行预测。所提出的模型能够准确地预测各种动力系统,并优于科学机器学习文献中常用的经典方法。
2021-12-13 cs.LG physics.comp-ph
Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models
Google DeepMind(谷歌DeepMind)
本文通过受控的 $(x, f(x))$ 序列实验表明,Transformer 的上下文模型选择能力高度依赖预训练数据覆盖,域外任务会导致明显失败。
2023-11-01 cs.CL cs.LG stat.ML
Selective Attention: Enhancing Transformer through Principled Context Control
University of Michigan(密歇根大学);University of California, Riverside(加州大学河滨分校)
本文提出选择性自注意力(SSA)层,通过有原则的温度缩放策略控制注意力稀疏性,缓解注意力稀释并抑制噪声令牌,仅增加不到0.5%参数即可在语言建模基准上取得一致提升。
2024-11-19 cs.CL cs.LG
Generating music with sentiment using Transformer-GANs
State University of Campinas(坎皮纳斯州立大学)
由于深度学习的出现,自动音乐生成领域取得了重大进展。然而,大多数这些结果都是由无条件模型产生的,这些模型缺乏与用户交互的能力,不允许他们以有意义和实用的方式指导生成过程。此外,合成在较长时间尺度上保持连贯的音乐,同时仍然捕捉使其听起来“现实”或“像人”的地方方面仍然具有挑战性。这是由于需要处理长数据序列的大计算需求,以及经常采用的训练方案所施加的限制。在本文中,我们提出了一个生成模型的符号音乐条件下检索到的数据从人类的感情。该模型是一个Transformer-GAN,使用标签进行训练,这些标签对应于定量表示人类情感状态的效价和唤醒维度的不同配置。我们试图通过采用有效的线性版本的注意力和使用鉴别器来解决上述两个问题,这两个工具都可以提高生成的音乐的整体质量及其跟随条件反射信号的能力。
2022-12-21 cs.LG cs.SD eess.AS