The Fourier Spectral Transformer Networks For Efficient and Generalizable Nonlinear PDEs Prediction
Deep Space Exploration Lab(深空探测实验室)
本文提出傅里叶谱变换网络,融合谱方法与注意力机制,将偏微分方程转为谱常微分方程建模,在纳维-斯托克斯和伯格斯方程上实现高精度长期预测,优于传统方法,且泛化良好。
2025-07-08 cs.AI cs.LG
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释,然后提出了广义注意力机制(GAM)。在解释之后,我们提供了对注意力机制的不同变体的描述,这些变体一起形成GAM。此外,我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape
University of Tokyo(东京大学);RIKEN(理化学研究所)
研究由MLP和线性注意力层组成的Transformer的优化,证明在平均场极限下参数分布的无穷维非凸损失景观变得温和,并首次对一般平均场动力学进行鞍点分析。
2024-06-02 cs.LG stat.ML
Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V
Independent Researcher(独立研究员)
本文提出两种改进Transformer注意力机制的方法,通过非线性预投影MLP构建位置无关的丰富特征,并通过内容跳过连接绕过注意力机制,提升模型在Pythia-160M和410M上的表现,实现LAMBADA准确率提升40.6%和困惑度降低39%。
2026-04-12 cs.CL cs.LG
Asymptotic Study of In-context Learning with Random Transformers through Equivalent Models
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文在渐近机制下证明带非线性MLP头的随机Transformer在上下文学习误差上与有限阶Hermite多项式模型等价,并通过仿真揭示非线性、过参数化及双下降现象对ICL性能的影响。
2025-09-18 cs.LG stat.ML
Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget
研究发现Transformer中MLP非线性浪费问题,通过门控技术将部分MLP替换为线性层,从而降低困惑度并提升性能。
2026-03-06 cs.CL cs.LG
Decoupling Knowledge and Reasoning in Transformers: A Modular Architecture with Generalized Cross-Attention
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
提出模块化 Transformer,通过带层特定变换的广义交叉注意力解耦知识与推理,并证明标准 FFN 是其特例。
2025-01-06 cs.AI cs.CL cs.LG
Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling
The School of Computer Science, China University of Geosciences, 388 Lumo Road, Wuhan, 430074, Hubei, China(中国地质大学(北京)计算机科学学院)
Nexusformer通过非线性映射解决传统Transformer扩展中的线性瓶颈,实现无损结构扩展,实验表明其在语言模型和推理任务中以更低的计算成本达到与Tokenformer相当的性能。
2026-04-21 cs.AI cs.LG
State Space Models are Provably Comparable to Transformers in Dynamic Token Selection
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目)
本文证明状态空间模型结合全连接神经网络在动态Token选择和非参数回归任务中,其能力可证明与Transformer相当,填补了SSMs与非线性层结合的理论空白。
2025-03-05 cs.LG stat.ML
Generalized Probabilistic Attention Mechanism in Transformers
Handong Global University(韩东全球大学)
本文提出广义概率注意力机制 GPAM 及其双注意力实现 daGPAM,通过允许负注意力分数同时缓解 Transformer 中的秩坍缩和梯度消失问题,并在语言建模和机器翻译任务中验证了其有效性。
2024-10-21 cs.CL cs.LG
Training-Free ANN-to-SNN Conversion for High-Performance Spiking Transformer
本文提出无需训练的ANN到SNN转换框架,通过多基指数衰减神经元有效近似非线性操作,实现高效高精度的SNN转换。
2025-12-14 cs.AI cs.LG
How Data Mixing Shapes In-Context Learning: Asymptotic Equivalence for Transformers with MLPs
MLIP Research Group, KUIS AI Center, Koç University(MLIP研究组、KUIS人工智能中心、科举大学);Department of EEE, Koç University(电子工程系、科举大学)
本文研究了具有MLP头的Transformer在非线性任务上的上下文学习能力,证明其在高维情况下与多项式预测器等价,并揭示了数据混合对学习性能的影响。
2026-02-05 cs.LG stat.ML
Nonlinear Optical Data Transformer for Machine Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院);Versics AG(Versics股份公司)
现代机器学习模型使用越来越多的参数来训练(GPT-3的1750亿个参数)大型数据集,以获得更好的性能。越大越好已经成为常态。光学计算已经被重新唤醒,作为一种潜在的解决方案,通过光学加速器进行线性操作,同时减少电力大规模计算。然而,要实现高效的计算与光,创建和控制非线性光学,而不是电子仍然是一个挑战。本研究探讨了水库计算(RC)的方法,即14毫米长的少模波导在铌酸锂绝缘体上被用作一个复杂的非线性光学处理器。数据集在飞秒脉冲的频谱上进行数字编码,然后在波导中发射。输出频谱与输入非线性相关。我们的实验表明,一个简单的数字线性分类器与784个参数使用的输出光谱从波导作为输入增加了几个数据库的分类精度相比,非变换的数据,约10 $\%$。相比之下,需要具有40000个参数的深度数字神经网络(NN)才能达到相同的精度。将参数的数量减少因子$\sim$ 50说明紧凑的光学RC方法可以与深度数字NN同等地执行。
2022-08-19 cs.AI cs.ET cs.LG
Time-Delayed Transformers for Data-Driven Modeling of Low-Dimensional Dynamics
FAU-DCN-AvH, Friedrich-Alexander-Universität, Erlangen, Germany(弗里德里希-亚历山大-尤西普大学);Institute of Aerodynamics and Flow Technology, DLR, Braunschweig, Germany(空气动力学与流体技术研究所)
时间延迟变换器通过非线性扩展时间延迟动态模式分解,实现对低维动态的数据驱动建模,兼顾可解释性和效率,提升复杂动态的表达能力。
2026-11-18 cs.LG cs.NA math.DS
How Linear Is a Transformer Feed-Forward Block? Per-Block Linear Recoverability Is Learned, Not Architectural
Independent Research(独立研究)
通过精确最小二乘线性近似,测量训练后 Transformer 各前馈块的线性可恢复性,发现其高度异质且非单调,是学习得到的属性而非架构决定,并可用于压缩和诊断。
2026-06-19 cs.AI cs.CL cs.LG
Formal Language Recognition by Hard Attention Transformers: Perspectives from Circuit Complexity
Yale University(耶鲁大学)
本文分析了Transformer编码器的三种形式化模型,它们的自注意力机制的形式不同:独特硬注意力(UHAT);广义独特硬注意力(GUHAT),它是UHAT的推广;平均硬注意力(AHAT)。我们表明,UHAT和GUHAT Transformers,被视为字符串受体,只能识别形式语言的复杂性类AC $^0$,一类语言可识别的布尔电路的恒定深度和多项式大小的家庭。该上限包含了Hahn(2020)的结果,即GUHAT不能识别DYCK语言或PARITY语言,因为这些语言在AC $^0$之外(Furst等人,1984年)。相反,非AC $^0$语言MAJORITY和DYCK-1可被AHAT网络识别,这意味着AHAT可以识别UHAT和GUHAT不能识别的语言。
2022-04-13 cs.AI cs.CC cs.CL
Transformers Generalize DeepSets and Can be Extended to Graphs and Hypergraphs
School of Computing, KAIST(韩国科学技术院计算学院)
我们提出了一个推广的Transformers的任何顺序置换不变的数据(集,图,超图)。我们首先观察到Transformers推广了DeepSets,或一阶(集合输入)置换不变MLP。然后,基于最近表征的高阶不变MLP,我们将自注意力的概念扩展到高阶,并提出了高阶Transformers用于阶$k$数据($k=2$用于图和$k>2$用于超图)。不幸的是,高阶Transformers的复杂度$\mathcal{O}(n^{2k})$超过了输入节点$n$的数量。为了解决这个问题,我们提出了稀疏高阶Transformers,具有二次复杂度的输入超边的数量,并进一步采用核注意力的方法,以减少复杂度的线性。特别是,我们表明,稀疏的二阶Transformers与内核的注意力,理论上更有表现力的消息传递操作,同时具有渐近相同的复杂性。我们的模型在大规模图回归和集到(超)图预测任务中,与不变的MLP和消息传递图神经网络相比,实现了显着的性能改进。我们的实现可以在https://github.com/jw9730/hot上获得。
2022-01-22 cs.LG
Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers
IASM, Harbin Institute of Technology, China(哈尔滨工业大学人工智能研究所,中国);School of Artificial Intelligence, Jilin University, China(吉林大学人工智能学院,中国)
本文提出了一种插件式框架,通过将Transformer中的非线性运算分解为三个基本算子(除法、指数和ℓ2范数),并利用LIF神经元群体和轻量级位移缩放实现脉冲友好的近似,从而在不需微调的情况下支持常见的Transformer非线性运算。
2026-05-19 cs.AI cs.LG
On the Role of Transformer Feed-Forward Layers in Nonlinear In-Context Learning
Massachusetts Institute of Technology(麻省理工学院)
本文研究了Transformer在非线性函数类上的上下文学习(ICL),证明了纯线性自注意力无法胜任非线性任务,并揭示结合前馈层可实现基于多项式核回归的梯度下降,深度网络通过跨块分布计算克服了单块维度限制,从而提供可扩展的非线性表征机制。
2025-10-11 cs.AI cs.LG
Transformers in Pseudo-Random Number Generation: A Dual Perspective on Theory and Practice
Ran Li School of Information Science and Technology, Northeast Normal University, Changchun, China(Ran Li 信息科学与技术学院,东北师范大学,中国长春)
本文从理论和实践角度研究Transformer在伪随机数生成中的应用,证明解码器专用Transformer可模拟LCG和MT生成器,生成的随机数通过多数NIST测试,并评估了其抗预测攻击能力。
2025-08-02 cs.LG
XicorAttention: Time Series Transformer Using Attention with Nonlinear Correlation
NTT Communications(NTT通讯);Kyoto University(京都大学)
本文提出XicorAttention,用Chatterjee秩相关系数替代标准注意力中的矩阵乘法以捕捉非线性依赖,并通过SoftSort和SoftRank实现可微计算,集成到多个Transformer模型后预测精度最高提升约9.1%。
2025-06-03 cs.AI cs.LG
When is Task Vector Provably Effective for Model Editing? A Generalization Analysis of Nonlinear Transformers
Rensselaer Polytechnic Institute(拉特格斯理工学院);Michigan State University(密歇根州立大学);New Jersey Institute of Technology(新泽西理工学院);IBM Research(IBM研究院)
本文首次从理论上刻画了非线性Transformer上任务向量方法的泛化保证,证明任务加法和减法在概念性二分类设置中的有效性,并在Phi-1.5上验证了机器遗忘效果。
2025-05-25 cs.LG
Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context
UC Davis(加州大学戴维斯分校);Weizmann Institute of Science(魏茨曼科学研究院)
该研究针对随机线性分类任务下训练的线性Transformer,通过分析梯度下降隐式正则化明确其泛化的条件,并证实其存在上下文内良性过拟合现象,即记忆带噪样本仍能对干净样本近最优泛化。
2024-12-13 cs.LG stat.ML
Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis
Rensselaer Polytechnic Institute(罗切斯特理工学院);The Chinese University of Hong Kong(香港中文大学);IBM Research(IBM研究院)
本研究首次从理论上分析了训练非线性注意力Transformer以获得思维链推理能力所需的样本与迭代条件,证明了其在分布偏移的未见任务上的泛化性,并刻画了噪声示例下仍能准确推理的条件,实验验证了理论结果。
2025-05-25 cs.CL cs.LG
Layer-Parallel Inference Reduces Encrypted Nonlinear Depth in Transformers
MBZUAI IFM(穆罕默德·本·扎耶德人工智能大学智能未来研究院);Red Hat AI Innovation(红帽人工智能创新实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Core AI, IBM(IBM核心人工智能部门);University of Texas at Dallas(德克萨斯大学达拉斯分校)
研究结构化牛顿层并行性(SNLP)能否使Transformer层间组合更适合全同态加密(FHE),通过基于切比雪夫多项式近似的模拟框架测量误差积累,结果表明SNLP可减少推理步骤并降低误差放大。
2026-07-14 cs.CR cs.LG
When can transformers compositionally generalize in-context?
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司);Google DeepMind(谷歌DeepMind);Université de Montréal(蒙特利尔大学);Mila(米拉量子计算研究所)
本研究探讨Transformer在上下文学习中何时能实现组合泛化,发现仅当引入瓶颈强制分离任务推断与执行时,组合泛化才可能实现。
2024-07-17 cs.LG cs.NE
Transformers generalize differently from information stored in context vs in weights
DeepMind(深度思维)
Transformer模型可以使用两种根本不同的信息:在训练期间存储在权重中的信息,以及在推理时提供的“上下文”信息。在这项工作中,我们表明,Transformers表现出不同的感性偏见,他们如何表示和概括这两个来源的信息。特别是,我们的特点是否通过简约的规则(基于规则的泛化)或通过直接比较观察到的例子(基于范例的泛化),他们概括。这具有重要的实际意义,因为它决定了是在权重中还是在上下文中对信息进行编码,这取决于我们希望模型如何使用这些信息。在受控刺激上训练的Transformers中,我们发现从权重的泛化更基于规则,而从上下文的泛化主要是基于范例的。相比之下,我们发现在自然语言预训练的Transformers中,上下文学习是基于规则的,更大的模型显示出更多的基于规则。我们假设,基于规则的概括,从上下文信息可能是一个紧急的结果,大规模的培训语言,它具有稀疏的规则结构。使用受控刺激,我们验证了在包含稀疏规则结构的数据上预训练的Transformers表现出更多基于规则的泛化。
2022-10-13 cs.AI cs.CL cs.LG
Arithmetic Transformers Can Length-Generalize in Both Operand Length and Count
Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院);Google Research(谷歌研究院)
针对Transformer在算术任务中难以对操作数长度和数量进行长度泛化的问题,本研究设计特定任务草稿本并应用多层级Position Coupling,首次在相关任务上实现约2-3倍长度泛化,且理论证明1层模型可解决指数级规模的多操作数加法。
2025-04-17 cs.AI cs.LG
Data-Efficient Realized Volatility Forecasting with Vision Transformers
Stanford University(斯坦福大学)
本文探索将视觉Transformer(ViT)应用于期权隐含波动率曲面,以预测未来30天已实现波动率,初步验证其能学习季节性模式与非线性特征,为期权数据Transformer建模提供了有前景的方向。
2025-11-04 cs.CV cs.LG
S-Crescendo: A Nested Transformer Weaving Framework for Scalable Nonlinear System in S-Domain Representation
提出 S-Crescendo 嵌套 Transformer 框架,融合 S 域表示与神经算子,将高阶非线性网络仿真复杂度由 O(n^3) 降至 O(n),并在 1–10 阶网络上实现最高 0.99 的 R² 与 18 倍加速。
2025-05-17 cs.LG eess.SP
DegreeSpar: Structured Degree Sparsity for Efficient Secure Transformer Inference
Iowa State University(爱荷华州立大学);University of Arizona(亚利桑那大学)
DegreeSpar通过结构化多项式度数稀疏化统一压缩安全Transformer推理中的非线性计算,实现2.29x-6.63x加速并保持准确率,确立度数作为共享优化空间。
2026-09-29 cs.CR cs.LG
Curse of Attention: A Kernel-Based Perspective for Why Transformers Fail to Generalize on Time Series Forecasting and Beyond
The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);UC Berkeley(加州大学伯克利分校);Sun Yat-sen University(中山大学)
本文从核方法视角解释了Transformer在时间序列预测任务中泛化失败的原因,指出注意力机制在符号不一致时存在非对称学习问题,导致无法学习残差特征,为设计高效Transformer架构提供了理论依据。
2025-02-28 cs.AI cs.LG
Linear algebra with transformers
Meta AI
Transformers只能从示例中学习执行数值计算。我研究了线性代数的九个问题,从基本的矩阵运算到特征值分解和求逆,并介绍和讨论了表示实数的四种编码方案。在所有问题上,在随机矩阵集上训练的Transformers都达到了高精度(超过90%)。该模型对噪声具有鲁棒性,并且可以推广到其训练分布之外。特别是,训练来预测拉普拉斯分布特征值的模型可以推广到不同类型的矩阵:维格纳矩阵或具有正特征值的矩阵。反之则不然。
2022-11-08 cs.CL cs.LG
State Stream Transformer (SST) V2: Parallel Training of Nonlinear Recurrence for Latent Space Reasoning
Fifth Dimension(第五维度)
SST V2通过在解码器层中引入FFN驱动的非线性递归,实现连续潜在空间中的参数高效推理,利用学习融合在完整序列中水平流式传输潜在状态,并通过双阶段并行训练解决递归的序列依赖性,提升推理能力。
2026-10-09 cs.CL cs.LG
NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches
Canva Research(Canva研究)
NOBLE通过非线性低秩分支提升Transformer训练效率,实现显著的加速效果,同时保持较低的参数开销。
2026-03-06 cs.AI cs.CL cs.LG
Transforming Causality: Transformer-Based Temporal Causal Discovery with Prior Knowledge Integration
SRI International(SRI国际)
本文提出基于多层Transformer的时间因果发现框架,通过梯度分析提取因果图,并利用注意力掩码融合先验知识以抑制虚假因果,在因果发现F1和滞后估计准确率上均显著超越现有方法。
2025-08-21 cs.LG stat.ML
Iterative Decoding for Compositional Generalization in Transformers
University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
深度学习模型可以很好地推广到分布式数据,但很难在组成上进行推广,即,结合一组学习过的原语来解决更复杂的任务。在序列到序列(seq2seq)学习中,Transformers通常无法预测比训练时看到的更长的样本的正确输出。本文介绍了迭代解码,seq2seq的替代方案,(i)提高了PCFG和笛卡尔积数据集的Transformer组合泛化,(ii)证明在这些数据集中,seq2seq Transformers不学习未展开的迭代。在迭代解码中,训练样本被分解为Transformer迭代学习的一系列中间步骤。在推理时,中间输出作为中间输入反馈给Transformer,直到预测到迭代结束令牌。最后,我们说明了迭代解码的CFQ数据集的一些限制。
2021-12-09 cs.CL cs.LG
What can we learn from signals and systems in a transformer? Insights for probabilistic modeling and inference architecture
Coordinated Science Laboratory University of Illinois Urbana-Champaign(协调科学实验室 伊利诺伊大学厄巴纳-香槟分校)
本文将 transformer 解释为非线性预测器,提出把其信号视为条件测度替代物、层操作视为不动点更新的概率模型,并在 HMM 情形给出显式更新,以连接非线性滤波理论与现代推理架构。
2025-08-27 cs.LG cs.SY eess.SY
Implicit Statistical Inference in Transformers: Approximating Likelihood-Ratio Tests In-Context
Transformer通过构建任务自适应的统计估计器实现上下文学习,而非简单相似性匹配。
2026-03-11 cs.AI cs.LG
Pretrained transformer efficiently learns low-dimensional target functions in-context
University of California, Berkeley(加州大学伯克利分校);RIKEN AIP(理化学研究所人工智能项目);University of Tokyo(东京大学);New York University(纽约大学);Flatiron Institute(弗拉蒂伦研究所)
本文证明预训练Transformer通过非线性MLP层,在单指标函数类上实现样本高效的上下文学习,提示长度仅取决于目标函数的低维结构,优于直接学习算法。
2024-11-04 cs.LG stat.ML
Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
本文通过合成数据集、训练目标对比、剪枝实验和贝叶斯分析,揭示语言建模目标促使 Transformer 形成层级句法泛化偏置。
2025-03-16 cs.CL cs.LG
Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
The Ohio State University(俄亥俄州立大学)
本文研究了隐式推理能力,探讨了递归深度变换器在系统泛化和深度扩展中的作用,发现其能有效提升多跳推理能力,但过度递归会导致泛化能力下降。
2026-08-12 cs.AI cs.CL cs.LG
Do Transformers Have the Ability for Periodicity Generalization?
School of Computer Science, Peking University(北京大学计算机科学学院);College of AI, Tsinghua University(清华大学人工智能学院);School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)科学与工程学院)
本文研究了 Transformer 在周期性泛化方面的局限性,通过引入抽象代数和推理视角,揭示了模型在处理复合周期性任务时的不足,并提出了可控生成基准 Coper。
2026-01-30 cs.AI cs.LG
Simplicity Bias in Transformers and their Ability to Learn Sparse Boolean Functions
Mila(米拉人工智能研究所);McGill University(麦吉尔大学);University of Oxford(牛津大学);Cohere(Cohere公司)
本文通过布尔函数实证研究揭示 Transformer 相比 LSTM 更偏向低敏感度函数,并在稀疏布尔函数上表现出更强抗噪泛化能力,从而解释了其实际泛化优势。
2023-07-10 cs.CL cs.LG
When can in-context learning generalize out of task distribution?
Princeton University(普林斯顿大学);University of Sydney(悉尼大学);The Graduate Center, CUNY(纽约大学研究生中心)
研究探讨了预训练分布中任务多样性的变化如何影响转换器模型在不同任务分布上的泛化能力,揭示了ICL从专门化到泛化出分布的相变机制。
2025-08-18 cond-mat.dis-nn cond-mat.stat-mech cs.LG