Universal Length Generalization with Turing Programs
Harvard University（哈佛大学）；Kempner Institute（肯普纳研究所）
本文提出图灵程序这一通用思维链策略，将算法任务分解为模拟图灵机的步骤，在加法、乘法和上下文SGD等任务上实现Transformer的稳健长度泛化，并从理论上证明Transformer可模拟任意图灵机。
2024-07-03 cs.LG
Yau's Affine Normal Descent: Algorithmic Framework and Convergence Analysis
本文提出杨的仿射正则下降算法，通过等仿射正则构造搜索方向，实现无约束优化，并分析其收敛性与鲁棒性。
2026-04-03 cs.LG cs.NA math.DG
On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
Michigan Institute for Computational Discovery and Engineering, Department of Electrical Engineering and Computer Science, Department of Statistics, University of Michigan（密歇根大学计算发现与工程研究所、电气工程与计算机科学系、统计系）；Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系）
本文研究了带有残差连接的单层Transformer模型中梯度下降的收敛性，证明了在适当初始化下具有线性收敛速度，并探讨了残差连接对优化稳定性的影响。
2026-04-13 cs.LG math.OC
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees
ABB Corporate Research（ABB企业研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出了异步迭代的新收敛结果，明确了异步程度对收敛速率的影响，加强了现有异步优化算法的理论保证，并改进了多种流行算法的复杂度界限与收敛分析。
2023-04-03 cs.DC cs.LG cs.SY
Making Asynchronous Stochastic Gradient Descent Work for Transformers
University of Edinburgh（爱丁堡大学）
异步随机梯度下降（SGD）从速度的角度来看是有吸引力的，因为工人不等待同步。然而，Transformer模型与异步SGD的收敛性较差，导致与同步SGD相比质量显著降低。为了研究为什么会出现这种情况，我们隔离了异步和同步方法之间的差异，以研究批量大小和过期效应。我们发现，总结几个异步更新，而不是立即应用它们，恢复收敛行为。通过这种混合方法，神经机器翻译任务的Transformer训练在单节点多GPU训练中达到了近1.36倍的收敛水平，而对模型质量没有影响。
2019-06-08 cs.CL cs.LG
Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization
ETH Zurich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本研究挑战了凸优化中可复现性与收敛速度必须权衡的观点，提出基于正则化的算法在多种易错预言机设置下，同时实现了最优可复现性和近最优梯度复杂度。
2024-01-09 cs.LG math.OC stat.ML
Slower Generalization, Faster Memorization: A Sweet Spot in Algorithmic Learning
Yonsei University（延世大学）
研究发现，在结构化输出任务中，小规模Transformer在中间数据集大小时达到最高验证准确率，而非最大数据集，表明泛化与记忆的优化点可能不同。
2026-11-04 cs.LG
Liquid Reasoning Transformers: A Sudoku-Based Prototype for Chess-Scale Algorithmic Tasks
Detroit Country Day School（底特律国家日学校）
液体推理变换器通过迭代更新和内部调整机制，在数独任务中实现了高准确率，展示了其在复杂算法任务中的潜力。
2025-12-14 cs.AI cs.LG
On the rate of convergence of an over-parametrized Transformer classifier learned by gradient descent
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
本文从理论角度同时研究过参数化Transformer分类器的模型近似、知识泛化与优化效果三方面问题，给出了梯度下降训练的Transformer编码器网络在自然语言分类任务中误分类概率的理论上界。
2024-06-20 cs.LG math.ST stat.ML
UAdam: Unified Adam-Type Algorithmic Framework for Non-Convex Stochastic Optimization
Northeast Normal University（东北师范大学）；Imperial College London（帝国理工学院）
本文提出统一Adam型算法框架UAdam，在非凸随机环境下严格证明了其以$\mathcal{O}(1/T)$速率收敛，并为Adam及其变体提供了理论保证。
2023-05-09 cs.LG cs.NA math.NA
Algorithmic Analysis and Statistical Estimation of SLOPE via Approximate Message Passing
University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）
SLOPE是一个相对较新的凸优化过程，用于高维线性回归，通过排序的l1惩罚：拟合系数的秩越大，惩罚越大。这种不可分离的惩罚使得许多现有技术在分析SLOPE解决方案时无效或不确定。在本文中，我们通过使用近似消息传递（AMP）解决SLOPE问题，在高斯随机设计下的SLOPE解的渐近精确的特征。这种算法方法使我们能够通过更可靠的AMP迭代来近似SLOPE解决方案。解释，我们的AMP迭代的渐近动力学的特征依赖于最近开发的状态演化分析不可分离的处罚，从而克服了困难所造成的排序l1处罚。此外，我们证明了AMP迭代收敛到SLOPE解的渐近意义下，数值模拟表明，收敛速度是惊人的快。我们的证明依赖于一种专门利用SLOPE问题的新技术。与以前的文献相比，我们的工作不仅产生了一个渐进尖锐的分析，但也提供了一个算法，灵活，建设性的方法来理解的斜坡问题。
2019-07-17 cs.LG eess.SP math.ST
Algorithmic Capabilities of Random Transformers
Massachusetts Institute of Technology（麻省理工学院）
该研究通过仅优化嵌入层的随机初始化Transformer实验，发现随机Transformer已具备模运算、联想回忆等多种算法能力，揭示Transformer的部分算法能力在训练前就已存在。
2024-10-06 cs.AI cs.CL cs.LG
Algorithmic Bidding for Virtual Trading in Electricity Markets
Cornell University（康奈尔大学）
研究了两结算电力市场中虚拟交易的最优报价问题。虚拟交易者的目标是利用前一天和实时市场价格之间的差异进行套利;然而，这两种价格都是随机的，市场参与者不知道。提出了一种在线学习算法，通过在每个交易时段中将交易者的预算分配给他对K个期权的出价，来最大化有限个交易时段的累积收益。结果表明，所提出的算法收敛，几乎最优的收敛速度，对应的情况下，当潜在的价格分布是已知的全局最优。所提出的算法也推广到交易策略的风险措施。通过使用累积回报和夏普比率作为绩效指标，根据NYISO和PJM市场十年的历史数据进行评估。结果表明，该战略优于标准基准和标准普尔500指数在同一时期。
2018-07-31 cs.CR cs.GT cs.LG
Understanding Transformer Reasoning Capabilities via Graph Algorithms
Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文通过引入表示层级，从深度、宽度和额外标记维度分析Transformer在9个算法推理问题上的能力，证明了对数深度和小嵌入单层的适用性，并在GraphQA基准上验证其优于图神经网络。
2024-05-28 cs.AI cs.LG
Neural Algorithmic Reasoning for Hypergraphs with Looped Transformers
Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文提出基于循环变换器的超图神经算法推理方法，通过退化机制和超边感知编码方案模拟超图算法，展示其在高维数据处理中的可行性。
2026-01-24 cs.AI cs.CC cs.CL
On the generalization of learning algorithms that do not converge
Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）；Prescient Design（Prescient设计公司）；Genentech, Roche（罗氏基因泰克）
深度学习的泛化分析通常假设训练收敛到一个固定点。但是，最近的结果表明，在实践中，使用随机梯度下降优化的深度神经网络的权重经常无限期地振荡。为了减少理论与实践之间的这种差异，本文重点讨论了神经网络的泛化，其训练动态不一定收敛到固定点。我们的主要贡献是提出了统计算法稳定性（SAS）的概念，扩展了经典算法的稳定性，非收敛算法，并研究其连接到泛化。与传统的优化和学习理论观点相比，这种遍历理论方法带来了新的见解。我们证明了一个学习算法的时间渐近行为的稳定性与其泛化能力有关，并以经验证明了损失动态如何为泛化性能提供线索。我们的研究结果提供了证据表明，即使训练无限期地持续下去，权重也不会收敛，“训练稳定地泛化”的网络也会更好。
2022-08-19 cs.LG math.DS math.OC
An Algorithmic Framework of Variable Metric Over-Relaxed Hybrid Proximal Extra-Gradient Method
Tencent AI Lab（腾讯人工智能实验室）
针对极大单调算子包含问题，提出了一种新的具有整体收敛保证的变尺度超松弛混合邻近超梯度（VMOR-HPE）算法框架.给出了算法的迭代复杂度和局部线性收敛速率，从理论上证明了较大的过松弛步长有助于加速算法的收敛速度.具体地说，我们发现一大类原始和原始-对偶算子分裂算法都是VMOR-HPE的特例。因此，建议的框架提供了一个新的见解，这些运营商分裂算法。此外，我们将VMOR-HPE应用于线性等式约束多块复合凸优化的Karush-Kuhn-Tucker（KKT）广义方程，得到了一种新的算法，即带有预条件外梯度步长的非对称近端交替方向法，其中预条件度量由分块Barzilai-Borwein线搜索技术生成（PADMM-EBB）.我们还建立了PADMM-EBB的KKT残差方面的迭代复杂性。最后，我们应用PADMM-EBB处理非负对偶图的正则化低秩表示问题。在合成和真实数据集上的有希望的结果证实了PADMM-EBB的有效性。
2018-06-08 cs.LG cs.NA math.NA
Positional Attention: Expressivity and Learnability of Algorithmic Computation
University of Waterloo（滑铁卢大学）；Google DeepMind（谷歌DeepMind）
本文提出仅依赖位置编码的位置注意力 Transformer，证明其具备并行计算模型的表达力但有对数深度代价，并分析其可学习性、样本复杂度权衡与分布外表现。
2025-06-09 cs.AI cs.DS cs.LG
Counting and Algorithmic Generalization with Transformers
Lab42 AI Research Institute（Lab42 人工智能研究院）
本文分析标准 Transformer 中阻碍计数任务分布外泛化的架构因素，并通过消融层归一化和 softmax 注意力归一化，提出一种轻量修改版 Transformer 以提升计数算法泛化能力。
2024-01-12 cs.LG
Transformers Provably Learn Algorithmic Solutions for Graph Connectivity, But Only with the Right Data
研究证明，Transformer 在图连通性问题上能学习算法性解决方案，但需训练数据在模型容量范围内。
2026-02-17 cs.LG
Transformers meet Neural Algorithmic Reasoners
Google DeepMind（谷歌DeepMind）
本文提出混合架构 TransNAR，通过两阶段训练让 Transformer 交叉注意 NAR 的节点嵌入，从而增强语言模型的算法推理能力。
2024-06-13 cs.CL cs.LG
Algorithmic Task Capture, Computational Complexity, and Inductive Bias of Infinite Transformers
研究定义了变换器在任意任务规模下可控误差和对数样本适应的能力，分析了无限宽度变换器在不同 regime 中的计算复杂性上限，并揭示了变换器在高效多项式时间启发式方案中对高复杂度算法的偏倚。
2026-05-07 cond-mat.dis-nn cs.LG stat.ML
On the Existence of Universal Simulators of Attention
Indian Statistical Institute West Bengal（印度统计研究所西孟加拉）
本文研究了Transformer编码器能否模拟通用注意力机制，通过构建由Transformer编码器组成的通用模拟器U，利用RASP框架提出算法解决方案，证明了数据无关的算法可实现解的存在。
2026-04-22 cs.AI cs.LG
Depth-Width tradeoffs in Algorithmic Reasoning of Graph Tasks with Transformers
Courant Institute of Mathematical Sciences, New York University（纽约大学应用数学科学研究所）；Google Research（谷歌研究）；Meta AI；Bar-Ilan University（巴伊兰大学）；Department of Bio-Medical Engineering, Edmond J. Safra Center for Bioinformatics, Tel-Aviv University（生物医学工程系，埃德蒙·J·萨法中心，特拉维夫大学）；Tel Aviv University（特拉维夫大学）
研究Transformer在图算法任务中深度与宽度的权衡，发现线性宽度下常数深度足以解决许多图问题，而某些问题需要二次宽度，实验验证了宽模型在保持精度的同时训练和推理更快。
2026-06-18 cs.AI cs.CL cs.LG
Algorithmic Scratchpads and Curriculum Staging for Arithmetic Reasoning in Tiny Transformers
本研究在微型Transformer上探索多步算术推理，发现序列填充、预训练和架构组件的影响，提出逐位长除法草稿纸与课程分阶段使除法准确率大幅提升，并揭示乘法草稿纸设计缺陷及泛化与遗忘边界。
2026-10-08 cs.AI cs.LG
Auditing Algorithmic Bias in Transformer-Based Trading
Department of Computer Science, Umiacs University of Maryland College Park, MD（计算机科学系，Umiacs马里兰大学学院公园分校）
本研究通过变换器模型审查金融交易中的算法偏见，揭示模型对波动数据的忽视及对低频价格波动的偏好。
2025-11-30 cs.CE cs.LG
Diverse Transformer Decoding for Offline Reinforcement Learning Using Financial Algorithmic Approaches
针对离线 RL 中 Beam Search 忽视不确定性且候选序列缺乏多样性的问题，提出借鉴金融投资组合思想的 PBS 解码算法，在 D4RL locomotion 上提升回报并降低结果波动。
2025-02-13 cs.AI cs.LG
Transformer Circuits Can Realize Clustering Algorithms
IBM Research（IBM研究院）；MIT（麻省理工学院）
研究表明Transformer电路可实现Lloyd算法等精确聚类算法，提出的k均值Transformer聚类算法泛化性强且质量优于Lloyd算法，改动后可衍生多种新型聚类算法。
2026-08-11 cs.AI cs.LG
AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures
National University of Singapore（新加坡国立大学）；Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong Baptist University（香港浸会大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出融合预处理、循环迭代优化与后处理结构的 AlgoFormer，利用任务和算法先验提升 Transformer 的算法表示与学习能力，并在理论及语言任务实验中验证其优势。
2025-01-10 cs.AI cs.LG cs.NA
Transformers Pretrained on Procedural Data Contain Modular Structures for Algorithmic Reasoning
Australian Institute for Machine Learning (AIML), University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Idiap Research Institute（伊迪亚普研究所）
本文发现不同的程序化预训练规则能在小规模Transformer中注入不同且互补的模块化归纳结构，这些结构可组合以增强多种算法推理能力，为解耦知识获取与推理提供了可能。
2025-05-28 cs.LG
Represented Is Not Computed: A Causal Test of Candidate Algorithmic Intermediates in a Transformer
MKSSS's Cummins College of Engineering for Women（MKSSS女子工程学院）；Institute of Cognitive Science（认知科学研究所）；Osnabrück University（奥斯纳布吕克大学）
本文研究了变换器在执行算术任务时如何整合组件，发现模型虽然能准确回答问题，但其内部表示与计算路径之间存在因果分离，表明探针结果可能与实际因果观察有显著差异。
2026-10-27 cs.LG
Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping
EPFL（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems & ELLIS Institute（马克斯·普朗克智能系统研究所及ELLIS研究所）
针对循环Transformer在变长算法任务中长度泛化脆弱的问题，提出在训练中引入循环次数的随机性，并分析RL-Halting作为学习随机调度策略，能有效降低分布外方差并稳定预测。
2026-10-16 cs.AI cs.LG
What Algorithms can Transformers Learn? A Study in Length Generalization
Apple（苹果公司）；Mila, Université de Montréal（米拉研究所，蒙特利尔大学）；Tel Aviv University（特拉维夫大学）
研究Transformer在算法任务上的长度泛化能力，提出RASP泛化猜想，指出若任务可用适用于所有输入长度的简短RASP程序解决则Transformer能实现长度泛化，并据此大幅提升了奇偶性和加法等困难任务的泛化性能。
2023-10-24 cs.AI cs.CL cs.LG
I-BERT: Inductive Generalization of Transformer to Arbitrary Context Lengths
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
近年来，自我注意已经成为自然语言处理的最先进的序列到序列模型的重要组成部分，由预训练的双向Transformer模型带到了最前沿。其有效性部分归因于其非顺序架构，这促进了可扩展性和并行性，但将模型限制为有限长度的输入。特别是，这样的架构在算法任务上表现不佳，模型必须学习一个过程，该过程可以泛化到训练中看不到的输入长度，这种能力我们称为归纳泛化。识别现有的自我注意机制的计算限制，我们提出了I-BERT，一个双向的Transformer，取代位置编码与递归层。该模型归纳概括了各种算法任务，其中最先进的Transformer模型无法做到这一点。我们还测试了我们的方法在掩蔽语言建模任务中的训练和验证集进行分区，以验证归纳泛化。在三个算法和两个自然语言归纳概括任务中，I-BERT在四个任务上取得了最先进的结果。
2020-06-19 cs.LG stat.ML
Understanding Dynamic Compute Allocation in Recurrent Transformers
Pennsylvania State University（宾夕法尼亚州立大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本研究提出ANIRA框架，通过受控复杂度评估范式，分析令牌级自适应计算在对齐复杂性、泛化和决策时间方面的表现，发现计算分配与任务复杂性一致并不等同于算法泛化。
2026-02-09 cs.AI cs.CL cs.LG
Position as Probability: Self-Supervised Transformers that Think Past Their Training for Length Extrapolation
Xenon Labs LLC（Xenon实验室）
PRISM通过概率相对位置隐式叠加模型实现超越训练长度的稳健外推，提升Transformer在复杂任务中的泛化能力。
2025-12-22 cs.AI cs.CL cs.LG
Global Lyapunov functions: a long-standing open problem in mathematics, with symbolic transformers
FAIR, Meta（Meta FAIR研究院）；Ecole des Ponts（巴黎路桥学院）
针对寻找动力系统全局 Lyapunov 函数的数学难题，本文提出利用随机解生成合成数据来训练 sequence-to-sequence transformers，其表现超越传统算法与人类，并能发现非多项式系统的新 Lyapunov 函数。
2024-10-10 cs.LG
Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis
本文以二值化神经网络为代理，利用算法概率和块分解方法度量训练中的算法复杂度变化，证明其比熵更能跟踪结构变化并与训练损失相关，从而为“学习即算法压缩”假设提供经验支持。
2025-09-18 cs.AI cs.IT cs.LG
How Transformers Learn In-Context Recall Tasks? Optimality, Training Dynamics and Generalization
Department of Computer Science University of Victoria（计算机科学系维多利亚大学）；Department of Computer Science Johns Hopkins University（计算机科学系约翰霍普金斯大学）
本文分析 Transformer 学习上下文回忆任务的 Bayes 最优性、梯度下降线性收敛及 OOD 泛化，并指出参数化不当会使高表达模型泛化失败。
2025-10-21 cs.AI cs.LG
Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers
IBM Research（IBM研究院）
该研究提出一种仅需280个参数的通用Transformer，将算法任务建模为电路模型，结合特定位置编码与自主终止准则，在布尔运算、模运算等基准测试上实现了完美长度泛化。
2026-09-01 cs.LG
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks
Stanford University（斯坦福大学）
Transformer网络在自然语言处理和机器视觉方面取得了巨大成功，其中下一个单词预测和图像分类等任务目标受益于高维输入的细微上下文敏感性。然而，有一个正在进行的辩论如何以及何时Transformers可以获得高度结构化的行为，并实现系统的推广。在这里，我们探讨如何以及因果Transformer可以执行一组算法任务，包括复制，排序，和这些操作的分层组合。我们展示了强大的泛化序列比那些在训练中使用的替换标准的位置编码通常用于Transformers器与标签任意配对的序列中的项目。我们寻找足以解决这些任务的层次和头部配置，然后探索潜在表征和注意模式中系统处理的迹象。我们表明，两层Transformers学习可靠的解决方案，多层次的问题，开发任务分解的迹象，并编码输入项的方式，鼓励利用共享计算相关的任务。这些结果提供了关于注意力层如何在任务内和跨多个任务支持结构化计算的关键见解。
2022-12-10 cs.AI cs.LG
Radial Suppression Accelerates Algorithmic Generalization: A Geometric Analysis of Delayed Generalization
Indian Institute of Technology Roorkee（印度理工学院罗尔基分校）
通过几何分析揭示交叉熵优化下隐藏表示的径向膨胀导致记忆-泛化延迟，提出径向惩罚加速泛化，在模算术和加法任务上实现最高6倍加速。
2026-07-01 cs.AI cs.LG
Convergence Analysis of Flow Matching in Latent Space with Transformers
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了基于ODE的生成模型的理论收敛保证，特别是流匹配。我们使用预训练的自编码器网络将高维原始输入映射到低维潜在空间，其中Transformer网络被训练以预测从标准正态分布到目标潜在分布的变换的速度场。我们的误差分析表明，这种方法的有效性，通过估计ODE流产生的样本的分布收敛到目标分布的Wasserstein-2距离下温和和实用的假设。此外，我们证明了任意光滑函数可以有效地近似的Transformer网络与Lipschitz连续性，这可能是独立的利益。
2024-04-28 cs.LG stat.ML
Discovering Interpretable Algorithms by Decompiling Transformers to RASP
Saarland Informatics Campus, Saarland University（萨尔兰大学信息学院校区，萨尔兰大学）；University of Oxford（牛津大学）；Allen Institute for AI（人工智能研究所）
提出一种将训练好的Transformer忠实重参数化为RASP程序，并通过因果干预发现小型充分子程序的方法，实验表明长度泛化的Transformer内部实现了简单可解释的RASP程序。
2026-06-05 cs.AI cs.CL cs.LG
Asymptotic Behavior of Transformers
Google Research
本文研究Transformer长时间生成文本的行为，证明简单注意力型Transformer可能不收敛，还分析含多种组件的Transformer的温度阈值特性，发现无全局最小温度可使所有此类Transformer收敛。
2026-10-15 cs.AI cs.LG math.ST
The Neural Data Router: Adaptive Control Flow in Transformers Improves Systematic Generalization
The Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；University of Lugano (USI)（卢加诺大学）；SUPSI（瑞士意大利语区高等专业学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
尽管在广泛的应用领域取得了进展，但Transformers在系统推广方面的成功有限。在算法任务的情况下，这种情况尤其令人沮丧，在这种情况下，他们通常无法找到直观的解决方案，将相关信息在正确的时间路由到由Transformer列表示的网格中的正确节点/操作。为了便于学习有用的控制流，我们提出了两个修改的Transformer架构，复制门和几何注意。我们的新型神经数据路由器（NDR）在经典的组合查表任务上实现了100%的长度泛化准确性，在简单的算术任务上也实现了近乎完美的准确性，并在计算深度上实现了ListOps测试的新变体。NDR的注意力和门控模式往往可以解释为神经路由的直观形式。代码是公开的。
2022-05-05 cs.AI cs.LG cs.NE
Is Thompson Sampling Susceptible to Algorithmic Collusion?
School of Information Management and Engineering, Shanghai University of Finance and Economics（上海财经大学信息管理与工程学院）；The Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理学系）
研究两人未知收益矩阵重复博弈中 Thompson sampling 是否导致算法共谋，提出样本路径收敛分析，证明在温和收益条件下动态收敛至 Nash 均衡而非共谋。
2025-09-28 cs.GT cs.LG
On the Training Convergence of Transformers for In-Context Classification of Gaussian Mixtures
University of Virginia（弗吉尼亚大学）
本文从理论上研究了transformer在上下文分类任务中的训练动态，证明通过梯度下降训练的单层transformer在Gaussian mixtures分类中以线性速率收敛到全局最优模型，并量化了提示长度对ICL推理误差的影响。
2025-05-29 cs.IT cs.LG math.IT
Non-asymptotic Convergence of Training Transformers for Next-token Prediction
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
本文对单层Transformer在下一词元预测中的训练动态进行非渐近分析，提出两阶段训练算法，证明前馈层和注意力层均以次线性速度收敛到最大间隔解方向，且交叉熵损失具有线性收敛速率，并揭示了其在数据集偏移下的泛化能力。
2024-09-29 cs.LG stat.ML
Rethinking Transformer-based Set Prediction for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
DETR是最近提出的一种基于transformer的方法，它将目标检测视为一个集合预测问题，并实现了最先进的性能，但需要额外的训练时间来收敛。在本文中，我们调查的原因，优化困难的训练DETR。我们的研究揭示了导致DETR收敛缓慢的几个因素，主要是匈牙利损失和Transformer交叉注意力机制的问题。为了克服这些问题，我们提出了两种解决方案，即TSP-FCOS（基于变换的集合预测与FCOS）和TSP-RCNN（基于变换的集合预测与RCNN）。实验结果表明，该方法不仅收敛速度比原来的DETR，但也显着优于DETR和其他基线的检测精度。
2021-10-12 cs.CV cs.LG
Global Convergence in Training Large-Scale Transformers
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The University of Hong Kong（香港大学）
本文针对大规模Transformer训练的优化保证不明确的问题，通过适配Transformer的新型平均场技术，证明权重衰减足够小时训练梯度流可达全局最小值，放宽了现有分析的假设条件。
2024-10-31 cs.LG math.ST stat.ML
Learning on the Manifold: Unlocking Standard Diffusion Transformers with Representation Encoders
Johns Hopkins University（约翰霍普金斯大学）
研究利用表示编码器进行生成建模时标准扩散变压器收敛失败的问题，指出根本原因是几何干扰，提出黎曼流匹配与雅可比正则化方法，使标准扩散变压器无需宽度缩放就能收敛。
2026-07-07 cs.CV cs.LG
3BASiL: An Algorithmic Framework for Sparse plus Low-Rank Compression of LLMs
Operations Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）
3BASiL-TM提出了一种高效的单次后训练方法，用于LLMs的稀疏加低秩分解，显著提升了压缩效果和效率。
2026-10-09 cs.LG stat.ML
Transformers Learn the Optimal DDPM Denoiser for Multi-Token GMMs
Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系）
本文研究了Transformer基于扩散模型在多令牌高斯混合分布数据去噪中的收敛性，理论分析了去噪目标的最优解与训练迭代次数的关系，揭示了自注意力机制在去噪中的作用。
2026-04-11 cs.LG
