On Expressive Power of Looped Transformers: Theoretical Analysis and Enhancement via Timestep Encoding
The University of Tokyo(东京大学)
本文通过定义序列到序列函数的连续模建立循环Transformer的逼近速率,揭示其架构局限性,并提出基于时间步编码的缩放参数以增强表达能力。
2025-06-05 cs.LG
What Makes Looped Transformers Perform Better Than Non-Recursive Ones
本文通过损失景观几何学解释循环变换器在复杂推理任务中的优势,并提出SHIFT框架提升其训练效率。
2026-01-06 cs.AI cs.LG stat.ML
SpiralFormer: Looped Transformers Can Learn Hierarchical Dependencies via Multi-Resolution Recursion
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);ShanghaiTech University(上海科技大学)
SpiralFormer通过多分辨率递归机制提升循环Transformer的参数和计算效率,实验证明其在不同模型规模下均优于传统递归和非递归基线。
2026-04-20 cs.LG
DeepLoop: Depth Scaling for Looped Transformers
Princeton University(普林斯顿大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
研究循环变换器中深度缩放问题,提出DeepLoop方法,通过控制访问对齐系数形式化绑定深度效应,保持特定架构并设置参数,在不同规模GPT风格模型上实验,结果显示稳定循环深度需考虑参数访问的残差缩放规则。
2026-08-10 cs.AI cs.LG
Step-resolved data attribution for looped transformers
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波恩大学数字工程研究所);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Harvard University(哈佛大学);Imperial College London(伦敦帝国理工学院);Google DeepMind(谷歌DeepMind)
本文提出SDI方法,用于分析循环变换器中每个循环步骤对模型的影响,提升数据归因和可解释性能力。
2026-02-10 cs.AI cs.LG
Energy-Entropy Regularization: The True Power of Minimal Looped Transformers
Wai-Lun Lam
本文提出利用Tsallis熵和哈密顿动力学改进循环转换器训练,成功解决长序列归纳任务,揭示其推理能力的内在机制。
2026-01-22 cs.LG
Looped Transformers for Length Generalization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Massachusetts Institute of Technology(麻省理工学院);UC Berkeley(加州大学伯克利分校)
针对 Transformer 难以泛化到未知输入长度的问题,本文提出采用自适应步数的循环 Transformer 及相应学习算法,在 RASP-L 迭代任务上实现了更强的长度泛化。
2025-05-12 cs.LG
Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent
Middle Tennessee State University(中田纳西州立大学);University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing at the University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所)
本文研究了线性循环 Transformer 在上下文学习中的表现,证明其在常数条件数下能通过多步梯度下降高效达到低误差,绕过了先前理论对样本量的指数级依赖,揭示了 Transformer 更强的学习能力。
2025-02-28 cs.AI cs.LG
Looped Transformers are Better at Learning Learning Algorithms
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文提出循环 Transformer 架构以引入迭代特性,使其在解决数据拟合问题时,以不到 10% 的参数达到标准 Transformer 的性能,从而更有效地习得学习算法。
2024-03-16 cs.LG cs.NE
LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对循环Transformer解码延迟高的问题,提出免训练的自推测解码框架LoopSpec,通过流水线重叠草稿生成与验证,并引入选择性第二提议,实现高达6.83倍推理加速。
2026-09-16 cs.CL cs.LG
FlashLoop: Fast and Memory-Efficient Looped Transformers via Lazy Updates
ELLIS Institute Tübingen(ELLIS 图宾根研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心)
本文提出FlashLoop,一种无需训练的推理框架,通过token稀疏更新、稀疏注意力和KV残差量化减少循环Transformer中的跨循环冗余,实现无损精度下高达1.64倍加速和6倍KV缓存内存缩减。
2026-09-29 cs.LG
LT2: Linear-Time Looped Transformers
Rice University(里士大学);Apple(苹果公司);UC Santa Cruz(圣克ruz大学);Carnegie Mellon University(卡内基梅隆大学)
提出LT2系列架构,用次二次线性时间注意力替代二次softmax注意力,通过循环实现线性注意力中的迭代记忆精炼和稀疏注意力中的有效感受野扩展,在召回、状态跟踪和语言建模任务上取得一致提升,并展示了混合变体在效率和性能上的优势。
2026-05-22 cs.LG
Looped Diffusion Transformer
SenseTime Research(商汤科技研究院);LeapLab, Tsinghua University(清华大学LeapLab)
本文提出循环扩散Transformer(Looped-DiT),通过共享块循环计算与深度监督及自调制注意力,在固定参数下超越更大模型,实现高效迭代生成。
2026-10-01 cs.CV cs.LG
Improving Test-Time Scaling with Adaptive Looped Transformers
Tsinghua University(清华大学);Yale University(耶鲁大学)
提出TaH2,通过前瞻深度监督自适应分配循环迭代,提升循环Transformer的测试时扩展效率与准确率,在AIME基准上斜率提升53%。
2026-09-29 cs.CL cs.LG
Reasoning with Latent Thoughts: On the Power of Looped Transformers
Google Research(谷歌研究院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
本研究证明循环Transformer能以较少参数实现深层推理,在合成与语言建模任务上媲美深层模型,并揭示其与思维链推理的联系,提出有效正则化方法。
2025-02-24 cs.AI cs.CL cs.LG
Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping
EPFL(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems & ELLIS Institute(马克斯·普朗克智能系统研究所及ELLIS研究所)
针对循环Transformer在变长算法任务中长度泛化脆弱的问题,提出在训练中引入循环次数的随机性,并分析RL-Halting作为学习随机调度策略,能有效降低分布外方差并稳定预测。
2026-10-16 cs.AI cs.LG
Sparse Layers are Critical to Scaling Looped Language Models
USC Information Sciences Institute(美国南加州大学信息科学研究所);Netflix(netflix公司)
研究比较了带循环和不带循环的MoE和标准Transformer,发现循环MoE模型在扩展性上优于标准模型,且循环模型在计算质量权衡中具有更好的早退性能。
2026-11-19 cs.CL cs.LG
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
Qualcomm AI Research(高通人工智能研究)
本文提出了一种内存高效的循环变换器(MELT),通过解耦推理深度与内存消耗,实现了常数内存的迭代推理,同时保持了LoopLM的性能,仅需轻量级的后训练过程。
2026-09-29 cs.AI cs.CL cs.LG
Looped Transformers as Optimizers
HKUST (GZ)(香港科技大学(广州));SJTU(上海交通大学);UCAS(中国科学院大学);THU(清华大学);StepFun(阶跃星辰)
本文提出将循环Transformer的隐藏状态视为快速权重,从优化视角推导循环转换,并设计OperLoop方法,在匹配计算量下提升生成与常识推理性能。
2026-09-30 cs.LG
Neural Algorithmic Reasoning for Hypergraphs with Looped Transformers
Department of XXX, University of YYY, Location, Country(YYY大学XXX系);School of ZZZ, Institute of WWW, Location, Country(WWW研究所ZZZ学院)
本文提出基于循环变换器的超图神经算法推理方法,通过退化机制和超边感知编码方案模拟超图算法,展示其在高维数据处理中的可行性。
2026-01-24 cs.AI cs.CC cs.CL
Training-Free Looped Transformers
University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出一种免训练的循环Transformer方法,通过在推理时循环冻结检查点的连续中间块层来提升性能,无需微调或架构更改。
2026-05-22 cs.LG cs.NA math.NA
Loop-$μ$P: Residual Scaling and Hyperparameter Transfer in Looped Transformers
Tsinghua University(清华大学)
针对循环Transformer,提出残差缩放因子应为1/N而非1/√L,并推导出多层的分解参数化,实现超参数从少循环到多循环的迁移。
2026-10-20 cs.LG
Looped Transformers with Layer Normalization Provably Learn the Power Method
School of Computing & Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)
本文通过主成分预测任务,证明带有层归一化的循环线性Transformer在梯度下降训练下会收敛到实现幂方法的解,揭示了层归一化带来的算法隐式偏差。
2026-05-30 cs.LG stat.ML
LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
LoopAhead是面向循环Transformer的推测解码框架,通过轻量提前草稿器与不同循环深度的互补角色,实现最高7.82倍解码加速且保留目标模型输出分布。
2026-10-16 cs.AI cs.LG
Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts
University of Cambridge(剑桥大学)
研究循环变换器中自适应深度,通过轨迹——读出视角,涵盖合成任务与大规模检查点。发现固定先验深度监督可产生有益轨迹,简单读出表现良好,拟合冻结轨迹定位失败原因,Ouro评估有类似情况,重新定义自适应深度为联合问题。
2026-07-24 cs.LG
Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
UW-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);ETH Zürich(苏黎世联邦理工学院);KRAFTON(魁匠团);Ludo Robotics
提出LOTUS方法,利用循环Transformer在潜在空间进行多步推理,通过并行监督潜在块上的CoT令牌,首次在3B规模弥合与显式CoT的差距,并将推理延迟降低2.5-6.9倍。
2026-07-14 cs.CL cs.LG
Quantizing Looped Transformers: Feedback Exposure and Calibration Blindness
Meta
研究循环Transformer量化中的两种失效模式:反馈暴露与校准盲区,提出跨步骤累积GPTQ Hessian方法,在九个检查点上优于基线并恢复bf16精度。
2026-09-28 cs.CL cs.LG
Rotate the Loop: Blockwise Conformality for Looped Transformers
dunnolab(邓诺实验室)
该研究针对循环Transformer的状态跟踪问题,提出分块保形注入方法,通过分组旋转残差实现多时间尺度跟踪,在状态跟踪和语言建模任务上提升了性能。
2026-10-14 cs.AI cs.LG stat.ML
Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers
University of Technology Sydney(悉尼科技大学);East China Normal University(华东师范大学);Shanghai University of Electric Power(上海电力大学);University of Agder(阿格德大学);Squirrel AI Learning(松鼠AI)
本研究通过几何分析揭示循环Transformer中局部改进方向因步长过大导致有限步失败,并提出路径曲率分解与局部二次模型预测有效步长,实验表明固定四分之一步长在多数失败案例中带来正增益。
2026-09-16 cs.AI cs.LG
Nanbeige4.2-3B on Apple Silicon: Fixing Deployment Bugs and Decreasing Looped Transformer Memory Overhead
本研究针对Apple Silicon上的30亿参数智能体模型Nanbeige4.2-3B,修复其部署漏洞并提出分块预填充策略降低循环Transformer内存开销,使其在MCPMark等基准上完成智能体任务的比例提升至30%。
2026-08-17 cs.AI cs.LG
ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals
KAIST(韩国科学技术院);Yonsei University(延世大学);Seoul National University(首尔国立大学)
提出ResidualQuant,利用循环Transformer跨循环KV状态相似性,以最终循环为参考量化残差,结合缩放旋转和混合精度,在INT2下保持精度,减少KV存储80.7%,吞吐量提升显著。
2026-10-30 cs.LG
Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning?
MIT(麻省理工学院);Google Research(谷歌研究院)
本文首次从理论上证明,线性 looped Transformer 在上下文线性回归中能学习实现多步预条件梯度下降,并展示了非凸优化下的快速收敛,得到了合成实验验证。
2024-10-10 cs.AI cs.LG stat.ML
Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers
Tsinghua University(清华大学);Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学);Peking University(北京大学);Shenzhen University of Advanced Technology(深圳先进技术大学)
针对循环Transformer解码昂贵问题,提出深度异步自推测(DAS),利用值成熟性异步读取前缀,实现4-7倍吞吐提升。
2026-09-29 cs.AI cs.LG
Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers
Idiap Research Institute(Idiap研究 institute);EPFL(瑞士联邦理工学院);BUT(布拉格技术大学);Novartis Institute of Biomedical Research(诺华生物医学研究 institute)
提出LARM模型,通过深度条件循环Transformer将循环编码器深度变为可控的测试时计算轴,结合稀疏CTC检查点、监督时钟嵌入、FiLM深度条件和延迟软后验反馈,在LibriSpeech上随推理循环次数增加提升WER,实现测试时计算缩放从自回归语言模型推理扩展到连续非自回归语音识别。
2026-06-16 cs.LG
Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation
Department of Mathematics and Statistics(数学与统计学系)
本文通过比较三种记忆机制(压缩潜在循环、全序列状态循环和思维链暂存区),证明压缩循环Transformer的记忆预算限制其推理能力,而思维链通过扩展上下文实现更强的问题求解。
2026-05-29 cs.LG
Decoding Looped Transformers Better for (Almost) Free
Apple(苹果公司)
本文提出LoopCD,一种无需训练的对比解码框架,利用循环Transformer的中间状态作为引导信号,在减少推理计算的同时提升解码质量,并支持循环次数减半。
2026-10-02 cs.LG
Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning
Peking University(北京大学);ByteDance Inc.(字节跳动公司)
针对自回归思维链生成长且正确轨迹的挑战,该研究提出RELAY方法,将思维链推理步骤与循环Transformer的迭代对齐并施加中间监督,提升其泛化性以生成超长推理链,进而微调自回归模型并显著提升其性能。
2025-02-12 cs.AI cs.CL cs.LG
Reading Human Preference from Looped Transformer Internal States
研究循环变压器如何编码人类偏好,通过提取内部迭代状态训练轻量评估头,发现偏好关系性编码优于非线性方法,提出翻转测试作为必要诊断。
2026-11-19 cs.AI cs.LG
LAST: Looped Audio Spectrogram Transformer
Georgia Institute of Technology(佐治亚理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校);Google DeepMind(谷歌DeepMind)
针对变换器深度增加带来的计算开销问题,提出循环音频频谱图变换器(LAST),通过复用模块仅细化类别令牌,在AudioSet上以更少参数和计算量超越十二层顺序变换器,并提升鲁棒性与泛化能力。
2026-10-02 cs.LG cs.SD eess.AS
Learning to Extrapolate in Depth with Looped Transformers
University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学)
该研究针对循环Transformer的深度外推问题,以全对图连通性为对象,推导了外推窗口的端点,证明可通过训练分布选测试深度实现更难图的恢复,实验验证了相关结论。
2026-10-14 cs.LG
LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers
School of Integrated Circuits, Peking University(北京大学集成电路学院);Houmo AI
针对循环Transformer低位量化的挑战,提出LoopQuant框架,通过三个核心组件实现更优性能,在Ouro-2.6B上实现内存压缩、速度提升,优于现有方法。
2026-10-14 cs.AI cs.LG
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
Fin AI Research(金融人工智能研究)
研究针对循环变换器解码时键值缓存占用大的问题,提出循环潜在注意力(LLA)编解码器,通过存储紧凑潜在表示按需重建键值向量,经奇异值分解初始化和蒸馏细化,在缓存压缩上效果显著,提升了模型性能。
2026-07-27 cs.CL cs.LG
Looped ReLU MLPs May Be All You Need as Practical Programmable Computers
The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学);The Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);University of Pennsylvania(宾夕法尼亚大学)
本文证明循环的 23 层 ReLU-MLP 可用实际规模权重执行可编程计算,且比循环 Transformer 更高效,揭示简单 MLP 被低估的表达能力。
2025-02-20 cs.AI cs.CC cs.LG
Recurrent Looped Transformer
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
提出循环循环 Transformer(RLT),通过循环解码器使计算路径随序列长度增长,在算法任务上显著提升状态跟踪泛化能力,超越固定深度 Transformer。
2026-10-14 cs.AI cs.CL cs.LG
Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Samsung AI Center(三星人工智能中心);IFTR, Polish Academy of Sciences(波兰科学院基础技术研究所)
本研究以bViT为例,对比循环与堆叠Transformer在12导联ECG分类中的表征与动态差异,发现两者表征相似但动态不同,循环架构参数效率高且行为更稳健。
2026-10-20 cs.LG math.DS
Hyperloop Transformers
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种改进语言模型参数效率的超环变压器架构,通过循环Transformer和超连接技术,在较少参数下优于基线模型。
2026-07-03 cs.CL cs.LG
SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers
Tsinghua University(清华大学);ByteDance Seed(字节跳动Seed);M-A-P
该研究在严格匹配关键预算指标的前提下,提出SMELT方案,通过循环MoE Transformer中间层,提升了模型性能并节省了训练FLOPs,为Transformer架构优化提供了实用方案。
2026-09-14 cs.LG
Think-at-Hard: Dynamic Looped Transformers for Improved Reasoning
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
针对循环变压器中潜在过思考问题,提出Think-at-Hard方法,通过轻量级决策器选择性地在困难令牌上触发潜在迭代,并采用深度感知LoRA和双因果注意力机制,在数学、问答和编码任务上一致提升性能。
2026-08-31 cs.AI cs.CL cs.LG
Looped Transformers with Source-Centered State Evolution
本文提出以源为中心的状态演化(SCSE)循环Transformer,解决输入条件与共享循环参考的协调问题,在多个文本任务中提升了可控循环质量,验证了其设计的有效性。
2026-07-31 cs.CL cs.LG
When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers
Fudan University(复旦大学);Peking University(北京大学)
研究权重绑定循环变换器何时实现算法,通过群字问题得出预算定律、架构先验决定算法等四个发现,介绍收敛时间缩放工具并验证其因果关系,结果可复现。
2026-07-24 cs.AI cs.LG stat.ML
DFNets: Spectral CNNs for Graphs with Feedback-Looped Filters
Research School of Computer Science(计算机科学研究学院);The Australian National University(澳大利亚国立大学)
提出了一种基于图结构数据的谱卷积神经网络(CNN)模型,即分布式反馈环网络(DFNets)。该模型结合了一个强大的类谱图滤波器,称为反馈环路滤波器,提供更好的定位顶点,同时仍然达到快速收敛和线性内存的要求。从理论上讲,反馈环路滤波器可以保证w.r.t.一个指定的错误界,并普遍适用于任何图,而不知道其结构。此外,该模型的传播规则可以使前几层的特征多样化,以产生强梯度流。我们使用两个基准任务评估了我们的模型:引文网络上的半监督文档分类和知识图谱上的半监督实体分类。实验结果表明,我们的模型在所有数据集上的两个基准任务中都大大优于最先进的方法。
2020-01-17 cs.LG stat.ML
Dynamical phase selection controls compute scaling in looped transformers
Sejong University(世宗大学)
该研究针对循环Transformer,发现架构与准确率相同的网络因初始化不同呈现不同动力学相位,分岔机制决定测试时计算缩放,fold与Neimark–Sacker相位的缩放规律存在差异,表明测试计算由训练解的动力学相位决定。
2026-08-28 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Spectral Margins and Memory Routing in Looped Transformers
Faculty of Business and Economics, The University of Hong Kong(香港大学经管学院)
研究预层归一化循环变压器中层归一化作用,指出其为隐式增益控制,分析稳定性预算及进位约束,通过六个任务实验表明线性进位非深度记忆机制,刻画该说法边界,结果经解析得出并在CPU规模实现中验证。
2026-11-03 cs.LG cs.NE
Shared Weights, Selected Computations: How Looped Transformers Route What Each Loop Does
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
研究循环Transformer中共享权重是否导致每循环执行相同操作,发现隐藏状态可路由共享计算至不同转移,注意力模式是因果通路。
2026-10-01 cs.LG