Neural Algorithmic Reasoning for Hypergraphs with Looped Transformers
Department of XXX, University of YYY, Location, Country(YYY大学XXX系);School of ZZZ, Institute of WWW, Location, Country(WWW研究所ZZZ学院)
本文提出基于循环变换器的超图神经算法推理方法,通过退化机制和超边感知编码方案模拟超图算法,展示其在高维数据处理中的可行性。
2026-01-24 cs.AI cs.CC cs.CL
Looped Transformers with Layer Normalization Provably Learn the Power Method
School of Computing & Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)
本文通过主成分预测任务,证明带有层归一化的循环线性Transformer在梯度下降训练下会收敛到实现幂方法的解,揭示了层归一化带来的算法隐式偏差。
2026-05-30 cs.LG stat.ML
Training-Free Looped Transformers
University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出一种免训练的循环Transformer方法,通过在推理时循环冻结检查点的连续中间块层来提升性能,无需微调或架构更改。
2026-05-22 cs.LG cs.NA math.NA
Quantizing Looped Transformers: Feedback Exposure and Calibration Blindness
Meta
研究循环Transformer量化中的两种失效模式:反馈暴露与校准盲区,提出跨步骤累积GPTQ Hessian方法,在九个检查点上优于基线并恢复bf16精度。
2026-09-28 cs.CL cs.LG
SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers
Tsinghua University(清华大学);ByteDance Seed(字节跳动Seed);M-A-P
该研究在严格匹配关键预算指标的前提下,提出SMELT方案,通过循环MoE Transformer中间层,提升了模型性能并节省了训练FLOPs,为Transformer架构优化提供了实用方案。
2026-09-14 cs.LG
Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts
针对循环MoE扩展受限的问题,提出LOOM方法,通过稳定循环状态和多样化专家选择,实现9-12次循环,显著提升困惑度和零样本准确率。
2026-10-02 cs.AI cs.LG
Scaling Laws for Looped Mixture of Experts
Meta AI
本文提出循环缩放定律,联合建模循环与稀疏性,预测循环MoE损失,并证明其在万亿token规模下带来参数效率与性能优势。
2026-10-01 cs.AI cs.CL cs.LG
AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures
National University of Singapore(新加坡国立大学);Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong Baptist University(香港浸会大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出融合预处理、循环迭代优化与后处理结构的 AlgoFormer,利用任务和算法先验提升 Transformer 的算法表示与学习能力,并在理论及语言任务实验中验证其优势。
2025-01-10 cs.AI cs.LG cs.NA
Looped Diffusion Language Models
KAIST(韩国科学技术院);KRAFTON(KRAFTON公司);University of California, Berkeley(加州大学伯克利分校)
提出LoopMDM,通过选择性循环早期-中间Transformer层,在训练时实现深度缩放效果而不增加参数,在推理时通过调整循环次数灵活扩展计算量,从而提升掩码扩散模型的训练效率和性能。
2026-05-25 cs.LG
Stability and Generalization in Looped Transformers
Asher Labovich
本文研究了循环变换器在测试时的计算扩展性,通过分析稳定性轴(可达性、输入依赖性和几何性)提出固定点框架,证明无回忆的循环网络无法实现强输入依赖性,而结合外归一化的回忆可产生稳定固定点区域,实验验证了其在棋盘、数独和前缀和任务中的性能。
2026-11-06 cs.AI cs.LG
The Surprising Effectiveness of Shared Memory in Looped Transformers
IBM Research(IBM研究院);Cornell University(康奈尔大学)
循环Transformer中共享内存可提升质量并大幅减少内存使用,新模型LPT及其混合变体在FineWeb-Edu上以更少内存取得更低困惑度。
2026-10-05 cs.AI cs.LG
To CoT or To Loop? A Formal Comparison Between Chain-of-Thought and Looped Transformers
The University of Tokyo(东京大学)
本文形式化比较思维链与循环 Transformer,证明前者擅长组合结构的近似推断,后者擅长并行计算,为推理范式选择提供实用指导。
2025-10-24 cs.AI cs.LG
Beyond the Training Horizon: Mechanisms and Limits of Length Generalization in Looped Transformers
本研究通过机制分析揭示循环Transformer长度泛化的两种机制及其失效原因,并提出循环状态编码计算状态、可转移残差方向控制信息参与后续计算的共同原则,表明长度泛化无需忠实逐步推理。
2026-09-29 cs.AI cs.LG
DeepLoop: Depth Scaling for Looped Transformers
Princeton University(普林斯顿大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
研究循环变换器中深度缩放问题,提出DeepLoop方法,通过控制访问对齐系数形式化绑定深度效应,保持特定架构并设置参数,在不同规模GPT风格模型上实验,结果显示稳定循环深度需考虑参数访问的残差缩放规则。
2026-08-10 cs.AI cs.LG
Step-resolved data attribution for looped transformers
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波恩大学数字工程研究所);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Harvard University(哈佛大学);Imperial College London(伦敦帝国理工学院);Google DeepMind(谷歌DeepMind)
本文提出SDI方法,用于分析循环变换器中每个循环步骤对模型的影响,提升数据归因和可解释性能力。
2026-02-10 cs.AI cs.LG
How to Loop MoE: Flatten the Experts, Untie the Attention
Case Western Reserve University(凯斯西储大学);Kyoto University(京都大学);NII LLMC(国立情报学研究所LLMC)
针对循环MoE如何有效利用专家的问题,提出Foil方法:通过展平专家(减少专家层、增加每层专家数和前向传递次数)和解耦注意力(每传递独立注意力参数),在固定参数和计算量下显著降低预训练损失并改善路由,为循环MoE设计提供指导。
2026-09-29 cs.AI cs.CL cs.LG
Exploring the Potential of Probabilistic Transformer for Time Series Modeling: A Report on the ST-PT Framework
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学)
本文探讨概率变换器在时间序列建模中的应用,提出ST-PT框架,通过三个研究问题分析其在时间序列建模中的潜力与贡献。
2026-04-29 cs.AI cs.LG
Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent
Middle Tennessee State University(中田纳西州立大学);University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing at the University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所)
本文研究了线性循环 Transformer 在上下文学习中的表现,证明其在常数条件数下能通过多步梯度下降高效达到低误差,绕过了先前理论对样本量的指数级依赖,揭示了 Transformer 更强的学习能力。
2025-02-28 cs.AI cs.LG
On Expressive Power of Looped Transformers: Theoretical Analysis and Enhancement via Timestep Encoding
The University of Tokyo(东京大学)
本文通过定义序列到序列函数的连续模建立循环Transformer的逼近速率,揭示其架构局限性,并提出基于时间步编码的缩放参数以增强表达能力。
2025-06-05 cs.LG
What Makes Looped Transformers Perform Better Than Non-Recursive Ones
本文通过损失景观几何学解释循环变换器在复杂推理任务中的优势,并提出SHIFT框架提升其训练效率。
2026-01-06 cs.AI cs.LG stat.ML
SpiralFormer: Looped Transformers Can Learn Hierarchical Dependencies via Multi-Resolution Recursion
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);ShanghaiTech University(上海科技大学)
SpiralFormer通过多分辨率递归机制提升循环Transformer的参数和计算效率,实验证明其在不同模型规模下均优于传统递归和非递归基线。
2026-04-20 cs.LG
Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping
EPFL(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems & ELLIS Institute(马克斯·普朗克智能系统研究所及ELLIS研究所)
针对循环Transformer在变长算法任务中长度泛化脆弱的问题,提出在训练中引入循环次数的随机性,并分析RL-Halting作为学习随机调度策略,能有效降低分布外方差并稳定预测。
2026-10-16 cs.AI cs.LG
Energy-Entropy Regularization: The True Power of Minimal Looped Transformers
Wai-Lun Lam
本文提出利用Tsallis熵和哈密顿动力学改进循环转换器训练,成功解决长序列归纳任务,揭示其推理能力的内在机制。
2026-01-22 cs.LG
Looped Transformers for Length Generalization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Massachusetts Institute of Technology(麻省理工学院);UC Berkeley(加州大学伯克利分校)
针对 Transformer 难以泛化到未知输入长度的问题,本文提出采用自适应步数的循环 Transformer 及相应学习算法,在 RASP-L 迭代任务上实现了更强的长度泛化。
2025-05-12 cs.LG
LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
LoopAhead是面向循环Transformer的推测解码框架,通过轻量提前草稿器与不同循环深度的互补角色,实现最高7.82倍解码加速且保留目标模型输出分布。
2026-10-16 cs.AI cs.LG
FlashLoop: Fast and Memory-Efficient Looped Transformers via Lazy Updates
ELLIS Institute Tübingen(ELLIS 图宾根研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心)
本文提出FlashLoop,一种无需训练的推理框架,通过token稀疏更新、稀疏注意力和KV残差量化减少循环Transformer中的跨循环冗余,实现无损精度下高达1.64倍加速和6倍KV缓存内存缩减。
2026-09-29 cs.LG
Reasoning with Latent Thoughts: On the Power of Looped Transformers
Google Research(谷歌研究院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
本研究证明循环Transformer能以较少参数实现深层推理,在合成与语言建模任务上媲美深层模型,并揭示其与思维链推理的联系,提出有效正则化方法。
2025-02-24 cs.AI cs.CL cs.LG
LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对循环Transformer解码延迟高的问题,提出免训练的自推测解码框架LoopSpec,通过流水线重叠草稿生成与验证,并引入选择性第二提议,实现高达6.83倍推理加速。
2026-09-16 cs.CL cs.LG
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
Qualcomm AI Research(高通人工智能研究)
本文提出了一种内存高效的循环变换器(MELT),通过解耦推理深度与内存消耗,实现了常数内存的迭代推理,同时保持了LoopLM的性能,仅需轻量级的后训练过程。
2026-09-29 cs.AI cs.CL cs.LG
Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers
University of Technology Sydney(悉尼科技大学);East China Normal University(华东师范大学);Shanghai University of Electric Power(上海电力大学);University of Agder(阿格德大学);Squirrel AI Learning(松鼠AI)
本研究通过几何分析揭示循环Transformer中局部改进方向因步长过大导致有限步失败,并提出路径曲率分解与局部二次模型预测有效步长,实验表明固定四分之一步长在多数失败案例中带来正增益。
2026-09-16 cs.AI cs.LG
Looped Transformers as Optimizers
HKUST (GZ)(香港科技大学(广州));SJTU(上海交通大学);UCAS(中国科学院大学);THU(清华大学);StepFun(阶跃星辰)
本文提出将循环Transformer的隐藏状态视为快速权重,从优化视角推导循环转换,并设计OperLoop方法,在匹配计算量下提升生成与常识推理性能。
2026-09-30 cs.LG
Nanbeige4.2-3B on Apple Silicon: Fixing Deployment Bugs and Decreasing Looped Transformer Memory Overhead
本研究针对Apple Silicon上的30亿参数智能体模型Nanbeige4.2-3B,修复其部署漏洞并提出分块预填充策略降低循环Transformer内存开销,使其在MCPMark等基准上完成智能体任务的比例提升至30%。
2026-08-17 cs.AI cs.LG
Looped Diffusion Transformer
SenseTime Research(商汤科技研究院);LeapLab, Tsinghua University(清华大学LeapLab)
本文提出循环扩散Transformer(Looped-DiT),通过共享块循环计算与深度监督及自调制注意力,在固定参数下超越更大模型,实现高效迭代生成。
2026-10-01 cs.CV cs.LG
Improving Test-Time Scaling with Adaptive Looped Transformers
Tsinghua University(清华大学);Yale University(耶鲁大学)
提出TaH2,通过前瞻深度监督自适应分配循环迭代,提升循环Transformer的测试时扩展效率与准确率,在AIME基准上斜率提升53%。
2026-09-29 cs.CL cs.LG
Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers
Tsinghua University(清华大学);Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学);Peking University(北京大学);Shenzhen University of Advanced Technology(深圳先进技术大学)
针对循环Transformer解码昂贵问题,提出深度异步自推测(DAS),利用值成熟性异步读取前缀,实现4-7倍吞吐提升。
2026-09-29 cs.AI cs.LG
Loop-$μ$P: Residual Scaling and Hyperparameter Transfer in Looped Transformers
Tsinghua University(清华大学)
针对循环Transformer,提出残差缩放因子应为1/N而非1/√L,并推导出多层的分解参数化,实现超参数从少循环到多循环的迁移。
2026-10-20 cs.LG
Simulation of Graph Algorithms with Looped Transformers
University of Waterloo(滑铁卢大学)
本文从理论上证明带图交互注意力头的循环 transformer 能以不随图规模增长的参数量模拟多种经典图算法,并分析有限精度限制与恒定宽度图灵完备性。
2024-10-01 cs.AI cs.DS cs.LG
Relational Preference Encoding in Looped Transformer Internal States
研究循环变压器如何编码人类偏好,通过提取内部迭代状态训练轻量评估头,发现偏好关系性编码优于非线性方法,提出翻转测试作为必要诊断。
2026-07-17 cs.AI cs.LG
Rotate the Loop: Blockwise Conformality for Looped Transformers
dunnolab(邓诺实验室)
该研究针对循环Transformer的状态跟踪问题,提出分块保形注入方法,通过分组旋转残差实现多时间尺度跟踪,在状态跟踪和语言建模任务上提升了性能。
2026-10-14 cs.AI cs.LG stat.ML
LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers
School of Integrated Circuits, Peking University(北京大学集成电路学院);Houmo AI
针对循环Transformer低位量化的挑战,提出LoopQuant框架,通过三个核心组件实现更优性能,在Ouro-2.6B上实现内存压缩、速度提升,优于现有方法。
2026-10-14 cs.AI cs.LG
Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
UW-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);ETH Zürich(苏黎世联邦理工学院);KRAFTON(魁匠团);Ludo Robotics
提出LOTUS方法,利用循环Transformer在潜在空间进行多步推理,通过并行监督潜在块上的CoT令牌,首次在3B规模弥合与显式CoT的差距,并将推理延迟降低2.5-6.9倍。
2026-07-14 cs.CL cs.LG
Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning?
MIT(麻省理工学院);Google Research(谷歌研究院)
本文首次从理论上证明,线性 looped Transformer 在上下文线性回归中能学习实现多步预条件梯度下降,并展示了非凸优化下的快速收敛,得到了合成实验验证。
2024-10-10 cs.AI cs.LG stat.ML
ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals
KAIST(韩国科学技术院);Yonsei University(延世大学);Seoul National University(首尔国立大学)
提出ResidualQuant,利用循环Transformer跨循环KV状态相似性,以最终循环为参考量化残差,结合缩放旋转和混合精度,在INT2下保持精度,减少KV存储80.7%,吞吐量提升显著。
2026-10-30 cs.LG
Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers
Idiap Research Institute(Idiap研究 institute);EPFL(瑞士联邦理工学院);BUT(布拉格技术大学);Novartis Institute of Biomedical Research(诺华生物医学研究 institute)
提出LARM模型,通过深度条件循环Transformer将循环编码器深度变为可控的测试时计算轴,结合稀疏CTC检查点、监督时钟嵌入、FiLM深度条件和延迟软后验反馈,在LibriSpeech上随推理循环次数增加提升WER,实现测试时计算缩放从自回归语言模型推理扩展到连续非自回归语音识别。
2026-06-16 cs.LG
In-Context Algorithm Emulation in Fixed-Weight Transformers
Center for Foundation Models and Generative AI, Northwestern University(西北大学基础模型与生成式人工智能中心);Department of Computer Science, Northwestern University(西北大学计算机科学系);Ensemble AI;Engineering Science, University of Toronto(多伦多大学工程科学系);Department of Statistics and Data Science, Northwestern University(西北大学统计与数据科学系)
本文证明固定权重Transformer可通过上下文提示模拟广泛算法,提出任务特定与提示可编程两种模式,无需参数更新,实现算法普适性。
2025-09-26 cs.AI cs.LG stat.ML
Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation
Department of Mathematics and Statistics(数学与统计学系)
本文通过比较三种记忆机制(压缩潜在循环、全序列状态循环和思维链暂存区),证明压缩循环Transformer的记忆预算限制其推理能力,而思维链通过扩展上下文实现更强的问题求解。
2026-05-29 cs.LG
Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning
Peking University(北京大学);ByteDance Inc.(字节跳动公司)
针对自回归思维链生成长且正确轨迹的挑战,该研究提出RELAY方法,将思维链推理步骤与循环Transformer的迭代对齐并施加中间监督,提升其泛化性以生成超长推理链,进而微调自回归模型并显著提升其性能。
2025-02-12 cs.AI cs.CL cs.LG
Decoding Looped Transformers Better for (Almost) Free
Apple(苹果公司)
本文提出LoopCD,一种无需训练的对比解码框架,利用循环Transformer的中间状态作为引导信号,在减少推理计算的同时提升解码质量,并支持循环次数减半。
2026-10-02 cs.LG
Learning to Extrapolate in Depth with Looped Transformers
University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学)
该研究针对循环Transformer的深度外推问题,以全对图连通性为对象,推导了外推窗口的端点,证明可通过训练分布选测试深度实现更难图的恢复,实验验证了相关结论。
2026-10-14 cs.LG
Recurrent Looped Transformer
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
提出循环循环 Transformer(RLT),通过循环解码器使计算路径随序列长度增长,在算法任务上显著提升状态跟踪泛化能力,超越固定深度 Transformer。
2026-10-14 cs.AI cs.CL cs.LG
Low Latency Transformer Inference on FPGAs for Physics Applications with hls4ml
University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院)
提出基于 hls4ml 的 FPGA Transformer 部署方案,实现注意力、softmax 与归一化层,在 VU13P 上达到低于 2 μs 延迟并支持 TensorFlow 模型。
2024-09-08 cs.LG
LAST: Looped Audio Spectrogram Transformer
Georgia Institute of Technology(佐治亚理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校);Google DeepMind(谷歌DeepMind)
针对变换器深度增加带来的计算开销问题,提出循环音频频谱图变换器(LAST),通过复用模块仅细化类别令牌,在AudioSet上以更少参数和计算量超越十二层顺序变换器,并提升鲁棒性与泛化能力。
2026-10-02 cs.LG cs.SD eess.AS
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
Fin AI Research(金融人工智能研究)
研究针对循环变换器解码时键值缓存占用大的问题,提出循环潜在注意力(LLA)编解码器,通过存储紧凑潜在表示按需重建键值向量,经奇异值分解初始化和蒸馏细化,在缓存压缩上效果显著,提升了模型性能。
2026-07-27 cs.CL cs.LG
Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Samsung AI Center(三星人工智能中心);IFTR, Polish Academy of Sciences(波兰科学院基础技术研究所)
本研究以bViT为例,对比循环与堆叠Transformer在12导联ECG分类中的表征与动态差异,发现两者表征相似但动态不同,循环架构参数效率高且行为更稳健。
2026-10-20 cs.LG math.DS