The Model Knows When to Stop: Training-Free Early Stopping for Long-Context Reading
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Edge Hill University(边山大学)
提出免训练的答案收敛停止规则,通过测量模型答案的自信与稳定状态实现自适应早停,在长上下文阅读中保持准确率并节省计算,无需额外训练。
2026-09-29 cs.CL cs.LG
Latent Abstraction for Retrieval-Augmented Generation
Center for AI Research, VinUniversity, Vietnam(越南Vin大学人工智能研究中心)
LAnR通过在潜在空间中联合执行编码、检索和生成,提升检索增强生成的效率与效果,减少检索调用次数并增强模型整合。
2026-10-28 cs.AI cs.CL
Less is More: Early Stopping Rollout for On-Policy Distillation
University of California, Los Angeles(加州大学洛杉矶分校);Beijing Institute of General Artificial Intelligence(北京通用人工智能研究院)
针对在线策略蒸馏中存在的“离策略教师衰减”问题,提出早停展开(ESR)方法,通过限制响应生成的前几个token来提升性能、GPU效率和训练稳定性。
2026-05-26 cs.AI cs.LG
Don't Repeat Yourself: Stopping Verbatim Loops at Sampling Time
Thoughtworks;Columbia University(哥伦比亚大学);Oracle(甲骨文公司);New York University(纽约大学)
研究针对大语言模型的逐字循环问题,提出采样时的DRY对数几率调整方法,在多模型和研究中有效降低循环率并保持性能,已被开源LLM推理框架采用。
2026-08-25 cs.AI cs.CL cs.LG
Semantic Early-Stopping for Iterative LLM Agent Loops
针对多智能体LLM循环中固定迭代次数终止的低效问题,提出基于语义相似度和质量评估的早停机制,理论证明终止确定性,实验表明无质量门控的语义早停在HotpotQA上节省38%操作token且性能持平。
2026-06-26 cs.AI cs.LG cs.MA
ESPO: Early-Stopping Proximal Policy Optimization
Tongyi Lab(通义实验室);Alibaba Group(阿里巴巴集团);Peking University(北京大学)
提出ESPO算法,通过在强化学习训练大语言模型时在线检测轨迹失败并提前终止,节省计算资源并提升数学推理性能。
2026-05-28 cs.AI cs.LG
Early Stopping for Large Reasoning Models via Confidence Dynamics
University of Maryland(马里兰大学);University of Southern California(南加州大学)
本文研究推理过程中中间答案的置信度,提出CoDE-Stop方法利用置信度动态决定早停,无需额外训练,提升准确率与效率,减少25-50%的token使用。
2026-08-17 cs.AI cs.CL cs.LG
Optimal Stopping in Latent Diffusion Models
Google DeepMind(谷歌DeepMind);INRIA, ENS-PSL, Paris(INRIA、巴黎大学-PSL)
研究揭示了潜在扩散模型中潜在维度与停止时间对样本质量的影响,提出通过调整停止时间优化生成质量的方法。
2026-03-02 cs.LG stat.ML
Conformal Thinking: Risk Control for Reasoning on a Compute Budget
Johns Hopkins University, Baltimore, Maryland, USA(约翰霍普金斯大学,巴尔的摩,马里兰州,美国);Apple, USA(苹果公司,美国)
本文提出一种风险控制框架,通过设置上界和下界阈值来优化计算预算,提升推理效率并降低错误率。
2026-05-14 cs.AI cs.LG
Distillation $\approx$ Early Stopping? Harvesting Dark Knowledge Utilizing Anisotropic Information Retrieval For Overparameterized Neural Network
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Stanford University(斯坦福大学)
蒸馏是一种将知识从一个模型转移到另一个模型的方法,通常可以在相同的容量下实现更高的准确性。在本文中,我们的目的是提供一个理论上的理解,主要是什么有助于蒸馏。我们的答案是“早停”。假设教师网络是过度参数化的,我们认为教师网络本质上是通过提前停止从数据中获取暗知识。这可以通过一个新的概念来证明,{各向异性信息检索(AIR)},这意味着神经网络倾向于首先拟合信息信息,然后拟合非信息信息(包括噪声)。受近年来对过参数化神经网络理论分析的启发,我们可以用神经切核(NTK)的特征空间来刻画AIR。空气促进了对蒸馏的新理解。有了这个,我们进一步利用蒸馏来细化噪声标签。我们提出了一种自蒸馏算法,在前一个训练时期从网络中顺序提取知识,以避免记住错误的标签。我们还证明,无论是理论上和经验上,自我蒸馏可以受益于不仅仅是早期停止。理论上,我们证明了该算法收敛于随机初始化的超参数化神经网络在$\ell_2$距离方面的真实标签,而之前的结果是在$0$ - $1$损失方面的收敛.理论结果保证了学习后的神经网络在训练数据上有一定的余量,从而具有更好的泛化能力。经验上,我们实现了更好的测试精度,并完全避免了早期停止,这使得算法更用户友好。
2019-10-02 cs.CV cs.IT cs.LG
Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning
University of Toronto(多伦多大学);Vector Institute(矢量研究所);McGill University(麦吉尔大学);University Health Network(大学医疗网络);University of Waterloo(滑铁卢大学)
该研究提出Varest图像分词压缩方法,以语义可替代性为指导,结合可变分辨率合并与[REL]寄存器剪枝,在三个骨干网络和13个基准测试中,仅用5.56%的分词数就保留了86.10%-92.33%的性能,优于15个基线。
2026-10-22 cs.AI cs.CV cs.LG
Effective Early Stopping of Point Cloud Neural Networks
University of Barcelona(巴塞罗那大学)
早期停止技术可以用于减少时间成本,然而目前早期停止技术的最终目标与准确性升级或神经网络在结构上不庞大或复杂的情况下更好地概括看不见的数据的能力密切相关,并且与其效率不直接相关。时间效率是神经网络中的关键因素,特别是在处理3D点云数据分割时,这不仅是因为神经网络本身在计算上是昂贵的,而且还因为点云是大而嘈杂的数据,使得学习过程更加昂贵。针对神经网络处理三维点云时学习效率和精度之间的矛盾,提出了一种新的基于基础数学的早期停止技术。我们的研究结果表明,通过在四个不同的和高度利用的神经网络在分割三维点云,使用我们的早期停止技术,模型的训练时间效率大大提高,效率增益值高达94\%,虽然模型在仅仅几个时期内实现近似类似的分割准确度度量值,200个纪元。此外,我们的建议优于四个传统的早期停止方法的分割精度,这意味着一个有前途的创新早期停止技术在点云分割。
2022-09-30 cs.AI cs.CV cs.LG
CC-AOS: Cost- and Horizon-Conditioned Amortized Backward Induction for Finite-Horizon Optimal Stopping
研究有限时域最优停止问题,提出CC - AOS方法,通过联合摊销拟合反向归纳学习共享延续值模型,确定函数性质并推导误差界限,实验表明该方法在FordA数据集上相比其他方法有优势。
2026-07-28 cs.LG
Efficient Online LLM Watermark Detection via Rao-Blackwellized E-Processes
Yunnan Key Laboratory of Statistical Modeling and Data Analysis(云南统计建模与数据分析重点实验室);Yunnan University(云南大学);School of Statistics and Management(统计与管理学院);Shanghai University of Finance and Economics(上海财经大学)
研究如何在大语言模型中高效检测水印,基于Rao-Blackwellized e过程开发在线检测框架,针对Gumbel-max水印实例化,能随时有效推理、递归更新证据,理论证明其有效性,模拟和实验验证了高效在线检测。
2026-07-27 cs.LG stat.ML
Accelerating Optimization via Differentiable Stopping Time
Beijing International Center for Mathematical Research(北京国际数学研究中心);Peking University(北京大学);Department of Industrial Engineering(工业工程系);Tsinghua University(清华大学);School of Mathematics Science(数学科学学院)
本文提出了一种基于微分方程的可微停止时间方法,解决了最小化达到目标损失时间的不可微问题,并设计了高效反向传播算法,在在线超参数调优等应用中展现出优越性能。
2026-10-21 cs.LG math.OC
Entropy After </Think> for reasoning model early exiting
Johns Hopkins University(约翰霍普金斯大学);Netflix Research(Netflix研究院);Cornell University(康奈尔大学)
本文提出熵后</Think>信号(EAT)用于检测和防止推理模型过度思考,通过减少冗余推理token消耗提升效率,在数学问题数据集上验证了其有效性。
2026-04-08 cs.LG
TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning
UT Austin(得克萨斯大学);EPFL(苏黎世联邦理工学院);ENS Paris-Saclay(巴黎-萨克雷大学);Télécom Paris (IP Paris)(巴黎理工学院)
本文提出TERMINATOR方法,通过预测模型最终答案的首次出现位置,学习最优推理长度,从而减少链式推理的计算量,提升推理效率。
2026-11-17 cs.AI cs.CL cs.LG
Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models
EPFL(瑞士联邦理工学院);UCL(伦敦大学学院);Johns Hopkins University(约翰霍普金斯大学)
该研究揭示过参数化扩散模型中泛化先于记忆发生、记忆时间与数据集规模成正比的规律,提出随数据集规模缩放的早停准则可在避免记忆的同时优化泛化,为超参数迁移和隐私敏感应用提供参考。
2025-09-01 cs.LG stat.ML
Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences
本文提出了一种基于任意时间有效置信序列的SGD停止规则,适用于凸和非凸优化问题,提供统计上有效的停止条件。
2026-02-20 cs.LG math.OC math.ST
Improving Meta-Learning Generalization with Activation-Based Early-Stopping
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔综合理工学院)
用于少样本学习的元学习算法旨在训练神经网络,该神经网络能够仅使用少量示例来推广到新任务。早期停止对性能至关重要,当模型训练达到对新任务分布的最佳泛化时,停止模型训练。元学习中的早期停止机制通常依赖于从训练(源)数据集提取的元验证集的标记示例上测量模型性能。这在Few-Shot迁移学习设置中是有问题的,其中元测试集来自不同的目标数据集(OOD),并且可能与元验证集具有较大的分布偏移。在这项工作中,我们提出了基于激活的早期停止(ABE),一种替代使用基于验证的早期停止元学习。具体来说,我们分析了在元训练期间,每个隐藏层的神经激活的演变,在目标任务分布的单个任务的一小部分未标记的支持示例上,因为这构成了目标问题的最小和可扩展的可访问信息。我们的实验表明,简单的,标签不可知的统计激活提供了一种有效的方法来估计目标泛化如何随着时间的推移而演变。在每个隐藏层,我们表征的激活分布,从他们的第一和第二阶矩,然后进一步总结沿特征尺寸,从而在一个紧凑而直观的表征在四维空间。在整个训练时间内,检测目标激活轨迹何时以及在哪一层偏离源数据的激活轨迹,使我们能够在不同算法、源数据集和目标数据集之间的大量Few-Shot迁移学习设置中执行早期停止并改进泛化。
2022-08-03 cs.AI cs.LG stat.ML
Let's (not) just put things in Context: Test-Time Training for Long-Context LLMs
Meta;Harvard University(哈佛大学);Kempner Institute at Harvard(哈佛大学凯普纳研究所);OpenAI
针对长上下文LLM的测试时训练方法通过针对性梯度更新克服静态自注意力限制,显著提升模型性能。
2025-12-15 cs.CL cs.LG
S2O: Early Stopping for Sparse Attention via Online Permutation
Xiamen University(厦门大学)
S2O通过在线排列实现稀疏注意力的提前停止,提高稀疏性上限并减少计算量,同时保持准确性。
2026-02-26 cs.AI cs.LG
Exploring the Hidden Capacity of LLMs for One-Step Text Generation
AIRI Skoltech(AIRI-skoltech)
本研究发现冻结的LLMs仅通过两个学习到的嵌入即可在单次前向传递中生成数百个准确token,揭示了其原生多token生成能力,为克服自回归解码瓶颈提供了新途径。
2025-11-01 cs.AI cs.CL cs.LG
AV-AIVAT: 74x Cheaper Agent Evaluation with Certified Anytime-Valid Stopping in Imperfect-Information Games
IIIS, Tsinghua University(清华大学交叉信息研究院)
AV-AIVAT将AIVAT与置信序列结合,在非完全信息博弈中实现任意时间有效停止,成本降低74倍,可高效评估智能体并向第三方提供可审计的验证依据。
2026-08-07 cs.AI cs.CL cs.GT
Optical Context Compression Is Just (Bad) Autoencoding
UC San Diego(加州大学圣迭戈分校)
研究比较了光学上下文压缩与直接方法,发现直接方法在重建和语言建模中表现更优,光学压缩未超越最佳直接基线。
2026-04-04 cs.CL cs.CV cs.LG
Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning Rates and Early Stopping
Jiangxi Normal University(江西师范大学);Xi’an Jiaotong University(西安交通大学)
Boosting是一种众所周知的用于提高机器学习中弱学习器的准确性的方法。然而,它的理论推广保证在文献中缺失。在本文中,我们提出了一个有效的提升方法与理论推广保证二进制分类。所提出的增强方法的三个关键成分是:a)在增强过程中的\textit{fully-corrective greedy}(FCG)更新,b)作为损失函数的可微分\textit{squared hinge}(也称为\textit{truncated quadratic})函数,以及c)用于相关联的FCG优化的有效的交替方向乘法(ADMM)算法。所使用的平方铰链损失不仅继承了著名的铰链损失的鲁棒性与离群值的分类,但也带来了一些好处的计算实现和理论论证。在一定的稀疏性假设下,我们推导出所提出的boosting方法的${\cal O}((m/\log m)^{-1/4})$阶的快速学习率,如果施加一定的额外噪声假设,可以进一步改进为${\cal O}((m/\log m)^{-1/2})$,其中$m$是样本集的大小。这两种方法的学习率都是现有Boosting类分类方法推广效果最好的。此外,所提出的方法提供了一个有效的早期停止计划。一系列的玩具模拟和真实数据实验进行了验证发展的理论和证明所提出的方法的有效性。
2020-04-01 cs.LG math.ST stat.ML
Just Enough Thinking: Efficient Reasoning with Adaptive Length Penalties Reinforcement Learning
Stanford University(斯坦福大学);SynthLabs
本文提出自适应长度惩罚(ALP)强化学习方法,根据每个提示的求解率动态调整生成长度惩罚,在保持 DeepScaleR-1.5B 性能的同时将平均 token 使用量减少 50%,并将节省的计算资源重新分配给困难问题以提升最难题目的准确率。
2025-06-06 cs.AI cs.LG
Match the Canvas, Not Just the Answer: Predictability-Aware SFT for Diffusion Language Models
Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加利福尼亚大学伯克利分校);University of Chicago(芝加哥大学);University of Michigan(密歇根大学)
针对扩散语言模型训练与推理的不匹配问题,提出可预测性感知画布选择与监督(PACS)方法,在推理和代码生成基准测试中较普通 SFT 最高提升 12.84 个百分点,实现最优平均准确率。
2026-10-14 cs.AI cs.CL cs.LG
Think Just Enough: Sequence-Level Entropy as a Confidence Signal for LLM Reasoning
Lossfunk
本研究提出基于序列级香农熵的大语言模型推理提前停止框架,可在保持准确率的同时节省25%-50%计算量,且该熵置信校准是高级后训练推理模型的涌现特性。
2025-10-28 cs.AI cs.LG
Drafting Agents, Not Just Tokens: Speculative Recursive Self-Improvement for Agentic Systems
本文提出 SpecRSI 方法,通过 VATS 和 GVO 分配预算与学习改进器,在多组对比中优于 Janus、MetaRSI-v1 等,提升了智能体改进的收益与效率。
2026-11-03 cs.AI cs.LG
Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
University of Maryland(马里兰大学);AI Foundations, Capital One(第一资本人工智能基础部)
通过自监督置信度训练,仅用600个问题微调推理模型预测中间置信度,无需显式优化长度或早停,即可在匹配准确率下减少最多25%的生成token,效率提升媲美直接优化短推理的方法。
2026-09-28 cs.AI cs.CL cs.LG
Mixer is more than just a model
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
本文将 Mixer 理解为跨视角信息融合范式,并面向音频识别提出融合时频信息的 ASM-RH 模型,在多个分类任务上验证其有效性。
2024-03-02 cs.AI cs.LG cs.SD
R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning
Monash University, Australia(墨尔本大学,澳大利亚);School of Software, Beihang University, China(北航软件学院,中国);South China University of Technology, China(华南理工大学,中国);ZIP Lab, Zhejiang University, China(浙江大学ZIP实验室,中国)
R-Stitch通过熵引导的混合解码框架,实现高效推理,减少计算成本并保持精度。
2026-02-08 cs.AI cs.CL cs.LG
LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning
University of Southern California(南加州大学);DEVCOM ARL(美国陆军战争研究所)
LYNX通过利用模型自身隐藏状态实现置信度控制的提前退出,提升推理效率和准确性,适用于多种任务和基准测试。
2025-12-05 cs.AI cs.CL cs.LG
DiffSoundStream: Efficient Speech Tokenization via Diffusion Decoding
Google LLC.(谷歌公司)
本文提出DiffSoundStream,通过以语义标记为条件减少标记冗余,并利用潜在扩散模型从语义和粗粒度声学标记合成波形,在非流式场景下提升了语音标记化效率,在低标记率下实现了与双倍标记率标准模型相当的语音质量。
2025-06-27 cs.LG eess.AS
Large Language Models Implicitly Learn to See and Hear Just By Reading
Department of Electrical Engineering Stanford University Stanford, CA 94305, USA(电气工程系 斯坦福大学)
本文发现仅在文本上训练的自回归大语言模型能隐式获得图像和音频理解能力,并在多个音频与图像分类数据集上验证了利用文本权重激活内部回路即可完成多模态任务,无需从头训练。
2025-09-23 cs.AI cs.CL cs.CV
Diffusion Language Models are Provably Optimal Parallel Samplers
本文证明了通过链式思维和修订,扩散语言模型能够以最优步骤和空间复杂度模拟并行采样算法,从而提升其作为高效并行采样器的理论基础。
2025-12-31 cs.CC cs.LG
A Few More Tokens Ahead: Reinforcing Parallelism in Diffusion LLMs
East China Normal University(华东师范大学);Fudan University(复旦大学)
针对扩散大语言模型并行生成的性能下降问题,提出RePara方法,通过组相对策略优化增强短连续令牌块,在降低去噪预算下提升数学任务准确率并加快训练速度。
2026-10-14 cs.AI cs.LG
Do Vision-Language Models Understand 3D Scenes or Just Catalogue Objects?
Deccan AI(德克南人工智能)
本文通过一个包含3034个样本的人工整理基准,探讨了视觉-语言模型对空间理解的深度有序遮挡、光学几何推断和体积重新安排规划能力,发现模型在重新安排可见布局时表现优异,但在遮挡和反射推断上表现较差。
2026-06-19 cs.CV cs.LG
Introducing Visual Perception Token into Multimodal Large Language Model
National University of Singapore(新加坡国立大学)
提出视觉感知令牌机制,赋予多模态大语言模型自主控制视觉感知的能力,通过区域选择令牌和视觉重编码令牌提升空间推理与细粒度理解,平均性能提升23.6%。
2025-02-24 cs.CV cs.LG