Token-Budget-Aware LLM Reasoning
Nanjing University(南京大学);Rutgers University(罗格斯大学);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
针对LLM思维链推理中token开销过大的问题,提出token-budget-aware框架,根据问题复杂度动态调整推理token数量,在轻微性能下降下有效降低成本并平衡效率与准确性。
2026-10-16 cs.AI cs.CL cs.LG
BudgetBench: A Budget-Tiered Protocol and Pilot Harness for Memory Strategy Evaluation in Local Large Language Model Agents
BudgetBench提出预算分层协议与测试框架,通过扫描多档令牌预算评估本地大语言模型智能体记忆策略,揭示预算违规与质量非单调性,为固定预算评估提供可复用测量表面。
2026-09-15 cs.CL cs.LG
Language Adaptation on a Tight Academic Compute Budget: Tokenizer Swapping Works and Pure bfloat16 Is Enough
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学);ELLIS Unit Potsdam(ELLIS波茨坦单元)
在紧张学术预算下研究 LLM 语言适配,发现纯 bfloat16 训练是混合精度的高效替代方案,分词器替换能提升效率且具竞争力,且持续预训练对充分代表的语言未必有益。
2024-08-28 cs.CL cs.LG
TALON: Confidence-Aware Speculative Decoding with Adaptive Token Trees
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学)
TALON通过自适应令牌树扩展框架,在不牺牲质量的前提下提升LLM推理速度,实现5.16倍的端到端加速。
2026-01-12 cs.CL
Brief Is Better: Non-Monotonic Chain-of-Thought Budget Effects in Function-Calling Language Agents
IIIS, Tsinghua University(清华大学交叉信息研究院)
研究探讨了链式思维预算对函数调用代理性能的影响,发现简短的链式思维显著提升准确性,而延长的链式思维反而降低性能,提出Function-Routing CoT方法提升可靠性。
2026-04-02 cs.CL
Seer Self-Consistency: Advance Budget Estimation for Adaptive Test-Time Scaling
Research Center for Social Computing and Interactive Robotics, Harbin Institute of Technology, China(社会计算与交互机器人研究中心,哈尔滨工业大学)
SeerSC通过整合系统1和系统2推理,提升自适应测试时缩放的令牌效率和延迟,实现47%的令牌消耗减少和43%的推理延迟降低。
2026-01-21 cs.CL
Emergent Structure in the Marginal Attention Space of Language Models
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本研究通过将注意力权重映射到边际注意力空间,发现按token缩减时产生跨模型稳健的文本内在信号,按头缩减时形成模型私有签名,并据此提出一种无需训练的KV缓存逐出预算分配方法,性能与重计算或训练预算的方法相当。
2026-10-05 cs.CL
InfoMerge: Information-aware Token Compression for Efficient Video Large Language Models
State Key Laboratory of Novel Software Technology(新型软件技术国家重点实验室)
提出InfoMerge,一种无需训练的视觉令牌压缩方法,通过鲁棒冗余估计和内容感知预算分配,在减少85%视觉令牌的同时保持98.8%性能,实现4.24倍预填充加速。
2026-06-01 cs.CL cs.CV
Steering LLM Thinking with Budget Guidance
UMass Amherst(马萨诸塞大学阿默斯特分校);Zhejiang University(浙江大学);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
针对大语言模型深度思考推理成本高、性能提升不成比例的问题,提出无需微调的预算引导方法,通过轻量级预测器建模剩余思考长度的Gamma分布,以token级软引导控制推理预算,在数学基准上显著提升token效率并可推广至多任务。
2025-06-16 cs.AI cs.CL
Certainty-Guided Reasoning in Large Language Models: A Dynamic Thinking Budget Approach
Nokia Bell Labs, France(诺基亚贝尔实验室,法国)
CGR通过动态调整推理预算,在保持准确性的同时减少token使用,通过确定性评估实现高效的推理过程。
2026-02-09 cs.AI cs.CL
Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models
University of Maryland(马里兰大学);SAP Labs, LLC(思爱普实验室有限责任公司)
研究思维链模型的双峰收敛模式,通过在特定令牌位置的隐藏状态激活上训练线性探针,发现收敛命运可在生成结束前于中间表征中部分编码,为早期退出推理和自适应计算分配开辟道路。
2026-07-24 cs.AI cs.CL cs.LG
SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning
State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机学院,北京大学);BandAI, Bytedance(字节跳动BandAI)
本文提出SelfBudgeter策略,通过自适应预算分配提升LLM推理效率,实验显示在数学推理任务中平均响应长度压缩61%并保持准确性。
2026-04-17 cs.AI cs.CL
Dual-Track CoT: Budget-Aware Stepwise Guidance for Small LMs
本文提出双轨CoT方法,旨在通过预算感知的逐步引导提升小语言模型的多步推理能力,解决传统方法在计算和token预算限制下的性能瓶颈。
2026-04-27 cs.AI cs.CL
Optimizing Anytime Reasoning via Budget Relative Policy Optimization
Sea AI Lab(Sea AI实验室);National University of Singapore(新加坡国立大学)
本文提出AnytimeReasoner框架,通过截断思考过程并引入密集可验证奖励,结合预算相对策略优化(BRPO)技术,在可变token预算下提升大语言模型推理的训练与token效率,并在数学推理任务中优于GRPO。
2026-11-02 cs.AI cs.CL cs.LG
Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets
Stanford University(斯坦福大学)
在相等的思考令牌预算下,单代理系统在多跳推理任务中表现优于多代理系统,研究通过信息论论证指出单代理系统在信息效率上更具优势,并揭示了多代理系统在计算和上下文利用下降时的竞争性。
2026-04-11 cs.CL cs.MA
When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Bespoke Labs(定制实验室)
本文提出每令牌Elo分析方法,通过追踪不同令牌预算下的最佳解决方案,衡量LLM智能体的测试时策略,发现智能体边际收益递减,并利用扩展拐点分配计算资源,在并行会话中显著提升性能。
2026-09-15 cs.CL
Small LLMs: Pruning vs. Training from Scratch
Princeton University(普林斯顿大学);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过六种剪枝方法在Llama-3.1-8B上比较剪枝与从头训练,发现有限预算下剪枝更优,预算充足时粗粒度剪枝可被超越。
2026-06-23 cs.CL cs.LG
LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction
University of Science and Technology of China(中国科学技术大学);State Key Lab of Processors, Institute of Computing Technology, CAS, Beijing, China(中国科学院计算技术研究所过程器重点实验室,北京,中国);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出LKV,通过端到端可微优化问题实现KV缓存压缩,学习任务优化全局预算和内在KV重要性,提升长上下文推理性能。
2026-04-22 cs.CL cs.LG
LoGo: Token-Level Dynamic Local-Global Attention
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对Transformer长上下文注意力的计算瓶颈,提出令牌级动态局部-全局注意力LoGo,通过学习门控动态分配注意力范围,提升长距离检索性能并实现计算加速。
2026-09-01 cs.CL cs.LG
Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction
提出LT-OPD框架,通过在线策略自蒸馏和预算课程,在极端视觉令牌缩减下恢复MLLM性能,平均保留性能从68.6%提升至82.3%,并显著降低KV缓存和预填充计算量。
2026-10-02 cs.CL cs.CV cs.LG
Compute Where it Counts: Self Optimizing Language Models
Cornell University(康奈尔大学)
本文提出自优化语言模型(SOL),通过轻量策略网络动态分配计算预算,提升解码效率与生成质量,在不同模型和计算条件下优于静态分配和随机搜索。
2026-05-11 cs.CL cs.LG
Sub-Token Routing for KV Cache Compression
Futurewei Technologies(未来智科)
提出子令牌路由方法,在保留令牌内对值向量分组并选择性保留,与令牌级压缩互补,在LLM和VLM中提升压缩性能。
2026-06-15 cs.CL cs.LG
How Far Are We from Optimal Reasoning Efficiency?
IIIS, Tsinghua University(清华大学信息学院);Ant Research, RL Lab(蚂蚁研究院强化学习实验室)
本文提出推理效率前沿与推理效率差距(REG)指标,并设计REO-RL强化学习算法,在数学基准上显著降低REG,同时保持准确性,逼近最优推理效率。
2025-09-10 cs.AI cs.CL
Scaling Native Multimodal Pre-Training From Scratch
The Chinese University of Hong Kong(香港中文大学);LLM Department, Tencent(腾讯大语言模型部)
研究在固定计算预算下训练基于Transformer的视觉语言模型的最优模型大小和token数量,发现语言和多模态目标扩展行为不同,推导效率前沿,还表明原生多模态预训练能促进跨模态转移,为扩展多模态基础模型奠定基础。
2026-10-09 cs.CL cs.CV
SqueezeAttention: 2D Management of KV-Cache in LLM Inference via Layer-wise Optimal Budget
School of Computer Science, Peking University(北京大学计算机学院);Geoming AI(格明人工智能)
针对现有KV缓存压缩算法对所有层分配相同预算的次优问题,本研究提出SqueezeAttention,从序列和层两个维度联合优化KV缓存,实现显著的内存减少与吞吐量提升。
2024-10-10 cs.CL cs.LG
Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation
Federal University of Santa Catarina (UFSC)(圣卡塔琳娜联邦大学(UFSC))
该研究通过调整 token 生成预算评估 4 个大语言模型在 3 个推理基准的表现,发现模型排名随预算变化反转,提出需采用预算条件化的评估协议。
2026-08-13 cs.AI cs.CL
CoTFormer: A Chain-of-Thought Driven Architecture with Budget-Adaptive Computation Cost at Inference
EPFL(洛桑联邦理工学院)
本研究提出CoTFormer架构,在token层面模拟思维链以提升模型精度,同时结合逐token可变深度的计算自适应机制,实现精度不降前提下的推理计算成本显著降低。
2024-08-14 cs.CL cs.LG
BudgetMem: Training-Free Selective Memory for Cost-Efficient Long-Context Processing in Language Models
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
BudgetMem通过学习选择性记忆策略,在语言模型中实现低成本长上下文处理,相比基线RAG节省72.4%内存且F1分数仅下降1.0%。
2026-09-22 cs.AI cs.CL
KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction
ByteDance Inc.(字节跳动公司)
KVReviver通过基于草图算法的可逆方法,在有限内存下实现高效KV缓存压缩,保持推理准确性。
2025-12-01 cs.AI cs.CL
RCWT: Measuring Task-Budget Displacement from Coordination Content in LLM Calls
CloudWalk, Inc.(云从科技集团股份有限公司)
研究多智能体和内存增强大语言模型中协调内容占用任务预算的问题,提出RCWT测量协议,通过改变协调内容等控制变量进行实验,发现模型表现受影响,该测试是上下文分配预算测量原语,但非多智能体收益等完整理论。
2026-07-15 cs.AI cs.CL cs.MA
Budget-Aware Routing for Long Clinical Text
MIT, Cambridge, MA(麻省理工学院,马萨诸塞州剑桥);Cornell University, Ithaca, NY(康奈尔大学,纽约州伊萨克中心);Weill Cornell Medicine, New York, NY(韦尔医学院,纽约市)
本文研究了在预算限制下选择临床文本上下文的方法,提出RCD目标平衡相关性、覆盖性和多样性,并通过实验展示不同单位化策略和路由启发式方法的效果差异。
2026-05-01 cs.AI cs.CL
Zero Token-Driven Deep Thinking in LLMs: Unlocking the Full Potential of Existing Parameters via Cyclic Refinement
Tsinghua University(清华大学);Southern University of Science and Technology(南方科技大学);Sun Yat-sen University(中山大学)
针对资源限制下LLM参数量不足的问题,提出零标记Transformer(ZTT),通过头尾解耦的参数循环与零标记机制优化中间层计算并实现动态提前退出,在有限参数预算下提升性能、降低开销且增强适应性。
2025-02-17 cs.AI cs.CL
Alloc-MoE: Budget-Aware Expert Activation Allocation for Efficient Mixture-of-Experts Inference
National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology(国防科技大学并行与分布计算国家重点实验室,计算机科学与技术学院)
本文提出Alloc-MoE框架,通过层和token层面协调优化激活预算分配,减少推理延迟并保持性能,实验显示在DeepSeek-V2-Lite上实现1.15倍的预填和1.34倍的解码加速。
2026-04-09 cs.AI cs.CL cs.LG
RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory
提出RCR-Router框架,通过角色感知动态选择记忆子集并遵循token预算,在多跳QA基准上降低30%token消耗并保持答案质量。
2026-11-03 cs.AI cs.CL cs.MA
Are Online Skill and Memory Modules Always Worth Their Tokens? A Budget-Constrained Study of Web Agents
ServiceNow AI Research(ServiceNow AI 研究院);ÉTS Montreal(蒙特利尔高等技术学院);University of British Columbia(不列颠哥伦比亚大学);McGill University(麦吉尔大学)
在固定推理预算下,对比三种在线增强模块与令牌匹配的基线,发现基线在总成功率上匹配或超越所有增强方法,且常使用更少令牌。
2026-09-01 cs.CL
Exploring Efficiency Frontiers of Thinking Budget in Medical Reasoning: Scaling Laws between Computational Resources and Reasoning Quality
本研究通过评估医疗推理任务中的思维预算机制,揭示了计算资源与推理质量的缩放规律,并提出了不同效率阶段的优化策略。
2025-12-24 cs.CL
AdaGReS:Adaptive Greedy Context Selection via Redundancy-Aware Scoring for Token-Budgeted RAG
Central South University(中南大学);Yizhi Intelligent (YZInt)(义智智能(YZInt))
AdaGReS通过冗余感知评分和贪心选择优化,提升RAG在令牌预算下的上下文质量与生成效果。
2025-12-31 cs.AI cs.CL cs.IR
Cost-Aware Diffusion Draft Trees for Speculative Decoding
Zhejiang University(浙江大学);Westlake University(西湖大学)
提出CaDDTree方法,通过联合优化树结构和节点预算直接最大化令牌吞吐量,并证明在凸验证成本下吞吐量函数是单峰的,从而无需离线预算搜索。
2026-06-01 cs.CL
ResKV: Reconstructing Omitted Attention Contributions for Fixed-Budget KV Cache Compression
ResKV将固定KV预算分为主缓存和残差缓存,通过残差条目恢复注意力分子与分母质量,在LongBench等数据集上同预算下性能优于基线,兼顾压缩解码效率
2026-08-03 cs.CL
Word Salad Chopper: Reasoning Models Waste A Ton Of Decoding Budget On Useless Repetitions, Self-Knowingly
University of Minnesota(明尼苏达大学);Rice University(里士满大学);Stevens Institute of Technology(史蒂文斯理工学院);Lambda, Inc(Lambda公司)
本文发现大型推理模型(LRM)会自我意识到地陷入无用的“word salad”重复循环,并提出轻量级组件 WordSaladChopper,通过单层线性分类器检测并截断冗余 token,在最小质量损失下大幅节省解码预算。
2025-11-01 cs.CL
Universal Byte-Level Encoding: UTF-8/UTF-16 Routing to Reduce Cross-Script Token-Budget Disparities
Samsung Research(三星研究院)
提出通用字节级编码(UBE),通过UTF-8/UTF-16路由降低多语言令牌预算差异,保持解码精确,匹配语言模型质量并提升上下文效率。
2026-11-10 cs.CL cs.LG
Context Compression Is Not One Thing: Readable Symbolic Re-expression vs. Coherent Summary at Matched Budget
Independent Researcher(独立研究员);Palo Alto Networks
提出Telegraph English可读符号格式,将检索段落重写为结构化实体关系陈述,在匹配预算下比三种压缩基线及连贯摘要更有效,F1提升13-20个百分点。
2026-06-16 cs.CL
Mid-Think: Training-Free Intermediate-Budget Reasoning via Token-Level Triggers
Case Western Reserve University(凯斯西储大学)
本文通过分析注意力机制和提示实验,发现推理行为主要由少量触发词元控制,并据此提出Mid-Think方法,通过组合触发词元实现中间预算推理,在准确率-长度权衡上优于基线,并能在强化学习训练中减少时间并提升性能。
2026-06-02 cs.AI cs.CL cs.LG
Comparison Study Between Token Classification and Sequence Classification In Text Classification
无监督机器学习技术已被应用于自然语言处理任务,并取得了巨大的成功,超过了基准,如GLUE。建立语言模型的方法在一种语言中取得了很好的效果,它可以作为一个开箱即用的模型应用于多个自然语言处理任务,如分类,摘要,生成等。在自然语言处理的所有经典方法中,掩蔽语言建模是使用最多的。通常,构建语言模型的唯一要求是存在大量文本数据语料库。文本分类引擎使用各种模型,从经典的和最先进的Transformer模型来分类文本,以节省成本。序列分类器主要用于文本分类领域。然而,令牌分类器也是可行的候选模型。序列分类器和标记分类器都倾向于改善分类预测,因为它们捕获的上下文信息不同。这项工作旨在比较序列分类器和令牌分类器的性能,并在同一组数据上评估每个模型。在这项工作中,我们使用预训练模型作为基础模型,并将令牌分类器和序列分类器的结果与这两种评分模式进行比较。
2022-11-25 cs.CL
Scaling Reasoning Tokens via RL and Parallel Thinking: Evidence From Competitive Programming
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
本文通过强化学习和并行思维方法扩展竞赛编程中的推理令牌预算,展示了多轮并行思维流程在分配令牌预算方面的有效性,实验表明其在复杂编程问题上的优越性。
2026-04-01 cs.CL
GRAFT: Adaptive DLM-Based Draft Tree Construction with Target-Distilled Edge Scoring
GRAFT 是用于基于 DLM 的推测解码的草稿树构建框架,通过 TDES 和 SABA 解决现有方法的父子兼容性与预算适配问题,实现了 2.13 倍至 6.36 倍的端到端加速,每轮开销不足 0.5 毫秒。
2026-08-24 cs.CL
CARVE: Cross-Slice Anisotropic Reallocation of Visual Evidence for Efficient 3D Medical Volume Understanding
针对3D医学体积理解中切片式MLLM的视觉令牌冗余问题,提出无需训练的CARVE框架,通过跨切片各向异性重分配压缩80%令牌,在AMOS-MM等基准上性能优于现有方法。
2026-08-06 cs.AI cs.CL cs.CV
Training a Tokenizer for Free with Private Federated Learning
Cornell Tech(康奈尔科技校区);Apple(苹果公司)
具有差分隐私的联邦学习,即私有联邦学习(PFL),使得可以在分布在用户设备上的私有数据上训练模型而不损害隐私。PFL对于诸如神经网络之类的模型是有效的,这些模型具有固定数量的参数,因此具有固定维度的梯度向量。这样的模型包括神经网络语言模型,但不包括本文的主题--标记器。训练分词器需要来自无限词汇表的单词的频率,并且用于查找无限词汇表的现有方法需要单独的隐私预算。一种解决方法是根据公开可用的数据对标记器进行训练。然而,在本文中,我们首先表明,与访问用户数据的违反隐私的“oracle”令牌化器相比,在不匹配的数据上训练的令牌化器会导致更差的模型性能,困惑度增加了20%。我们还表明,子词tokenizers更适合联邦上下文比字级的,因为他们可以编码新的单词,虽然每个单词有更多的令牌。其次,我们提出了一种新的方法来获得一个标记器,而不使用任何额外的隐私预算。在语言模型的私有联邦学习过程中,我们从模型中采样,在采样序列上训练新的标记器,并更新模型嵌入。然后,我们继续进行私有联邦学习,并获得“oracle”标记器的1%以内的性能。由于此过程仅间接地在私有数据上训练令牌化器,因此我们可以使用差分隐私的“后处理保证”,从而不使用额外的隐私预算。
2022-03-15 cs.CL cs.CR cs.LG
Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap
该研究发现多语言推理差距受输出token预算机制影响,通过固定Qwen模型的预算峰值等实验,提出应将输出上限作为独立变量,报告不同预算机制下的准确率。
2026-08-06 cs.CL cs.LG
Think Again or Think Longer? Selective Verification for Budget-Aware Reasoning
Department of Computer Science, Virginia Tech(弗吉尼亚理工大学计算机科学系);Fralin Biomedical Research Institute, Virginia Tech(弗吉尼亚理工大学弗拉林生物医学研究所);FBRI Cancer Research Center(FBRI癌症研究中心)
提出选择性验证框架SEVRA,通过服务层控制器决定是否对冻结求解器的初始答案进行验证,在Math500上以更少token达到更高准确率,并减少有害翻转。
2026-06-19 cs.AI cs.CL
Budgeted Cache Repair for Cross-Context KV-Cache Reuse
Duksung Women’s University(德成女子大学);KAIST(韩国科学技术院)
针对跨上下文KV缓存复用导致准确率下降的问题,提出预算化缓存修复(BCR),通过草稿token注意力排序并重算固定预算的缓存行,在保持缓存服务的同时恢复密集预填充准确率。
2026-10-09 cs.AR cs.CL cs.LG
Detecting Label Errors in Token Classification Data
Cleanlab;MIT(麻省理工学院)
错误标记的示例是真实世界数据中的常见问题,特别是对于像令牌分类这样的任务,其中必须在细粒度的基础上选择许多标签。在这里,我们考虑在标记分类数据集中找到包含标签错误的句子的任务。我们研究了11种不同的直接方法,这些方法基于(任何)令牌分类模型(通过任何程序训练)输出的预测类概率对令牌/句子进行评分。在精确召回评估的基础上,在现实世界中的标签错误的实体识别数据从CoNLL-2003,我们确定了一个简单而有效的方法,一贯检测这些句子时,应用不同的标记分类模型包含标签错误。
2022-10-08 cs.CL cs.LG
SD-E$^2$: Semantic Exploration for Reasoning Under Token Budgets
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
SD-E$^2$通过语义多样性奖励提升小型语言模型在受限令牌预算下的推理能力,实现对复杂问题的高效探索与利用。
2026-01-25 cs.AI cs.CL
DART: Draft-Agreement Routing for Training-Free Adaptive Thinking Budgets in Hybrid Reasoning Models
Korea University(高丽大学);dot(42dot);Konkuk University(建国大学);Yonsei University(延世大学);Soongsil University(崇实大学);Kumoh National Institute of Technology(金乌国立技术学院)
提出免训练路由框架DART,通过采样两个廉价无思考草案,当草案一致时直接回答,不一致时根据草案熵预测思考预算,在保持或提升准确率的同时大幅减少思考令牌使用。
2026-10-06 cs.AI cs.CL