Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models
Indian Institute of Technology (BHU)（印度理工学院（博生胡大学））；Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系）
提出选择性优势熵自适应视野GRPO（SA-AH-GRPO），通过非对称令牌级折扣（仅对负优势轨迹应用熵基折扣）来稳定训练并提升数学推理性能。
2026-06-03 cs.AI cs.LG
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University（斯坦福大学）；Mila - University of Montreal（米拉研究所 - 蒙特利尔大学）
使用重要性采样（IS）的非策略策略估计器可能会在长时间域中遭受高方差，并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是，我们发现在有限时域MDP中，每决策重要性采样或平稳重要性采样与普通重要性采样相比，没有严格的方差减少。然后，我们提供了充分的条件下，每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近（在地平线$T$）的情况下，我们开发的上限和下限的方差的估计产生的充分条件下，存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解，如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Near-Optimal Offline Reinforcement Learning via Double Variance Reduction
UC Santa Barbara（加州大学圣巴巴拉分校）；Salesforce Research（Salesforce研究院）
我们考虑离线强化学习（RL）的问题-一个动机良好的RL设置，旨在仅使用历史数据进行策略优化。尽管其广泛的适用性，离线RL的理论理解，如其最佳的样本复杂性，仍然在很大程度上开放，即使在基本的设置，如\emph{tabular}马尔可夫决策过程（MDP）。在本文中，我们提出了Off-Policy双方差减少（OPDVR），一个新的基于方差减少的离线RL算法。我们的主要结果表明，OPDVR可证明确定一个$ε$ -最优的政策与$\widetilde{O}(H^2/d_mε^2)$事件的离线数据在有限的地平线平稳过渡设置，其中$H$是地平线的长度和$d_m$是最小的边际状态-动作分布的行为政策。这比已知的上限提高了$H$倍。此外，我们建立了$Ω(H^2/d_mε^2)$的信息论下界，证明了OPDVR是最佳的对数因子。最后，我们表明，OPDVR也实现了速率最优的样本复杂度下的替代设置，如有限地平线MDP与非平稳过渡和无限地平线MDP折扣奖励。
2021-02-02 cs.AI cs.LG stat.ML
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Mean-Variance Optimization in Markov Decision Processes
Technion（以色列理工学院）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑有限时域马尔可夫决策过程下的性能指标，涉及的平均值和方差的累积奖励。我们发现，无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的，而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training
研究长期语言智能体训练中现有强化学习方法面临的挑战，提出事后诸葛亮策略优化方法，通过投影到意图空间提取低方差学习信号，聚合相似状态和行动，理论和实证证明可稳定提升策略性能。
2026-07-21 cs.AI cs.CL cs.LG
Context Recycling for Long-Horizon LLM Inference
Independent Researcher（独立研究员）
提出ContextForge系统，通过结构化查询生成、外部记忆检索和受控合成实现上下文回收，在15轮对话基准中减少令牌消耗并保持回答质量。
2026-06-26 cs.AI cs.CL cs.LG
The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Huawei Foundation Model Department（华为基础模型部门）
本文揭示了大语言模型中注意力陷阱现象的结构成因，通过分析自注意力机制中的方差差异和前馈网络中超级神经元的激活，证明了维度不均等导致注意力陷阱的形成，并提出head-wise RMSNorm架构改进以稳定值聚合。
2026-05-07 cs.AI cs.LG stat.ML
Predictive Auditing of Hidden Tokens in LLM APIs via Reasoning Length Estimation
University of Maryland, College Park（马里兰大学学院公园分校）
针对LLM API隐藏推理令牌导致过度收费问题，提出用户端框架PALACE，通过GRPO增强适应模块估计隐藏令牌数，在多个基准上实现低误差审计与膨胀检测。
2025-07-29 cs.AI cs.CR cs.LG
An Investigation of the Bias-Variance Tradeoff in Meta-Gradients
University of Oxford（牛津大学）；DeepMind（深度思维）
元梯度为优化强化学习（RL）算法的元参数提供了一种通用方法。元梯度的估计对于这些元算法的性能至关重要，并且已经在MAML风格的短期元RL问题的设置中进行了研究。在这种情况下，先前的工作已经研究了RL目标的Hessian的估计，以及通过进行采样校正来解决信用分配到预适应行为的问题。然而，我们表明，海森估计，例如由DiCE及其变体实现，总是增加偏差，也可以增加方差的元梯度估计。同时，元梯度估计在重要的长视野设置中研究较少，其中通过完整的内部优化轨迹的反向传播是不可行的。我们研究了截断反向传播和采样校正所产生的偏差和方差权衡，并与演化策略进行了比较，这是最近流行的长期元学习的替代策略。虽然以前的工作隐含地选择点在这个偏差方差空间，我们解开的偏差和方差的来源，并提出了一个实证研究，现有的估计相互关联。
2022-09-22 cs.LG
Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking
Adobe Inc（Adobe公司）
研究提示包装器格式差异对模型分数的影响，引入格式敏感性指数（FSI）和可解析性敏感性指数（PSI），通过大量实验发现平均FSI在不同模型间变化超30倍，且可解析性是准确性有力预测指标，指出不考虑包装器差异和合规性报告准确性不可靠并给出建议。
2026-07-14 cs.AI cs.CL cs.LG
Adaptive Horizon Actor-Critic for Policy Learning in Contact-Rich Differentiable Simulation
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）；Nvidia（英伟达）；University of Toronto（多伦多大学）
本文提出自适应时域Actor-Critic（AHAC）算法，通过调整基于模型的时域以避免刚性动力学，减少了一阶基于模型强化学习中的梯度误差，在运动任务中奖励提升40%且高效扩展至高维控制环境。
2024-06-03 cs.AI cs.LG
Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation
School of Vehicle and Mobility & College of AI, Tsinghua University（清华大学车辆与运载学院与人工智能学院）；Didi Voyager Labs, DiDi Autonomous Driving（滴滴自动驾驶沃芽实验室）
针对在线策略蒸馏中目标保真度与稳定性权衡，提出γOPD方法，通过折扣时间信用分配和奖励兼容有界混合机制，在数学与代码推理任务上超越现有方法。
2026-09-22 cs.AI cs.LG cs.PL
Selective Critique for Cost-Aware LLM Agents in Long-Horizon Decision Making
Sungkyunkwan University（成均馆大学）；Soongsil University（崇实大学）
提出SAG框架，通过门控机制选择性调用批判，利用动作级模糊信号近似信息价值，在长时程决策中平衡性能与成本，显著提升任务成功率并降低推理开销。
2026-10-07 cs.AI cs.LG
You Can Learn Tokenization End-to-End with Reinforcement Learning
University of Waterloo（滑铁卢大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出使用强化学习中的得分函数估计来学习离散分词边界，通过时间折扣等技巧降低方差，在1亿参数规模上优于先前的直通估计方法。
2026-09-15 cs.AI cs.LG
VESPO: Variational Sequence-Level Soft Policy Optimization for Stable Off-Policy LLM Training
Xiaohongshu Inc（小红书公司）
本文提出VESPO，通过变分方法减少反政策更新中的方差，提升大语言模型在严重反政策条件下的稳定性，实验显示其在数学推理和代码生成任务中优于现有基线方法。
2026-05-08 cs.AI cs.LG
Horizon-Free and Variance-Dependent Reinforcement Learning for Latent Markov Decision Processes
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
研究事后上下文LMDP的强化学习遗憾最小化问题，提出基于模型的乐观算法框架，首次实现近乎无视界且依赖问题的遗憾上界，并通过对称化技术构造下界证明其最优性。
2023-05-21 cs.LG
Heavy-Tailed Memory Traces in Long-Horizon Language Agents
Emory University（埃默里大学）；The University of Tokyo（东京大学）；LocationMind
本研究提出核心-尾部世界模型（CTWM），通过秩基记忆控制器分配提示预算，在保持覆盖的同时减少令牌消耗并降低尾部预测误差，证明重尾记忆痕迹可作为高效智能体世界模型的控制信号。
2026-10-30 cs.AI
A Variance-Reduced Cubic-Regularized Newton for Policy Optimization
School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学）
本文提出VR-CR-PN算法，首次将Hessian辅助的方差缩减与二阶策略优化结合，无需重要性采样即解决分布偏移问题，将样本复杂度降至 $\tilde{\mathcal{O}}(ε^{-3})$，并实现与步长无关的样本复杂度。
2025-07-14 cs.AI cs.LG
TokenMizer: Graph-Structured Session Memory for Long-Horizon LLM Context Management
Independent Researcher（独立研究者）
提出TokenMizer，一种将LLM会话历史建模为类型化知识图的开源代理系统，通过混合提取、三级检查点和8层压缩流水线，在显著减少token开销的同时保留结构化决策信息。
2026-07-07 cs.AI
Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，中科院自动化所）；School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院）；Fudan University（复旦大学）；Independent Researcher（独立研究者）
本文研究了在线策略蒸馏的失败模式，提出改进方法提升训练稳定性，实验显示改进方法在多个任务中提升性能19.8%。
2026-04-27 cs.AI cs.CL cs.LG
T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks
Tencent Hy Foundation Model Frontier（腾讯Hy基础模型前沿）；National University of Singapore（新加坡国立大学）；University of Georgia（佐治亚大学）；Indiana University（印第安纳大学）；University of Maryland, College Park（马里兰大学帕克分校）
T1通过强化学习训练122B混合专家模型，在云沙箱中操作shell执行长时程终端任务，采用TITO和R3稳定优化，在Terminal-Bench 2.1上解决率达64.0%，超越GPT-5.4和GLM-5.1。
2026-09-11 cs.AI cs.LG
FoldAct: Efficient and Stable Context Folding for Long-Horizon Search Agents
Hong Kong University of Science and Technology（香港科学与技术大学）；Duke Kunshan University（杜克大学昆山学院）；Microsoft AI（微软人工智能）
FoldAct通过分离损失计算、全上下文一致性损失和选择性段训练，解决长时间 horizon 搜索代理中上下文折叠的非平稳观察问题，提升训练效率。
2025-12-28 cs.AI cs.LG
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
Northwestern University（西北大学）
针对带可验证奖励的强化学习中回合预算浪费问题，提出VSR方法，通过方差最优状态重采样改进GRPO，在数学推理及Sokoban、BabyAI等任务上性能优于GRPO、GiGPO且生成token更少。
2026-10-14 cs.AI cs.LG
Stateless Language Agents: Scaling Long-Horizon Automated Research
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；SambaNova Systems, Inc.（SambaNova系统公司）；UC Berkeley（加州大学伯克利分校）
针对长时程自动化研究中智能体状态累积导致的低效问题，提出无状态语言智能体框架，通过有状态搜索与无状态智能体分离，在十亿令牌预算下以更少资源超越现有方法。
2026-10-07 cs.AI cs.CL cs.LG
The Variance of Thought: Policy Variance, Critical Forks, and Local Credit Assignment
该研究针对长 horizon 语言模型任务的信用分配问题，分析策略方差，得出其作为发现预算、受基尼离散度约束及剩余 horizon 决定估计成本等结论，提出自举法消除成本的思路，支持对数值参数化。
2026-08-25 cs.LG
TReVS: Integrating Textual Relevance and Visual Saliency for Efficient Vision-Language Model Token Pruning
Nanjing University（南京大学）；Geely Automobile Research Institute (Ningbo) Co., Ltd.（吉利汽车研究院（宁波）有限公司）；Goertek（歌尔股份有限公司）
TReVS提出无需训练的视觉令牌剪枝框架，融合文本相关性与视觉显著性，利用高方差注意力头，在LLaVA-1.5-7B上剪枝94.4%视觉令牌并保留92.8%性能。
2026-09-30 cs.AI cs.CV
Learning Uncertainty from Sequential Internal Dispersion in Large Language Models
Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）；Centre for AI Research, VinUniversity（Vin大学人工智能研究中心）
本文提出SIVR框架，通过利用隐藏状态中的token和层级特征，以更基本的假设来估计不确定性，从而提高hallucination检测的准确性和泛化能力。
2026-04-17 cs.AI cs.CL
Maximize Your Data's Potential: Enhancing LLM Accuracy with Two-Phase Pretraining
NVIDIA（英伟达）；Stanford University（斯坦福大学）；Boston University（波士顿大学）
研究提出两阶段预训练方法，通过策略性数据选择与混合提升LLM准确率，在1T tokens规模设计混合方案并有效扩展至15T tokens和25B模型，平均准确率比随机排序和自然分布分别提升3.4%和17%。
2024-12-18 cs.AI cs.CL cs.LG
Reasoning Cache: Continual Improvement Over Long Horizons via Short-Horizon RL
Carnegie Mellon University（卡内基梅隆大学）
本文提出RC算法，通过利用LLM的响应生成与总结能力差异，实现长周期的持续改进，实验显示其在HMMT 2025任务中性能显著提升。
2026-03-22 cs.LG
Model-based RL as a Minimalist Approach to Horizon-Free and Second-Order Bounds
The Chinese University of Hong Kong（香港中文大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Cornell University（康奈尔大学）
本研究证明，配备乐观/悲观规划的MLE基础版基于模型RL框架，可在时齐、奖励归一化条件下实现近乎无视界的二阶遗憾与样本复杂度界，算法简洁且易适配非线性函数近似。
2024-10-29 cs.LG
Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents
Amazon Web Services（亚马逊云服务）
针对长程工具使用强化学习中轨迹级优势信号稀疏的问题，提出兄弟引导信用蒸馏（SGCD），通过动态采样成功与失败轨迹、外部LLM对比生成逐步信用参考，实现密集信用分配，在AppWorld和τ³-airline任务上显著提升性能。
2026-07-15 cs.AI cs.CL cs.LG
Risk-Averse Multi-Armed Bandit Problems under Mean-Variance Measure
Cornell University（康奈尔大学）
主要研究了在长度为$T$的水平上期望总报酬测度下的多臂强盗问题。在本文中，我们解决的问题，多臂土匪问题的风险，并开发下的均值方差，在经济学和金融数学中常用的风险措施的措施平行的结果。我们证明了模型特定的后悔和模型独立的后悔的平均方差的奖励过程是下界$Ω(\log T)$和$Ω(T^{2/3})$，分别。然后，我们表明，变化的UCB政策和DSEE政策的经典风险中性MAB实现这些下限。
2017-08-14 cs.LG
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Optimal Variance-Dependent Regret Bounds for Infinite-Horizon MDPs
本文提出一种适用于无限时间 horizon MDPs 的 UCB 类算法，解决了平均奖励 regret 和 γ-regret 的最优方差依赖 regret 界限问题，并揭示了有无先验知识时的性能差异。
2026-03-25 cs.IT cs.LG math.IT
S3Mem: Structured Spatiotemporal Scene-Event Memory for Long-Horizon Interactive Question Answering
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong（香港中文大学）；Fudan University（复旦大学）；The University of Sydney（悉尼大学）；Beihang University（北航）
提出S3MEM框架，通过结构化场景-事件记忆和锚点敏感检索，在长时域交互式问答中实现比通用记忆接口更优的准确率-效率平衡。
2026-06-08 cs.AI cs.CL
Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models
anoncvlab（匿名计算机视觉实验室）
本文提出SVD-Prune方法，通过SVD分解视觉令牌特征矩阵并利用统计杠杆分数选择顶级令牌，以在极端视觉令牌预算下保持高性能，优于现有修剪方法。
2026-07-10 cs.AI cs.CV
Self-GC: Self-Governing Context for Long-Horizon LLM Agents
提出Self-GC框架，通过将工具结果、文件等上下文对象索引化，并利用侧信道规划器进行折叠、掩码和剪枝操作，实现长周期智能体的上下文生命周期管理，显著减少前缀令牌且不影响未来延续。
2026-07-02 cs.AI
Episodic-Semantic Memory Architecture for Long-Horizon Scientific Agents
Serbian Institute for Artificial Intelligence Research and Development（塞尔维亚人工智能研究与发展研究所）；Bayer A.G.（勃林格殷曼有限公司）
本文提出了一种双过程记忆架构，用于解决科学代理在长周期任务中面临的情境窗口饱和问题，通过分离即时事件需求和长期知识整合，提升了在大规模科学工作流中的表现和可扩展性。
2026-05-17 cs.AI
Allocation Stability and Wald Inference under Variance-Aware UCB
University of Southern California（南加州大学）；New York University（纽约大学）
本文刻画方差感知 UCB-V 的拉杆率渐近与高概率非渐近界，揭示其可能不稳定性，并据此推导出更精细的遗憾界。
2026-10-08 cs.LG math.ST stat.ML
Compatibility-Aware Dynamic Fine-Tuning for Large Language Models
SKL-IOTSC, CIS, University of Macau（澳门大学科技学院电脑与信息科学系及智慧城市物联网国家重点实验室）；Auckland University of Technology（奥克兰理工大学）
提出兼容性感知动态微调（CADFT），通过模型似然度动态调整监督更新，抑制不兼容样本的高方差梯度，提升训练稳定性和泛化能力。
2026-06-11 cs.CL cs.LG
Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
最近，几项研究（Zhou et al.，2021 a; Zhang等人，2021 b; Kim等人，二零二一年; Zhou和Gu，2022）为线性上下文强盗提供了方差依赖的后悔界限，它内插了最坏情况下的后悔和确定性奖励制度。然而，这些算法要么是计算上棘手的或无法处理未知的噪声方差。在本文中，我们提出了一种新的解决方案，提出了第一个计算效率高的算法，线性土匪异方差噪声。我们的算法是自适应的噪声的未知方差，并实现了$\tilde{O}(d \sqrt{\sum_{k = 1}^K σ_k^2} + d)$遗憾，其中$σ_k^2$是噪声的方差在轮$k$，$d$是上下文的维数和$K$是轮的总数。我们的研究结果是基于自适应方差感知的置信集启用一个新的弗里德曼型浓度不等式的自归一化鞅和多层结构分层的上下文向量到不同的层与不同的统一上界的不确定性。此外，我们的方法可以扩展到线性混合马尔可夫决策过程（MDP）的强化学习。我们提出了一个方差自适应算法的线性混合MDP，它实现了一个问题相关的地平线自由遗憾界，可以优雅地减少到一个几乎恒定的遗憾确定性MDP。与现有的线性混合MDP的近极大极小最优算法不同，我们的算法不需要显式的方差估计的过渡概率或使用高阶矩估计，以达到地平线自由遗憾。我们相信，本文中开发的技术可以为一般的在线决策问题具有独立的价值。
2023-02-21 cs.LG math.OC stat.ML
On First-Order Bounds, Variance and Gap-Dependent Bounds for Adversarial Bandits
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）；DeepMind（深度思维）
我们对k-武装对抗型土匪理论做出了三个贡献。首先，我们证明了Audibert和Bubeck [2009]的INF策略的修改变体的一阶界，而不牺牲最坏情况下的最优性或修改损失估计。其次，我们对基于跟随正则化领导者的算法进行了方差分析，表明在没有自适应的情况下，遗憾的方差通常是Ω（n^2），其中n是水平。最后，我们研究了取决于臂分离程度的界限，将Cowan和Katehakis [2015]的结果从随机设置推广到对抗设置，并将Seldin和Slivkins [2014]的结果改进为log（n）/log（log（n））。
2019-07-24 cs.LG stat.ML
AdaMTP: An Adaptive Training Paradigm for Multi-Token Prediction
City University of Hong Kong（香港城市大学）；Huawei Technologies（华为技术有限公司）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；McGill University（麦吉尔大学）；Peking University（北京大学）
AdaMTP是适配序列内在可预测性的自适应MTP训练范式，通过熵算法划分语义边界抑制噪声梯度，在三类主干模型的多任务基准中均优于标准MTP，兼具性能与推理速度优势。
2026-08-04 cs.AI cs.CL
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Online Causal Kalman Filtering for Stable and Effective Policy Optimization
Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Southeast University, China（东南大学，中国）
本文提出KPO方法，通过在线因果卡尔曼滤波稳定和提升策略优化效果，有效解决token级重要性采样比率的高方差问题。
2026-03-01 cs.AI cs.CL
Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach
ThinkAnalytics
提出一种基于多次生成中词元对数概率方差的无参考幻觉检测框架，在SQuAD v2上跨三个模型验证，可有效突出输出不稳定性并适配多领域。
2025-10-16 cs.CL cs.LG
SideQuest: Model-Driven KV Cache Management for Long-Horizon Agentic Reasoning
NVIDIA
SideQuest通过利用大型推理模型自身进行KV缓存压缩，有效减少代理任务中的内存使用，同时保持较高的准确性。
2026-02-27 cs.AI cs.LG
REVO: Rollout-Efficient Off-Policy Distillation via Variance-Guided Reuse
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Brigham Young University（杨百翰大学）
REVO提出一种离策略蒸馏框架，通过重用学生轨迹并利用学生-教师对数概率比方差指导多步更新，在仅用50次轨迹迭代时达到或超过200次迭代的同策略蒸馏基线。
2026-09-30 cs.LG
Towards Long-Horizon Interpretability: Efficient and Faithful Multi-Token Attribution for Reasoning LLMs
Department of Computer Science, City University of Hong Kong, Hong Kong SAR, China（香港城市大学计算机科学系）；Harbin Institute of Technology, Harbin, China（哈尔滨工业大学）
提出FlashTrace方法，通过跨跨度聚合和递归归因机制，在长上下文推理中实现高效且忠实的多Token归因，速度提升超130倍。
2026-05-29 cs.LG
Breaking the Curse of Horizon: Infinite-Horizon Off-Policy Estimation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Brain（谷歌大脑）
本文提出了一种新的离线估计方法，通过直接在平稳状态访问分布上应用重要性采样来避免现有估计器中方差爆炸的问题，核心贡献是提出了一种估计两个平稳分布密度比的新方法，并推导了RKHS情况下的闭式解。
2018-10-29 cs.AI cs.LG cs.SY
Normal Bandits of Unknown Means and Variances: Asymptotic Optimality, Finite Horizon Regret Bounds, and a Solution to an Open Problem
Rutgers University（罗格斯大学）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）
考虑从由随机变量$X^i_k$、$ i = 1,\ldots , N,$和$k = 1, 2, \ldots$指定的有限数量的$N \geq 2$总体中顺序抽样的问题;其中$X^i_k$表示从总体$i$到其被抽样的$k^{th}$的结果。假设对于每个固定的$i$，$\{ X^i_k \}_{k \geq 1}$是i.i.d.正态随机变量，均值$μ_i$和方差$σ_i^2$未知。目的是制定政策$π$，用于决定在任何时候从哪个$N$人群中抽取样本形成$n=1,2,\ldots$，以便最大化$n$样本的预期结果总和，或者等效地最小化由于缺乏参数$μ_i$和$σ_i^2$的信息而导致的遗憾。在本文中，我们提出了一个简单的膨胀样本均值（ISM）指数政策，是渐近最优的意义下定理4如下。这解决了Burnetas和Katehakis（1996）的一个悬而未决的问题。此外，有限时域后悔界。
2015-06-03 cs.LG stat.ML
Doubly Robust Bias Reduction in Infinite Horizon Off-Policy Estimation
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
由于典型的重要性采样（IS）估计量的方差过大，无限时域离策略策略评估是一项极具挑战性的任务。最近，Liu等人（2018 a）提出了一种方法，该方法通过估计静态密度比来显着降低无限视野政策外评估的方差，但代价是由于密度比估计的误差而引入潜在的高偏差。在本文中，我们开发了一个偏差减少增强他们的方法，它可以利用一个学习的价值函数，以获得更高的精度。当密度比或价值函数估计是完美的时，我们的方法是双重鲁棒的，偏差消失。一般来说，当它们中的任何一个是准确的，偏差也可以减少。理论和实验结果表明，我们的方法产生显着的优势，比以前的方法。
2019-10-16 cs.AI cs.LG stat.ML
Orbis: Overcoming Challenges of Long-Horizon Prediction in Driving World Models
Orbis通过简单设计实现自动驾驶世界模型在长周期预测和复杂场景中的高性能，采用连续自回归模型优于离散token模型。
2025-12-11 cs.AI cs.CV cs.LG
