Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective
UIUC（伊利诺伊大学香槟分校）；University of Michigan（密歇根大学）；Amazon（亚马逊）
本文提出CTPO，通过累积token重要性采样比解决偏倚-方差困境，结合位置自适应裁剪提升稳定性，实现更一致的正则化，在数学推理基准上表现最佳。
2026-05-08 cs.AI cs.LG
Receding Horizon Inverse Reinforcement Learning
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）试图推断一个成本函数，解释专家演示的潜在目标和偏好。本文提出了滚动时域逆强化学习（RHIRL），一个新的IRL算法的高维，噪声，连续系统的黑箱动态模型。RHIRL解决了IRL的两个关键挑战：可伸缩性和健壮性。为了处理高维连续系统，RHIRL匹配诱导的最佳轨迹与专家演示本地在一个滚动的地平线的方式和“缝合”的本地解决方案一起学习的成本，从而避免了“维数灾难”。这与早期的算法形成鲜明对比，早期的算法在整个高维状态空间中与专家演示全局匹配。为了对不完美的专家论证和控制噪声具有鲁棒性，RHIRL在温和的条件下学习了一个从系统动力学中“解脱”出来的状态相关成本函数。基准任务的实验表明，RHIRL在大多数情况下优于几个领先的IRL算法。我们还证明了RHIRL的累积误差与任务持续时间线性增长。
2022-10-17 cs.AI cs.LG
$Q$-learning with Logarithmic Regret
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）
本文提出了第一个非渐近的结果表明，无模型算法可以实现对数累积遗憾的情节表强化学习，如果存在严格的正的次优间隙的最佳$Q$ -功能。我们证明了[Jin et al. 2018]中研究的乐观$Q$学习具有${\mathcal{O}}\left(\frac{SA\cdot \mathrm{poly}\left(H\right)}{Δ_{\min}}\log\left(SAT\right)\right)$累积遗憾界，其中$S$是状态数，$A$是动作数，$H$是规划范围，$T$是总步骤数，$Δ_{\min}$是最小次优间隙。该界限与$S,A,T$的信息理论下限匹配，直到$\log\left(SA\right)$因子。我们进一步扩展我们的分析贴现设置，并获得类似的对数累积遗憾界。
2021-02-23 cs.LG math.OC stat.ML
Is Long Horizon Reinforcement Learning More Difficult Than Short Horizon Reinforcement Learning?
Carnegie Mellon University（卡内基梅隆大学）；Institute for Advanced Study（高等研究院）；University of California, Los Angles（加州大学洛杉矶分校）；University of Washington, Seattle（华盛顿大学西雅图分校）；Microsoft Research（微软研究院）
学习规划长期视野是情景强化学习问题的核心挑战。一个基本的问题是理解问题的难度如何随着视野的增加而增加。在这里，样本复杂度的自然度量是一个归一化的度量：我们感兴趣的是可证明地发现一个策略所需的事件数，该策略的值是接近最优值的$\varepsilon$，其中该值由每个事件的归一化累积奖励来度量。在COLT 2018公开问题中，Jiang和Agarwal指出，对于表格式的情景强化学习问题，存在一个样本复杂度下限，该下限表现出对地平线的多项式依赖性-这一猜想与所有已知的样本复杂度上限一致。这项工作驳斥了这一猜想，证明了表格式的、情景式的强化学习是可能的，其样本复杂度仅与规划范围成比例。换句话说，当这些值被适当地归一化（位于单位区间内）时，这个结果表明长时间范围RL并不比短时间范围RL更困难，至少在极大极小意义上。我们的分析介绍了两个想法：（一）建设一个$\varepsilon$ -网络的最佳政策，其日志覆盖数的规模只有几何规划的地平线，和（ii）在线轨迹合成算法，自适应评估所有的政策在一个给定的政策类使用样本复杂性，规模与给定的政策类的日志覆盖数。两者可能是独立的利益。
2020-07-09 cs.AI cs.LG math.OC
From Cumulative Constraints to Adaptive Runtime Safety Control for Nonstationary Reinforcement Learning
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种适应性运行时安全控制机制CPSS，通过将累积安全预算转化为适应性的状态级控制约束，以应对非平稳强化学习中的安全问题，通过动态调整安全阈值来保证执行动作的安全性，同时在多个高速公路合并场景中验证了其有效性。
2026-05-13 cs.LG
Informed Posterior Sampling: More Efficient Online Learning with Few Offline Demonstrations in Average-Reward MDPs
University of Southern California（南加州大学）；DeepMind
针对无限时域下带未知能力专家生成离线数据集的在线强化学习问题，提出建模专家行为策略的方法，推导informed PSRL算法的$\tilde{O}(\tilde{T})$遗憾上界，并提出Informed RLSVI算法高效近似该算法以降低累积遗憾。
2026-11-10 cs.AI cs.LG cs.SY
Learning in Markov Decision Processes under Constraints
Indian Institute of Science（印度科学学院）；Ohio State University（俄亥俄州立大学）
我们考虑马尔可夫决策过程中的强化学习（RL），其中代理反复与受控马尔可夫过程建模的环境交互。在每个时间步$t$，它获得奖励，并且还引起由$M$成本组成的成本向量。我们设计了基于模型的RL算法，最大限度地提高了$T$时间步长的时间范围内获得的累积奖励，同时确保$M$成本支出的平均值由代理指定的阈值$c^{ub}_i,i=1,2,\ldots,M$限制。为了衡量一个强化学习算法的性能，满足平均成本约束，我们定义了一个$M+1$维后悔向量，它是由其奖励后悔，和$M$成本后悔。回报后悔度量累积回报中的次优性，而成本后悔向量的第$i$分量是其第$i$累积成本支出与预期成本支出$Tc^{ub}_i$之间的差。我们证明了UCRL-CMDP的后悔向量的期望值的上界为$\tilde{O}\left(T^{2\slash 3}\right)$，其中$T$是时间范围。我们进一步展示了如何减少$M$成本的期望子集的遗憾，以增加奖励和剩余成本的遗憾为代价。据我们所知，我们是唯一的工作，认为非情节RL平均成本约束下，并推导出算法，可以~ \emph{tune the regret vector}根据代理的要求，其成本遗憾。
2022-01-05 cs.LG math.OC stat.ML
Bayesian Algorithms for Decentralized Stochastic Bandits
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
研究了一个分散协作的多智能体多臂强盗问题，其中$K$和$N$智能体通过网络连接.在我们的模型中，每个手臂的奖励分配对于所有代理都是相同的，并且奖励在代理和时间步长上独立绘制。在每一轮中，智能体选择一只手臂进行游戏，然后向邻居发送一条消息。目标是最小化整个网络平均的累积遗憾。我们提出了一个分散的贝叶斯多臂强盗框架，扩展单代理贝叶斯强盗算法的分散设置。具体来说，我们研究了一种可以与现有贝叶斯算法相结合的信息同化算法，并在此基础上提出了分散的Thompson采样算法和分散的Bayes-UCB算法。我们分析了分散式Thompson抽样算法在Bernoulli报酬下的问题，并建立了一个依赖于问题的累积后悔上界。我们发现，遗憾引起的规模在时间范围内与常数相匹配的最佳集中代理访问整个网络的所有观测。我们的分析还描述了网络结构方面的累积遗憾。通过广泛的数值研究，我们表明，我们的扩展汤普森采样和贝叶斯UCB招致较少的累积遗憾比最先进的算法的启发上置信界算法。我们实现了我们提出的分散汤普森采样下的流言协议，并在时变网络，其中每个通信链路有一个固定的故障概率。
2020-10-28 cs.LG stat.ML
Tensor Low-rank Approximation of Finite-horizon Value Functions
King Juan Carlos University（胡安·卡洛斯国王大学）
针对有限时域MDP值函数随时间变化导致估计量增大的问题，提出基于PARAFAC分解的非参数低秩随机算法，以张量形式高效逼近最优值函数。
2024-05-27 cs.AI cs.LG
Quantile Markov Decision Process
Stanford University（斯坦福大学）
本文提出分位数马尔可夫决策过程（QMDP），用于优化累积奖励的分位数而非期望值，给出解析结果和动态规划算法，并扩展到CVaR目标，在HIV治疗启动问题上验证了其实际价值。
2025-10-15 cs.AI
On shallow planning under partial observability
Canada CIFAR AI Chair（加拿大高级研究院人工智能主席职位）
本文研究强化学习中折扣因子所表征的规划时域，在给定 MDP 结构参数下分析其对偏差—方差权衡的影响，指出较短规划时域在部分可观测环境中尤其可能带来收益。
2025-02-17 cs.AI
Stochastic Bandits for Egalitarian Assignment
National University of Singapore（新加坡国立大学）
针对随机多臂老虎机下的平等主义分配问题EgalMAB，提出基于UCB的EgalUCB策略并推导其累积悔值上界，同时给出几乎匹配的策略无关不可能性结果。
2024-10-08 cs.LG stat.ML
Mean-Variance Optimization in Markov Decision Processes
Technion（以色列理工学院）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑有限时域马尔可夫决策过程下的性能指标，涉及的平均值和方差的累积奖励。我们发现，无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的，而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
Maximum Reward Formulation In Reinforcement Learning
andBeyond（99andBeyond）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；University of Alberta（阿尔伯塔大学）；Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）；University of Waterloo（滑铁卢大学）；Ecole Polytechnique Montréal（蒙特利尔综合理工学院）；Alberta Machine Intelligence institute（阿尔伯塔机器智能研究所）
针对药物发现等场景无需优化累积回报、只需找最高奖励状态的需求，该研究构建了强化学习的最大奖励目标公式，推导了新的Bellman方程与算子并证明收敛，在分子生成任务上取得SOTA结果。
2023-12-19 cs.AI cs.LG stat.ML
Rising Multi-Armed Bandits with Known Horizons
Department of CSE, POSTECH, Pohang, Republic of Korea（POSTECH 电子工程系）；Graduate School of AI, POSTECH, Pohang, Republic of Korea（POSTECH 人工智能研究生院）；Microsoft Research, Beijing, China（微软研究院）；Qiuzhen College, Tsinghua University, Beijing, China（清华大学求真学院）
本文提出CURE-UCB算法，通过整合已知时间范围来提升多臂老虎机问题的性能，证明其在结构化环境中的优越性。
2026-10-01 cs.LG
Regret Analysis of the Anytime Optimally Confident UCB Algorithm
University of Alberta（阿尔伯塔大学）
我介绍和分析的最佳置信UCB（OCUCB）算法设计的最小化的累积遗憾有限武装随机土匪与亚高斯噪声的任何时候版本。新算法简单，直观（事后看来），并具有迄今为止最强的有限时间遗憾保证。我还显示了一个有限时间的下限，几乎匹配的上限。
2016-05-06 cs.LG math.ST stat.ML
Fast Non-Episodic Finite-Horizon RL with K-Step Lookahead Thresholding
针对非情节有限时域MDP，提出K步前瞻Q函数与阈值机制，实现快速有限样本收敛，在合成环境和标准RL任务中优于现有方法。
2026-06-16 cs.LG stat.ML
Simple regret for infinitely many armed bandits
University of Cambridge（剑桥大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
考虑一类具有无穷多个臂的随机强盗问题。在这种设置中，学习器甚至没有机会尝试所有的臂一次，并且必须将其有限数量的样本仅用于一定数量的臂。所有以前的算法都是为了最小化学习者的累积遗憾而设计的。在本文中，我们提出了一个算法，旨在最小化简单的遗憾。在无限多个武装匪徒的累积后悔设置中，简单后悔率将取决于表征接近最优武器分布的参数$β$。我们证明，根据$β$，我们的算法是最小最大最优的乘法常数或高达一个$\log(n)$因素。我们还提供了扩展到几个重要的情况下：当$β$是未知的，在一个自然的设置，接近最佳的武器有一个小的方差，在未知的时间范围的情况下。
2015-05-18 cs.LG stat.ML
The Geometry of Memoryless Stochastic Policy Optimization in Infinite-Horizon POMDPs
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；UCLA（加州大学洛杉矶分校）
考虑了有限状态空间和有限动作空间的无限时域部分可观测马尔可夫决策过程（POMDP）在折扣或平均报酬准则下的最佳无记忆随机策略问题.我们表明，（折扣）的状态动作频率和预期的累积奖励是有理函数的政策，其中的程度是由部分可观的程度。然后，我们描述的最优化问题作为一个线性最优化问题在空间中的可行状态动作频率的多项式约束，我们明确的特点。这使我们能够解决组合和几何复杂性的最优化问题使用最近的工具，从多项式优化。特别是，我们估计的临界点的数量，并使用奖励最大化的多项式规划描述，以解决在网格世界中的导航问题。
2022-04-29 cs.LG math.AG math.OC
The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Fudan University（复旦大学）；Hong Kong University of Science（香港科学大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Vector Institute（向量研究所）
针对长程LLM-RL训练中梯度方差爆炸问题，从第一性原理推导最优Token基线，提出仅用前向概率近似梯度范数的Logit-Gradient Proxy，以N=4分组达到N=32性能，减少65%以上Token消耗。
2026-06-23 cs.AI cs.LG
From Restless to Contextual: A Thresholding Bandit Reformulation For Finite-horizon Improvement
Cornell Tech（康奈尔科技）；Causal Foundry
本文通过将在线动态老虎机重新公式化为预算阈值上下文老虎机，解决了现有算法在有限时间 horizon 性能差的问题，提出了一种实用学习策略，实现了亚线性遗憾，提升了累积奖励。
2026-04-06 cs.LG
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Lagrangian or Lyapunov? Multi-Agent Reinforcement Learning under Coupled Finite-Horizon Constraints
Hanyang University（汉阳大学）
研究针对耦合有限时域约束下的无线资源管理难题，提出嵌入李雅普诺夫的异构多智能体强化学习框架HeLyMARL，通过虚拟队列实现预算约束的逐部分时域绑定，仿真中其性能优于多种基准方法。
2026-11-10 cs.LG
Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning
Microsoft Research（微软研究院）；MIT（麻省理工学院）
该研究从学习理论角度重新审视离线与在线模仿学习的差距，分析带对数损失的行为克隆，发现满足特定条件时离线IL可实现时间跨度无关的样本复杂度，且离线与在线IL的差距小于此前认知，实验验证了结果的实际相关性。
2024-11-30 cs.AI cs.LG math.ST
Stochastic Matching Bandits with Rare Optimization Updates
Seoul National University（首尔国立大学）
本文提出了一种批量算法，通过限制匹配更新次数来减少计算开销，同时在随机匹配老虎机中实现O(√T)的遗憾界。
2026-10-23 cs.LG stat.ML
A Primal-Dual Algorithm for Offline Constrained Reinforcement Learning with Linear MDPs
University of Michigan（密歇根大学）
针对无限时域折扣设置下的线性MDP离线强化学习，提出首个在部分数据覆盖假设下实现$O(ε^{-2})$样本复杂度且计算高效的原始-对偶算法，并扩展至离线约束RL。
2024-06-02 cs.LG stat.ML
LOFA: Online Influence Maximization under Full-Bandit Feedback using Lazy Forward Selection
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
LOFA通过利用次模性质和懒惰前向选择，在全伯德反馈下实现更低的实证后悔，优于现有算法。
2026-01-02 cs.AI cs.LG cs.SI
Reinforcement Learning for Finite-Horizon Restless Multi-Armed Multi-Action Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）；Indian Institute of Science（印度科学学院）
我们研究了一个有限时间内具有多个行动的不稳定多臂强盗问题，称为R（MA）^2B。每个手臂的状态根据受控马尔可夫决策过程（MDP）演变，拉动手臂的奖励取决于相应MDP的当前状态和所采取的行动。目标是顺序选择武器的行动，以便最大化所收集的累积奖励的期望值。由于寻找最优策略通常是棘手的，我们提出了一个计算上有吸引力的指数政策，我们称之为占用测量奖励指数政策。我们的政策是明确的，即使底层的MDP是不可索引的。我们证明了当激活预算和臂数按比例增加时，它是渐近最优的，同时保持它们的比例为常数。对于系统参数未知的情况，我们提出了一种学习算法。我们的学习算法在面对不确定性时使用乐观原则，并进一步使用生成模型，以充分利用占用测量奖励指数策略的结构。我们称之为R（MA）^2B-UCB算法。与现有算法相比，R（MA）^2B-UCB算法具有接近离线最优策略的性能，并且以较低的计算复杂性实现了次线性后悔.实验结果表明，R（MA）^2B-UCB算法在遗憾度和运行时间方面均优于现有算法.
2022-03-23 cs.LG math.OC stat.ML
Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality
University of Vienna（维也纳大学）；The Ohio State University（俄亥俄州立大学）
本文提出Matryoshka策略梯度（MPG）算法，证明其在固定视野最大熵强化学习线性近似下的全局收敛性与最优策略唯一性，给出神经网络策略的全局最优判据并通过基准测试验证。
2024-10-07 cs.AI cs.LG
Laplacian-regularized graph bandits: Algorithms and theoretical analysis
University College London（伦敦大学学院）；University of Oxford（牛津大学）
我们考虑一个随机线性多用户的强盗问题，用户之间的关系被捕获的底层图和用户的喜好表示为平滑的信号上的图。我们引入了一种新的强盗算法，通过随机游走图拉普拉斯算子，这导致了单用户累积遗憾缩放为$\tilde{\mathcal{O}}(Ψd \sqrt{T})$与时间范围$T$，特征维度$d$，和标量参数$Ψ\in (0,1)$，取决于图的连通性。这是对\algo{LinUCB} ~ \Ccite{li2010contextual}中的$\tilde{\mathcal{O}}(d \sqrt{T})$的改进，其中不考虑用户关系。在网络遗憾（$n$用户的累积遗憾之和）方面，所提出的算法导致缩放为$\tilde{\mathcal{O}}(Ψd\sqrt{nT})$，这是对最先进的算法\algo{Gob.Lin} \Ccite{cesa2013gang}中的$\tilde{\mathcal{O}}(nd\sqrt{T})$的显著改进。为了提高可扩展性，我们进一步提出了一个简化的算法，具有线性的计算复杂度相对于用户的数量，同时保持相同的遗憾。最后，我们提出了一个有限的时间分析所提出的算法，并证明其优势与国家的最先进的基于图的强盗算法的合成和真实世界的数据。
2020-02-10 cs.LG stat.ML
Adapting to Delays and Data in Adversarial Multi-Armed Bandits
DeepMind（深度思维(DeepMind)）
研究了延迟反馈下的多臂强盗问题。我们分析了Exp 3算法的变体，该算法仅使用决策时可用的信息（关于损失和延迟）来调整其步长，并获得适应于所观察到的（而不是最坏情况）延迟和/或损失序列的后悔保证。首先，通过一个非常简单的证明技术，我们表明，与适当的调整的步长，该算法实现了最佳的（对数因子）遗憾的顺序$\sqrt{\log(K)(TK + D)}$的期望和高概率，其中$K$是武器的数量，$T$是时间范围，和$D$是累积延迟。高概率版本的界，这是第一个高概率延迟自适应界在文献中，关键取决于使用隐式探索估计的损失。然后，根据Zimmert和Seldin [2019]，我们扩展了这些结果，使得算法可以“跳过”具有大延迟的轮次，从而得到$\sqrt{TK\log(K)} + |R| + \sqrt{D_{\bar{R}}\log(K)}$阶的遗憾界，其中$R$是任意轮次集合（跳过），$D_{\bar{R}}$是其他轮次反馈的累积延迟。最后，我们提出了另一种数据自适应（AdaGrad风格）版本的算法，其中遗憾适应观察到的（延迟）损失，而不是只适应累积延迟（该算法需要一个先验的最大延迟上界，或预先知道的延迟为每个决定时，它是）。在良性问题上，得到的界可以小几个数量级，并且可以表明，延迟只会通过失去最好的手臂来影响后悔。
2020-10-12 cs.LG math.OC stat.ML
SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks
Columbia University Robotics Group（哥伦比亚大学机器人学小组）
深度强化学习（RL）的最新进展已经证明了其学习复杂机器人操作任务的潜力。然而，RL仍然需要机器人收集大量的真实世界经验。为了解决这个问题，最近的工作已经提出了从专家演示（LfD），特别是通过逆强化学习（IRL）的学习，因为它能够实现强大的性能，只有少量的专家演示。然而，在真实机器人上部署IRL仍然具有挑战性，因为它需要大量的机器人经验。本文的目的是解决这个可扩展性的挑战，一个强大的，采样效率高，和一般的元IRL算法，SQUIRL，执行一个新的，但相关的长期任务，鲁棒地给出了只有一个视频演示。首先，该算法使用行为克隆（BC）引导任务编码器和任务条件策略的学习。然后，它收集真实的机器人经验，并通过直接从组合的机器人和专家轨迹中恢复Q函数来绕过奖励学习。然后，该算法使用Q函数重新评估机器人收集的所有累积经验，以快速改进策略。最后，该策略在新任务上比BC执行得更健壮（90%以上的成功率），同时在测试时不需要试错。最后，我们的真实机器人和模拟实验证明了我们的算法在不同的状态空间，动作空间和基于视觉的操作任务，例如，pick-pour-place和pick-carry-drop。
2020-03-10 cs.LG cs.RO
Imagine to Ensure Safety in Hierarchical Reinforcement Learning
Cognitive AI Systems Lab（认知人工智能系统实验室）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究所）；FRC Computer Science RAS（俄罗斯科学院联邦研究中心计算机科学研究所）
提出结合可学习世界模型与高低层策略的分层方法，通过高层生成安全子目标、低层利用想象滚动减少不安全行为，在长时域任务中显著优于现有安全强化学习基线。
2026-06-23 cs.AI
ReversedQ: Opportunities for Faster Q-Learning in Episodic Online Reinforcement Learning
University of Maryland（马里兰大学）
本文研究了在回合有限的马尔可夫决策过程（MDPs）中使用无模型Q学习的效率问题，提出了ReversedQ方法，通过改进价值函数更新顺序、更新频率和初始化来提升学习速度，实验表明其在多个任务中均优于现有方法。
2026-05-20 cs.LG
Online Learning in Budget-Constrained Dynamic Colonel Blotto Games
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究预算约束动态Colonel Blotto博弈中的在线资源分配问题，将其转化为有向图路径规划，结合组合老虎机与带背包的老虎机算法求解，理论证明遗憾值具次线性上界并经仿真验证。
2023-05-08 cs.GT cs.LG cs.MA
Lower Bound On the Computational Complexity of Discounted Markov Decision Problems
Princeton University（普林斯顿大学）
研究了具有有限状态空间$|\mathcal{S}|$和有限行动空间$|\mathcal{A}|$的无限时域折扣报酬马尔可夫决策问题（MDP）的计算复杂性.我们发现，任何随机算法需要一个运行时间至少$Ω(|\mathcal{S}|^2|\mathcal{A}|)$计算$ε$ -最优的政策，以高概率。我们考虑MDP的两种变体，其中输入以特定的数据结构给出，包括累积概率数组和转移概率二叉树。对于这些情况下，我们表明，复杂性下限降低到$Ω\left( \frac{|\mathcal{S}| |\mathcal{A}|}ε \right)$。这些结果揭示了一个令人惊讶的观察，即MDP的计算复杂性取决于输入的数据结构。
2017-05-20 cs.CC cs.LG
ECOD: Unsupervised Outlier Detection Using Empirical Cumulative Distribution Functions
Northeastern University-Toronto（东北大学多伦多分校）；Arima Inc.（Arima公司）；Heinz College of Information Systems and Public Policy, Carnegie Mellon University（卡内基梅隆大学海因茨信息系统与公共政策学院）；Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）；Deggendorf Institute of Technology（代根多夫应用技术大学）
离群点检测是指识别偏离一般数据分布的数据点。现有的无监督方法通常存在计算成本高、超参数调整复杂和可解释性有限的问题，特别是在处理大型高维数据集时。为了解决这些问题，我们提出了一个简单而有效的算法称为ECOD（经验累积分布为基础的离群值检测），这是受到这样一个事实，即离群值往往是“罕见事件”，出现在分布的尾部。简而言之，ECOD首先通过计算数据的每个维度的经验累积分布，以非参数方式估计输入数据的潜在分布。然后，ECOD使用这些经验分布来估计每个数据点的每个维度的尾部概率。最后，ECOD通过聚合各个维度的估计尾部概率来计算每个数据点的离群值得分。我们的贡献如下：（1）我们提出了一种新的离群点检测方法ECOD，它既无参数又易于解释;（2）我们在30个基准数据集上进行了广泛的实验，我们发现ECOD在准确性，效率和可扩展性方面优于11个最先进的基线;以及（3）我们发布了一个易于使用和可扩展（具有分布式支持）的Python实现，以实现可访问性和可重复性。
2022-08-25 cs.DB cs.LG stat.AP
A Communication-Efficient Adaptive Algorithm for Federated Learning under Cumulative Regret
Cornell University（康奈尔大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对中央服务器连接 M 个客户端的分布式在线随机优化问题，本文提出一种通信高效的自适应联邦学习算法，以总传输比特数为统一成本，实现阶最优累积遗憾。
2023-06-05 cs.DC cs.LG
Regret and Cumulative Constraint Violation Analysis for Distributed Online Constrained Convex Optimization
KTH Royal Institute of Technology（瑞典皇家理工学院）；Digital Futures（数字未来）；Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海自主智能无人系统科学中心）；Northeastern University（东北大学）；Nanyang Technological University（南洋理工大学）
研究了智能体网络上的分布式在线时变约束凸优化问题。这是一个序列决策问题的两个序列的任意变化的凸损失和约束函数。在每一轮，每个代理从决策集中选择一个决策，然后只有一部分的损失函数和约束函数的坐标块在这一轮是私人透露给这个代理。网络的目标是最小化随着时间的推移而积累的网络范围内的损失。提出了完全信息和强盗反馈两种分布式在线算法。该算法分析了动态和静态网络遗憾界，并采用网络累积约束违反来度量约束违反，排除了严格可行约束可以补偿违反约束影响的情况.特别是，我们表明，所提出的算法实现$\mathcal{O}(T^{\max\{κ,1-κ\}})$静态网络遗憾和$\mathcal{O}(T^{1-κ/2})$网络累积约束违反，其中$T$是时间范围和$κ\in(0,1)$是一个用户定义的权衡参数。此外，如果损失函数是强凸的，则静态网络遗憾界可以约化为$\mathcal{O}(T^κ)$ .最后，通过数值模拟验证了理论结果的有效性。
2022-12-27 cs.LG math.OC
Prediction with Expert Advice: Anytime Regret with Many Experts Matches the Fixed-Time Constant
Google Research（谷歌研究院）；Yale University（耶鲁大学）；Google DeepMind（谷歌DeepMind）
本文针对专家建议预测问题，提出一种无需预知时间范围的算法，其任意时刻遗憾界匹配已知固定时间常数，消除了此前 $\sqrt{2}$ 的差距。
2026-09-24 cs.LG stat.ML
PDE-regularized Dynamics-informed Diffusion with Uncertainty-aware Filtering for Long-Horizon Dynamics
本文提出PDYffusion框架，结合PDE正则化和不确定性感知预测，通过PDE正则化插值器和UKF预测器实现稳定长时预测，实验表明其在CRPS和MSE上表现优异，且保持稳定的不确定性行为。
2026-04-10 cs.AI cs.LG
Efficient Learning-based Scheduling for Information Freshness in Wireless Networks
University of Rhode Island（罗德岛大学）
最近的趋势集成人工智能到物联网（IoT）的动机，我们考虑的问题，调度数据包从多个传感源到一个中央控制器通过无线网络。这里，来自不同感测源的分组对于中央控制器具有不同的重要性值或程度，以进行智能决策。在这种设置中，为中央控制器提供及时和有价值的信息至关重要。在本文中，我们开发了一个参数化的最大权重类型的调度策略，结合了AoI指标和上置信界（UCB）估计的权重测量参数$η$。在这里，UCB估计平衡了学习中探索和利用之间的权衡，并且对于产生小的累积遗憾至关重要。我们表明，我们提出的算法产生的运行平均总年龄最多由$O(N^2η)$。我们还证明了我们提出的算法实现的累积遗憾时间范围$T$最多由$O(NT/η+\sqrt{NT\log T})$。这揭示了累积后悔和运行平均总年龄之间的权衡：当增加$η$时，累积后悔变小，但以增加运行平均总年龄为代价。仿真结果提供了我们所提出的算法的效率进行评估。
2021-01-01 cs.LG cs.NI cs.PF
Metrics of calibration for probabilistic predictions
预测通常是概率;例如，预测可能是明天的降水，但只有30%的可能性。鉴于这种概率预测与实际结果，“可靠性图”有助于检测和诊断预测与结果之间的统计学显著差异-所谓的“误校准”。规范可靠性图将预测的观测值和期望值进行直方图表示;用软核密度估计代替硬直方图分箱是另一种常见的做法。但是，什么样的箱或核的宽度是最好的？观察值和期望值之间的累积差异图通过将误校准直接显示为图形的割线的斜率，在很大程度上避免了这个问题。斜率很容易以定量精度感知，即使割线的恒定偏移不相关;不需要分箱或执行核密度估计。现有的标准度量的误校准，每个总结作为一个单一的标量统计的可靠性图。累积图自然会导致累积差异图偏离零的标量度量;良好的校准对应于偏离零很小的水平平坦图。累积方法目前是非常规的，但提供了许多有利的统计特性，通过严格的证明和说明性的数值例子支持的数学理论保证。特别地，基于分箱或核密度估计的度量必然必须权衡统计置信度，以解决作为预测概率的函数的变化的能力，反之亦然。加宽箱或核平均掉随机噪声，同时放弃一些分辨率。缩小箱或核增强了分辨能力，同时不会平均掉同样多的噪声。
2022-06-12 cs.LG math.ST stat.ME
Efficient Lipschitzian Global Optimization of Hölder Continuous Multivariate Functions
本文提出了一种有效的全局优化技术，设计的多变量函数是Hölder连续的。与传统的构造下界代理函数的方法不同，该算法采用了预定的查询创建规则，使其在计算上更优越。该算法的性能进行评估，使用平均或累积的遗憾，这也意味着一个简单的遗憾，并反映了该方法的整体有效性。结果表明，对于在$n$维空间中，在给定的时间范围$T$内，优化Hölder指数为$α$的Hölder连续目标函数，在适当的参数下，该算法的平均遗憾界为$O(T^{-\fracα{n}})$.我们证明了这个界是极大极小最优的。
2023-03-24 cs.CC cs.LG math.OC
Optimal Anytime Algorithms for Online Convex Optimization with Adversarial Constraints
Department of Computer Science and Engineering, Indian Institute of Technology, Kharagpur（计算机科学与工程系，印度理工学院，克哈格布尔）；School of Technology and Computer Science, Tata Institute of Fundamental Research, Mumbai（技术与计算机科学学院，塔塔基础研究 institute，孟买）
本文提出一种无需预知时间范围的任意时间在线凸优化算法，利用时变Lyapunov函数处理对抗约束，实现最优遗憾与约束违反界，并扩展到动态与乐观设置。
2025-10-26 cs.LG
