Generalizing distribution of partial rewards for multi-armed bandits with temporally-partitioned rewards
Eindhoven University of Technology（埃因霍温理工大学）
本文研究了具有时间分割报酬的多臂强盗问题。在TP-MAB设置中，智能体将在多轮中获得奖励的子集，而不是一次获得手臂的全部奖励。在本文中，我们介绍了一个手臂的累积奖励如何分布在几个回合，称为贝塔传播属性的一般公式。需要这样的推广以能够处理其中每轮的最大奖励在各轮之间不均匀分布的分区奖励。我们推导出一个下界的TP-MAB问题的假设下，β-蔓延举行。此外，我们提供了一个算法TP-UCB-FR-G，它使用Beta-spread属性，以提高在某些情况下的遗憾上限。通过概括如何分配累积奖励，该设置可应用于更广泛的应用中。
2022-11-13 cs.LG stat.ML
Improved Regret and Contextual Linear Extension for Pandora's Box and Prophet Inequality
University of Washington（华盛顿大学）；Purdue University（普渡大学）；University of Southern California（南加州大学）
针对半带状反馈下的Pandora's Box在线学习问题，提出新算法实现~O(√(nT))遗憾界，改进先前~O(n√T)界并匹配下界；进一步扩展至上下文线性设置，同时学习线性函数与噪声分布，达到~O(nd√T)遗憾界；技术同样适用于在线先知不等式问题。
2025-10-24 cs.DS cs.GT cs.LG
Matching Markets meet Cumulative Prospect Theory: Towards Optimal and Adversarially Robust Learning
Indian Institute of Technology Bombay（印度理工学院孟买分校）
研究基于累积前景理论（CPT）的竞争性双边匹配市场多智能体多臂赌博机问题，提出最优遗憾界算法并扩展到对抗性市场。
2026-06-19 cs.LG stat.ML
Curiosity-Critic: Cumulative Prediction Error Improvement as a Tractable Intrinsic Reward for World Model Training
Department of Computer Science, University of Toronto, Toronto, Canada（多伦多大学计算机科学系）
提出Curiosity-Critic方法，通过可处理的每步替代项（当前预测误差与渐近误差基线的差值）作为内在奖励，利用共训练的评论家在线估计误差基线，有效分离可约与不可约预测误差，在随机网格世界实验中优于现有方法。
2026-06-17 cs.AI cs.LG stat.ML
Cumulative Prospect Theory Meets Reinforcement Learning: Prediction and Control
Institute for Systems Research, University of Maryland（马里兰大学系统研究所）；University of Maryland（马里兰大学）；University of Alberta（阿尔伯塔大学）
累积前景理论（CPT）是已知的人类决策模型很好，大量的经验证据支持这一说法。CPT通过扭曲概率来工作，并且比经典的期望效用和一致风险度量更普遍。我们把这个想法的风险敏感的强化学习（RL）设置和设计算法的估计和控制。当应用CPT时，RL设置提出了两个特定的挑战：估计CPT目标需要估计价值函数的整个分布，并找到一个随机的最优策略。我们提出的估计方案使用经验分布来估计随机变量的CPT值。然后，我们使用这个计划的CPT值优化过程的内部循环，这是众所周知的模拟优化思想的同时扰动随机逼近（SPSA）的基础上。我们提供了理论上的收敛保证，所有提出的算法，也说明了实用的CPT为基础的标准在交通信号控制应用。
2016-02-26 cs.LG math.OC
Risk-Sensitive Reinforcement Learning: a Martingale Approach to Reward Uncertainty
JP Morgan AI Research（摩根大通人工智能研究院）
我们引入了一个新的框架来解释敏感性奖励的不确定性顺序决策问题。虽然到目前为止研究的马尔可夫决策过程的风险敏感配方集中在作为一个整体的累积奖励的分布，我们的目标是学习政策敏感的奖励的不确定性/随机性，这在某些情况下具有概念上更有意义的优势。为此，我们提出了一个新的分解的随机性包含在累积奖励的基础上的Doob分解的随机过程，并引入了一个新的概念工具-\textit{chaotic variation} -它可以被严格地解释为风险度量的鞅分量相关的累积奖励过程。我们在强化学习方面进行了创新，将这种新的风险敏感方法融入到无模型算法中，基于策略梯度和价值函数，并说明了其在网格世界和投资组合优化问题上的相关性。
2020-09-15 cs.LG q-fin.RM stat.ML
Policy Gradients for Cumulative Prospect Theory in Reinforcement Learning
department of computer science at ETH Zürich（苏黎世联邦理工学院计算机科学系）；Singapore University of Technology and Design（新加坡科技与设计大学）
本文提出了一种基于累积前景理论的强化学习策略梯度算法，通过蒙特卡洛梯度估计器实现，并证明了算法在CPT目标上的渐近收敛性。
2026-09-09 cs.AI cs.LG
Experience Replay Optimization
Texas A&M University（德克萨斯农工大学）
经验重放使强化学习代理能够记住和重用过去的经验，就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验，要么利用基于规则的重放策略，这可能是次优的。在这项工作中，我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的，因为重放记忆是嘈杂的和大的，并且累积的奖励是不稳定的。为了解决这些问题，我们提出了一种新的经验重放优化（ERO）框架，交替更新两个政策：代理政策，和重放政策。更新代理以基于重放的数据最大化累积奖励，同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性，经验上显示了经验重放学习的承诺，以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
On the Regularity and Fairness of Combinatorial Multi-Armed Bandit
本文针对无线网络应用，提出了一种参数化的规律且公平的学习算法，通过线性组合虚拟队列长度、TSLR度量和UCB估计值，在最大化累积奖励的同时保证了臂间的公平性与奖励规律性，并实现了零累积公平性违规。
2025-09-15 cs.LG
Rectified Pessimistic-Optimistic Learning for Stochastic Continuum-armed Bandit with Constraints
ShanghaiTech University（上海科技大学）
本文研究了带约束的随机连续型武装强盗问题（SCBwC），在连续空间$\mathcal X$上，我们优化了受黑箱约束函数$g(x)\leq 0$约束的黑箱报酬函数$f(x)$.我们通过高斯过程（GP）的奖励和约束函数建模，并提出了一个修正的悲观-乐观学习框架（RPOL），一个基于惩罚的方法，结合乐观和悲观的GP强盗学习的奖励和约束函数，分别。我们考虑了累积约束违反的度量$\sum_{t=1}^T(g(x_t))^{+},$，它严格强于传统的长期约束违反度量$\sum_{t=1}^Tg(x_t).$。RPOL中惩罚更新的修正设计和约束函数的悲观学习保证了累积约束违反是最小的。RPOL可以实现SCBwC及其变体的次线性遗憾和累积约束违反（例如，在延迟反馈和非平稳环境下）。这些理论结果与无约束条件下的结果相吻合。我们的实验证明RPOL优于几个现有的基线算法。
2022-11-29 cs.LG stat.ML
Thompson Sampling for Linearly Constrained Bandits
KTH Royal Institute of Technology（KTH皇家理工学院）；University of California Berkeley（加州大学伯克利分校）
我们解决多武装土匪（MAB）的目标是最大化的累积奖励下的概率线性约束。对于这个问题的几个现实世界的例子，最近提出了著名的汤普森采样（TS）启发式的约束扩展。然而，受限TS的有限时间分析是具有挑战性的;因此，在累积奖励损失上仅O（\sqrt{T}）界限（即，遗憾的是）。在本文中，我们描述了LinConTS，一个基于TS的强盗算法，对每一轮获得奖励的概率进行线性约束。我们表明，对于LinConTS，遗憾以及累积约束违反的上限为O（\log T）的次优武器。我们开发了一种证明技术，依赖于仔细分析的对偶问题，并结合它与最近的理论工作无约束TS。通过在两个真实数据集上的数值实验，我们证明了LinConTS在同时最小化后悔和违规方面优于渐近最优置信上限（UCB）方案.
2020-05-12 cs.LG stat.ML
Learning Infinite-Horizon Average-Reward CMDPs via State Augmentation
KAIST（韩国科学技术院）；Seoul National University（首尔大学）
本文提出首个计算高效算法，通过状态增强和Huber势重塑奖励，在弱连通假设下实现无限时域平均奖励CMDP的$\sqrt{T}$最优遗憾与约束违反。
2026-10-01 cs.LG
Bayesian Algorithms for Decentralized Stochastic Bandits
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
研究了一个分散协作的多智能体多臂强盗问题，其中$K$和$N$智能体通过网络连接.在我们的模型中，每个手臂的奖励分配对于所有代理都是相同的，并且奖励在代理和时间步长上独立绘制。在每一轮中，智能体选择一只手臂进行游戏，然后向邻居发送一条消息。目标是最小化整个网络平均的累积遗憾。我们提出了一个分散的贝叶斯多臂强盗框架，扩展单代理贝叶斯强盗算法的分散设置。具体来说，我们研究了一种可以与现有贝叶斯算法相结合的信息同化算法，并在此基础上提出了分散的Thompson采样算法和分散的Bayes-UCB算法。我们分析了分散式Thompson抽样算法在Bernoulli报酬下的问题，并建立了一个依赖于问题的累积后悔上界。我们发现，遗憾引起的规模在时间范围内与常数相匹配的最佳集中代理访问整个网络的所有观测。我们的分析还描述了网络结构方面的累积遗憾。通过广泛的数值研究，我们表明，我们的扩展汤普森采样和贝叶斯UCB招致较少的累积遗憾比最先进的算法的启发上置信界算法。我们实现了我们提出的分散汤普森采样下的流言协议，并在时变网络，其中每个通信链路有一个固定的故障概率。
2020-10-28 cs.LG stat.ML
A New Look at Dynamic Regret for Non-Stationary Stochastic Bandits
DeepMind（深度思维）
研究了非平稳随机多臂强盗问题，其中在学习过程中，每个臂的奖励统计量可能会发生多次变化。一个学习算法的性能进行评估，在他们的动态后悔，这是定义为代理选择最佳的手臂在每个时间步的预期累积奖励和学习算法的累积奖励之间的差异。衡量这种环境的难度的一种方法是考虑最佳手臂的身份可以改变多少次。我们提出了一种方法，实现，在$K$武装土匪问题，一个接近最佳的$\widetilde O(\sqrt{K N(S+1)})$动态遗憾，其中$N$是问题的时间范围和$S$是最佳的手臂变化的身份的次数，没有$S$的先验知识。以前的工作，这个问题得到的遗憾的界限，规模的变化（或变化量）的奖励功能，这可能会大得多，或假设先验知识的$S$，以实现类似的界限。
2022-03-08 cs.LG stat.ML
An Adaptive Approach for Infinitely Many-armed Bandits under Generalized Rotting Constraints
Seoul National University（首尔国立大学）；London School of Economics（伦敦经济学院）；KAIST AI（韩国科学技术院人工智能研究所）
针对静态衰退设定下的无限臂老虎机问题，提出结合UCB与自适应滑动窗口的算法，在缓慢和突变衰退场景下均实现紧致遗憾界。
2025-06-01 cs.LG stat.ML
Stochastic Bandits for Egalitarian Assignment
National University of Singapore（新加坡国立大学）
针对随机多臂老虎机下的平等主义分配问题EgalMAB，提出基于UCB的EgalUCB策略并推导其累积悔值上界，同时给出几乎匹配的策略无关不可能性结果。
2024-10-08 cs.LG stat.ML
Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning
Iowa State University（爱荷华州立大学）
本文提出了一种潜在安全约束策略方法，通过条件变分自动编码器和受约束奖励-回报最大化框架，实现了安全离线强化学习中的安全性和奖励优化的平衡。
2025-06-05 cs.LG stat.ML
Reinforcement Learning with Non-Cumulative Objective
University of Toronto（多伦多大学）
针对强化学习中目标多为累积形式、无法适配通信网络等领域非累积目标问题，本文通过改进Bellman更新规则引入广义运算，给出收敛保证并在多任务中验证了非累积目标优化方法的有效性。
2024-04-12 cs.AI cs.LG cs.NI
Budgeted and Non-budgeted Causal Bandits
Technion Israel Institute of Technology（以色列理工学院）；Indian Institute of Science（印度科学学院）；Adobe Research（Adobe研究院）
在因果图中学习好的干预可以建模为带有边信息的随机多臂强盗问题。首先，我们研究这个问题时，干预措施比观察更昂贵，并指定了预算。如果从可干预节点到奖励节点没有后门路径，那么我们提出了一种算法，以最小化简单的遗憾，最佳权衡观察和干预的基础上干预的成本。我们还提出了一个算法，占干预措施的成本，利用因果边信息，并尽量减少预期的累积遗憾，而不超过预算。我们的累积遗憾最小化算法比不考虑边信息的标准算法性能更好。最后，我们研究了一般图中无预算约束的最佳干预措施的学习问题，并给出了一个算法，当每个干预措施的奖励变量的父分布已知时，该算法根据实例参数实现恒定的期望累积遗憾。我们的结果进行了实验验证，并在目前的文献中最知名的界限。
2020-12-13 cs.LG stat.ML
A Dynamic Observation Strategy for Multi-agent Multi-armed Bandit Problem
Princeton University（普林斯顿大学）
我们定义并分析了一个多智能体多臂强盗问题，在这个问题中，决策智能体可以在线性观测成本下观测其邻居的选择和回报。邻居由网络图定义，该网络图对系统的固有观测约束进行编码。我们定义了一个与观察相关的成本，这样在每一个实例中，代理人进行观察，它会收到一个恒定的观察遗憾。我们设计了一个抽样算法和一个观察协议，每个代理通过最小化期望累积抽样后悔和期望累积观察后悔来最大化自己的期望累积回报。对于我们提出的协议，我们证明了总累积遗憾是数学界。我们使用数值模拟来验证分析界限的准确性。
2020-04-08 cs.LG math.OC
Learning in Markov Decision Processes under Constraints
Indian Institute of Science（印度科学学院）；Ohio State University（俄亥俄州立大学）
我们考虑马尔可夫决策过程中的强化学习（RL），其中代理反复与受控马尔可夫过程建模的环境交互。在每个时间步$t$，它获得奖励，并且还引起由$M$成本组成的成本向量。我们设计了基于模型的RL算法，最大限度地提高了$T$时间步长的时间范围内获得的累积奖励，同时确保$M$成本支出的平均值由代理指定的阈值$c^{ub}_i,i=1,2,\ldots,M$限制。为了衡量一个强化学习算法的性能，满足平均成本约束，我们定义了一个$M+1$维后悔向量，它是由其奖励后悔，和$M$成本后悔。回报后悔度量累积回报中的次优性，而成本后悔向量的第$i$分量是其第$i$累积成本支出与预期成本支出$Tc^{ub}_i$之间的差。我们证明了UCRL-CMDP的后悔向量的期望值的上界为$\tilde{O}\left(T^{2\slash 3}\right)$，其中$T$是时间范围。我们进一步展示了如何减少$M$成本的期望子集的遗憾，以增加奖励和剩余成本的遗憾为代价。据我们所知，我们是唯一的工作，认为非情节RL平均成本约束下，并推导出算法，可以~ \emph{tune the regret vector}根据代理的要求，其成本遗憾。
2022-01-05 cs.LG math.OC stat.ML
Tackling Decision Processes with Non-Cumulative Objectives using Reinforcement Learning
Max Planck Institute for the Science of Light（马克斯·普朗克光科学研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）
本研究提出将非累积马尔可夫决策过程映射为标准MDPs的方法，使强化学习等技术可直接应用，在控制、金融和离散优化任务中提升性能与训练效率。
2025-05-23 cs.LG q-fin.CP quant-ph
Maximum Reward Formulation In Reinforcement Learning
andBeyond（99andBeyond）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；University of Alberta（阿尔伯塔大学）；Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）；University of Waterloo（滑铁卢大学）；Ecole Polytechnique Montréal（蒙特利尔综合理工学院）；Alberta Machine Intelligence institute（阿尔伯塔机器智能研究所）
针对药物发现等场景无需优化累积回报、只需找最高奖励状态的需求，该研究构建了强化学习的最大奖励目标公式，推导了新的Bellman方程与算子并证明收敛，在分子生成任务上取得SOTA结果。
2023-12-19 cs.AI cs.LG stat.ML
IPO: Interior-point Policy Optimization under Constraints
University of California, Davis（加州大学戴维斯分校）
在本文中，我们研究了强化学习（RL）算法来解决现实世界的决策问题的目标是最大化的长期回报，以及满足累积约束。我们提出了一种新的一阶策略优化方法，内点策略优化（IPO），它增加了对数障碍函数的目标，启发了邻点方法。我们提出的方法是很容易实现的性能保证，并可以处理一般类型的累积多约束设置。我们进行广泛的评估，将我们的方法与最先进的基线进行比较。我们的算法优于基线算法，在奖励最大化和约束满足。
2019-10-21 cs.LG math.OC stat.ML
Mitigating Disparity while Maximizing Reward: Tight Anytime Guarantee for Improving Bandits
Indian Institute of Science（印度科学学院）；Arithmic Labs（Arithmic实验室）；Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
我们研究了改进多臂强盗（IMAB）问题，其中从手臂获得的奖励随着它收到的拉动次数而增加。这个模型为教育和就业等领域的许多现实问题提供了一个优雅的抽象，在这些领域，关于机会分配的决策可能会影响社区的未来能力和它们之间的差距。在这种情况下，决策者除了考虑在任何时候最大化其累积回报的标准目标外，还必须考虑其决策对未来回报的影响。在许多这些应用中，时间范围是未知的决策者事先，这促使IMAB问题的研究，在技术上更具挑战性的地平线不知道设置。我们研究了在视界不感知环境中两个看似冲突的目标之间产生的紧张关系：a）根据武器的当前奖励，在任何时候最大化累积奖励，以及b）确保具有更好的长期奖励的武器获得足够的机会，即使它们最初的奖励很低。我们发现，令人惊讶的是，这两个目标是相互一致的，在这种情况下。我们的主要贡献是一个随时算法的IMAB的问题，实现了最好的可能的累积奖励，同时确保武器达到其真正的潜力给予足够的时间。我们的算法减轻了由于缺乏机会而导致的初始差异，并继续拉动手臂，直到它停止改善。我们证明了我们的算法的最优性，表明a）任何算法的IMAB问题，无论多么功利，必须遭受$Ω(T)$政策遗憾和$Ω(k)$竞争比相对于最佳离线政策，和b）我们的算法的竞争比是$O(k)$。
2022-08-19 cs.AI cs.LG
Variational Policy Gradient Method for Reinforcement Learning with General Utilities
University of Minnesota（明尼苏达大学）；US Army Research Laboratory（美国陆军研究实验室）；DeepMind；University of Alberta（阿尔伯塔大学）；Princeton University（普林斯顿大学）
近年来，强化学习（RL）系统的一般目标超出了奖励的累积总和，已经获得了牵引力，例如在约束问题，探索和根据先前的经验采取行动。在本文中，我们考虑马尔可夫决策问题的政策优化，其中的目标是一个一般的凹效用函数的状态-动作占用措施，其中包括几个上述的例子作为特殊情况。这种普遍性使贝尔曼方程失效。由于这意味着动态规划不再起作用，因此我们将重点放在直接策略搜索上。类似的策略梯度定理\cite{sutton2000policy}可用于RL与累积奖励，我们推导出一个新的变分策略梯度定理RL与一般的效用，建立了参数化的策略梯度可以获得作为一个随机鞍点问题的解决方案，涉及Fenchel对偶的效用函数。提出了一种基于样本路径的变分蒙特卡罗梯度估计算法来计算策略梯度。我们证明了变分策略梯度方案全局收敛于一般目标的最优策略，尽管优化问题是非凸的。我们还建立了它的顺序$O(1/t)$的收敛速度，利用隐藏凸性的问题，并证明了它的指数收敛时，允许隐藏的强凸性的问题。我们的分析适用于标准的RL问题与累积奖励作为一个特殊的情况下，在这种情况下，我们的结果提高了可用的收敛速度。
2020-07-04 cs.LG stat.ML
Reward Certification for Policy Smoothed Reinforcement Learning
University of Liverpool（利物浦大学）；Lancaster University（兰卡斯特大学）
针对现有强化学习平滑策略奖励认证仅适用于l₂范数观测扰动的局限，提出基于f-散度与凸优化的通用黑盒认证方法，支持多lₚ范数观测及动作扰动认证，提升了奖励下界认证效果与效率。
2023-12-12 cs.AI cs.LG
Action-Dependent Optimality-Preserving Reward Shaping
针对现有基于势函数的奖励塑形方法不适用于长情节复杂稀疏奖励环境的问题，提出依赖动作的最优性保持塑形ADOPS，可在动作依赖内在回报下仍保持最优策略，在《蒙特祖玛的复仇》等极端稀疏环境中更有效。
2025-05-19 cs.LG
Blocking Bandits
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
提出一种拉动臂后使其暂时不可用的新颖多臂老虎机设置，证明贪心算法渐近最优，并设计基于UCB的算法实现对数级累积遗憾。
2024-07-29 cs.LG stat.ML
First-Explore, then Exploit: Meta-Learning to Solve Hard Exploration-Exploitation Trade-Offs
University of British Columbia（英属哥伦比亚大学）；Vector Institute（矢量研究所）
针对元强化学习在需要牺牲即时奖励的探索场景中陷入局部最优的问题，提出First-Explore方法，通过分离探索与利用策略，显著提升性能。
2024-11-04 cs.AI cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Wasserstein Adversarial Imitation Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
模仿学习描述了从演示中恢复专家策略的问题。虽然逆强化学习方法在专家演示方面是非常有效的，但它们通常需要问题相关的奖励函数或（任务）特定的奖励函数正则化。在本文中，我们展示了逆强化学习方法和最优运输之间的自然联系，它使更一般的奖励函数具有理想的属性（例如，平滑度）。基于我们的观察，我们提出了一种新的方法，称为Wasserstein对抗模仿学习。我们的方法将Kantorovich势视为奖励函数，并进一步利用正则化的最优传输来实现大规模应用。在几个机器人实验中，我们的方法在平均累积奖励方面优于基线，并且只需要一个专家演示，就可以显着提高样本效率。
2019-06-19 cs.LG stat.ML
Variational Inverse Control with Events: A General Framework for Data-Driven Reward Definition
University of California, Berkeley（加州大学伯克利分校）
奖励函数的设计通常对强化学习的实际应用构成重大的实际挑战。反向强化学习等方法试图克服这一挑战，但需要专家演示，这在实践中可能很难或昂贵。我们提出了变分逆控制与事件（VICE），它将逆强化学习方法推广到不需要完整演示的情况下，例如只有期望的目标状态的样本可用。我们的方法基于控制和强化学习的另一种观点，其中代理的目标是最大化一个或多个事件在未来某个时间点发生的概率，而不是最大化累积奖励。我们证明了我们的方法在连续控制任务中的有效性，重点是高维观察，如图像，其中奖励很难甚至不可能指定。
2018-11-12 cs.LG stat.ML
Rotting Bandits
The Technion（以色列理工学院）
多武装匪徒（MAB）框架强调了获取新知识（探索）和利用现有知识（利用）之间的紧张关系。在经典的MAB问题中，决策者必须在每个时间步选择一个手臂，并在此基础上获得奖励。决策者的目标是最大化她的累积期望回报的时间范围。MAB问题已经被广泛研究，特别是在假设武器的奖励分布随时间是平稳的或准平稳的情况下。我们考虑MAB框架的一个变体，我们称之为腐烂的强盗，其中每个手臂的预期奖励作为被拉动次数的函数衰减。我们受到许多现实世界场景的激励，例如在线广告，内容推荐，众包等。我们提出的算法，伴随着模拟，并推导出理论保证。
2017-11-02 cs.LG stat.ML
The Value of Reward Lookahead in Reinforcement Learning
FairPlay Joint Team（FairPlay联合团队）；CREST（CREST研究中心）；ENSAE Paris（巴黎ENSAE学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；Criteo AI Lab（Criteo人工智能实验室）
本文通过竞争分析视角，量化分析了强化学习中未来奖励前瞻信息的价值，推导出标准RL智能体与具有部分未来奖励前瞻智能体价值比率的最坏情况精确比率及紧致界限，并发现该比率与离线RL和无奖励探索中的已知量相关。
2024-10-11 cs.LG stat.ML
MARL with General Utilities via Decentralized Shadow Reward Actor-Critic
Princeton University（普林斯顿大学）；US Army Research Laboratory（美国陆军研究实验室）；DeepMind（深度思维）
我们提出了一种新的多智能体强化学习（MARL）合作机制，该机制基于团队长期状态-动作占用度量的任何非线性函数，即，一个\emph{general utility}。这包含了累积收益，但也允许人们将风险敏感性，勘探和先验纳入其中。我们推导出{ \bf D}去中心化的{ \bf S}hadow奖励{ \bf A}ctor-{ \bf C} critic（DSAC），其中代理在策略评估（critic）、与邻居的加权平均（信息混合）和其策略参数的局部梯度更新（actor）之间交替。DSAC通过要求代理（i）估计其本地占用度量以（ii）估计本地效用相对于其占用度量的导数，即，“影子奖励”。DSAC以高概率收敛到$ε$ -$\mathcal{O}(1/ε^{2.5})$（定理\ref{theorem:final}）或更快的$\mathcal{O}(1/ε^{2})$（推论\ref{corollary:communication}）步骤中的平稳性，这取决于通信量。我们进一步建立了不存在虚假的平稳点，这个问题，也就是说，DSAC发现的全局最优策略（推论\ref{corollary:global}）。实验证明了合作MARL中超越累积收益的目标的优点。
2021-06-24 cs.AI cs.LG math.OC
Risk-Sensitive Reinforcement Learning via Policy Gradient Search
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Maryland, College Park（马里兰大学帕克分校）
传统的强化学习（RL）问题的目标是找到优化性能度量的期望值的策略，例如无限时域累积折扣或长期平均成本/回报。在实践中，单独优化期望值可能并不令人满意，因为可能需要将风险的概念结合到优化问题公式中，无论是在目标中还是作为约束。在文献中已经提出了各种风险措施，例如，指数效用、方差、百分位绩效、机会约束、风险价值（分位数）、条件风险价值、前景理论及其后来的增强、累积前景理论。在本书中，我们考虑了两种情况下的风险敏感强化学习：一种情况下的目标是找到一种策略，在确保满足风险约束的同时优化通常的期望值目标;另一种情况下的目标是风险度量。我们调查了最近在这方面的一些工作，特别是策略梯度搜索是解决方案的方法。在第一个风险敏感的RL设置，我们涵盖流行的风险措施的基础上方差，条件风险值，机会约束，并提出了一个模板，策略梯度为基础的风险敏感的RL算法使用拉格朗日公式。对于风险直接纳入目标函数的设置，我们考虑了指数效用公式，累积前景理论和连贯的风险措施。这篇非详尽的调查旨在介绍使用策略梯度方法解决风险敏感RL问题所面临的挑战，并概述一些潜在的未来研究方向。
2022-05-23 cs.LG math.OC stat.ML
Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
Successor-Predecessor Intrinsic Exploration
Institute of Cognitive Neuroscience（认知神经科学研究所）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究所）；UCL（伦敦大学学院）；Department of Psychology, Harvard University（哈佛大学心理学系）
本文提出后继-前驱内在探索算法 SPIE，通过结合前瞻与回溯信息构造内在奖励，提升稀疏奖励和瓶颈状态环境中的探索效率，并在 Atari 游戏上取得优于现有方法的性能。
2024-01-25 cs.LG
Combinatorial Multi-armed Bandits for Resource Allocation
Carnegie Mellon University（卡内基梅隆大学）
我们研究的顺序资源分配问题，决策者反复分配资源之间的预算。激励性示例包括将有限的计算时间或无线频谱带分配给多个用户（即，资源）。在每一个时间步，决策者应该在不同的资源之间分配其可用的预算，以最大限度地提高预期回报，或等价地减少累积的遗憾。在这样做时，决策者应该从每个用户收到的奖励的反馈中了解为每个用户分配的资源的价值。例如，用户可以通过无线频谱带发送不同紧急程度的消息;通过向用户分配频谱而生成的奖励则取决于消息的紧急程度。我们假设每个用户的奖励遵循一个最初未知的随机过程。我们设计了组合多臂强盗算法来解决这个问题，离散或连续的预算。我们证明了所提出的算法实现对数遗憾下半强盗反馈。
2021-05-10 cs.LG stat.ML
Constrained Contextual Bandits with Adversarial Contexts
Indian Institute of Technology Kharagpur（印度理工学院哈里科尔）；Tata Institute of Fundamental Research（印度基础研究科学研究院）
研究在对抗性情境下的预算约束情境老虎机问题，通过在线回归预言机将约束问题转化为标准无约束情境老虎机问题，改进了对更一般对抗性情境的保证。
2026-10-14 cs.LG
Thompson Sampling Regret Bounds for Contextual Bandits with sub-Gaussian rewards
KTH Royal Institute of Technology（KTH皇家理工学院）
本文基于提升信息比框架分析 Thompson Sampling，将遗憾界从二值奖励推广至 sub-Gaussian 奖励，并给出多种上下文赌博机情形的明确界。
2023-04-26 cs.LG stat.ML
On Penalization in Stochastic Multi-armed Bandits
Baidu Research（百度研究院）；Cornell University（康奈尔大学）
我们研究了随机多臂强盗（MAB）问题的一个重要变种，其中考虑了惩罚。我们需要在总报酬和公平水平之间取得平衡，而不是直接最大化累积期望报酬。在本文中，我们提出了一些新的见解，在MAB和制定的惩罚框架，严格的惩罚遗憾可以很好地定义和更复杂的遗憾分析是可能的问题。在此框架下，我们提出了一个硬阈值类UCB算法，它具有许多优点，包括渐近公平性，近最优的遗憾，更好地权衡奖励和公平性。间隙依赖和间隙独立的遗憾界已经建立。多个有见地的评论，以说明我们的理论分析的合理性。大量的实验结果证实了理论和显示我们的方法优于其他现有的方法。
2022-11-15 cs.LG stat.ML
DeepRMSA: A Deep Reinforcement Learning Framework for Routing, Modulation and Spectrum Assignment in Elastic Optical Networks
University of California, Davis（加州大学戴维斯分校）；University of Science and Technology of China（中国科学技术大学）
本文提出了DeepRMSA，一个深度强化学习框架，用于弹性光网络（EONs）中的路由、调制和频谱分配（RMSA）。DeepRMSA通过使用可以感知复杂EON状态的深度神经网络（DNN）参数化策略来学习正确的在线RMSA策略。DNN通过动态光路供应的经验进行训练。我们首先修改了异步优势演员-评论家算法，并提出了一种基于情节的DeepRMSA训练机制，即DeepRMSA-EP。DeepRMSA-EP将动态配置过程划分为多个片段（每个片段包含固定数量的光路请求的服务），并在每个片段结束时执行训练。DeepRMSA-EP在服务请求的每一步的优化目标是最大化剩余片段中的累积奖励。因此，我们需要估计未知的未来状态相关的奖励。为了克服DeepRMSA-EP训练中由于累积奖励的振荡而导致的不稳定问题，我们进一步提出了一种基于窗口的灵活训练机制，即，DeepRMSA-FLX. DeepRMSA-FLX试图通过将每一步的优化范围定义为滑动窗口来消除振荡，并确保累积奖励始终包括来自固定数量请求的奖励。两个样本拓扑的评估表明，与基线相比，DeepRMSA-FLX可以有效地稳定训练，同时实现阻塞概率降低超过20.3%和14.3%。
2019-05-15 cs.LG cs.NI eess.SP
Risk-sensitive Markov Decision Process and Learning under General Utility Functions
University of Southern California（南加州大学）；New York University（纽约大学）
本文研究一般效用函数下的风险敏感马尔可夫决策过程，通过扩充状态空间记录累积奖励并提出改进的值迭代算法，在有/无模拟器时均能保证近最优策略的样本复杂度或遗憾界，并建立了匹配下界的理论遗憾下界。
2024-12-21 cs.LG math.OC
Improving On-policy Learning with Statistical Reward Accumulation
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
深度强化学习近年来取得了重大突破。深度强化学习中的大多数方法通过最大化环境提供的奖励信号来实现良好的结果，通常以折扣累积回报的形式。这样的奖励信号表示代理执行的特定动作的即时反馈。然而，稀疏奖励信号的任务仍然是具有挑战性的策略方法。在本文中，我们引入了一个有效的表征过去的奖励统计（这可以被视为长期的反馈信号），以补充这种即时的奖励反馈。特别是，价值函数是在多批评者监督下学习的，使得复杂的价值函数在同策略学习中更容易近似，即使在奖励信号稀疏的情况下也是如此。我们还介绍了一种新的探索机制，称为“热接线”，可以给一个看似被困的代理。我们证明了我们的优势演员多批评（A2MC）的方法在Atari游戏中的离散域以及在MuJoCo环境中的连续域的有效性。https://youtu.be/zBmpf3Yz8tc提供了一个视频演示。
2018-09-07 cs.AI cs.LG stat.ML
Choice Between Partial Trajectories: Disentangling Goals from Beliefs
Stanford University（斯坦福大学）
针对AI智能体从人类选择数据学习偏好的问题，提出基于自举回报的选择行为模型，通过证明对齐定理将目标与信念解耦，确保在多种选择行为下均能鲁棒地恢复对齐的奖励函数。
2024-12-21 cs.AI cs.LG
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
A Deep Learning Approach for Joint Video Frame and Reward Prediction in Atari Games
Microsoft Research（微软研究院）
强化学习关注的是在最初未知的环境中识别奖励最大化的行为策略。最先进的强化学习方法，如深度Q网络，是无模型的，可以在Atari游戏等广泛的环境中有效地学习，但需要大量的数据。基于模型的技术数据效率更高，但需要获得有关环境的明确知识。在本文中，我们采取了一个步骤，使用基于模型的技术，在环境中的高维视觉状态空间，证明它是可能的学习系统动力学和奖励结构联合。我们的贡献是扩展最近开发的用于Atari游戏中视频帧预测的深度神经网络，以实现奖励预测。为此，我们提出了一个联合优化问题，以最小化视频帧和奖励重建损失，并相应地调整网络参数。对五款Atari游戏的实证评估表明，累积奖励预测准确度高达200帧。我们认为这些结果为复杂的、最初未知的环境中的基于模型的强化学习开辟了重要的方向。
2017-08-17 cs.AI cs.LG stat.ML
A Farewell to Arms: Sequential Reward Maximization on a Budget with a Giving Up Option
University of Victoria（维多利亚大学）；Google（谷歌）
我们考虑一个顺序决策问题，其中一个代理可以在一个时间采取一个行动，每个行动有一个随机的时间范围，即，在前一个动作完成之前不能采取新的动作。完成后，所选择的动作产生随机奖励。代理人寻求在有限的时间预算内最大化其累积奖励，并可以选择“放弃”当前的行动-因此放弃任何奖励-以便选择另一个行动。我们把这个问题作为一个变种的随机多武装土匪问题的随机消耗资源。对于这个问题，我们首先建立了最优的手臂是一个最大化的比率的预期回报的手臂的预期等待时间之前，代理人看到的回报，由于拉手臂。使用一个新的置信度上界这个比率，然后我们引入了一个上置信度为基础的算法，WAIT-UCB，我们建立对数，问题相关的遗憾界，其中有一个改进的依赖问题的参数相比，以前的作品。各种问题的配置比较WAIT-UCB对国家的最先进的算法的模拟。
2020-03-06 cs.AI cs.LG stat.ML
Reinforcement Learning From Imperfect Corrective Actions And Proxy Rewards
The University of Michigan-Shanghai Jiao Tong University Joint Institute (UM-SJTU JI)（密歇根大学-上海交通大学联合学院）；Duke Kunshan University（昆山杜克大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
针对强化学习中代理奖励缺陷导致的人机对齐问题，提出融合不完美纠正动作与代理奖励的ICoPro算法，通过三阶段迭代训练结合伪标签设计，在多任务中实现更优的人类偏好对齐效果与样本效率。
2024-10-08 cs.LG
Stochastic Decision Horizons for Survival-Based Constrained Reinforcement Learning
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心 (ScaDS.AI)）；Hertie Institute for Clinical Brain Research & Center for Integrative Neuroscience（赫尔特临床脑研究所在线及整合神经科学中心）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出随机决策视界（SDH）框架，通过状态-动作延续概率实现每步约束满足，并开发了首个离策略和正则化算法（AS-SAC和VT-MPO），在90肌肉人形机器人上以4倍更少的环境步数达到最先进步态真实度。
2026-09-30 cs.LG
Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
深度强化学习模型容易受到对抗攻击的攻击，这种攻击可以通过操纵受害者的观察来减少受害者的累积预期奖励。尽管以前的基于优化的方法在监督学习中生成对抗性噪声的效率很高，但这些方法可能无法实现最低的累积奖励，因为它们通常不探索环境动态。在本文中，我们提供了一个框架，以更好地理解现有的方法，通过重新制定的对抗攻击的强化学习在函数空间的问题。我们的重新制定产生一个最佳的对手在功能空间的目标攻击，击退他们通过一个通用的两阶段框架。在第一阶段，我们通过对环境进行黑客攻击来训练欺骗性策略，并发现一组轨迹，这些轨迹路由到最低奖励或最差情况的性能。接下来，对手通过扰乱观察来误导受害者模仿欺骗性政策。与现有的方法相比，我们从理论上表明，我们的对手是在适当的噪声水平下更强。大量的实验表明，我们的方法的优越性，在效率和有效性方面，实现国家的最先进的性能在Atari和MuJoCo环境。
2023-02-27 cs.LG
Reachability-Aware Diffusion Policy Optimization
Bilkent University（比尔肯大学）
提出无模型的可达性感知扩散策略优化方法，结合预测性首次命中安全估计与累积成本预算反馈，学习折扣首次命中可达性值塑造奖励，通过加权去噪回归改进扩散策略，在十个连续控制安全任务中实现有竞争力的奖励-成本权衡，显著减少约束违反。
2026-10-06 cs.LG cs.RO
