Go Beyond Imagination: Maximizing Episodic Reachability with World Models
University of Michigan(密歇根大学);LG AI(LG人工智能研究院)
针对强化学习稀疏奖励任务的高效探索难题,提出结合终身新奇性与情景内在奖励的GoBI方法,利用世界模型生成预测状态并为高独特性未记忆状态分配高奖励,在导航与运动任务上均取得更优表现。
2023-08-25 cs.LG
Contextual Bandits for Maximizing Stimulated Word-of-Mouth Rewards
University of California, Berkeley(加州大学伯克利分校)
提出上下文多臂赌博机框架,通过学习个体溢出概率并排序连接用户,以最大化激励口碑奖励,实验证明考虑溢出异质性可提升目标定位精度。
2026-06-16 cs.LG
Q-Probe: A Lightweight Approach to Reward Maximization for Language Models
John A. Paulson School Of Engineering And Applied Sciences, Harvard University(哈佛大学约翰·保尔森工程与应用科学学院);Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学坎普纳自然与人工智能研究所);Center of Mathematical Sciences and Applications, Harvard University(哈佛大学数学科学与应用中心)
提出 Q-probing 方法,通过在语言模型嵌入空间学习线性函数重加权候选补全以最大化任务奖励,介于微调与少样本提示之间,在数据受限时性能优于微调且仅需 API 访问权限。
2024-06-02 cs.LG
Reward Tweaking: Maximizing the Total Reward While Planning for Short Horizons
Technion Institute of Technology(以色列理工学院)
在强化学习中,折扣因子$γ$控制智能体的有效规划范围。传统上,该参数被认为是MDP的一部分;然而,由于深度强化学习算法在有效规划范围较长时往往变得不稳定,最近的研究将$γ$称为超参数-从而改变了底层MDP,并可能导致代理在原始任务上的次优行为。在这项工作中,我们介绍了\emph{reward tweaking}。奖励调整学习用于折扣设置的代理奖励函数$\tilde r$,其在原始有限时域总奖励任务上诱导最优行为。理论上,我们证明了存在一个替代奖励,导致在原始任务的最优性,并讨论了我们的方法的鲁棒性。此外,我们在高维连续控制任务中进行了实验,结果表明,奖励调整引导代理实现更好的长期回报,尽管它计划短期回报。
2020-06-23 cs.LG stat.ML
Maximum Expected Hitting Cost of a Markov Decision Process and Informativeness of Rewards
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出了一种新的马尔可夫决策过程复杂性测度--最大期望命中代价。这种措施通过考虑奖励结构来收紧密切相关的直径概念[JOA10]。我们发现,这个参数取代直径的最佳值跨度的扩展MDP的上限,从而完善相关的上限上的遗憾的几个UCRL 2-like算法。此外,我们表明,基于潜力的奖励塑造[NHR 99]可以诱导等效的奖励功能与不同的信息,MEHC测量。我们进一步建立,塑造可以减少或增加MEHC最多的一个因素,在一个大类的MDP有限MEHC和不饱和的最佳平均奖励的两个。
2019-11-04 cs.LG stat.ML
k-Means Maximum Entropy Exploration
Institute of Neuroinformatics(神经信息学研究所);ETH Zürich(苏黎世联邦理工学院)
针对高维连续空间稀疏奖励强化学习的探索难题,提出基于k-means的人工好奇心算法,通过熵近似下界实现高效探索,在基准测试尤其难寻奖励的任务上表现具竞争力。
2023-11-07 cs.LG
Unified theory of upper confidence bound policies for bandit problems targeting total reward, maximal reward, and more
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本研究提出老虎机UCB策略的统一理论,以预言机量为核心统一总奖励与最大奖励老虎机问题的阶最优性条件,证明MaxSearch的阶最优性,还提出PIUCB算法并验证其性能,为定制新策略提供框架。
2024-11-01 cs.LG stat.ML
Braxlines: Fast and Interactive Toolkit for RL-driven Behavior Engineering beyond Reward Maximization
Google(谷歌);Mila(米拉研究所)
连续控制的目标是综合期望的行为。在强化学习(RL)驱动的方法中,这通常是通过仔细的任务奖励工程来实现的,以实现有效的探索和运行现成的RL算法。虽然奖励最大化是RL的核心,但奖励工程并不是指定复杂行为的唯一方法,有时也不是最简单的方法。在本文中,我们介绍了\braxlines,一个工具包,用于快速和交互式的RL驱动的行为生成,超越了简单的奖励最大化,包括作曲家,一个编程API,用于生成连续的控制环境,和一组稳定的和经过良好测试的基线,用于两个系列的算法--互信息最大化(MiMax)和发散最小化(DMin)--支持无监督的技能学习和分布草图作为行为规范的其他模式。此外,我们讨论了如何标准化的指标来评估这些算法,它可以不再依赖于简单的奖励最大化。我们的实现建立在Jax中的硬件加速Brax模拟器上,只需进行最小的修改,即可在几分钟的训练内实现行为合成。我们希望Braxlines可以作为一个交互式工具包,用于快速创建和测试环境和行为,为未来的基准设计和RL驱动的行为生成及其算法研究的新模式提供爆炸性增长。
2021-10-10 cs.AI cs.LG
Reward-Biased Maximum Likelihood Estimation for Neural Contextual Bandits
National Yang Ming Chiao Tung University(国立阳明交通大学)
奖励偏置最大似然估计(RBMLE)是自适应控制文献中解决探索-利用权衡的经典原理。本文研究了具有一般有界报酬函数的随机上下文强盗问题,提出了NeuralRBMLE算法,该算法在RBMLE原理的基础上,通过在对数似然函数中增加一个偏置项来加强探索。NeuralRBMLE利用了神经网络的表示能力,并直接在参数空间中对探索行为进行编码,而无需构建估计回报的置信区间。我们提出了NeuralRBMLE算法的两个变体:第一个变体通过梯度上升直接获得RBMLE估计,第二个变体通过近似将RBMLE简化为一个简单的索引策略。我们表明,这两种算法实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾。通过大量的实验,我们证明了NeuralRBMLE算法在具有非线性奖励函数的真实数据集上实现了与最先进的方法相当或更好的经验遗憾。
2022-05-29 cs.LG stat.ML
Maximize Your Diffusion: A Study into Reward Maximization and Alignment for Diffusion-based Control
University of California, Davis(加利福尼亚大学戴维斯分校);University of South Florida(南佛罗里达大学)
本文研究基于扩散的控制中的奖励最大化问题,扩展并统一强化学习奖励对齐、DPO、监督微调和级联扩散四种微调方法,在离线 RL 控制任务中取得实证提升。
2025-02-16 cs.AI cs.LG
Average-Reward Maximum Entropy Reinforcement Learning for Underactuated Double Pendulum Tasks
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
针对IROS 2024 AI Olympics竞赛中的欠驱动双摆任务,提出结合平均回报与最大熵的无模型RL算法AR-EAPO,在仿真场景的两类双摆任务中性能和鲁棒性均优于基线,无需复杂奖励设计或系统模型。
2024-09-13 cs.LG cs.RO
Exploration Through Reward Biasing: Reward-Biased Maximum Likelihood Estimation for Stochastic Multi-Armed Bandits
Texas A&M University(得克萨斯农工大学);National Chiao Tung University(国立交通大学)
受自适应控制中的有偏最大似然估计方法的启发,我们提出了RBMLE --一种新的随机多臂强盗(SMAB)学习算法。对于广泛的SMAB,包括参数指数家庭以及非参数子高斯/指数家庭,我们表明,RBMLE产生的索引政策。为了选择RBMLE中的偏差增长率$α(t)$,我们揭示了$α(t)$和遗憾界之间的非平凡的相互作用,通常适用于指数家族以及亚高斯/指数家族土匪。为了量化有限时间的性能,我们证明了RBMLE达到顺序最优的自适应估计的未知常数的表达式中的$α(t)$高斯和亚高斯强盗。大量的实验表明,建议的RBMLE实现经验的遗憾性能与国家的最先进的方法竞争,同时更计算效率和可扩展性相比,其中表现最好的。
2020-10-23 cs.LG stat.ML
Maximizing Information Gain in Partially Observable Environments via Prediction Reward
University of Alberta(阿尔伯塔大学);University of Oxford(牛津大学);Technical University Delft(代尔夫特理工大学)
在部分可观察的环境中的信息收集可以被公式化为强化学习(RL)问题,其中奖励取决于代理的不确定性。例如,奖励可以是代理对未知(或隐藏)变量的信念的负熵。通常,RL代理的奖励被定义为状态-动作对的函数,而不是代理信念的函数;这阻碍了深度RL方法对此类任务的直接应用。本文通过提供一个简单的见解来解决对深度RL代理使用基于信念的奖励的挑战,即最大化代理信念的任何凸函数可以通过最大化预测奖励来近似:基于预测准确性的奖励。特别是,我们推导出负熵和预期预测奖励之间的精确误差。这一见解提供了理论动机的几个领域使用预测奖励-即视觉注意,问答系统,和内在动机-并强调其连接到通常不同的领域主动感知,主动感知,传感器的位置。基于这一认识,我们提出了深度预期网络(DAN),它使代理能够采取行动,以减少其不确定性,而无需执行明确的信念推理。我们提出了两个应用程序的DAN:建立一个传感器选择系统跟踪人在购物中心和学习离散模型的注意力时尚MNIST和MNIST数字分类。
2020-05-11 cs.AI cs.LG
Reward-Biased Maximum Likelihood Estimation for Linear Stochastic Bandits
National Chiao Tung University(国立交通大学);Texas A&M University(德克萨斯农工大学)
修改奖励偏置最大似然方法最初提出的自适应控制文献中,我们提出了新的学习算法,以处理探索利用权衡线性土匪问题以及广义线性土匪问题。我们开发了新的指数政策,我们证明实现了订单最优,并表明他们实现了经验的表现与国家的最先进的基准方法在广泛的实验竞争。新的政策实现了这一点,每次拉低计算时间的线性土匪,从而导致有利的遗憾,以及计算效率。
2020-10-08 cs.LG stat.ML
Diffusion Alignment as Variational Expectation-Maximization
KAIST(韩国科学技术院);MongooseAI;Mila - Quebec AI Institute(魁北克人工智能研究所);University of Edinburgh(爱丁堡大学);Mila, Université de Montréal(魁北克大学Mila);Omelet
DAV通过变分期望最大化框架,在文本生成和DNA设计中实现奖励优化与多样性保持。
2026-03-06 cs.LG
A maximum-entropy approach to off-policy evaluation in average-reward MDPs
DeepMind(深度思维);Google(谷歌)
本文主要研究无限时域非折扣马尔可夫决策过程中的函数逼近离政策评估问题。对于遍历性和线性的MDP(即奖励和动态在一些已知特征中是线性的),我们提供了第一个有限样本OPE误差界,将现有结果扩展到情节和折扣情况之外。在一个更一般的设置,当特征动态近似线性和任意奖励,我们提出了一种新的方法来估计平稳分布函数近似。我们制定了这个问题,找到最大熵分布的经验动力学下匹配功能的期望。我们表明,这导致指数族分布,其充分的统计特征,并行最大熵方法在监督学习。我们证明了所提出的OPE方法在多种环境中的有效性。
2020-06-17 cs.AI cs.LG
Automatic Reward Design via Learning Motivation-Consistent Intrinsic Rewards
NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
奖励设计是强化学习应用的关键部分,其性能在很大程度上取决于奖励信号如何构建设计者的目标,以及信号如何评估实现该目标的进展。在许多情况下,环境提供的外在奖励(例如,比赛的输赢)非常稀少,并使得难以直接训练代理。在实践中,研究者通常通过添加一些辅助奖励来辅助Agent的学习。然而,设计辅助奖励往往是转向一个试错搜索奖励设置,产生可接受的结果。在本文中,我们提出了自动生成目标一致的内在奖励的智能体学习,通过最大化的预期累积的外在奖励可以最大化。为此,我们引入了动机的概念,它抓住了最大化某些奖励的潜在目标,并提出了基于动机的奖励设计方法。其基本思想是通过最小化内在和外在动机之间的距离来塑造内在奖励。我们进行了大量的实验,并表明我们的方法比国家的最先进的方法在处理延迟奖励,探索和信用分配的问题。
2022-07-29 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联,提出基于替代奖励的统一优化框架,为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Robust Optimization for Mitigating Reward Hacking with Correlated Proxies
Department of Computer Science(计算机科学系)
本文提出通过鲁棒策略优化方法应对奖励黑客问题,基于r相关性代理奖励空间,改进代理优化并提升鲁棒性与透明度。
2026-04-13 cs.LG
Exploration by Maximizing Rényi Entropy for Reward-Free RL Framework
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University(清华大学交叉信息研究院)
探索是强化学习(RL)的关键。为了应对探索的挑战,我们考虑了一个无奖励的RL框架,该框架将探索与利用完全分离,并为探索算法带来了新的挑战。在探索阶段,代理通过与无奖励环境交互来学习探索性策略,并通过执行策略来收集转换数据集。在规划阶段,智能体基于数据集为任何奖励函数计算好的策略,而无需进一步与环境交互。这个框架适用于Meta RL设置,其中有许多感兴趣的奖励函数。在探索阶段,我们提出了最大化Renyi熵的状态-动作空间,并证明这一目标的理论。以仁义熵为目标函数的成功在于它鼓励人们探索难以达到的状态行为。我们进一步推导出一个策略梯度制定此目标,并设计了一个实用的探索算法,可以处理复杂的环境。在规划阶段,我们使用批量RL算法解决给定任意奖励函数的好策略。经验上,我们表明,我们的探索算法是有效的和样本效率,并在规划阶段的任意奖励函数的优越政策的结果。
2020-12-10 cs.LG stat.ML
When Do Intrinsic Rewards Lead to Exploration?
Stanford University(斯坦福大学)
本文提出反事实信息作为探索标准,证明现有内在奖励在简单环境中获取反事实信息时是帕累托次优的,并给出成功条件及改进目标。
2026-10-02 cs.LG
Multi-objective Contextual Multi-armed Bandit with a Dominant Objective
Bilkent University(比尔肯特大学)
在本文中,我们提出了一个新的多目标上下文多臂强盗(MAB)问题的两个目标,其中一个目标优于其他目标。与单目标MAB问题不同,在单目标MAB问题中,学习者为它选择的每个手臂获得随机标量奖励,在所提出的问题中,学习者获得随机奖励向量,其中奖励向量的每个分量对应于目标之一,并且奖励的分布取决于在每轮开始时提供给学习者的上下文。我们称这个问题为上下文多臂强盗与一个占主导地位的目标(CMAB-DO)。在CMAB-DO中,学习器的目标是最大化其在非主导目标中的总回报,同时确保其在主导目标中的总回报最大化。在这种情况下,给定上下文的最优臂是在最大化主导目标中的预期回报的所有臂中最大化非主导目标中的预期回报的臂。首先,我们证明了最优的手臂位于帕累托前沿。然后,我们提出了多目标上下文多臂强盗算法(MOC-MAB),并定义了两个性能指标:二维(2D)遗憾和帕累托遗憾。结果表明,MOC-MAB的二维后悔和帕累托后悔都是次线性的。我们还比较了所提出的算法与其他国家的最先进的方法在合成和真实世界的数据集的性能。所提出的模型和算法具有广泛的实际应用,涉及多个和可能相互冲突的目标,从无线通信到医疗诊断和推荐系统。
2018-06-01 cs.LG
On the Performance of Maximum Likelihood Inverse Reinforcement Learning
Universidad de Zaragoza(萨拉戈萨大学);Centro Universitario de la Defensa, Zaragoza(萨拉戈萨国防大学中心)
逆强化学习(IRL)解决了恢复任务描述的问题,给出了用于解决此类任务的最佳策略的演示。最优策略通常由专家或教师提供,使得IRL特别适合于学徒学习问题。任务描述以马尔可夫决策过程(MDP)的奖励函数的形式编码。已经提出了几种算法来找到对应于一组演示的奖励函数。在不同应用中提供最佳结果的算法之一是优化策略平方误差准则的梯度方法。在平行线的研究,其他作者最近提出了一个梯度近似的最大似然估计的奖励信号。一般来说,这两种方法在不同阶段近似梯度估计和准则,使算法易于处理和有效。在这项工作中,我们提供了一个详细的描述不同的方法,以突出奖励估计,政策相似性和计算成本方面的差异。我们还提供了实验结果,以评估性能的差异的方法。
2012-02-07 cs.LG
A Unified Bellman Optimality Principle Combining Reward Maximization and Empowerment
授权是一种信息理论的方法,可以用来内在地激励学习代理。它试图最大限度地提高代理的控制环境,鼓励访问状态与大量的可达的下一个国家。授权学习已被证明会导致复杂的行为,而不需要明确的奖励信号。在本文中,我们研究了在存在外部奖励信号的情况下授权的使用。我们假设,授权可以引导强化学习(RL)代理,以找到良好的早期行为解决方案,鼓励高度授权的状态。我们提出了一个统一的贝尔曼最优原则授权奖励最大化。我们的授权奖励最大化方法概括了贝尔曼的最优性原则,以及最近的信息理论扩展到它。我们证明了授权值的唯一性,并显示收敛到最优解。然后,我们应用这个想法来开发关闭政策的演员-评论家RL算法,我们在高维连续机器人领域(MuJoCo)验证。我们的方法证明了改进的初始和竞争力的最终性能相比,无模型的最先进的技术。
2020-01-08 cs.AI cs.LG stat.ML
Mitigating Disparity while Maximizing Reward: Tight Anytime Guarantee for Improving Bandits
Indian Institute of Science(印度科学学院);Arithmic Labs(Arithmic实验室);Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
我们研究了改进多臂强盗(IMAB)问题,其中从手臂获得的奖励随着它收到的拉动次数而增加。这个模型为教育和就业等领域的许多现实问题提供了一个优雅的抽象,在这些领域,关于机会分配的决策可能会影响社区的未来能力和它们之间的差距。在这种情况下,决策者除了考虑在任何时候最大化其累积回报的标准目标外,还必须考虑其决策对未来回报的影响。在许多这些应用中,时间范围是未知的决策者事先,这促使IMAB问题的研究,在技术上更具挑战性的地平线不知道设置。我们研究了在视界不感知环境中两个看似冲突的目标之间产生的紧张关系:a)根据武器的当前奖励,在任何时候最大化累积奖励,以及b)确保具有更好的长期奖励的武器获得足够的机会,即使它们最初的奖励很低。我们发现,令人惊讶的是,这两个目标是相互一致的,在这种情况下。我们的主要贡献是一个随时算法的IMAB的问题,实现了最好的可能的累积奖励,同时确保武器达到其真正的潜力给予足够的时间。我们的算法减轻了由于缺乏机会而导致的初始差异,并继续拉动手臂,直到它停止改善。我们证明了我们的算法的最优性,表明a)任何算法的IMAB问题,无论多么功利,必须遭受$Ω(T)$政策遗憾和$Ω(k)$竞争比相对于最佳离线政策,和b)我们的算法的竞争比是$O(k)$。
2022-08-19 cs.AI cs.LG
Effective Reward Specification in Deep Reinforcement Learning
Polytechnique Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学)
该论文综述深度强化学习中的有效奖励规范策略,分析奖励失配与学习低效等挑战,并提出改善样本效率和对齐的原创贡献。
2024-12-10 cs.LG
MaxCode: A Max-Reward Reinforcement Learning Framework for Automated Code Optimization
Johns Hopkins University(约翰霍普金斯大学);Amazon Web Services(亚马逊网络服务)
MaxCode通过max-reward强化学习框架提升代码优化性能,实现20.3%的绝对速度提升和10.1%的相对排名提升。
2026-01-09 cs.CL cs.LG
Do You Need the Entropy Reward (in Practice)?
Horizon Robotics(地平线机器人(Horizon Robotics))
最大熵(MaxEnt)RL最大化原始任务奖励和熵奖励的组合。据信,熵对策略改进和策略评估施加的正则化共同有助于学习策略的良好探索、训练收敛和鲁棒性。本文通过对MaxEnt RL的流行代表软演员-评论家(SAC)进行各种消融研究,进一步研究熵作为内在奖励。我们的研究结果表明,在一般情况下,熵奖励应谨慎应用于政策评估。一方面,熵奖励,像任何其他内在奖励一样,如果管理不当,可能会掩盖主要任务奖励。我们确定了一些失败的情况下,特别是在情节马尔可夫决策过程(MDPs),它可能会导致政策过于乐观或悲观的熵奖励。另一方面,我们的大规模实证研究表明,在政策改进中单独使用熵正则化,比在政策改进和政策评估中使用熵正则化带来相当甚至更好的性能和鲁棒性。基于这些观察结果,我们建议将熵奖励标准化为零均值(SACZero),或者简单地将其从策略评估中删除(SACLite)以获得更好的实际结果。
2022-01-28 cs.AI cs.LG cs.RO
A Farewell to Arms: Sequential Reward Maximization on a Budget with a Giving Up Option
University of Victoria(维多利亚大学);Google(谷歌)
我们考虑一个顺序决策问题,其中一个代理可以在一个时间采取一个行动,每个行动有一个随机的时间范围,即,在前一个动作完成之前不能采取新的动作。完成后,所选择的动作产生随机奖励。代理人寻求在有限的时间预算内最大化其累积奖励,并可以选择“放弃”当前的行动-因此放弃任何奖励-以便选择另一个行动。我们把这个问题作为一个变种的随机多武装土匪问题的随机消耗资源。对于这个问题,我们首先建立了最优的手臂是一个最大化的比率的预期回报的手臂的预期等待时间之前,代理人看到的回报,由于拉手臂。使用一个新的置信度上界这个比率,然后我们引入了一个上置信度为基础的算法,WAIT-UCB,我们建立对数,问题相关的遗憾界,其中有一个改进的依赖问题的参数相比,以前的作品。各种问题的配置比较WAIT-UCB对国家的最先进的算法的模拟。
2020-03-06 cs.AI cs.LG stat.ML
Off-Policy Maximum Entropy RL with Future State and Action Visitation Measures
本文提出一种离策略最大熵RL方法,将内在奖励定义为未来状态-动作折扣分布的相对熵,并借助不动点学习算法实现良好覆盖与高性能控制。
2025-09-29 cs.LG stat.ML
A General Framework for Off-Policy Learning with Partially-Observed Reward
Waseda University(早稻田大学);HAKUHODO Technologies Inc.(HAKUHODO技术公司);Cornell University(康奈尔大学)
针对部分观测奖励下上下文赌博机离线策略学习效果下降的问题,提出结合部分观测目标奖励与密集次级奖励的HyPeR方法,在多场景下优于现有方法。
2025-06-17 cs.LG
Learning to Play Text-based Adventure Games with Maximum Entropy Reinforcement Learning
University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学);Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所(MPI-SWS))
本文将soft-actor-critic算法适配至文本游戏环境,并结合基于势能的奖励塑形技术提供稠密奖励信号,以解决稀疏奖励问题,实验表明该方法在半数训练步数下即可超越Q-learning并获得更高分数。
2023-06-27 cs.LG
Combinatorial Bandits for Maximum Value Reward Function under Max Value-Index Feedback
London School of Economics(伦敦政治经济学院);Microsoft Research Asia(微软亚洲研究院)
本文研究最大价值-索引反馈下的组合多臂赌博机问题,提出一种新算法,并证明其遗憾界与信息更丰富的半赌博机反馈下的已知界相当,实验验证了其有效性。
2023-05-25 cs.LG math.ST stat.TH
Discrete Probabilistic Inference as Control in Multi-path Environments
Université de Montréal(蒙特利尔大学);Valence Labs;McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
本文研究离散分布采样问题,提出修正奖励使最优最大熵强化学习策略的边际分布与原始奖励成比例,并证明GFlowNet流匹配目标等价于修正奖励的MaxEnt RL算法,实验验证了多种算法性能。
2024-05-27 cs.LG
Learning to Bid Long-Term: Multi-Agent Reinforcement Learning with Long-Term and Sparse Reward in Repeated Auction Games
Huawei Technology(华为技术);Hasso Plattner Institute(哈索·普拉特纳研究院)
我们提出了一种多智能体分布式强化学习算法,该算法在潜在冲突的短期奖励和稀疏、延迟的长期奖励之间进行平衡,并在动态环境中使用部分信息进行学习。我们比较了不同的长期奖励,以激励算法最大化个人收益和整体社会福利。我们在两个模拟拍卖游戏中测试了该算法,并证明:1)我们的算法优于两个基准算法在直接竞争,成本社会福利,和2)我们的算法的积极的竞争行为可以指导与长期奖励信号,以最大限度地提高个人收益和整体社会福利。
2022-04-05 cs.GT cs.LG
BiCQL-ML: A Bi-Level Conservative Q-Learning Framework for Maximum Likelihood Inverse Reinforcement Learning
Department of Electrical and Computer Engineering, Seoul National University(电子与计算机工程系,首尔国立大学)
BiCQL-ML通过双层框架联合优化奖励函数和保守Q函数,提升离线逆强化学习中的奖励恢复和下游策略性能。
2025-11-27 cs.LG cs.RO
A general Markov decision process formalism for action-state entropy-regularized reward maximization
Universitat Pompeu Fabra(庞培法布拉大学)
以前的工作分别讨论了不同形式的行动,状态和行动状态熵正则化,纯探索和空间占领。这些问题对于规则化、泛化、加速学习和以前所未有的水平提供强大的解决方案都变得非常重要。然而,这些问题的解决方案是繁忙的,从凸和非凸优化,无约束优化,约束优化。在这里,我们提供了一个一般的对偶函数形式主义,将约束优化问题转化为一个无约束的凸的任何混合行动和状态熵。纯作用熵和纯状态熵的情况被理解为混合的极限。
2023-02-02 cs.AI cs.LG
Leveraging heterogeneous spillover in maximizing contextual bandit rewards
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出一种考虑异质溢出效应的上下文老虎机框架,通过引入邻居行为和网络结构信息提升推荐奖励。
2025-01-24 cs.LG cs.SI
On the Regularity and Fairness of Combinatorial Multi-Armed Bandit
本文针对无线网络应用,提出了一种参数化的规律且公平的学习算法,通过线性组合虚拟队列长度、TSLR度量和UCB估计值,在最大化累积奖励的同时保证了臂间的公平性与奖励规律性,并实现了零累积公平性违规。
2025-09-15 cs.LG
Designing Rewards for Fast Learning
Brown University(布朗大学)
为了向强化学习(RL)代理传达所需的行为,设计者必须为环境选择一个奖励函数,可以说这是设计者在与RL代理交互时最重要的旋钮。尽管许多奖励函数诱导相同的最佳行为(Ng等人,1999年),在实践中,其中一些导致比其他更快的学习。在本文中,我们研究了奖励设计选择如何影响学习速度,并试图确定快速诱导目标行为的良好奖励设计的原则。这个奖励识别问题被框定为一个优化问题:首先,我们主张选择基于状态的奖励,最大化的行动差距,使最佳行动容易区分从次优的。其次,我们建议尽量减少地平线的措施,我们称之为“主观折扣”,奖励需要优化,以鼓励代理作出最佳决策,减少前瞻性。为了解决这个优化问题,我们提出了一个基于线性规划的算法,有效地找到一个奖励函数,最大限度地提高行动差距,最小化主观折扣。我们使用Q-Learning在表格环境中测试了该算法产生的奖励,并以经验证明它们可以更快地学习。虽然我们只关注Q-Learning,因为它可能是最简单和最好理解的RL算法,但R-max的初步结果(Brafman和Tennenholtz,2000)表明我们的结果更普遍。我们的实验支持奖励设计的三个原则:1)与现有结果一致,惩罚每一步比奖励目标更快地诱导学习。2)当沿着目标轨迹奖励子目标时,奖励应该随着目标的接近而逐渐增加。3)在每个状态下都不为零的密集奖励只有在仔细设计时才是好的。
2022-05-30 cs.AI cs.LG
Multinomial Subset Routing with Sum-Max Rewards and Operational Constraints
National University of Singapore(新加坡国立大学);The Great Bay University(大湾区大学)
针对现有路由方法无法处理仅依赖最佳专家的奖励结构及操作约束的问题,提出OMD-Approachability方法,在真实众包数据集上验证了其性能。
2026-09-29 cs.AI cs.LG
Reward-Free Attacks in Multi-Agent Reinforcement Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
我们调查如何有效的攻击者可以当它只从受害者的行为,而不访问受害者的奖励。在这项工作中,我们的动机的情况下,攻击者想要的行为策略时,受害者的动机是未知的。我们认为,攻击者可以使用的一种启发式方法是最大限度地提高受害者的政策熵。策略通常不会被混淆,这意味着它可以通过被动地观察受害者来提取。我们提供了这样一个战略的形式,奖励免费的探索算法,最大限度地提高攻击者的熵在探索阶段,然后最大限度地提高受害者的经验熵在规划阶段。在我们的实验中,受害者代理通过策略熵最大化被颠覆,这意味着攻击者可能不需要获得受害者的奖励才能成功。因此,仅基于观察行为的无奖励攻击表明,即使受害者的奖励信息受到保护,攻击者也可以在不了解受害者动机的情况下采取战略行动。
2021-12-02 cs.AI cs.LG cs.MA
Preference as Reward, Maximum Preference Optimization with Importance Sampling
本文提出最大偏好优化(MPO)算法,通过重要性采样视角结合RLHF和IPO的目标,有效处理off-policy KL正则化项,消除对奖励模型和参考策略的需求,简化学习过程。
2024-03-25 cs.AI cs.LG
Maximal Objectives in the Multi-armed Bandit with Applications
The University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出多臂老虎机中最大化各臂最高总奖励的新目标,证明其下界并设计自适应先探索后提交策略以渐近达到该界,且推广至前m臂情形,应用于在线平台参与者供给培育。
2023-03-10 cs.LG stat.ML
Maximum Reward Formulation In Reinforcement Learning
andBeyond(99andBeyond);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);University of Alberta(阿尔伯塔大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所);University of Waterloo(滑铁卢大学);Ecole Polytechnique Montréal(蒙特利尔综合理工学院);Alberta Machine Intelligence institute(阿尔伯塔机器智能研究所)
针对药物发现等场景无需优化累积回报、只需找最高奖励状态的需求,该研究构建了强化学习的最大奖励目标公式,推导了新的Bellman方程与算子并证明收敛,在分子生成任务上取得SOTA结果。
2023-12-19 cs.AI cs.LG stat.ML
ELEMENT: Episodic and Lifelong Exploration via Maximum Entropy
Zhejiang Lab(之江实验室);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Tianyi Digital Life Technology Co. Ltd.(天宜数字生活科技有限公司);University of Florida(佛罗里达大学)
本文提出ELEMENT,一种多尺度内在动机框架,通过结合终身熵最大化和情景熵项,解决大规模无奖励探索中内在奖励消失和熵估计不可行的问题,在状态覆盖和预训练上超越现有基线。
2026-09-23 cs.AI cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization
UC Berkeley(加州大学伯克利分校)
本研究提出MaxInfoRL框架,通过最大化任务信息增益等内在奖励引导定向探索,结合玻尔兹曼探索平衡价值与熵最大化,在多臂老虎机场景实现次线性遗憾,应用于连续空间离线无模型RL方法后,在困难探索及视觉控制任务中性能更优。
2025-07-31 cs.AI cs.LG cs.RO
Reward Biased Maximum Likelihood Estimation for Reinforcement Learning
Texas A&M University(得克萨斯农工大学);Indian Institute of Science(印度科学学院)
为了克服自适应控制的基本“闭可辨识性问题”、“对偶控制问题”或“探索与利用问题”的中心障碍,提出了马尔可夫链自适应控制的有偏最大似然估计(RBMLE).它利用了一个关键的观察,即由于最大似然参数估计可以在确定性等价方法下渐近地识别闭转移概率,因此限制参数估计必须具有小于真实但未知系统可获得的最优奖励的最优奖励。因此,它提出了一个抵消反向偏置,有利于具有更大的最佳回报的参数,提供了一个解决方案,上面提到的基本问题。因此,它提出了一种支持具有更大最优回报的参数的乐观方法,现在被称为“面对不确定性的乐观”。RBMLE方法已被证明是在各种情况下的长期平均奖励最优。然而,现代人的注意力集中在“后悔”或有限时间表现的更精细的概念上。最近对多武器随机土匪和线性背景土匪的RBMLE分析表明,它不仅具有最先进的遗憾,而且还表现出与当前最佳竞争者相当或更好的经验表现,并导致惊人的简单指数政策。出于这一动机,我们研究的有限时间性能的RBMLE的强化学习任务,涉及一般问题的最优控制未知马尔可夫决策过程。我们表明,它有一个遗憾的$\mathcal{O}( \log T)$在一个时间范围内的$T$步骤,类似于国家的最先进的算法。仿真研究表明,RBMLE优于其他算法,如UCRL 2和汤普森采样。
2021-05-15 cs.LG cs.SY eess.SY
Nuclear Norm Maximization Based Curiosity-Driven Learning
National University of Defense Technology(国防科技大学);Artificial Intelligence Research Center, DII(国防创新研究院人工智能研究中心)
为了解决强化学习中外部奖励的稀疏性,研究人员提出了内在奖励,使智能体能够学习将来可能对追求奖励有用的技能,例如鼓励智能体访问新状态。然而,由于环境的随机性,内在奖励可能是噪声的,直接应用噪声值预测来监督策略不利于提高学习性能和效率。此外,许多先前的研究采用$\ell^2$范数或方差来衡量探索的新颖性,这将放大由于平方运算的噪声。在本文中,我们通过提出一种利用核范数最大化(NNM)的新好奇心来解决上述挑战,该好奇心可以更准确地量化探索环境的新颖性,同时对噪声和离群值提供高容忍度。我们在各种基准测试环境中进行了广泛的实验,结果表明,与以前的好奇心方法相比,NNM可以提供最先进的性能。在26个Atari游戏子集上,当只使用内在奖励进行训练时,NNM实现了1.09的人类标准化得分,这是基于竞争性内在奖励的方法的两倍。我们的代码将公开发布,以提高可重复性。
2022-05-28 cs.AI cs.LG
The Value of Reward Lookahead in Reinforcement Learning
FairPlay Joint Team(FairPlay联合团队);CREST(CREST研究中心);ENSAE Paris(巴黎ENSAE学院);Institut Polytechnique de Paris(巴黎综合理工学院);Criteo AI Lab(Criteo人工智能实验室)
本文通过竞争分析视角,量化分析了强化学习中未来奖励前瞻信息的价值,推导出标准RL智能体与具有部分未来奖励前瞻智能体价值比率的最坏情况精确比率及紧致界限,并发现该比率与离线RL和无奖励探索中的已知量相关。
2024-10-11 cs.LG stat.ML
Algorithms for Adaptive Experiments that Trade-off Statistical Analysis with Reward: Combining Uniform Random Assignment and Reward Maximization
University of Toronto(多伦多大学);Carleton College(卡洛尔学院);University of Michigan(密歇根大学);University of Cambridge(剑桥大学)
本文提出了一种统计敏感算法TS-PostDiff,通过结合均匀随机分配和奖励最大化,在统计分析与用户奖励之间进行权衡,以提高实验效率和准确性。
2026-05-18 cs.LG stat.ML
Learning by Competition of Self-Interested Reinforcement Learning Agents
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
人工神经网络可以通过向实现REINFORCE学习规则的单元均匀地广播奖励信号来训练。虽然这在训练网络时为反向传播提供了一种生物学上合理的替代方案,但与之相关的高方差使得训练深度网络变得不切实际。高方差源于低效的结构性信用分配,因为单个奖励信号被用于评估所有单元的集体行动。为了便于结构化的信用分配,我们建议用单位的传出权重的$L^2$范数的变化来替换隐藏单位的奖励信号。因此,网络中的每个隐藏单元都试图最大化其传出权重的范数,而不是全局奖励,因此我们称这种学习方法为权重最大化。我们证明了权重最大化近似遵循期望中的报酬梯度。与反向传播相反,权重最大化可用于训练连续值和离散值单元。此外,权重最大化解决了与生物相容性相关的反向传播的几个主要问题。我们的实验表明,使用权重最大化训练的网络可以比REINFORCE学习得更快,比反向传播稍慢。权重最大化说明了一个合作行为的例子,自动产生于竞争游戏中的自利代理的人口,没有任何中央协调。
2021-12-22 cs.AI cs.LG
SharedRep-RLHF: A Shared Representation Approach to RLHF with Diverse Preferences
Imperial College London(帝国理工学院伦敦分校)
针对现有RLHF方法在少数最低奖励群体上表现不佳的问题,提出SharedRep-RLHF框架,通过学习不同群体标注的共享特征优化模型,在自然语言任务中胜率最高提升20%。
2025-09-03 cs.LG stat.ML