A Unified Bellman Optimality Principle Combining Reward Maximization and Empowerment
授权是一种信息理论的方法,可以用来内在地激励学习代理。它试图最大限度地提高代理的控制环境,鼓励访问状态与大量的可达的下一个国家。授权学习已被证明会导致复杂的行为,而不需要明确的奖励信号。在本文中,我们研究了在存在外部奖励信号的情况下授权的使用。我们假设,授权可以引导强化学习(RL)代理,以找到良好的早期行为解决方案,鼓励高度授权的状态。我们提出了一个统一的贝尔曼最优原则授权奖励最大化。我们的授权奖励最大化方法概括了贝尔曼的最优性原则,以及最近的信息理论扩展到它。我们证明了授权值的唯一性,并显示收敛到最优解。然后,我们应用这个想法来开发关闭政策的演员-评论家RL算法,我们在高维连续机器人领域(MuJoCo)验证。我们的方法证明了改进的初始和竞争力的最终性能相比,无模型的最先进的技术。
2020-01-08 cs.AI cs.LG stat.ML
A general Markov decision process formalism for action-state entropy-regularized reward maximization
Universitat Pompeu Fabra(庞培法布拉大学)
以前的工作分别讨论了不同形式的行动,状态和行动状态熵正则化,纯探索和空间占领。这些问题对于规则化、泛化、加速学习和以前所未有的水平提供强大的解决方案都变得非常重要。然而,这些问题的解决方案是繁忙的,从凸和非凸优化,无约束优化,约束优化。在这里,我们提供了一个一般的对偶函数形式主义,将约束优化问题转化为一个无约束的凸的任何混合行动和状态熵。纯作用熵和纯状态熵的情况被理解为混合的极限。
2023-02-02 cs.AI cs.LG
Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization
HSE University(高等经济大学);Constructor University(康斯特大学);École polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Laboratoire de mathématiques d’Orsay(奥尔赛数学实验室)
针对 GFlowNets 中固定后向策略的限制,提出一种基于熵正则化 MDP 值函数直接最大化的后向策略优化算法,实验证明其在复杂环境中能实现更快收敛和更好的模式发现。
2025-03-03 cs.LG
Nuclear Norm Maximization Based Curiosity-Driven Learning
National University of Defense Technology(国防科技大学);Artificial Intelligence Research Center, DII(国防创新研究院人工智能研究中心)
为了解决强化学习中外部奖励的稀疏性,研究人员提出了内在奖励,使智能体能够学习将来可能对追求奖励有用的技能,例如鼓励智能体访问新状态。然而,由于环境的随机性,内在奖励可能是噪声的,直接应用噪声值预测来监督策略不利于提高学习性能和效率。此外,许多先前的研究采用$\ell^2$范数或方差来衡量探索的新颖性,这将放大由于平方运算的噪声。在本文中,我们通过提出一种利用核范数最大化(NNM)的新好奇心来解决上述挑战,该好奇心可以更准确地量化探索环境的新颖性,同时对噪声和离群值提供高容忍度。我们在各种基准测试环境中进行了广泛的实验,结果表明,与以前的好奇心方法相比,NNM可以提供最先进的性能。在26个Atari游戏子集上,当只使用内在奖励进行训练时,NNM实现了1.09的人类标准化得分,这是基于竞争性内在奖励的方法的两倍。我们的代码将公开发布,以提高可重复性。
2022-05-28 cs.AI cs.LG
Learning by Competition of Self-Interested Reinforcement Learning Agents
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
人工神经网络可以通过向实现REINFORCE学习规则的单元均匀地广播奖励信号来训练。虽然这在训练网络时为反向传播提供了一种生物学上合理的替代方案,但与之相关的高方差使得训练深度网络变得不切实际。高方差源于低效的结构性信用分配,因为单个奖励信号被用于评估所有单元的集体行动。为了便于结构化的信用分配,我们建议用单位的传出权重的$L^2$范数的变化来替换隐藏单位的奖励信号。因此,网络中的每个隐藏单元都试图最大化其传出权重的范数,而不是全局奖励,因此我们称这种学习方法为权重最大化。我们证明了权重最大化近似遵循期望中的报酬梯度。与反向传播相反,权重最大化可用于训练连续值和离散值单元。此外,权重最大化解决了与生物相容性相关的反向传播的几个主要问题。我们的实验表明,使用权重最大化训练的网络可以比REINFORCE学习得更快,比反向传播稍慢。权重最大化说明了一个合作行为的例子,自动产生于竞争游戏中的自利代理的人口,没有任何中央协调。
2021-12-22 cs.AI cs.LG
Unbiased Weight Maximization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
提出无偏权重最大化,一种改进的权重最大化学习规则,用于训练人工神经网络,通过无偏估计提高学习速度和渐近性能,适用于伯努利-逻辑单元网络。
2023-07-25 cs.AI cs.LG
A Farewell to Arms: Sequential Reward Maximization on a Budget with a Giving Up Option
University of Victoria(维多利亚大学);Google(谷歌)
我们考虑一个顺序决策问题,其中一个代理可以在一个时间采取一个行动,每个行动有一个随机的时间范围,即,在前一个动作完成之前不能采取新的动作。完成后,所选择的动作产生随机奖励。代理人寻求在有限的时间预算内最大化其累积奖励,并可以选择“放弃”当前的行动-因此放弃任何奖励-以便选择另一个行动。我们把这个问题作为一个变种的随机多武装土匪问题的随机消耗资源。对于这个问题,我们首先建立了最优的手臂是一个最大化的比率的预期回报的手臂的预期等待时间之前,代理人看到的回报,由于拉手臂。使用一个新的置信度上界这个比率,然后我们引入了一个上置信度为基础的算法,WAIT-UCB,我们建立对数,问题相关的遗憾界,其中有一个改进的依赖问题的参数相比,以前的作品。各种问题的配置比较WAIT-UCB对国家的最先进的算法的模拟。
2020-03-06 cs.AI cs.LG stat.ML
Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
ByteDance Research(字节跳动研究院);Fudan University(复旦大学);Tsinghua University(清华大学)
针对大语言模型RLHF中普遍存在的奖励过度优化问题,提出一种带轻量级不确定性估计的对抗策略优化方法AdvPO,通过分布鲁棒优化改进策略,在相关数据集上验证了其缓解过度优化、提升性能的效果。
2024-07-09 cs.AI cs.LG
Randomized Greedy Learning for Non-monotone Stochastic Submodular Maximization Under Full-bandit Feedback
KAUST(阿卜杜拉国王科技大学);Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
研究了具有完全反馈和随机报酬的无约束组合多臂次模最大化问题。以前的作品调查同样的问题,假设一个子模块和单调的奖励函数。在这项工作中,我们研究了一个更普遍的问题,即,当报酬函数不一定是单调的,并且子模块性仅在期望中被假设时。提出了随机贪婪学习算法(RGL),并从理论上证明了该算法对于水平$T$和臂数$n$都达到了$\frac{1}{2}$ -遗憾上界$\tilde{\mathcal{O}}(n T^{\frac{2}{3}})$.我们还表明,在实验中,RGL经验优于其他充分的强盗变种submodular和nonsubmodular设置。
2023-02-02 cs.AI cs.LG math.OC
Modeling human road crossing decisions as reward maximization with visual perception limitations
University of Leeds(利兹大学);University of Jyväskylä(于韦斯屈莱大学);Aalto University(阿尔托大学)
了解不同道路使用者之间的互动对于道路安全和自动驾驶汽车(AV)至关重要。关于这个主题的现有数学模型主要基于认知或机器学习(ML)方法提出。然而,目前的认知模型无法模拟一般场景中的道路使用者轨迹,而ML模型缺乏对生成行为的机制的关注,并且缺乏高层次的视角,这可能导致无法捕获重要的类人行为。在这里,我们开发了一个基于计算理性的行人过街决策模型,这种方法使用深度强化学习(RL)来学习给定人类约束的有界最优行为策略,在我们的情况下,是有限的人类视觉系统模型。我们表明,所提出的组合认知强化学习模型捕捉人类一样的模式的差距接受和交叉起始时间。有趣的是,我们的模型的决策不仅对时间间隔敏感,而且对接近车辆的速度也敏感,这被描述为人类间隙接受行为中的“偏见”。然而,我们的研究结果表明,这是对人类感知局限性的理性适应。此外,我们展示了一种方法来计算合理性模型中的个体差异,通过调节RL政策的参数的人的约束。我们的研究结果表明,通过将RL与认知模型相结合,可以产生更人性化的道路使用者行为。
2023-01-27 cs.LG
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech(康奈尔科技学院)
本文针对非参数多臂老虎机中的好臂识别问题,提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法,在错误概率约束下实现最小最大最优停止时间,并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
Hindsight Expectation Maximization for Goal-conditioned Reinforcement Learning
Columbia University(哥伦比亚大学);Fero Labs(费罗实验室)
我们提出了一个图形化的模型框架目标条件强化学习,与EM算法,操作的RL目标的下限。E步骤提供了一个自然的解释如何“事后学习”的技术,如HER,处理极其稀疏的目标条件奖励。M-step将策略优化简化为监督学习更新,这极大地稳定了对图像等高维输入的端到端训练。我们表明,组合算法,hEM显着优于无模型的基线上广泛的目标条件的基准稀疏奖励。
2021-02-26 cs.LG stat.ML
Deterministic Exploration via Stationary Bellman Error Maximization
Center for Artificial Intelligence and Data Science, University of Würzburg(维尔茨堡大学人工智能与数据科学中心);Department of Computer Science, Technical University of Darmstadt(达姆施塔特工业大学计算机科学系);Hessian Center for Artificial Intelligence(黑森州人工智能中心)
本文提出一种基于平稳贝尔曼误差最大化的确定性探索方法,通过三项改进稳定探索目标,并在密集与稀疏奖励环境中优于ε-贪婪策略。
2024-11-05 cs.LG
MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization
UC Berkeley(加州大学伯克利分校)
本研究提出MaxInfoRL框架,通过最大化任务信息增益等内在奖励引导定向探索,结合玻尔兹曼探索平衡价值与熵最大化,在多臂老虎机场景实现次线性遗憾,应用于连续空间离线无模型RL方法后,在困难探索及视觉控制任务中性能更优。
2025-07-31 cs.AI cs.LG cs.RO
Analyzing and Bridging the Gap between Maximizing Total Reward and Discounted Reward in Deep Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文针对深度强化学习中总回报与折扣回报目标不一致的问题,理论揭示循环状态下增大折扣因子的局限,并提出修改终止状态值与校准轨迹奖励两种对齐方法。
2025-03-18 cs.LG
Reward Maximization Under Uncertainty: Leveraging Side-Observations on Networks
The Ohio State University(俄亥俄州立大学)
我们研究了随机多臂强盗(MAB)问题中存在的侧观测跨行动发生的结果,一个底层的网络结构。在我们的模型中,一个二分图捕捉动作和一组常见的未知数之间的关系,这样选择一个动作就可以揭示它所连接的未知数的观察结果。这模拟了在线社交网络中的一个常见场景,其中用户响应他们朋友的活动,从而提供关于彼此偏好的辅助信息。我们的贡献如下:1)我们得到了一个渐近下界(相对于时间)作为一个函数的二部网络结构的遗憾的任何一致的好政策,实现最大的长期平均回报。2)我们提出了两个政策-一个随机化的政策;和一个政策的基础上,众所周知的置信上限(UCB)的政策-这两个探索每个动作的速度是一个函数的网络位置。我们表明,在温和的假设下,这些政策实现的渐进下限的遗憾的乘法因子,独立的网络结构。最后,我们使用一个现实世界的社交网络和路由示例网络的数值例子来证明我们的政策比其他现有的政策所获得的好处。
2017-07-12 cs.LG stat.ML
Algorithms for Adaptive Experiments that Trade-off Statistical Analysis with Reward: Combining Uniform Random Assignment and Reward Maximization
University of Toronto(多伦多大学);Carleton College(卡洛尔学院);University of Michigan(密歇根大学);University of Cambridge(剑桥大学)
本文提出了一种统计敏感算法TS-PostDiff,通过结合均匀随机分配和奖励最大化,在统计分析与用户奖励之间进行权衡,以提高实验效率和准确性。
2026-05-18 cs.LG stat.ML
State Entropy Maximization with Random Encoders for Efficient Exploration
KAIST(韩国科学技术院);UC Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院)
最近的探索方法已被证明是提高深度强化学习(RL)中样本效率的方法。然而,在高维观测空间中的有效探索仍然是一个挑战。本文提出了一种有效探索的随机编码器(RE 3),这是一种利用状态熵作为内在奖励的探索方法。为了估计高维观测环境中的状态熵,我们在卷积编码器的低维表示空间中利用k-最近邻熵估计器。特别是,我们发现状态熵可以通过利用随机初始化的编码器以稳定和计算效率高的方式进行估计,该编码器在整个训练过程中是固定的。我们的实验表明,RE 3显着提高了无模型和基于模型的RL方法在DeepMind Control Suite和MiniGrid基准测试中的运动和导航任务上的样本效率。我们还表明,RE 3允许在没有外部奖励的情况下学习不同的行为,有效地提高了下游任务的样本效率。源代码和视频可在https://sites.google.com/view/re3-rl上获得。
2021-06-21 cs.LG
DeFlow: Decoupling Behavior-Prior Modeling and Value Maximization for Offline Policy Extraction
Peking University, Institute of Artificial Intelligence, China, Beijing(北京大学人工智能研究所)
DeFlow通过解耦流形建模与价值最大化,利用流匹配技术实现高效离线策略提取,提升复杂行为流形的捕捉与生成能力。
2026-10-16 cs.LG
GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL
The Hong Kong University of Science and Technology, Hong Kong SAR, China(香港科学与技术大学);South China University of Technology, Guangdong, China(华南理工大学)
GAS通过增强数据集和引入目标函数,提升生成模型辅助离线安全强化学习中奖励与成本的平衡能力。
2026-02-05 cs.AI cs.LG
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley(加州大学伯克利分校);Yonsei University(延世大学)
SEMDICE通过平稳分布校正估计,从非策略数据集中学习状态熵最大化策略,实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
APS: Active Pretraining with Successor Features
University of California, Berkeley(加州大学伯克利分校)
我们为强化学习引入了一个新的无监督预训练目标。在无监督的无奖励预训练阶段,代理最大化由策略引起的任务和状态之间的互信息。我们的主要贡献是这个棘手的数量的一个新的下界。我们表明,通过重新解释和结合变后继功能~ \citep{Hansen2020Fast}与非参数熵最大化~ \citep{liu2021behavior},棘手的互信息可以有效地优化。提出的方法主动预训练与后继特征(APS)探索环境通过非参数熵最大化,和探索的数据可以有效地利用变化的后继特征学习行为。APS解决了现有的基于互信息最大化和基于熵最大化的无监督RL的局限性,并结合了两个世界的最佳。当在Atari 100 k数据效率基准上进行评估时,我们的方法显着优于之前将无监督预训练与特定任务微调相结合的方法。
2021-08-31 cs.LG
Combinatorial Multi-Armed Bandit and Its Extension to Probabilistically Triggered Arms
Microsoft(微软);Cornell University(康奈尔大学);Tsinghua University(清华大学)
我们定义了一个一般框架的一大类组合多臂强盗(CMAB)问题,其中的子集的基础武器与未知的分布形式的超级武器。在每一轮中,使用超级手臂,并使用超级手臂中包含的基础手臂,并观察其结果。我们进一步考虑了扩展,其中基于已经触发的武器的结果,更多的武器可能被概率触发。超级手臂的奖励取决于所有参与手臂的结果,并且它只需要满足两个温和的假设,这允许大量的非线性奖励实例。我们假设一个离线的(α,β)-近似预言机的可用性,该预言机采用武器的结果分布的平均值,并输出一个超级武器,该超级武器以概率β生成最优预期奖励的α分数。CMAB的在线学习算法的目标是最小化(α,β)-近似后悔,其是总是玩最佳超级武器时的期望奖励的α β分数与根据算法玩超级武器的期望奖励之间的差。我们提供CUCB算法,实现O(log n)分布相关的遗憾,其中n是轮数,我们进一步提供了一个大类的奖励函数的分布无关的界限。我们的遗憾分析是紧密的,因为它匹配的UCB1算法的约束(一个常数因子)的经典MAB问题,它显着提高了遗憾界在早期的文件组合土匪与线性奖励。我们将我们的CMAB框架应用到两个新的应用程序,概率最大覆盖率和社会影响力最大化,都具有非线性奖励结构。特别是,社会影响力最大化的应用需要我们对概率触发武器的扩展。
2016-03-29 cs.LG
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs(VECTOR实验室)
PGSRM通过嵌入相似度生成语义奖励,为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
Constrained Flow Optimization via Sequential Fine Tuning for Molecular Design
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Institute of Chemical and Bioengineering, Department of Chemistry and Applied Biosciences, ETH Zurich(苏黎世联邦理工学院化学与生物工程研究所);ETH AI Center(苏黎世联邦理工学院人工智能中心)
提出约束流优化(CFO)算法,通过将约束生成优化问题转化为序列微调,在分子设计中平衡奖励最大化与约束满足。
2026-05-28 cs.LG
Trading off rewards and errors in multi-armed bandits
Inria SequeL;CMU EnLearn
研究多臂老虎机中准确识别臂均值与累积奖励之间的权衡,提出具有后悔保证的算法,通过实验验证上下界。
2026-10-06 cs.LG stat.ML
Online Reinforcement Learning for Periodic MDP
IIT Delhi(印度理工学院德里分校)
我们研究学习周期马尔可夫决策过程(MDP),一种特殊类型的非平稳MDP的状态转移概率和奖励函数周期性变化,平均奖励最大化设置下。通过在状态空间中增加周期指标,将问题转化为一个平稳的MDP问题,并提出了一个周期置信上限强化学习-2(PUCRL 2)算法.我们发现,PUCRL 2的遗憾与周期呈线性变化,并作为次线性的地平线长度。数值结果证明了PUCRL 2的有效性。
2022-07-25 cs.LG
LiMIIRL: Lightweight Multiple-Intent Inverse Reinforcement Learning
The University of Queensland(昆士兰大学);Intuitive Surgical(直觉外科公司)
多意图逆强化学习(MI-IRL)试图找到一个奖励函数集合,以合理化不同但未标记的意图的演示。在流行的期望最大化(EM)的框架内学习概率MI-IRL模型,我们提出了一个热启动策略的基础上,在特征空间中的演示的前期聚类。我们的理论分析表明,这种热启动解决方案产生了一个接近最优的奖励合奏,提供的行为模式满足温和的分离条件。我们还提出了一个MI-IRL性能指标,概括了流行的期望值差异措施,直接评估学习奖励对地面真相奖励合奏。我们的指标优雅地解决了通过最小成本流公式配对学习和地面真相奖励的困难,并且是有效的可计算的。我们还开发了一个MI-IRL基准问题,允许更全面的算法评估。在这个问题上,我们发现我们的MI-IRL热启动策略有助于避免质量差的局部最小值奖励集成,从而显着改善行为聚类。我们广泛的敏感性分析表明,学习奖励合奏的质量在各种设置下得到改善,包括我们的理论假设不一定成立的情况下。最后,我们证明了我们的方法的有效性,发现不同的驾驶风格在一个大型的现实世界的数据集的司机GPS轨迹。
2021-06-03 cs.AI cs.LG cs.RO
Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers
RIKEN AIP(日本理化学研究所AIP);The University of Tokyo(东京大学);The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学)
针对不完美验证器引入的假阴性和假阳性噪声,提出后向校正(无偏奖励)和前向校正(梯度方向对齐)两种轻量级方法,在分组相对策略优化中提升数学推理性能,并设计上诉机制在线估计假阴性率。
2026-10-06 cs.AI cs.LG
Effective Reward Specification in Deep Reinforcement Learning
Polytechnique Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学)
该论文综述深度强化学习中的有效奖励规范策略,分析奖励失配与学习低效等挑战,并提出改善样本效率和对齐的原创贡献。
2024-12-10 cs.LG
Hybrid Energy-Aware Reward Shaping: A Unified Lightweight Physics-Guided Methodology for Policy Optimization
School of Mechanical Engineering, University of Science and Technology Beijing(北京科技大学机械工程学院);Jiangsu XCMG Construction Machinery Research Institute Co., Ltd.(江苏中联重科工程机械研究院有限公司)
提出混合能量感知奖励塑形(H-EARS),通过编码先验能量项作为奖励势能,结合动作正则化,在连续控制中提升收敛速度、稳定性和能效。
2026-05-29 cs.LG cs.SY eess.SY
TinyJudge: Unverifiable Constraint Alignment via Lightweight Specialist Ensembles
Harbin Institute of Technology SCIR Lab(哈尔滨工业大学SCIR实验室);Peking University(北京大学);Huawei Technologies Co., Ltd(华为技术有限公司)
针对LLM遵循不可验证约束时奖励黑客和计算开销大的问题,提出TinyJudge框架,利用多个小型语言模型集成提供奖励,在五个基准上平均性能提升约10%,奖励精度提升12%,训练速度提升3倍。
2026-04-19 cs.CL cs.LG
Model Selection for Average Reward RL with Application to Utility Maximization in Repeated Games
University of Alberta(阿尔伯塔大学);Amii(Amii研究院)
针对平均奖励强化学习,提出在线模型选择算法MRBEAR,其额外代价随模型类数量线性增长,并应用于重复博弈中最大化学习者效用,遗憾界依赖于对手复杂度且对记忆限制的指数依赖不可避免。
2024-11-09 cs.GT cs.LG stat.ML
A Principled Loss Function for Direct Language Model Alignment
本文提出一种直接从RLHF最优性条件推导的损失函数,通过设定有限对数几率差目标避免DPO的大梯度问题,提升对齐稳定性,并在Qwen2.5-7B上取得显著胜率提升。
2025-09-25 cs.AI cs.LG
ELEMENT: Episodic and Lifelong Exploration via Maximum Entropy
Zhejiang Lab(之江实验室);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Tianyi Digital Life Technology Co. Ltd.(天宜数字生活科技有限公司);University of Florida(佛罗里达大学)
本文提出ELEMENT,一种多尺度内在动机框架,通过结合终身熵最大化和情景熵项,解决大规模无奖励探索中内在奖励消失和熵估计不可行的问题,在状态覆盖和预训练上超越现有基线。
2026-09-23 cs.AI cs.LG
CIM: Constrained Intrinsic Motivation for Sparse-Reward Continuous Control
针对稀疏奖励连续控制任务中任务无关内在动机设计失效的问题,提出CIM,利用任务先验构建受约束的内在目标,并通过拉格朗日同步最大化框架自适应平衡内外目标,显著提升了性能与样本效率。
2023-05-18 cs.LG
InfoRL: Interpretable Reinforcement Learning using Information Maximization
IIT Kanpur(印度理工学院坎普尔分校)
强化学习的最新进展已经证明,给定一个环境,如果我们可以访问某种形式的奖励函数(密集,稀疏或从IRL导出),我们可以学习在该环境中执行任务。但大多数算法都专注于学习一个最佳策略来执行给定的一组任务。在本文中,我们专注于一种算法,它不仅学习执行一项任务,而且学习以不同的方式执行同一任务。正如我们所知,当环境足够复杂时,总是存在多种方法来执行任务。我们表明,使用信息最大化的概念,它是可能的学习潜码发现多种方式来执行任何给定的任务在一个环境中。
2019-05-24 cs.AI cs.LG stat.ML
Minimal Ingredients for Reward Assignment from Expert Demonstrations
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎赫尔分校);Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning, NYU Shanghai(上海前沿科学中心(人工智能与深度学习))
该研究探究从专家演示分配奖励的最小结构,通过32个基准测试和三种下游RL算法,发现离线场景仅需接近度,在线或多演示时需轻量级时间对应,倡导奖励设计的算法极简主义。
2026-08-10 cs.AI cs.LG
Information maximization for a broad variety of multi-armed bandit games
Institut Pasteur(巴斯德研究所);CNRS(法国国家科学研究中心)
本研究将基于物理学的信息最大化方法扩展至三类复杂结构化老虎机问题,通过在不同层面调整信息缓解过度探索难题,为构建更高效鲁棒的决策策略提供了新思路。
2025-03-20 cond-mat.stat-mech cs.LG stat.ML
Concave Statistical Utility Maximization Bandits via Influence-Function Gradients
ORT Uruguay(ORT乌拉圭大学)
研究了基于长期奖励分布统计功能而非期望奖励的随机多臂老虎机问题,提出基于影响函数计算的熵镜升算法,通过乘法权重更新和影响函数估计实现凹分布效用优化,建立分离优化误差与影响函数估计偏差的后悔界。
2026-04-29 cs.LG math.ST stat.AP
SRAS: A Lightweight Reinforcement Learning-based Document Selector for Edge-Native RAG Pipelines
Dayananda Sagar College of Engineering, Bangalore, India(达扬达萨加尔工程学院,班加罗尔,印度)
SRAS通过强化学习训练出轻量级文档选择器,适用于边缘原生RAG流水线,实现低延迟和高生成质量。
2026-01-05 cs.IR cs.LG
Online Learning with Cumulative Oversampling: Application to Budgeted Influence Maximization
Columbia University(哥伦比亚大学);Fudan University(复旦大学)
提出了一种用于在线学习的累积过采样方法。我们的主要思想是在每一轮中从更新的信念空间中对参数估计进行一次采样(类似于Thompson采样),并利用当前轮的累积样本来构建乐观的参数估计,这些参数估计渐近地集中在真实参数周围,与标准UCB方法构建的参数估计相比,置信上限更紧。我们将CO应用到一个新的预算变体的影响力最大化(IM)半土匪与线性推广的边缘权重,其离线问题是NP-难的。结合CO和我们为离线问题设计的预言机,我们的在线学习算法同时处理预算分配、参数学习和奖励最大化。我们表明,对于IM半土匪,我们的CO为基础的算法实现了规模的遗憾相比,基于UCB的算法在理论上,并在数值实验中表现与汤普森采样。
2020-09-16 cs.LG cs.SI stat.ML
Learning to Utilize Shaping Rewards: A New Approach of Reward Shaping
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);Netease Fuxi AI Lab, Netease, Inc.(网易公司网易伏羲人工智能实验室)
奖励塑造是一种将领域知识融入强化学习(RL)的有效技术。现有的方法,如基于潜力的奖励塑造通常充分利用给定的整形奖励函数。然而,由于人类认知偏差等原因,将人类知识转化为数值奖励值往往是不完美的,因此完全利用整形奖励函数可能无法提高RL算法的性能。在本文中,我们考虑的问题,自适应地利用一个给定的整形奖励函数。我们制定的利用整形奖励作为一个双层优化问题,其中较低的水平是使用整形奖励优化政策和上层是优化一个参数化的整形权重函数,真正的奖励最大化。我们正式推导出了期望真实回报相对于成形权函数参数的梯度,并据此提出了三种基于不同假设的学习算法。在稀疏奖励cartpole和MuJoCo环境下的实验表明,该算法能够充分利用有益的整形奖励,同时忽略或转化为有益的整形奖励.
2020-11-05 cs.AI cs.LG
Learning to Schedule in Parallel-Server Queues with Stochastic Bilinear Rewards
CREST, ENSAE Paris, France(巴黎高等师范学院CREST研究所);London School of Economics, United Kingdom(伦敦经济学院)
研究多类并行服务器排队系统中含不确定奖励的调度问题,提出基于加权比例公平标准并结合针对双线性奖励定制的强盗算法的调度算法,实现遗憾 - 队列长度权衡,给出不同参数下的遗憾及队列长度、持有成本界限。
2026-07-14 cs.DS cs.LG math.OC
An Expectation-Maximization Perspective on Reinforcement Learning for LLM Reasoning
该研究提出EM策略梯度(EMPG)框架,将大语言模型推理的强化学习转化为期望最大化问题,在简化优化流程的同时,在GSM8K、MATH Hard数据集上取得与GRPO相当或更优的性能,且能生成更简洁的结构化推理轨迹。
2026-08-11 cs.AI cs.LG stat.ML
Curriculum Learning for Cumulative Return Maximization
University of Leeds(利兹大学)
课程学习已经成功地应用于强化学习中,通过在日益复杂的任务之间进行知识转移来加速学习过程。关键任务,其中次优的探索行动必须最小化,可以受益于课程学习,其通过迁移塑造探索的能力。我们提出了一个任务排序算法最大化的累积回报,即在所有的学习情节的代理获得的回报。通过最大化累积回报,代理不仅旨在尽可能快地获得高回报,而且还在限制次优行为的同时实现这一目标。我们的实验比较我们的任务排序算法的几个流行的元启发式算法的组合优化,并表明,它实现了显着更好的性能的问题上的累积回报最大化。此外,我们在一个关键任务上验证了我们的算法,优化了微能源网的家庭控制器。
2019-06-13 cs.AI cs.LG stat.ML
Approximate information maximization for bandit games
Institut Pasteur(巴斯德研究所);Université Paris Cité(巴黎西岱大学);Epimethee(埃皮米修斯团队);INRIA Paris(法国国家信息与自动化研究所巴黎分部);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Université Paris Saclay(巴黎萨克雷大学);LMO(奥赛数学实验室)
本文基于熵最大化等物理原理提出新的多臂赌博机算法,通过物理近似解析熵表示预测动作信息增益并贪婪选择,在经典设置中表现优异且被证明在高斯奖励双臂问题中渐近最优,可适应复杂场景。
2024-11-29 cs.LG stat.ML
Reward is not Necessary: How to Create a Modular & Compositional Self-Preserving Agent for Life-Long Learning
University of Minnesota(明尼苏达大学)
本文提出用赋能(empowerment)作为内在动机,通过算子贝尔曼方程实现层次化赋能度量,使终身学习智能体无需奖励即可自我保全并发现有利目标。
2023-11-14 cs.AI cs.LG
Teach Biped Robots to Walk via Gait Principles and Reinforcement Learning with Adversarial Critics
Southern University of Science and Technology(南方科技大学);The University of British Columbia(不列颠哥伦比亚大学);National University of Singapore(新加坡国立大学)
考虑到机器人的非线性和混合动力学特性,控制其稳定行走是一项具有挑战性的任务。强化学习可以通过直接将观察到的状态映射到最大化累积奖励的最佳动作来解决这些问题。然而,局部极小值所造成的不适当的奖励和高估的累积奖励阻碍了最大化的累积奖励。为了提高累积奖励,本文设计了一种基于步行原理的步态奖励,它补偿了不自然运动的局部极小值。此外,提出了一种基于递归神经网络的对抗性双延迟深度确定性(ATD 3)策略梯度算法,通过减轻对累积奖励的高估来进一步提高累积奖励。在Roboschool Walker2d和Webots Atlas模拟器上的实验结果表明,添加步态奖励后,测试奖励分别增加了23.50%和9.63%。使用ATD3_RNN后,测试奖励进一步增加了15.96%和12.68%,原因可能是ATD3_RNN将累积奖励的估计误差从19.86%降低到3.35%。此外,步态奖励和ATD3_RNN训练的机器人与人之间的余弦运动相似度提高了69.23%以上。因此,所设计的步态奖励和ATD3_RNN提高了累积奖励,并教机器人更好地行走。
2019-10-22 cs.LG cs.RO
SLIM: Skill Learning with Multiple Critics
NAVER LABS Europe(NAVER欧洲实验室);EPITA Research Laboratory (LRE)(EPITA研究实验室)
针对机器人操作中互信息最大化难以产生有用安全行为的问题,提出多评论家技能学习方法SLIM,在actor-critic框架中优雅组合多奖励函数以克服干扰,在桌面操作中显著超越基线方法。
2024-03-21 cs.AI cs.LG cs.RO
Improving On-policy Learning with Statistical Reward Accumulation
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
深度强化学习近年来取得了重大突破。深度强化学习中的大多数方法通过最大化环境提供的奖励信号来实现良好的结果,通常以折扣累积回报的形式。这样的奖励信号表示代理执行的特定动作的即时反馈。然而,稀疏奖励信号的任务仍然是具有挑战性的策略方法。在本文中,我们引入了一个有效的表征过去的奖励统计(这可以被视为长期的反馈信号),以补充这种即时的奖励反馈。特别是,价值函数是在多批评者监督下学习的,使得复杂的价值函数在同策略学习中更容易近似,即使在奖励信号稀疏的情况下也是如此。我们还介绍了一种新的探索机制,称为“热接线”,可以给一个看似被困的代理。我们证明了我们的优势演员多批评(A2MC)的方法在Atari游戏中的离散域以及在MuJoCo环境中的连续域的有效性。https://youtu.be/zBmpf3Yz8tc提供了一个视频演示。
2018-09-07 cs.AI cs.LG stat.ML
Temper and Tilt Lead to SLOP: Reward Hacking Mitigation with Inference-Time Alignment
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
本文提出通过引入参考模型温度调整,扩展推理时间对齐技术,使其适用于生成奖励模型的集合,并通过实验验证该方法在提升鲁棒性的同时保持对齐性能。
2026-05-13 cs.AI cs.CL cs.LG
Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback
MeRLa是元学习的任务感知奖励塑形框架,在RLHF训练前通过辅助任务元学习塑形函数,可提升LLaMA-3-8B在多基准上的对齐性能,降低训练不稳定性。
2026-07-30 cs.CL cs.LG
Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Auckland(奥克兰大学);Chongqing University(重庆大学)
本文提出信赖域奖励优化(TRRO)框架及其算法实例PIRO,通过次小化-最大化过程保证专家行为似然单调提升,解决了非对抗逆强化学习缺乏稳定性保证的问题,在多项基准上匹配或超越最先进基线。
2025-10-13 cs.AI cs.LG