TableMind: An Autonomous Programmatic Agent for Tool-Augmented Table Reasoning
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学)
TableMind通过两阶段训练策略提升表格推理能力,实现自主程序化代理的高效推理与代码生成。
2026-07-28 cs.AI
Braxlines: Fast and Interactive Toolkit for RL-driven Behavior Engineering beyond Reward Maximization
Google(谷歌);Mila(米拉研究所)
连续控制的目标是综合期望的行为。在强化学习(RL)驱动的方法中,这通常是通过仔细的任务奖励工程来实现的,以实现有效的探索和运行现成的RL算法。虽然奖励最大化是RL的核心,但奖励工程并不是指定复杂行为的唯一方法,有时也不是最简单的方法。在本文中,我们介绍了\braxlines,一个工具包,用于快速和交互式的RL驱动的行为生成,超越了简单的奖励最大化,包括作曲家,一个编程API,用于生成连续的控制环境,和一组稳定的和经过良好测试的基线,用于两个系列的算法--互信息最大化(MiMax)和发散最小化(DMin)--支持无监督的技能学习和分布草图作为行为规范的其他模式。此外,我们讨论了如何标准化的指标来评估这些算法,它可以不再依赖于简单的奖励最大化。我们的实现建立在Jax中的硬件加速Brax模拟器上,只需进行最小的修改,即可在几分钟的训练内实现行为合成。我们希望Braxlines可以作为一个交互式工具包,用于快速创建和测试环境和行为,为未来的基准设计和RL驱动的行为生成及其算法研究的新模式提供爆炸性增长。
2021-10-10 cs.AI cs.LG
Video Prediction Models as Rewards for Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
本文提出VIPER算法,利用预训练视频预测模型从无标签专家视频中提取奖励信号,在DMC、Atari和RLBench任务中实现无需程序化奖励的专家级控制,并支持跨具身泛化。
2023-05-30 cs.AI cs.CV cs.LG
Synthesizing Reactive Character Behaviors for Continuous Games via Programmatic Policy Search
Brown University(布朗大学);Roblox(Roblox公司);Clemson University(克莱姆森大学)
提出程序化策略搜索方法,通过领域特定语言和代理式草图绘制合成连续游戏的可读行为程序,在14个游戏基准上优于纯枚举和编码代理。
2026-09-22 cs.AI
RLVMR: Reinforcement Learning with Verifiable Meta-Reasoning Rewards for Robust Long-Horizon Agents
Tencent(腾讯)
针对强化学习仅优化最终任务成功导致的低效探索与鲁棒性差问题,提出带可验证元推理奖励的RLVMR框架,结合过程与结果奖励训练,在ALFWorld、ScienceWorld基准上取得SOTA,提升了智能体鲁棒性与推理质量。
2025-07-30 cs.AI cs.LG
Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards
ETH Zurich(苏黎世联邦理工学院);Maastricht University(马斯特里赫特大学)
本文研究用PPO从显式编程奖励直接训练LLM完成形式语言任务,发现纯RL训练在算术和游戏合成任务上困难且不稳定,并提出批量熵正则化项辅助探索,表明该方法更适合对齐类小改动而非学习全新任务。
2024-10-22 cs.AI cs.CL cs.LG
CodeTool: Enhancing Programmatic Tool Invocation of LLMs via Process Supervision
Northeastern University(东北大学);Hunyuan AI Digital Human(文英AI数字人)
针对LLM工具调用中推理路径冗长且中间步骤难以验证的问题,提出CodeTool框架,利用代码的简洁易验证性,通过即时奖励和潜在奖励两种过程奖励引导高效准确的推理,实验验证其优越性。
2025-06-12 cs.AI cs.CL cs.LG
DRACO: Fine-Grained Credit Assignment with Dynamic Rubrics for Long-Horizon Agent Training
Carnegie Mellon University(卡内基梅隆大学);IBM Research(IBM研究院)
针对长视界智能体训练中缺乏可验证奖励的问题,提出DRACO方法,通过动态生成规则并重新分配判断结果,在AppWorld和Tau-Bench上均取得显著性能提升。
2026-09-04 cs.AI cs.LG cs.SE
Goal-Driven Reward by Video Diffusion Models for Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo(宁波市空间智能与数字衍生重点实验室,东方理工高等研究院宁波数字孪生研究院,宁波);Zhejiang Key Laboratory of Industrial Intelligence and Digital Twin(浙江省工业智能与数字孪生重点实验室);Zhongguancun Academy(中关村学院);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系);Department of Mechanical Engineering, Yale University(耶鲁大学机械工程系)
本文提出利用预训练的视频扩散模型为强化学习代理提供目标驱动的奖励信号,通过视频级和帧级目标提升轨迹的连贯性和目标导向性。
2026-04-03 cs.LG
Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback
DeepMind(深度思维)
人工智能的一个重要目标是创建能够与人类自然交互并从他们的反馈中学习的代理。在这里,我们演示了如何使用基于人类反馈的强化学习(RLHF)来改进模拟的、具体的代理,这些代理通过模仿学习训练到基本的能力水平。首先,我们收集了人类在模拟的3D世界中与代理交互的数据。然后,我们要求注释者记录他们认为智能体朝着人类指示的目标前进或倒退的时刻。使用这些注释数据,我们利用了一种新的方法-我们称之为“跨时间布拉德利-特里”(IBT)建模-来构建一个捕获人类判断的奖励模型。经过培训以优化IBT奖励模型提供的奖励的代理在我们的所有指标方面都有所改进,包括在与代理的实时交互期间的后续人类判断。总之,我们的研究结果展示了如何成功地利用人类的判断来改善代理行为,使我们能够在没有程序奖励功能的复杂的具体领域中使用强化学习。代理行为的视频可以在https://youtu.be/v_Z9F2_eKk4上找到。
2022-11-21 cs.HC cs.LG cs.MA
VICT: Verifier-Instrumented Credit Tracing for Long-Horizon LLM Agent Reinforcement Learning
Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);Jiaxing Nanhu University(嘉兴南湖学院)
针对长 horizon LLM 智能体强化学习的细粒度信用分配挑战,提出 VICT 方法,通过验证器侧的证明边追踪分配信用,在 ALFWorld 和 WebShop 上性能显著优于仅结果训练。
2026-09-09 cs.AI cs.LG
Evaluating Bounded Autonomy in Regulated Agentic AI: A Diagnostic Harness with Constitutional Rewards, Escalation Labels, and Runtime Governance
Skelf Research
提出RegLLM诊断工具,通过宪法奖励、升级标签和运行时治理评估受监管智能体AI的有界自主性,揭示配置差异对指标的影响,强调需更大规模评估。
2026-09-30 cs.AI cs.CL cs.LG
Text2Grad: Reinforcement Learning from Natural Language Feedback
Text2Grad通过将自然语言反馈转化为跨度级梯度,提升语言模型的细粒度对齐和可解释性。
2026-01-27 cs.AI cs.CL
ComplexConstraints and Beyond: Expert Rubrics for RLVR
Surge AI
提出专家设计的评分标准作为评估和训练信号,通过复杂指令遵循和企业智能体任务验证,在RL训练中显著提升模型性能。
2026-07-07 cs.AI
Replacing Rewards with Examples: Example-Based Policy Search via Recursive Classification
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
强化学习(RL)算法假设用户通过手动写下奖励函数来指定任务。然而,这一过程可能很费力,需要相当多的技术专长。我们是否可以设计RL算法,让用户通过提供成功结果的例子来指定任务?在本文中,我们推导出一个控制算法,最大限度地提高未来的概率,这些成功的结果的例子。先前的工作已经用两阶段的过程来处理类似的问题,首先学习奖励函数,然后使用另一个RL算法来优化这个奖励函数。相比之下,我们的方法直接从转换和成功的结果中学习价值函数,而不学习这个中间奖励函数。因此,我们的方法需要更少的超参数来调整和调试代码行。我们表明,我们的方法满足一个新的数据驱动的贝尔曼方程,其中的例子取代了典型的奖励函数项。实验表明,我们的方法优于以前的方法,学习显式奖励函数。
2021-12-30 cs.LG cs.RO
$S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google DeepMind(谷歌DeepMind)
提出S^3-R1框架,通过合成数据生成和密集奖励信号,解决强化学习后训练中稀疏奖励和缺乏多跳问题数据的问题,提升模型搜索与问答能力。
2026-09-09 cs.LG
Codifying the Judge: Scalable Evaluation via Program Distillation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究针对基于语言模型的评判器成本高、延迟大等问题,提出用程序蒸馏方法,将其决策逻辑提炼成程序委员会。引入PAJAMA系统,实验显示程序评判器性能可匹配大语言模型,还能提高准确率和吞吐量,产生廉价有效奖励信号。
2026-09-29 cs.AI cs.LG
Learning to Understand Goal Specifications by Modelling Reward
Mila, Université de Montréal(蒙特利尔大学米拉);DeepMind(深度思维);Facebook AI Research(脸书人工智能研究院)
最近的研究表明,深度自主学习代理可以从不频繁的环境奖励中学习遵循类似语言的指令。然而,这给环境设计者带来了设计语言条件奖励函数的责任,由于环境和语言尺度的复杂性,语言条件奖励函数可能不容易或难以实现。为了克服这一限制,我们提出了一个框架,在该框架内,有条件的强化学习代理的训练使用的奖励不是从环境中获得的,但从奖励模型,这是共同训练的专家的例子。随着奖励模型的改进,它们学会了准确地奖励代理完成环境配置任务-以及指令-而这些任务在专家数据中不存在。该框架有效地将指令需要什么的表示与它们如何执行的表示分开。在一个简单的网格世界中,它使智能体能够学习一系列命令,这些命令需要与块进行交互,并理解空间关系和未指定的抽象安排。我们进一步表明,该方法允许我们的代理,以适应环境的变化,而不需要新的专家的例子。
2019-12-23 cs.AI cs.LG
Misalignment from Treating Means as Ends
本文指出奖励函数常混淆人类的终极目标与工具性目标,构建示例证明这种轻微混淆会导致强化学习中的严重错位,并探讨了该问题在奖励学习与实际环境中的表现。
2025-07-15 cs.AI cs.LG
Inverse Reinforcement Learning via Matching of Optimality Profiles
ETH Zürich(苏黎世联邦理工学院)
逆强化学习(IRL)的目标是推断出解释执行任务的代理的行为的奖励函数。大多数方法的假设是,所演示的行为接近最优。然而,在许多现实世界的场景中,真正最优行为的示例是稀缺的,并且期望有效地利用次优或异构性能的演示集,这些演示集更容易获得。我们提出了一种算法,学习奖励函数,从这样的演示与弱监督信号的形式分布在演示过程中收集的奖励(或更一般地说,分布在累积折扣的未来奖励)。我们认为这样的分布,我们也被称为最优配置文件,作为总结的最优程度的示范,可能,例如,反映了人类专家的意见。给定一个最优配置文件和少量的额外监督,我们的算法适合奖励函数,建模为神经网络,基本上最小化相应的诱导分布和最优配置文件之间的Wasserstein距离。我们证明了我们的方法能够学习奖励函数,使得经过训练以优化它们的策略优于用于拟合奖励函数的演示。
2020-11-19 cs.AI cs.LG
Contrastive Example-Based Control
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
针对现实强化学习任务交互成本高、奖励设定难的问题,提出基于多步转移隐式模型的离线示例控制方法,可表示Q值,在多类任务中性能优于带学习奖励的基线,鲁棒性和可扩展性更好。
2023-07-24 cs.AI cs.LG cs.RO
Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning
University of Pennsylvania(宾夕法尼亚大学)
身体上的相互作用往往有助于揭示那些不太明显的信息。例如,我们可能会拉桌子腿来评估它是否建造得很好,或者把水瓶倒过来检查它是否防水。我们建议训练机器人自动获得这样的互动行为,用于评估的结果,试图机器人技能执行。这些评估反过来充当“交互式奖励函数”(IRF),用于训练强化学习策略以执行目标技能,例如拧紧桌腿。此外,即使在任务策略被完全训练之后,IRF也可以作为改进在线任务执行的验证机制。对于任何给定的任务,我们的IRF都可以仅使用成功结果的示例来方便地训练,并且此后不需要进一步的规范来训练任务策略。在我们对模拟中的门锁和配重块堆叠以及真实机器人上的螺钉拧紧进行的评估中,IRF可以大幅提高性能,甚至可以通过演示或精心设计的奖励来超越基线。项目网址:https://sites.google.com/view/lirf-corl-2022/
2022-12-17 cs.LG cs.RO
Pragmatic Feature Preferences: Learning Reward-Relevant Preferences from Human Input
Massachusetts Institute of Technology(麻省理工学院);Boston University(波士顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);Google DeepMind(谷歌DeepMind)
本研究提出从人类偏好中提取特征级信息以学习更准确的奖励模型,在视觉和语言领域及蘑菇觅食任务中验证了其高效性和实用性。
2024-05-23 cs.CL cs.LG
Dynamics-Aware Comparison of Learned Reward Functions
Toyota Research Institute (TRI)(丰田研究院(TRI));University of California, Berkeley(加州大学伯克利分校)
学习奖励函数的能力在现实世界中部署智能代理方面发挥着重要作用。然而,比较奖励函数,例如作为评估奖励学习方法的一种手段,提出了一个挑战。奖励函数通常通过考虑优化策略的行为来进行比较,但这种方法将奖励函数中的缺陷与用于优化它的策略搜索算法的缺陷混为一谈。为了解决这一挑战,Gleave et al.(2020)提出了等价策略不变比较(EPIC)距离。EPIC避免了策略优化,但这样做需要在转换时计算奖励值,这在系统动态下可能是不可能的。这对于学习的奖励函数来说是有问题的,因为它需要在训练分布之外对它们进行评估,导致不准确的奖励值,我们发现这会使EPIC在比较奖励时无效。为了解决这个问题,我们提出了动态感知奖励距离(DARD),一个新的奖励伪度量。DARD使用环境的近似转换模型将奖励函数转换为允许比较的形式,该比较对于奖励塑造是不变的,同时仅在接近其训练分布的转换上评估奖励函数。在模拟物理域的实验表明,DARD使可靠的奖励比较没有政策优化,是显着更具有预测性比基线方法的下游政策性能时,处理学习的奖励功能。
2022-01-25 cs.AI cs.LG
Intrinsic Reward Policy Optimization for Sparse-Reward Environments
The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA(伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院)
IRPO通过利用多种内在奖励直接优化策略,提升稀疏奖励环境下的性能和样本效率。
2026-01-29 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联,提出基于替代奖励的统一优化框架,为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Explaining Learned Reward Functions with Counterfactual Trajectories
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Delft University of Technology(代尔夫特理工大学)
提出反事实轨迹解释(CTEs)及蒙特卡洛生成算法,通过对比原始与反事实轨迹解释强化学习奖励函数,提升代理人类模型对奖励的预测与泛化能力。
2024-10-15 cs.AI cs.LG
Unfamiliar Finetuning Examples Control How Language Models Hallucinate
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
本文发现微调数据中超出基础模型知识范围的不熟悉样本会塑造语言模型的幻觉,通过策略性修改这些样本的监督方式可控制模型对未知查询的响应,从而提升长文本生成的事实性。
2024-05-28 cs.AI cs.CL cs.LG
Continuous Inverse Optimal Control with Locally Optimal Examples
Stanford University(斯坦福大学)
逆最优控制(英语:Inverse optimal control),又称逆强化学习(英语:Inverse reinforcement learning),是一个在马尔可夫决策过程中,从专家对最优策略的演示中恢复未知奖励函数的问题。我们引入了一个概率逆最优控制算法,优雅地与任务维度的规模,是适合于大型,连续的领域,甚至计算一个完整的政策是不切实际的。通过使用奖励函数的局部近似,我们的方法也可以放弃演示是全局最优的假设,只需要局部最优。这允许它从不适合先前方法的示例中学习。
2012-06-18 cs.AI cs.LG stat.ML
General Preference Reinforcement Learning
Stanford University(斯坦福大学);The University of Oklahoma(俄克拉荷马大学)
本文提出通用偏好强化学习(GPRL),通过引入通用偏好模型(GPM)解决传统强化学习在开放任务中连续探索不足的问题,通过多维偏好比较提升模型性能。
2026-05-21 cs.CL cs.LG
Reinforcement Learning with a Corrupted Reward Channel
Australian National University(澳大利亚国立大学);DeepMind
现实世界中没有一个奖励函数是完美的。感官错误和软件错误可能会导致RL代理观察到比他们应该的更高(或更低)的奖励。例如,一个强化学习代理可能更喜欢感觉错误给它最大奖励的状态,但真正的奖励实际上很小。我们正式这个问题作为一个广义马尔可夫决策问题,称为腐败奖励MDP。传统的RL方法在CRMDPs中表现不佳,即使在强简化假设下,以及试图补偿可能的腐败奖励时。围绕这个问题的两种方法进行了研究。首先,通过给予智能体更丰富的数据,例如在逆强化学习和半监督强化学习中,有时可以完全管理源于系统感觉错误的奖励腐败。其次,通过使用随机化来削弱代理的优化,可以在某些假设下部分管理奖励腐败。
2017-08-19 cs.AI cs.LG stat.ML
Bias Fitting to Mitigate Length Bias of Reward Model in RLHF
University of Science and Technology of China(中国科学技术大学)
提出FiMi-RM框架,通过自学习长度与奖励的非线性关系并解耦,有效缓解RLHF中奖励模型因长度偏差导致的奖励破解问题。
2026-06-25 cs.AI cs.LG
Maximizing Information Gain in Partially Observable Environments via Prediction Reward
University of Alberta(阿尔伯塔大学);University of Oxford(牛津大学);Technical University Delft(代尔夫特理工大学)
在部分可观察的环境中的信息收集可以被公式化为强化学习(RL)问题,其中奖励取决于代理的不确定性。例如,奖励可以是代理对未知(或隐藏)变量的信念的负熵。通常,RL代理的奖励被定义为状态-动作对的函数,而不是代理信念的函数;这阻碍了深度RL方法对此类任务的直接应用。本文通过提供一个简单的见解来解决对深度RL代理使用基于信念的奖励的挑战,即最大化代理信念的任何凸函数可以通过最大化预测奖励来近似:基于预测准确性的奖励。特别是,我们推导出负熵和预期预测奖励之间的精确误差。这一见解提供了理论动机的几个领域使用预测奖励-即视觉注意,问答系统,和内在动机-并强调其连接到通常不同的领域主动感知,主动感知,传感器的位置。基于这一认识,我们提出了深度预期网络(DAN),它使代理能够采取行动,以减少其不确定性,而无需执行明确的信念推理。我们提出了两个应用程序的DAN:建立一个传感器选择系统跟踪人在购物中心和学习离散模型的注意力时尚MNIST和MNIST数字分类。
2020-05-11 cs.AI cs.LG
Semi-supervised reward learning for offline reinforcement learning
DeepMind(深度思维)
在离线强化学习(RL)中,使用记录的数据集来训练代理。这似乎是攻击现实生活中应用程序的最自然的途径,因为在医疗保健和机器人等领域,与环境的交互要么昂贵,要么不道德。训练代理通常需要奖励功能,但不幸的是,奖励很少在实践中,他们的工程是具有挑战性和费力。为了克服这一点,我们研究奖励学习的约束下,最大限度地减少人类奖励注释。我们考虑两种类型的监督:时间步长注释和演示。我们提出了半监督学习算法,从有限的注释中学习,并将未标记的数据。在我们对模拟机器人手臂的实验中,我们大大改进了行为克隆,并接近了地面真实奖励所实现的性能。我们进一步研究了奖励模型的质量与最终策略之间的关系。例如,我们注意到,奖励模型不需要完美才能产生有用的政策。
2020-12-12 cs.AI cs.LG cs.RO
Reward Design with Language Models
Stanford University(斯坦福大学);DeepMind(深度思维)
强化学习(RL)中的奖励设计是具有挑战性的,因为通过奖励函数指定人类对期望行为的概念可能很困难,或者需要许多专家演示。我们能用自然语言界面来设计奖励吗?本文探讨了如何简化奖励设计,提示一个大语言模型(LLM),如GPT-3作为代理奖励功能,其中用户提供一个文本提示包含一些例子(Few-Shot)或描述(zero-shot)所需的行为。我们的方法在RL框架中利用了这个代理奖励函数。具体而言,用户在训练开始时指定一次提示。在训练期间,LLM根据提示所描述的期望行为来评估RL代理的行为,并输出相应的奖励信号。然后,RL代理使用此奖励来更新其行为。我们评估我们的方法是否可以训练代理与用户目标一致的最后通牒游戏,矩阵游戏,和DealOrNoDeal谈判任务。在所有三个任务中,我们表明,用我们的框架训练的RL代理与用户的目标保持一致,并且优于用通过监督学习学习的奖励函数训练的RL代理
2023-02-27 cs.AI cs.CL cs.LG
Model-Free Robust Average-Reward Reinforcement Learning
University at Buffalo(布法罗大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
本文研究无模型设定下的鲁棒平均奖励MDPs,理论刻画了鲁棒平均奖励Bellman方程解的结构,提出并证明了鲁棒RVI TD和鲁棒RVI Q-learning两种算法的收敛性,并给出多种不确定性集示例。
2023-05-17 cs.AI cs.LG
Sample-Efficient Preference-based Reinforcement Learning with Dynamics Aware Rewards
Apple(苹果公司)
本文提出利用自监督时间一致性任务学习动力学感知状态-动作表示,并据此引导 PbRL 奖励函数,在多个运动任务上将所需偏好标签减少约一个数量级。
2024-02-28 cs.AI cs.LG
Semi-Supervised Reward Modeling via Iterative Self-Training
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
针对奖励模型训练依赖大量人工标注偏好数据导致的成本高、扩展性差问题,提出包含伪标签生成、高置信样本筛选、监督微调三步迭代的半监督奖励建模方法SSRM,可在无额外标注成本下显著提升模型性能,降低训练成本与时间。
2024-09-10 cs.LG
Reward Gaming in Conditional Text Generation
New York University(纽约大学);Google DeepMind(谷歌DeepMind)
本文揭示条件文本生成RL训练中三类奖励误配导致的奖励博弈问题,分析其放大机制并提出修复方向。
2023-06-01 cs.AI cs.CL cs.LG
Inferring Lexicographically-Ordered Rewards from Preferences
University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校);The Alan Turing Institute(艾伦·图灵研究所)
在许多领域中,对代理商对一组替代品的偏好进行建模是一个主要关注点。主要的方法是找到一个单一的奖励/效用函数的属性,产生更高的回报的替代品产生较低的回报。然而,在许多情况下,偏好是基于多个,往往是相互竞争的,目标;一个单一的奖励函数是不足以代表这样的偏好。本文提出了一种方法来推断多目标奖励为基础的代理人的观察到的偏好表示。我们模型的代理的优先级在不同的目标,进入字典,使目标与较低的优先级问题,只有当代理是漠不关心的目标与较高的优先级。我们提供了两个医疗保健领域的应用示例,一个是受癌症治疗的启发,另一个是受器官移植的启发,以说明我们学习的词典排序奖励如何更好地理解决策者的偏好,并在强化学习中使用时帮助改进策略。
2022-06-07 cs.AI cs.LG stat.ML
Context, Reasoning, and Hierarchy: A Cost-Performance Study of Compound LLM Agent Design in an Adversarial POMDP
Carleton University(卡尔顿大学)
研究探讨了在对抗性部分可观测序贯环境中,复合LLM代理设计的上下文、推理和层次分解对性能与成本的影响,发现程序化状态抽象在成本效率上表现最佳,而分层分解无需推理可获得最佳性能。
2026-05-15 cs.AI cs.CL cs.LG
Information-Theoretic Reward Decomposition for Generalizable RLHF
Shanghai Jiao Tong University(上海交通大学);UT Austin(得克萨斯大学奥斯汀分校);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院)
针对RLHF中奖励模型泛化性差的问题,本文提出将奖励分解为无提示与提示相关两部分,并基于信息论提取,通过优先级排序训练,提升了对齐与泛化性能。
2025-10-24 cs.AI cs.CL cs.LG
Reinforcement Learning for Joint Optimization of Multiple Rewards
Purdue University(普渡大学)
寻找最大化马尔可夫决策过程长期回报的最优策略需要使用动态规划和反向归纳法来求解贝尔曼最优性方程。然而,许多现实世界的问题需要优化的目标是非线性的累积回报,动态规划不能直接应用。例如,在资源分配问题中,目标之一是最大化用户之间的长期公平性。我们注意到,当一个代理人的目标是优化一些功能的回报之和被认为是,问题失去了它的马尔可夫性质。本文讨论并形式化了优化长期平均报酬的非线性函数的问题。我们提出了基于模型的和无模型的算法来学习的政策,其中基于模型的政策,以实现$\Tilde{O}\left(LKDS\sqrt{\frac{A}{T}}\right)$的遗憾$K$目标结合凹$L$ -Lipschitz函数。此外,使用蜂窝基站调度的公平性,并作为示例,所提出的算法显着优于传统的RL方法。
2023-01-09 cs.AI cs.GT cs.IT
Robot Policy Learning with Temporal Optimal Transport Reward
McGill University(麦吉尔大学);Horizon Robotics(地平线机器人)
针对强化学习奖励设计困难,本文提出时间最优传输奖励,利用时间顺序信息改进基于OT的代理奖励,并在Meta-world基准上验证有效性。
2024-11-02 cs.AI cs.LG cs.RO
DRAGON: Distributional Rewards Optimize Diffusion Generative Models
University of California, Berkeley(加州大学伯克利分校);Adobe Research(Adobe研究)
DRAGON是一种通用框架,通过分布奖励优化微调媒体生成模型,兼容多种奖励类型,在20种奖励函数上平均胜率81.45%,无需人类偏好标注即可实现60.95%的人类投票音乐质量胜率,提升生成效果。
2025-11-14 cs.AI cs.LG cs.MM
Online Semi-Supervised Learning in Contextual Bandits with Episodic Reward
Columbia University(哥伦比亚大学)
我们考虑了一个新的实际问题的在线学习与episodically透露奖励,激励的几个现实世界的应用程序,在不同的情节和奖励反馈的情况下是非平稳的决策代理。对于这种在线半监督学习设置,我们引入了背景情节奖励LinUCB(BerlinUCB),这是一种很容易将聚类作为自我监督模块的解决方案,可以在没有观察到奖励时提供有用的辅助信息。我们在六种不同场景的静态和非静态环境中对各种数据集进行的实验表明,所提出的方法比标准的上下文强盗具有明显的优势。最后,我们介绍了一个相关的现实生活中的例子,这个问题的设置是特别有用的。
2020-10-25 cs.AI cs.LG stat.ML
Plan-Based Relaxed Reward Shaping for Goal-Directed Tasks
TU Berlin(柏林工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
在高维状态空间中,强化学习(RL)的有效性受到探索问题的限制。这个问题已经解决了使用基于潜力的奖励塑造(PB-RS)之前。在目前的工作中,我们介绍了最终卷保持奖励塑造(FV-RS)。FV-RS放宽了PB-RS的严格最优性保证,以保证保持长期行为。由于限制较少,FV-RS允许甚至更适合于提高RL算法的样本效率的奖励塑造函数。特别是,我们考虑设置代理人可以访问一个近似的计划。在这里,我们使用模拟机器人操作任务的例子来证明,计划为基础的FV-RS确实可以显着提高样本效率的RL计划为基础的PB-RS。
2021-07-14 cs.AI cs.LG cs.RO
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种用于离线奖励学习的统一线性规划框架,无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数,具有可证明的样本效率和最优性保证,性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
Inferring and Conveying Intentionality: Beyond Numerical Rewards to Logical Intentions
SRI International(SRI国际公司)
共享意向性是开发有意识的人工智能智能体的关键组成部分,这些智能体能够进行协作、自我反思、审议和推理。我们将共享意向的推断公式化为具有逻辑奖励规范的逆强化学习问题。我们展示了如何的方法可以推断任务描述演示。我们还扩展了我们的方法,以积极地传达意向性。我们演示了一个简单的网格世界的例子的方法。
2022-07-13 cs.AI q-bio.NC
Potential Field Guided Actor-Critic Reinforcement Learning
Artificial Intelligence Research Center of National Innovation Institute of Defense Technology(国防科技创新研究院人工智能研究中心);Tianjin Artificial Intelligence Innovation Center(天津人工智能创新中心)
在本文中,我们考虑行动者-批评者强化学习的问题。首先,我们通过在奖励之外引入更多的评论,将Actor-Critic架构扩展为Actor-Critic-N架构。其次,我们结合基于奖励的评论家和基于势场的评论家,制定建议的势场引导的演员-评论家强化学习方法(演员-评论家-2)。这可以看作是基于模型的梯度和无模型梯度在政策改进中的结合。具有大势场的状态往往包含着较强的先验信息,如指向目标的距离较远或避开障碍物侧面的碰撞等。在这种情况下,我们应该更多地信任基于势场的政策评价,以促进政策改进,其中行动政策倾向于指导。例如,在实际应用中,学习避障应该是引导性的,而不是通过试错来学习。势场较小的状态往往是缺乏信息的,例如,在局部极小点或运动目标周围。在这个时候,我们应该更多地相信基于奖励的评论作为政策评估来评估长期回报。在这种情况下,行动政策倾向于探索。此外,势场评估可以与规划相结合,以估计更好的状态价值函数。这样,奖励设计就可以更多地关注奖励的最后阶段,而不是奖励塑造或阶段性奖励。此外,势场评估可以弥补多智能体合作问题中通信的不足,即,多智能体中的每个智能体都有一个基于奖励的评价器和一个相对统一的基于势场的评价器。最后,通过捕食者-食饵博弈的简化实验验证了该方法的有效性。
2020-06-12 cs.AI cs.CV cs.LG
Hindsight PRIORs for Reward Learning from Human Preferences
Arizona State University(亚利桑那州立大学);Apple Inc.(苹果公司)
针对基于偏好的强化学习中信用分配缺失导致的奖励学习低效问题,提出Hindsight PRIOR策略,利用世界模型估计状态重要性并引导奖励分配,显著提升了运动与操作任务的学习效率和奖励恢复效果。
2024-04-12 cs.AI cs.HC cs.LG
Reinforcement Learning with Non-Markovian Rewards
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
标准的RL世界模型是马尔可夫决策过程(MDP)的模型。MDP的一个基本前提是奖励仅取决于最后的状态和动作。然而,许多现实世界的奖励是非马尔可夫的。例如,如果国家只记录当前的请求和交付,那么仅在请求较早且尚未送达时才提供咖啡的奖励是非马尔可夫的。过去的工作考虑了用非马尔可夫奖励(NMR)建模和解决MDP的问题,但我们不知道用NMR进行RL的原则性方法。在这里,我们解决的问题,策略学习从经验与这种奖励。我们描述和经验评估四个组合的经典RL算法Q-学习和R-max与自动机学习算法,以获得新的RL算法与NMR域。我们还证明了这些变种收敛到一个最优策略的限制。
2019-12-05 cs.AI
Rewards Encoding Environment Dynamics Improves Preference-based Reinforcement Learning
Apple(苹果公司)
基于偏好的强化学习(RL)算法通过从人类偏好反馈中提取奖励函数来帮助避免手工制作的奖励函数的陷阱,但由于即使对于相对简单的任务,也需要人类提供大量的标签,因此它们仍然不切实际。在这项工作中,我们证明了在奖励函数(REED)中对环境动态进行编码可以大大减少最先进的基于偏好的RL框架所需的偏好标签数量。我们假设基于REED的方法更好地划分状态-动作空间,并促进泛化到偏好数据集中不包括的状态-动作对。REED通过自我监督的时间一致性任务在状态-动作表示中编码环境动态,并从状态-动作表示中自举基于偏好的奖励函数。而以前的方法训练只在偏好标记的轨迹对,REED暴露的状态动作表示在政策培训期间经历的所有过渡。我们在PrefPPO [1]和PEBBLE [2]偏好学习框架中探索了REED的好处,并证明了在实验条件下对策略学习速度和最终策略性能的改进。例如,在具有50个偏好标签的四足步行和步行者步行中,基于REED的奖励函数恢复了83%和66%的地面真实奖励策略性能,而没有REED,仅恢复了38%和21%。对于某些领域,基于REED的奖励函数会产生优于在地面真实奖励上训练的策略的策略。
2022-11-12 cs.AI cs.HC cs.LG
Adapting Behaviour via Intrinsic Reward: A Survey and Empirical Study
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究院);University of Alberta(阿尔伯塔大学);DeepMind
学习许多东西可以为强化学习系统提供许多好处。例如,除了优化环境奖励之外,学习许多辅助价值函数似乎可以改善探索学习和表示学习。本文所要解决的问题是如何塑造经验流-如何适应学习系统的行为-以优化对一组价值函数的学习。一个简单的答案是根据每个辅助学习者的统计数据计算内在奖励,并使用强化学习来最大化内在奖励。不幸的是,实现这个简单的想法已被证明是困难的,因此一直是几十年来研究的重点。目前还不清楚,在环境奖励极其稀少或不存在的平行学习环境中,哪些可能的学习措施会很好地发挥作用。在本文中,我们调查和比较不同的内在奖励机制在一个新的土匪般的并行学习测试床。我们讨论了奖励和预测学习者之间的相互作用,并强调了内省预测学习者的重要性:当进步可能时,他们的学习速度会增加,而当进步不可能时,他们的学习速度会降低。我们对14种不同的奖励进行了全面的实证比较,其中包括来自强化学习和主动学习的著名想法。我们的研究结果强调了一个简单但看似强大的原则:如果每个学习者都是内省的,那么基于学习量的内在奖励可以产生有用的行为。
2020-08-22 cs.AI cs.LG stat.ML