Automatic Reward Shaping from Multi-Objective Human Heuristics
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
MORSE通过双层优化框架自动整合多目标人类启发式奖励,提升机器人任务性能。
2025-12-17 cs.AI cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute for Advanced Study(东方高等研究院)
本文提出AIRS,一种自动内在奖励塑形方法,通过实时选择塑形函数增强强化学习探索,并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Automatic Curriculum Learning with Gradient Reward Signals
University of California, Berkeley(加州大学伯克利分校)
本文提出利用梯度范数作为奖励信号,让教师模型动态调整课程,以加速深度强化学习并提升泛化能力,在多个环境中验证了有效性。
2023-12-21 cs.AI cs.LG
LARG, Language-based Automatic Reward and Goal Generation
Naver Labs Europe(Naver欧洲实验室)
本文提出LARG方法,利用大型语言模型将文本任务描述自动转换为奖励与目标生成函数,实现无需手工奖励的机器人操作策略可扩展训练。
2023-06-19 cs.CL cs.LG cs.RO
Imitation Learning from Observation with Automatic Discount Scheduling
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);UC Berkeley(加州大学伯克利分校);Washington University in St. Louis(圣路易斯华盛顿大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对观察模仿学习(ILfO)中进度依赖任务难以学习的问题,本文提出自动折扣调度(ADS)机制,自适应调整折扣因子以先学早期行为,在九个Meta-World任务上全面超越现有方法。
2024-02-07 cs.AI cs.LG cs.RO
EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL
Inria(法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);ISIR Sorbonne Université(索邦大学智能系统与机器人研究所);Univ Angers(昂热大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
强化学习(RL)在长时间和稀疏奖励任务中是非常困难的,需要大量的训练步骤。加快学习过程的标准解决方案是利用额外的奖励信号,使其更好地指导学习过程。在语言条件强化学习的背景下,语言输入的抽象和概括属性为更有效地塑造奖励提供了机会。在本文中,我们利用这个想法,并提出了一个自动奖励塑造方法,代理提取辅助目标的一般语言目标。这些辅助目标使用问题生成(QG)和问答(QA)系统:它们由问题组成,引导代理尝试使用自己的轨迹重建有关全局目标的部分信息。当它成功的时候,它会得到一个与它对答案的信心成正比的内在奖励。这激励智能体生成轨迹,这些轨迹明确地解释了通用语言目标的各个方面。实验结果表明,该方法不需要工程师干预设计辅助目标,通过有效地指导探索,提高了样本效率。
2022-10-13 cs.AI cs.CL cs.LG
ORSO: Accelerating Reward Design via Online Reward Selection and Policy Optimization
Massachusetts Institute of Technology(麻省理工学院);ETH Zurich(苏黎世联邦理工学院);Boston University(波士顿大学);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
ORSO将塑形奖励选择建模为在线模型选择问题,自动识别高性能奖励函数,数据效率更高、计算时间最多降低8倍,性能优于先前方法50%以上,媲美专家手工设计。
2025-02-25 cs.AI cs.LG cs.RO
Automatic Goal Generation for Reinforcement Learning Agents
UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);International Computer Science Institute (ICSI)(国际计算机科学研究所)
强化学习是一种训练智能体执行任务的强大技术。然而,使用强化学习训练的智能体只能实现通过其奖励函数指定的单个任务。这种方法不能很好地扩展到智能体需要执行各种任务的设置,例如导航到房间中的不同位置或将对象移动到不同位置。相反,我们提出了一种方法,允许代理自动发现它能够执行的任务范围。我们使用一个生成器网络来提出代理试图实现的任务,指定为目标状态。生成器网络使用对抗训练进行优化,以生成始终处于适当难度水平的任务。因此,我们的方法自动产生一个课程的任务代理学习。我们表明,通过使用这个框架,代理可以有效地和自动地学习执行广泛的任务,而不需要任何先验知识的环境。我们的方法还可以学习以稀疏的奖励完成任务,这在传统上构成了重大挑战。
2018-07-23 cs.AI cs.LG cs.RO
Automatic Reward Shaping from Confounded Offline Data
Causal AI Lab, Columbia University, New York, USA(因果AI实验室,哥伦比亚大学,纽约,美国);Department of Electrical Engineering and Computer Science, Syracuse University, New York, USA(电气工程与计算机科学系, Syracuse大学,纽约,美国)
本文提出一种基于DQN的鲁棒深度强化学习算法,应对离线数据中的未观测混杂偏差,在十二个混杂Atari游戏中始终优于标准DQN。
2025-09-09 cs.AI cs.LG
Sample Efficient Reinforcement Learning by Automatically Learning to Compose Subtasks
Utrecht University(乌得勒支大学)
针对稀疏奖励强化学习中人工奖励结构不准、自动学习方法计算困难的问题,提出利用子任务标签联合训练高层子任务选择策略与低层执行策略,以自动构建奖励并提升样本效率。
2024-01-25 cs.LG
Constraints as Rewards: Reinforcement Learning for Robots without Reward Functions
Sony Group Corporation(索尼集团公司);Sony Global Manufacturing & Operations Corporation(索尼全球制造与运营公司)
本文提出Constraints as Rewards(CaR),用多个约束函数替代奖励函数并借助拉格朗日方法自动平衡多目标,在六轮伸缩腿机器人起立任务中成功学到目标行为。
2025-01-09 cs.AI cs.LG cs.RO
ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of British Columbia(不列颠哥伦比亚大学)
ARM-FM通过基础模型实现自动化奖励设计,利用自然语言生成奖励机并实现跨任务泛化,提升强化学习的通用性和效率。
2026-03-08 cs.AI cs.LG
Explore 3D Dance Generation via Reward Model from Automatically-Ranked Demonstrations
Tsinghua University(清华大学);University of Sydney(悉尼大学);Waseda University(早稻田大学)
针对现有音乐条件3D舞蹈生成模型探索能力不足、生成内容单调简单不符合人类偏好的问题,提出E3D2框架,用自动排序演示训练的奖励模型指导强化学习,生成高质量多样化舞蹈,经理论实验验证,在AIST++数据集上有效。
2023-12-18 cs.AI cs.HC
Real-World Offline Reinforcement Learning from Vision Language Model Feedback
Indian Institute of Technology, Kharagpur(印度理工学院,克哈格浦尔分校);IIIS, Tsinghua University(清华大学人工智能研究所);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出一种利用视觉语言模型偏好反馈自动为离线数据集生成奖励标签的系统,结合离线强化学习(隐式Q学习)在真实穿衣和模拟操作任务中显著优于基线方法。
2025-08-06 cs.AI cs.LG cs.RO
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
University of Texas at Austin(德克萨斯大学奥斯汀分校);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所)
我们引入了自监督在线奖励塑造(SORS),其目的是通过自动加密奖励来提高稀疏奖励环境中任何RL算法的样本效率。所提出的框架交替基于分类的奖励推理和策略更新步骤-原始稀疏奖励通过对代理观察到的轨迹进行排名来提供用于奖励推理的自我监督信号,而策略更新则使用新推断的,通常密集的奖励函数来执行。我们引入的理论表明,在某些条件下,这种改变的奖励函数不会改变原来的MDP的最优策略,同时可能会显着提高学习速度。在几个稀疏奖励环境中的实验结果表明,在多个域中,该算法不仅比使用稀疏奖励的标准RL基线具有更高的样本效率,而且有时还实现了与使用手工设计的密集奖励函数时相似的样本效率。
2021-07-26 cs.LG cs.RO
SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling
SPARE通过单次生成与参考引导评估,实现高效过程标注,提升LLM多步推理中的奖励建模与微调效果。
2026-03-02 cs.AI cs.CL cs.LG
LECO: Learnable Episodic Count for Task-Specific Intrinsic Reward
Kakao Brain
情节计数已被广泛用于设计一个简单而有效的内在动机的强化学习与稀疏的奖励。然而,在高维状态空间中以及在长的情节时间上使用情节计数需要彻底的状态压缩和快速散列,这阻碍了在这种困难和复杂的探索环境中对其的严格利用。此外,来自任务无关的观察在情节计数的干扰可能会导致其内在动机,忽视任务相关的重要变化的状态,和新奇的情节方式可以导致重复重温熟悉的状态跨事件。为了解决这些问题,在本文中,我们提出了一个可学习的基于散列的情节计数,我们命名为LECO,有效地执行任务特定的内在奖励在硬探索问题。特别是,所提出的内在奖励包括情节新颖性和任务特定的调制,其中前者采用矢量量化的变分自编码器,以自动获得快速计数的离散状态码,而后者通过学习调制器来调节情节新颖性,以优化任务特定的外在奖励。所提出的LECO特别地使得在强化学习期间能够从探索自动过渡到利用。我们的实验表明,与以前的探索方法相比,LECO成功地解决了困难的探索问题,并通过在MiniGrid和DMLab环境中最困难的任务扩展到大的状态空间。
2022-10-11 cs.AI cs.LG
AutoDIME: Automatic Design of Interesting Multi-Agent Environments
OpenAI(开放人工智能研究中心)
设计一个RL代理可以学习有趣和有用的技能的环境分布是一个具有挑战性和理解不足的任务,对于多代理环境,困难只会加剧。一种方法是训练第二个RL代理,称为教师,谁的样本环境,有利于学生代理的学习。然而,大多数以前的建议,教师奖励不直接推广到多智能体设置。我们研究了一组来自预测问题的内在教师奖励,这些问题可以应用于多智能体设置,并在Mujoco任务中对其进行评估,例如多智能体Hide and Seek以及诊断单智能体迷宫任务。在所考虑的内在奖励中,我们发现价值分歧在不同任务中最为一致,导致在捉迷藏和迷宫任务中更快、更可靠地出现高级技能。考虑的另一个候选内在奖励,价值预测误差,在捉迷藏中也很好,但在随机环境中容易受到噪音电视风格的干扰。政策分歧在迷宫任务中表现良好,但在捉迷藏中没有加快学习。我们的研究结果表明,内在的教师奖励,特别是价值分歧,是一个很有前途的方法,自动化的单和多代理环境设计。
2022-03-04 cs.AI cs.LG cs.MA
No Metrics Are Perfect: Adversarial Reward Learning for Visual Storytelling
University of California, Santa Barbara(加州大学圣巴巴拉分校)
虽然视觉字幕已经取得了令人印象深刻的成果,从照片流生成抽象故事的任务仍然是一个很少开发的问题。与字幕不同,故事具有更强的语言表现力,包含了许多想象中的概念,而这些概念在图像中是不可能出现的。这就给行为克隆算法提出了挑战。此外,由于评估故事质量的自动度量的限制,具有手工制作的奖励的强化学习方法在获得整体性能提升方面也面临困难。因此,我们提出了一个对抗性奖励学习(AREL)框架,从人类演示中学习隐式奖励函数,然后使用学习到的奖励函数优化策略搜索。虽然自动评估表明,在克隆专家行为方面,与最先进的(SOTA)方法相比,性能略有提高,但人工评估表明,我们的方法在生成更多类似于SOTA系统的故事方面取得了显着改进。
2018-07-09 cs.AI cs.CL cs.CV
Generative Exploration and Exploitation
Peking University(北京大学)
稀疏奖励是强化学习(RL)面临的最大挑战之一。在本文中,我们提出了一种新的方法,称为生成的探索和利用(基因),以克服稀疏奖励。GENE自动生成启动状态,以鼓励智能体探索环境并利用收到的奖励信号。GENE可以根据学习过程中Agent所经历的状态分布的变化,自适应地在探索和利用之间进行权衡。GENE不依赖于环境的先验知识,可以与任何RL算法结合,无论是on-policy还是off-policy,单智能体还是多智能体。经验上,我们证明基因显着优于现有的方法,在三个任务,只有二进制奖励,包括迷宫,迷宫蚂蚁,和合作导航。消融研究证实了渐进探索和自动逆转的出现。
2019-11-20 cs.AI cs.LG stat.ML
Potential-based Reward Shaping in Sokoban
Leiden University(莱顿大学)
学习解决稀疏奖励强化学习问题是困难的,因为缺乏对目标的指导。但在某些问题中,先验知识可以用来增强学习过程。奖励塑造是一种将先验知识融入到原始奖励函数中以加快学习速度的方法。虽然以前的工作已经调查了使用专家知识来生成潜在的功能,在这项工作中,我们研究是否可以使用搜索算法(A*)自动生成一个潜在的功能,奖励塑造推箱子,一个著名的规划任务。结果表明,使用成形奖励函数学习比从头开始学习更快。我们的研究结果表明,距离函数可能是一个合适的函数推箱子。这项工作证明了解决多个实例的帮助下,奖励塑造的可能性。结果可以被压缩成一个单一的策略,这可以被看作是训练一个能够解决看不见的实例的通用策略的第一阶段。
2021-09-10 cs.AI cs.LG
Automated curricula through setter-solver interactions
DeepMind(深度思维);Stanford University(斯坦福大学)
强化学习算法使用策略和奖励之间的相关性来提高代理性能。但在动态或奖励稀疏的环境中,这些相关性往往太小,或者奖励事件太少,使学习变得可行。相反,人类的教育依赖于课程--将任务分解为更简单、静态的挑战和密集的奖励--以建立复杂的行为。虽然课程对人工代理也很有用,但手工制作它们很耗时。这促使研究人员探索自动课程生成。在这里,我们将探讨在丰富的动态环境中自动生成课程。使用设置-求解范例,我们考虑目标的有效性,目标的可行性和目标覆盖率,以构建有用的课程的重要性。我们展示了我们的方法在丰富但回报稀少的2D和3D环境中的成功,在这些环境中,代理的任务是实现从一组可能的目标中选择的单个目标,这些目标在不同的情节之间变化,并确定未来工作的挑战。最后,我们证明了一种新的技术,引导代理朝着一个理想的目标分布的价值。总而言之,这些结果代表了一个实质性的一步,应用自动任务课程学习复杂的,否则无法学习的目标,并据我们所知,是第一个展示自动课程生成的目标条件代理的环境中,可能的目标不同的情节。
2020-01-22 cs.AI cs.LG stat.ML
DeepSynth: Automata Synthesis for Automatic Task Segmentation in Deep Reinforcement Learning
University of Oxford(牛津大学)
本文提出了DeepSynth,这是一种有效训练深度强化学习(RL)代理的方法,当奖励是稀疏和非马尔可夫的,但同时朝着奖励的进展需要实现未知的高级目标序列。我们的方法采用了一种新的算法,紧凑的自动机的合成,自动发现这种顺序结构。我们从探索环境收集的跟踪数据中合成了一个人类可解释的自动机。然后用合成的自动机来丰富环境的状态空间,使得由深度RL生成的控制策略由在自动机中编码的发现的结构来指导。该方法能够同时处理高维、低层特征和未知稀疏非马尔可夫回报。我们在一系列实验中评估了DeepSynth的性能,其中包括Atari游戏Montezuma的复仇。与现有的方法相比,我们得到了减少两个数量级的策略合成所需的迭代次数,也是一个显着的可扩展性的改善。
2021-03-06 cs.AI cs.LG cs.LO
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH(奥地利技术研究所股份有限公司);TU Wien(维也纳工业大学)
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中,我们介绍了一种新的,分层的,基于潜力的奖励成形方法(HPRS),用于定义有效的,多变量的奖励,为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求,并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造,我们表明,HPRS保持政策最优。我们的实验评估表明,HPRS的卓越能力,在捕捉预期的行为,从而在任务满意的政策,提高舒适度,并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性,以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Safe Policy Improvement in Constrained Markov Decision Processes
TU Wien(维也纳工业大学)
通过强化学习(RL)从给定的一组正式需求自动合成策略取决于奖励信号的构造,并且由许多策略改进步骤的迭代应用组成。合成算法必须在单一目标中平衡目标、安全性和舒适性要求,并保证策略改进不会增加违反安全要求的数量,特别是对于安全关键型应用。在这项工作中,我们提出了一个解决方案的综合问题,解决其两个主要的挑战:从一组正式的要求和安全的政策更新的奖励塑造。对于前者,我们提出了一个自动奖励整形过程,定义了一个标量奖励信号符合任务规范。对于后者,我们引入了一个算法,以确保该政策的改进,在一个安全的方式与高置信度的保证。我们还讨论了采用基于模型的RL算法,以有效地使用收集到的数据和训练预测轨迹上的无模型代理,其中安全违规不会产生与现实世界中相同的影响。最后,我们在标准控制基准中证明了即使在超参数的严重扰动下,所得到的学习过程也是有效的和鲁棒的。
2022-10-20 cs.AI cs.FL cs.LG
Redeeming Intrinsic Rewards via Constrained Optimization
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Aalto University(阿尔托大学)
现有技术的强化学习(RL)算法通常使用随机采样(例如,$ε$ -贪婪)的探索,但这种方法失败的硬探索任务,如蒙特祖玛的复仇。为了应对探索的挑战,先前的作品通过在智能体访问新状态时奖励智能体来激励探索。这种内在奖励(也称为探索奖金或好奇心)通常会导致在困难的探索任务中表现出色。然而,在简单的探索任务中,智能体会被内在奖励分散注意力,即使有足够的任务(也称为外在)奖励,也会进行不必要的探索。因此,这样一个过度好奇的代理比一个只接受任务奖励训练的代理表现得更差。任务之间的这种性能不一致性阻止了RL算法中内在奖励的广泛使用。我们提出了一个原则性的约束优化过程,称为外在-内在策略优化(EIPO),自动调整内在奖励的重要性:它抑制内在奖励时,探索是不必要的,并增加它时,探索是必需的。其结果是优越的探索,不需要手动调整平衡的内在奖励对任务奖励。在61款ATARI游戏中获得的一致性能提升验证了我们的说法。该代码可在https://github.com/Improbable-AI/eipo上获得。
2022-11-18 cs.AI cs.LG
Scaling Autonomous Agents via Automatic Reward Modeling And Planning
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种无需人工标注、从环境交互中自动构建三元组并训练奖励模型的框架,用于评估LLM智能体轨迹并辅助规划,在多个基准上验证了有效性与泛化性。
2025-02-17 cs.AI
AED: Automatic Discovery of Effective and Diverse Vulnerabilities for Autonomous Driving Policy with Large Language Models
AED 利用大语言模型自动发现自动驾驶策略的有效且多样的漏洞,提升漏洞发现的多样性和有效性。
2025-11-30 cs.AI cs.CR cs.LG
Value-Free Policy Optimization via Reward Partitioning
LIPN, Université Paris 13(巴黎第十三大学LIPN实验室);Université Paris 13(巴黎第十三大学);Université de Versailles Saint-Quentin Paris(巴黎- versaillies圣quentin大学)
提出Reward Partition Optimization (RPO)方法,通过基于划分的奖励归一化消除价值函数学习,实现稳定、高效的策略优化。
2026-06-01 cs.AI cs.LG
Focal Reward: Balanced Reinforcement Learning under Rubric-Based Rewards
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对大语言模型在基于多维评分标准的强化学习中奖励失衡的问题,提出Focal Reward方法,通过逆奖励投影机制估计各维度饱和程度并自动重加权,实现细粒度平衡,在18个模型-基准对比中均优于最强静态聚合基线。
2026-05-26 cs.LG
Variational Automatic Curriculum Learning for Sparse-Reward Cooperative Multi-Agent Problems
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学);Stanford University(斯坦福大学);Shanghai Qi Zhi Institute(上海期智研究院)
本文提出VACL变分自动课程学习算法,通过任务扩展与实体推进生成由易到难的多智能体训练课程,在百级智能体稀疏奖励协作任务中取得高覆盖率并复现复杂策略。
2021-12-22 cs.LG cs.MA
ILAEDA: An Imitation Learning Based Approach for Automatic Exploratory Data Analysis
IIIT Hyderabad(印度信息技术研究所海得拉巴分校);IBM Research(IBM研究院)
本文提出ILAEDA,一种基于生成对抗模仿学习(GAIL)的自动化探索性数据分析方法,通过从专家会话学习并生成合成演示,避免了手动定义奖励函数,在基准上性能提升达3倍。
2024-10-15 cs.AI cs.DB cs.LG
Risk-Aware Reward Shaping of Reinforcement Learning Agents for Autonomous Driving
Eindhoven University of Technology(埃因霍温理工大学);Northwestern Polytechnical University(西北工业大学)
针对自动驾驶强化学习奖励函数难确定、传统方法缺风险感知的问题,提出风险感知奖励塑形方法,新增鼓励探索、惩罚风险行为的奖励项,仿真验证对多类智能体有效,且PPO方法配合效果最佳。
2023-08-25 cs.AI cs.RO
Reward Shaping Using Convolutional Neural Network
Concordia University(康考迪亚大学);Khalifa University(哈利法大学);Lebanese American University(黎巴嫩美国大学);New York University(纽约大学)
在本文中,我们提出了价值迭代网络奖励塑造(VIN-RS),一个潜在的基于卷积神经网络(CNN)的奖励塑造机制。建议的VIN-RS嵌入一个CNN训练计算标签使用隐马尔可夫模型的消息传递机制。CNN处理环境的图像或图形以预测成形值。最近关于奖励塑造的工作仍然局限于训练马尔可夫决策过程(MDP)的表示和建立转移矩阵的估计。VIN-RS的优点是从估计的MDP构造有效的势函数,同时自动推断环境转移矩阵。所提出的VIN-RS通过自学习的卷积滤波器估计转移矩阵,同时从输入帧或采样图中提取环境细节。由于(1)之前使用消息传递进行奖励塑造的成功;以及(2)CNN规划行为,我们使用这些消息来训练VIN-RS的CNN。实验进行表格游戏,Atari 2600和MuJoCo,离散和连续的动作空间。我们的研究结果表明,与最先进的方法相比,在学习速度和最大累积奖励方面有很大的改进。
2022-10-30 cs.AI cs.LG
Reinforced Video Captioning with Entailment Rewards
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
序列到序列模型在视频描述的时间任务上已经显示出有希望的改进,但是它们在训练期间优化了词级交叉熵损失。首先,使用策略梯度和混合损失方法进行强化学习,我们直接优化基于任务的指标(作为奖励),在多个数据集上的自动指标和人工评估的基础上,实现了基线的显著改进。接下来,我们提出了一种新的蕴涵增强型奖励(CIDEnt),纠正基于短语匹配的度量(如CIDER),只允许逻辑上隐含的部分匹配,避免矛盾,实现进一步显着改善CIDER-奖励模型。总的来说,我们的CIDEnt-奖励模型在MSR-VTT数据集上达到了新的最先进水平。
2017-08-07 cs.AI cs.CL cs.CV
Better-than-Demonstrator Imitation Learning via Automatically-Ranked Demonstrations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿学习的性能通常是由演示者的性能上限。虽然最近的实证结果表明,排名示范允许更好的性能比演示,演示的偏好可能很难获得,理论上知之甚少,当这种方法可以预期成功地外推超出演示的性能。为了解决这些问题,我们首先贡献了一个比演示者更好的模仿学习的充分条件,并提供了理论结果,说明为什么在执行逆强化学习时,演示的偏好可以更好地减少奖励函数的模糊性。在此理论的基础上,我们引入了基于干扰的奖励外推(D-REX),这是一种基于排名的模仿学习方法,它将噪声注入通过行为克隆学习的策略中,以自动生成排名演示。这些排名的演示用于有效地学习奖励函数,然后可以使用强化学习来优化该奖励函数。我们在模拟机器人和Atari模仿学习基准上实证验证了我们的方法,并表明D-REX优于标准的模仿学习方法,并且可以显着超过演示器的性能。D-REX是第一种模仿学习方法,可以在没有额外的辅助信息或监督(如奖励或人类偏好)的情况下,实现对演示者表现的显著外推。通过自动生成排名,我们表明,基于偏好的逆强化学习可以应用于传统的模仿学习设置中,只有未标记的演示。
2019-10-14 cs.LG stat.ML
Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback
\dagger(机构1)
本文提出ONI,一种分布式架构,利用LLM反馈在线合成内在奖励,无需离线数据集,在NetHack任务上达到最先进性能。
2025-10-23 cs.AI cs.CL cs.LG
Curriculum Reinforcement Learning for Complex Reward Functions
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文针对多奖励项复杂奖励函数中难以平衡且易被利用的问题,提出一种两阶段奖励课程方法,先优化简单奖励再自动过渡到完整复杂奖励,并引入灵活replay buffer实现高效阶段迁移,在DeepMind control suite和移动机器人场景中显著提升了策略性能与约束满足能力。
2025-02-10 cs.LG cs.RO
Fooling Reward Models with Gibberish: Adversarial Examples Beyond the Semantic Regime
UIUC(伊利诺伊大学厄巴纳-香槟分校);Independent Researcher(独立研究员);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出Token Mapping Perturbation Attack(TOMPA)框架,通过在标记空间中进行对抗优化,发现非语言标记模式以提升奖励模型性能,揭示了当前RLHF流程的关键漏洞。
2026-11-03 cs.AI cs.LG
Artist Agent: A Reinforcement Learning Approach to Automatic Stroke Generation in Oriental Ink Painting
Tokyo Institute of Technology(东京工业大学)
东方水墨画,被称为Sumi-e,是最吸引人的绘画风格之一,吸引了世界各地的艺术家。基于计算机的Sumi-e仿真的主要挑战是抽象复杂的场景信息和绘制平滑自然的笔触。为了自动找到这样的笔画,我们建议将画笔建模为强化学习代理,并通过最大化策略搜索框架中的奖励之和来学习所需的画笔轨迹。我们还为Sumi-e代理提供精心设计的动作,状态和奖励。我们所提出的方法的有效性,通过模拟Sumi-e实验证明。
2012-06-18 cs.GR cs.LG stat.ML
What Are Step-Level Reward Models Rewarding? Counterintuitive Findings from MCTS-Boosted Mathematical Reasoning
TAL Education Group(好未来教育集团)
本文探究MCTS增强的步骤级奖励模型在数学推理中的反直觉机制,发现自然语言思维描述影响甚微,而模型主要奖励数学语言的逻辑连贯性,为精简高效SRMs设计提供指导。
2025-03-08 cs.AI cs.LG
Process Rewards for Outcome-Guided Reasoning Steps in LLM Reinforcement Learning
Amazon Science(亚马逊科学)
PROGRS框架通过过程奖励相对偏好优化,提升数学推理准确性,减少错误引导,优于仅基于结果的基线方法。
2026-10-14 cs.AI cs.LG
Reward function compression facilitates goal-dependent reinforcement learning
University of California, Berkeley(加州大学伯克利分校)
本研究提出人类通过将复杂目标信息压缩为稳定的奖励函数来提高目标依赖强化学习的效率,实验表明目标空间大小损害学习但可压缩性改善学习,且奖励处理速度与学习正相关。
2026-07-02 cs.LG q-bio.NC
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊);Sony AI(索尼AI)
在连续任务中,平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样,在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而,据我们所知,奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架,并证明了在标准假设下,可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要,我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数,在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下,与相关基线相比,整形加快了平均奖励学习率,而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning
University of Pennsylvania(宾夕法尼亚大学)
身体上的相互作用往往有助于揭示那些不太明显的信息。例如,我们可能会拉桌子腿来评估它是否建造得很好,或者把水瓶倒过来检查它是否防水。我们建议训练机器人自动获得这样的互动行为,用于评估的结果,试图机器人技能执行。这些评估反过来充当“交互式奖励函数”(IRF),用于训练强化学习策略以执行目标技能,例如拧紧桌腿。此外,即使在任务策略被完全训练之后,IRF也可以作为改进在线任务执行的验证机制。对于任何给定的任务,我们的IRF都可以仅使用成功结果的示例来方便地训练,并且此后不需要进一步的规范来训练任务策略。在我们对模拟中的门锁和配重块堆叠以及真实机器人上的螺钉拧紧进行的评估中,IRF可以大幅提高性能,甚至可以通过演示或精心设计的奖励来超越基线。项目网址:https://sites.google.com/view/lirf-corl-2022/
2022-12-17 cs.LG cs.RO
ReLAM: Learning Anticipation Model for Rewarding Visual Robotic Manipulation
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);School of Artificial Intelligence(人工智能学院)
针对真实视觉机器人操作中目标位置奖励不可得的问题,本文提出ReLAM框架,利用无动作视频学习关键点预期模型并生成结构化稠密奖励,在HRL中训练目标条件策略,显著提升长视野任务性能。
2025-09-26 cs.LG cs.RO
Transformable Gaussian Reward Function for Socially-Aware Navigation with Deep Reinforcement Learning
Kyung Hee University(庆熙大学)
针对社会感知导航中奖励函数设计困难的问题,本文提出可变换高斯奖励函数(TGRF),以降低超参数调优负担、提升适应性并加速深度强化学习在拥挤环境中的学习效率。
2024-06-06 cs.AI cs.RO
Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学);Macquarie University(麦考瑞大学)
强化学习的最新进展激发了人们对通过动态交互自适应地学习用户建模的兴趣,例如,在基于强化学习的推荐系统中。在大多数强化学习应用中,奖励函数是一个重要的参数,它可以为优化提供指导。然而,目前基于学习的方法依赖于人工定义的奖励函数,不能适应动态和噪声环境。此外,它们通常使用特定于任务的奖励函数,牺牲了泛化能力。针对上述问题,提出了一种生成式逆强化学习的用户行为偏好建模方法。我们的模型不使用预定义的奖励函数,而是基于区分性演员-评论家网络和Wasserstein GAN自动学习用户行为的奖励。我们的模型提供了一种描述和解释潜在行为倾向的一般方法,我们的实验表明,我们的方法在各种场景下,即交通信号控制,在线推荐系统和扫描路径预测中的表现优于最先进的方法。
2021-05-05 cs.AI cs.IR cs.LG
Intrinsic Motivation and Automatic Curricula via Asymmetric Self-Play
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
我们描述了一个简单的计划,允许代理学习其环境中的无监督的方式。我们的方案让同一个代理人的两个版本,Alice和Bob,相互对抗。爱丽丝提出一个任务让鲍勃完成,然后鲍勃试图完成这个任务。在这项工作中,我们将重点放在两种环境:(几乎)可逆的环境和环境,可以重置。爱丽丝将通过做一系列动作来“提出”任务,然后鲍勃必须分别撤销或重复它们。通过适当的奖励结构,Alice和Bob自动生成探索课程,从而实现对智能体的无监督训练。当Bob被部署在环境中的RL任务上时,这种无监督训练减少了学习所需的监督片段的数量,并且在某些情况下收敛到更高的奖励。
2018-04-27 cs.LG
A Composable Specification Language for Reinforcement Learning Tasks
University of Pennsylvania(宾夕法尼亚大学)
强化学习是一种很有前途的机器人任务控制策略学习方法。然而,指定复杂的任务(例如,具有多个目标和安全约束)可能是具有挑战性的,因为用户必须设计对整个任务进行编码的奖励函数。此外,用户通常需要手动地形成奖励以确保学习算法的收敛。我们提出了一种语言来指定复杂的控制任务,以及一个算法,编译规格在我们的语言成一个奖励功能,并自动执行奖励塑造。我们在一个名为SPECTRL的工具中实现了我们的方法,并表明它优于几个最先进的基线。
2020-10-29 cs.AI cs.LG stat.ML
DORB: Dynamically Optimizing Multiple Rewards with Bandits
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
基于策略梯度的强化学习已被证明是一种很有前途的方法,用于直接优化语言生成任务的不可微评价指标。然而,针对特定指标奖励的优化主要只会导致该指标的改进,这表明该模型正在以特定的方式对该指标的制定进行游戏,而通常不会实现真正的定性改进。因此,使模型联合优化多个不同的度量奖励更有益。虽然吸引人,但这是具有挑战性的,因为需要手动决定这些指标奖励的重要性和缩放权重。此外,重要的是要考虑使用随时间灵活变化的指标奖励的动态组合和课程。考虑到上述方面,在我们的工作中,我们通过多臂强盗方法(DORB)同时自动优化多个度量奖励,其中在每一轮,强盗根据预期的臂增益选择下一步优化哪个度量奖励。我们将Exp 3算法用于强盗,并制定了两种强盗奖励方法:(1)单一多奖励强盗(SM-Bandit);(2)分层多奖励强盗(HM-Bandit)。我们通过两个重要的NLG任务:问题生成和数据到文本生成,包括在一个看不见的测试传输设置上的各种自动指标和人工评估,以经验证明了我们的方法的有效性。最后,我们提出了可解释的分析学习强盗课程的优化奖励。
2020-11-15 cs.AI cs.CL cs.LG
Exploring Question-Specific Rewards for Generating Deep Questions
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所);NUS Graduate School for Integrative Sciences and Engineering(新加坡国立大学综合科学与工程研究生院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);ZhuiYi Technology(追一科技);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学教育部计算语言学重点实验室)
最近的问题生成(QG)方法通常利用序列到序列框架(Seq2Seq)来优化使用教师强迫的地面实况问题的对数似然。然而,这种训练目标与实际问题质量不一致,实际问题质量通常通过某些全局属性(例如问题是否可以由文档回答)来反映。因此,我们通过强化学习直接优化QG特定的目标,以提高问题质量。我们设计了三种不同的奖励,旨在提高生成问题的流畅性,相关性和可回答性。我们进行自动和人工评估,并进行全面分析,以探索每个QG特定奖励的效果。我们发现,优化特定问题的奖励通常会导致更好的性能自动评估指标。然而,只有与人类判断相关的奖励(例如,相关性)导致问题质量的真正改善。为其他人优化,特别是可回答性,会给模型带来不正确的偏差,导致问题质量不佳。我们的代码可在https://github.com/YuxiXie/RL-for-Question-Generation上公开获取。
2020-11-02 cs.AI cs.CL
Managing multiple agents by automatically adjusting incentives
Hitachi, Ltd.(日立制作所);Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
本文提出引入管理者智能体,通过为特定行动自动分配激励来协调多个自利智能体,并在供应链管理实验中显著提升原始、智能体及管理者奖励。
2024-09-03 cs.AI cs.GT cs.MA
Combining Automated Optimisation of Hyperparameters and Reward Shape
RWTH Aachen University(亚琛工业大学);Universiteit Leiden(莱顿大学)
针对强化学习中超参数与奖励函数难调优且相互依赖的问题,提出二者联合优化方法并加入方差惩罚提升策略稳定性,实验证明其在多数环境中性能提升显著且计算成本增加少。
2024-10-09 cs.AI cs.LG