Reinforcement Learning with Segment Feedback
Stanford University(斯坦福大学);NVIDIA Research(NVIDIA研究)
本文提出分段反馈强化学习模型填补逐状态-动作与轨迹反馈间的空白,针对二元、求和两种反馈设置设计算法并建立遗憾界,证明分段数对两种反馈下学习性能的影响存在显著差异。
2025-06-17 cs.LG
Dense Dynamics-Aware Reward Synthesis: Integrating Prior Experience with Demonstrations
University of Texas at Austin, USA(德克萨斯大学奥斯汀分校);University of Washington, USA(华盛顿大学)
本文提出一种系统化的奖励塑造框架,结合先验数据集和少量专家演示,生成密集动态感知奖励,加速连续控制任务的学习。
2025-04-24 cs.LG
Uncertainty-Penalized Reinforcement Learning from Human Feedback with Diverse Reward LoRA Ensembles
National University of Defense Technology(国防科技大学);State Key Laboratory of Complex & Critical Software Environment(复杂与关键软件环境国家重点实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
针对RLHF中的过度优化问题,提出UP-RLHF方法,通过最大化核范数构建多样化奖励LoRA集成来量化不确定性,并利用不确定性正则化优化策略模型,有效缓解过度优化并提升整体性能。
2023-12-30 cs.LG
Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment
Beijing University of Posts and Telecommunications(北京邮电大学)
本文将LLM对齐表述为BIRL问题,提出AVA训练目标通过AVRIL进行对齐,直接建模单演示与中间奖励以提升信号利用率,在奖励建模、RL微调和直接优化上优于现有方法。
2024-11-14 cs.LG
Smooth Sequential Optimisation with Delayed Feedback
Apple(苹果公司)
反馈中的随机延迟导致使用多臂强盗的不稳定的顺序学习。最近,经验贝叶斯收缩已被证明可以改善强盗学习中的奖励估计。在这里,我们提出了一种新的适应收缩,估计平滑的奖励估计从窗口累积输入,处理不完整的知识延迟反馈和非平稳奖励。使用数值模拟,我们表明,这种适应保留了收缩的好处,并提高了超过50%的奖励估计的稳定性。我们的建议将最佳治疗组的治疗分配变异性降低了3.8倍,并提高了统计准确性-真阳性率提高了8%,假阳性率降低了37%。总之,这些优点使得能够控制适应的速度和稳定性之间的权衡,并促进人在回路的顺序优化。
2021-06-22 cs.LG
Reward Learning from Multiple Feedback Types
University of Konstanz(康斯坦茨大学);ETH Zurich(苏黎世联邦理工学院)
本文提出从六种反馈类型中学习奖励的方法,在十个RL环境中验证其有效性,表明多类型反馈能提升奖励建模性能,为RLHF提供新方向。
2025-02-28 cs.AI cs.LG
From Connectivity to Rewards: Dense Reward Learning with Directed State Graphs
McGill University(麦吉尔大学);Mila – Quebec AI Institute(米拉–魁北克人工智能研究所);Google DeepMind(谷歌DeepMind)
本文提出G2QDR框架,利用有向状态图预测状态连通性并转化为稠密奖励,以增强目标条件分层强化学习在拟度量环境中的性能。
2026-09-11 cs.LG
DHRCL:Training Code LLMs with Dense Hierarchical Rewards and Curriculum Learning
该研究提出DHRCL框架,通过分层奖励与自动阶段课程学习训练代码大语言模型,经多模型规模实验验证其优势稳定,优于多种基线方法。
2026-08-05 cs.LG
When Offline Evaluation Misleads: A Diagnostic Protocol for Reward and Policy Selection in Delayed-Feedback Contextual Bandits
Thumbtack, Inc.(Thumbtack公司)
针对延迟反馈情境多臂老虎机的奖励与策略选择,提出有序诊断协议,验证其有效性并揭示奖励排序易误导、个性化溢价易高估的结论。
2026-08-13 cs.LG
Binary Reward Labeling: Bridging Offline Preference and Reward-Based Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出二元奖励标注框架,将偏好反馈转换为标量奖励以复用基于奖励的离线强化学习算法,并在 D4RL 偏好数据集上验证其性能。
2024-10-23 cs.LG
Feedback Attribution and Representation Geometry: Metrics for Comparing Individual and Shared Rewards in MARL
研究多智能体强化学习中团队平均奖励下,学习表示上奖励归因的特征。提出EffRank/$n$和$D_\text{act}$指标,在SMACv2测试发现观测解释几何特征,奖励归因体现在行为,且指标开销低。
2026-07-21 cs.LG
Balance Between Efficient and Effective Learning: Dense2Sparse Reward Shaping for Robot Manipulation with Environment Uncertainty
Institute of Intelligent Machines, Hefei Institute of Physical Science, CAS(中国科学院合肥物质科学研究院智能机械研究所);Institute of Plasma Physics, Hefei Institute of Physical Science, CAS(中国科学院合肥物质科学研究院等离子体物理研究所)
高效和有效的学习是深度强化学习(DRL)的最终目标之一,尽管在大多数情况下已经做出了妥协,特别是对于机器人操作的应用。学习对于机器人操作任务来说总是昂贵的,并且学习效率会受到系统不确定性的影响。为了解决上述问题,本研究提出了一种简单但功能强大的奖励塑造方法,即Dense2Sparse。它结合了密集奖励的快速收敛和稀疏奖励的噪声隔离的优点,实现了学习效率和效果之间的平衡,适用于机器人操作任务。我们评估了我们的Dense2Sparse方法与一系列的烧蚀实验使用的状态表示模型与系统的不确定性。实验结果表明,与单独使用稠密奖励和稀疏奖励的方法相比,该方法获得了更高的期望奖励,并且对系统的不确定性具有更好的容忍度。
2020-03-05 cs.LG stat.ML
Grad2Reward: From Sparse Judgment to Dense Rewards for Improving Open-Ended LLM Reasoning
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,BIGAI)
Grad2Reward通过从判断者模型推理过程中提取密集过程奖励,提升开放性大语言模型推理的效率和质量。
2026-02-02 cs.LG
A Study on Dense and Sparse (Visual) Rewards in Robot Policy Learning
University of Lincoln(林肯大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
深度强化学习(Deep Reinforcement Learning,DRL)是一种很有前途的机器人学习方法。然而,它的一个主要限制是需要专家仔细手工编码的奖励信号。我们认为,将奖励学习过程自动化是至关重要的,这样用户就可以向机器人教授新技能。为了解决这种自动化问题,我们考虑使用视觉观察来估计任务成功方面的奖励的任务成功分类器。在这项工作中,我们研究了多种最先进的深度强化学习算法在不同类型的奖励下的性能:密集,稀疏,视觉密集和视觉稀疏奖励。我们在各种模拟任务(钟摆,Reacher,Pusher和Fetch Reach)中的实验表明,虽然DRL代理可以在目标目标可区分时使用视觉奖励学习成功的行为,但如果任务目标不清晰可见,则其性能可能会下降。我们的研究结果还表明,视觉密集奖励比视觉稀疏奖励更成功,并且没有一个最好的算法适用于所有任务。
2021-08-06 cs.LG cs.RO
RL with Learnable Textual Feedback: A Bilevel Approach
University of Central Florida(佛罗里达中央大学)
针对稀疏奖励导致样本效率低的问题,提出一种双层优化框架Bi-NAC,联合训练评论家生成可改善策略的文本反馈和演员利用该反馈,在MATH-500等任务上提升了样本和参数效率。
2026-05-23 cs.LG
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology(昆士兰理工大学)
针对强化学习中人在环方法引入人类反馈偏见的问题,提出混合框架 LLM-HFBF,利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形,显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
MAGIC: Mixed-Granularity Agent Graphs via Incremental Construction with Dense-Reward Reinforcement Learning
针对多智能体系统协作拓扑生成忽视子任务粒度差异的问题,提出MAGIC框架,通过密集奖励强化学习增量构建混合粒度智能体图,在八个基准上超越现有方法并提升推理效率。
2026-09-23 cs.LG
Deterministic MDPs with Adversarial Rewards and Bandit Feedback
TTIC(丰田技术研究所);Microsoft Research(微软研究院);University of Michigan(密歇根大学)
我们考虑一个马尔可夫决策过程与确定性的状态转移动态,adversarially产生的奖励,任意改变从一轮到另一轮,和一个强盗反馈模型,决策者只观察它收到的奖励。在这种情况下,我们提出了一种新的和有效的在线决策算法名为马可波罗。在过渡动力学结构的温和假设下,我们证明了马可波罗事后对最佳确定性策略的后悔度为O(T^(3/4)sqrt(log(T)。具体来说,我们的分析不依赖于严格的单链假设,这主导了以前关于这个主题的大部分工作。
2012-10-16 cs.GT cs.LG
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University(亚利桑那州立大学);Apple(苹果公司)
强化学习(RL)代理的奖励是具有挑战性的。基于偏好的强化学习(PbRL)通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而,PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励(PRIOR)框架,它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束,可以减少一半所需的反馈量,并提高整体奖励恢复。此外,我们证明,使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
Multi-Armed Bandit Strategies for Non-Stationary Reward Distributions and Delayed Feedback Processes
Loblaw Digital(罗布劳数字公司)
进行调查的各种多臂强盗(MAB)的策略,以检查他们的表现,表现出非平稳的随机奖励函数的情况下,与延迟反馈。我们运行了几个MAB模拟来模拟杂货店提货的在线电子商务平台,优化产品可用性。在这项工作中,我们评估了几个流行的MAB策略,如$ε$ -贪婪,UCB 1,和汤普森采样。我们比较各自的表现,每一个MAB策略的背景下,后悔最小化。我们在奖励函数是非平稳的情况下进行分析。此外,该过程经历延迟反馈,其中奖励功能不会立即响应所玩的手臂。我们设计了一个新的自适应技术(AG 1)量身定制的非平稳的奖励函数在延迟反馈的情况下。仿真结果表明,与传统的MAB策略相比,该策略在遗憾最小化方面具有更好的性能。
2019-07-29 cs.LG stat.AP stat.ML
Pref-GUIDE: Continual Policy Learning from Real-Time Human Feedback via Preference-Based Learning
Duke University(杜克大学)
Pref-GUIDE将实时标量人类反馈转化为偏好数据,通过窗口比较和群体投票聚合奖励模型,提升在线强化学习持续训练的性能,超越标量反馈基线甚至专家奖励。
2025-10-06 cs.AI cs.LG
Language Models Can Learn from Verbal Feedback Without Scalar Rewards
Sea AI Lab(海智实验室);SUTD(新加坡科技设计大学);NUS(国立大学);NTU(南洋理工大学);University of Waterloo(滑铁卢大学)
针对RLHF/RLAIF将语言反馈压缩为标量奖励的问题,提出FCP框架,通过离线最大似然与在线自举把反馈作为条件信号,使LLM直接从语言反馈中学习。
2025-09-26 cs.AI cs.CL cs.LG
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学)
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题,提出了能实现次线性奖励遗憾与公平性遗憾的新算法,并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种用于离线奖励学习的统一线性规划框架,无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数,具有可证明的样本效率和最优性保证,性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts
Politecnico di Milano(米兰理工大学)
人们对数据按顺序可用的工业在线应用越来越感兴趣。受启发的播放列表的用户,他们的喜好可以收集在整个播放列表的收听过程中的建议,我们研究了一种新的土匪设置,即多武装土匪与时间分区奖励(TP-MAB),其中随机奖励与拉的手臂被划分在有限数量的连续轮后拉。据我们所知,这一设置迄今尚未被探索,它是延迟反馈强盗的自然延伸,在这种情况下,奖励可能会在拉动后的有限时间内扩大,而不是在一个可能延迟的单一回合中完全披露。我们提供了两种算法来解决TP-MAB问题,即TP-UCB-FR和TP-UCB-EW,它们利用了随着时间的推移收集的奖励所披露的部分信息。我们表明,我们的算法提供了更好的渐近后悔上界比延迟反馈强盗算法时,一个属性表征了广泛的奖励结构的实际利益,即阿尔法平滑,持有。我们还根据经验评估了他们在各种环境中的表现,包括综合生成的和现实世界的媒体推荐问题。
2022-06-01 cs.AI cs.LG
DrS: Learning Reusable Dense Rewards for Multi-Stage Tasks
UC San Diego(加州大学圣迭戈分校)
提出 DrS 方法,利用任务阶段结构从稀疏奖励和演示中学习可重用的稠密奖励,在 1000 多个机器人操作任务变体上提升了 RL 算法的性能和样本效率,减少人工奖励工程成本。
2024-04-25 cs.AI cs.LG cs.RO
Beyond Imitation: Recovering Dense Rewards from Demonstrations
Department of Data Science and AI, Monash University(数据科学与人工智能系,墨尔本大学)
本研究证明监督微调(SFT)与逆强化学习等价,可从SFT模型中恢复token级密集奖励,提出的Dense-Path REINFORCE方法能利用该奖励优化策略,在指令跟随基准上表现优于原始SFT模型,重新定义了SFT的价值。
2025-10-02 cs.CL cs.LG
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST(韩国科学技术院);University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院);UC Berkeley(加州大学伯克利分校)
基于偏好的强化学习(RL)已经显示出潜在的教学代理执行目标任务,而无需昂贵的,预定义的奖励函数,通过学习奖励与监督者的偏好之间的两个代理行为。然而,基于偏好的学习通常需要大量的人类反馈,这使得这种方法很难应用于各种应用程序。另一方面,这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发,我们提出了SURF,这是一种半监督奖励学习框架,它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习,我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率,我们引入了一种新的数据增强,从原始行为中临时裁剪连续的连续性。我们的实验表明,我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Adaptive Algorithms for Multi-armed Bandit with Composite and Anonymous Feedback
Tsinghua University(清华大学);Georgia Institute of Technology(佐治亚理工学院)
研究了具有复合匿名反馈的多臂强盗问题。在这个模型中,拉一只手臂的奖励会在一段时间内传播(我们称这段时间为奖励间隔),玩家会收到这个动作的部分奖励,与拉其他手臂的奖励相交织。该模型的现有结果需要关于奖励区间大小的先验知识作为其算法的输入。在本文中,我们提出了自适应算法的随机和对抗的情况下,不需要任何先验信息的奖励区间。对于随机的情况下,我们证明了我们的算法保证了一个遗憾,符合下界(顺序)。对于对抗的情况下,我们提出了第一个算法,以联合处理非遗忘的对手和未知的奖励区间大小。我们还根据真实世界的数据集进行模拟。结果表明,我们的算法优于现有的基准。
2020-12-15 cs.LG stat.ML
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
向强化学习(RL)代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈,即教师在两个行为片段之间的偏好,来学习基于人类偏好的更灵活的奖励模型。然而,反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题,因为定制的人类反馈非常昂贵。为了处理这个问题,以前的方法主要集中在改进查询选择和策略初始化。与此同时,最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励,通过测量的基础上学习奖励的新颖性。具体来说,我们利用学习奖励模型的集合之间的不一致。我们的直觉是,学习奖励模型中的分歧反映了定制的人类反馈的不确定性,可能对探索有用。我们的实验表明,与其他现有的测量状态访问新颖性的探索方法相比,来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Repairing Reward Functions with Feedback to Mitigate Reward Hacking
Computer Science Department, Stanford University(计算机科学系, 斯坦福大学);School of Informatics, The University of Edinburgh(信息学院, 埃迪索恩大学)
通过反馈修复奖励函数以缓解奖励黑客,提出PBRR方法,通过学习过渡依赖的修正项来改进代理奖励函数,从而在较少偏好下实现高性能策略。
2026-01-29 cs.AI cs.LG
Beyond Binary: Turning Partial Success into Dense Verifiable Rewards for Reinforcement Learning in Code Generation
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI));Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(中国电信人工智能技术(北京)有限公司Xingchen AGI实验室);National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University(人机混合增强智能国家重点实验室,西安交通大学)
提出VeRPO框架,利用代码测试的部分成功作为可验证密集奖励,通过动态密度校准局部奖励修正基数偏差,并与全局执行结果结合,提升代码生成强化学习的性能。
2026-05-26 cs.AI cs.LG
Combinatorial Multi-Armed Bandits with Filtered Feedback
Lancaster University(兰卡斯特大学);Naval Postgraduate School(海军研究生院)
在搜索和检测问题的动机,我们提出了一个解决方案的组合多臂强盗(CMAB)问题的重尾奖励分布和一类新的反馈,过滤semibandit反馈。在CMAB问题中,智能体在每一轮中从集合$\{1,...,k\}$中抽取一组手臂,从与这些手臂相关联的概率分布中生成随机结果,并获得总体奖励。在半强盗反馈下,假设生成的随机结果都被观察到。滤波半强盗反馈允许从以初始随机结果为条件的第二分布中采样观察到的结果。这种反馈机制是有价值的,因为它允许CMAB方法应用于顺序搜索和检测问题,其中进行组合动作,但没有观察到真正的奖励(在回合中出现的感兴趣的对象的数量),而是过滤的奖励(搜索器成功找到的对象的数量,根据定义必须小于出现的数量)。我们提出了一个上置信界类型的算法,Robust-F-CUCB,和相关的遗憾界的顺序$\mathcal{O}(\ln(n))$,以平衡勘探和开发,面对过滤的奖励和重尾奖励分布。
2017-05-26 cs.LG stat.ML
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research(塔塔咨询服务研究院)
我们提出了一种通用的奖励塑造方法,用于提高强化学习(RL)的收敛速度,称为基于自我改进的奖励,或SIBRE。该方法被设计用于与任何现有的RL算法结合使用,并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时,重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明,SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数,与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
One-bit feedback is sufficient for upper confidence bound policies
University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑传统的多臂强盗问题的一个变种,其中每个手臂只能提供一位反馈,在每次拉根据其过去的历史奖励。我们的主要结果是:给定一个置信上界的政策,使用全回报反馈,存在一个编码方案,产生一个比特的反馈,以及相应的解码方案和手臂选择政策,使我们的政策和全回报反馈政策的遗憾实现的遗憾之比渐近接近1。
2020-12-04 cs.LG stat.ML
Can Differentiable Decision Trees Enable Interpretable Reward Learning from Human Feedback?
Kahlert School of Computing(卡勒特计算机学院);University of Utah(犹他大学)
针对RLHF中黑盒奖励函数难以解释且训练成本高的问题,提出使用可微决策树(DDTs)学习可解释且具表达力的奖励函数,实验证明其能达到与深度神经网络相当的RL性能,并具备对齐诊断效用。
2024-10-11 cs.AI cs.LG
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore(新加坡国立大学)
针对可观测相关辅助反馈的参数化多臂老虎机新问题,提出利用辅助反馈构建紧置信界奖励估计器的方法,可依据相关系数刻画遗憾降幅,实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
m-Set Adversarial Bandits with Winner Feedback
Università degli Studi di Milano(米兰大学);Politecnico di Milano(米兰理工大学)
本研究针对m-集合对抗性赌博机,在不同效用和反馈模型下推导出遗憾的上下界,揭示了设置变化对学习速率的影响,并通过实验验证了理论分析。
2026-10-08 cs.LG stat.ML
Fusing Reward and Dueling Feedback in Stochastic Bandits
University of Massachusetts(马萨诸塞大学);City University of Hong Kong(香港城市大学);Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong(香港中文大学);California Institute of Technology(加州理工学院)
本文研究随机老虎机中奖励与决斗反馈的融合,提出消除融合与分解融合两种算法,后者遗憾达到下界,实验验证有效。
2025-04-22 cs.AI cs.LG
Rewarding DINO: Predicting Dense Rewards with Vision Foundation Models
Department of Computer Science & Artificial Intelligence, University of Technology Nuremberg(技术大学纽伦堡计算机科学与人工智能系);TUM School of Computation, Information and Technology, Technical University of Munich(慕尼黑技术大学计算、信息与技术学院)
本文提出Rewarding DINO,一种基于语言条件的奖励模型,通过学习实际奖励函数而非特定轨迹,实现机器人操作任务的密集奖励预测,具有紧凑结构和低计算开销,能有效泛化至新场景。
2026-03-17 cs.LG cs.RO
Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning
研究自主智能体在多环境下奖励学习问题,提出分层机器教学算法,先选信息丰富环境,再查询低成本反馈,实验表明该方法比统一教学基线有更低遗憾值和更强泛化能力,凸显多环境多模态教学对稳健奖励学习的重要性。
2026-07-10 cs.AI cs.LG
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University(布朗大学)
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应,甚至在他们有重要的合作经验之前。因此,重要的是,学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans(COACH)算法在三种不同反馈方式下的性能,即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型,我们发现COACH可以表现得次优。我们提出了一个变种的教练,情节教练(电子教练),我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较:Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
STRIDE: Automating Reward Design, Deep Reinforcement Learning Training and Feedback Optimization in Humanoid Robotics Locomotion
South China University of Technology(华南理工大学);Tsinghua University(清华大学);Zhejiang University(浙江大学)
针对人形机器人运动中DRL奖励设计需大量手动工作的瓶颈,提出基于智能体工程的STRIDE框架,结合LLMs自动化奖励设计、训练与反馈优化,在多样环境中优于EUREKA,效率和性能平均提升约250%。
2025-02-12 cs.LG cs.RO
REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback
University of Maryland(马里兰大学);University of Central Florida(中佛罗里达大学)
针对机器人强化学习从人类反馈中的奖励函数错位与分布偏移问题,提出基于奖励正则化的REBEL方法,融合人类与智能体偏好,通过双层优化实现计算可处理,并在DeepMind控制套件基准上验证有效性。
2025-01-19 cs.LG cs.RO
Model-free Reinforcement Learning with Stochastic Reward Stabilization for Recommender Systems
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
针对推荐系统中用户反馈随机导致无模型强化学习性能下降的问题,提出两种模型无关的随机奖励稳定化框架,用监督模型学习的反馈替代直接随机反馈,实验验证其优于多种RL推荐基线。
2023-08-25 cs.IR cs.LG
Reinforcement Learning with Trajectory Feedback
Technion – Israel Institute of Technology(以色列理工学院);Microsoft Research(微软研究院);Nvidia Research(英伟达研究院)
强化学习的标准反馈模型要求揭示每个访问状态-动作对的奖励。然而,在实践中,经常无法获得这种频繁的反馈。在这项工作中,我们采取了第一步放宽这一假设,并需要一个较弱形式的反馈,我们称之为\emph{trajectory feedback}。我们不观察每个动作后获得的奖励,而是假设我们只收到一个代表智能体观察到的整个轨迹质量的分数,即在此轨迹上获得的所有奖励的总和。我们将强化学习算法扩展到这种设置,基于未知奖励的最小二乘估计,对于已知和未知的过渡模型情况,并通过分析其遗憾来研究这些算法的性能。对于过渡模型未知的情况下,我们提供了一个混合的乐观汤普森采样方法,结果在一个易于处理的算法。
2021-03-04 cs.LG stat.ML
CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks
Peking University(北京大学);Xiaohongshu Inc.(小红书公司);Zhejiang University(浙江大学)
本文提出CausalRM框架,通过因果理论处理观察性用户反馈中的噪声和偏见问题,提升RLHF任务性能,实验显示在WildGuardMix和HarmBench上分别提升49.2%和32.7%。
2026-03-19 cs.AI cs.CL cs.LG
Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
Seoul National University(首尔大学)
本文提出列表式奖励估计LiRE,通过构建轨迹排序列表利用二阶偏好信息进行离线偏好强化学习,并在新数据集上验证其优于现有基线且对反馈数量和噪声具有鲁棒性。
2024-08-08 cs.AI cs.LG
Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback
MeRLa是元学习的任务感知奖励塑形框架,在RLHF训练前通过辅助任务元学习塑形函数,可提升LLaMA-3-8B在多基准上的对齐性能,降低训练不稳定性。
2026-07-30 cs.CL cs.LG
Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference
University of Michigan(密歇根大学)
针对一般RL问题,提出两种无需奖励推断的RLHF算法,通过零阶梯度近似策略梯度,在随机环境中优于DPO和PPO基线。
2025-03-03 cs.LG stat.ML
Reward Constrained Interactive Recommendation with Natural Language Feedback
Samsung Research America(三星美国研究院);University at Buffalo(布法罗大学);Duke University(杜克大学)
基于文本的交互式推荐提供了更丰富的用户反馈,并已证明优于传统的交互式推荐系统。然而,建议可以很容易地违反用户的偏好,从他们过去的自然语言反馈,因为推荐需要探索新的项目,以进一步改进。为了缓解这个问题,我们提出了一种新的约束增强强化学习(RL)框架,有效地将用户的偏好随着时间的推移。具体来说,我们利用一个搜索引擎来检测违反用户历史偏好的推荐,这被纳入标准的RL目标,最大化预期的累积未来奖励。我们提出的框架是通用的,并进一步扩展到约束文本生成的任务。实验结果表明,该方法相对于标准RL方法产生一致的改善。
2020-05-04 cs.CL cs.IR cs.LG
RLAF: Reinforcement Learning from Automaton Feedback
University of Central Florida(中央佛罗里达大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出RLAF框架,利用确定性有限自动机生成轨迹偏好以学习奖励函数,替代手动奖励设计,在离散和连续环境中优于传统奖励工程及自动机基线,并具备收敛保证。
2025-10-17 cs.AI cs.LG
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida(中佛罗里达大学);Microsoft(微软);Intel Labs(英特尔实验室)
为稀疏目标学习有效策略是深度强化学习(RL)的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释,但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性,但是是高维的黑箱解决方案,几乎没有可解释性。在本文中,我们提出了一种以低维符号树的形式发现密集奖励的方法,从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励,然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现,密集奖励是RL策略解决基准任务的有效信号。值得注意的是,我们显着优于广泛使用的,当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
Stochastic Bandits with Delayed Composite Anonymous Feedback
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们探索了一个新的设置的多臂强盗(MAB)问题的灵感来自现实世界的应用程序,我们称之为“随机延迟复合匿名反馈(SDCAF)”的强盗。在SDCAF中,拉臂的奖励是随时间随机的,但在拉臂后的未来分散在固定数量的时间步长上,这个问题的复杂性源于对玩家的匿名反馈和奖励的随机生成。由于奖励的聚合性质,玩家无法将奖励与过去的特定时间步长相关联。我们提出了两种算法,这种更复杂的设置SDCAF使用基于相位的扩展UCB算法。我们进行遗憾分析,以显示次线性理论保证这两个算法。
2019-10-11 cs.LG stat.ML