Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol(布里斯托大学)
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注,其中用户佩戴具有传感器的设备,并且他们的输出被映射到预定义的活动集合。然而,很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时,这是特别重要的。在本文中,我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习(RL),找到功耗和准确性之间的最佳平衡。为了加快学习速度,我们扩展了RL算法来处理多个反馈源,并使用它们来调整策略,同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统,这是一个公开的研究数据集。结果表明,我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
尖峰神经元网络已成功地用于解决简单的强化学习任务,连续的动作集应用基于尖峰时间依赖可塑性(STDP)的学习规则。然而,这些模型中的大多数不能应用于具有离散动作集的强化学习任务,因为它们假设所选择的动作是神经元放电率的确定性函数,这是连续的。在本文中,我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络,其中包含反馈调制。我们表明,基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时,适用于CartPole和LunarLander任务。此外,我们证明了代理是无法解决这些任务,如果反馈调制从学习规则中省略。我们的结论是,反馈调制允许更好的信用分配时,只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
Combinatorial Reinforcement Learning with Preference Feedback
Seoul National University, Seoul, Korea(首尔国立大学)
本文针对带MNL偏好反馈的组合强化学习,提出MNL-VQL算法,解决物品价值未知与组合动作空间可处理性问题,并在线性MDP情形下证明其达到近似极小极大最优遗憾。
2025-06-05 cs.LG stat.ML
Deep Reinforcement Learning with Feedback-based Exploration
Delft University of Technology(代尔夫特理工大学)
深度强化学习使人们能够控制日益复杂和高维的问题。然而,在获得合理的性能之前需要大量的数据,这阻碍了其广泛的应用。我们采用二进制校正反馈作为一种通用和直观的方式,将人类的直觉和领域知识的无模型机器学习。策略中的不确定性和校正反馈直接在动作空间中组合为概率条件探索。因此,可以避免大部分无知的学习过程。我们证明了所提出的方法,预测概率合并的政策(PPMP),结合DDPG。在OpenAI Gym的连续控制问题的实验中,我们在样本效率、最终性能和对错误反馈的鲁棒性方面都有了大幅提高,无论是人为反馈还是合成反馈。此外,我们还展示了超出所展示知识的解决方案。
2019-03-14 cs.AI cs.LG stat.ML
Online Iterative Reinforcement Learning from Human Feedback with General Preference Model
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Salesforce AI Research(Salesforce AI研究院)
研究一般偏好预言机下的人类反馈强化学习,提出基于反向KL正则化极小极大博弈的框架及样本高效的离线与在线学习算法,实证验证了其有效性。
2024-11-12 cs.LG stat.ML
Reinforcement Learning via Fenchel-Rockafellar Duality
Google Research(谷歌研究院)
我们回顾凸对偶的基本概念,重点放在非常普遍和极其有用的Fenchel-Rockafellar对偶。我们总结了这种二元性如何应用于各种强化学习(RL)设置,包括策略评估或优化、在线或离线学习以及折扣或未折扣奖励。这些推导产生了许多有趣的结果,包括使用行为不可知的离线数据执行策略评估和基于策略的策略梯度的能力,以及通过最大似然优化学习策略的方法。虽然这些结果中的许多已经以各种形式出现,但我们对这些结果提供了统一的处理和观点,我们希望这将使研究人员能够更好地使用和应用凸对偶工具,以在RL中取得进一步的进展。
2020-01-09 cs.LG stat.ML
Privacy-Preserving Reinforcement Learning from Human Feedback via Decoupled Reward Modeling
Purdue University(普渡大学)
本文提出一种隐私保护框架,仅在奖励学习中施加差分隐私,通过私有奖励模型生成最终策略。理论分析显示隐私引入额外的误差项,且样本量和隐私水平影响主导项,实验验证了理论预测。
2026-03-23 cs.LG stat.ML
Reinforcement Learning with Feedback Graphs
Cornell University(康奈尔大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(柯朗数学科学研究所)
我们研究了马尔可夫决策过程中的情景强化学习,当代理每一步都以几个过渡观察的形式接收额外的反馈时。这种额外的观察在一系列任务中通过扩展的传感器或关于环境的先验知识(例如,当某些行为产生类似的结果时)。我们使用状态-动作对的反馈图来正式化这种设置,并表明基于模型的算法可以利用额外的反馈来进行更有效的学习。我们给出了一个遗憾的界限,忽略对数因子和低阶项,仅取决于反馈图的最大非循环子图的大小,与多项式依赖的状态和动作的数量在没有反馈图。最后,我们强调挑战时,利用一个小的支配集的反馈图相比,强盗设置,并提出了一个新的算法,可以使用这样的支配集的知识,更样本有效的学习一个接近最优的政策。
2020-05-07 cs.AI cs.LG stat.ML
Connections between reinforcement learning with feedback,test-time scaling, and diffusion guidance: An anthology
Department of Statistics and Data Science, Chinese University of Hong Kong(统计与数据科学系,香港中文大学);Department of Statistics and Data Science, the Wharton School, University of Pennsylvania(统计与数据科学系,沃顿商学院,宾夕法尼亚大学)
该研究梳理了人类反馈强化学习、内部反馈强化学习、测试时缩放及扩散引导等训练后技术间的关联与等价性,还提出了无需显式强化学习的对齐与奖励导向扩散模型重采样方法。
2025-09-04 cs.GL cs.LG math.ST
Deep Reinforcement Learning from Policy-Dependent Human Feedback
Stanford University(斯坦福大学);Brown University(布朗大学)
为了扩大其可访问性并增加其实用性,智能代理必须能够学习由(非专家)人类用户指定的复杂行为。此外,他们需要在合理的时间内学习这些行为,同时有效地利用人类教练能够提供的稀疏反馈。最近的研究表明,人类反馈可以被描述为对代理当前行为的批评,而不是作为要最大化的替代奖励信号,最终在COnvergent Actor-Critic by Humans(COACH)算法中实现,该算法用于根据人类反馈进行直接政策更新。我们的工作建立在COACH的基础上,移动到代理的策略由深度神经网络表示的设置。我们采用了一系列的修改上的原始COACH算法,成功地学习行为从高维观测的关键,同时也满足了获得降低的样本复杂性的约束。我们在Minecraft丰富的3D世界中展示了我们的Deep COACH算法的有效性,该算法使用一个代理,通过在10-15分钟的交互中仅使用实时人类反馈从原始像素映射到动作来学习完成任务。
2019-02-12 cs.LG stat.ML
Dual Behavior Regularized Reinforcement Learning
University of Technology Sydney(悉尼科技大学)
强化学习已被证明可以通过与环境的交互或收集的利用经验来执行一系列复杂的任务。然而,这些方法中的许多都假定最佳或接近最佳的体验或存在一致的环境。在这项工作中,我们提出了双重的,基于反事实的遗憾最小化的行为政策。我们展示了这种方法的灵活性,以及它如何适应在线环境,环境可用于收集经验和各种其他情况。我们证明了这种新算法可以在基于一系列连续环境的不同上下文中优于几个强基线模型。额外的消融提供了对我们的双行为正则化强化学习方法与其他合理修改相比是如何设计的见解,并展示了其泛化能力。
2021-09-19 cs.LG stat.ML
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University(斯坦福大学);Microsoft Research(微软研究院);UC Berkeley(加州大学伯克利分校);Google(谷歌)
我们研究了强化学习(RL)的理论,其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例,但它也可以说比RL实践中的传统要求更能代表现实世界的应用,即学习者在每个时间步都收到反馈。事实上,在强化学习的许多现实应用中,例如自动驾驶汽车和机器人技术,评估学习者的完整轨迹是“好”还是“坏”更容易,但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的,我们研究了轨迹标签由未知参数模型生成的情况,并提供了一种统计和计算效率高的算法,实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University(电子与计算机工程学院,普渡大学)
本文提出一种基于多层级和情节级人类反馈的强化学习算法,通过每个情节结束时的评分学习奖励函数和最优策略,可处理非马尔可夫奖励,理论证明具有次线性遗憾,仿真验证了其有效性。
2025-04-25 cs.LG
Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
Michigan State University(密歇根州立大学)
推荐系统通过向用户推荐个性化的商品或服务,在缓解信息过载问题方面起着至关重要的作用。绝大多数传统的推荐系统将推荐过程视为一个静态的过程,并遵循固定的策略进行推荐。在本文中,我们提出了一种新的推荐系统的能力,不断提高其策略,在与用户的互动。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程(MDP),并利用强化学习(RL)通过推荐试错项目并从用户的反馈中接收这些项目的强化来自动学习最优策略。用户的反馈可以是积极的和消极的,这两种类型的反馈都有很大的潜力,以提高推荐。然而,负反馈的数量远远大于正反馈,因此同时将它们合并是具有挑战性的,因为正反馈可能被负反馈所掩盖。在本文中,我们开发了一种新的方法,将它们纳入建议的深度推荐系统(DEERS)框架。基于真实电子商务数据的实验结果验证了该框架的有效性。进一步的实验已经进行了理解的重要性,积极和消极的反馈建议。
2018-08-10 cs.IR cs.LG stat.ML
Humans are not Boltzmann Distributions: Challenges and Opportunities for Modelling Human Feedback and Interaction in Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
强化学习(RL)通常假设可以访问指定的奖励函数,而许多实际应用并不提供。相反,最近,更多的工作探索了从与人类的互动中学习该做什么。到目前为止,这些方法中的大多数都将人类建模为(爱管闲事的)理性,特别是提供无偏见的反馈。我们认为这些模型过于简单化,RL研究人员需要开发更真实的人体模型来设计和评估他们的算法。特别是,我们认为,人类模型必须是个人的,上下文,和动态的。本文呼吁不同学科的研究来解决人类如何向AI提供反馈以及我们如何构建更强大的人在回路RL系统的关键问题。
2022-06-27 cs.HC cs.LG stat.ML
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF,将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励,实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
安全性在强化学习(RL)的许多应用中都是至关重要的,无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈,但在许多情况下,这种反馈只能采用二进制值;也就是说,给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时,情况尤其如此。因此,我们考虑可证明的安全RL的问题时,给予访问离线oracle提供二进制反馈的安全状态,动作对。我们提供了一种新的Meta算法,SABRE,它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念,以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明,在适当的技术假设下,SABRE在训练过程中从不采取不安全的行动,并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论,我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Reinforcement learning for linear-convex models with jumps via stability analysis of feedback controls
University of California, Berkeley(加州大学伯克利分校);University of Oxford(牛津大学)
我们研究有限时间水平连续时间线性凸强化学习问题的情节设置。在这个问题中,未知的线性跳跃-扩散过程被控制的非光滑凸成本。我们证明了相关的线性凸控制问题允许Lipchitz连续最优反馈控制,并进一步证明了反馈控制的Lipschitz稳定性,即,应用反馈控制的不正确的模型和真正的模型之间的性能差距取决于Lipschitz-连续的扰动在模型系数的大小;证明依赖于相关的向前向后随机微分方程的稳定性分析。然后,我们提出了一种新的最小二乘算法,实现了遗憾的顺序$O(\sqrt{N\ln N})$的线性凸学习问题的跳跃,其中$N$是学习情节的数量,分析利用Lipschitz稳定性的反馈控制和浓度属性的子威布尔随机变量。数值实验验证了算法的收敛性和鲁棒性。
2022-03-02 cs.LG math.OC stat.ML
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam(阿姆斯特丹大学);UC Berkeley(加州大学伯克利分校)
研究部分可观测环境下RLHF的失败模式,定义欺骗性膨胀与过度辩护,证明其必然性条件并分析回报函数信息量,提出缓解方向并实验验证,警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research(塔塔咨询服务研究院)
我们提出了一种通用的奖励塑造方法,用于提高强化学习(RL)的收敛速度,称为基于自我改进的奖励,或SIBRE。该方法被设计用于与任何现有的RL算法结合使用,并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时,重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明,SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数,与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
Reinforcement Learning with Segment Feedback
Stanford University(斯坦福大学);NVIDIA Research(NVIDIA研究)
本文提出分段反馈强化学习模型填补逐状态-动作与轨迹反馈间的空白,针对二元、求和两种反馈设置设计算法并建立遗憾界,证明分段数对两种反馈下学习性能的影响存在显著差异。
2025-06-17 cs.LG
Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework
Ocean University of China(中国海洋大学);Bilkent University(比尔肯特大学);University of Oxford(牛津大学);Delft University of Technology(代尔夫特理工大学)
交互式强化学习为智能体提供了一种从人类用户提供的评估反馈中学习解决任务的方法。先前的研究表明,人类在训练的早期会给出大量的反馈,但之后就很少了。在这篇文章中,我们研究了代理学习的潜力,从教练的面部表情,通过解释他们作为评价反馈。为此,我们实现了TAMER,这是一个流行的交互式强化学习方法在一个学习基准问题--无限马里奥,并进行了第一次大规模的研究TAMER涉及561名参与者。通过设计的CNN-RNN模型,我们的分析表明,告诉训练者使用面部表情和竞争可以提高使用面部表情估计积极和消极反馈的准确性。此外,我们的模拟实验结果表明,仅仅从基于面部表情的预测反馈中学习是可能的,并且使用强大/有效的预测模型或回归方法,面部反应将显着提高代理的性能。此外,我们的实验支持以前的研究表明,双向反馈和竞争元素的重要性,在培训界面。
2020-01-23 cs.HC cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对有限反馈下强化学习的奖励标注样本选择问题,本文形式化了RLLF问题框架,研究两类选择策略,发现关键奖励需引导最优轨迹与偏差恢复,仅用少量标签即可实现近最优策略,为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
A Survey of Reinforcement Learning from Human Feedback
LMU Munich(慕尼黑大学);MCML Munich(慕尼黑马克斯·普朗克研究所);DFKI(德国人工智能研究中心)
本文综述了从人类反馈强化学习的基本原理、核心方法及在多个领域中的应用与贡献。
2025-12-28 cs.LG
Reinforcement Learning from Statistical Feedback: the Journey from AB Testing to ANT Testing
Tencent(腾讯)
针对商业目标与模型训练的差距,提出基于统计反馈的强化学习(RLSF),利用 AB 测试获取偏好训练奖励网络,并扩展为 ANT 测试,通过数值实验验证其有效性。
2023-11-24 cs.LG math.ST stat.ME
Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework
University of Konstanz(康斯坦茨大学);ETH Zurich(苏黎世联邦理工学院)
本文提出涵盖九个维度的人类反馈分类与七项质量指标,用以统一RLHF中人、界面和模型相关因素,并推导系统设计需求与未来研究方向。
2025-02-20 cs.HC cs.LG
Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出融合人类反馈的迭代CVaR风险敏感强化学习框架,在线性与一般函数逼近下实现逐步安全保证,并给出样本高效算法及其最优性理论证明。
2023-12-04 cs.LG
Mapping Neural Signals to Agent Performance, A Step Towards Reinforcement Learning from Neural Feedback
Department of Computer Science Tufts University(计算机科学系塔夫茨大学)
该研究提出隐式反馈框架NEURO-LOOP,验证了用fNIRS采集的前额叶脑信号映射强化学习智能体性能的可行性,构建相关数据集,为人在环强化学习及神经交互应用提供基础。
2025-06-14 cs.LG
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法,将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程,并保证了全局收敛性。
2026-04-21 cs.LG
Tutoring Reinforcement Learning via Feedback Control
University of Salerno(萨勒诺大学)
我们介绍了一个控制辅导强化学习(CTRL)算法。我们的想法是加强表格学习算法的控制策略与有限的知识的系统模型。通过指导学习过程,可以大大降低学习速率。我们使用的经典问题的稳定倒立摆作为基准,数值说明的优点和缺点的方法。
2020-12-12 cs.LG cs.SY eess.SY
Reinforcement Learning from Denoising Feedback
Fudan University(复旦大学);Ant Group(蚂蚁集团);Hong Kong University of Science and Technology(香港科技大学)
提出RLDF方法,利用去噪反馈进行策略损失估计,通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样,在扩散语言模型上提升性能和泛化性。
2026-06-05 cs.CL cs.LG
Deep reinforcement learning for feedback control in a collective flashing ratchet
Korea Advanced Institute of Science and Technology(韩国科学技术院)
集体闪烁棘轮传输布朗粒子使用空间周期性的,不对称的,和时间依赖的开关可切换的潜力。通过基于颗粒位置的反馈控制,该系统中颗粒的净电流可以显著增加。已经提出了几个最大化电流的反馈政策,但还没有找到最佳的政策,为一个中等数量的粒子。在这里,我们使用深度强化学习(RL)来寻找最佳策略,结果表明,使用合适的神经网络架构构建的策略优于以前的策略。此外,即使在延迟反馈的情况下,潜在的开关切换延迟,我们证明了深RL提供的政策提供更高的电流比以前的策略。
2021-03-25 cond-mat.stat-mech cs.LG
Robust Reinforcement Learning from Human Feedback for Large Language Models Fine-Tuning
Department of Statistics, LSE(统计系,伦敦经济学院);Department of Mathematics, Tsinghua University(数学系,清华大学);School of Mathematics, University of Birmingham(数学学院,伯明翰大学);Department of Engineering Science, University of Oxford(工程科学系,牛津大学)
本文提出了一种鲁棒的强化学习算法,用于改进大语言模型微调中从人类反馈学习奖励函数的性能,通过减少方差和改进后悔界,实验证明其在基准数据集上表现优异。
2026-02-10 cs.AI cs.LG stat.ML
Reinforcement Learning with Feedback from Multiple Humans with Diverse Skills
University of Bristol(布里斯托大学)
在强化学习中,一种很有前途的提高鲁棒性和探索性的方法是收集人类的反馈,并以这种方式结合目标环境的先验知识。然而,要获得足够的高质量反馈往往过于昂贵。为了缓解这个问题,我们的目标是依靠一组具有不同技能水平的多个专家(和非专家)来生成足够的反馈。因此,这种反馈可能不一致且不频繁。在本文中,我们建立在以前的工作-建议,贝叶斯方法试图最大限度地提高从人类反馈中获得的信息-扩展算法,接受来自这个更大的人类群体,培训师的反馈,同时还估计每个培训师的可靠性。我们展示了如何汇总来自多个培训师的反馈,提高总反馈的准确性,并通过两种方式使收集过程变得更轻松。首先,这种方法解决了一些培训师具有对抗性的情况。其次,访问关于每个训练器可靠性的信息提供了第二层鲁棒性,并为管理整个系统的人提供了有价值的信息,以提高系统的整体信任度。它提供了一个可操作的工具,用于改进反馈收集过程或在需要时修改奖励函数设计。我们的经验表明,我们的方法可以准确地学习每个培训师的可靠性正确,并使用它来最大限度地提高从多个培训师的反馈中获得的信息,即使有些来源是敌对的。
2021-11-16 cs.LG
Reinforcement Learning Based Goodput Maximization with Quantized Feedback in URLLC
KTH Royal Institute of Technology(瑞典皇家理工学院);Hitachi Energy(日立能源)
本文提出基于强化学习的量化反馈方案,结合Rician-K因子估计,在URLLC动态信道条件下最大化有效吞吐量,提升系统性能。
2025-01-19 cs.IT cs.LG eess.SP
A Contractive Feedback Semantics for Reinforcement Learning
The George Washington University(乔治华盛顿大学)
本文通过将单步决策过程视为开放随机组件,并利用收缩反馈环实现无限时域策略评估,建立了强化学习的组合语义,并推导出近似等价、状态抽象和合约规范的理论结果。
2026-05-23 cs.LG
ACE-RLHF: Automated Code Evaluation and Socratic Feedback Generation Tool using Large Language Models and Reinforcement Learning with Human Feedback
Department of Computer Science, Cleveland State University(克利夫兰州立大学计算机科学系);School of Computing and Information Sciences, Florida International University(佛罗里达国际大学计算与信息科学学院);Data Science and Learning Division, Argonne National Laboratory(阿贡国家实验室数据科学与学习分部)
本文提出ACE-RLHF工具,通过结合RLHF微调大型语言模型生成苏格拉底式代码反馈,在自动与人工评估中均显著提升了代码修复反馈的准确率。
2025-04-07 cs.LG
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta(阿尔伯塔大学);University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
提出CANDERE-COACH算法,通过噪声过滤机制处理非最优教师的在线反馈数据,使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT(麻省理工学院);Boston College(波士顿学院)
约束马尔可夫决策过程(CMDP)是一个自然的框架,强化学习任务的安全约束,其中代理学习的政策,最大化的长期回报,同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法,该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新,这导致样本效率低下和收敛速度慢。在本文中,我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化(APDO),它结合了一个离线的政策训练的对偶变量的对偶更新过程中,同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明,APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky(肯塔基大学)
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常,这种反馈以正或负的离散信号的形式出现。虽然信息量很大,但这些信息本身可能很难概括。在这项工作中,我们将探讨如何自然语言的意见,可以用来提供一个更丰富的反馈信号,强化学习代理,通过扩展的政策塑造,一个著名的交互式强化学习技术。通常,策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中,我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持,以在任何给定的环境中成功地决定其行动。因此,我们设计了三个网络的模型:第一个是经验驱动,第二个是建议生成器,第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时,具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
Solofied Ltd.(索洛菲德有限公司)
针对DDPO仅有最终图像奖励导致的稀疏奖励与高样本需求,本文提出PXPO算法,将像素级反馈纳入扩散模型强化学习,以更精细的奖励优化策略。
2024-04-05 cs.CV cs.LG
A Large Language Model-Driven Reward Design Framework via Dynamic Feedback for Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent IEG(腾讯互动娱乐事业群)
本文提出CARD框架,通过编码器与评估器的动态反馈迭代生成和优化强化学习奖励函数,并引入轨迹偏好评估以避免重复训练,在多个基准上以更高令牌效率达到或超越专家设计奖励的性能。
2024-10-18 cs.LG
Reinforcement Learning from LLM Feedback to Counteract Goal Misgeneralization
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出利用大语言模型反馈识别强化学习中的目标错误泛化失败场景,并学习奖励模型以重新训练智能体,在迷宫导航任务中显著提升了目标泛化能力。
2024-01-14 cs.LG
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland(马里兰大学);Microsoft Research, New York(微软研究院纽约分院)
机器翻译是基于人类反馈的强化学习的自然候选问题:用户对候选翻译提供快速、肮脏的评级,以指导系统进行改进。然而,目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法,它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法(Mnih等人,2016)与基于注意力的神经编码器-解码器架构(Luong等人,2015年)。该算法(a)针对具有大动作空间和延迟奖励的问题进行了良好的设计,(b)有效地优化了传统的语料库级别的机器翻译度量,以及(c)对在实际人类行为之后建模的倾斜,高方差,粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Multi-turn Reinforcement Learning from Preference Human Feedback
Google(谷歌)
针对现有RLHF在单轮决策层面模拟偏好、难以应对多轮交互长期目标的局限,提出基于多轮对话偏好反馈的新型RL方法,在表格设置中提出镜像下降策略优化算法并证明其收敛于纳什均衡,在教育对话环境中优于RLHF基线,且在明确奖励环境中能恢复与奖励基RL相同性能。
2024-12-02 cs.LG
Strategyproof Reinforcement Learning from Human Feedback
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Department of Computer Science University of Oxford(牛津大学计算机科学系);Department of Computer Science University of Warwick(Warwick大学计算机科学系)
针对多标注者策略性虚报反馈的RLHF问题,证明现有算法非策略证明且存在根本权衡,提出悲观中位数MLE算法实现近似策略证明并收敛至最优策略。
2025-10-16 cs.LG
HRLAIF: Improvements in Helpfulness and Harmlessness in Open-domain Reinforcement Learning From AI Feedback
Tencent PCG(腾讯平台与内容事业群)
针对基础RLAIF在开放域中导致响应满意度下降的问题,提出HRLAIF方法,通过增强AI注释准确性和AI红队测试,提升模型帮助性与无害性,使满意度较RL前提高2.08%。
2024-03-14 cs.AI cs.LG
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联,提出教程式综述,涵盖其动机、方法、开放问题与基础概念,以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
Lagrangian Duality in Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
虽然对偶在某些领域被广泛使用,例如机器学习中的监督学习,但在其他领域,例如强化学习(RL),它的探索要少得多。在本文中,我们展示了二元性是如何参与各种RL工作的,从该领域的先驱,如Richard Bellman的值迭代,到过去几年内完成但已经产生重大影响的工作,如TRPO,A3C和GAIL。我们发现,对偶性在强化学习中并不少见,特别是当使用值迭代或动态规划时,或者当一阶或二阶近似将最初难以处理的问题转化为易于处理的凸规划时。
2020-07-25 cs.AI cs.LG math.OC
Reinforcement Learning with Segment Reward Feedback under Linear Function Approximation
National University of Singapore(新加坡国立大学);Microsoft Research Asia(微软亚洲研究院);NVIDIA Research(英伟达研究院);Technion(以色列理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
研究线性函数逼近下分段奖励反馈的强化学习,提出针对二元和求和反馈的算法,发现二元反馈下分段数指数降低遗憾,求和反馈下粒度影响小,等长分段最优。
2026-10-07 cs.LG
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft(微软)
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中,我们专注于在线改进基于任务的会话助理,主要是那些从事文档类型会话的助理(例如,电子邮件),其内容可能与助理的任务完全相关,也可能不完全相关。我们提出了“NARLE”一个深度强化学习(RL)框架,用于在线改进对话系统的自然语言理解(NLU)组件,而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联,并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题,我们的经验表明,使用强化学习微调预训练的监督学习模型,提高性能高达43%。此外,我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research(谷歌研究院);Heidelberg University(海德堡大学);NEC Laboratories Europe(NEC欧洲实验室)
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息?在离线强化学习(RL)设置中使用这样的交互日志是一种有前途的方法。然而,由于NLP任务的性质和生产系统的限制,出现了一系列的挑战。我们对这些挑战进行了简要概述,并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback
Peking University(北京大学)
本文将RLHF形式化为上下文决斗老虎机问题,提出一种通过少量数据估计任务相关性并分配不同样本量的主动多任务学习算法,显著降低了源任务样本复杂度,且目标任务样本复杂度仅与潜在空间维度呈线性关系。
2025-03-05 cs.LG
RLTF: Reinforcement Learning from Unit Test Feedback
Tencent(腾讯)
针对代码生成中强化学习探索不足及单元测试信号利用不充分的问题,提出在线RL框架RLTF,利用多粒度单元测试反馈实时优化代码LLM,在APPS和MBPP基准上达到最先进性能。
2023-11-13 cs.AI cs.CL cs.LG