Reinforcement Learning with Feedback Graphs
Cornell University(康奈尔大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(柯朗数学科学研究所)
我们研究了马尔可夫决策过程中的情景强化学习,当代理每一步都以几个过渡观察的形式接收额外的反馈时。这种额外的观察在一系列任务中通过扩展的传感器或关于环境的先验知识(例如,当某些行为产生类似的结果时)。我们使用状态-动作对的反馈图来正式化这种设置,并表明基于模型的算法可以利用额外的反馈来进行更有效的学习。我们给出了一个遗憾的界限,忽略对数因子和低阶项,仅取决于反馈图的最大非循环子图的大小,与多项式依赖的状态和动作的数量在没有反馈图。最后,我们强调挑战时,利用一个小的支配集的反馈图相比,强盗设置,并提出了一个新的算法,可以使用这样的支配集的知识,更样本有效的学习一个接近最优的政策。
2020-05-07 cs.AI cs.LG stat.ML
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University(斯坦福大学);Microsoft Research(微软研究院);UC Berkeley(加州大学伯克利分校);Google(谷歌)
我们研究了强化学习(RL)的理论,其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例,但它也可以说比RL实践中的传统要求更能代表现实世界的应用,即学习者在每个时间步都收到反馈。事实上,在强化学习的许多现实应用中,例如自动驾驶汽车和机器人技术,评估学习者的完整轨迹是“好”还是“坏”更容易,但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的,我们研究了轨迹标签由未知参数模型生成的情况,并提供了一种统计和计算效率高的算法,实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
安全性在强化学习(RL)的许多应用中都是至关重要的,无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈,但在许多情况下,这种反馈只能采用二进制值;也就是说,给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时,情况尤其如此。因此,我们考虑可证明的安全RL的问题时,给予访问离线oracle提供二进制反馈的安全状态,动作对。我们提供了一种新的Meta算法,SABRE,它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念,以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明,在适当的技术假设下,SABRE在训练过程中从不采取不安全的行动,并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论,我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
PAC Reinforcement Learning without Real-World Feedback
University of Michigan(密歇根大学);Microsoft AI & Research(微软人工智能与研究院)
这项工作研究了强化学习在模拟到真实的设置,其中代理首先在一些模拟器上进行训练,然后部署在现实世界中,目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程(ROMDP),我们制定了一个理论框架,模拟到真实的情况下,在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证,其小于目前已知的直接(即,不访问模拟器)学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
Reinforcement learning for linear-convex models with jumps via stability analysis of feedback controls
University of California, Berkeley(加州大学伯克利分校);University of Oxford(牛津大学)
我们研究有限时间水平连续时间线性凸强化学习问题的情节设置。在这个问题中,未知的线性跳跃-扩散过程被控制的非光滑凸成本。我们证明了相关的线性凸控制问题允许Lipchitz连续最优反馈控制,并进一步证明了反馈控制的Lipschitz稳定性,即,应用反馈控制的不正确的模型和真正的模型之间的性能差距取决于Lipschitz-连续的扰动在模型系数的大小;证明依赖于相关的向前向后随机微分方程的稳定性分析。然后,我们提出了一种新的最小二乘算法,实现了遗憾的顺序$O(\sqrt{N\ln N})$的线性凸学习问题的跳跃,其中$N$是学习情节的数量,分析利用Lipschitz稳定性的反馈控制和浓度属性的子威布尔随机变量。数值实验验证了算法的收敛性和鲁棒性。
2022-03-02 cs.LG math.OC stat.ML
Reinforcement Learning with Trajectory Feedback
Technion – Israel Institute of Technology(以色列理工学院);Microsoft Research(微软研究院);Nvidia Research(英伟达研究院)
强化学习的标准反馈模型要求揭示每个访问状态-动作对的奖励。然而,在实践中,经常无法获得这种频繁的反馈。在这项工作中,我们采取了第一步放宽这一假设,并需要一个较弱形式的反馈,我们称之为\emph{trajectory feedback}。我们不观察每个动作后获得的奖励,而是假设我们只收到一个代表智能体观察到的整个轨迹质量的分数,即在此轨迹上获得的所有奖励的总和。我们将强化学习算法扩展到这种设置,基于未知奖励的最小二乘估计,对于已知和未知的过渡模型情况,并通过分析其遗憾来研究这些算法的性能。对于过渡模型未知的情况下,我们提供了一个混合的乐观汤普森采样方法,结果在一个易于处理的算法。
2021-03-04 cs.LG stat.ML
CLARIFY: Contrastive Preference Reinforcement Learning for Untangling Ambiguous Queries
Beijing Key Laboratory of Embodied Intelligence Systems, Department of Automation, Tsinghua University, Beijing, China(北京智能体智能系统重点实验室,自动化系,清华大学,北京,中国);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China(复杂系统认知与决策智能重点实验室,自动化研究所,中国科学院,北京,中国)
针对人类难以判断相似轨迹偏好的问题,本文提出离线 PbRL 方法 CLARIFY,通过偏好感知的对比轨迹嵌入选择更清晰的查询,并在非理想教师与真实人类反馈中优于基线。
2025-06-10 cs.LG
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology(佐治亚理工学院)
我们描述了一种方法,通过扩展深度强化学习来建模人类反馈的置信度和一致性,使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈,利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验,我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明,我们的技术是强大的高度innacurate人类反馈,也可以操作时,没有人的反馈。
2021-06-22 cs.AI
RLTF: Reinforcement Learning from Unit Test Feedback
Tencent(腾讯)
针对代码生成中强化学习探索不足及单元测试信号利用不充分的问题,提出在线RL框架RLTF,利用多粒度单元测试反馈实时优化代码LLM,在APPS和MBPP基准上达到最先进性能。
2023-11-13 cs.AI cs.CL cs.LG
Governance Challenges in Reinforcement Learning from Human Feedback: Evaluator Rationality and Reinforcement Stability
University of Houston(休斯顿大学);University of California College of the Law, San Francisco(加州大学旧金山法学院);Cornell Law School, Cornell University(康奈尔大学法学院)
本研究探讨RLHF中评估者理性对强化稳定性的影响,通过实验发现高理性评估者反馈更一致,并提出预筛选、审计和加权聚合等治理措施以提升AI对齐的公平性与稳健性。
2025-04-17 cs.AI cs.CY
On the Search for Feedback in Reinforcement Learning
Texas A&M University(德州农工大学)
强化学习(RL)在未知非线性动力系统中的问题等价于利用动力系统的模拟/推出来搜索最优反馈律。大多数RL技术搜索复杂的全局非线性反馈参数化,使它们遭受高训练时间和方差。相反,我们主张搜索一个局部反馈表示组成的开环序列,和一个相关的最佳线性反馈法完全由开环确定。我们表明,这种替代方法可以实现高效的训练,获得的答案是可重复的,因此是可靠的,并且由此产生的封闭性能优于全球最先进的RL技术。最后,如果我们重新规划,只要需要,这是可行的,由于快速和可靠的局部解决方案,它允许我们恢复全局最优的反馈法。
2022-03-24 cs.LG stat.ML
Connections between reinforcement learning with feedback,test-time scaling, and diffusion guidance: An anthology
Department of Statistics and Data Science, Chinese University of Hong Kong(统计与数据科学系,香港中文大学);Department of Statistics and Data Science, the Wharton School, University of Pennsylvania(统计与数据科学系,沃顿商学院,宾夕法尼亚大学)
该研究梳理了人类反馈强化学习、内部反馈强化学习、测试时缩放及扩散引导等训练后技术间的关联与等价性,还提出了无需显式强化学习的对齐与奖励导向扩散模型重采样方法。
2025-09-04 cs.GL cs.LG math.ST
Tutoring Reinforcement Learning via Feedback Control
University of Salerno(萨勒诺大学)
我们介绍了一个控制辅导强化学习(CTRL)算法。我们的想法是加强表格学习算法的控制策略与有限的知识的系统模型。通过指导学习过程,可以大大降低学习速率。我们使用的经典问题的稳定倒立摆作为基准,数值说明的优点和缺点的方法。
2020-12-12 cs.LG cs.SY eess.SY
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对有限反馈下强化学习的奖励标注样本选择问题,本文形式化了RLLF问题框架,研究两类选择策略,发现关键奖励需引导最优轨迹与偏差恢复,仅用少量标签即可实现近最优策略,为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学)
本文扩展 BabyAI 自动生成自然语言反馈,并改造 Decision Transformer 利用该信号,证明其可替代或补充回报与目标描述,提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval
Stanford University(斯坦福大学);Databricks;Google DeepMind(谷歌DeepMind)
针对大语言模型搜索查询构建能力不足的问题,提出强化学习框架LeReT,通过尝试查询并基于偏好优化提升检索质量,可显著提升检索准确率与下游生成效果,适配各类现成检索器。
2024-10-31 cs.AI cs.LG
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research(塔塔咨询服务研究院)
我们提出了一种通用的奖励塑造方法,用于提高强化学习(RL)的收敛速度,称为基于自我改进的奖励,或SIBRE。该方法被设计用于与任何现有的RL算法结合使用,并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时,重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明,SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数,与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam(阿姆斯特丹大学);UC Berkeley(加州大学伯克利分校)
研究部分可观测环境下RLHF的失败模式,定义欺骗性膨胀与过度辩护,证明其必然性条件并分析回报函数信息量,提出缓解方向并实验验证,警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky(肯塔基大学)
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常,这种反馈以正或负的离散信号的形式出现。虽然信息量很大,但这些信息本身可能很难概括。在这项工作中,我们将探讨如何自然语言的意见,可以用来提供一个更丰富的反馈信号,强化学习代理,通过扩展的政策塑造,一个著名的交互式强化学习技术。通常,策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中,我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持,以在任何给定的环境中成功地决定其行动。因此,我们设计了三个网络的模型:第一个是经验驱动,第二个是建议生成器,第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时,具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
BQSched: A Non-intrusive Scheduler for Batch Concurrent Queries via Reinforcement Learning
Key Laboratory of High Confidence Software Technologies, CS, Peking University(高可信软件技术重点实验室,北京大学);Simon Fraser University(西蒙·弗雷泽大学);Huawei Cloud(华为云)
本文提出BQSched,首个基于强化学习的非侵入式批量查询调度器,通过注意力状态表示、IQ-PPO算法及三种优化策略显著提升了调度效率与稳定性。
2025-04-27 cs.AI cs.DB
Reinforcement Learning from Denoising Feedback
Fudan University(复旦大学);Ant Group(蚂蚁集团);Hong Kong University of Science and Technology(香港科技大学)
提出RLDF方法,利用去噪反馈进行策略损失估计,通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样,在扩散语言模型上提升性能和泛化性。
2026-06-05 cs.CL cs.LG
Sample-Efficiency in Multi-Batch Reinforcement Learning: The Need for Dimension-Dependent Adaptivity
Imperial College London(伦敦帝国学院);University of Oxford(牛津大学)
本文理论分析多批量强化学习中样本效率与自适应性的关系,证明仅增加批次(K>1)不足以保证样本效率,并建立维度相关的批次下界,揭示自适应边界取决于问题维度。
2024-05-28 cs.AI cs.LG
Efficient Exploration for LLMs
Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学)
本文证明在收集人类反馈改进大型语言模型时,采用双重Thompson采样和认知神经网络表示不确定性的高效探索方法,能以更少查询实现高性能,且不确定性估计与探索方案选择至关重要。
2024-06-04 cs.AI cs.CL cs.LG
Feedback-Based Tree Search for Reinforcement Learning
University of Pittsburgh(匹兹堡大学);Tencent AI Lab(腾讯AI实验室);Princeton University(普林斯顿大学);Northwestern University(西北大学)
受最近成功的蒙特卡罗树搜索(MCTS)在一些人工智能(AI)应用领域的启发,我们提出了一个基于基于模型的强化学习(RL)技术,迭代地应用MCTS的小批量,有限时域版本的原始无限时域马尔可夫决策过程。有限时域问题的终端条件,或由MCTS生成的决策树的叶节点评估器,指定使用估计的价值函数和估计的策略函数的组合。由MCTS程序产生的建议,然后提供作为反馈,以完善,通过分类和回归,叶节点评估器的下一次迭代。我们提供了第一个样本的复杂性边界的树搜索为基础的RL算法。此外,我们表明,该技术的深度神经网络实现可以为流行的多玩家在线战斗竞技场(MOBA)游戏王者荣耀创建一个有竞争力的人工智能智能体。
2018-05-15 cs.AI cs.LG math.OC
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft(微软)
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中,我们专注于在线改进基于任务的会话助理,主要是那些从事文档类型会话的助理(例如,电子邮件),其内容可能与助理的任务完全相关,也可能不完全相关。我们提出了“NARLE”一个深度强化学习(RL)框架,用于在线改进对话系统的自然语言理解(NLU)组件,而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联,并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题,我们的经验表明,使用强化学习微调预训练的监督学习模型,提高性能高达43%。此外,我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
ARES: Alternating Reinforcement Learning and Supervised Fine-Tuning for Enhanced Multi-Modal Chain-of-Thought Reasoning Through Diverse AI Feedback
The Ohio State University(俄亥俄州立大学)
针对大语言模型现有反馈优化方法粒度粗的问题,提出两阶段算法ARES,交替结合句子级AI反馈的强化学习与错误修正的监督微调,提升多模态思维链推理效果与答案准确率。
2024-10-03 cs.AI cs.CL cs.LG
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta(阿尔伯塔大学);University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
提出CANDERE-COACH算法,通过噪声过滤机制处理非最优教师的在线反馈数据,使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
Michigan State University(密歇根州立大学)
推荐系统通过向用户推荐个性化的商品或服务,在缓解信息过载问题方面起着至关重要的作用。绝大多数传统的推荐系统将推荐过程视为一个静态的过程,并遵循固定的策略进行推荐。在本文中,我们提出了一种新的推荐系统的能力,不断提高其策略,在与用户的互动。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程(MDP),并利用强化学习(RL)通过推荐试错项目并从用户的反馈中接收这些项目的强化来自动学习最优策略。用户的反馈可以是积极的和消极的,这两种类型的反馈都有很大的潜力,以提高推荐。然而,负反馈的数量远远大于正反馈,因此同时将它们合并是具有挑战性的,因为正反馈可能被负反馈所掩盖。在本文中,我们开发了一种新的方法,将它们纳入建议的深度推荐系统(DEERS)框架。基于真实电子商务数据的实验结果验证了该框架的有效性。进一步的实验已经进行了理解的重要性,积极和消极的反馈建议。
2018-08-10 cs.IR cs.LG stat.ML
RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文系统对比了 RLAIF 与 RLHF,证明用现成 LLM 生成偏好训练奖励模型可达到与人类反馈相当的性能,并提出绕过奖励模型训练的直接 RLAIF(d-RLAIF)技术,为 RLHF 的可扩展性问题提供解决方案。
2024-09-03 cs.AI cs.CL cs.LG
Humans are not Boltzmann Distributions: Challenges and Opportunities for Modelling Human Feedback and Interaction in Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
强化学习(RL)通常假设可以访问指定的奖励函数,而许多实际应用并不提供。相反,最近,更多的工作探索了从与人类的互动中学习该做什么。到目前为止,这些方法中的大多数都将人类建模为(爱管闲事的)理性,特别是提供无偏见的反馈。我们认为这些模型过于简单化,RL研究人员需要开发更真实的人体模型来设计和评估他们的算法。特别是,我们认为,人类模型必须是个人的,上下文,和动态的。本文呼吁不同学科的研究来解决人类如何向AI提供反馈以及我们如何构建更强大的人在回路RL系统的关键问题。
2022-06-27 cs.HC cs.LG stat.ML
Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework
Ocean University of China(中国海洋大学);Bilkent University(比尔肯特大学);University of Oxford(牛津大学);Delft University of Technology(代尔夫特理工大学)
交互式强化学习为智能体提供了一种从人类用户提供的评估反馈中学习解决任务的方法。先前的研究表明,人类在训练的早期会给出大量的反馈,但之后就很少了。在这篇文章中,我们研究了代理学习的潜力,从教练的面部表情,通过解释他们作为评价反馈。为此,我们实现了TAMER,这是一个流行的交互式强化学习方法在一个学习基准问题--无限马里奥,并进行了第一次大规模的研究TAMER涉及561名参与者。通过设计的CNN-RNN模型,我们的分析表明,告诉训练者使用面部表情和竞争可以提高使用面部表情估计积极和消极反馈的准确性。此外,我们的模拟实验结果表明,仅仅从基于面部表情的预测反馈中学习是可能的,并且使用强大/有效的预测模型或回归方法,面部反应将显着提高代理的性能。此外,我们的实验支持以前的研究表明,双向反馈和竞争元素的重要性,在培训界面。
2020-01-23 cs.HC cs.LG
Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
研究基于大语言模型的作文评分与反馈生成,提出RLAES框架,通过强化学习联合优化。引入RFE评估框架,提出AGFO和ACR方法。实验表明RFE能捕捉一致性,RLAES-AGFO在评分性能上最佳,保持反馈质量同时避免反馈退化。
2026-07-22 cs.AI cs.CL
Reinforcement Learning with Backtracking Feedback
Google(谷歌);Google DeepMind(谷歌DeepMind);Virginia Tech(弗吉尼亚理工大学)
本文提出RLBF框架,通过强化学习阶段使模型动态纠正生成错误,结合改进的SFT数据生成策略,提升LLM在对抗攻击和内在错误中的安全性。
2026-04-27 cs.AI cs.CL cs.LG
Food Noise & False Safety: A Systematic Evaluation of How LLMs Fail to Adapt to Eating Disorder Queries with Clinician Feedback
University of Aberdeen(阿伯丁大学);University of Colorado Anschutz(科罗拉多大学安舒茨分校);Heriot-Watt University(赫里奥特-瓦特大学);University College London(伦敦大学学院)
本研究通过与临床饮食障碍专家合作,系统评估了大型语言模型在处理饮食障碍用户查询时,因不加批判地适应不安全或自伤请求而可能产生的危害。
2026-06-01 cs.AI cs.CL
MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop
Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系,北京,中国);Quancheng Laboratory(千晨实验室)
针对强化学习中标量奖励稀疏且缺乏信息的问题,提出MulFeRL框架,通过多轮语言反馈引导失败样本的再生、进度信用分配和结构化反馈注入,提升模型推理性能。
2026-05-30 cs.AI
Parameter Efficient Reinforcement Learning from Human Feedback
Google DeepMind(谷歌DeepMind);Google(谷歌)
本研究提出将LoRA微调应用于奖励建模与强化学习的PE-RLHF方案,经多数据集基准测试,其性能与传统RLHF相当,却能显著降低训练时间与内存占用,推动大模型对齐技术的普及。
2024-09-12 cs.AI cs.CL cs.LG
Reinforcement Learning from Statistical Feedback: the Journey from AB Testing to ANT Testing
Tencent(腾讯)
针对商业目标与模型训练的差距,提出基于统计反馈的强化学习(RLSF),利用 AB 测试获取偏好训练奖励网络,并扩展为 ANT 测试,通过数值实验验证其有效性。
2023-11-24 cs.LG math.ST stat.ME
RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
Meta AI (FAIR)(Meta AI(FAIR))
针对代码大语言模型迭代改进代码困难的问题,提出端到端强化学习方法RLEF以利用执行反馈,在竞赛编程任务上使8B和70B参数模型取得新SOTA,样本量减少一个数量级,且模型能多步有效利用自动反馈。
2025-02-18 cs.AI cs.CL
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University(电子与计算机工程学院,普渡大学)
本文提出一种基于多层级和情节级人类反馈的强化学习算法,通过每个情节结束时的评分学习奖励函数和最优策略,可处理非马尔可夫奖励,理论证明具有次线性遗憾,仿真验证了其有效性。
2025-04-25 cs.LG
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research(谷歌研究院);Heidelberg University(海德堡大学);NEC Laboratories Europe(NEC欧洲实验室)
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息?在离线强化学习(RL)设置中使用这样的交互日志是一种有前途的方法。然而,由于NLP任务的性质和生产系统的限制,出现了一系列的挑战。我们对这些挑战进行了简要概述,并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联,提出教程式综述,涵盖其动机、方法、开放问题与基础概念,以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
A Reinforcement Learning-driven Translation Model for Search-Oriented Conversational Systems
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
面向搜索的会话系统依赖于以自然语言(NL)表达的信息需求。我们在这里集中在NL表达式构建基于关键字的查询的理解。我们提出了一个基于语义学习驱动的翻译模型框架,该框架能够1)以有监督的方式学习从NL表达式到查询的翻译,2)通过将翻译模型框架为单词选择方法并在学习过程中注入相关反馈来克服缺乏大规模数据集的问题。在两个TREC数据集上进行了实验,并概述了我们的方法的有效性。
2018-08-29 cs.CL cs.LG stat.ML
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol(布里斯托大学)
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注,其中用户佩戴具有传感器的设备,并且他们的输出被映射到预定义的活动集合。然而,很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时,这是特别重要的。在本文中,我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习(RL),找到功耗和准确性之间的最佳平衡。为了加快学习速度,我们扩展了RL算法来处理多个反馈源,并使用它们来调整策略,同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统,这是一个公开的研究数据集。结果表明,我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research(LG人工智能研究院)
针对RLHF导致的表面化对齐问题,提出RLRF框架,利用细粒度自我反思机制探索和优化响应,并通过RL算法微调模型,有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Information Directed Reward Learning for Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院);University of Vienna(维也纳大学);Microsoft Research Cambridge(微软剑桥研究院);Spotify(声田)
对于许多强化学习(RL)应用,指定奖励是困难的。本文考虑了一种RL设置,其中代理仅通过查询专家来获得有关奖励的信息,例如,可以评估单个状态或提供轨迹的二进制偏好。从这样昂贵的反馈中,我们的目标是学习一个奖励模型,该模型允许标准RL算法以尽可能少的专家查询实现高预期回报。为此,我们提出了信息导向的奖励学习(IDRL),它使用贝叶斯模型的奖励和选择查询,最大限度地提高信息收益的差异,在回报之间的合理最优的政策。与针对特定类型查询设计的先前主动奖励学习方法相比,IDRL自然地适应不同的查询类型。此外,它实现了类似的或更好的性能与显着更少的查询,通过转移的重点从减少奖励近似误差,以提高政策诱导的奖励模型。我们支持我们的研究结果在多个环境中进行了广泛的评估,并与不同的查询类型。
2022-01-31 cs.LG
HRLAIF: Improvements in Helpfulness and Harmlessness in Open-domain Reinforcement Learning From AI Feedback
Tencent PCG(腾讯平台与内容事业群)
针对基础RLAIF在开放域中导致响应满意度下降的问题,提出HRLAIF方法,通过增强AI注释准确性和AI红队测试,提升模型帮助性与无害性,使满意度较RL前提高2.08%。
2024-03-14 cs.AI cs.LG
Human-guided Robot Behavior Learning: A GAN-assisted Preference-based Reinforcement Learning Approach
The Department of Electrical and Computer Engineering, The University of Texas, San Antonio(德克萨斯大学圣安东尼奥分校电气与计算机工程系)
人类示范可以提供可信的样本,以训练强化学习算法,使机器人能够在现实环境中学习复杂的行为。然而,获得足够的演示可能是不切实际的,因为许多行为对人类来说是难以演示的。一种更实用的方法是用人工查询代替人工演示,即,基于偏好的强化学习现有算法的一个关键限制是需要大量的人工查询,因为需要大量的标记数据来训练神经网络以近似连续的高维奖励函数。为了减少和最大限度地减少对人类查询的需求,我们提出了一种新的GAN辅助的基于人类偏好的强化学习方法,该方法使用生成对抗网络(GAN)来主动学习人类偏好,然后取代人类在分配偏好中的角色。对抗神经网络很简单,只有一个二进制输出,因此需要更少的人类查询来进行训练。此外,基于最大熵的强化学习算法被设计成朝向期望区域或远离不期望区域来塑造损失。为了表明所提出的方法的有效性,我们提出了一些研究复杂的机器人任务,没有访问的环境奖励在一个典型的MuJoCo机器人运动环境。结果表明,该方法可以在不牺牲性能的情况下减少约99.8%的人工时间。
2020-10-15 cs.LG cs.RO
Reinforcement Learning from Human Feedback: Whose Culture, Whose Values, Whose Perspectives?
Ghent University(根特大学);Radboud University(拉德堡德大学)
本文从社会认识论和多元主义哲学出发,论证RLHF中多元主义的认识论与伦理优势,并提出改进LLM开发的具体行动议程。
2025-01-17 cs.AI cs.CL cs.CY
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF,将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励,实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Low-Rank Contextual Reinforcement Learning from Heterogeneous Human Feedback
Department of Statistics and Operations Research, University of North Carolina, Chapel Hill(统计与运筹学系,北卡罗来纳大学 Chapel Hill 分校);Daniels School of Business, Purdue University(商务学院,普渡大学);Department of Statistics and Operations Research, Department of Genetics, Department of Biostatistics, The University of North Carolina at Chapel Hill(统计与运筹学系,遗传学系,生物统计学系,北卡罗来纳大学 Chapel Hill 分校)
本文提出LoCo-RLHF框架,通过整合上下文信息和低秩结构,有效应对异质人类反馈的挑战,提升个性化强化学习性能。
2026-03-04 cs.LG stat.ML
Learning to Query Internet Text for Informing Reinforcement Learning Agents
UC Irvine(加州大学欧文分校)
在强化学习中,泛化到分布外任务是一个具有挑战性的问题。一种成功的方法是通过对任务或环境描述进行调节来提高泛化能力,这些描述提供了有关当前转换或奖励函数的信息。以前,这些描述通常表示为生成或众包文本。在这项工作中,我们开始解决从野外发现的自然语言(例如,互联网论坛,文档和wiki)中提取有用信息的问题。这些自然的、预先存在的源特别具有挑战性、噪声大,并且与以前的方法相比提出了新的挑战。我们建议通过训练强化学习代理来学习像人类一样查询这些资源来解决这些挑战,并且我们实验了代理应该如何以及何时查询。为了解决\textit{how},我们证明了预训练的QA模型在我们的目标域中执行zero-shot查询时表现良好。使用QA模型检索的信息,我们训练代理学习\textit{when},它应该执行查询。我们表明,我们的方法正确地学习执行查询,以最大限度地提高奖励在强化学习设置。
2022-05-25 cs.LG
Navigating Noisy Feedback: Enhancing Reinforcement Learning with Error-Prone Language Models
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
本文针对语言模型反馈中的排序错误问题,提出将反馈作为势能塑形函数的方法,在显著错误下仍能提升强化学习的收敛速度与策略回报。
2024-10-22 cs.AI
Deep reinforcement learning for feedback control in a collective flashing ratchet
Korea Advanced Institute of Science and Technology(韩国科学技术院)
集体闪烁棘轮传输布朗粒子使用空间周期性的,不对称的,和时间依赖的开关可切换的潜力。通过基于颗粒位置的反馈控制,该系统中颗粒的净电流可以显著增加。已经提出了几个最大化电流的反馈政策,但还没有找到最佳的政策,为一个中等数量的粒子。在这里,我们使用深度强化学习(RL)来寻找最佳策略,结果表明,使用合适的神经网络架构构建的策略优于以前的策略。此外,即使在延迟反馈的情况下,潜在的开关切换延迟,我们证明了深RL提供的政策提供更高的电流比以前的策略。
2021-03-25 cond-mat.stat-mech cs.LG
Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks
Robotics and Interactive Systems – UPSSITECH, University Paul Sabatier(机器人与交互系统——UPSSITECH,保罗·萨巴蒂埃大学)
研究探讨了反馈频率对机器人任务中交互强化学习效率的影响,通过不同复杂度的机械臂逆运动学学习实验,发现反馈频率需随任务熟练度动态调整,无单一最优频率。
2023-03-15 cs.AI cs.HC cs.LG