Stabilizing Reinforcement Learning with LLMs: Formulation and Practices
Alibaba Inc(阿里巴巴公司)
本文提出通过大语言模型稳定强化学习的新方法,揭示了代理目标优化的条件,并通过实验验证了重要性采样校正和Routing Replay在提升训练稳定性中的作用。
2025-12-03 cs.AI cs.CL cs.LG
Effective Personalized AI Tutors via LLM-Guided Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);National Taiwan University(台湾大学)
本研究设计了集成大语言模型聊天机器人与强化学习算法的个性化AI辅导平台,经十所高中的五个月课程验证,其自适应编排练习题可提升学生Python成绩0.15个标准差,且成绩提升源于参与度提高。
2026-08-19 cs.AI cs.CY
Discovering High-Quality Chess Puzzles with Offline Reinforcement Learning
本研究利用15亿条国际象棋谜题解答历史数据,通过离线强化学习学习谜题教学价值,能为100-1000 Elo的初学者推荐高质量谜题,尤其助力学习停滞的新手。
2026-08-18 cs.AI cs.LG
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC(维迪亚游戏有限责任公司)
深度强化学习容易出现过拟合,Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练,验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践,使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明,该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
On the Practical Consistency of Meta-Reinforcement Learning Algorithms
University of Oxford(牛津大学)
一致性是元学习算法的理论属性,它确保在某些假设下,它可以适应测试时的任何任务。一个悬而未决的问题是,与不一致的算法相比,理论上的一致性是否以及如何转化为实践。在本文中,我们实证研究这个问题上的一组代表性的元RL算法。我们发现,理论上一致的算法确实通常可以适应分布外(OOD)的任务,而不一致的不能,虽然他们仍然可以在实践中失败的原因,如穷人的探索。我们进一步发现,理论上不一致的算法可以通过继续更新OOD任务的所有代理组件,并适应以及或更好地比原来一致的。我们的结论是,理论上的一致性确实是一个理想的属性,不一致的元RL算法可以很容易地保持一致,以享受相同的好处。
2021-12-01 cs.AI cs.LG stat.ML
True Knowledge Comes from Practice: Aligning LLMs with Embodied Environments via Reinforcement Learning
Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学);Skywork AI(天工智能)
针对大语言模型知识与具身环境不对齐、传统强化学习难融先验的问题,提出TWOSOME在线框架,通过基于LLM的行为策略、归一化与提示设计、共享LoRA的PPO架构,实现高效对齐与强泛化,且不损失LLM原有能力。
2024-03-11 cs.AI cs.CL cs.LG
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments(富达投资资产管理人工智能卓越中心)
我们提出了一种简单实用的方法,将人类和人工智能结合起来,学习基金经理的最佳投资实践,并提供改进建议。我们的方法是基于逆强化学习(IRL)和RL的组合。首先,IRL组件根据基金经理的交易历史来学习他们的意图,并恢复他们的隐含奖励函数。在第二步,直接RL算法使用该奖励函数来优化资产分配决策。我们表明,我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Tidal MerzA: Combining affective modelling and autonomous code generation through Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学);Vrije Universiteit Brussel(布鲁塞尔自由大学)
本研究提出融合情感建模与强化学习的Tidal-MerzA系统,通过双智能体实现实时编程场景下人机协作的音乐模式生成,兼顾情感性与语法正确性,推动计算音乐生成与人机艺术互动发展。
2024-09-12 cs.AI cs.HC cs.SD
Constrained-Space Optimization and Reinforcement Learning for Complex Tasks
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
示教学习越来越多地用于将操作员的操作技能转移到机器人。在实践中,重要的是要满足有限的数据和不完美的人类演示,以及潜在的安全约束。本文提出了一种用于管理复杂任务的约束空间优化和强化学习方案。通过在受限空间内的交互,强化学习代理被训练以根据定义的奖励函数来优化操作技能。在学习之后,最优策略从训练良好的强化学习代理中导出,然后执行该代理以引导机器人执行类似于专家演示的任务。通过机器人的机器人任务验证了所提出方法的有效性,表明所学习的策略在关节运动和末端执行器轨迹的平滑性以及整体任务完成时间方面优于专家演示。
2020-04-01 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with Successor Features for Navigation across Similar Environments
University of Freiburg(弗莱堡大学)
在本文中,我们考虑的问题,机器人导航在简单的迷宫般的环境中,机器人必须依靠其板载传感器来执行导航任务。特别是,我们感兴趣的解决方案,这个问题,不需要本地化,映射或规划。此外,我们要求我们的解决方案能够快速适应新的情况(例如,改变导航目标和环境)。为了满足这些标准,我们将这个问题定义为一系列相关的强化学习任务。我们提出了一种基于后继特征的深度强化学习算法,该算法可以学习将知识从先前掌握的导航任务转移到新的问题实例。我们的算法大大减少了第一个任务实例解决后所需的学习时间,这使得它很容易适应不断变化的环境。我们验证我们的方法在模拟和真实的机器人实验与Robotino和比较它的一组基线方法,包括经典的基于规划的导航。
2017-07-23 cs.AI cs.LG cs.RO
CRC-RL: A Novel Visual Feature Representation Architecture for Unsupervised Reinforcement Learning
TATA Consultancy Services(塔塔咨询服务公司);Edge Hill University(边山大学)
本文研究视觉特征表示学习问题,旨在提高端到端强化学习(RL)模型的性能。具体来说,提出了一种新的架构,使用异构损失函数,称为CRC损失,学习改进的视觉功能,然后可以用于在RL的策略学习。CRC损失函数是三个单独的损失函数的组合,即对比、重构和一致性损失。特征表示与策略学习并行学习,同时通过Siamese Twin编码器模型共享权重更新。该编码器模型通过解码器网络和特征投影网络来增强,以便于计算上述损失分量。通过经验分析,涉及潜在的功能可视化,试图提供一个洞察这个损失函数在学习新的动作依赖的功能,以及它们是如何联系到的复杂性的问题正在解决的作用。被称为CRC-RL的拟议架构在具有挑战性的深度精神控制套件环境中表现优于现有的最先进的方法,从而在该领域创造了一个新的基准。
2023-03-01 cs.AI cs.CV cs.RO
Advantages and Limitations of using Successor Features for Transfer in Reinforcement Learning
Brown University(布朗大学)
强化学习的一个核心问题是如何学习支持算法缩放和重用来自不同任务的学习信息的特征表示。后继特征通过学习满足时间约束的特征表示来解决这个问题。我们提出了一种实现的方法,从奖励函数的特征表示,使其适合于域之间的知识转移。然后,我们评估使用后继特征进行传输的优点和局限性。
2017-07-31 cs.AI cs.LG stat.ML
Towards a Practical Understanding of Lagrangian Methods in Safe Reinforcement Learning
本文研究了安全强化学习中拉格朗日方法的约束几何和不同拉格朗日乘数更新机制的约束敏感性,通过多目标分析展示了回报与成本的权衡关系,并提供了任务特定的成本限制建议。
2026-03-23 cs.AI cs.LG cs.RO
Empirical Study of Off-Policy Policy Evaluation for Reinforcement Learning
Caltech(加州理工学院);Argo AI;UIUC(伊利诺伊大学厄巴纳-香槟分校)
我们为强化学习中的政策外政策评估(OPE)提供了实验基准和实证研究,这是许多安全关键应用中的关键问题。由于越来越多的兴趣部署学习为基础的方法,有一系列的OPE方法的建议,导致需要标准化的实证分析。我们的工作非常注重实验设计的多样性,以实现OPE方法的压力测试。我们提供了一个全面的基准测试套件来研究不同属性对方法性能的相互作用。我们将结果提炼成一套总结的指导方针,供OPE在实践中使用。我们的软件包,加州理工学院的OPE基准套件(COBS),是开源的,我们邀请感兴趣的研究人员进一步为基准作出贡献。
2021-11-27 cs.AI cs.LG cs.RO
Challenges of Real-World Reinforcement Learning
Google Brain(谷歌大脑);DeepMind(深度思维)
强化学习(RL)已经在一系列人工领域证明了其价值,并开始在现实世界中取得一些成功。然而,由于一系列在实践中很少得到满足的假设,RL中的许多研究进展通常很难在现实世界的系统中利用。我们提出了一组九个独特的挑战,必须解决生产化RL现实世界的问题。对于这些挑战中的每一个,我们指定的挑战的确切含义,从文献中提出一些方法,并指定一些指标来评估这一挑战。解决所有九个挑战的方法将适用于大量现实世界的问题。我们还提出了一个示例域,已被修改,以提出这些挑战作为实际RL研究的测试平台。
2019-04-29 cs.AI cs.LG cs.RO
Efficient PAC Reinforcement Learning in Regular Decision Processes
Sapienza University of Rome(罗马大学)
最近,正则决策过程被提出来作为非马尔可夫决策过程的一种表现良好的形式。规则决策过程的特征在于依赖于整个历史的转移函数和奖励函数,尽管是规则的(如正则语言)。在实践中,转换和奖励函数都可以被看作是有限的转换器。我们研究规则决策过程中的强化学习。我们的主要贡献是表明,一个接近最优的政策可以PAC学习多项式时间在一组参数,描述了底层的决策过程。我们认为,所确定的参数集是最小的,它合理地捕捉到一个经常性的决策过程的困难。
2022-05-18 cs.AI cs.LG
Deep Reinforcement Learning and the Deadly Triad
DeepMind(深度思维);University of Lille(里尔大学)
我们从强化学习理论中知道,时间差学习在某些情况下可能会失败。Sutton和Barto(2018)确定了函数近似、自举和离策略学习的致命三位一体。当这三个属性结合在一起时,学习可以随着价值估计变得无界而发散。然而,一些算法成功地结合了这三个属性,这表明我们的理解至少存在部分差距。在这项工作中,我们调查了致命的三合会在实践中的影响,在一系列流行的深度强化学习模型的背景下-用经验重放训练的深度Q网络-分析这个系统的组件如何在致命三合会的出现中发挥作用,以及代理的表现
2018-12-06 cs.AI cs.LG
Tighter Problem-Dependent Regret Bounds in Reinforcement Learning without Domain Knowledge using Value Function Bounds
Institute for Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Department of Computer Science, Stanford University(斯坦福大学计算机科学系)
情景强化学习存在很强的最坏情况性能界限,但幸运的是,在实践中,强化学习算法的性能比这种界限预测的要好得多。提供强问题依赖性边界的算法和理论可以帮助阐明RL问题的关键特征,并减少在实践中使用RL算法的障碍。作为实现这一目标的一步,我们推导出一种算法,有限时域离散MDP和相关的分析,都产生最先进的最坏情况下的遗憾界的主导条款,并产生更严格的界限,如果RL环境具有小的环境规范,这是一个函数的下一个状态的方差价值函数。我们的算法的一个重要的好处是,它不需要先验知识的环境规范上的约束。作为我们分析的结果,我们还帮助解决了一个开放学习理论问题~ \cite{jiang2018open}关于情节MDP的奖励总和的恒定上限,提供了一个后悔界,在主导项中没有$H$依赖性,该主导项是情节数量的多项式函数。
2019-11-01 cs.AI cs.LG stat.ML
Improved Training Mechanism for Reinforcement Learning via Online Model Selection
Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
本文提出通过在线模型选择改进强化学习训练,提升效率和性能,探讨了资源分配、非平稳动态适应及训练稳定性等理论问题,并通过实验验证。
2025-12-01 cs.AI cs.LG
A Socially Aware Reinforcement Learning Agent for The Single Track Road Problem
Ariel University(阿里尔大学)
我们提出了单轨道路问题。在这个问题中,两个代理人面对彼此在道路上的相对位置,一次只能有一个代理人通过。我们专注于其中一个代理人是人类,而另一个是一个自主智能体的情况。我们在一个简单的网格域,模拟单轨道路问题的人类受试者进行实验。我们表明,当数据是有限的,建立一个准确的人体模型是非常具有挑战性的,和一个强化学习代理,这是基于这些数据,并没有在实践中表现良好。然而,我们表明,代理人,试图最大限度地提高人类的效用和自己的效用的线性组合,实现了很高的分数,并显着优于其他基线,包括代理人,试图最大限度地提高自己的效用。
2021-11-02 cs.AI cs.GT cs.HC
Oralytics Reinforcement Learning Algorithm
Harvard University(哈佛大学);Arizona State University(亚利桑那州立大学);University of California, Los Angeles(加州大学洛杉矶分校);University of Michigan(密歇根大学)
针对人们未坚持口腔自我护理行为的问题,研究团队开发Oralytics在线强化学习算法以优化个性化干预提示推送,该算法经数据、专家经验及模拟实验确定设计,已部署于2023秋至2024夏的临床试验。
2024-09-12 cs.AI
Reward Design For An Online Reinforcement Learning Algorithm Supporting Oral Self-Care
Harvard University(哈佛大学);University of Michigan(密歇根大学);University of California, Los Angeles(加州大学洛杉矶分校)
牙科疾病是最常见的慢性疾病之一,尽管在很大程度上可以预防。然而,关于最佳口腔卫生习惯的专业建议往往被患者遗忘或放弃。因此,患者可以从及时和个性化的鼓励中受益,以从事口腔自我护理行为。在本文中,我们开发了一种在线强化学习(RL)算法,用于优化基于移动设备的提示,以鼓励口腔卫生行为。开发这种算法的主要挑战之一是确保算法考虑当前动作对未来动作的有效性的影响(即,延迟效应),特别是当算法已经变得简单以便在受约束的、真实世界的设置中稳定和自主地运行时(即,高噪声、稀疏数据)。我们通过设计一种质量奖励来应对这一挑战,这种奖励可以最大限度地提高期望的健康结果(即,高质量的刷洗),同时最小化用户负担。我们还强调了一个程序,通过建立一个模拟环境测试床和评估候选人使用测试床优化的超参数的奖励。本文中讨论的RL算法将部署在Oralytics中,这是一款口腔自我护理应用程序,提供行为策略以促进患者参与口腔卫生实践。
2022-09-14 cs.AI cs.LG
Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning for Planned-Ahead Vision-and-Language Navigation
University of California, Santa Barbara(加州大学圣巴巴拉分校)
现有的机器人导航的视觉和语言基础研究集中在改进合成环境中的无模型深度强化学习(DRL)模型。然而,无模型DRL模型没有考虑真实世界环境中的动态,并且它们通常不能推广到新的场景。在本文中,我们采取了一种激进的方法来弥合综合研究和现实世界的实践之间的差距-我们提出了一种新颖的,提前计划的混合强化学习模型,该模型结合了无模型和基于模型的强化学习来解决现实世界的视觉语言导航任务。我们的前瞻模块将前瞻策略模型与预测下一个状态和奖励的环境模型紧密集成。实验结果表明,我们提出的方法显着优于基线,并在真实世界的Room-to-Room数据集上达到最佳效果。此外,我们的可扩展方法在转移到看不见的环境时更具有普遍性。
2018-07-26 cs.AI cs.CL cs.CV
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University(斯坦福大学)
通过学习动力学模型进行规划,基于模型的强化学习(MBRL)提供了良好性能的前景,几乎没有环境交互。然而,在实践中,学习的模型通常是不准确的,从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架,帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型:最小化规划过程中的价值估计的方差。我们推导并实现了这一目标,它鼓励更好地预测具有更大回报的轨迹。我们观察到经验,我们的方法提高了目前的MBRL算法对两个随机控制问题的性能,并提供了理论基础,我们的方法。
2021-03-30 cs.AI cs.LG
Deep Reinforcement Learning Discovers Internal Models
Technion(以色列理工学院)
深度强化学习(Deep Reinforcement Learning,DRL)是一个热门的研究领域,在诸如玩雅达利游戏、解决围棋和控制机器人等具有挑战性的问题上显示出巨大的前景。虽然DRL代理在实践中表现良好,但我们仍然缺乏分析其性能的工具。在这项工作中,我们提出了半聚合MDP(SAMDP)模型。一种最适合描述同时展现空间和时间层次的策略的模型。我们描述了它的优势,用于分析训练的政策比其他建模方法,并表明,在正确的状态表示,如DQN代理,SAMDP可以帮助识别技能。我们详细介绍了从记录的轨迹创建它的自动过程,直到在t-SNE地图上呈现它。我们解释了如何评估其健身和令人惊讶的结果表明高兼容性的政策在手。最后,我们展示了如何使用SAMDP模型,可以从代理中挤出额外的性能增益。
2016-06-16 cs.AI
Near-Optimal Representation Learning for Hierarchical Reinforcement Learning
Google Brain(谷歌大脑)
研究目标条件分层强化学习中的表示学习问题。在这样的分层结构中,较高级别的控制器通过迭代地传达较低级别的策略被训练以达到的目标来解决任务。因此,表示的选择--观察空间到目标空间的映射--是至关重要的。为了研究这个问题,我们开发了一个概念的次优的表示,定义在预期回报的最优层次的政策,使用这种表示。我们推导出表达式的约束次优,并显示这些表达式可以被翻译为表示学习的目标,可以在实践中进行优化。许多困难的连续控制任务的结果表明,与现有方法相比,我们的表示学习方法在质量上更好地表示,在数量上更好地分层策略(参见https://sites.google.com/view/representation-hrl上的视频)。
2019-01-09 cs.AI
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep Reinforcement Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
显着图经常被用来支持解释深度强化学习(RL)代理的行为。然而,对显着图在实践中如何使用的回顾表明,所得出的解释往往是不可证伪的,并且可能是高度主观的。我们引入了一种基于反事实推理的实证方法来测试显着性图产生的假设,并评估它们与RL环境的语义相对应的程度。我们使用Atari游戏,深度RL的常见基准,来评估三种类型的显着性图。我们的研究结果表明,在何种程度上可以评估现有的雅达利游戏的索赔,并建议显着图最好被视为一种探索性的工具,而不是一个解释性的工具。
2020-02-20 cs.AI cs.LG
Detecting Continuous Integration Skip : A Reinforcement Learning-based Approach
Laval university(拉瓦尔大学)
针对CI提交跳过检测难、数据不平衡的问题,提出基于深度强化学习的最优决策树分类器,经GitHub开源项目验证效果优于现有前沿方法。
2024-05-15 cs.AI cs.SE
A deep reinforcement learning model for predictive maintenance planning of road assets: Integrating LCA and LCCA
AmirKabir University of Technology(阿米尔卡比尔理工大学);Oklahoma State University(俄克拉荷马州立大学);Islamic Azad University(伊斯兰阿扎德大学)
本研究提出基于强化学习的框架,利用LTPP数据库确定道路维护类型与时机,采用PPO模型,整合经济与环境成本,在案例中生成20年维护计划,帮助决策者优化预算并减少环境影响。
2023-11-27 cs.AI cs.LG
Learning Reusable Options for Multi-Task Reinforcement Learning
Amazon Alexa(亚马逊Alexa);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
近年来,强化学习(RL)已成为一个日益活跃的研究领域。虽然有许多算法可以让智能体有效地解决任务,但它们通常忽略了与手头任务相关的先前经验可能可用的可能性。对于许多实际应用,代理从头开始学习如何解决任务可能是不可行的,因为它通常是一个计算昂贵的过程;然而,可以利用以前的经验使这些问题在实践中易于处理。在本文中,我们提出了一个框架,利用现有的经验,通过学习可重用的选项。我们表明,在智能体学习解决少量问题的策略后,我们能够使用从这些策略生成的轨迹来学习可重用的选项,使智能体能够快速学习如何解决新的和相关的问题。
2020-01-06 cs.AI
Local Feature Swapping for Generalization in Reinforcement Learning
IRT Saint-Exupéry(圣埃克苏佩里跨行业技术研究中心);ISAE-SUPAERO(法国高等航空航天学院);ANITI(图卢兹人工智能与自然智能研究所);Université de Toulouse(图卢兹大学)
在过去的几年里,计算资源和深度学习研究的加速发展已经在一系列任务中取得了重大的实际成功,特别是在计算机视觉方面。在这些进步的基础上,强化学习也出现了飞跃,出现了能够直接从视觉观察中做出决策的智能体。尽管取得了这些成功,但神经架构的过度参数化导致对训练期间使用的数据的记忆,从而缺乏泛化能力。基于视觉输入的强化学习代理也会因错误地将奖励与背景元素等不相关的视觉特征相关联而遭受这种现象。为了缓解这个问题,我们引入了一种新的正则化技术,包括通道一致的局部置换(CLOP)的特征图。所提出的排列诱导空间相关性的鲁棒性,并有助于防止RL中的过拟合行为。我们在OpenAI Procgen Benchmark上证明,使用CLOP方法训练的RL代理对视觉变化表现出鲁棒性,并且比使用其他最先进的正则化技术训练的代理具有更好的泛化特性。我们还证明了CLOP作为监督学习中的一般正则化技术的有效性。
2022-04-13 cs.AI
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google(谷歌);The Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
在这项工作中,我们提供了理论上的保证,在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例,它允许人们并行学习许多策略,并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题,然后推导出它的近似解。特别地,我们专注于局部的近似解,即,仅观察关于当前状态的信息的解决方案。本地策略易于实现,并且不需要大量的计算资源,因为它们不执行规划。虽然局部确定性策略,如最近邻,在实践中被用于分层强化学习,我们提出了三个随机策略,保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Designing Interpretable Approximations to Deep Reinforcement Learning
University of Southern California(南加州大学)
在不断扩展的研究和应用领域中,深度神经网络(DNN)为算法性能设定了标准。然而,根据处理能力和执行时间限制等附加约束,或可验证的安全保证等要求,在实践中实际使用此类高性能DNN可能并不可行。近年来,人们开发了许多技术来将复杂的DNN压缩或提取为更小、更快或更容易理解的模型和控制器。这项工作旨在识别简化模型,不仅保持所需的性能水平,而且还可以简洁地解释DNN所代表的潜在知识。我们说明了所提出的方法在基准强化学习任务的背景下对决策树变体和内核机器进行评估的有效性。
2021-06-19 cs.AI cs.LG
Reinforcement Learning from Imperfect Demonstrations under Soft Expert Guidance
Tsinghua University(清华大学)
在本文中,我们研究的强化学习从演示(RLfD),提高了探索效率的强化学习(RL),通过提供专家演示。大多数现有的RLfD方法要求演示是完美和充分的,这在实践中是不现实的。为了进行不完美的演示,我们首先以正式的方式定义了RLfD的不完美专家设置,然后指出以前的方法分别在最优性和收敛性方面存在两个问题。在我们已经得出的理论研究结果,我们解决这两个问题,把专家的指导作为一个软约束,规范的代理人的政策探索,这最终导致一个约束优化问题。我们进一步证明,这样的问题是能够有效地解决通过执行其对偶形式的局部线性搜索。相当多的经验评估的一个全面收集的基准表明,我们的方法实现了一致的改善,比其他RLfD同行。
2019-11-23 cs.AI cs.LG cs.RO
Feature Engineering for Predictive Modeling using Reinforcement Learning
IBM TJ Watson Research Center(IBM 托马斯·J·沃森研究中心)
特征工程是预测建模过程中至关重要的一步。它涉及给定特征空间的变换,通常使用数学函数,目的是减少给定目标的建模误差。然而,没有明确的基础来执行有效的特征工程。它涉及领域知识,直觉,最重要的是,一个漫长的试错过程。监督这一过程所涉及的人类注意力极大地影响了模型生成的成本。我们提出了一个新的框架,自动化功能工程。它基于对转换图的性能驱动探索,该转换图系统且紧凑地列举了给定选项的空间。通过对过去的例子进行强化学习,得到了一种高效的探索策略。
2017-09-21 cs.AI cs.LG stat.ML
Universal Successor Representations for Transfer Reinforcement Learning
University of Alberta(阿尔伯塔大学);MILA(米拉魁北克人工智能研究所)
迁移强化学习的目标是从一组以前的任务推广到看不见的新任务。在这项工作中,我们专注于转移的情况下,任务之间的动态是相同的,但他们的目标不同。虽然一般的价值函数(Sutton等人,2011年)已被证明对知识转移有用,但学习通用价值函数在实践中可能具有挑战性。为了解决这个问题,我们提出(1)使用通用后继表示(USR)来表示可转移的知识,以及(2)可以通过与环境交互来训练的USR近似器(USRA)。我们的实验表明,USR可以有效地应用于新的任务,和代理初始化训练的USRA可以达到目标,大大快于随机初始化。
2018-04-11 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Picker Routing Problem in Warehousing
School of Information and Physical Sciences, University of Newcastle(纽卡斯尔大学信息与物理科学学院);University of South Florida(南佛罗里达大学);Carey Business School, Johns Hopkins University(约翰霍普金斯大学凯里商学院);International Computer Science Institute, University of California at Berkeley(加州大学伯克利分校国际计算机科学研究所)
针对仓库运营中的订单拣货路径问题,提出基于注意力神经网络与强化学习的求解方法,相比传统启发式算法在速度与准确性上更优,并能降低路径感知复杂度。
2024-02-05 cs.AI cs.LG
Feature and Instance Joint Selection: A Reinforcement Learning Perspective
University of Central Florida(中佛罗里达大学);Hong Kong University of Science and Technology(香港科技大学);Baidu Talent Intelligence Center(百度人才智库);Rutgers University(罗格斯大学)
特征选择和实例选择是数据处理的两项重要技术。然而,这种选择大多是单独研究,而现有的工作对联合选择进行特征/实例选择粗糙,从而忽略了潜在的细粒度的特征空间和实例空间之间的相互作用。为了解决这一挑战,我们提出了一种强化学习解决方案来完成联合选择任务,并同时捕获每个特征的选择和每个实例之间的交互。特别是,顺序扫描机制被设计为代理的行动策略,和协作变化的环境被用来增强代理的协作。此外,一个交互式的范例引入先验选择知识,以帮助代理更有效的探索。最后,在真实世界数据集上的广泛实验证明了性能的提高。
2022-05-12 cs.AI cs.LG
Attention-based Deep Reinforcement Learning for Multi-view Environments
Wayne State University(韦恩州立大学)
在强化学习算法中,通常只考虑环境的单个视图来做出所需的决策;然而,利用环境的多个视图可以帮助促进复杂策略的学习。由于视图可能经常遭受部分可观察性,因此它们提供的观察可以具有不同的重要性级别。在本文中,我们提出了一种新的基于注意力的深度强化学习方法在多视图环境中,其中每个视图可以提供各种代表性的信息的环境。具体来说,我们的方法学习一个政策,动态地参加的意见,环境的基础上,他们在决策过程中的重要性。我们评估我们的方法的性能TORCS赛车模拟器和其他三个复杂的3D环境中的障碍。
2019-05-10 cs.AI cs.LG stat.ML
Transfer with Model Features in Reinforcement Learning
Brown University(布朗大学)
强化学习中的一个关键问题是智能体可以学习哪种表示来有效地在不同任务之间重用知识。最近的继任者表示被证明有经验的好处,在任务之间转移知识共享的过渡动态。本文提出了模型特征:一个特征表示,集群行为等价的状态,这是相当于一个模型约简。此外,我们提出了一个后继特征模型,表明学习后继特征相当于学习模型约简。一种新的优化目标的开发,我们提供的界限表明,最大限度地减少这一目标的结果,在一个日益改善的近似模型简化。此外,我们提供了随机生成的MDP的转移实验,其不同的过渡和奖励功能,但大约保持状态之间的行为等价。这些结果表明,模型特征适用于具有不同转换和奖励函数的任务之间的转换。
2018-07-04 cs.AI cs.LG stat.ML
Successor Features Combine Elements of Model-Free and Model-based Reinforcement Learning
Brown University(布朗大学);Computer Science Department(计算机科学系);Carney Institute for Brain Science(卡尼脑科学研究所);Providence, RI 02912, USA(美国罗得岛州普罗维登斯市 02912)
强化学习中的一个关键问题是智能代理如何在不同的输入中概括知识。通过在不同的输入之间进行泛化,为一个输入学习的信息可以立即重新用于改进对另一个输入的预测。重用信息允许代理使用更少的数据来计算最佳决策策略。状态表示是泛化过程的关键要素,它将高维输入空间压缩成低维潜在状态空间。本文分析了不同的潜在状态空间的属性,从而在基于模型和无模型强化学习之间建立了新的联系。预测未来观察频率的后继特征形成了基于模型和无模型学习之间的联系:学习预测未来预期的奖励结果,这是基于模型的代理的一个关键特征,相当于学习后继特征。学习后继特征是时间差分学习的一种形式,等价于学习预测单个策略的效用,这是无模型代理的一个特征。利用基于模型的强化学习和后继特征之间的联系,我们证明了预测未来奖励结果的表示在过渡和奖励的变化中具有普遍性。这一结果扩展了以前的工作的后继功能,这是限制到固定的转换,并假设重新学习的转移状态表示。
2020-10-04 cs.AI cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta(阿尔伯塔大学)
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题,提出价值感知重要性权重,在保证无偏估计的同时降低方差,并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
Can we use LLMs to bootstrap reinforcement learning? -- A case study in digital health behavior change
本文探讨了利用大语言模型生成用户交互样本以提升数字健康行为改变的强化学习效果,并通过实验验证了LLM生成样本的实用性与有效性。
2025-11-19 cs.AI cs.HC cs.LG
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford(牛津大学);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);DeepMind(深度思维)
我们研究了强化学习(RL)与无奖励演示,在这种设置中,RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而,它无法获得这些代理人的奖励或目标,他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见,例如自动驾驶。为了有效地使用这些数据,我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习(IRL)算法,称为\emph{inverse temporal difference learning}(ITD),学习共享的状态特征,以及每个代理的后继特征和偏好向量,纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成,并通过演示实现了一种新的强化学习算法,称为$ΨΦ$ -学习(发音为“Sci-Fi”)。我们提供的$ΨΦ$学习的有效性的实证证据,作为一种方法,提高RL,IRL,模仿,和Few-Shot转移,并推导出最坏情况下的界限,其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Group-wise Reinforcement Feature Generation for Optimal and Explainable Representation Space Reconstruction
University of Central Florida(中佛罗里达大学);Portland State University(波特兰州立大学);Nanjing University(南京大学)
表示(特征)空间是一个环境,其中数据点被矢量化,距离被计算,模式被表征,几何结构被嵌入。提取一个好的表示空间对于解决维数灾难、提高模型泛化能力、克服数据稀疏性以及提高经典模型的可用性至关重要。现有的文献,例如特征工程和表示学习,在实现完全自动化方面受到限制(例如,过度依赖于密集劳动和经验经验),可解释的明确性(例如,可追踪的重建过程和可解释的新特征),以及灵活的最优(例如,最优特征空间重构不嵌入到下游任务中)。我们能否同时解决机器学习任务中表示空间重构的自动化、显式性和最优性挑战?为了回答这个问题,我们提出了一个组明智的增强生成的角度来看。我们将表示空间重构转化为嵌套特征生成和选择的交互过程,其中特征生成是为了生成新的有意义的显式特征,而特征选择是为了消除冗余特征以控制特征尺寸。我们开发了一种级联强化学习方法,利用三个级联马尔可夫决策过程来学习最优生成策略,以自动化特征和操作的选择以及特征交叉。我们设计了一个分组生成策略,通过一个特征组,一个操作,和另一个特征组来生成新的特征,并找到可以提高探索效率和增加级联代理的奖励信号的策略。最后,我们提出了广泛的实验来证明我们的系统的有效性,效率,可追溯性和明确性。
2022-05-28 cs.AI cs.LG
A Theory of Abstraction in Reinforcement Learning
Brown University(布朗大学)
强化学习定义了代理所面临的问题,这些代理仅通过行动和观察来学习做出良好的决策。为了成为有效的问题解决者,这些智能体必须有效地探索广阔的世界,从延迟反馈中分配信用,并推广到新的经验,同时利用有限的数据,计算资源和感知带宽。抽象对于所有这些努力都是必不可少的。通过抽象,智能体可以形成其环境的简洁模型,这些模型支持理性的、自适应的决策者所需的许多实践。在这篇论文中,我提出了一个强化学习的抽象理论。我首先为执行抽象过程的函数提供三个必要条件:它们应该1)保持接近最优行为的表示,2)有效地学习和构建,3)减少规划或学习时间。然后,我提出了一套新的算法和分析,澄清代理如何可以学习抽象根据这些desiderata。总的来说,这些结果提供了一条通往发现和使用抽象的部分路径,最大限度地减少了有效强化学习的复杂性。
2022-03-01 cs.AI cs.LG
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
University College London(伦敦大学学院)
CRL通过稀疏自编码器特征实现LLM的可解释性令牌级操控,提供动态干预探针与静态特征分析互补的机制可解释性工具。
2026-11-13 cs.AI cs.CL cs.LG
Learning to Ask Medical Questions using Reinforcement Learning
Yale University(耶鲁大学);Technion(以色列理工学院)
我们提出了一种新的基于强化学习的自适应和迭代特征选择方法。给定输入特征的屏蔽向量,强化学习代理迭代地选择要被去除屏蔽的某些特征,并在足够自信时使用它们来预测结果。该算法利用了一种新的环境设置,对应于一个非平稳马尔可夫决策过程。我们的方法的一个关键组成部分是一个猜测网络,经过训练可以预测所选特征的结果并参数化奖励函数。将我们的方法应用于国家调查数据集,我们表明,当需要基于少量输入特征进行预测时,它不仅优于强基线,而且更具可解释性。我们的代码可在\url{https://github.com/ushaham/adaptiveFS}上公开获取。
2020-05-25 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles(加州大学洛杉矶分校)
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们,人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习,其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法,利用特征映射,并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾,其中$d$是特征空间的维度,$T$是时间范围和$γ$是折扣因子的MDP。据我们所知,这是第一个多项式遗憾界,没有访问生成模型或作出强假设,如遍历的MDP。通过构造一类特殊的MDP,我们还证明了对于任何算法,遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明,所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University(斯坦福大学);Microsoft Research(微软研究院);UC Berkeley(加州大学伯克利分校);Google(谷歌)
我们研究了强化学习(RL)的理论,其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例,但它也可以说比RL实践中的传统要求更能代表现实世界的应用,即学习者在每个时间步都收到反馈。事实上,在强化学习的许多现实应用中,例如自动驾驶汽车和机器人技术,评估学习者的完整轨迹是“好”还是“坏”更容易,但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的,我们研究了轨迹标签由未知参数模型生成的情况,并提供了一种统计和计算效率高的算法,实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Functional Regularization for Reinforcement Learning via Learned Fourier Features
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种简单的深度强化学习架构,通过将输入嵌入到学习的傅立叶基中,并表明它提高了基于状态和基于图像的RL的样本效率。我们使用神经切线核对我们的架构进行了无限宽分析,并从理论上证明了调整傅立叶基的初始方差相当于学习深度网络的函数正则化。也就是说,这些学习到的傅立叶特征允许调整网络欠拟合或过拟合训练数据中的不同频率的程度,并且因此提供受控机制以改进RL优化的稳定性和性能。从经验上讲,这使我们能够优先学习低频函数,并通过降低网络对优化过程中噪声的敏感性来加快学习速度,例如在Bellman更新期间。在标准的基于状态和基于图像的RL基准测试上的实验显示了我们的架构在基线上的明显优势。网址:https://alexanderli.com/learned-fourier-features
2021-12-06 cs.AI cs.CV cs.LG
Reinforcement Learning from Delayed Observations via World Models
University of California, Irvine(加州大学欧文分校)
本文提出利用世界模型将延迟POMDP归约为延迟MDP,以处理部分可观测环境中的观测延迟,实验显示性能提升高达250%,并首次实现视觉延迟连续控制。
2024-06-26 cs.AI cs.LG
A Reference Architecture of Reinforcement Learning Frameworks
McMaster University(麦克马斯特大学);McMaster Centre for Software Certification(麦克马斯特软件认证中心)
本文提出了一种强化学习框架的参考架构,通过分析18种主流框架,识别出常见架构组件及其关系,以促进框架的统一比较与改进。
2026-03-06 cs.AI cs.LG cs.SE