Exploiting Symbolic Heuristics for the Synthesis of Domain-Specific Temporal Planning Guidance using Reinforcement Learning
Fondazione Bruno Kessler(布伦诺·科塞勒基金会)
本文提出一种改进的时序规划学习框架,结合符号启发式与强化学习,通过学习符号启发式的残差,采用多队列规划方法,提升了时序规划的性能。
2026-08-14 cs.AI
Exploiting Unlabeled Data for Feedback Efficient Human Preference based Reinforcement Learning
Arizona State University(亚利桑那州立大学)
基于偏好的强化学习在利用人类对查询轨迹对的二进制反馈来恢复人类在回路(HiL)的底层奖励模型方面表现出了很大的希望。虽然工程试图更好地利用查询的人,在这项工作中,我们做了两个观察的代理收集的未标记的轨迹,并提出了两个相应的损失函数,确保参与奖励学习过程中的未标记的轨迹,并构造嵌入空间的奖励模型,使它反映了相对于动作距离的状态空间的结构。我们验证了所提出的方法在一个运动域和一个机器人操作任务,并与最先进的基线PEBBLE。我们进一步提出了一个消融的建议损失组件在这两个领域,并发现,不仅每个损失组件的表现优于基线,但两者的协同组合有更好的回报恢复和人类反馈样本效率。
2023-02-17 cs.AI cs.RO
Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning
Vector Institute(向量学院);University of Toronto(多伦多大学);Ryerson University(瑞尔森大学)
强化学习(RL)方法通常将奖励函数视为黑箱。因此,这些方法必须与环境广泛互动,以发现奖励和最佳策略。然而,在大多数RL应用程序中,用户必须对奖励函数进行编程,因此有机会使奖励函数可见-向RL代理显示奖励函数的代码,以便它可以利用函数的内部结构以更有效的方式学习最佳策略。在本文中,我们展示了如何通过两个步骤来实现这一想法。首先,我们提出了奖励机,一种有限状态机,它支持奖励函数的规范,同时暴露奖励函数的结构。然后,我们描述了利用此结构来支持学习的不同方法,包括自动奖励塑造、任务分解以及带有离策略学习的反事实推理。在不同任务和RL代理之间的表格和连续域上的实验显示了利用奖励结构在样本效率和所得政策的质量方面的好处。最后,由于是有限状态机的一种形式,奖励机具有正则语言的表达能力,并且因此支持循环、序列和条件,以及线性时间逻辑和非马尔可夫奖励规范的典型的时间扩展属性的表达。
2022-01-17 cs.AI cs.LG
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所)
本文提出 LCD 工具,用于分别量化电子游戏任务的感知与强化学习需求,并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
Exploiting Deep Reinforcement Learning for Edge Caching in Cell-Free Massive MIMO Systems
针对铁路无线通信中无蜂窝大规模MIMO系统因传播环境剧变导致内容交付时延高的问题,提出基于启发式凸优化和结合SAC的深度强化学习的边缘缓存算法,有效提升了QoE与内容命中率。
2024-09-11 cs.AI cs.IT math.IT
Exploiting Hybrid Policy in Reinforcement Learning for Interpretable Temporal Logic Manipulation
University of Science and Technology of China(中国科学技术大学);Chongqing University(重庆大学);Hunan University(湖南大学)
本文提出时序逻辑引导的混合策略框架HyTL,通过LTL编码任务规范并结合三层决策结构,提升长时程机器人操作的采样效率、性能与可解释性。
2024-12-29 cs.AI cs.LG cs.RO
No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping
KAIST(韩国科学技术院);EPFL(洛桑联邦理工学院);Adobe Research(奥多比研究院)
通过熵引导的优势塑造,RL-ZVP利用零方差提示提升LLM推理能力,显著优于GRPO及其他基线方法。
2026-02-09 cs.AI cs.CL cs.LG
Exploiting Generalization in Offline Reinforcement Learning via Unseen State Augmentations
Georgia Institute of Technology(佐治亚理工学院);Amazon Alexa AI(亚马逊Alexa人工智能);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Southern California(南加州大学)
本文提出一种未见状态增强策略,通过对已见状态进行价值引导扰动并利用认知不确定性过滤,使离线强化学习能够在模型和价值估计可泛化的区域利用未见状态,从而在多个任务中实现更保守的Q值估计和性能提升。
2023-09-24 cs.AI cs.LG stat.ML
Exploiting Transformer in Sparse Reward Reinforcement Learning for Interpretable Temporal Logic Motion Planning
University of Science and Technology of China(中国科学技术大学)
本文提出双 Transformer 引导的 T2TL 框架,结合 LTL progression 与环境无关预训练,将复杂时序逻辑任务分解为可学习子目标,提升稀疏奖励强化学习运动规划性能。
2023-07-17 cs.AI cs.LO cs.RO
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati(印度古瓦哈蒂印度理工学院);Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)(仿生机器人与人工智能实验室(BRAIL))
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题,提出基于强化学习并结合域随机化的自主控制流程,在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Model-Based Reinforcement Learning Exploiting State-Action Equivalence
Inria Lille – Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
利用马尔可夫决策过程(MDP)的状态空间中的等价属性已经在几项研究中进行了研究。本文研究了强化学习(RL)中的等价结构,其中不再假设转移分布是已知的。我们提出了一个概念之间的相似性的各种状态动作对的MDP的转移概率,它自然地定义了一个等价结构的状态动作空间。我们提出了等价感知的信心集的情况下,学习者知道的基础结构提前。这些集合可证明小于它们对应的等价遗忘的对应物。在更具有挑战性的情况下,一个未知的等价结构,我们提出了一种算法,称为近似等价,旨在找到一个(近似)等价结构,并定义置信集使用近似等价。为了说明所提出的置信集的有效性,我们提出了C-UCRL,作为一个自然的修改UCRL 2的RL在未贴现的MDP。在一个已知的等价结构的情况下,我们表明,C-UCRL改善了UCRL 2在遗憾方面的一个因素的$\sqrt{SA/C}$,在任何通信MDP与$S$状态,$A$行动,和$C$类,这对应于一个巨大的改善时,$C \ll SA$。据我们所知,这是第一个工作时,有效地利用MDP中的等价结构提供RL的遗憾界。在等价结构未知的情况下,我们通过数值实验表明,C-UCRL结合近似等价优于UCRL 2遍历MDP。
2019-10-09 cs.AI cs.LG stat.ML
Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL
UT Austin(UT奥斯汀)
提出CARL算法,通过对比学习对齐局部动态与动作序列,在离线分层强化学习中学习可复用技能,提升下游任务性能。
2026-05-29 cs.AI
Exploiting Verification-Generation Gap: Test-Time Reinforcement Learning with Confidence-Conditioned Verification
Sun Yat-Sen University(中山大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
提出TTRL-CoCoV框架,通过置信度自适应机制解决无标签设置下Pass@k优化中的伪标签错误和多样性崩溃问题,显著提升Pass@1和Pass@k性能。
2026-06-02 cs.AI cs.LG
Unsupervised Video Object Segmentation for Deep Reinforcement Learning
University of Waterloo(滑铁卢大学)
我们提出了一种新的深度强化学习技术,可以自动检测移动对象并使用相关信息进行动作选择。通过从运动中利用运动恢复结构,以无监督的方式进行运动对象的检测。该代理不是直接从原始图像中学习策略,而是首先通过利用视频序列中的流信息来学习检测和分割移动对象。然后使用学习的表示将代理的策略集中在移动对象上。随着时间的推移,智能体识别哪些对象对决策至关重要,并根据相关的移动对象逐步建立策略。这种方法我们称之为面向运动的强化学习(MOREL),它在一系列Atari游戏中得到了演示,其中检测移动物体的能力减少了获得良好策略所需的与环境的交互量。此外,所产生的策略比直接将图像映射到具有黑盒神经网络的动作或值的策略更可解释。我们可以通过检查代理检测到的每个对象的分割和运动来深入了解策略。这使得从业人员能够确认政策是否基于合理的信息做出决策。
2018-05-20 cs.AI cs.CV cs.LG
Sentiment and Knowledge Based Algorithmic Trading with Deep Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
由于其固有的性质,股票交易是一个难以解决的问题;现实世界中涉及的变量太多,几乎不可能有可靠的自动股票交易算法。由于缺乏考虑决定市场涨跌的物理和生理因素的可靠标记数据,阻碍了监督学习进行可靠预测的尝试。为了学习一个好的交易策略,我们制定了一种使用强化学习的方法,该方法使用传统的时间序列股票价格数据,并将其与新闻标题情绪相结合,同时利用知识图谱来利用有关隐含关系的新闻。
2020-01-26 cs.AI
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中,我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题,并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外,我们进行实验,基于网格的机器人导航域,以证明其效率和鲁棒性,通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning
AStar(新加坡科技研究局);IBM Research(IBM研究院)
现实世界中的强化学习的主要挑战之一是从有限的训练样本中成功学习。我们表明,在某些设置中,可用的数据可以显着增加,通过一种形式的多任务学习,利用任务中的不变性。我们提供了一个理论上的性能界的增益在样本效率在此设置下。这激发了一种新的多任务学习方法,它涉及到一个适当的神经网络架构和优先任务采样策略的设计。我们实证证明了所提出的方法在两个现实世界的顺序资源分配任务中的有效性,这种不变性发生:金融投资组合优化和Meta联邦学习。
2021-02-18 cs.AI cs.LG
Learning Reusable Options for Multi-Task Reinforcement Learning
Amazon Alexa(亚马逊Alexa);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
近年来,强化学习(RL)已成为一个日益活跃的研究领域。虽然有许多算法可以让智能体有效地解决任务,但它们通常忽略了与手头任务相关的先前经验可能可用的可能性。对于许多实际应用,代理从头开始学习如何解决任务可能是不可行的,因为它通常是一个计算昂贵的过程;然而,可以利用以前的经验使这些问题在实践中易于处理。在本文中,我们提出了一个框架,利用现有的经验,通过学习可重用的选项。我们表明,在智能体学习解决少量问题的策略后,我们能够使用从这些策略生成的轨迹来学习可重用的选项,使智能体能够快速学习如何解决新的和相关的问题。
2020-01-06 cs.AI
Adversarial Attacks to Reward Machine-based Reinforcement Learning
DIPARTIMENTO DI INGEGNERIA DELL’INFORMAZIONE(信息工程系)
本论文首次分析基于奖励机的强化学习的安全性,提出并评估一类新型对抗攻击——致盲攻击,以揭示其脆弱性并推动后续研究。
2023-11-15 cs.AI cs.CR cs.LG
Causal Reasoning from Meta-reinforcement Learning
DeepMind(深度思维);Harvard University(哈佛大学);UCL(伦敦大学学院)
发现和利用环境中的因果结构是智能代理的一个关键挑战。在这里,我们探讨因果推理是否可以通过Meta强化学习出现。我们用无模型强化学习训练一个递归网络,以解决一系列问题,每个问题都包含因果结构。我们发现,经过训练的代理可以在新的情况下进行因果推理,以获得奖励。代理人可以选择信息干预,从观察数据中得出因果推论,并做出反事实的预测。虽然建立正式的因果推理算法也存在,在本文中,我们表明,这种推理可以从无模型强化学习,并建议在复杂的设置因果推理可能会受益于更多的端到端的学习为基础的方法在这里。这项工作还提供了新的策略,结构化探索强化学习,通过提供代理的能力,执行-和解释-实验。
2019-01-23 cs.AI cs.LG stat.ML
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel(布鲁塞尔自由大学)
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法,用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息,我们的方法可以学习环境模型,并执行时间差异更新,从而同时影响多个联合状态和动作。此外,还执行批量更新,这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法,无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
Derivative-Free Reinforcement Learning: A Review
Nanjing University(南京大学)
强化学习是关于学习在未知环境中做出最佳顺序决策的代理模型。在一个未知的环境中,智能体需要探索环境,同时利用收集到的信息,这通常会形成一个复杂的问题来解决。与此同时,无导数优化能够解决复杂的问题。它通常使用采样和更新框架来迭代地改进解决方案,其中还需要很好地平衡探索和利用。因此,无导数优化处理与强化学习类似的核心问题,并且已经在学习分类器系统和神经进化/进化强化学习的名称下被引入到强化学习方法中。虽然这种方法已经发展了几十年,最近,衍生物免费强化学习展览吸引了越来越多的关注。然而,最近关于这一主题的调查仍然缺乏。本文综述了无导数强化学习的研究现状,并从参数更新、模型选择、探索、并行/分布式等方面对无导数强化学习方法进行了分类。此外,我们还讨论了目前的一些局限性和未来可能的发展方向,希望本文能引起更多的关注,这一主题,并作为一个催化剂,开发新的和有效的方法。
2021-02-10 cs.AI cs.LG
Exploiting Embodied Simulation to Detect Novel Object Classes Through Interaction
在本文中,我们提出了一种新的方法,一个天真的代理检测新的对象,它遇到的互动。我们在给定已知对象类型的堆叠任务上训练强化学习策略,然后观察代理尝试基于相同训练策略堆叠各种其他对象的结果。通过从卷积神经网络中提取嵌入向量,我们可以确定给定对象与已知对象类型的相似性,并确定给定对象是否可能与已知类型足够不相似,以被视为新的对象类别。我们在使用两种不同策略收集的两个数据集上展示了这种方法的结果,并演示了代理需要从其环境中提取哪些信息来做出这些新颖性判断。
2022-04-17 cs.AI cs.CV cs.LG
Safe Reinforcement Learning via Confidence-Based Filters
Technical University of Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院)
在将强化学习(RL)部署到现实世界系统时,确保安全性是一个至关重要的挑战。我们开发了基于置信度的安全过滤器,一种控制理论方法,用于验证通过标准RL技术学习的标称策略的状态安全约束,基于概率动力学模型。我们的方法是基于重新制定的状态约束的成本函数,减少安全验证的标准RL任务。通过利用幻觉输入的概念,我们扩展了这个公式,以确定一个“备份”的政策,是安全的未知系统的高概率。最后,标称策略在向备份策略推出期间的每个时间步骤被最小化地调整,使得可以在之后保证安全恢复。我们提供正式的安全保证,并以经验证明我们的方法的有效性。
2022-07-04 cs.AI cs.LG cs.SY
Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games
University of Technology Sydney(悉尼科技大学);Tencent Robotics X(腾讯Robotics X);University College London(伦敦大学学院);IHPC A*STAR(新加坡科技研究局高性能计算研究所)
我们研究了基于文本的游戏的强化学习(RL),这是在自然语言的上下文中的交互式模拟。虽然已经开发了不同的方法来表示环境信息和语言动作,但现有的RL代理没有任何推理能力来处理文本游戏。在这项工作中,我们的目标是进行明确的推理与知识图谱的决策,使代理的行动产生和支持的可解释的推理过程。我们提出了一个堆叠的层次注意力机制,通过利用知识图谱的结构来构建一个明确的表示的推理过程。我们广泛评估我们的方法在一些人造的基准游戏,实验结果表明,我们的方法比现有的基于文本的代理执行得更好。
2020-12-25 cs.AI cs.LG
Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning
Institute for Neural Computation(神经计算研究所);Ruhr-University Bochum(波鸿鲁尔大学)
在多任务强化学习环境中,学习者通常通过利用多个相关任务之间的相似性来从多个相关任务的训练中受益。与此同时,经过训练的代理能够解决更广泛的不同问题。虽然这种影响是有据可查的无模型多任务方法,我们证明了一个不利的影响时,使用一个单一的学习动力学模型的多个任务。因此,我们解决了一个基本问题,即基于模型的多任务强化学习是否可以像无模型方法从共享策略网络中受益那样从共享动态模型中受益。使用一个单一的动力学模型,我们看到了任务混乱和性能下降的明显证据。作为补救措施,通过为每个任务训练隔离的子网络来强制学习的动态模型的内部结构,在使用相同数量的参数的同时显著提高了性能。我们说明了我们的研究结果,通过比较两种方法在一个简单的gridworld和一个更复杂的vizdoom多任务实验。
2021-11-15 cs.AI cs.LG
Generalized Reinforcement Meta Learning for Few-Shot Optimization
Apple Inc(苹果公司)
针对少样本学习问题,提出了一种通用的、灵活的基于强化学习(RL)的元学习框架。在训练过程中,它通过利用损失表面中的稳定模式来学习最佳优化算法以产生学习器(排名器/分类器等)。我们的方法隐式估计梯度的缩放损失函数,同时保留一般属性完整的参数更新。除了在Few-Shot任务上提供改进的性能之外,我们的框架可以很容易地扩展到进行网络架构搜索。我们进一步提出了一种新的双编码器,亲和分数为基础的解码器拓扑结构,实现了额外的性能改善。在内部数据集MQ 2007和AwA 2上的实验表明,我们的方法在准确性和NDCG指标上分别比现有的替代方法高出21%,8%和4%。在Mini-ImageNet数据集上,我们的方法实现了与原型网络相当的结果。实证评估表明,我们的方法提供了一个统一和有效的框架。
2020-05-04 cs.AI cs.LG stat.ML
Groupoid-Based Internal State Representations for Reinforcement Learning with Local Symmetries
City St George’s, University of London(伦敦城市圣乔治大学)
针对现有强化学习难以利用局部对称性的问题,提出基于群胚的框架,动态发现等价结构,在缩减空间学习,提升样本效率和收敛性,优于标准Q学习。
2026-09-14 cs.AI cs.LG
Behavior-based Neuroevolutionary Training in Reinforcement Learning
TH Köln(科隆应用技术大学);Vrije Universitat Amsterdam(阿姆斯特丹自由大学)
除了在解决经典优化问题方面无可争议的成功之外,神经进化和基于种群的算法已经成为标准强化学习方法的替代方案。然而,进化方法通常缺乏标准的基于值的方法的样本效率,标准的基于值的方法利用收集的状态和值经验。如果考虑对具有显著资源成本的现实问题进行强化学习,则样本效率至关重要。因此,增强进化算法的经验利用方法是期望的,并承诺有价值的见解。本文提出了一种结合拓扑变化神经进化优化和基于值的强化学习的混合算法。我们说明了如何可以使用的政策的行为来创建距离和损失函数,这得益于存储的经验和计算的状态值。它们允许我们通过无梯度进化算法和基于代理的优化来对行为进行建模并在行为空间中进行定向搜索。为此,我们整合了不同的方法来生成和优化代理策略,创建了一个多样化的群体。我们在标准基准测试和一个专门构建的现实问题上测试了我们的算法的性能。我们的研究结果表明,结合方法可以提高进化方法的样本效率和学习速度。
2021-05-17 cs.AI cs.NE
COLSON: Controllable Learning-Based Social Navigation via Diffusion-Based Reinforcement Learning
Kyushu University(九州大学)
本文提出了一种基于扩散的强化学习方法,用于社会导航,通过灵活的动作分布提高了导航的适应性和可控性,同时能够适应未见过的场景。
2026-05-18 cs.AI cs.RO
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架,通过鲁棒区域和最小反事实分析,揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
Skill-based Safe Reinforcement Learning with Risk Planning
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出安全技能规划(SSkP)方法,利用离线演示数据通过PU学习构建技能风险预测器,并结合在线风险规划高效学习风险规避的安全策略,在多个机器人仿真基准中优于现有安全强化学习方法。
2025-05-02 cs.AI cs.LG
Count-Based Exploration in Feature Space for Reinforcement Learning
Australian National University(澳大利亚国立大学)
我们引入了一种新的基于计数的乐观探索算法的强化学习(RL),是可行的,在环境中的高维状态动作空间。强化学习算法在这些领域的成功关键取决于从有限的训练经验中进行推广。函数逼近技术使RL代理能够泛化,以估计未访问状态的值,但目前很少有方法能够泛化关于不确定性。这阻止了可扩展的RL算法与有效的探索策略的结合,这些策略可以驱动代理减少其不确定性。我们提出了一种新的方法来计算一个广义的状态访问计数,它允许代理估计与任何状态相关的不确定性。利用相同的功能表示的状态空间,用于价值函数近似,我们的伪计数实现了泛化。具有较少观察到的特征的国家被认为更不确定。该算法奖励在特征空间中而不是在未变换的状态空间中探索的代理。该方法比以前的一些建议更简单,计算成本更低,并在高维RL基准测试中取得了接近最先进的结果。
2017-06-25 cs.AI
Exploiting Expertise of Non-Expert and Diverse Agents in Social Bandit Learning: A Free Energy Approach
Cognitive Systems Lab., School of Electrical and Computer Engineering, College of Engineering, University of Tehran(认知系统实验室,电气与计算机工程学院,工程学院,塔里班大学)
本文提出了一种基于自由能的社会老虎机学习算法,通过评估其他代理的专长水平来提升学习效果,同时在各种场景中保持对数遗憾。
2026-03-12 cs.AI cs.LG stat.ML
Interpretability by Design for Efficient Multi-Objective Reinforcement Learning
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学);School of Mathematics, The University of Edinburgh(数学学院,爱丁堡大学);Edinburgh Centre for Robotics(爱丁堡机器人中心)
LLE-MORL通过设计实现可解释性,利用局部线性映射提升多目标强化学习的效率和解质量。
2026-02-05 cs.AI cs.LG
Generating Persona Consistent Dialogues by Exploiting Natural Language Inference
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
一致性是对话代理人面临的主要挑战之一。一个类人的对话代理不仅应该自然地响应,而且还应该保持一致的角色。在本文中,我们利用自然语言推理(NLI)技术的优势,以解决生成人物角色一致性对话的问题。不同于现有的工作,重新排序检索到的响应通过NLI模型,我们投任务作为一个强化学习问题,并建议利用NLI信号从响应人物对作为奖励的对话生成过程。具体来说,我们的生成器采用了基于注意力的编码器-解码器来生成基于角色的响应。我们的评估器由两部分组成:一个adversarially训练的自然度模块和一个基于NLI的一致性模块。此外,我们使用另一个表现良好的NLI模型中的人物角色一致性的评价。对人工和自动度量的实验结果,包括基于模型的一致性评价,表明所提出的方法优于强大的生成基线,特别是在生成的响应的人物一致性。
2021-03-22 cs.AI cs.CL
Mol-AIR: Molecular Reinforcement Learning with Adaptive Intrinsic Rewards for Goal-directed Molecular Generation
Incheon National University(仁川国立大学);Hallym University(翰林大学)
Mol-AIR提出一种结合随机蒸馏网络与计数策略的自适应内在奖励强化学习框架,在无先验知识条件下提升目标导向分子生成性能,并在多项基准测试中优于现有方法。
2024-03-29 cs.AI cs.LG q-bio.BM
Pretrain Soft Q-Learning with Imperfect Demonstrations
Tsinghua University(清华大学);University of Science & Technology Beijing(北京科技大学)
由于现有的强化学习算法需要大量的计算能力用于在线仿真,因此带演示的预训练强化学习方法是强化学习研究中的一个重要概念。预训练强化学习在利用专家演示的同时保持探索潜力,特别是对于基于值的方法,仍然是一个重大挑战。在本文中,我们提出了一种软Q学习的预训练方法。我们的工作受到演员评论家算法的预训练方法的启发,因为软Q学习是一种基于值的算法,相当于策略梯度。该方法基于$γ$ -熵正则化折扣有偏策略评估,这也是软Q学习的更新目标。我们的方法是评估从Atari 2600的各种任务。实验表明,我们的方法可以有效地从不完美的演示中学习,并且优于其他从专家演示中学习的最先进的方法。
2019-05-09 cs.AI cs.LG stat.ML
Structural Reinforcement Learning for Heterogeneous Agent Macroeconomics
University of Zurich and SFI(苏黎世大学和SFI);Peking University, School of Computer Science and BIGAI(北京大学计算机学院和BIGAI);UC Berkeley(加州大学伯克利分校);London School of Economics(伦敦经济学院)
本文提出结构强化学习方法,用于高效求解异质主体宏观经济学模型,克服传统方法限制,实现快速全局求解。
2025-12-21 cs.AI cs.LG econ.TH
FinXplore: An Adaptive Deep Reinforcement Learning Framework for Balancing and Discovering Investment Opportunities
School of Mathematical & \& Statistical Sciences(数学与统计科学学院);Indian Institute of Technology Mandi(印度理工学院曼迪分校)
本研究提出FinXplore框架,通过两个DRL代理动态平衡现有资产利用与新投资机会探索,显著提升投资组合优化表现。
2025-09-05 cs.AI cs.LG
Magpie: Automatically Tuning Static Parameters for Distributed File Systems using Deep Reinforcement Learning
Technische Universität Berlin(柏林工业大学);University of Glasgow(格拉斯哥大学);HPI, University of Potsdam(波茨坦大学哈索·普拉特纳研究所)
分布式文件系统现在被广泛使用,但是使用它们的默认配置通常不是最佳的。同时,调优配置参数通常具有挑战性且耗时。它需要专业知识,调整操作也可能很昂贵。静态参数尤其如此,其中的更改仅在系统或工作负载重新启动后才生效。我们提出了一种新的方法,喜鹊,它利用深度强化学习调整静态参数,通过战略性地探索和利用配置参数空间。为了提高静态参数的调整,我们的方法采用分布式文件系统的服务器和客户端指标,了解静态参数和性能之间的关系。我们的实证评估结果表明,Magpie可以显着提高分布式文件系统Lustre的性能,我们的方法平均实现了91.8%的吞吐量增益后,调整到单一的性能指标优化默认配置,而它达到了39.7%以上的吞吐量增益对基线。
2022-07-22 cs.AI cs.DC
Distributional Method for Risk Averse Reinforcement Learning
University of Toronto(多伦多大学)
我们介绍了一个分布式的方法学习风险厌恶马尔可夫决策过程中的最优策略有限的状态动作空间,潜在成本和平稳动态。我们假设连续观察的状态,行动和成本,并使用动态风险措施构建嵌套Kusuoka型条件风险映射的政策的性能进行评估。对于这样的性能标准,随机策略可能优于确定性策略,因此,候选策略位于d维单纯形中,其中d是动作空间的基数。现有的风险规避强化学习方法很少涉及随机策略,对当前设置的幼稚扩展遭受维数灾难。通过利用嵌入在相应的动态规划原理中的某些结构,我们提出了一种分布式学习方法来寻求最优策略。价值函数的条件分布被转换成特定类型的函数,该函数的选择考虑到风险规避优化的容易性。我们使用深度神经网络来近似所述函数,说明所提出的方法避免了在探索阶段的维数灾难,并探索该方法的性能与随机选取的广泛的模型参数。
2023-02-27 cs.AI cs.LG
Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊)
低资源关系抽取(LRE)的目标是在人工标注不足的情况下,从有限的标注语料中抽取关系事实。现有的工作要么利用自我训练计划,以产生伪标签,将导致逐渐漂移的问题,或利用元学习计划,不征求反馈显式。为了减轻由于现有LRE学习范例中缺乏反馈回路而导致的选择偏差,我们开发了梯度模仿强化学习方法,以鼓励伪标签数据模仿标签数据上的梯度下降方向,并通过试错来引导其优化能力。我们还提出了一个框架,称为GradLRE,它处理两个主要的情况下,低资源关系抽取。除了未标记的数据是足够的情况下,GradLRE处理的情况下,没有未标记的数据是可用的,通过利用上下文增强方法来生成数据。在两个公开数据集上的实验结果表明,与基线相比,GradLRE在低资源关系抽取上是有效的。
2021-09-14 cs.AI cs.CL
StructRL: Recovering Dynamic Programming Structure from Learning Dynamics in Distributional Reinforcement Learning
Ivo Nowak
本文提出StructRL框架,通过分析学习动态中的返回分布时间演变,识别学习信号并引导采样,从而恢复动态规划结构,为强化学习提供新视角。
2026-04-19 cs.AI cs.LG
Induction of Subgoal Automata for Reinforcement Learning
Imperial College London(伦敦帝国理工学院);Universitat Pompeu Fabra(庞培法布拉大学)
在这项工作中,我们提出了ISA,一种新的方法学习和利用子目标的强化学习(RL)。我们的方法依赖于诱导一个自动机,其转换是表示为命题公式在一组可观察到的事件的子目标。一个国家的最先进的归纳逻辑程序设计系统是用来学习的自动机从观察轨迹感知的RL代理。强化学习和自动机学习过程是交错的:每当RL代理生成当前自动机无法识别的跟踪时,就会学习新的精炼自动机。我们评估ISA在几个网格世界的问题,并表明它执行类似的自动机预先给定的方法。我们还表明,学习自动机可以利用,以加快收敛,通过奖励塑造和跨多个任务的迁移学习。最后,我们分析了ISA学习自动机所需的运行时间和跟踪数量,以及可观察事件的数量对学习器性能的影响。
2019-11-29 cs.AI cs.LG cs.LO
Controlling Topological Defects in Polar Fluids via Reinforcement Learning
School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, USA(工程与应用科学学院,哈佛大学,马萨诸塞州剑桥)
本文提出用强化学习调节受限活性极性流体的活性空间分布,以闭环方式引导整数电荷拓扑缺陷沿预定轨迹稳健输运。
2025-07-25 cond-mat.soft cs.AI cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架,将内在动机探索与随机网络蒸馏引入个性化联邦强化学习,在保护客户端隐私的同时,提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
Reinforcement Learning-Guided Semi-Supervised Learning
本文提出RLGSSL方法,将半监督学习建模为单臂老虎机问题,通过强化学习损失和奖励函数自适应利用有标签与无标签数据,并结合教师-学生框架,在多个基准数据集上取得优于现有SSL方法的性能。
2024-05-02 cs.AI cs.LG
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras(印度马德拉斯理工学院)
深度强化学习(DRL)方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中,那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左(这是前两个动作的组合)的动作。在这些领域中的控制策略的表示传统上被建模,而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式,因子化动作空间表示(FAR),其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量,类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作,而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进:FARA 3C在14个任务中的9个任务中优于A3 C(异步优势演员评论),FARAQL在13个任务中的9个任务中优于AQL(异步n步Q学习)。
2017-05-20 cs.AI cs.LG
Hierarchical Reinforcement Learning for Sparse-Reward Search in Commutative Algebra
California Institute of Technology(加州理工学院);Temple University(天普大学);University of Kansas(堪萨斯大学);University of California, Berkeley(加州大学伯克利分校)
针对数学猜想验证中的奖励稀疏问题,提出基于约束选项的分层强化学习框架,结合等变图神经网络策略,在交换代数问题中首次应用HRL并优于经典RL和贪心搜索。
2026-06-23 cs.AI cs.LG math.AC
Unifying Causal Inference and Reinforcement Learning using Higher-Order Category Theory
Adobe Research(奥多比研究院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
利用高阶范畴理论,提出了强化学习(RL)中因果模型和预测状态表示(PSR)模型的结构发现的统一形式。具体来说,我们模型结构发现在这两种设置中使用单纯对象,逆变函子从类别的序数到任何类别。在条件独立下等价的因果模型的片段(定义为因果角)以及预测状态表示中的潜在测试的连续性(定义为预测角)都是单纯对象的角的特殊情况,由去除内部和与特定顶点相对的面而产生的子集。在这两种情况下的潜在结构发现涉及相同的基本数学问题,即通过解决交换图中的提升问题来找到单纯对象的角的扩展,并利用定义高阶对称的弱同伦。填充“内”角与“外”角的问题的解决方案导致了各种高阶范畴的概念,包括弱Kan复形和拟范畴。我们定义的抽象问题的结构发现在这两种设置中的伴随函子之间的类别的普遍因果模型或普遍的决策模型和其单纯的对象表示。
2022-09-13 cs.AI math.CT
Position-Agnostic Autonomous Navigation in Vineyards with Deep Reinforcement Learning
Politecnico di Torino(都灵理工大学)
精准农业正在迅速吸引研究,以有效地引入自动化和机器人解决方案来支持农业活动。葡萄园和果园中的机器人导航在自主监测和轻松访问作物以进行收获、喷洒和执行耗时的必要任务方面具有竞争优势。目前,自主导航算法使用昂贵的传感器,这也需要大量的计算成本的数据处理。尽管如此,葡萄园行代表了一个具有挑战性的户外场景,GPS和视觉里程计技术通常很难提供可靠的定位信息。在这项工作中,我们将Edge AI与深度强化学习相结合,提出了一种先进的轻量级解决方案,以解决葡萄园自主导航的问题,而无需利用精确的定位数据,并通过灵活的基于学习的方法克服任务定制算法。我们训练一个端到端的感觉运动代理,它直接将嘈杂的深度图像和位置不可知的机器人状态信息映射到速度命令,并引导机器人到一行的末尾,不断调整其航向以获得无碰撞的中心轨迹。我们在现实模拟葡萄园中的广泛实验证明了我们的解决方案的有效性和我们的代理的泛化能力。
2022-06-28 cs.AI cs.RO