Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning
Zhejiang University(浙江大学)
本文提出RoleJudge框架,通过多模态评估系统评估语音与角色的一致性,引入RoleChat数据集并采用多阶段训练和标准对齐强化学习,验证了多维评估框架的有效性。
2026-04-15 cs.LG
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
使强化学习(RL)代理能够利用知识库,同时从经验中学习,有望在知识密集型领域推进RL。然而,事实证明,很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法,能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率,并推广到常识游戏中看不见的对象,但我们也研究了故障模式,如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Preference VLM: Leveraging VLMs for Scalable Preference-Based Reinforcement Learning
University of California, Riverside(加州大学河滨分校);AWS AI Labs(AWS AI实验室)
本文提出 PrefVLM 框架,通过结合视觉语言模型生成初始偏好标签并筛选不确定样本进行针对性人工标注,同时利用自监督逆动力学损失微调模型,在保持性能的同时显著减少人类反馈需求,提升了基于偏好强化学习的可扩展性。
2025-02-03 cs.LG
Using Contrastive Samples for Identifying and Leveraging Possible Causal Relationships in Reinforcement Learning
TCS Research(塔塔咨询服务公司研究院);IIT Bombay(印度理工学院孟买分校)
强化学习的一个重大挑战是量化行动和长期奖励之间的复杂关系。这些影响可能会在一长串状态-动作对中显现出来,这使得它们很难精确定位。在本文中,我们提出了一种方法来链接过渡状态的显着偏差异常大的变化,在随后的奖励。这种转换被标记为可能的因果效应,并且相应的状态-动作对被添加到单独的重放缓冲器。此外,我们包括对应于从类似状态但具有不同动作的转换的\textit{contrastive}样本。在训练过程中包括这种对比经验回放(CER)显示在2D导航任务上优于基于标准值的方法。我们相信CER可以用于广泛的学习任务,包括任何非策略强化学习算法。
2022-10-28 cs.AI cs.LG
Leveraging Human Guidance for Deep Reinforcement Learning Tasks
University of Texas at Austin(德克萨斯大学奥斯汀分校)
强化学习智能体可以通过与环境交互来学习解决顺序决策任务。人类如何解决这些任务的知识可以使用模仿学习来整合,其中代理学习模仿人类演示的决策。然而,人类的指导并不局限于演示。其他类型的指导可能更适合某些任务,需要更少的人力。这项调查提供了一个高层次的概述五个最近的学习框架,主要依赖于人类的指导,而不是传统的,一步一步的行动示范。我们回顾了每个框架的动机,假设和实施。然后,我们讨论了未来可能的研究方向。
2019-09-21 cs.AI cs.LG
Leveraging Reinforcement Learning for evaluating Robustness of KNN Search Algorithms
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
在给定的数据集中为给定的查询点找到K-最近邻居的问题已经研究了好几年。在非常高维的空间中,K-最近邻搜索(KNNS)在计算高维距离的复杂性方面受到影响。由于维数灾难的问题,可靠地依靠各种近似最近邻搜索方法的结果变得相当繁琐。在本文中,我们调查了一些新的K-最近邻搜索方法,从计算的角度来解决搜索问题,近似结果的准确性和利用并行加速计算。我们试图推导出一个给定的KNNS方法的真阳性和假点之间的关系。最后,为了评估KNNS方法对对抗点的鲁棒性,我们提出了一个通用的基于强化学习的框架。
2021-02-10 cs.AI cs.LG
Leveraging Genetic Algorithms for Efficient Demonstration Generation in Real-World Reinforcement Learning Environments
Ruhr-University Bochum(波鸿鲁尔大学)
本文提出用遗传算法生成专家演示来增强强化学习,通过将演示加入DQN重放缓冲区并作为PPO热启动轨迹,在工业分拣环境中显著提升了训练收敛速度和累积奖励。
2025-07-02 cs.LG
Snapshot Reinforcement Learning: Leveraging Prior Trajectories for Efficiency
Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
针对深度强化学习样本与计算资源需求高、现有复用方法通用性差的问题,提出仅修改环境的SnapshotRL框架及基线算法S3RL,利用教师轨迹辅助训练,在MuJoCo基准上结合多种主流算法显著提升样本效率与平均回报。
2024-03-12 cs.LG
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara(加州大学圣巴巴拉分校)
近年来,完全可微刚体物理模拟器已经被开发出来,它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下,这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而,到目前为止,这些梯度被证明是非常具有挑战性的,并且被完全不使用梯度信息的算法所超越。在这项工作中,我们提出了一种新的算法,交叉熵分析策略梯度,能够利用这些梯度,以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Leveraging weights signals -- Predicting and improving generalizability in reinforcement learning
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
本文提出通过分析神经网络内部权重信号,改进PPO算法以提升强化学习代理的泛化能力。
2025-11-25 cs.AI cs.LG
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
强化学习(RL)算法有望实现机器人系统的自主技能获取。然而,在实践中,现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外,使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中,我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时,我们的系统会调整以前学习的技能,以快速学习执行新任务并将环境返回到初始状态,从而有效地执行自己的环境重置。我们的实证结果表明,将先验数据纳入机器人强化学习,使自主学习,大大提高了学习的样本效率,并使更好的推广。项目网址:https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Theoretical Corrections and the Leveraging of Reinforcement Learning to Enhance Triangle Attack
University of Connecticut(康涅狄格大学);Tufts University(塔夫茨大学);University of Minnesota(明尼苏达大学);Brandeis University(布兰迪斯大学);University of Rhode Island(罗德岛大学)
本文针对 Triangle Attack 的理论局限,提出结合强化学习的 TARL 攻击,在 ImageNet 和 CIFAR-10 上以一半查询次数达到相似或更优的攻击准确率。
2024-11-18 cs.CR cs.LG
Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning
Tsinghua University(清华大学);Meituan(美团)
针对深度强化学习智能体解释中动作匹配原则的不足,本文提出RL-in-RL框架,以奖励一致性为目标进行可解释特征发现,并在Atari 2600和Duckietown上验证了其有效性。
2023-09-04 cs.LG
How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID(里斯本高等理工学院信息技术与系统研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
这项工作解决了感知世界的问题:如何学习强化学习代理环境的多模态表示,允许在不完整的感知条件下执行任务。为了解决这个问题,我们主张在设计的表示模型的层次结构,并与一个新的多模态表示模型,MUSE。所提出的模型学习分层表示:低层次的模态特定的表示,从原始观测数据编码,和一个高层次的多模态表示,编码联合模态信息,以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型,在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究,表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后,我们评估了MUSE在文献标准的多模态场景中的性能,这些场景具有更高的数量和更复杂的模态,表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
Leveraging Error Diversity in Group Rollouts for Reinforcement Learning
Peking University(北京大学);JD.COM(京东公司);Shanghai Innovation Institute(上海创新研究院)
本文提出EDAS方法,通过利用群体回滚中的误差多样性来提升强化学习的效果,通过调整错误回滚的优势信号,鼓励模型保持多样化的推理路径,从而提高训练成功率。
2026-06-05 cs.LG
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University(多特蒙德工业大学)
离线强化学习(RL)提供了一个从离线数据中学习决策的框架,因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车(SDV)学习一种策略,这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中,可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法,该方法利用规划。然而,目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划(UMBRELLA)方法,该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Leveraging Knowledge Distillation for Efficient Deep Reinforcement Learning in Resource-Constrained Environments
The Hong Kong Polytechnic University(香港理工大学)
本文通过知识蒸馏优化多种深度强化学习算法,建立评估基准,以降低计算资源需求、提升学习与决策速度,推动资源受限环境下高效智能决策系统的发展。
2023-10-16 cs.AI cs.LG
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出首个有效安全防护方法,用于解析梯度强化学习,通过改进映射和梯度公式,结合先进算法和可微仿真,验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Explore-Go: Leveraging Exploration for Generalisation in Deep Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习智能体对新场景的泛化难题,本文解释了探索助力泛化的直觉,提出扩大起始状态分布的Explore-Go方法,可适配多数主流强化学习算法,实验验证其在说明性环境和Procgen基准上能提升泛化性能。
2024-09-18 cs.AI cs.LG
Contrastive Initial State Buffer for Reinforcement Learning
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Robotics and Perception Group(机器人与感知组)
本文提出对比初始状态缓冲区方法,通过复用过去经验中的状态初始化智能体以提升探索效率,并在四足机器人和无人机任务中验证其能提高性能并加速收敛。
2024-02-26 cs.LG
Bidirectional Soft Actor-Critic: Leveraging Forward and Reverse KL Divergence for Efficient Reinforcement Learning
Tsinghua University(清华大学)
本文针对SAC中反向KL散度导致策略投影难以处理的问题,提出双向SAC算法,先利用前向KL散度获得显式高斯策略投影进行初始化,再优化反向KL散度精炼策略,在连续控制任务中实现奖励最高提升30%并改善样本效率。
2025-06-02 cs.AI cs.LG
Beyond CVaR: Leveraging Static Spectral Risk Measures for Enhanced Decision-Making in Distributional Reinforcement Learning
Department of Mathematics and Statistics, York University, Toronto, Canada(数学与统计学系,约克大学,多伦多,加拿大)
本文提出了一种具有收敛保证的DRL算法,优化更广泛的静态谱风险度量,提升决策质量并优于现有方法。
2025-05-16 cs.LG stat.ML
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa(瑞士联邦材料科学与技术研究所);EPFL(洛桑联邦理工学院)
提出修改连续actor-critic框架以利用专家简单规则避开次优区域,显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
A Curriculum Learning Approach to Reinforcement Learning: Leveraging RAG for Multimodal Question Answering
Meituan(美团)
本文提出了一种结合课程学习与强化学习的方法,用于多模态问答任务,通过检索增强生成系统在挑战中取得优异成绩。
2026-01-14 cs.AI cs.LG
Domain-Independent Optimistic Initialization for Reinforcement Learning
Reinforcement Learning and Artificial Intelligence Laboratory(强化学习与人工智能实验室);University of Alberta(阿尔伯塔大学)
在强化学习(RL)中,通常使用价值函数的乐观初始化来鼓励探索。然而,这种方法通常取决于域,即,奖励的规模必须是已知的,并且特征表示必须具有恒定的范数。我们提出了一个简单的方法,执行乐观的初始化,较少依赖于域。
2014-10-16 cs.AI cs.LG
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism
UC Santa Barbara(加州大学圣巴巴拉分校);Princeton(普林斯顿大学)
离线强化学习试图利用离线/历史数据来优化顺序决策策略,在最近的研究中获得了巨大的优势。由于适当的函数逼近器可以帮助减轻现代强化学习问题中的样本复杂性负担的优势,现有的努力通常会强制使用强大的函数表示模型(例如,神经网络)来学习最佳策略。然而,精确理解函数表示的统计极限仍然是难以捉摸的,即使这样的表示是线性的。为了实现这一目标,我们研究了线性模型表示的离线强化学习的统计限制。为了得到紧的离线学习界,我们设计了方差感知的悲观值迭代(VAPVI),它采用时间非齐次的情节线性马尔可夫决策过程(MDP)的价值函数的条件方差信息. VAPVI利用价值函数的估计方差,在最小二乘悲观值迭代中对Bellman残差进行重新加权,并在最知名的现有结果上提供改进的离线学习边界(而Bellman残差通过设计进行了同等加权)。更重要的是,我们的学习边界表示的系统数量,这提供了自然的实例依赖的特征,以前的结果是缺乏。我们希望我们的结果能更清楚地描绘出当提供线性表示时离线学习应该是什么样子。
2022-03-11 cs.AI cs.LG stat.ML
Leveraging Grammar and Reinforcement Learning for Neural Program Synthesis
University of Oxford(牛津大学);Microsoft Research(微软研究院);Google(谷歌);Deepmind(深度思维)
程序合成是自动生成符合规范的程序的任务。近年来,已经看到了许多用于程序合成的神经方法的提议,其中许多采用类似于神经机器翻译的序列生成范例,其中序列到序列模型被训练以最大化已知参考程序的可能性。虽然取得了令人印象深刻的成果,但这一战略有两个关键的局限性。首先,它忽略了程序别名:许多不同的程序可能满足给定的规范(特别是不完整的规范,如一些输入输出示例)。通过最大化只有一个参考程序的可能性,它惩罚了许多语义正确的程序,这可能会对合成器的性能产生不利影响。其次,这种策略忽略了这样一个事实,即程序有一个严格的语法,可以有效地检查。为了解决第一个限制,我们在监督模型之上执行强化学习,其目标是显式地最大化生成语义正确程序的可能性。为了解决第二个限制,我们引入了一个训练过程,直接最大限度地提高生成语法正确的程序,满足规范的概率。我们表明,我们的贡献导致模型的精度提高,特别是在训练数据有限的情况下。
2018-05-22 cs.LG stat.ML
Leveraging human knowledge in tabular reinforcement learning: A study of human subjects
Weizmann Institute of Science(魏茨曼科学研究所);Bar-Ilan University(巴伊兰大学);Washington State University(华盛顿州立大学)
强化学习(RL)在解决复杂的现实问题方面非常有效。然而,将人类知识注入RL代理可能需要人类设计师的大量努力和专业知识。到目前为止,人的因素一般不考虑在开发和评估可能的RL方法。在这篇文章中,我们着手研究如何注入人类知识的不同方法,在实践中,不同层次的知识和技能的人类设计师。我们进行了第一次经验评估的几种方法,包括一个新提出的方法命名为SASS,这是基于代理的状态-动作空间的相似性的概念。通过这项由51名人类参与者组成的人类研究,我们对在RL中发挥关键作用的人为因素有了新的认识。我们发现,经典的奖励塑造技术似乎是最自然的方法,大多数设计师,专家和非专家,以加快RL。然而,我们进一步发现,我们提出的方法SASS可以有效地和高效地结合奖励塑造,并提供了一个有益的替代方案,只使用一个单一的加速方法与最小的人类设计师的努力开销。
2018-05-15 cs.AI cs.LG
Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
University of Southern California(南加州大学)
该研究提出新型动态协同优化编译器DCOC,通过含三个专用演员-评论家智能体的自适应MARL框架实现软硬件协同优化,缩减搜索空间,在多种DNN模型上吞吐量最高提升37.95%、优化时间最多缩短42.2%,优于现有前沿框架。
2025-02-21 cs.AI cs.AR cs.LG
Tailored Primitive Initialization is the Secret Key to Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
针对强化学习提升大语言模型推理能力时存在的采样效率低、初始化依赖强的问题,提出Tailor微调流水线生成高质量多样推理原语完成初始化,有效提升RL训练效率与下游性能。
2025-11-16 cs.LG
ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation
Stanford University(斯坦福大学);Nvidia(英伟达公司);Robotics at Google(谷歌机器人部门)
许多强化学习(RL)方法使用联合控制信号(位置、速度、扭矩)作为连续控制任务的动作空间。我们建议将动作空间提升到一个更高的水平,以运动生成器(运动规划器和轨迹执行器的组合)的子目标的形式。我们认为,通过提升动作空间和利用基于采样的运动规划器,我们可以有效地使用RL来解决复杂的,长时间的任务,这些任务在原始动作空间中无法用现有的RL方法解决。我们提出了ReLMoGen -一个框架,它结合了学习的策略来预测子目标和运动生成器来计划和执行达到这些子目标所需的运动。为了验证我们的方法,我们将ReLMoGen应用于两种类型的任务:1)交互式导航任务,需要与环境交互才能到达目的地的导航问题,以及2)移动操作任务,需要移动机器人底座的操作任务。这些问题是具有挑战性的,因为它们通常是长期的,难以在培训期间探索,并包括导航和交互的交替阶段。我们的方法是基准上的一组不同的七个机器人任务在照片般逼真的仿真环境。在所有设置中,ReLMoGen都优于最先进的强化学习和分层强化学习基线。ReLMoGen在测试时还显示出在不同运动发生器之间的出色可转移性,这表明它具有转移到真正机器人上的巨大潜力。
2021-03-26 cs.AI cs.CV cs.LG
Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning
Department of Aerospace Engineering, Seoul National University(首尔国立大学航空航天工程系);Artificial Intelligence Institute, Seoul National University(首尔国立大学人工智能研究所)
针对机器人多任务强化学习数据成本高的问题,提出 MT-Lévy,融合跨任务行为共享、莱维飞行式时间延展探索和基于成功率的自适应调节,显著提升探索与样本效率。
2025-09-29 cs.LG cs.RO
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
我们介绍了异步优势演员-评论家(A3 C)算法的混合CPU/GPU版本,该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性,并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略,可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models
University of Amsterdam(阿姆斯特丹大学)
强化学习是解决序列决策问题的一种很有前途的范式,但数据效率低和跨任务泛化能力弱是现实应用中的瓶颈。基于模型的Meta强化学习通过学习动态和利用来自先前经验的知识来解决这些问题。在本文中,我们仔细研究了这个框架,并提出了一个新的基于爱普生采样的方法,该方法包括一个新的模型来识别任务动态以及摊销策略优化步骤。我们表明,我们的模型,称为图结构的代理模型(GSSM),优于国家的最先进的方法在预测环境动态。此外,我们的方法是能够获得高回报,同时允许在部署过程中快速执行,避免测试时间策略梯度优化。
2021-02-16 cs.LG
Leveraging Communication Topologies Between Learning Agents in Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);MILA/Université de Montréal(蒙特利尔学习算法研究所/蒙特利尔大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Oxford Internet Institute, University of Oxford(牛津大学互联网研究所)
在深度强化学习(DRL)和许多其他机器学习算法中,提高学习性能的一种常见技术是并行运行多个学习代理。在这些算法的发展中,一个被忽视的组成部分是如何最好地安排学习代理,以提高分布式搜索。在这里,我们借鉴了网络优化文献的结果表明,在通信网络中安排学习代理而不是完全连接的拓扑结构(代理通常安排的隐式方式)可以提高学习。我们探讨了四个流行的图形家族的相对性能,并观察到这样一个家族(Erdos-Renyi随机图)在几个DRL基准任务中的经验优于事实上的全连接通信拓扑。此外,我们观察到,1000学习代理安排在一个Erdos-Renyi图可以执行以及3000代理安排在标准的全连接拓扑结构,显示大的学习改进时,仔细设计的拓扑结构,代理通信。我们补充这些经验的结果与理论研究,为什么我们的替代拓扑结构表现更好。总的来说,我们的工作表明,分布式机器学习算法可以更有效,如果学习代理之间的通信拓扑结构进行了优化。
2020-03-11 cs.LG stat.ML
Leveraging Reinforcement Learning in Red Teaming for Advanced Ransomware Attack Simulations
Deloitte & Touche LLP(德勤华永会计师事务所(特殊普通合伙));National Security Institute, Virginia Tech(弗吉尼亚理工大学国家安全研究所)
本文提出利用强化学习在模拟网络环境中训练智能体以模拟勒索软件攻击,快速学习攻击策略并简化人工渗透测试,实验证明其能有效发现高价值目标攻击路径并规避蜜标文件,为防御团队提供安全洞察。
2024-06-25 cs.AI cs.CR cs.LG
Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan(密歇根大学);Michigan Medicine(密歇根医学中心);Harvard University(哈佛大学)
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题,提出因子化动作空间诱导的线性Q函数分解法,兼具理论保证与样本效率,可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz(康斯坦茨大学)
针对深度强化学习智能体违反安全约束的问题,提出一种利用安全评论器的反例引导修复算法,通过梯度约束优化联合修复智能体与评论器,消除不安全行为。
2024-05-24 cs.LG cs.LO
Leveraging Reinforcement Learning Techniques for Effective Policy Adoption and Validation
University of California, San Diego(加州大学圣地亚哥分校);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
不同形式的奖励和惩罚无处不在,并出现在各种各样的决策场景中。通过观察足够数量的重复试验的结果,人们将逐渐了解特定政策或战略的价值和有用性。然而,在特定的环境中,不同的试验结果会受到偶然性的影响和变化。在学习一个给定的政策的有用性,显着的成本涉及系统地进行顺序试验,因此,在大多数学习事件,人们希望保持成本范围内采用学习停止规则。在本文中,我们研究了部署不同的停止策略在给定的学习环境中,从高度严格的关键任务操作高度宽容的非关键任务操作,并重点放在前者与航空安全的特殊应用。在政策评估中,确定了两个连续的学习阶段,我们使用概率模型来描述结果的变化,并获得了关键性能指标的封闭式表达式。决策规则映射的试验观察政策选择也制定。最后进行了仿真实验,验证了理论分析的正确性.
2019-06-21 cs.AI cs.LG
Quasi-Monte Carlo Initialization for Meta-Reinforcement Learning
Regis University(里吉斯大学)
研究元强化学习中拟蒙特卡罗权重初始化的有效性,通过多种采样方法聚合最优先验,与现代正交默认值对比,发现其在连续控制环境训练收敛上有改进,不同任务中正交方向无偏搜索更优。
2026-07-27 cs.LG math.OC
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)(电子和电信研究院(ETRI))
本文针对深度强化学习中的探索问题,发现低初始熵导致学习失败,提出熵感知模型初始化策略,有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
ToSCA: Leveraging Hierarchical Reinforcement Learning on Temporal and Strategic Abstractions of Conversational Agents
Geely AI Lab(吉利AI实验室);Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
该研究受人类多层时间抽象启发,提出ToSCA框架,采用两级分层强化学习结合双粒度奖励机制,在两类对话任务中性能优于基线方法。
2026-09-03 cs.CL cs.HC cs.LG
Leveraging Fully Observable Policies for Learning under Partial Observability
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学)
部分可观测域中的强化学习由于缺乏可观测的状态信息而具有挑战性。值得庆幸的是,在模拟器中离线学习这些状态信息通常是可能的。特别是,我们提出了一种部分可观察的强化学习方法,该方法在离线训练期间使用完全可观察的策略(我们称之为状态专家)来提高在线性能。基于软Actor-Critic(SAC),我们的代理平衡执行类似于状态专家的行动,并在部分可观测性下获得高回报。我们的方法可以利用完全可观察的策略进行探索,并且部分领域是完全可观察的,同时仍然能够在部分可观察性下学习。在六个机器人领域,我们的方法优于纯模仿,纯强化学习,这两种类型的顺序或并行组合,以及最近的国家的最先进的方法在相同的设置。一个成功的政策转移到一个物理机器人在操作任务从像素显示我们的方法的实用性,在学习感兴趣的政策下的部分可观测性。
2022-11-10 cs.LG cs.RO
Leveraging human Domain Knowledge to model an empirical Reward function for a Reinforcement Learning problem
Persistent Systems Ltd.(持久系统公司)
传统的强化学习(RL)问题依赖于一个详尽的仿真环境,该环境对问题的真实物理进行建模,并通过观察该环境来训练RL代理。在本文中,我们提出了一种新的方法来创建一个环境,通过建模的奖励功能的基础上提取的经验规则,从人类领域的知识系统的研究。利用这个经验奖励函数,我们将建立一个环境和训练代理。我们将首先创建一个环境,模拟通过恒温器设置机舱温度的效果。这通常在RL问题中通过创建具有详细热力学研究的系统的详尽模型来完成。相反,我们提出了一个经验的方法来模拟奖励功能的基础上人类领域的知识。我们将记录一些我们通常在设置恒温器温度时使用的经验法则,并尝试将其建模为我们的奖励函数。将经验人类领域规则建模为RL的奖励函数是本文的独特之处。这是一个连续的行动空间问题,使用深度确定性策略梯度(DDPG)方法,我们将解决最大化的奖励函数。我们将创建一个策略网络,该网络在给定外部温度和湿度的情况下预测最佳温度设定值。
2019-09-16 cs.AI cs.LG cs.SY
Meta-Reinforcement Learning via Exploratory Task Clustering
University of Virginia(弗吉尼亚大学)
Meta-强化学习(meta-RL)旨在通过利用先前任务的知识来快速解决新任务。然而,以往的研究往往假设一个单一的模式均匀的任务分布,忽略了可能的结构异质性任务之间。利用这种结构可以更好地促进相关任务之间的知识共享,从而提高样本效率。在本文中,我们通过聚类来探索任务之间的结构化异构性,以改善元RL。我们开发了一个专门的探索性政策,发现任务结构,通过分而治之。所识别的聚类的知识有助于缩小任务特定信息的搜索空间,从而导致更样本有效的策略自适应。在各种MuJoCo任务上的实验表明,该方法可以在奖励和状态动态中有效地解开集群结构,证明了对一组最先进的基线的强大优势。
2023-02-15 cs.AI cs.LG cs.RO
Potential-Based Shaping and Q-Value Initialization are Equivalent
University of California, San Diego(加利福尼亚大学圣迭戈分校)
整形已被证明是一种强大但不稳定的提高强化学习性能的方法。Ng,Harada和Russell(1999)提出了基于潜力的整形算法,以保证学习者学习最佳行为的方式添加整形奖励。在本说明中,我们证明了这种成形算法和几种强化学习算法所需的初始化步骤之间的某些相似性。更具体地说,我们证明了一个强化学习器的初始Q值的基础上的成形算法的潜在功能,使相同的更新整个学习作为一个学习器接收潜在的成形奖励。我们进一步证明,在一个广泛的类别的政策,这两个学习者的行为是不可区分的。比较提供了直观的成形算法的理论特性,以及一个更简单的方法捕获算法的好处的建议。此外,等价性提出了以前未解决的问题,关于学习的效率与潜力为基础的塑造。
2011-06-26 cs.LG
Leveraging Constraint Violation Signals For Action-Constrained Reinforcement Learning
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出利用约束违反信号构造可行动作目标分布并训练 normalizing flows,将其集成到深度 RL 中,显著减少约束违反并保持更优控制性能。
2025-02-08 cs.AI cs.LG
Data Driven Reward Initialization for Preference based Reinforcement Learning
SCAI, Arizona State University(亚利桑那州立大学SCAI)
基于偏好的强化学习(PbRL)方法利用来自回路中的人类(HiL)对查询轨迹对的二进制反馈来学习奖励模型,以尝试近似人类的底层奖励函数来捕获他们的偏好。在这项工作中,我们调查的初始化奖励模型是敏感的随机种子的实验中的高度可变性的问题。这进一步加剧了PbRL方法已经遭受的退化奖励函数的问题。我们提出一个数据-驱动的奖励初始化方法,该方法不向回路中的人增加任何额外的成本,并且不向PbRL代理增加可忽略的成本,并且表明这样做确保了初始化的奖励模型的预测奖励在状态空间中是均匀的,并且这减少了该方法在多次运行中的性能的可变性,并且与其他初始化方法相比,显示出提高了整体性能。
2023-02-17 cs.AI cs.LG
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto(多伦多大学);Tsinghua University(清华大学)
本文提出残差奖励模型(RRM),将环境真实奖励拆分为先验奖励与学习奖励之和,可提升机器人领域基于偏好的强化学习的样本效率,在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Leveraging Deep Reinforcement Learning for Metacognitive Interventions across Intelligent Tutoring Systems
North Carolina State University(北卡罗来纳州立大学)
本文通过两项课堂实验比较静态分类干预与DRL自适应元认知干预,发现DRL能缩小学生元认知差距,并促进其在后续无干预辅导系统中的迁移学习。
2023-04-17 cs.AI cs.CY cs.HC
Leveraging Sub-Optimal Data for Human-in-the-Loop Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
本文提出次优数据预训练方法SDP,通过用环境最小奖励伪标记低质量数据来预训练奖励模型,从而减少人在回路强化学习对人类交互的需求,并在多种模拟机器人任务上显著提升性能。
2025-04-07 cs.AI cs.LG cs.RO
TransfQMix: Transformers for Leveraging the Graph Structure of Multi-Agent Reinforcement Learning Problems
协调是多智能体强化学习(MARL)中最困难的方面之一。一个原因是,代理通常选择他们的行动彼此独立。为了看到从独立的政策的组合出现的协调策略,最近的研究集中在使用一个集中的功能(CF),学习每个代理的贡献,团队奖励。然而,环境呈现给代理和CF的结构通常被忽视。我们已经观察到,用于描述协调问题的特征可以表示为潜在图结构的顶点特征。在这里,我们提出了TransfQMix,一种新的方法,使用Transformers来利用这种潜在的结构,并学习更好的协调策略。我们的Transformer代理对可观察实体的状态执行图形推理。我们的Transformer Q-mixer从一个更大的图中学习单调混合函数,该图包括代理的内部和外部状态。TransfQMix被设计为完全可转移的,这意味着相同的参数可以用于控制和训练更大或更小的代理团队。这使得部署有前途的方法,以节省培训时间,并在MARL中获得一般政策,如迁移学习,zero-shot迁移,和课程学习。我们报告TransfQMix在Spread和StarCraft II环境中的表现。在这两种情况下,它都优于最先进的Q-Learning模型,并且在解决其他方法无法解决的问题方面表现出了有效性。
2023-01-13 cs.AI cs.LG cs.MA
Leveraging Reinforcement Learning, Genetic Algorithms and Transformers for background determination in particle physics
Physik-Institut, Universität Zürich(苏黎世大学物理研究所);Imperial College London(帝国理工学院伦敦校区);H.H. Wills Physics Laboratory, University of Bristol(布里斯托大学H.H.威尔斯物理实验室);University of Bristol(布里斯托大学)
本文提出利用强化学习、遗传算法和变换器解决粒子物理中背景确定问题,通过系统方法提升衰变测量精度。
2025-11-20 cs.LG hep-ex
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Nanyang Technological University(南洋理工大学)
Meta强化学习(MRL)使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中,我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习(MAML),并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络(GAN)。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG