Leveraging Reinforcement Learning for evaluating Robustness of KNN Search Algorithms
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
在给定的数据集中为给定的查询点找到K-最近邻居的问题已经研究了好几年。在非常高维的空间中,K-最近邻搜索(KNNS)在计算高维距离的复杂性方面受到影响。由于维数灾难的问题,可靠地依靠各种近似最近邻搜索方法的结果变得相当繁琐。在本文中,我们调查了一些新的K-最近邻搜索方法,从计算的角度来解决搜索问题,近似结果的准确性和利用并行加速计算。我们试图推导出一个给定的KNNS方法的真阳性和假点之间的关系。最后,为了评估KNNS方法对对抗点的鲁棒性,我们提出了一个通用的基于强化学习的框架。
2021-02-10 cs.AI cs.LG
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara(加州大学圣巴巴拉分校)
近年来,完全可微刚体物理模拟器已经被开发出来,它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下,这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而,到目前为止,这些梯度被证明是非常具有挑战性的,并且被完全不使用梯度信息的算法所超越。在这项工作中,我们提出了一种新的算法,交叉熵分析策略梯度,能够利用这些梯度,以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Leveraging weights signals -- Predicting and improving generalizability in reinforcement learning
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
本文提出通过分析神经网络内部权重信号,改进PPO算法以提升强化学习代理的泛化能力。
2025-11-25 cs.AI cs.LG
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
强化学习(RL)算法有望实现机器人系统的自主技能获取。然而,在实践中,现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外,使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中,我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时,我们的系统会调整以前学习的技能,以快速学习执行新任务并将环境返回到初始状态,从而有效地执行自己的环境重置。我们的实证结果表明,将先验数据纳入机器人强化学习,使自主学习,大大提高了学习的样本效率,并使更好的推广。项目网址:https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation
Stanford University(斯坦福大学);Nvidia(英伟达公司);Robotics at Google(谷歌机器人部门)
许多强化学习(RL)方法使用联合控制信号(位置、速度、扭矩)作为连续控制任务的动作空间。我们建议将动作空间提升到一个更高的水平,以运动生成器(运动规划器和轨迹执行器的组合)的子目标的形式。我们认为,通过提升动作空间和利用基于采样的运动规划器,我们可以有效地使用RL来解决复杂的,长时间的任务,这些任务在原始动作空间中无法用现有的RL方法解决。我们提出了ReLMoGen -一个框架,它结合了学习的策略来预测子目标和运动生成器来计划和执行达到这些子目标所需的运动。为了验证我们的方法,我们将ReLMoGen应用于两种类型的任务:1)交互式导航任务,需要与环境交互才能到达目的地的导航问题,以及2)移动操作任务,需要移动机器人底座的操作任务。这些问题是具有挑战性的,因为它们通常是长期的,难以在培训期间探索,并包括导航和交互的交替阶段。我们的方法是基准上的一组不同的七个机器人任务在照片般逼真的仿真环境。在所有设置中,ReLMoGen都优于最先进的强化学习和分层强化学习基线。ReLMoGen在测试时还显示出在不同运动发生器之间的出色可转移性,这表明它具有转移到真正机器人上的巨大潜力。
2021-03-26 cs.AI cs.CV cs.LG
How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID(里斯本高等理工学院信息技术与系统研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
这项工作解决了感知世界的问题:如何学习强化学习代理环境的多模态表示,允许在不完整的感知条件下执行任务。为了解决这个问题,我们主张在设计的表示模型的层次结构,并与一个新的多模态表示模型,MUSE。所提出的模型学习分层表示:低层次的模态特定的表示,从原始观测数据编码,和一个高层次的多模态表示,编码联合模态信息,以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型,在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究,表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后,我们评估了MUSE在文献标准的多模态场景中的性能,这些场景具有更高的数量和更复杂的模态,表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
A Model-Based Approach for Improving Reinforcement Learning Efficiency Leveraging Expert Observations
Boston University(波士顿大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出一种基于模型的方法,通过结合最大熵强化学习与行为克隆损失,并自动调整权重,利用专家观测提升深度强化学习的样本效率,实验验证其优于多种基准。
2024-02-29 cs.LG
Meta-Reinforcement Learning via Exploratory Task Clustering
University of Virginia(弗吉尼亚大学)
Meta-强化学习(meta-RL)旨在通过利用先前任务的知识来快速解决新任务。然而,以往的研究往往假设一个单一的模式均匀的任务分布,忽略了可能的结构异质性任务之间。利用这种结构可以更好地促进相关任务之间的知识共享,从而提高样本效率。在本文中,我们通过聚类来探索任务之间的结构化异构性,以改善元RL。我们开发了一个专门的探索性政策,发现任务结构,通过分而治之。所识别的聚类的知识有助于缩小任务特定信息的搜索空间,从而导致更样本有效的策略自适应。在各种MuJoCo任务上的实验表明,该方法可以在奖励和状态动态中有效地解开集群结构,证明了对一组最先进的基线的强大优势。
2023-02-15 cs.AI cs.LG cs.RO
Leveraging Procedural Generation to Benchmark Reinforcement Learning
OpenAI
我们介绍了Procgen Benchmark,这是一套由16个程序生成的类似游戏的环境,旨在对强化学习中的样本效率和泛化进行基准测试。我们相信,社区将受益于更多的高质量的培训环境,我们提供了使用此基准的详细实验协议。我们的经验表明,不同的环境分布是必不可少的充分训练和评估RL代理,从而激励广泛使用的程序内容生成。然后,我们使用这个基准来研究缩放模型大小的影响,发现较大的模型显着提高样本效率和泛化。
2020-07-26 cs.LG stat.ML
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto(多伦多大学);Tsinghua University(清华大学)
本文提出残差奖励模型(RRM),将环境真实奖励拆分为先验奖励与学习奖励之和,可提升机器人领域基于偏好的强化学习的样本效率,在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Leveraging Knowledge Distillation for Efficient Deep Reinforcement Learning in Resource-Constrained Environments
The Hong Kong Polytechnic University(香港理工大学)
本文通过知识蒸馏优化多种深度强化学习算法,建立评估基准,以降低计算资源需求、提升学习与决策速度,推动资源受限环境下高效智能决策系统的发展。
2023-10-16 cs.AI cs.LG
LaMOuR: Leveraging Language Models for Out-of-Distribution Recovery in Reinforcement Learning
Seoul National University(首尔大学)
LaMOuR利用语言模型生成密集奖励代码,引导智能体从分布外状态恢复,无需不确定性估计,在多种运动任务及复杂环境中显著提升恢复效率。
2025-03-28 cs.AI cs.RO
Explore-Go: Leveraging Exploration for Generalisation in Deep Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习智能体对新场景的泛化难题,本文解释了探索助力泛化的直觉,提出扩大起始状态分布的Explore-Go方法,可适配多数主流强化学习算法,实验验证其在说明性环境和Procgen基准上能提升泛化性能。
2024-09-18 cs.AI cs.LG
Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
本文提出利用顺序性偏置,通过单次演示学习目标条件策略,并设计DCIL-II算法解决连续目标兼容性问题,以高样本效率完成人形机器人行走、站立及Cassie快速奔跑等复杂任务。
2023-04-17 cs.AI cs.RO
Bidirectional Soft Actor-Critic: Leveraging Forward and Reverse KL Divergence for Efficient Reinforcement Learning
Tsinghua University(清华大学)
本文针对SAC中反向KL散度导致策略投影难以处理的问题,提出双向SAC算法,先利用前向KL散度获得显式高斯策略投影进行初始化,再优化反向KL散度精炼策略,在连续控制任务中实现奖励最高提升30%并改善样本效率。
2025-06-02 cs.AI cs.LG
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa(瑞士联邦材料科学与技术研究所);EPFL(洛桑联邦理工学院)
提出修改连续actor-critic框架以利用专家简单规则避开次优区域,显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
A Curriculum Learning Approach to Reinforcement Learning: Leveraging RAG for Multimodal Question Answering
Meituan(美团)
本文提出了一种结合课程学习与强化学习的方法,用于多模态问答任务,通过检索增强生成系统在挑战中取得优异成绩。
2026-01-14 cs.AI cs.LG
Sample-Efficient Reinforcement Learning with Temporal Logic Objectives: Leveraging the Task Specification to Guide Exploration
Washington University in St. Louis(圣路易斯华盛顿大学)
本文针对LTL任务下未知MDP的样本效率问题,提出一种任务驱动探索的加速强化学习算法,显著提升学习速度,并通过理论与实验验证其优势随任务复杂度和MDP规模增大而增强。
2024-10-16 cs.AI cs.RO
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism
UC Santa Barbara(加州大学圣巴巴拉分校);Princeton(普林斯顿大学)
离线强化学习试图利用离线/历史数据来优化顺序决策策略,在最近的研究中获得了巨大的优势。由于适当的函数逼近器可以帮助减轻现代强化学习问题中的样本复杂性负担的优势,现有的努力通常会强制使用强大的函数表示模型(例如,神经网络)来学习最佳策略。然而,精确理解函数表示的统计极限仍然是难以捉摸的,即使这样的表示是线性的。为了实现这一目标,我们研究了线性模型表示的离线强化学习的统计限制。为了得到紧的离线学习界,我们设计了方差感知的悲观值迭代(VAPVI),它采用时间非齐次的情节线性马尔可夫决策过程(MDP)的价值函数的条件方差信息. VAPVI利用价值函数的估计方差,在最小二乘悲观值迭代中对Bellman残差进行重新加权,并在最知名的现有结果上提供改进的离线学习边界(而Bellman残差通过设计进行了同等加权)。更重要的是,我们的学习边界表示的系统数量,这提供了自然的实例依赖的特征,以前的结果是缺乏。我们希望我们的结果能更清楚地描绘出当提供线性表示时离线学习应该是什么样子。
2022-03-11 cs.AI cs.LG stat.ML
Leveraging Approximate Symbolic Models for Reinforcement Learning via Skill Diversity
Arizona State University(亚利桑那州立大学)
创建能够接受和利用人类特定任务知识的强化学习(RL)代理一直被认为是开发解决长期问题的可扩展方法的可能策略。虽然以前的作品已经研究了使用符号模型和RL方法的可能性,但他们倾向于假设高级动作模型在低级可执行,并且流畅性可以专门描述所有理想的MDP状态。然而,现实世界任务的符号模型往往是不完整的。为此,我们引入近似符号模型引导的强化学习,其中我们将形式化符号模型和底层MDP之间的关系,这将使我们能够表征符号模型的不完整性。我们将使用这些模型来提取用于分解任务的高级地标。在低层次上,我们为每个可能的任务子目标学习一组不同的策略,然后将它们缝合在一起。我们评估我们的系统通过测试三个不同的基准域,并显示如何即使不完整的符号模型信息,我们的方法是能够发现的任务结构,并有效地引导RL代理的目标。
2022-06-17 cs.AI
Leveraging Event Streams with Deep Reinforcement Learning for End-to-End UAV Tracking
IMT Atlantique(IMT大西洋理工大学);Polytechnic School of Tunisia (EPT)(突尼斯理工学院(EPT))
本文提出一种基于事件相机和端到端深度强化学习的无人机主动跟踪方法,直接将事件流映射为控制动作,并通过域随机化仿真训练,在快速目标与变化光照等挑战场景中验证了其有效性和泛化能力。
2024-10-03 cs.AI cs.NE cs.RO
Leveraging human knowledge in tabular reinforcement learning: A study of human subjects
Weizmann Institute of Science(魏茨曼科学研究所);Bar-Ilan University(巴伊兰大学);Washington State University(华盛顿州立大学)
强化学习(RL)在解决复杂的现实问题方面非常有效。然而,将人类知识注入RL代理可能需要人类设计师的大量努力和专业知识。到目前为止,人的因素一般不考虑在开发和评估可能的RL方法。在这篇文章中,我们着手研究如何注入人类知识的不同方法,在实践中,不同层次的知识和技能的人类设计师。我们进行了第一次经验评估的几种方法,包括一个新提出的方法命名为SASS,这是基于代理的状态-动作空间的相似性的概念。通过这项由51名人类参与者组成的人类研究,我们对在RL中发挥关键作用的人为因素有了新的认识。我们发现,经典的奖励塑造技术似乎是最自然的方法,大多数设计师,专家和非专家,以加快RL。然而,我们进一步发现,我们提出的方法SASS可以有效地和高效地结合奖励塑造,并提供了一个有益的替代方案,只使用一个单一的加速方法与最小的人类设计师的努力开销。
2018-05-15 cs.AI cs.LG
Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
University of Southern California(南加州大学)
该研究提出新型动态协同优化编译器DCOC,通过含三个专用演员-评论家智能体的自适应MARL框架实现软硬件协同优化,缩减搜索空间,在多种DNN模型上吞吐量最高提升37.95%、优化时间最多缩短42.2%,优于现有前沿框架。
2025-02-21 cs.AI cs.AR cs.LG
SDRL: Interpretable and Data-efficient Deep Reinforcement Learning Leveraging Symbolic Planning
Auburn University(奥本大学);NVIDIA Corporation(英伟达公司);Maana Inc.(Maana公司)
深度强化学习(DRL)通过直接从高维感官输入中学习而获得了巨大的成功,但因缺乏可解释性而臭名昭著。子任务的可解释性在分层决策中至关重要,因为它增加了黑盒式DRL方法的透明度,并帮助RL从业者更好地理解系统的高层行为。在本文中,我们将符号规划引入DRL,并提出了一个符号深度强化学习(SDRL)框架,可以处理高维感官输入和符号规划。该框架采用规划器-控制器-元控制器结构,分别负责子任务调度、数据驱动子任务学习和子任务评估。这三个组成部分相互交叉,并最终收敛到最佳的符号计划以及学习的子任务,将长期规划能力与符号知识和直接来自高维感官输入的端到端强化学习的优势结合在一起。实验结果验证了子任务的可解释性,同时与最先进的方法相比,提高了数据效率。
2019-02-28 cs.AI
Leveraging LLMs for reward function design in reinforcement learning control tasks
LEARN-Opt通过自主设计奖励函数,无需人工干预或环境代码,提升强化学习任务的效率和泛化能力。
2025-11-24 cs.AI cs.LG cs.RO
Multiplicative Controller Fusion: Leveraging Algorithmic Priors for Sample-efficient Reinforcement Learning and Safe Sim-To-Real Transfer
Australian Centre for Robotic Vision at Queensland University of Technology (QUT)(昆士兰科技大学澳大利亚机器人视觉中心)
对于机器人中的许多问题,基于学习的方法通常优于手工编码的算法解决方案。然而,在真实的机器人硬件上学习长时间任务可能是棘手的,并且将学习的策略从模拟转移到现实仍然具有极大的挑战性。我们提出了一种新颖的无模型强化学习方法,可以在训练和部署期间利用现有的次优解决方案作为算法先验。在训练过程中,我们的门控融合方法使先验知识能够指导探索的初始阶段,提高样本效率,并能够从稀疏的长视野奖励信号中学习。重要的是,由于先验的影响是逐渐退火的,因此该策略可以学习改进次优先验的性能。在部署过程中,策略的不确定性提供了一个可靠的策略,通过在不确定的状态下返回到先前的控制器,将模拟训练的策略转移到现实世界中。我们展示了我们的乘法控制器融合方法在机器人导航任务上的有效性,并展示了从模拟到现实世界的安全转移,而无需任何微调。该项目的代码可在https://sites.google.com/view/mcf-nav/home上公开获取
2020-07-27 cs.AI cs.RO
Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning
Department of Aerospace Engineering, Seoul National University(首尔国立大学航空航天工程系);Artificial Intelligence Institute, Seoul National University(首尔国立大学人工智能研究所)
针对机器人多任务强化学习数据成本高的问题,提出 MT-Lévy,融合跨任务行为共享、莱维飞行式时间延展探索和基于成功率的自适应调节,显著提升探索与样本效率。
2025-09-29 cs.LG cs.RO
Leveraging Prior Knowledge in Reinforcement Learning via Double-Sided Bounds on the Value Function
University of Massachusetts Boston(马萨诸塞大学波士顿分校)
本文提出利用价值函数的任意近似推导最优价值函数的双侧界,并扩展至连续空间,从而为训练中的裁剪提供新方法,在简单领域得到验证。
2023-09-01 cs.LG
Leveraging Reinforcement Learning in Red Teaming for Advanced Ransomware Attack Simulations
Deloitte & Touche LLP(德勤华永会计师事务所(特殊普通合伙));National Security Institute, Virginia Tech(弗吉尼亚理工大学国家安全研究所)
本文提出利用强化学习在模拟网络环境中训练智能体以模拟勒索软件攻击,快速学习攻击策略并简化人工渗透测试,实验证明其能有效发现高价值目标攻击路径并规避蜜标文件,为防御团队提供安全洞察。
2024-06-25 cs.AI cs.CR cs.LG
Leveraging Jumpy Models for Planning and Fast Learning in Robotic Domains
DeepMind(深度思维)
在本文中,我们研究了学习多步动态预测模型(跳跃模型)的问题,从未标记的经验和他们的实用程序的快速推理(高级别)计划在下游任务。特别是,我们建议离线学习一个跳跃模型和一个技能嵌入空间,从以前收集的经验中,不需要标签或奖励注释。然后,我们研究了利用这些学习组件与基于模型的规划或无模型强化学习(RL)相结合的几种选择,以加快下游任务的学习。我们在RGB堆叠环境中进行了一组实验,表明使用学习的技能和相关模型进行规划可以实现对新任务的zero-shot泛化,并可以通过强化学习进一步加快策略的训练。这些实验表明,跳跃模型,结合时间抽象可以促进规划在长期任务中,标准的动态模型失败。
2023-02-24 cs.AI cs.LG cs.RO
Theoretical Corrections and the Leveraging of Reinforcement Learning to Enhance Triangle Attack
University of Connecticut(康涅狄格大学);Tufts University(塔夫茨大学);University of Minnesota(明尼苏达大学);Brandeis University(布兰迪斯大学);University of Rhode Island(罗德岛大学)
本文针对 Triangle Attack 的理论局限,提出结合强化学习的 TARL 攻击,在 ImageNet 和 CIFAR-10 上以一半查询次数达到相似或更优的攻击准确率。
2024-11-18 cs.CR cs.LG
Leveraging Knowledge and Reinforcement Learning for Enhanced Reliability of Language Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
针对语言模型可靠性被忽视的问题,提出知识引导的语言模型集成方法,用强化学习整合ConceptNet与Wikipedia的知识图谱嵌入,在9个GLUE数据集上可靠性与准确率均超现有最优水平。
2023-08-25 cs.AI cs.CL cs.IR
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University(台湾大学);MediaTek Research(联发科技研究院)
本文提出一种基于核函数近似的离线强化学习算法,有效利用低成本无标签数据,并给出理论保证与复杂度条件。
2025-05-28 cs.LG
MoDem: Accelerating Visual Model-Based Reinforcement Learning with Demonstrations
Meta AI;University of California San Diego(加利福尼亚大学圣迭戈分校)
低样本效率仍然是部署深度强化学习(RL)算法用于现实世界应用的主要挑战,特别是用于视觉运动控制。基于模型的强化学习有可能通过同时学习世界模型并使用综合部署进行规划和政策改进来实现高样本效率。然而,在实践中,基于模型的RL的样本有效学习受到探索挑战的挑战。在这项工作中,我们发现,利用少量的演示可以显着提高基于模型的RL的样本效率。然而,仅仅将演示附加到交互数据集是不够的。我们确定了在模型学习中利用演示的关键因素-策略预训练,有针对性的探索和演示数据的过采样-这构成了我们基于模型的RL框架的三个阶段。我们经验性地研究了三个复杂的视觉运动控制领域,发现我们的方法在完成稀疏奖励任务方面比以前的方法在低数据范围内(100 K交互步骤,5个演示)更成功150%-250%。代码和视频可在https://nicklashansen.github.io/modemrl上获得
2022-12-12 cs.AI cs.LG cs.RO
Enhancing Solution Efficiency in Reinforcement Learning: Leveraging Sub-GFlowNet and Entropy Integration
本文通过为子GFlowNet引入新损失函数并集成熵来改进GFlowNet,在超网格和分子合成任务中验证了其在候选多样性和计算效率上优于传统方法。
2024-10-01 cs.LG
Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan(密歇根大学);Michigan Medicine(密歇根医学中心);Harvard University(哈佛大学)
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题,提出因子化动作空间诱导的线性Q函数分解法,兼具理论保证与样本效率,可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Leveraging Reinforcement Learning Techniques for Effective Policy Adoption and Validation
University of California, San Diego(加州大学圣地亚哥分校);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
不同形式的奖励和惩罚无处不在,并出现在各种各样的决策场景中。通过观察足够数量的重复试验的结果,人们将逐渐了解特定政策或战略的价值和有用性。然而,在特定的环境中,不同的试验结果会受到偶然性的影响和变化。在学习一个给定的政策的有用性,显着的成本涉及系统地进行顺序试验,因此,在大多数学习事件,人们希望保持成本范围内采用学习停止规则。在本文中,我们研究了部署不同的停止策略在给定的学习环境中,从高度严格的关键任务操作高度宽容的非关键任务操作,并重点放在前者与航空安全的特殊应用。在政策评估中,确定了两个连续的学习阶段,我们使用概率模型来描述结果的变化,并获得了关键性能指标的封闭式表达式。决策规则映射的试验观察政策选择也制定。最后进行了仿真实验,验证了理论分析的正确性.
2019-06-21 cs.AI cs.LG
Leveraging Optimal Transport for Enhanced Offline Reinforcement Learning in Surgical Robotic Environments
Institute for Intelligent Systems Research and Innovation (IISRI)(智能系统研究与创新研究所);Deakin University(迪肯大学)
本文提出最优传输奖励(OTR)标注算法,利用少量专家演示为离线轨迹分配奖励,无需人工设计,并在手术机器人仿真平台SurRoL上验证其有效性,以加速离线强化学习部署。
2023-10-13 cs.AI cs.RO stat.ML
Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewards
Deepmind(深度思维)
我们提出了一个通用的和无模型的方法,强化学习(RL)在真正的机器人稀疏奖励。我们建立在深度确定性策略梯度(DDPG)算法使用演示。演示和实际交互都用于填充重放缓冲区,演示和转换之间的采样率通过优先级重放机制自动调整。通常,需要精心设计的成形奖励,以使智能体能够有效地探索高维控制问题,如机器人。依赖于本地求解器的基于模型的加速方法也需要它们,例如iLQG(例如,引导策略搜索和归一化优势函数)。这些演示取代了对精心设计的奖励的需求,并减少了经典RL方法在这些领域遇到的探索问题。演示是由一个机器人动觉力控制的人类演示收集。四个模拟插入任务的结果表明,DDPG从演示DDPG的表现,并不需要工程奖励。最后,我们展示了一个真正的机器人任务,包括插入一个剪辑(灵活的对象)到一个刚性的对象上的方法。
2018-10-08 cs.AI
Leveraging Fully Observable Policies for Learning under Partial Observability
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学)
部分可观测域中的强化学习由于缺乏可观测的状态信息而具有挑战性。值得庆幸的是,在模拟器中离线学习这些状态信息通常是可能的。特别是,我们提出了一种部分可观察的强化学习方法,该方法在离线训练期间使用完全可观察的策略(我们称之为状态专家)来提高在线性能。基于软Actor-Critic(SAC),我们的代理平衡执行类似于状态专家的行动,并在部分可观测性下获得高回报。我们的方法可以利用完全可观察的策略进行探索,并且部分领域是完全可观察的,同时仍然能够在部分可观察性下学习。在六个机器人领域,我们的方法优于纯模仿,纯强化学习,这两种类型的顺序或并行组合,以及最近的国家的最先进的方法在相同的设置。一个成功的政策转移到一个物理机器人在操作任务从像素显示我们的方法的实用性,在学习感兴趣的政策下的部分可观测性。
2022-11-10 cs.LG cs.RO
Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning
Zhejiang University(浙江大学)
本文提出RoleJudge框架,通过多模态评估系统评估语音与角色的一致性,引入RoleChat数据集并采用多阶段训练和标准对齐强化学习,验证了多维评估框架的有效性。
2026-04-15 cs.LG
Leveraging human Domain Knowledge to model an empirical Reward function for a Reinforcement Learning problem
Persistent Systems Ltd.(持久系统公司)
传统的强化学习(RL)问题依赖于一个详尽的仿真环境,该环境对问题的真实物理进行建模,并通过观察该环境来训练RL代理。在本文中,我们提出了一种新的方法来创建一个环境,通过建模的奖励功能的基础上提取的经验规则,从人类领域的知识系统的研究。利用这个经验奖励函数,我们将建立一个环境和训练代理。我们将首先创建一个环境,模拟通过恒温器设置机舱温度的效果。这通常在RL问题中通过创建具有详细热力学研究的系统的详尽模型来完成。相反,我们提出了一个经验的方法来模拟奖励功能的基础上人类领域的知识。我们将记录一些我们通常在设置恒温器温度时使用的经验法则,并尝试将其建模为我们的奖励函数。将经验人类领域规则建模为RL的奖励函数是本文的独特之处。这是一个连续的行动空间问题,使用深度确定性策略梯度(DDPG)方法,我们将解决最大化的奖励函数。我们将创建一个策略网络,该网络在给定外部温度和湿度的情况下预测最佳温度设定值。
2019-09-16 cs.AI cs.LG cs.SY
Leveraging Constraint Violation Signals For Action-Constrained Reinforcement Learning
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出利用约束违反信号构造可行动作目标分布并训练 normalizing flows,将其集成到深度 RL 中,显著减少约束违反并保持更优控制性能。
2025-02-08 cs.AI cs.LG
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学)
本文扩展 BabyAI 自动生成自然语言反馈,并改造 Decision Transformer 利用该信号,证明其可替代或补充回报与目标描述,提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
Where2Start: Leveraging initial States for Robust and Sample-Efficient Reinforcement Learning
提出Where2Start算法,通过选择使智能体附近状态更具不稳定性的初始状态来检索高信息量轨迹,从而显著提升强化学习的样本效率(高达8倍)与鲁棒性。
2023-11-25 cs.LG
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University(麦吉尔大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种算法,有效地学习社会兼容的导航政策,从人类轨迹的观察。随着移动机器人进入社交空间,它们必须考虑社交线索,并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法,该算法从人类轨迹观察中学习,而不知道他们的具体行动。我们通过利用重放缓冲区的概念(在许多非策略强化学习方法中发现)来消除与逆强化学习相关的额外样本复杂性,从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集,并将其与相关方法进行比较。我们表明,我们的方法产生更好的性能,同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
IA2: Leveraging Instance-Aware Index Advisor with Reinforcement Learning for Diverse Workloads
University of Cambridge(剑桥大学)
提出基于深度强化学习的实例感知索引顾问 IA2,通过 TD3-TD-SWAR 模型与自适应动作掩码高效选择索引,在 TPC-H 上显著降低运行时并优于现有方法。
2024-04-10 cs.AI cs.DB
Preference VLM: Leveraging VLMs for Scalable Preference-Based Reinforcement Learning
University of California, Riverside(加州大学河滨分校);AWS AI Labs(AWS AI实验室)
本文提出 PrefVLM 框架,通过结合视觉语言模型生成初始偏好标签并筛选不确定样本进行针对性人工标注,同时利用自监督逆动力学损失微调模型,在保持性能的同时显著减少人类反馈需求,提升了基于偏好强化学习的可扩展性。
2025-02-03 cs.LG
Leveraging Procedural Generation for Learning Autonomous Peg-in-Hole Assembly in Space
本研究提出利用过程生成和域随机化在并行仿真中训练智能体,以解决空间机器人自主轴孔装配的泛化与适应性问题,并通过三种强化学习算法验证了策略的鲁棒性和适应性。
2024-05-02 cs.AI cs.LG cs.RO
Beyond CVaR: Leveraging Static Spectral Risk Measures for Enhanced Decision-Making in Distributional Reinforcement Learning
Department of Mathematics and Statistics, York University, Toronto, Canada(数学与统计学系,约克大学,多伦多,加拿大)
本文提出了一种具有收敛保证的DRL算法,优化更广泛的静态谱风险度量,提升决策质量并优于现有方法。
2025-05-16 cs.LG stat.ML
TransfQMix: Transformers for Leveraging the Graph Structure of Multi-Agent Reinforcement Learning Problems
协调是多智能体强化学习(MARL)中最困难的方面之一。一个原因是,代理通常选择他们的行动彼此独立。为了看到从独立的政策的组合出现的协调策略,最近的研究集中在使用一个集中的功能(CF),学习每个代理的贡献,团队奖励。然而,环境呈现给代理和CF的结构通常被忽视。我们已经观察到,用于描述协调问题的特征可以表示为潜在图结构的顶点特征。在这里,我们提出了TransfQMix,一种新的方法,使用Transformers来利用这种潜在的结构,并学习更好的协调策略。我们的Transformer代理对可观察实体的状态执行图形推理。我们的Transformer Q-mixer从一个更大的图中学习单调混合函数,该图包括代理的内部和外部状态。TransfQMix被设计为完全可转移的,这意味着相同的参数可以用于控制和训练更大或更小的代理团队。这使得部署有前途的方法,以节省培训时间,并在MARL中获得一般政策,如迁移学习,zero-shot迁移,和课程学习。我们报告TransfQMix在Spread和StarCraft II环境中的表现。在这两种情况下,它都优于最先进的Q-Learning模型,并且在解决其他方法无法解决的问题方面表现出了有效性。
2023-01-13 cs.AI cs.LG cs.MA
Leveraging Deep Reinforcement Learning for Metacognitive Interventions across Intelligent Tutoring Systems
North Carolina State University(北卡罗来纳州立大学)
本文通过两项课堂实验比较静态分类干预与DRL自适应元认知干预,发现DRL能缩小学生元认知差距,并促进其在后续无干预辅导系统中的迁移学习。
2023-04-17 cs.AI cs.CY cs.HC
Leveraging Genetic Algorithms for Efficient Demonstration Generation in Real-World Reinforcement Learning Environments
Ruhr-University Bochum(波鸿鲁尔大学)
本文提出用遗传算法生成专家演示来增强强化学习,通过将演示加入DQN重放缓冲区并作为PPO热启动轨迹,在工业分拣环境中显著提升了训练收敛速度和累积奖励。
2025-07-02 cs.LG
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Nanyang Technological University(南洋理工大学)
Meta强化学习(MRL)使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中,我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习(MAML),并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络(GAN)。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG