How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID(里斯本高等理工学院信息技术与系统研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
这项工作解决了感知世界的问题:如何学习强化学习代理环境的多模态表示,允许在不完整的感知条件下执行任务。为了解决这个问题,我们主张在设计的表示模型的层次结构,并与一个新的多模态表示模型,MUSE。所提出的模型学习分层表示:低层次的模态特定的表示,从原始观测数据编码,和一个高层次的多模态表示,编码联合模态信息,以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型,在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究,表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后,我们评估了MUSE在文献标准的多模态场景中的性能,这些场景具有更高的数量和更复杂的模态,表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
A Model-Based Approach for Improving Reinforcement Learning Efficiency Leveraging Expert Observations
Boston University(波士顿大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出一种基于模型的方法,通过结合最大熵强化学习与行为克隆损失,并自动调整权重,利用专家观测提升深度强化学习的样本效率,实验验证其优于多种基准。
2024-02-29 cs.LG
Leveraging Procedural Generation to Benchmark Reinforcement Learning
OpenAI
我们介绍了Procgen Benchmark,这是一套由16个程序生成的类似游戏的环境,旨在对强化学习中的样本效率和泛化进行基准测试。我们相信,社区将受益于更多的高质量的培训环境,我们提供了使用此基准的详细实验协议。我们的经验表明,不同的环境分布是必不可少的充分训练和评估RL代理,从而激励广泛使用的程序内容生成。然后,我们使用这个基准来研究缩放模型大小的影响,发现较大的模型显着提高样本效率和泛化。
2020-07-26 cs.LG stat.ML
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University(多特蒙德工业大学)
离线强化学习(RL)提供了一个从离线数据中学习决策的框架,因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车(SDV)学习一种策略,这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中,可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法,该方法利用规划。然而,目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划(UMBRELLA)方法,该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Leveraging Knowledge Distillation for Efficient Deep Reinforcement Learning in Resource-Constrained Environments
The Hong Kong Polytechnic University(香港理工大学)
本文通过知识蒸馏优化多种深度强化学习算法,建立评估基准,以降低计算资源需求、提升学习与决策速度,推动资源受限环境下高效智能决策系统的发展。
2023-10-16 cs.AI cs.LG
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara(加州大学圣巴巴拉分校)
近年来,完全可微刚体物理模拟器已经被开发出来,它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下,这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而,到目前为止,这些梯度被证明是非常具有挑战性的,并且被完全不使用梯度信息的算法所超越。在这项工作中,我们提出了一种新的算法,交叉熵分析策略梯度,能够利用这些梯度,以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出首个有效安全防护方法,用于解析梯度强化学习,通过改进映射和梯度公式,结合先进算法和可微仿真,验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Explore-Go: Leveraging Exploration for Generalisation in Deep Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习智能体对新场景的泛化难题,本文解释了探索助力泛化的直觉,提出扩大起始状态分布的Explore-Go方法,可适配多数主流强化学习算法,实验验证其在说明性环境和Procgen基准上能提升泛化性能。
2024-09-18 cs.AI cs.LG
Bidirectional Soft Actor-Critic: Leveraging Forward and Reverse KL Divergence for Efficient Reinforcement Learning
Tsinghua University(清华大学)
本文针对SAC中反向KL散度导致策略投影难以处理的问题,提出双向SAC算法,先利用前向KL散度获得显式高斯策略投影进行初始化,再优化反向KL散度精炼策略,在连续控制任务中实现奖励最高提升30%并改善样本效率。
2025-06-02 cs.AI cs.LG
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa(瑞士联邦材料科学与技术研究所);EPFL(洛桑联邦理工学院)
提出修改连续actor-critic框架以利用专家简单规则避开次优区域,显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
A Curriculum Learning Approach to Reinforcement Learning: Leveraging RAG for Multimodal Question Answering
Meituan(美团)
本文提出了一种结合课程学习与强化学习的方法,用于多模态问答任务,通过检索增强生成系统在挑战中取得优异成绩。
2026-01-14 cs.AI cs.LG
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism
UC Santa Barbara(加州大学圣巴巴拉分校);Princeton(普林斯顿大学)
离线强化学习试图利用离线/历史数据来优化顺序决策策略,在最近的研究中获得了巨大的优势。由于适当的函数逼近器可以帮助减轻现代强化学习问题中的样本复杂性负担的优势,现有的努力通常会强制使用强大的函数表示模型(例如,神经网络)来学习最佳策略。然而,精确理解函数表示的统计极限仍然是难以捉摸的,即使这样的表示是线性的。为了实现这一目标,我们研究了线性模型表示的离线强化学习的统计限制。为了得到紧的离线学习界,我们设计了方差感知的悲观值迭代(VAPVI),它采用时间非齐次的情节线性马尔可夫决策过程(MDP)的价值函数的条件方差信息. VAPVI利用价值函数的估计方差,在最小二乘悲观值迭代中对Bellman残差进行重新加权,并在最知名的现有结果上提供改进的离线学习边界(而Bellman残差通过设计进行了同等加权)。更重要的是,我们的学习边界表示的系统数量,这提供了自然的实例依赖的特征,以前的结果是缺乏。我们希望我们的结果能更清楚地描绘出当提供线性表示时离线学习应该是什么样子。
2022-03-11 cs.AI cs.LG stat.ML
Leveraging human knowledge in tabular reinforcement learning: A study of human subjects
Weizmann Institute of Science(魏茨曼科学研究所);Bar-Ilan University(巴伊兰大学);Washington State University(华盛顿州立大学)
强化学习(RL)在解决复杂的现实问题方面非常有效。然而,将人类知识注入RL代理可能需要人类设计师的大量努力和专业知识。到目前为止,人的因素一般不考虑在开发和评估可能的RL方法。在这篇文章中,我们着手研究如何注入人类知识的不同方法,在实践中,不同层次的知识和技能的人类设计师。我们进行了第一次经验评估的几种方法,包括一个新提出的方法命名为SASS,这是基于代理的状态-动作空间的相似性的概念。通过这项由51名人类参与者组成的人类研究,我们对在RL中发挥关键作用的人为因素有了新的认识。我们发现,经典的奖励塑造技术似乎是最自然的方法,大多数设计师,专家和非专家,以加快RL。然而,我们进一步发现,我们提出的方法SASS可以有效地和高效地结合奖励塑造,并提供了一个有益的替代方案,只使用一个单一的加速方法与最小的人类设计师的努力开销。
2018-05-15 cs.AI cs.LG
Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
University of Southern California(南加州大学)
该研究提出新型动态协同优化编译器DCOC,通过含三个专用演员-评论家智能体的自适应MARL框架实现软硬件协同优化,缩减搜索空间,在多种DNN模型上吞吐量最高提升37.95%、优化时间最多缩短42.2%,优于现有前沿框架。
2025-02-21 cs.AI cs.AR cs.LG
ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation
Stanford University(斯坦福大学);Nvidia(英伟达公司);Robotics at Google(谷歌机器人部门)
许多强化学习(RL)方法使用联合控制信号(位置、速度、扭矩)作为连续控制任务的动作空间。我们建议将动作空间提升到一个更高的水平,以运动生成器(运动规划器和轨迹执行器的组合)的子目标的形式。我们认为,通过提升动作空间和利用基于采样的运动规划器,我们可以有效地使用RL来解决复杂的,长时间的任务,这些任务在原始动作空间中无法用现有的RL方法解决。我们提出了ReLMoGen -一个框架,它结合了学习的策略来预测子目标和运动生成器来计划和执行达到这些子目标所需的运动。为了验证我们的方法,我们将ReLMoGen应用于两种类型的任务:1)交互式导航任务,需要与环境交互才能到达目的地的导航问题,以及2)移动操作任务,需要移动机器人底座的操作任务。这些问题是具有挑战性的,因为它们通常是长期的,难以在培训期间探索,并包括导航和交互的交替阶段。我们的方法是基准上的一组不同的七个机器人任务在照片般逼真的仿真环境。在所有设置中,ReLMoGen都优于最先进的强化学习和分层强化学习基线。ReLMoGen在测试时还显示出在不同运动发生器之间的出色可转移性,这表明它具有转移到真正机器人上的巨大潜力。
2021-03-26 cs.AI cs.CV cs.LG
Leveraging Prior Knowledge in Reinforcement Learning via Double-Sided Bounds on the Value Function
University of Massachusetts Boston(马萨诸塞大学波士顿分校)
本文提出利用价值函数的任意近似推导最优价值函数的双侧界,并扩展至连续空间,从而为训练中的裁剪提供新方法,在简单领域得到验证。
2023-09-01 cs.LG
Leveraging Reinforcement Learning in Red Teaming for Advanced Ransomware Attack Simulations
Deloitte & Touche LLP(德勤华永会计师事务所(特殊普通合伙));National Security Institute, Virginia Tech(弗吉尼亚理工大学国家安全研究所)
本文提出利用强化学习在模拟网络环境中训练智能体以模拟勒索软件攻击,快速学习攻击策略并简化人工渗透测试,实验证明其能有效发现高价值目标攻击路径并规避蜜标文件,为防御团队提供安全洞察。
2024-06-25 cs.AI cs.CR cs.LG
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
强化学习(RL)算法有望实现机器人系统的自主技能获取。然而,在实践中,现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外,使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中,我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时,我们的系统会调整以前学习的技能,以快速学习执行新任务并将环境返回到初始状态,从而有效地执行自己的环境重置。我们的实证结果表明,将先验数据纳入机器人强化学习,使自主学习,大大提高了学习的样本效率,并使更好的推广。项目网址:https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Theoretical Corrections and the Leveraging of Reinforcement Learning to Enhance Triangle Attack
University of Connecticut(康涅狄格大学);Tufts University(塔夫茨大学);University of Minnesota(明尼苏达大学);Brandeis University(布兰迪斯大学);University of Rhode Island(罗德岛大学)
本文针对 Triangle Attack 的理论局限,提出结合强化学习的 TARL 攻击,在 ImageNet 和 CIFAR-10 上以一半查询次数达到相似或更优的攻击准确率。
2024-11-18 cs.CR cs.LG
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University(台湾大学);MediaTek Research(联发科技研究院)
本文提出一种基于核函数近似的离线强化学习算法,有效利用低成本无标签数据,并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Enhancing Solution Efficiency in Reinforcement Learning: Leveraging Sub-GFlowNet and Entropy Integration
本文通过为子GFlowNet引入新损失函数并集成熵来改进GFlowNet,在超网格和分子合成任务中验证了其在候选多样性和计算效率上优于传统方法。
2024-10-01 cs.LG
Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan(密歇根大学);Michigan Medicine(密歇根医学中心);Harvard University(哈佛大学)
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题,提出因子化动作空间诱导的线性Q函数分解法,兼具理论保证与样本效率,可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Leveraging Reinforcement Learning Techniques for Effective Policy Adoption and Validation
University of California, San Diego(加州大学圣地亚哥分校);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
不同形式的奖励和惩罚无处不在,并出现在各种各样的决策场景中。通过观察足够数量的重复试验的结果,人们将逐渐了解特定政策或战略的价值和有用性。然而,在特定的环境中,不同的试验结果会受到偶然性的影响和变化。在学习一个给定的政策的有用性,显着的成本涉及系统地进行顺序试验,因此,在大多数学习事件,人们希望保持成本范围内采用学习停止规则。在本文中,我们研究了部署不同的停止策略在给定的学习环境中,从高度严格的关键任务操作高度宽容的非关键任务操作,并重点放在前者与航空安全的特殊应用。在政策评估中,确定了两个连续的学习阶段,我们使用概率模型来描述结果的变化,并获得了关键性能指标的封闭式表达式。决策规则映射的试验观察政策选择也制定。最后进行了仿真实验,验证了理论分析的正确性.
2019-06-21 cs.AI cs.LG
Character Beyond Speech: Leveraging Role-Playing Evaluation in Audio Large Language Models via Reinforcement Learning
Zhejiang University(浙江大学)
本文提出RoleJudge框架,通过多模态评估系统评估语音与角色的一致性,引入RoleChat数据集并采用多阶段训练和标准对齐强化学习,验证了多维评估框架的有效性。
2026-04-15 cs.LG
Meta-Reinforcement Learning via Exploratory Task Clustering
University of Virginia(弗吉尼亚大学)
Meta-强化学习(meta-RL)旨在通过利用先前任务的知识来快速解决新任务。然而,以往的研究往往假设一个单一的模式均匀的任务分布,忽略了可能的结构异质性任务之间。利用这种结构可以更好地促进相关任务之间的知识共享,从而提高样本效率。在本文中,我们通过聚类来探索任务之间的结构化异构性,以改善元RL。我们开发了一个专门的探索性政策,发现任务结构,通过分而治之。所识别的聚类的知识有助于缩小任务特定信息的搜索空间,从而导致更样本有效的策略自适应。在各种MuJoCo任务上的实验表明,该方法可以在奖励和状态动态中有效地解开集群结构,证明了对一组最先进的基线的强大优势。
2023-02-15 cs.AI cs.LG cs.RO
Leveraging human Domain Knowledge to model an empirical Reward function for a Reinforcement Learning problem
Persistent Systems Ltd.(持久系统公司)
传统的强化学习(RL)问题依赖于一个详尽的仿真环境,该环境对问题的真实物理进行建模,并通过观察该环境来训练RL代理。在本文中,我们提出了一种新的方法来创建一个环境,通过建模的奖励功能的基础上提取的经验规则,从人类领域的知识系统的研究。利用这个经验奖励函数,我们将建立一个环境和训练代理。我们将首先创建一个环境,模拟通过恒温器设置机舱温度的效果。这通常在RL问题中通过创建具有详细热力学研究的系统的详尽模型来完成。相反,我们提出了一个经验的方法来模拟奖励功能的基础上人类领域的知识。我们将记录一些我们通常在设置恒温器温度时使用的经验法则,并尝试将其建模为我们的奖励函数。将经验人类领域规则建模为RL的奖励函数是本文的独特之处。这是一个连续的行动空间问题,使用深度确定性策略梯度(DDPG)方法,我们将解决最大化的奖励函数。我们将创建一个策略网络,该网络在给定外部温度和湿度的情况下预测最佳温度设定值。
2019-09-16 cs.AI cs.LG cs.SY
Leveraging Constraint Violation Signals For Action-Constrained Reinforcement Learning
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出利用约束违反信号构造可行动作目标分布并训练 normalizing flows,将其集成到深度 RL 中,显著减少约束违反并保持更优控制性能。
2025-02-08 cs.AI cs.LG
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto(多伦多大学);Tsinghua University(清华大学)
本文提出残差奖励模型(RRM),将环境真实奖励拆分为先验奖励与学习奖励之和,可提升机器人领域基于偏好的强化学习的样本效率,在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Where2Start: Leveraging initial States for Robust and Sample-Efficient Reinforcement Learning
提出Where2Start算法,通过选择使智能体附近状态更具不稳定性的初始状态来检索高信息量轨迹,从而显著提升强化学习的样本效率(高达8倍)与鲁棒性。
2023-11-25 cs.LG
Leveraging Sub-Optimal Data for Human-in-the-Loop Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
本文提出次优数据预训练方法SDP,通过用环境最小奖励伪标记低质量数据来预训练奖励模型,从而减少人在回路强化学习对人类交互的需求,并在多种模拟机器人任务上显著提升性能。
2025-04-07 cs.AI cs.LG cs.RO
Preference VLM: Leveraging VLMs for Scalable Preference-Based Reinforcement Learning
University of California, Riverside(加州大学河滨分校);AWS AI Labs(AWS AI实验室)
本文提出 PrefVLM 框架,通过结合视觉语言模型生成初始偏好标签并筛选不确定样本进行针对性人工标注,同时利用自监督逆动力学损失微调模型,在保持性能的同时显著减少人类反馈需求,提升了基于偏好强化学习的可扩展性。
2025-02-03 cs.LG
Beyond CVaR: Leveraging Static Spectral Risk Measures for Enhanced Decision-Making in Distributional Reinforcement Learning
Department of Mathematics and Statistics, York University, Toronto, Canada(数学与统计学系,约克大学,多伦多,加拿大)
本文提出了一种具有收敛保证的DRL算法,优化更广泛的静态谱风险度量,提升决策质量并优于现有方法。
2025-05-16 cs.LG stat.ML
Leveraging Deep Reinforcement Learning for Metacognitive Interventions across Intelligent Tutoring Systems
North Carolina State University(北卡罗来纳州立大学)
本文通过两项课堂实验比较静态分类干预与DRL自适应元认知干预,发现DRL能缩小学生元认知差距,并促进其在后续无干预辅导系统中的迁移学习。
2023-04-17 cs.AI cs.CY cs.HC
Leveraging Genetic Algorithms for Efficient Demonstration Generation in Real-World Reinforcement Learning Environments
Ruhr-University Bochum(波鸿鲁尔大学)
本文提出用遗传算法生成专家演示来增强强化学习,通过将演示加入DQN重放缓冲区并作为PPO热启动轨迹,在工业分拣环境中显著提升了训练收敛速度和累积奖励。
2025-07-02 cs.LG
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Nanyang Technological University(南洋理工大学)
Meta强化学习(MRL)使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中,我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习(MAML),并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络(GAN)。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
自我监督方法通过利用数据本身来减少对昂贵注释的需求,对于推进深度学习至关重要。然而,如何以原则性的方式进行自监督离线强化学习(RL)的问题仍然不清楚。在本文中,我们解决这个问题,通过研究在半监督设置中的线性马尔可夫决策过程(MDP)中利用无奖励数据的理论优势。此外,我们提出了一种新的,可证明的数据共享算法(PDS),利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估,确保算法的保守性。我们在各种离线RL任务上的结果表明,PDS显着提高了离线RL算法的性能与无奖励数据。总的来说,我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处,同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Snapshot Reinforcement Learning: Leveraging Prior Trajectories for Efficiency
Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
针对深度强化学习样本与计算资源需求高、现有复用方法通用性差的问题,提出仅修改环境的SnapshotRL框架及基线算法S3RL,利用教师轨迹辅助训练,在MuJoCo基准上结合多种主流算法显著提升样本效率与平均回报。
2024-03-12 cs.LG
Leveraging the Variance of Return Sequences for Exploration Policy
University of Central Florida(中佛罗里达大学)
本文介绍了一种利用收益率序列的加权方差或加权时间差(TD)误差构造勘探策略上界的方法。我们证明了特定状态-动作对的返回序列的方差是一个重要的信息源,可以用来指导强化学习的探索。直觉是,收益序列的波动表明近期收益的不确定性更大。这种分歧的发生是因为基于值的强化学习的循环性质;不断发展的价值函数会带来策略改进,进而修改价值函数。虽然方差和TD误差捕捉这种不确定性的不同方面,我们的分析表明,这两个可以是有价值的指导探索。我们提出了一个双流网络架构,估计加权方差/TD内的DQN代理的错误,我们的探索方法,并表明它优于广泛的Atari游戏的基线。
2020-11-17 cs.AI cs.LG
Leveraging Grammar and Reinforcement Learning for Neural Program Synthesis
University of Oxford(牛津大学);Microsoft Research(微软研究院);Google(谷歌);Deepmind(深度思维)
程序合成是自动生成符合规范的程序的任务。近年来,已经看到了许多用于程序合成的神经方法的提议,其中许多采用类似于神经机器翻译的序列生成范例,其中序列到序列模型被训练以最大化已知参考程序的可能性。虽然取得了令人印象深刻的成果,但这一战略有两个关键的局限性。首先,它忽略了程序别名:许多不同的程序可能满足给定的规范(特别是不完整的规范,如一些输入输出示例)。通过最大化只有一个参考程序的可能性,它惩罚了许多语义正确的程序,这可能会对合成器的性能产生不利影响。其次,这种策略忽略了这样一个事实,即程序有一个严格的语法,可以有效地检查。为了解决第一个限制,我们在监督模型之上执行强化学习,其目标是显式地最大化生成语义正确程序的可能性。为了解决第二个限制,我们引入了一个训练过程,直接最大限度地提高生成语法正确的程序,满足规范的概率。我们表明,我们的贡献导致模型的精度提高,特别是在训练数据有限的情况下。
2018-05-22 cs.LG stat.ML
Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
研究在大规模视觉-语言-动作模型中,通过将离线监督纳入强化学习,结合离线与在线训练优点,提升训练效率。经实验验证,该混合方法在保持强大分布外能力的同时,所需训练预算减半,实现效率与性能双赢。
2026-07-23 cs.AI cs.CV cs.LG
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University(南京大学)
多智能体强化学习(MARL)算法通过利用集中式训练和分散式执行(CTDE)范式,近年来取得了可喜的进展。然而,现有的MARL算法仍然受到样本效率低下的问题。在本文中,我们提出了一个简单而有效的方法,称为基于状态的情景记忆(SEM),以提高样本效率在MARL。SEM采用情景记忆(EM)对MARL中CTDE的集中训练过程进行监督。据我们所知,SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM(SAEM),后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛(SMAC)上的实验结果表明,在MARL中引入情景记忆可以提高样本效率,与SAEM相比,SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria(维多利亚大学)
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用,通过构建分类法对文献进行系统分类和总结,并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Mixed-Reality Digital Twins: Leveraging the Physical and Virtual Worlds for Hybrid Sim2Real Transition of Multi-Agent Reinforcement Learning Policies
Department of Automotive Engineering, Clemson University International Center for Automotive Research (CU-ICAR)(汽车工程系,克莱姆森大学国际汽车研究中心(CU-ICAR))
本文提出混合现实数字孪生框架,通过并行化和域随机化技术,显著提升多智能体强化学习策略的训练效率和仿真到现实迁移性能。
2026-02-23 cs.LG cs.MA cs.RO
Leveraging Offline Data in Online Reinforcement Learning
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
针对兼具离线数据与在线交互的FineTuneRL设定,研究线性结构MDP下的最优在线样本量,提出可证明最优的FTPedel算法,证实结合离线与在线模式的性能优势并厘清两类学习的形式差异。
2023-07-20 cs.AI cs.LG stat.ML
TIMRL: A Novel Meta-Reinforcement Learning Framework for Non-Stationary and Multi-Task Environments
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);School of Astronautics, Northwestern Polytechnical University(西北工业大学航天学院)
针对现有元强化学习用高斯分布提取任务表征、适配非平稳多任务环境效果差的问题,提出结合高斯混合模型与transformer的TIMRL框架,经MuJoCo基准验证,提升了样本效率与任务分类准确率。
2025-01-13 cs.AI cs.LG
Leveraging Temporally Extended Behavior Sharing for Multi-task Reinforcement Learning
Department of Aerospace Engineering, Seoul National University(首尔国立大学航空航天工程系);Artificial Intelligence Institute, Seoul National University(首尔国立大学人工智能研究所)
针对机器人多任务强化学习数据成本高的问题,提出 MT-Lévy,融合跨任务行为共享、莱维飞行式时间延展探索和基于成功率的自适应调节,显著提升探索与样本效率。
2025-09-29 cs.LG cs.RO
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia(南澳大学)
本文综述了用于资源分配优化(RAO)的最新多智能体强化学习(MARL)算法,涵盖核心概念、分类与结构化分类法,并指出当前挑战与未来方向,以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
Leveraging Communication Topologies Between Learning Agents in Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);MILA/Université de Montréal(蒙特利尔学习算法研究所/蒙特利尔大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Oxford Internet Institute, University of Oxford(牛津大学互联网研究所)
在深度强化学习(DRL)和许多其他机器学习算法中,提高学习性能的一种常见技术是并行运行多个学习代理。在这些算法的发展中,一个被忽视的组成部分是如何最好地安排学习代理,以提高分布式搜索。在这里,我们借鉴了网络优化文献的结果表明,在通信网络中安排学习代理而不是完全连接的拓扑结构(代理通常安排的隐式方式)可以提高学习。我们探讨了四个流行的图形家族的相对性能,并观察到这样一个家族(Erdos-Renyi随机图)在几个DRL基准任务中的经验优于事实上的全连接通信拓扑。此外,我们观察到,1000学习代理安排在一个Erdos-Renyi图可以执行以及3000代理安排在标准的全连接拓扑结构,显示大的学习改进时,仔细设计的拓扑结构,代理通信。我们补充这些经验的结果与理论研究,为什么我们的替代拓扑结构表现更好。总的来说,我们的工作表明,分布式机器学习算法可以更有效,如果学习代理之间的通信拓扑结构进行了优化。
2020-03-11 cs.LG stat.ML
ToSCA: Leveraging Hierarchical Reinforcement Learning on Temporal and Strategic Abstractions of Conversational Agents
Geely AI Lab(吉利AI实验室);Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
该研究受人类多层时间抽象启发,提出ToSCA框架,采用两级分层强化学习结合双粒度奖励机制,在两类对话任务中性能优于基线方法。
2026-09-03 cs.CL cs.HC cs.LG
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
现实世界的任务往往是高度结构化的。分层强化学习(HRL)作为一种在强化学习(RL)中利用给定任务的分层结构的方法引起了研究兴趣。然而,识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中,我们提出了一种HRL方法,该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略,我们引入了加权重要性采样。在我们的HRL方法中,门控策略学习选择基于选项价值函数的选项策略,并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比,通过使用确定性选项策略而得出的。实验结果表明,我们的HRL方法可以学习的选项的多样性,它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Leveraging LLMs for reward function design in reinforcement learning control tasks
LEARN-Opt通过自主设计奖励函数,无需人工干预或环境代码,提升强化学习任务的效率和泛化能力。
2025-11-24 cs.AI cs.LG cs.RO
Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning
Tsinghua University(清华大学);Meituan(美团)
针对深度强化学习智能体解释中动作匹配原则的不足,本文提出RL-in-RL框架,以奖励一致性为目标进行可解释特征发现,并在Atari 2600和Duckietown上验证了其有效性。
2023-09-04 cs.LG
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz(康斯坦茨大学)
针对深度强化学习智能体违反安全约束的问题,提出一种利用安全评论器的反例引导修复算法,通过梯度约束优化联合修复智能体与评论器,消除不安全行为。
2024-05-24 cs.LG cs.LO
Leveraging Error Diversity in Group Rollouts for Reinforcement Learning
Peking University(北京大学);JD.COM(京东公司);Shanghai Innovation Institute(上海创新研究院)
本文提出EDAS方法,通过利用群体回滚中的误差多样性来提升强化学习的效果,通过调整错误回滚的优势信号,鼓励模型保持多样化的推理路径,从而提高训练成功率。
2026-06-05 cs.LG