Pareto Set Learning for Multi-Objective Reinforcement Learning
Nanjing University(南京大学)
针对现有多目标强化学习方法难以获取完整帕累托前沿、无法为不同偏好生成个性化策略的问题,提出基于超网络的通用分解框架PSL-MORL,理论保证其性能,实验验证其在帕累托前沿覆盖效果上显著优于现有方法。
2025-01-14 cs.LG
Multi-objective Reinforcement Learning with Continuous Pareto Frontier Approximation Supplementary Material
Politecnico di Milano(米兰理工大学)
本文档包含论文“Multi-objective强化学习with Continuous Pareto Frontier Approximation”的补充材料,该论文发表于第29届AAAI人工智能会议(AAAI-15)。研究了多目标马尔可夫决策问题(MOMDPs)中Pareto边界的连续逼近问题。我们提出了一个基于政策的方法,利用梯度信息生成的解决方案接近帕累托的。从以前的政策梯度多目标算法,其中n个优化例程是用来有n个解决方案,我们的方法执行一个单一的梯度上升运行,在每一步产生一个改进的连续近似的帕累托边界。我们的想法是利用基于梯度的方法来优化函数的参数,该函数定义了策略参数空间中的流形,使得目标空间中的相应图像尽可能接近帕累托边界。除了导出如何计算和估计这样的梯度,我们还将讨论定义一个度量来评估候选帕累托边界的质量的重要问题。最后,所提出的方法的属性进行了实证评估两个有趣的MOMDPs。
2014-11-18 cs.AI cs.LG
Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation
University of Tübingen(图宾根大学);EPFL(苏黎世联邦理工学院);University of Technology Nuremberg(纽伦堡技术大学)
本文研究了多目标模仿学习问题,即在多目标马尔可夫决策过程(MOMDP)中,根据多个帕累托最优专家的演示数据恢复位于帕累托前沿的策略。传统模仿方法无法应对这一场景,因为简单地聚合冲突的专家轨迹可能导致被支配的策略。为此,我们引入了多输出增强行为克隆(MA-BC)算法,该算法系统地划分分歧的专家数据,同时融合无行为冲突的状态-动作对。理论上,我们证明MA-BC以比单独考虑每个专家数据集的学习器更快的统计速率收敛到帕累托最优策略。此外,我们建立了多目标模仿学习的新下界,证明MA-BC是最小最大最优的。最后,我们在多样化的离散环境和连续线性二次调节器(LQR)控制任务中经验验证了我们的算法。
2026-10-15 cs.LG
Pareto Deterministic Policy Gradients and Its Application in 5G Massive MIMO Networks
Virginia Tech(弗吉尼亚理工学院暨州立大学);Samsung Research America(三星美国研究院)
在本文中,我们考虑通过强化学习(RL)方法联合优化小区负载平衡和网络吞吐量,其中小区间切换(即,用户关联分配)和大规模MIMO天线倾斜被配置为要学习的RL策略。我们使用RL的基本原理是规避分析建模用户移动性和网络动态的挑战。为了实现这种联合优化,我们将向量奖励集成到RL值网络中,并通过单独的策略网络进行RL操作。我们将这种方法称为帕累托确定性策略梯度(PDPG)。它是一种行动者-批评者、无模型和确定性的策略算法,可以处理耦合目标,具有以下两个优点:1)它通过利用向量奖励的自由度而不是选择手工标量奖励来解决优化问题; 2)可以显着减少多个策略的交叉验证。因此,RL使能网络以自组织的方式表现:它通过测量历史了解底层用户移动性,以在没有环境假设的情况下主动操作切换和天线倾斜。我们的数值计算表明,引入RL方法优于基于标量奖励的方法。同时,为了自成一体,包括一个理想的静态优化的暴力搜索求解器作为基准。比较结果表明,RL方法执行以及这种理想的策略,虽然前者是有限的环境观测和较低的动作频率的约束,而后者有充分的访问用户的移动性。我们所介绍的方法的收敛性也测试在不同的用户移动性环境下,我们的测量数据从一个真实的场景。
2020-12-02 cs.LG cs.NI
Learning Pareto Set for Multi-Objective Continuous Robot Control
Southern University of Science and Technology(南方科技大学);Shenzhen University(深圳大学);City University of Hong Kong(香港城市大学)
提出一种资源高效的多目标强化学习算法,利用单个 hypernet 在高维参数空间学习 Pareto set 的连续表示,以最少的参数实现最佳性能。
2024-06-27 cs.AI cs.LG cs.RO
Limitations of Scalarisation in MORL: A Comparative Study in Discrete Environments
School of Mathematics, Statistics and Computer Science(数学、统计与计算机科学学院);University of KwaZulu-Natal(科萨努卢纳大学);Centre for Artificial Intelligence Research (CAIR)(人工智能研究中心)
本研究探讨了多目标强化学习中标量化方法的局限性,通过比较离散环境中的算法,发现内循环多策略方法在复杂环境中更具优势。
2025-11-20 cs.LG
Think Outside the Policy: In-Context Steered Policy Optimization
National Key Laboratory for Multimedia Information Processing(国家多媒体信息处理重点实验室);School of Computer Science(计算机学院);LLM Department(大模型部门);Tencent(腾讯)
本文提出ICPO框架,利用大推理模型的上下文学习能力,通过混合策略GRPO和隐式专家强制扩展探索范围,提升RLVR在数学推理任务中的性能和稳定性。
2026-04-15 cs.LG
Learning Fair Pareto-Optimal Policies in Multi-Objective Reinforcement Learning
针对多目标强化学习中固定用户偏好无法提供多样化策略的问题,提出基于广义基尼福利函数的多策略方法,学习公平帕累托最优策略集。
2026-06-17 cs.AI cs.LG
Accelerating Self-Imitation Learning from Demonstrations via Policy Constraints and Q-Ensemble
深度强化学习(Deep Reinforcement Learning,DRL)为机器人控制策略的生成提供了新的途径。然而,训练控制策略的过程需要漫长的探索,导致强化学习(RL)在现实世界的任务中的低样本效率。模仿学习(IL)和示教学习(LfD)都通过使用专家示范来改进培训过程,但不完美的专家示范会误导政策改进。离线到在线强化学习需要大量离线数据来初始化策略,在线微调时分布偏移容易导致性能下降。针对上述问题,本文提出了一种示教学习方法A-SILfD,该方法将专家示教视为Agent的成功经验,并利用经验约束策略改进。此外,我们防止性能下降,由于大的估计误差的Q-函数的合奏Q-函数。我们的实验表明,A-SILfD可以显着提高样本效率使用少量的不同质量的专家演示。在四个Mujoco连续控制任务中,A-SILfD在经过150,000步在线训练后可以显著优于基线方法,并且在训练期间不会被不完美的专家演示所误导。
2022-12-07 cs.LG
Multi-objective Neural Architecture Search via Non-stationary Policy Gradient
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
多目标神经架构搜索(NAS)旨在发现存在多个冲突目标的新架构。尽管最近取得了进展,但准确有效地近似完整帕累托前沿的问题仍然具有挑战性。在这项工作中,我们探讨了新的强化学习(RL)的非平稳策略梯度(NPG)的基础上的范例。NPG利用一个非平稳的奖励函数,并鼓励不断适应的政策,以有效地捕捉整个帕累托前沿。我们引入了两个新的奖励函数的元素从标量化和进化的主导范式。为了处理非平稳性,我们提出了一个新的探索计划,使用余弦温度衰减与热重启。为了快速准确的架构评估,我们引入了一个新的预训练共享模型,我们在整个训练过程中不断进行微调。我们对各种数据集的广泛实验研究表明,我们的框架可以快速近似完整的Pareto前沿。此外,与其他多目标NAS方法和类似网络规模的其他单目标NAS方法相比,我们发现的细胞可以实现最高的预测性能。我们的工作证明了NPG作为一个简单,高效,有效的多目标NAS范例的潜力。
2020-01-31 cs.LG stat.ML
Scaling Pareto-Efficient Decision Making Via Offline Multi-Objective RL
University of California, Los Angeles(加州大学洛杉矶分校)
针对多目标强化学习中偏好未知的离线决策问题,本文构建了含180万条演示的D4MORL离线数据集,并提出基于偏好与回报条件策略的PEDA算法,可高效逼近帕累托前沿。
2023-04-30 cs.AI cs.LG
Rethinking Relative Policy Differences Transfer of On-Policy Distillation
Thinking Machines Lab(思维机器实验室);DeepSeek-AI(深度求索公司)
本研究针对在线策略蒸馏,提出统一视角将相对策略差异转化为隐式奖励,通过实验明确任务特定差异可稳定迁移、专家与参考角色互补等规律,为 OPD 的有效监督提供了理论依据。
2026-10-12 cs.LG
Sequence Model Imitation Learning with Unobserved Contexts
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Aurora Innovation(极光创新公司)
我们考虑模仿学习问题,其中学习者模仿专家的能力随着更多信息的揭示而在整个事件过程中增加。其中一个例子是当专家可以访问特权信息时:虽然学习者可能无法在一个事件的早期准确地再现专家的行为,但通过考虑状态和动作的整个历史,他们可能最终能够识别隐藏的上下文并像专家一样行事。我们证明了政策上的模仿学习算法(有或没有访问一个可查询的专家)更好地装备,以处理这类渐近可实现的问题比政策外的方法。这是因为策略算法可以证明从最初的次优行为中恢复过来,而非策略方法则将其次优的过去行为视为来自专家。这通常表现为闭锁行为:对过去行为的天真重复。我们在一个玩具强盗域进行实验,结果表明,存在急剧的相变是否关闭政策的方法是能够渐近匹配专家的性能,在一致的良好性能的政策方法。我们证明,在几个连续的控制任务,对政策的方法是能够使用历史来确定上下文,而关闭政策的方法实际上表现得更差,当访问历史。
2023-01-14 cs.LG
APRIL: Active Preference-learning based Reinforcement Learning
CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Université Paris-Sud(巴黎第十一大学)
本文主要研究有限先验知识下的强化学习。例如,在群体机器人领域,专家很难设计奖励函数或演示目标行为,禁止使用标准RL和反向强化学习。虽然专业知识有限,但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架:专家的偏好被用来学习一个近似的策略返回,从而使代理实现直接的策略搜索。迭代地,代理选择一个新的候选策略,并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈,使代理细化近似的政策回报,并迭代的过程。在本文中,基于偏好的强化学习结合主动排名,以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明,几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
C-MORL: Multi-Objective Reinforcement Learning through Efficient Discovery of Pareto Front
University of Oxford(牛津大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Queen Mary University of London(伦敦大学玛丽女王学院);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);University of Alberta(阿尔伯塔大学)
本文提出C-MORL算法,通过两阶段训练结合约束策略优化与多目标强化学习,高效发现帕累托前沿,在多达九个目标的控制任务上取得更优性能。
2025-05-07 cs.LG cs.SY eess.SY
Random Expert Distillation: Imitation Learning via Expert Policy Support Estimation
Imperial College London(帝国理工学院)
我们考虑的问题,模仿学习从一组有限的专家轨迹,没有获得强化信号。通过逆强化学习提取专家的奖励函数,然后进行强化学习的经典方法是间接的,并且可能是计算昂贵的。最近的生成式对抗方法基于匹配专家和代理之间的策略分布,在训练过程中可能不稳定。我们提出了一个新的框架,通过估计专家政策的支持,以计算一个固定的奖励函数,这使我们能够重新框架内的标准强化学习设置模仿学习。我们证明了我们的奖励函数在离散和连续域上的有效性,在不同的强化学习算法下实现了与最先进的性能相当或更好的性能。
2019-06-07 cs.LG stat.ML
A Few Expert Queries Suffices for Sample-Efficient RL with Resets and Linear Value Approximation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
本文研究了在只有最优值函数被假设为线性可实现的情况下的样本有效强化学习(RL)。最近已经理解的是,即使在这种看似强有力的假设和对生成模型的访问下,最坏情况的样本复杂性也可能是令人望而却步的(即,指数地)大。我们调查的设置,学习者还可以从专家政策的互动演示,我们提出了一个统计和计算效率的算法(Delphi)混合探索与专家查询。特别是,Delphi需要$\tilde{\mathcal{O}}(d)$专家查询和$\texttt{poly}(d,H,|\mathcal{A}|,1/\varepsilon)$数量的探索性样本来可证明地恢复$\varepsilon$次优策略。与纯RL方法相比,这对应于样本复杂度的指数级改进,而专家输入非常少。与先前的模仿学习(IL)方法相比,我们所需的专家演示的数量是独立的$H$和对数的$1/\varepsilon$,而所有先前的工作需要至少线性因子的$d$除了相同的依赖。为了建立所需的最小量的专家查询,我们表明,在相同的设置,任何学习者的探索预算是多项式有界的(在$d,H,$和$|\mathcal{A}|$方面)将需要至少$\tildeΩ(\sqrt{d})$ Oracle调用恢复与专家的值函数竞争的政策。在较弱的假设下,专家的政策是线性的,我们表明,下限增加到$\tildeΩ(d)$。
2022-07-18 cs.LG
Toward negotiable reinforcement learning: shifting priorities in Pareto optimal sequential decision-making
Machine Intelligence Research Institute(机器智能研究所);UC Berkeley, Center for Human Compatible AI(加州大学伯克利分校人类兼容人工智能中心)
现有的多目标强化学习(MORL)算法不考虑具有不同信念的玩家产生的目标。具体地说,考虑两个具有不同信念和效用函数的参与者,他们可以合作建造一台代表他们采取行动的机器。需要一个表示来表示机器的策略将在多大程度上优先考虑每个玩家的利益。假设球员已经达到了他们的情况的共同知识,本文推导出一个递归,任何帕累托最优策略必须满足。从递归中可以得到两个定性的观察结果:机器必须(1)使用每个参与者自己的信念来评估一个行动对该参与者的效用函数有多好,以及(2)随着时间的推移,它分配给每个参与者的预期效用的相对优先级,与参与者的信念预测机器输入的程度成正比。观察结果(2)代表了与朴素的线性效用聚合(如海萨尼的效用定理和现有的MORL算法)的实质性分歧,这里表明,代表不同信念的参与者进行帕累托最优顺序决策是不够的。
2017-05-13 cs.AI cs.GT cs.LG
Hundreds Guide Millions: Adaptive Offline Reinforcement Learning with Expert Guidance
Tsinghua University(清华大学)
本文提出GORL,一种即插即用的离线强化学习方法,利用引导网络和少量专家演示,自适应地为每个样本分配策略改进与约束的权重,理论证明其指导合理且近最优,实验显示可显著提升多种离线RL算法性能。
2023-09-04 cs.LG
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington(华盛顿大学)
面对不确定性,明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程(MDP)上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准,但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解:在没有不确定性的情况下,每个潜在的MDP更容易解决。我们首先获得一组专家,每个潜在的MDP一个,并融合他们的建议来计算基线策略。接下来,我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法,贝叶斯残差策略优化(BRPO),进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合,并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法,保证领导者策略的单调改进,并引入帕累托最优作为SSE的扩展最优性,证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
Data augmentation for efficient learning from parametric experts
DeepMind(深度思维)
我们提出了一种简单而强大的数据增强技术,使数据有效的学习参数专家强化和模仿学习。我们专注于我们所谓的策略克隆设置,其中我们使用专家或专家策略的在线或离线查询来通知学生策略的行为。这种设置在许多问题中自然出现,例如作为行为克隆的变体,或作为其他算法(如DAGGER,策略蒸馏或KL正则化RL)的组件。我们的方法,增强的政策克隆(APC),使用合成状态,以诱导反馈敏感性在采样轨迹周围的区域,从而大大减少了成功克隆的专家所需的环境相互作用。对于高自由度的控制问题,我们实现了从专家到学生策略的高数据效率的行为转移。我们证明了我们的方法的好处,在几个现有的和广泛使用的算法,包括政策克隆作为一个组成部分的背景下。此外,我们强调了我们的方法在两个实际相关的设置中的好处:(a)专家压缩,即转移到具有较少参数的学生;(b)从特权专家转移,即专家具有与学生不同的观察空间,通常包括访问特权信息。
2022-05-23 cs.AI cs.LG
Adaptive Expert Guidance for Efficient On-Policy Reinforcement Learning
EPFL(洛桑联邦理工学院);University of Zurich(苏黎世大学)
提出一种在线策略强化学习方法,通过可学习参数动态调整专家与学习者的控制份额,在训练早期利用次优专家提升样本效率,随能力增强自动退出,最终优于专家。
2026-10-06 cs.AI cs.LG
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Alibaba Group(阿里巴巴集团)
本文提出CHORD框架,通过动态加权将监督微调与强化学习统一,解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题,实验表明其在多个任务中具有稳定高效的性能。
2026-03-17 cs.AI cs.LG
Pareto Q-Learning with Reward Machines
Linköping University, Sweden(瑞典_linköping大学);Univ. Lille, CNRS, Centrale Lille, UMR 9189 CRIStAL, F-59000 Lille, France(法国里尔大学、CNRS、中央里尔学院、UMR 9189 CRIStAL、法国里尔);Univ. Toulouse, INRAE-MIAT, Toulouse, France(法国图卢兹大学、INRAE-MIAT、图卢兹)
提出PQLRM算法,结合帕累托Q学习和奖励机,在多目标强化学习中高效逼近帕累托前沿,并处理非马尔可夫奖励。
2026-06-18 cs.AI cs.LG
Learning Pareto-Optimal Pandemic Intervention Policies with MORL
本研究提出结合多目标强化学习与高保真随机微分方程疫情模拟器的框架,训练帕累托条件网络智能体,挖掘不同传染病防控中卫生与经济的策略权衡,为循证公共卫生政策制定提供支持。
2025-10-02 cs.AI cs.CY cs.LG
Latent-Conditioned Policy Gradient for Multi-Objective Deep Reinforcement Learning
Hitachi America, Ltd. R&D(日立美国研发有限公司)
针对多目标强化学习中穷举帕累托最优策略难度大的问题,提出一种基于策略梯度的单网络训练算法,无需线性标量化即可单次获取近似帕累托集,适配连续与离散动作空间,性能优于标准基线。
2024-10-05 cs.LG cs.RO
Pareto Conditioned Networks
Vrije Universiteit Brussel(布鲁塞尔自由大学)
在多目标优化中,学习所有达到帕累托有效解的策略是一个昂贵的过程。最优策略的集合可以随着目标的数量呈指数级增长,并且恢复所有解决方案需要对整个状态空间进行详尽的探索。我们提出了帕累托条件网络(PCN),一种方法,使用一个单一的神经网络,以涵盖所有非支配的政策。PCN将过去的每一次过渡与其剧集的回归联系起来。它训练网络,使得当以相同的返回为条件时,它应该重演所述过渡。在此过程中,我们将优化问题转化为分类问题。我们恢复一个具体的政策,通过调节网络所需的帕累托有效的解决方案。我们的方法是稳定的,因为它以监督的方式学习,从而避免了移动目标的问题。此外,通过使用单个网络,PCN可以有效地扩展目标的数量。最后,它对Pareto前沿的形状做了最小的假设,这使得它比以前最先进的多目标强化学习算法适用于更广泛的问题。
2022-04-11 cs.AI cs.LG
FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
FSPO通过策略一致风险模型、决策条件轨迹校准和帕累托资源延续证书,联合解决预算受限LLM强化学习后训练中的风险估计、校准和资源可行性问题,显著提升准确率并降低决策错误。
2026-10-19 cs.AI cs.CL cs.LG
Computing the Exact Pareto Front in Average-Cost Multi-Objective Markov Decision Processes
Department of Computer;Information Science, Link \"o ping University, Sweden Email
本文研究了平均成本多目标马尔可夫决策过程中的精确帕累托前沿,通过几何特性分析,揭示了其作为凸多面体边界连续分段线性表面的结构,并应用于远程状态估计问题。
2026-04-02 cs.IT cs.LG cs.NI
Policy Gradient Search: Online Planning and Expert Iteration without Search Trees
DeepMind(深度思考);OpenAI;University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
蒙特卡罗树搜索(MCTS)算法执行基于模拟的搜索以在线改进策略。在搜索过程中,模拟策略被调整以探索最有希望的路线。MCTS已经被最先进的程序用于解决许多问题,但是MCTS的缺点是它使用存储在搜索树中的Monte Carlo平均值来估计状态的值;这不能扩展到具有非常高分支因子的游戏。我们提出了一种替代的基于模拟的搜索方法,策略梯度搜索(PGS),通过策略梯度更新在线适应神经网络模拟策略,避免了搜索树的需要。在Hex中,PGS实现了与MCTS相当的性能,并且使用专家迭代与PGS训练的代理能够在9 x9 Hex中击败最强大的开源Hex代理MoHex 2.0。
2019-04-07 cs.LG stat.ML
Diluted Near-Optimal Expert Demonstrations for Guiding Dialogue Stochastic Policy Optimisation
University of Avignon(阿维尼翁大学);Orange Labs(奥兰奇实验室)
学习对话代理可以从与用户的交互中推断其行为。这些交互可以从人与人或人机对话中获取。然而,人类的互动是稀缺和昂贵的,使得学习从少数互动必不可少。加速学习过程的一个解决方案是在专家的帮助下指导代理的探索。在本文中,我们提出了几个模仿学习策略的对话政策的指导专家是一个接近最优的手工制作的政策。我们将这些策略与最先进的强化学习方法的基础上Q学习和演员评论。我们特别提出了一个随机的探索政策,允许无缝杂交的学习政策和专家。我们的实验表明,我们的杂交策略优于几个基线,它可以加速学习时,面对真正的人。
2020-11-25 cs.AI cs.CL cs.LG
Pareto Actor-Critic for Equilibrium Selection in Multi-Agent Reinforcement Learning
University of Edinburgh(爱丁堡大学)
针对多智能体强化学习易收敛到帕累托次优均衡的问题,提出Pareto-AC算法,利用无冲突博弈性质选择帕累托最优均衡,在多种博弈中优于七种现有算法,并扩展出可扩展的PACDCG。
2023-10-14 cs.LG cs.MA
Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning
Centrum Wiskunde & Informatica (CWI)(数学和计算机科学中心(CWI));Eindhoven University of Technology(埃因霍温理工大学)
该研究针对帕累托条件强化学习的帕累托条件网络,提出命令空间反事实解释方法CF-ZOO,通过边界种子方向搜索生成可操作的直观解释。
2026-08-18 cs.AI cs.HC cs.LG
MLComp: A Methodology for Machine Learning-based Performance Estimation and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences
Institute of Computer Engineering, Technische Universität Wien (TUWien)(维也纳技术大学计算机工程学院);TU Wien(维也纳技术大学);ABIX GmbH(ABIX有限公司);Division of Engineering, New York University Abu Dhabi(纽约大学阿布扎比分校工程学院)
随着网络物理系统和物联网的发展,嵌入式系统在各种消费和工业应用中激增。这些系统受到严格的约束,因此嵌入式软件必须同时针对多个目标进行优化,即降低能耗、执行时间和代码大小。制造商提供优化阶段来改进这些指标。然而,它们的正确选择和排序取决于多种因素,通常需要专业知识。最先进的优化器可以根据具体情况为不同的平台和应用程序提供便利,但它们受到每次优化一个指标的限制,并且需要通过动态分析对不同目标进行耗时的适应。为了解决这些问题,我们提出了新的MLComp方法,其中优化阶段由基于强化学习的策略排序。策略的训练由基于机器学习的分析模型支持,用于快速性能估计,从而大幅减少动态分析所花费的时间。在我们的框架中,自动测试不同的机器学习模型,以选择最适合的模型。利用训练的性能估计模型来有效地设计基于强化学习的多目标策略,以创建准最优相位序列。与最先进的估计模型相比,我们的性能估计器模型在多个平台和应用领域中实现了更低的相对误差(<2%),训练时间最多快50倍。我们的阶段选择策略将给定代码的执行时间和能耗分别提高了12%和6%。性能估计和阶段选择策略可以针对任何目标平台和应用领域进行有效训练。
2020-12-11 cs.LG cs.PL
Self-Optimizing and Pareto-Optimal Policies in General Environments based on Bayes-Mixtures
研究了在未知概率环境下的序贯决策问题。在循环$t$中,动作$y_t$导致感知$x_t$和奖励$r_t$,其中所有量通常可以取决于完整的历史。感知$x_t$和奖励$r_t$从(反应性)环境概率分布$μ$中采样。这种非常一般的设置包括但不限于(部分可观察的,k阶)马尔可夫决策过程。序贯决策理论告诉我们,如果$μ$是已知的,我们应该如何行动,以最大化总的预期回报,即价值。如果$μ$未知,则通常使用强化学习。在贝叶斯方法中,将混合分布$ξ$定义为分布$ν\in\M$的加权和,其中$\M$是包括真实环境$μ$的任何分布类。我们表明,贝叶斯最优策略$p^ξ$的基础上的混合$ξ$是自优化的意义上说,所有$μ\in\M$的平均值渐近收敛到(不可行的)贝叶斯最优策略$p^μ$,它知道$μ$提前实现的最优值。我们表明,$\M$承认自我优化的政策在所有的必要条件,也是充分的。未对$\M$进行其他结构假设。作为一个例子的应用程序,我们讨论遍历马尔可夫决策过程,允许自我优化的政策。此外,我们表明,$p^ξ$是帕累托最优的意义上说,没有其他政策产生更高或相等的价值在{ \em所有}环境$ν\in\M$和严格更高的价值在至少一个。
2002-04-17 cs.AI cs.LG math.OC
How to Find the Exact Pareto Front for Multi-Objective MDPs?
The Ohio State University(俄亥俄州立大学);University of Kentucky(肯塔基大学)
针对多目标马尔可夫决策过程(MO-MDPs)难以找到精确帕累托前沿的问题,本文揭示其几何结构性质,提出仅需一次单目标MDP求解并遍历边的高效算法,大幅降低复杂度。
2025-02-10 cs.LG stat.ML
Probabilistic Mixture-of-Experts for Efficient Deep Reinforcement Learning
Xidian University(西安电子科技大学);Peking University(北京大学);Princeton University(普林斯顿大学);Delft University of Technology(代尔夫特理工大学)
深度强化学习(DRL)最近成功地解决了各种问题,通常使用单峰策略表示。然而,掌握可区分的技能,一些任务与非唯一的最优可能是必要的,以进一步提高其学习效率和性能,这可能会导致多模态政策表示为混合专家模型(MoE)。据我们所知,目前的DRL算法的一般效用不部署这种方法作为政策函数逼近由于其可微性的潜在挑战策略学习。在这项工作中,我们提出了一个概率混合专家模型(PMOE)实现的高斯混合模型(GMM)的多模态政策,连同一个新的梯度估计的不可微性问题,它可以应用于通用的关闭政策和政策DRL算法使用随机政策,例如,软行动者-批评(SAC)和近端策略优化(PPO)。实验结果证明了该方法优于单峰策略和两种不同的MoE方法,以及一种基于上述两种DRL算法的选项框架方法。GMM的不同梯度估计,如重新参数化技巧(Gumbel-Softmax)和分数比技巧也与我们的方法进行了比较。我们进一步实证证明了可区分的原语与PMOE学习,并显示我们的方法在探索方面的好处。
2021-04-19 cs.AI cs.LG
Refined Policy Distillation: From VLA Generalists to RL Experts
Department of Computer Science & Artificial Intelligence, University of Technology Nuremberg(计算机科学与人工智能系,图恩大学)
提出精细化策略蒸馏(RPD),结合在线强化学习与行为克隆,将VLA通才蒸馏为专家策略,在操作任务中超越教师模型并提升收敛速度与泛化能力。
2025-08-04 cs.LG cs.RO
Beyond-Expert Performance with Limited Demonstrations: Efficient Imitation Learning with Double Exploration
Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系);IHPC, Agency for Science, Technology and Research, Singapore(新加坡科技研究局信息与通信技术研究所);CFAR, Agency for Science, Technology and Research, Singapore(新加坡科技研究局癌症研究基金会)
提出双重探索模仿学习算法(ILDE),通过乐观策略优化和好奇心驱动的状态探索,在有限样本下提升收敛速度并实现超越专家的性能,且具有次线性遗憾的理论保证。
2025-06-25 cs.AI cs.LG
Goal-Reaching Policy Learning from Non-Expert Observations via Effective Subgoal Guidance
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Donghai Laboratory(东海实验室)
针对非专家、无动作观测中的长时域目标到达问题,提出基于扩散策略的子目标生成与状态—目标价值引导,并集成到离策略 actor-critic 中,显著提升机器人导航与操作性能。
2024-09-06 cs.LG cs.RO
Model-Free Imitation Learning with Policy Optimization
Stanford University(斯坦福大学)
在模仿学习中,智能体通过模仿专家演示来学习如何在具有未知成本函数的环境中表现。现有的模仿学习算法通常涉及解决一系列规划或强化学习问题。因此,这样的算法不直接适用于大的,高维的环境,其性能可以显着降低,如果规划问题没有解决到最优。根据学徒学习形式主义,我们开发了替代无模型算法,以找到一个参数化的随机政策,执行至少以及一个专家政策的一个未知的成本函数,根据样本轨迹从专家。我们的方法,基于策略梯度,规模大的连续环境,保证收敛到局部极小值。
2016-05-26 cs.AI cs.LG
XAI-N: Sensor-based Robot Navigation using Expert Policies and Decision Trees
University of Maryland(马里兰大学)
我们提出了一种新的基于传感器的学习导航算法,以计算机器人在密集和动态环境中移动障碍物或目标的无碰撞轨迹。我们的方法使用基于深度强化学习的专家策略,该策略使用sim2real范式进行训练。为了提高专家策略的可靠性和处理失败的情况下,我们结合了策略提取技术,将产生的策略转换成一个决策树格式。由此产生的决策树的属性,我们用来分析和修改的政策,并提高性能的导航指标,包括平滑度,振荡频率,频率的固定,和障碍的目标。我们能够修改策略来解决这些缺陷,而无需重新训练,将深度学习的学习能力与特定领域算法的控制相结合。我们强调了我们的算法在模拟环境中的好处,并在移动的行人中导航Clearpath Jackal机器人。(视频网址:https://gamma.umd.edu/researchdirections/xrl/navviper)
2021-07-19 cs.AI cs.LG cs.RO
Policy Regret for Embedding Model Routing: Contextual Bandits with Low-Rank Experts
Operations Research Center, MIT(麻省理工学院运筹学研究中心);Sloan School of Management, MIT(麻省理工学院斯隆管理学院);Department of EECS, MIT(麻省理工学院电气工程与计算机科学系)
针对推荐系统中嵌入模型路由问题,形式化为具有低秩专家的对抗性上下文线性赌博机,提出Hypentropy策略梯度算法,实现$\tilde{\mathcal O}(s\sqrt{M T})$线性化策略遗憾。
2026-09-28 cs.AI cs.LG stat.ML
Learning without Knowing: Unobserved Context in Continuous Transfer Reinforcement Learning
Duke University(杜克大学)
在本文中,我们考虑了一个转移强化学习(RL)问题,在连续的状态和动作空间,在不可观察的上下文信息。例如,上下文可以表示专家代理通过过去与这个世界的交互而形成的世界的心理视图。我们假设,这种情况下是无法访问的学习者代理谁只能观察专家数据。然后,我们的目标是使用上下文感知的专家数据,学习一个最佳的上下文不知道的政策,学习器只使用一些新的数据样本。这些问题通常使用模仿学习来解决,该学习假设专家和学习者代理都可以访问相同的信息。然而,如果学习者不知道专家上下文,单独使用专家数据将导致有偏见的学习者策略,并且将需要许多新的数据样本来改进。为了解决这一挑战,在本文中,我们将学习问题表示为因果约束的多臂强盗(MAB)问题。该MAB的臂对应于可以使用专家数据以无监督方式初始化的一组基础策略函数,并且表示受未观察到的上下文影响的不同专家行为。另一方面,MAB约束对应于我们也从专家数据计算的这些基本策略函数的累积奖励的因果界限。该MAB的解决方案允许学习者代理选择最佳的基本策略并在线改进。因果界限的使用降低了探索方差,因此提高了学习率。我们提供了一个自动驾驶的例子,表明我们提出的转移RL方法提高学习者的政策比现有的模仿学习方法更快,并享有更低的方差在训练过程中的数值实验。
2021-06-07 cs.AI cs.LG
Expert-Supervised Reinforcement Learning for Offline Policy Learning and Evaluation
Harvard University(哈佛大学);MIT(麻省理工学院)
离线强化学习(RL)是一种很有前途的方法,用于在直接探索昂贵或不可行的环境中学习最优策略。然而,在实践中采用这样的政策往往是具有挑战性的,因为它们很难在应用程序的上下文中解释,并缺乏措施的不确定性的学习政策的价值和它的决定。为了克服这些问题,我们提出了一个专家监督强化学习(ESRL)框架,使用不确定性量化离线策略学习。特别是,我们有三个贡献:1)该方法可以学习安全和最佳的政策,通过假设检验,2)ESRL允许不同级别的风险规避实现定制的应用程序上下文,最后,3)我们提出了一种方法来解释ESRL的政策在每个状态下,通过后验分布,并使用这个框架来计算政策外的价值函数后验。我们提供了理论保证,我们的估计和遗憾界一致RL(PSRL)的后验抽样。ESRL的样本效率与所选择的风险厌恶阈值和行为策略的质量无关。
2020-10-30 cs.AI cs.LG stat.ME
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech(佐治亚理工学院)
模仿学习(IL)由一组工具组成,这些工具利用专家演示来快速学习策略。然而,如果专家是次优的,IL可以产生性能较差的政策相比,强化学习(RL)。在本文中,我们的目标是提供一个算法,结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点,表明这些算法可以被视为单一方法的变体。然后,我们提出了LOKI,策略学习的策略,首先执行一个小的,但随机数的IL迭代之前切换到策略梯度RL方法。我们表明,如果切换时间是适当的随机化,LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后,我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
Learn to Exceed: Stereo Inverse Reinforcement Learning with Concurrent Policy Optimization
University of Texas(德克萨斯大学);Department of Electrical and Computer Engineering(电气与计算机工程系);San Antonio, TX 78249(圣安东尼奥,德克萨斯州78249)
在本文中,我们研究的问题,获得一个控制策略,可以模仿,然后优于专家演示马尔可夫决策过程中的奖励函数是未知的学习代理。一种主要的相关方法是逆强化学习(IRL),其主要关注于从专家演示中推断奖励函数。然而,IRL及其相关算法所获得的控制策略很难优于专家演示。为了克服这一限制,我们提出了一种新的方法,使学习代理,通过一个新的并发奖励和行动策略学习方法优于演示。特别是,我们首先提出了一个新的立体效用定义,旨在解决专家演示的解释偏见。然后,我们提出了一个损失函数的学习代理学习奖励和行动的政策,同时使学习代理可以胜过专家演示。所提出的方法的性能首先在OpenAI环境中证明。进一步的努力进行实验验证所提出的方法通过室内无人机飞行场景。
2020-09-22 cs.LG cs.RO stat.ML
Robot Policy Learning from Demonstration Using Advantage Weighting and Early Termination
University of Lincoln(林肯大学)
在现实世界中学习机器人任务仍然具有很高的挑战性和有效的实际解决方案仍然有待发现,在这一领域使用的传统方法是模仿学习和强化学习,但它们都有局限性时,应用于真实的机器人。将强化学习与预先收集的演示相结合是一种很有前途的方法,可以帮助学习控制策略来解决机器人任务。在本文中,我们提出了一种算法,使用新的技术来利用离线专家数据,使用离线和在线训练,以获得更快的收敛速度和更好的性能。所提出的算法(AWET)权重的批评家损失与一个新的代理优势权重,以改善专家数据。此外,AWET利用自动提前终止技术来停止和丢弃与专家轨迹不相似的策略推出,以防止偏离专家数据。在一项消融研究中,AWET在四项标准机器人任务上与最先进的基线相比表现出了改进和有前途的性能。
2022-07-31 cs.LG cs.RO
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University(麦吉尔大学)
对抗性模仿学习(AIL)是强化学习(RL)中的一类算法,它试图在不从环境中获取任何奖励的情况下模仿专家,并且不将专家行为直接提供给策略训练。相反,代理学习策略分布,最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习(AIRL)利用AIL的思想,将奖励函数近似与学习策略相结合,并显示了IRL在迁移学习设置中的实用性。但是,实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习(Off-policy-AIRL)算法,该算法在连续控制任务中具有样本有效性,并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器,我们显示了学习我们的算法AIL的实用性,通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化,专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Learning Pareto-Optimal Rewards from Noisy Preferences: A Framework for Multi-Objective Inverse Reinforcement Learning
Department of Computer Science(计算机科学系);Illinois Mathematics and Science Academy(伊利诺伊数学与科学学院)
针对生成式智能体与复杂人类价值对齐的挑战,提出基于偏好的多目标逆强化学习框架,推导帕累托前沿近似的样本复杂度界,提出可证明收敛的策略优化算法,为高维价值多元环境下的对齐学习提供理论基础。
2025-07-28 cs.AI cs.CG cs.LG
Efficient Reinforcement Learning from Demonstration Using Local Ensemble and Reparameterization with Split and Merge of Expert Policies
University of Notre Dame(圣母大学)
目前的强化学习(RL)的工作,从演示往往假设演示是从一个最优的政策,在实践中不切实际的假设样本。当演示由次优策略生成或具有稀疏的状态-动作对时,从次优演示中学习的策略可能会误导具有不正确或非局部动作决策的代理。我们提出了一种新的方法,称为本地Encrimination和重新参数化与分裂和合并的专家政策(LEARN-SAM),以提高效率,更好地利用次优的演示。首先,LEARN-SAM采用了一个新的概念,在当前状态之间的差异性测量的基础上,演示状态“本地化”的权重的专家政策在学习过程中,的EQUIDA功能。其次,LEARN-SAM采用了分裂和合并(SAM)的机制,通过分离每个专家演示中有用的部分,并将它们重新组合成新的专家策略,以选择性地使用演示。学习函数和SAM机制都有助于提高学习速度。在理论上,证明了SAM机制前后重新参数化策略的不变性质,为所采用的策略梯度方法的收敛性提供了理论保证。我们证明了LEARN-SAM方法的优越性和它的鲁棒性与不同的演示质量和稀疏性在六个实验中复杂的连续控制问题的低到高维,相比现有的方法RL从演示。
2022-05-23 cs.LG stat.ML
Online Matching via Reinforcement Learning: An Expert Policy Orchestration Strategy
Université Paris-Saclay, CNRS, Inria, Laboratoire de mathématiques d’Orsay(巴黎-萨克雷大学、国家科学研究中心、法国国家信息与自动化研究所、奥赛数学实验室);LAAS, Université de Toulouse, CNRS(拉劳斯研究所、图卢兹大学、国家科学研究中心)
针对在线匹配问题,提出一种基于强化学习的专家策略编排方法,通过优势加权结合专家决策,实现更快收敛和更高系统效率。
2025-10-07 cs.LG stat.ML
Aligning Multi-Trajectory Supervision with Policy Optimization for VLA Driving
School of Computer Science, Wuhan University(武汉大学计算机学院);Dongfeng Research & Development Institute(东风研发院)
针对VLA驾驶中多轨迹与GRPO不对齐的问题,本文提出对齐框架,引入两种互补机制,在NAVSIM数据集上取得优于GRPO基线的性能。
2026-09-01 cs.AI cs.CV cs.LG