PIQL: Projective Implicit Q-Learning with Support Constraint for Offline Reinforcement Learning
Institut Polytechnique de Paris（巴黎理工学院）
PIQL通过引入投影和支持约束改进隐式Q学习，提升离线强化学习的适应性和性能，实现多步价值估计和更严格的有利动作标准，在多个基准上取得最佳效果。
2026-02-02 cs.AI cs.LG
UNIQ: Conformal Calibration for Adaptive Conservatism in Offline Reinforcement Learning
IIIT Delhi（印度德里国际信息技术学院）
提出UNIQ方法，通过共形预测校准不确定性，实现状态自适应的保守性惩罚，在D4RL基准上以接近IQL的内存开销提升性能。
2026-05-28 cs.LG
Offline Reinforcement Learning with Implicit Q-Learning
University of California, Berkeley（加州大学伯克利分校）
离线强化学习需要协调两个相互冲突的目标：学习一种策略，该策略改善了收集数据集的行为策略，同时最小化与行为策略的偏差，以避免由于分布偏移而导致的错误。这种权衡是至关重要的，因为大多数当前的离线强化学习方法需要在训练过程中查询看不见的动作的值以改进策略，因此需要将这些动作约束为分布，或者正则化它们的值。我们提出了一种离线RL方法，它永远不需要评估数据集之外的操作，但仍然能够通过泛化使学习的策略在数据中的最佳行为上得到实质性的改进。我们工作中的主要见解是，我们可以通过将状态价值函数视为随机变量来隐式地近似策略改进步骤，而不是评估来自最新策略的看不见的动作，其中随机性由动作确定（同时仍对动态进行整合，以避免过度乐观），然后取该随机变量的状态条件上期望值来估计该状态下最佳行动的值。这利用了函数近似器的泛化能力来估计给定状态下最佳可用动作的值，而无需直接查询具有该不可见动作的Q函数。我们的算法在拟合这个上限期望价值函数和将其备份到Q函数之间交替。然后，我们提取的政策，通过加权行为克隆。我们称我们的方法隐式Q学习（IQL）。IQL在D4RL上展示了最先进的性能，D4RL是离线强化学习的标准基准。我们还证明了IQL实现强大的性能微调使用离线初始化后的在线交互。
2021-10-12 cs.LG
Statistics and Samples in Distributional Reinforcement Learning
DeepMind；Google Brain（谷歌大脑）
我们提出了一个统一的框架，设计和分析分布式强化学习（DRL）算法的递归估计统计的回报分布。我们的主要观点是，DRL算法可以分解为一些统计估计和方法的组合，用于估算与该统计数据集一致的回报分布。有了这个新的理解，我们能够提供现有的DRL算法的改进分析，以及构建一个新的算法（EDRL）的基础上估计的预期收益分布。我们将EDRL与各种MDP上的现有方法进行比较，以说明我们分析的具体方面，并开发了该算法的深度RL变体ER-DQN，我们在Atari-57游戏套件上进行了评估。
2019-02-21 cs.LG stat.ML
Federated Reinforcement Learning in Heterogeneous Environments
Department of Electronic Engineering, Hanyang University（电子工程系，翰阳大学）
本文针对异构环境提出FRL-EH框架及FedRQ算法，通过新型全局目标函数实现鲁棒策略学习，并扩展至连续状态空间，实验证明其性能优于现有联邦强化学习方法。
2025-07-19 cs.LG
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University（清华大学）
离线强化学习（RL）显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中，我们采用了一个不同的框架，它学习V函数而不是Q函数，以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化，我们提出了期望V学习（EVL），它平滑地插入最优值学习和行为克隆之间。此外，我们沿着离线轨迹引入隐式规划，以增强学习的V值并加速收敛。同时，我们提出了一种新的离线方法，称为基于价值的情景记忆（VEM）。我们提供了我们提出的VEM方法的收敛特性的理论分析，并在D4RL基准测试的实证结果表明，我们的方法在大多数任务，特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Understanding and Addressing the Pitfalls of Bisimulation-based Representations in Offline Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Alibaba Group（阿里巴巴集团）；McGill University（麦吉尔大学）；Mila, Quebec AI Institute（米拉魁北克人工智能研究所）；Wayve
本文分析了基于互模拟的表示方法在离线强化学习中失效的原因，提出使用期望算子和奖励缩放策略改进表示学习，并在MICo和SimSR上验证了性能提升。
2023-10-26 cs.LG
Utility-Based Reinforcement Learning: Unifying Single-objective and Multi-objective Reinforcement Learning
Federation University Australia（澳大利亚联邦大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Galway（高威大学）；Deakin University（迪肯大学）；Linköping University（林雪平大学）；Universidade do Vale do Rio dos Sinos（南里约 dos Sinos大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出将基于效用的范式从多目标强化学习扩展到单目标强化学习，以统一两者，并探讨其在多策略学习、风险感知、折扣和安全强化学习中的潜在益处及算法影响。
2024-02-05 cs.LG
Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
本文提出一种在线奖励维度缩减方法，以提升多目标强化学习的可扩展性，在包括十六个目标的环境中显著优于现有方法。
2025-02-28 cs.LG
Regret Bounds for Risk-Sensitive Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
在强化学习的安全关键应用中，例如医疗保健和机器人技术，通常需要优化考虑尾部结果而不是预期回报的风险敏感目标。我们证明了强化学习的第一遗憾界下的一般类风险敏感的目标，包括流行的CVaR目标。我们的理论是基于一个新的特征的CVaR目标，以及一个新的乐观的MDP建设。
2022-10-11 cs.LG
A Scale-Independent Multi-Objective Reinforcement Learning with Convergence Analysis
许多序贯决策问题需要对可能相互冲突的不同目标进行优化。处理多任务问题的传统方法是基于不同目标的线性组合建立标量目标函数。然而，对于具有不同尺度的冲突目标的情况，该方法需要试错法来适当地找到用于组合的适当权重。因此，在大多数情况下，这种方法不能保证最优的帕累托解决方案。本文在AdvantageActor-Critic（A2 C）算法的基础上，提出了一种单智能体尺度无关的多目标强化学习。收敛性分析，然后做设计的多目标算法提供了一个收敛的平均保证。然后，我们进行了一些实验，多任务问题，以评估所提出的算法的性能。仿真结果表明了多目标A2 C方法相对于单目标算法的优越性。
2023-02-27 cs.LG
A General Perspective on Objectives of Reinforcement Learning
School of Artificial Intelligence, Peking University（北京大学人工智能学院）
本文提出强化学习目标的通用视角，通过标准定义、$λ$-return 版本及统一二者的通用目标，建立连接 TD$(λ)$、GAE 等技术的基础公式。
2023-06-05 cs.LG
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Galway（戈尔韦大学）；City of Amsterdam（阿姆斯特丹市）；Utrecht University（乌得勒支大学）
本文提出迭代帕累托参照优化（IPRO），将多目标强化学习中帕累托前沿的求解分解为一系列受约束单目标问题，在保证收敛的同时给出未发现解距离的上界，并在实验中取得与或优于现有方法的性能。
2025-02-06 cs.LG
Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity
Federation University Australia（联邦大学澳大利亚）；Deakin University（迪金大学）
本文研究了基于价值的方法在多目标强化学习中因非线性效用函数而出现的价值函数干扰和过估计敏感性问题，通过表格实现多目标Q学习展示了现象。
2026-04-22 cs.LG
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California（南加州大学）
本文提出RL2ML系列有限rollout替代目标，具有闭式无偏梯度估计，连接标准强化学习、类最大似然训练及超越最大似然目标，并揭示群体级更新尺度相变，将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
Robotics Institute, University of Toronto（多伦多大学机器人研究所）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
提出一种融合最大最小准则与显式约束满足的多目标强化学习框架，通过理论分析和表格实验验证收敛性，并在建筑热控制、多目标运动控制和温室气体排放感知交通管理中展示其平衡公平性与约束满足的有效性。
2026-05-29 cs.LG
Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance
University of Amsterdam（阿姆斯特丹大学）
本文提出一种结合公平性保证的多目标强化学习算法，通过洛伦兹支配识别公平奖励分布，提升多目标问题的可扩展性，在西安和阿姆斯特丹两个大型城市中展示出优于传统方法的性能。
2026-03-26 cs.LG
A Reinforcement Learning Hyper-Heuristic in Multi-Objective Single Point Search with Application to Structural Fault Identification
University of Connecticut（康涅狄格大学）
多目标优化问题是工程实践中经常遇到的问题。然而，解决方法和参数选择通常是针对具体问题的。在这项研究中，我们制定了一个强化学习超启发式计划，并提出了四个低层次的启发式，可以与单点搜索算法MOSA/R（基于Re-seed的多目标模拟退火算法）对多目标优化问题的一般应用。该算法利用控制量、拥挤距离和超体积计算，能够自适应地、自主地满足各种优化要求。开发的方法不仅表现出更好的和更强大的性能相比，AMOSA，NSGA-II和MOEA/D时，应用于基准测试用例，但也显示出有前途的结果时，应用到一个通用的结构故障识别问题。本研究的结果可以扩展到各种设计和制造优化应用。
2018-10-29 cs.LG
Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning
Seoul National University（首尔大学）
提出约束多目标强化学习算法CoMOGA，将多目标最大化视为约束优化问题并利用线性近似更新策略以避免梯度冲突，在表格环境中保证最优收敛并在所有任务中实现约束满足。
2024-05-31 cs.LG
Optimizing Language Models for Inference Time Objectives using Reinforcement Learning
Meta GenAI（Meta 生成式人工智能）；Meta FAIR
本文提出在语言模型训练中显式优化推理时间目标（如pass@k和多数投票），并在代码生成任务上验证该方法能显著提升模型推理性能。
2025-08-17 cs.LG
UCB-driven Utility Function Search for Multi-objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
针对多目标强化学习中线性效用函数的权重选择问题，提出基于UCB的权重搜索方法，以最大化帕累托前沿超体积，在Mujoco基准上优于多种基线。
2025-06-16 cs.LG
Lexicographic Multi-Objective Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们介绍了强化学习技术解决字典多目标问题。这些问题，涉及多个奖励信号，其目标是学习的政策，最大化的第一个奖励信号，并在此约束下，也最大化的第二个奖励信号，等等。我们提出了一个家庭的行动价值和策略梯度算法，可以用来解决这样的问题，并证明他们收敛到的政策是字典最优的。我们评估这些算法的可扩展性和性能的经验，证明其实用性。作为一个更具体的应用程序，我们展示了我们的算法可以用来施加安全约束的代理的行为，并比较他们的表现在这种情况下，与其他受约束的强化学习算法。
2022-12-28 cs.LG
Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI有限公司）
提出一种结合分解与进化搜索的群体元强化学习框架，通过维护权重向量群体并迭代优化，生成多样且分布均匀的帕累托前沿近似，在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Multi-objective Reinforcement Learning With Augmented States Requires Rewards After Deployment
Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续发展研究所，联邦大学澳大利亚）
本文指出多目标强化学习与传统单目标强化学习的关键区别，强调增强状态需要部署后持续获取奖励信号，探讨其实际影响。
2026-04-17 cs.LG
DROGO: Default Representation Objective via Graph Optimization in Reinforcement Learning
Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所）；Canada CIFAR AI Chair（加拿大 CIFAR 人工智能主席）
DROGO通过图优化在强化学习中直接近似默认表示的主特征向量，用于奖励塑造和多种应用。
2026-01-30 cs.LG
MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI 公司）
MIRACL通过元多目标强化学习框架，实现了在多目标多层级组合供应链优化中的高效适应与泛化，实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
Benchmarking Offline Multi-Objective Reinforcement Learning in Critical Care
本文评估了三种离线多目标强化学习算法在重症护理中的性能，发现PEDA DT在灵活性和多目标决策方面表现优异，为个性化医疗决策提供了新思路。
2025-12-08 cs.LG
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents
Delft University of Technology（代尔夫特理工大学）
针对深度强化学习智能体测试中失败场景缺乏多样性的问题，提出多目标进化搜索方法INDAGO-Nexus，联合优化失败概率与场景多样性，在三个智能体上相比INDAGO显著提升独特失败发现率并缩短失败时间。
2025-10-16 cs.LG
Dropout Strategy in Reinforcement Learning: Limiting the Surrogate Objective Variance in Policy Optimization Methods
Chongqing Normal University（重庆师范大学）；Dalian Maritime University（大连海事大学）；Minzu University of China（中央民族大学）
针对重要性采样导致策略优化代理目标方差过高的问题，本文推导方差上界并引入 dropout，提出通用框架及 D-PPO，在 Atari 2600 上验证其性能与方差控制优势。
2023-11-03 cs.LG
Behavior-Consistent Deep Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种行为一致的深度强化学习方法，通过控制策略的分布相似性来减少跨训练运行的策略分歧，从而提高稳定性和性能。
2026-08-24 cs.AI cs.LG
Non-orthogonal Age-Optimal Information Dissemination in Vehicular Networks: A Meta Multi-Objective Reinforcement Learning Approach
York University（约克大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；University of the Fraser Valley（弗雷泽河谷大学）
本文研究车载网络中最小化信息年龄与功耗的非正交信息传输问题，提出两阶段元多目标强化学习方法，利用混合DQN-DDPG模型估计高质量帕累托前沿，显著减少训练时间。
2024-02-15 cs.LG
Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning
Amazon（亚马逊）；The Ohio State University（俄亥俄州立大学）；University of Wisconsin Whitewater（威斯康星大学怀特沃特分校）；Rochester Institute of Technology（罗切斯特理工学院）
针对多目标冲突的MORL问题，提出MOAC actor-critic算法，证明其在折扣与平均奖励设置下独立于目标数的有限时间收敛和样本复杂度，并通过真实数据集验证有效性。
2024-05-09 cs.LG
A Reward-Free Viewpoint on Multi-Objective Reinforcement Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出利用无奖励强化学习（RFRL）视角解决多目标强化学习（MORL）问题，通过引入RFRL的训练目标作为辅助任务，提升知识共享效率，实验表明其在多目标Gymnasium任务中表现更优。
2026-04-27 cs.LG
On The Expressivity of Objective-Specification Formalisms in Reinforcement Learning
AI Safety Hub（AI安全中心）；Columbia University（哥伦比亚大学）；University of Oxford（牛津大学）
本文全面比较了强化学习中17种目标规范形式语言的表达能力，将其置于预序哈斯图中，发现没有任何形式语言兼具主导表达能力与易优化性，并指出了现有奖励学习方法的局限及未来研究方向。
2024-02-17 cs.LG
Rectifying Regression in Reinforcement Learning
本文从理论上证明平均绝对误差优于均方误差作为强化学习值函数回归目标，并表明交叉熵损失与平均绝对误差更匹配，实验验证其在线性强化学习中优于平方损失。
2025-11-10 cs.LG
Controllability in preference-conditioned multi-objective reinforcement learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院）；University of California, Berkeley（加州大学伯克利分校）；TU Delft（代尔夫特理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种新的评估指标，用于衡量偏好条件多目标强化学习中控制能力的可靠性，以解决现有指标无法准确反映偏好变化对智能体行为影响的问题。
2026-05-11 cs.LG
An Empirical Investigation of Value-Based Multi-objective Reinforcement Learning for Stochastic Environments
Federation University Australia（澳大利亚联邦大学）；Deakin University（迪肯大学）
本文实证研究了基于价值的 MORL Q-learning 算法在随机环境中优化 SER 准则时的局限性，发现嘈杂 Q 值估计对算法的稳定性和收敛性具有关键影响。
2024-01-06 cs.LG
Exploring Equity of Climate Policies using Multi-Agent Multi-Objective Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文提出Justice框架，结合多目标多智能体强化学习与整合评估模型，以生成兼顾公平性与气候经济目标的政策建议。
2025-11-30 cs.LG
Enabling Pareto-Stationarity Exploration in Multi-Objective Reinforcement Learning: A Multi-Objective Weighted-Chebyshev Actor-Critic Approach
University of Wisconsin-Whitewater（威斯尼斯大学）；Amazon（亚马逊）；Rochester Institute of Technology（罗切斯特理工学院）；The Ohio State University（俄亥俄州立大学）
针对多目标强化学习中帕累托平稳解系统探索及有限样本复杂度理论保障不足的问题，提出多目标加权切比雪夫演员-评论家算法，兼具理论保证与更优实验性能。
2025-07-29 cs.LG
On Generalization Across Environments In Multi-Objective Reinforcement Learning
Singapore Management University（新加坡管理大学）；Federation University Australia（澳大利亚联邦大学）
本文形式化多目标强化学习的跨环境泛化问题，提出含参数化配置的多目标基准，并通过基线实验揭示现有 MORL 算法泛化不足及标量奖励表达局限。
2025-03-12 cs.LG
A Micro-Objective Perspective of Reinforcement Learning
University of Waterloo（滑铁卢大学）
标准的强化学习（RL）公式考虑了（折扣）累积奖励的期望。这在我们不仅关注预期性能而且关注性能分布的应用中是有限的。在本文中，我们介绍了微观目标强化学习-一种替代RL形式主义，克服了这个问题。在这个新的公式中，RL任务由一组微观目标指定，这些微观目标是指定事件的可取性或不可取性的构造。此外，微观目标允许先验知识的时间抽象的形式被纳入到全球RL目标。这种形式主义的一般性，其关系到单/多目标RL，和分层RL进行了讨论。
2019-06-12 cs.LG stat.ML
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway（高威大学）
针对多目标强化学习中偏好多样且策略从零训练困难的问题，提出 DG-MORL，利用示范、角点权重对齐和自进化机制提升性能，并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT（麻省理工学院）；Brown University（布朗大学）
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的，解决了非经典强化学习目标的PAC可学习性开放问题，并验证了三个文献目标，指导了新目标的设计。
2023-03-19 cs.AI cs.LG
The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm
School of Electical Engineering, Korea Advanced Institute of Science & Technology（韩国科学技术院电气工程学院）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
本文针对多目标强化学习提出最大-最小框架以保障多目标间的公平性，并给出相关理论及一种无模型算法，实验表明其性能显著优于现有基线方法。
2024-06-12 cs.AI cs.LG
Multi-Objective Reinforcement Learning for Water Management
Delft University of Technology（代尔夫特理工大学）；Utrecht University（乌特勒支大学）
本文提出利用多目标强化学习解决尼罗河流域水资源管理问题，发现专门方法在实际应用中优于现有MORL算法，揭示了其在现实场景中的可扩展性问题。
2025-11-21 cs.AI cs.LG
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
MediaTek Research（联发科研究院）；MediaTek Inc.（联发科公司）；National Taiwan University（台湾大学）；Maxeda Technology Inc.（Maxeda科技公司）
最近，强化学习在芯片布局中的成功应用已经出现。预训练的模型对于提高效率和有效性是必要的。目前，客观指标的权重（例如，线长、拥塞和定时）在预训练期间是固定的。然而，固定权重的模型不能产生工程师所需的布局的多样性，以适应不断变化的要求，因为它们出现。本文提出了灵活的多目标强化学习（MORL），支持目标函数的推理时间可变的权重，使用一个单一的预训练模型。我们的宏观布局结果表明，MORL可以有效地产生多个目标的帕累托前沿。
2022-04-13 cs.AI cs.LG
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Reinforcement Learning Based Dynamic Selection of Auxiliary Objectives with Preserving of the Best Found Solution
ITMO University（ITMO大学）
通过引入辅助目标可以提高单目标优化的效率。理想情况下，辅助目标应该有所帮助。然而，在实践中，目标在某些优化阶段可能是有效的，但在其他的阻碍。在本文中，我们提出了一个修改的EA+RL方法，动态选择优化的目标，使用强化学习。所提出的修改防止丢失最佳发现的解决方案。我们分析了所提出的修改，并将其与EA+RL方法和XdivK，广义OneMax和LeadingOnes问题的随机局部搜索进行了比较。所提出的修改优于EA+RL方法的所有问题的情况下。它在大多数问题实例上的表现也优于单一目标方法。我们还提供了详细的分析所考虑的算法的不同组成部分如何影响优化效率。此外，我们提出的XdivK问题的修改建议的理论分析。
2017-04-24 cs.LG cs.NE
Identifying Coordination in a Cognitive Radar Network -- A Multi-Objective Inverse Reinforcement Learning Approach
Cornell University（康奈尔大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；U.S Army Research Laboratory（美国陆军研究实验室）
假设一个目标被认知雷达网络跟踪。如果目标可以截获一些雷达网络的辐射，它如何检测雷达之间的协调？通过“协调”，我们的意思是雷达辐射满足帕累托最优性相对于多目标优化每个雷达的效用。本文提供了一种新的多目标逆强化学习方法，该方法允许检测这种帕累托最优（“协调”）行为，并随后重建每个雷达的效用函数，给定一个有限的雷达网络发射数据集。实现这一目标的方法来自于揭示偏好的微观经济设置，也适用于多目标优化系统的逆检测和学习的更一般问题。
2022-11-13 cs.LG eess.SP
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
