VendiRL: A Framework for Self-Supervised Reinforcement Learning of Diversely Diverse Skills
针对自监督强化学习中技能学习的可扩展性与多样性评估难题，提出基于生态学Vendi Score的统一框架VendiRL，支持用户自定义并评估任意形式的多样性，从而在复杂交互环境中促进多样化技能的预训练。
2025-10-12 cs.AI cs.LG cs.RO
Diverse Randomized Value Functions: A Provably Pessimistic Approach for Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
针对离线RL中OOD动作的值估计不可靠问题，提出多样化随机化值函数与多样性正则化，以更少网络实现LCB悲观惩罚，并在理论和实验上验证其性能与参数效率。
2024-04-09 cs.AI cs.LG
DEFT: Diverse Ensembles for Fast Transfer in Reinforcement Learning
深度集成已经被证明可以将典型集成学习中的积极效果扩展到神经网络和强化学习（RL）。然而，仍有许多工作要做，以提高这种集成模型的效率。在这项工作中，我们提出了用于RL中快速传输的多样化集成（DEFT），这是一种新的基于集成的方法，用于高度多模态环境中的强化学习，并改进了对未知环境的传输。该算法被分解为两个主要阶段：训练集合成员，以及将集合成员合成（或微调）为在新环境中工作的策略。该算法的第一阶段涉及并行地训练常规策略梯度或行动者-批评者代理，但是向损失添加一个项，该项鼓励这些策略彼此不同。这使得个体单峰代理探索最优政策的空间，并比单个行为者捕获更多的环境多模态。DEFT的第二阶段涉及将组件策略合成为一个新策略，该新策略以两种方式之一在修改后的环境中工作良好。为了评估DEFT的性能，我们从一个基本版本的近端策略优化（PPO）算法开始，并扩展它与DEFT的修改。我们的研究结果表明，预训练阶段是有效的，在多模态环境中产生不同的政策。DEFT通常比其他方法更快地收敛到高回报，例如没有DEFT的随机初始化和对集合成员的微调。虽然在理论上分析DEFT并将其扩展到更强大方面还有更多的工作要做，但我们相信它提供了一个强大的框架，可以在环境中捕获多模态，同时仍然使用具有简单策略表示的RL方法。
2022-09-26 cs.AI cs.LG
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现实的操作任务要求机器人与环境进行交互，并具有长时间的电机动作序列。虽然深度强化学习方法最近已经成为自动化操作行为的一个有前途的范例，但由于探索负担，它们通常在长时间任务中表现不佳。这项工作介绍了操纵原语增强强化学习（MAPLE），一个学习框架，增强标准的强化学习算法与一个预定义的行为原语库。这些行为基元是专门用于实现操纵目标（如抓取和推动）的健壮功能模块。为了使用这些异构的原语，我们开发了一个层次化的政策，涉及的原语和实例化他们的执行与输入参数。我们证明，MAPLE优于基线方法的一套模拟操作任务的显着保证金。我们还量化了学习行为的组成结构，并强调了我们的方法将策略转移到新任务变体和物理硬件的能力。视频和代码可在https://ut-austin-rpl.github.io/maple上获得
2022-06-30 cs.AI cs.LG cs.RO
Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach
Zhejiang Lab（之江实验室）；National Research Centre of Parallel Computer Engineering and Technology（国家并行计算机工程技术研究中心）
渗透测试通过模拟真实的活跃对手来评估目标网络的安全性。深度强化学习（RL）被认为是一种很有前途的解决方案，可以通过减少人力和提高可靠性来自动化渗透测试过程。现有的RL解决方案侧重于寻找特定的攻击路径来影响目标主机。然而，在现实中，需要各种各样的攻击变体来提供对目标网络的安全级别的全面评估。因此，攻击代理在渗透网络时必须考虑多个目标。然而，这一挑战在现有文献中没有得到充分解决。为此，我们制定了多目标强化学习（MORL）框架中的自动渗透测试，并提出了一个切比雪夫分解评论家找到不同的对手的策略，平衡不同的目标在渗透测试。此外，可用动作的数量随着代理不断探测目标网络而增加，这使得训练过程在许多实际情况下变得棘手。因此，我们引入了一种基于覆盖的掩蔽机制，减少了对先前选择的动作的关注，以帮助代理适应未来的探索。一系列场景的实验评估表明，我们所提出的方法相比，适应算法的多目标学习和性能效率的优越性。
2022-02-22 cs.AI cs.CR cs.LG
Diverse Mini-Batch Selection in Reinforcement Learning for Efficient Chemical Exploration in de novo Drug Design
本文提出强化学习中的多样化小批量选择框架，通过在从头药物设计任务中增强化学探索的多样性，在保持高质量解的同时显著提升解的多样性，有望加速满足未被满足的医疗需求。
2025-11-07 cs.LG
Speculative Sampling with Reinforcement Learning
Re-SpS通过强化学习优化草稿树超参数，提升大规模语言模型的生成速度，实现高达5.45倍的速度提升。
2026-01-18 cs.AI cs.LG
Uncertainty-based Offline Variational Bayesian Reinforcement Learning for Robustness under Diverse Data Corruptions
University of Science and Technology of China（中国科学技术大学）
针对多样数据损坏导致离线强化学习智能体性能下降的问题，提出基于贝叶斯推理的TRACER方法，通过熵度量区分并降低损坏数据影响，在多种损坏场景下性能优于现有最优方法。
2024-11-01 cs.AI cs.LG
Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation
New York University（纽约大学）；Google AI Language（谷歌人工智能语言部门）
我们提出了一种方法，有效地学习不同的策略，在强化学习查询重构的任务，文件检索和问答。在所提出的框架中，一个代理由多个专门的子代理和一个元代理，学习聚合子代理的答案，以产生最终的答案。子代理在训练数据的不相交分区上训练，而元代理在完整的训练集上训练。我们的方法使学习速度更快，因为它是高度并行化的，并且比强基线（例如在完整数据上训练的代理集成）具有更好的泛化性能。我们表明，改进的性能是由于增加了多样性的改写策略。
2018-12-25 cs.LG stat.ML
Jumanji: a Diverse Suite of Scalable Reinforcement Learning Environments in JAX
InstaDeep；University of Cambridge（剑桥大学）；University of Amsterdam（阿姆斯特丹大学）；Imperial College London（伦敦帝国学院）
Jumanji是基于JAX的多样化可扩展RL环境套件，聚焦工业组合问题与通用决策任务，支持高度定制，提供基线结果，旨在推动RL研究发展。
2024-03-16 cs.AI cs.LG
The Role of Diverse Replay for Generalisation in Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文研究强化学习中探索策略和回放缓冲区对多任务泛化的影响，证明增加回放数据多样性可提升零样本泛化能力，并可能通过改进潜在表征惠及类似但不可达的任务。
2023-08-31 cs.LG
Towards Robust Offline Reinforcement Learning under Diverse Data Corruption
HKUST（香港科技大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Washington University (St. Louis)（圣路易斯华盛顿大学）；Tencent Robotics X（腾讯Robotics X实验室）；Peking University（北京大学）；CUHK (SZ)（香港中文大学（深圳））
该研究针对离线强化学习易受数据损坏影响的问题，发现隐式Q学习（IQL）鲁棒性较强，通过引入Huber损失和分位数估计器改进IQL，提出了更鲁棒的RIQL算法，在多种数据损坏场景下表现优异。
2024-03-09 cs.AI cs.LG
Symmetric Replay Training: Enhancing Sample Efficiency in Deep Reinforcement Learning for Combinatorial Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））；OMELET
针对深度强化学习在组合优化中样本效率低的问题，提出对称重放训练（SRT）方法，利用高奖励样本免费探索对称区域，提升多种DRL方法在真实任务中的样本效率。
2024-07-17 cs.LG
Learning from Symmetry: Meta-Reinforcement Learning with Symmetrical Behaviors and Language Instructions
Technical University of Munich（慕尼黑工业大学）；Sun Yat-sen University（中山大学）；Pazhou Lab（琶洲实验室）
本文提出一种结合对称行为与语言指令的双MDP元强化学习方法，通过利用行为与指令的对称性增强任务信息，在多个操作任务中显著提升了元强化学习的泛化能力和学习效率。
2023-07-04 cs.AI
DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing
Renmin University of China（中国人民大学）；Kuaishou Technology（快手科技）
DPWriter通过多样化规划分支方法提升创造性写作的输出多样性，同时保持生成质量。
2026-01-14 cs.AI cs.CL
Diverse Projection Ensembles for Distributional Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文研究分布式强化学习中投影步骤的归纳偏置问题，提出组合多种投影与表示的投影集成，并利用平均1-Wasserstein距离衡量分歧以驱动深度探索。
2025-03-14 cs.AI cs.LG stat.ML
Adaptive Alignment: Dynamic Preference Adjustments via Multi-Objective Reinforcement Learning for Pluralistic AI
Deakin University（迪肯大学）；Federation University（联邦大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
针对多元AI对齐中适配多样动态用户偏好的问题，提出基于多目标强化学习的学习后策略选择调整的动态对齐框架，分析其优势、假设与实现细节，并探讨该回溯对齐方法的社会技术影响。
2024-10-31 cs.AI cs.LG
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University（北京航空航天大学）
深度强化学习已被应用于各种无线任务，然而，已知其具有高训练和推理复杂度。在本文中，我们诉诸深度确定性策略梯度（DDPG）算法，以优化预测功率分配之间的K个移动用户请求视频流，最大限度地减少网络的能量消耗下，每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模，我们利用了一种演员和评论家网络固有的对称先验：置换不变和等变性质，来设计神经网络。我们的分析表明，DDPG的自由模型参数可以压缩2/K^2。仿真结果表明，当K = 10时，具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
Diverse and Effective Red Teaming with Auto-generated Rewards and Multi-step Reinforcement Learning
OpenAI
本文提出将自动化红队测试分解为目标生成与攻击生成两步，利用LLM生成多样化目标，并通过多步强化学习训练攻击者，在保持攻击有效性的同时显著提升攻击多样性。
2024-12-24 cs.AI cs.CL cs.LG
Cooperative Autonomous Driving in Diverse Behavioral Traffic: A Heterogeneous Graph Reinforcement Learning Approach
School of Mechanical Engineering, Beijing Institute of Technology, Beijing, China（北京理工大学机械工程学院）；School of Mechatronics Engineering, Changwon National University（昌原国立大学机电工程学院）
针对混合驾驶风格交通中的自动驾驶决策难题，提出融合专家系统的异构图强化学习框架HGNN-EM，并用DDQN训练，在四向交叉口场景中提升了安全、效率、稳定性与收敛速度。
2025-09-30 cs.AI
One is More: Diverse Perspectives within a Single Network for Efficient DRL
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）
本文提出OMNet范式，通过在单一网络中利用多个子网络提供多样化输出，以极小的额外开销提升深度强化学习的样本效率并缓解过拟合，在MuJoCo基准上验证了其性能与计算成本的有效平衡。
2023-10-29 cs.AI cs.LG
Reinforcement Learning from Diverse Human Preferences
Nanyang Technological University（南洋理工大学）；Skywork AI, Singapore（Skywork AI 新加坡分部）；Tencent AI Lab（腾讯AI Lab）
针对基于偏好的RL依赖准确oracle标签的问题，本文提出通过潜在空间正则化、校正及置信度奖励模型集成，从众包且多样化的人类偏好中稳定学习奖励，并在DMcontrol和Meta-world上取得显著提升。
2024-05-08 cs.LG
Hierarchical Needs-driven Agent Learning Systems: From Deep Reinforcement Learning To Diverse Strategies
The University of Georgia（佐治亚大学）
需求描述了一个系统生存和进化的必要性，它激发一个代理人朝着一个目标采取行动，为行为提供目的和方向。根据马斯洛需求层次理论，一个智能体需要在当前层次上满足一定数量的需求，作为下一阶段--升级和进化--出现的条件。特别是深度强化学习（Deep Reinforcement Learning，DAL）可以帮助人工智能智能体（如机器人）组织和优化其行为和策略，以根据其当前状态和需求（预期效用或奖励）制定不同的策略。本文介绍了新的层次需求驱动的学习系统的基础上DAL和研究的实施在单机器人与一种新的方法称为贝叶斯软演员批评（BSAC）。然后，我们将这一主题扩展到多智能体系统（MAS），讨论了潜在的研究领域和方向。
2023-02-25 cs.AI cs.LG cs.MA
Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks
University of Michigan（密歇根大学）；Harvard University（哈佛大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
该研究聚焦多任务强化学习中探索被忽视的问题，从理论证明了多样化任务下短视探索算法可实现样本高效，并通过合成机器人控制实验验证了任务多样性对样本效率的提升作用。
2024-03-06 cs.LG stat.ML
Switchable Lightweight Anti-symmetric Processing (SLAP) with CNN Outspeeds Data Augmentation by Smaller Sample -- Application in Gomoku Reinforcement Learning
City, University of London（伦敦城市大学）
本文提出SLAP方法替代数据增强，通过强化经验加速机器学习并减少样本量，在五子棋CNN实验中收敛速度提升83%，样本量仅需八分之一。
2023-05-16 cs.AI cs.CV cs.LG
${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能学院）
本文提出一种利用欧几里得对称性作为归纳偏置的E(3)-等变演员-评论家方法，用于合作多智能体强化学习，在基准测试中取得优越性能并支持零样本和迁移学习。
2024-05-25 cs.AI cs.LG cs.MA
Guiding Generative Models to Uncover Diverse and Novel Crystals via Reinforcement Learning
Department of Materials, Imperial College London（伦敦帝国理工学院材料系）
本文提出一种强化学习框架，通过分组相对策略优化与多目标奖励引导潜在去噪扩散模型，在保证热力学稳定性和化学有效性的前提下，生成多样且新颖的晶体化合物，为可控AI驱动逆向设计提供模块化基础。
2025-11-10 cs.LG physics.comp-ph
Diverse Transformer Decoding for Offline Reinforcement Learning Using Financial Algorithmic Approaches
针对离线 RL 中 Beam Search 忽视不确定性且候选序列缺乏多样性的问题，提出借鉴金融投资组合思想的 PBS 解码算法，在 D4RL locomotion 上提升回报并降低结果波动。
2025-02-13 cs.AI cs.LG
MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester（曼彻斯特大学）；Peak AI, Ltd（Peak AI 公司）
MIRACL通过元多目标强化学习框架，实现了在多目标多层级组合供应链优化中的高效适应与泛化，实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning
Wuhan University（武汉大学）
本文提出VARL框架，利用视觉-语言模型为在线强化学习智能体提供行动建议，在保证最优性和收敛性的同时提升样本效率，尤其在稀疏奖励任务中表现显著，且计算开销低。
2025-09-25 cs.AI cs.LG
UBCL: A Reinforcement Learning Framework for Controllable and Diverse Player Behaviors
Boğaziçi University（博雅奇大学）；Turkish Aerospace（土耳其航空航天）
本文提出了一种基于PPO的多智能体强化学习框架，通过可控的行为空间实现多样化玩家行为，适用于自动化测试和游戏平衡。
2026-09-11 cs.LG
Investigating Value of Curriculum Reinforcement Learning in Autonomous Driving Under Diverse Road and Weather Conditions
Istanbul Technical University（伊斯坦布尔理工大学）；ITU Artificial Intelligence and Data Science Research Center（伊斯坦布尔理工大学人工智能与数据科学研究中心）；Bogazici University（博阿齐奇大学）
强化学习（RL）在自动驾驶任务中的应用很普遍。话虽如此，调整RL代理的性能并保证在各种不同驾驶场景中的泛化性能仍然是一个悬而未决的问题。特别是，在复杂的道路和天气条件下获得良好的性能需要详尽的调整和计算时间。课程强化学习，专注于解决简单的自动化任务，以便将知识转移到复杂的任务，正在吸引RL社区的关注。本文的主要贡献是对课程强化学习在自动驾驶应用中的价值进行了系统的研究。为此，我们在一个逼真的驾驶模拟器中设置了几个不同的驾驶场景，具有不同的道路复杂性和天气条件。接下来，我们训练和评估性能的RL代理不同序列的任务组合和课程。结果表明，课程RL可以在复杂的驾驶任务中产生显着的收益，无论是在驾驶性能和样本的复杂性。结果还表明，不同的课程可能会带来不同的好处，这暗示了未来的研究方向自动化课程培训。
2021-08-02 cs.AI
Interpretability by Design for Efficient Multi-Objective Reinforcement Learning
School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学）；School of Mathematics, The University of Edinburgh（数学学院，爱丁堡大学）；Edinburgh Centre for Robotics（爱丁堡机器人中心）
LLE-MORL通过设计实现可解释性，利用局部线性映射提升多目标强化学习的效率和解质量。
2026-02-05 cs.AI cs.LG
Uncertainty-Penalized Reinforcement Learning from Human Feedback with Diverse Reward LoRA Ensembles
National University of Defense Technology（国防科技大学）；State Key Laboratory of Complex & Critical Software Environment（复杂与关键软件环境国家重点实验室）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
针对RLHF中的过度优化问题，提出UP-RLHF方法，通过最大化核范数构建多样化奖励LoRA集成来量化不确定性，并利用不确定性正则化优化策略模型，有效缓解过度优化并提升整体性能。
2023-12-30 cs.LG
TorchDriveEnv: A Reinforcement Learning Benchmark for Autonomous Driving with Reactive, Realistic, and Diverse Non-Playable Characters
Inverted AI；University of British Columbia（不列颠哥伦比亚大学）；MILA
本文提出 Python 强化学习自动驾驶基准 TorchDriveEnv，集成行为仿真 API 与反应、真实且多样的数据驱动 NPC，并通过 RL 基线验证其易用而难解。
2024-05-07 cs.AI cs.LG cs.MA
MetaDrive: Composing Diverse Driving Scenarios for Generalizable Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Centre for Perceptual and Interactive Intelligence（感知与交互智能研究中心）
安全驾驶需要人类和智能代理的多种能力，例如对未知环境的泛化能力，周围交通的安全意识以及复杂多代理设置中的决策。尽管强化学习（RL）取得了巨大的成功，但由于缺乏集成的环境，大多数RL研究工作都是单独研究每个能力。在这项工作中，我们开发了一个名为MetaDrive的新驾驶模拟平台，以支持机器自主性的可推广的强化学习算法的研究。MetaDrive是高度组合的，它可以从过程生成和真实数据导入中生成无限数量的不同驾驶场景。基于MetaDrive，我们在单代理和多代理设置中构建了各种RL任务和基线，包括对未知场景的可推广性进行基准测试，安全探索和学习多代理流量。在程序生成的场景和真实场景上进行的泛化实验表明，增加训练集的多样性和大小导致RL代理的泛化能力的提高。我们进一步评估MetaDrive环境中的各种安全强化学习和多智能体强化学习算法，并提供基准测试。源代码、文档和演示视频可从\url{ https://metadriverse.github.io/metadrive}获得。
2022-07-16 cs.LG cs.RO
Behaviorally Diverse Traffic Simulation via Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks公司）；Toyota Research Institute（丰田研究院）
交通模拟器是自动驾驶开发的重要工具。虽然在为开发人员提供更多建模各种流量参与者的选项方面取得了不断的进展，但调整这些模型以增加其行为多样性，同时保持质量通常非常具有挑战性。本文介绍了一种易于调整的自动驾驶智能体的策略生成算法。该算法通过不同的策略集选择器利用深度强化学习的表示和探索能力来平衡多样性和驾驶技能。此外，我们提出了一个算法，利用内在奖励，以扩大行为差异的培训。为了提供定量评估，我们开发了两个基于概率的评估指标，用于衡量政策和行为覆盖率之间的差异。我们的实验表明，我们的方法在几个具有挑战性的交叉口场景的有效性。
2020-11-11 cs.LG cs.RO
Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
针对强化学习中多样化技能学习困难的问题，本文提出Di-SkilL方法，通过专家混合将技能建模为上下文运动基元，并利用基于能量的模型实现自动课程学习，从而在机器人仿真任务中学习多样化且高性能的技能。
2024-06-10 cs.LG cs.RO
Diverse Priors for Deep Reinforcement Learning
University of College London（伦敦大学学院）；University of Manchester（曼彻斯特大学）
本文针对深度强化学习中基于集成的不确定性估计缺乏明确先验和成员多样性的问题，提出了一种采用精心设计的先验神经网络以在初始值函数中引入最大多样性的创新方法，显著提升了样本效率与探索性能。
2023-10-23 cs.LG
Graph Inverse Reinforcement Learning from Diverse Videos
UC San Diego（加州大学圣迭戈分校）
来自第三人称视频的逆强化学习（IRL）研究在消除机器人任务的手动奖励设计方面取得了令人鼓舞的结果。然而，大多数先前的工作仍然受到来自相对受限的视频域的训练的限制。在本文中，我们认为第三人称IRL的真正潜力在于增加视频的多样性，以实现更好的缩放。为了从不同的视频中学习奖励函数，我们建议对视频进行图抽象，然后在图空间中进行时间匹配来衡量任务进度。我们的见解是，任务可以通过形成图的实体交互来描述，这种图抽象可以帮助删除不相关的信息，如纹理，从而产生更强大的奖励函数。我们评估了我们的方法，GraphIRL，在X-MAGICAL中的跨具体学习和从真实机器人操作的人类演示中学习。我们表现出显着的改进，在鲁棒性不同的视频演示比以前的方法，甚至实现了更好的结果比手动奖励设计一个真正的机器人推任务。视频可在https://sateeshkumar21.github.io/GraphIRL上获得。
2022-08-01 cs.CV cs.LG cs.RO
Toward Diverse Text Generation with Inverse Reinforcement Learning
Fudan University（复旦大学）
文本生成是自然语言处理中的一项重要任务。最近，已经提出了几种对抗生成模型来改善文本生成中的暴露偏差问题。虽然这些模型取得了很大的成功，但它们仍然存在着奖励稀疏和模式坍塌的问题。为了解决这两个问题，在本文中，我们采用逆强化学习（IRL）的文本生成。具体而言，IRL框架在训练数据上学习奖励函数，然后学习最优策略以最大化期望的总奖励。与对抗模型类似，IRL中的奖励和策略函数交替优化。我们的方法有两个优点：（1）奖励函数可以产生更密集的奖励信号。(2)通过“熵正则化”策略梯度训练的生成策略，鼓励生成更多样化的文本。实验结果表明，我们提出的方法可以生成更高质量的文本比以前的方法。
2018-06-07 cs.CL cs.LG stat.ML
Learning Causally Invariant Reward Functions from Diverse Demonstrations
ETH Zürich（苏黎世联邦理工学院）
针对逆强化学习中演示数据稀缺异构导致奖励函数含虚假关联、分布偏移下策略过拟合的问题，提出基于因果不变性的正则化方法，应用于精确与近似学习任务，在迁移设置中提升了策略性能。
2024-09-12 cs.AI cs.LG
HOPE: A Reinforcement Learning-based Hybrid Policy Path Planner for Diverse Parking Scenarios
Department of Automation, Shanghai Jiao Tong University（自动化系，上海交通大学）；Global Institute of Future Technology, Shanghai Jiao Tong University（未来技术全球研究院，上海交通大学）
针对多样复杂停车场景，提出结合强化学习与Reeds-Shepp曲线的混合策略路径规划器HOPE，通过动作掩码和Transformer提升规划成功率与泛化性，并在真实实验中验证其有效性。
2025-04-20 cs.LG cs.RO
Pareto Inverse Reinforcement Learning for Diverse Expert Policy Generation
Sungkyunkwan University（成均馆大学）
本文提出 ParIRL 框架，利用奖励距离估计正则化判别器，从有限专家数据集生成适应多目标偏好的帕累托策略集，并将其蒸馏为偏好条件扩散模型，在多任务和 CARLA 自动驾驶中优于其他 IRL 算法。
2024-08-22 cs.LG
MetaTrader: An Reinforcement Learning Approach Integrating Diverse Policies for Portfolio Optimization
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
投资组合管理是金融学中的一个基本问题。它涉及定期重新分配资产，以在适当的风险敞口水平内最大化预期收益率。深度强化学习（RL）被认为是解决这一问题的一种很有前途的方法，因为它具有很强的顺序决策能力。然而，由于金融市场的非平稳性，将强化学习技术应用于投资组合优化仍然是一个具有挑战性的问题。从各种专家策略中提取交易知识可以帮助代理人适应不断变化的市场。在本文中，我们提出了MetaTrader，这是一种新的基于RL的两阶段投资组合管理方法，它可以学习整合不同的交易策略以适应各种市场条件。在第一阶段，MetaTrader将模仿学习目标纳入强化学习框架。通过模仿不同的专家演示，MetaTrader获得了一套非常多样化的交易策略。在第二阶段，MetaTrader学习元策略以识别市场条件并决定要遵循的最合适的学习策略。我们在三个真实世界的索引数据集上评估了所提出的方法，并将其与最先进的基线进行了比较。实证结果表明，MetaTrader在平衡利润和风险方面明显优于这些基线。此外，彻底的消融研究验证了所提出的方法中的组件的有效性。
2022-09-01 cs.AI q-fin.CP
Effects of Different Optimization Formulations in Evolutionary Reinforcement Learning on Diverse Behavior Generation
Osaka Prefecture University（大阪府立大学）
为给定的任务生成各种策略是具有挑战性的。然而，它已经被证明为主要的学习过程带来了许多资产，例如改进的行为探索。随着人们对演化计算和强化学习中解的异质性的兴趣的增长，出现了许多有前途的方法。为了更好地理解人们如何引导多个策略朝向不同的策略并从多样性中受益，我们需要进一步分析奖励信号调制和其他进化机制对所获得的行为的影响。为此，本文考虑了现有的进化强化学习框架，该框架利用多目标优化作为一种方法来获得成功的行为相关的任务，以及完成主要目标的政策。Atari游戏上的实验强调，不考虑目标的优化公式同样无法产生多样性，甚至输出在解决手头问题方面表现较差的代理，无论获得的行为如何。
2022-01-27 cs.AI cs.NE
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST（韩国科学技术院）
本文提出FINO方法，通过注入噪声的流匹配提升离线到在线强化学习的样本效率，结合熵引导采样平衡探索与利用，实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
Using Reward Uncertainty to Induce Diverse Behaviour in Reinforcement Learning
New York University（纽约大学）；Google DeepMind（谷歌DeepMind）
针对传统强化学习缺乏多样性的问题，提出将奖励函数替换为奖励分布，通过非线性集合目标自然产生可控的多样化行为，并推导出梯度估计器，实验证明其鲁棒性和理论优势。
2026-09-10 cs.AI cs.LG
Identifying Distinct, Effective Treatments for Acute Hypotension with SODA-RL: Safely Optimized Diverse Accurate Reinforcement Learning
Harvard University（哈佛大学）；Duke University（杜克大学）
重症监护环境中的低血压是一种危及生命的紧急情况，必须及早识别和治疗。虽然液体推注疗法和血管加压药是常见的治疗方法，但通常不清楚应该给予哪些干预措施，以多少量以及多长时间。电子健康记录形式的观察数据可以提供一个来源，帮助从过去的事件中了解这些选择，但通常不可能仅从观察数据中确定一个最佳策略。在这种情况下，我们认为，重要的是要公开的合理选择的集合提供商。为此，我们开发了SODA-RL：安全优化、多样化和准确的强化学习，以识别数据中支持的不同治疗方案。我们在10，142名ICU患者中证明了SODA-RL，其中存在低血压。我们学习的政策执行观察到的医生行为，同时提供不同的，合理的治疗决策的替代方案。
2020-01-09 cs.LG stat.ML
IA2: Leveraging Instance-Aware Index Advisor with Reinforcement Learning for Diverse Workloads
University of Cambridge（剑桥大学）
提出基于深度强化学习的实例感知索引顾问 IA2，通过 TD3-TD-SWAR 模型与自适应动作掩码高效选择索引，在 TPC-H 上显著降低运行时并优于现有方法。
2024-04-10 cs.AI cs.DB
Active Curriculum Refinement for Reinforcement Learning
The University of Chicago（芝加哥大学）
该研究针对强化学习中环境的有向无环课程图结构，提出主动课程学习框架PATH，通过采样多样化课程路径并重新分配训练资源，提升了模型的鲁棒性与泛化能力。
2026-08-28 cs.LG
Scenic4RL: Programmatic Modeling and Generation of Reinforcement Learning Environments
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）代理的能力很大程度上取决于环境生成的学习场景的多样性。实时战略（RTS）环境下，生成不同的现实场景是具有挑战性的。RTS环境的特点是智能实体/非RL代理合作和竞争的RL代理与大的状态和动作空间在很长一段时间内，在一个无限的空间的可行的，但不一定是现实的，涉及复杂的交互场景不同的RL和非RL代理。然而，大多数现有的模拟器依赖于基于预定义的设置/布局随机生成环境，并为研究人员提供有限的灵活性和对环境动态的控制，以根据他们的需求生成多样化的现实场景。为了解决这个问题，第一次，我们正式介绍的好处，采用现有的正式场景规约语言，SCENIC，以帮助研究人员建模和生成不同的场景在RTS环境中的灵活，系统和编程的方式。为了展示这些好处，我们将SCENIC与现有的RTS环境Google Research Football（GRF）模拟器进行了接口，并引入了一个由32个真实场景组成的基准测试，在SCENIC中进行编码，以训练RL代理并测试其泛化能力。我们还展示了研究人员/RL从业者如何通过直观地使用SCENIC对随机编程策略进行建模，从而结合他们的领域知识来加快培训过程。
2023-03-28 cs.AI cs.LG
Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning
University of Southern California（南加州大学）
该研究首次将同策略RL算法PPO适配到可微质量多样性框架，提出PPGA算法，在运动任务尤其是人形机器人领域实现了4倍于基线的最佳奖励提升，推动了质量多样性强化学习在随机环境中的应用。
2024-01-29 cs.AI cs.LG
