Group-Aware Reinforcement Learning for Output Diversity in Large Language Models
Amazon(亚马逊)
针对大语言模型模式崩溃导致输出多样性不足的问题,提出群体感知策略优化(GAPO)方法,通过群体级奖励学习提升多样性,在多基准任务上保持准确性且增强响应多样性。
2025-11-16 cs.AI cs.CL cs.LG
Improving Math Reasoning through Value-guided Informative Search
Amazon(亚马逊);Texas A&M University(德克萨斯A&M大学)
提出APIVIS框架,将有限预算Gumbel搜索适配至分块级数学推理,通过价值引导选择与选择性监督改进RLVR训练,在多个基准上显著优于现有搜索方法。
2026-10-02 cs.AI
Random Policy Valuation is Enough for LLM Reasoning with Verifiable Rewards
Hong Kong University of Science and Technology(香港科学与技术大学);Kuaishou Technology(快手科技);StepFun
该研究将数学推理 RLVR 建模为树状有限时域 MDP,证明固定均匀随机策略的 Q 值即可恢复最优动作,并提出极简算法 ROVER,在质量与多样性上超越复杂方法。
2025-09-29 cs.AI cs.LG
Behavioral Foundation Models for Quality Diversity
Sorbonne Université(索邦大学);ISIR(智能系统与机器人研究所)
本文提出BFM-QD框架,利用行为基础模型的潜在空间进行质量多样性搜索,通过闭式无梯度策略改进算子,在连续控制基准上优于参数空间方法,尤其显著提升稀疏和欺骗性任务性能。
2026-09-29 cs.AI cs.LG
Pluralistic Off-policy Evaluation and Alignment
The University of New South Wales(新南威尔士大学);UC San Diego(圣地亚哥大学);Adobe Research(Adobe研究院);CSIRO’s Data61(CSIRO数据61研究所);Macquarie University(麦考瑞大学)
针对大语言模型偏好对齐中忽略多元性的问题,提出POPE框架,结合协作效用与多样性组件,通过分解IPS估计器实现离线评估与优化,实验证明其有效提升多元响应生成并保持通用能力。
2025-09-15 cs.AI cs.CL
Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning
ISEE Lab, Sun Yat-sen University(中山大学ISEE实验室)
本文提出Group Cooperative Policy Optimization (GCPO)方法,通过改变训练范式从 rollout 竞争转向团队合作,提升大语言模型在推理任务中的准确性和解题多样性。
2026-05-18 cs.AI cs.LG
Stable On-Policy Distillation through Adaptive Target Reformulation
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
本文提出Veto方法,通过在logit空间构建几何桥梁,解决传统在线策略蒸馏中的分布不匹配问题,提升训练稳定性与输出多样性。
2026-07-14 cs.AI cs.LG
Combinatorial diversity metrics for the analysis of policy processes
University College Dublin(都柏林大学学院)
我们提出了几个完全通用的多样性指标来量化任何公共政策决策过程的解决问题的能力。这是通过使用声明性过程范例结合由线性时序逻辑中的表达式建模的约束来建模策略过程来执行的。我们引入一类的痕迹,称为首次通过痕迹,代表不同的执行的声明过程。启发式的什么性质的多样性措施,这样的过程应该满足用于获得两个不同的指标,这些过程中的第一次通过的痕迹。这些指标原来有配方的熵的两个不同的随机变量的轨迹的过程。此外,我们引入了一个措施的“善良”,其中一个跟踪被称为{ \it好},如果它满足一些规定的线性时序逻辑表达式。这样就可以根据规定的“善”概念对政策进程进行比较。
2020-08-19 cs.AI
PrAg-PO: Prompt Augmented Policy Optimization for Robust and Diverse Mathematical Reasoning
Brown University(布朗大学);Palona AI;Harvard University(哈佛大学)
本文提出PrAg-PO,通过混合提示模板与特定格式奖励提升大语言模型的数学推理能力,增强鲁棒性和多样性,优于GRPO和DAPO。
2026-05-08 cs.AI cs.CL cs.LG
The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文提出MEDS框架,通过整合历史行为信号改进奖励设计,提升大语言模型的探索多样性与性能,实验显示在多个数据集上取得显著提升。
2026-04-13 cs.AI cs.CL cs.LG
iADD: Improving Alignment and Diversity in Diffusion Policy Optimization
Pulchowk Campus, IOE, Tribhuvan University(特里布万大学工程学院普尔乔克校区);NAAMII
本文提出iADD方法,通过理论分析证明仅更新后段时间步有害于多样性,并基于增量式Feynman-Kac训练实现扩散策略优化中对齐性与多样性的最佳权衡,实验验证了显著性能提升。
2026-10-02 cs.AI cs.LG
Diversity Policy Gradient for Sample Efficient Quality-Diversity Optimization
InstaDeep;Imperial College London(帝国理工学院);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
自然界的一个迷人的方面在于它能够产生大量多样的生物体,这些生物体在其生态位中都表现出色。相比之下,大多数AI算法专注于为给定问题找到一个有效的解决方案。除了性能之外,还以多样性为目标是处理探索-开发权衡的一种方便方法,这种权衡在学习中起着核心作用。当返回的集合包含所考虑问题的几个工作解决方案时,它还可以提高鲁棒性,使其非常适合机器人等实际应用。质量多样性(QD)方法是为此目的而设计的进化算法。本文提出了一种新的算法,QDPG,它结合了策略梯度算法和质量多样性的方法,以产生一个收集的多样性和高性能的神经策略在连续控制环境。这项工作的主要贡献是引入了多样性策略梯度(DPG),利用信息的时间步长水平,以样本效率的方式推动政策走向更多样性。具体来说,QDPG从MAP-Elites网格中选择神经控制器,并使用两个基于梯度的变异算子来提高质量和多样性。我们的研究结果表明,QDPG是显着更有效的样本比它的进化竞争对手。
2022-05-31 cs.AI cs.LG
DGPO: Discovering Multiple Strategies with Diversity-Guided Policy Optimization
Carnegie Mellon University(卡内基梅隆大学);Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Microsoft Research(微软研究院)
本文提出DGPO算法,通过基于信息论多样性目标的内在奖励和约束优化,在单次运行中利用共享策略网络高效发现多种多样化策略,在获得可比奖励的同时提升了策略多样性与样本效率。
2024-01-05 cs.AI cs.LG
Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(RIKEN高级智能项目中心)
本文提出耦合策略优化方法,通过KL约束调节策略多样性,提升大规模强化学习中的探索效率和学习性能。
2026-03-03 cs.AI cs.LG cs.RO
Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning
University of Southern California(南加州大学)
该研究首次将同策略RL算法PPO适配到可微质量多样性框架,提出PPGA算法,在运动任务尤其是人形机器人领域实现了4倍于基线的最佳奖励提升,推动了质量多样性强化学习在随机环境中的应用。
2024-01-29 cs.AI cs.LG
Curiosity creates Diversity in Policy Search
ISAE Supaero(高等航空航天学院);Airbus(空中客车公司);Université de Toulouse(图卢兹大学)
本文提出 Curiosity-ES,将 Curiosity 作为进化策略的适应度指标,以解决奖励稀疏环境中的盲目探索问题,并证明其比 Novelty 更能产生多样化且获得奖励的策略。
2023-07-15 cs.AI cs.NE
Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL
Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学);Beijing Normal University(北京师范大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Sun Yat-sen University(中山大学)
协作多智能体强化学习(MARL)在网格世界和现实世界中的任务求解方面取得了快速的进展,在网格世界和现实世界中,智能体被赋予不同的属性和目标,从而导致整个多智能体任务的不同行为。在这项研究中,我们量化的代理的行为差异,并建立其与政策绩效通过{ \bf角色多样性},一个度量指标来衡量MARL任务的特点。我们从三个角度定义角色多样性:基于动作的,基于责任的,基于贡献的,以充分衡量一个多智能体任务。通过理论分析,我们发现MARL中的错误界可以分解为三个部分,这三个部分与角色多样性有很强的关系。分解后的因素可以在参数共享、通信机制和信用分配三个流行方向上对策略优化产生显著影响。主要的实验平台是基于{ \bf Multiagent Particle Environment(MPE)}和{ \bf The StarCraft Multi-Agent Challenge(SMAC)}。大量的实验表明,角色多样性可以作为多智能体协作任务特征的一个鲁棒度量,并有助于诊断策略是否适合当前的多智能体系统,以获得更好的策略性能。
2022-06-01 cs.AI cs.LG cs.MA
Structure-Conditioned Actor-Critic Branches for Quality-Diversity Reinforcement Learning
School of Artificial Intelligence, Nanjing University of Information Science and Technology(南京信息工程大学人工智能学院);Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies, Institute of Cyberspace Security, School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院网络空间安全研究院广东省新型安全智能技术重点实验室)
提出SV-QD-RL框架,通过结构条件化的演员-评论家分支和分支感知的QD档案,在MuJoCo任务中构建高质量且行为多样化的策略库。
2026-06-07 cs.AI
Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization
School of Artificial Intelligence, Nanjing University of Information Science and Technology(南京信息工程大学人工智能学院)
针对多模态具身智能体现有规划器易因单一规划风格失效导致停滞的问题,提出质量多样性框架,通过进化策略模板构建多样化策略库,实现自适应规划与故障恢复,在ThreeDWorld基准上提升了任务成功率与交互效率。
2026-08-11 cs.AI
Policy Diversity for Cooperative Agents
Ubisoft La Forge(育碧La Forge);Ubisoft Chengdu(育碧成都);Ubisoft Bordeaux(育碧波尔多)
针对多智能体协作领域缺乏有效策略多样性方法的问题,提出矩匹配策略多样性方法,通过形式化选定智能体的动作差异生成差异化团队策略,理论上可实现基于最大均值差异的约束优化,在团队射击游戏中验证了有效性。
2023-08-28 cs.AI cs.LG cs.MA
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出了样本感知的策略熵正则化,以加强传统的策略熵正则化,以更好地探索。利用可从重放缓冲器获得的样本分布,所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵,以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者(DAC)。数值结果表明,DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity
Mila;Université de Montréal(蒙特利尔大学);FAIR at Meta(Meta的FAIR);CIFAR AI Chair(CIFAR人工智能主席)
本文发现在线自蒸馏虽提升pass@1准确率,但会降低输出多样性并导致pass@k曲线平坦,通过理论分析揭示了其放大概率差距的机制,并在路径规划与科学问答任务中验证了该问题。
2026-06-25 cs.AI cs.LG
Measuring Policy Distance for Multi-Agent Reinforcement Learning
Institute of Automation, CAS(中国科学院自动化研究所);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院)
针对多智能体强化学习缺乏通用策略差异度量标准的问题,本文提出可定制的多智能体策略距离MAPD,并基于此设计动态参数共享算法MADPS,实验验证其度量有效性与性能优势。
2024-01-28 cs.AI cs.MA
Diffusion Fine-Tuning via Reparameterized Policy Gradient of the Soft Q-Function
KAIST(韩国科学技术院);MongooseAI(猫鼬人工智能);Omelet
SQDF通过软Q函数的重参数化策略梯度方法,解决扩散模型奖励过优化问题,提升样本多样性和自然性。
2026-03-06 cs.AI cs.LG
Preference-Conditioned Gradient Variations for Multi-Objective Quality-Diversity
Imperial College London, InstaDeep(帝国理工学院伦敦分校,InstaDeep);Imperial College London(帝国理工学院伦敦分校)
本文提出了一种基于偏好条件的策略梯度和拥挤机制的多目标质量多样性算法,通过高效发现目标空间中的优质区域并促进非支配前沿的均匀分布,从而在六个机器人运动任务中优于现有方法。
2026-02-02 cs.AI
Scaling Policy Gradient Quality-Diversity with Massive Parallelization via Behavioral Variations
Imperial College London(帝国理工学院)
提出ASCII-ME算法,通过基于时间步性能指标的行为变异和策略梯度映射,实现不依赖集中式actor-critic训练的大规模并行化质量多样性优化,在单GPU上不到250秒即可生成高性能深度神经网络策略,速度提升五倍且保持样本效率。
2025-01-30 cs.AI cs.LG cs.NE
Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning
University of Georgia(佐治亚大学);Tencent AI Lab(腾讯AI实验室);The Education University of Hong Kong(香港教育大学);The Hong Kong Polytechnic University(香港理工大学)
提出DiRL框架,通过方向感知奖励区分推理与记忆驱动的探索,在GRPO中集成方向加权梯度特征,显著提升数学与通用推理性能。
2026-06-09 cs.AI
Diversity for Contingency: Learning Diverse Behaviors for Efficient Adaptation and Transfer
Örebro University(厄勒布鲁大学)
本文提出一种迭代学习多样化策略的方法,通过约束后续策略产生先前策略下不太可能的解决方案,无需额外模型或奖励平衡,实现高效适应与迁移。
2023-10-11 cs.AI
Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
该研究提出QDOS算法,通过优势加权质量多样性预训练与双数据集复用策略,在分层技能学习框架下,于稀疏奖励任务中显著提升性能,优于强基线算法。
2026-08-21 cs.AI cs.LG cs.RO
Diversity-Driven Exploration Strategy for Deep Reinforcement Learning
National Tsing Hua University(国立清华大学)
有效探索仍然是强化学习中具有挑战性的研究问题,特别是当环境包含大的状态空间,欺骗性局部最优或稀疏奖励时。为了解决这个问题,我们提出了一种多样性驱动的探索方法,它可以很容易地与关闭和对政策强化学习算法相结合。我们表明,通过简单地添加一个距离测量的损失函数,所提出的方法显着提高代理的探索行为,从而防止政策陷入局部最优。我们进一步提出了一种自适应缩放方法来稳定学习过程。我们在Atari 2600上的实验结果表明,我们的方法在平均得分和探索效率方面优于基线方法。
2018-10-28 cs.AI stat.ML
Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization
Department of Electrical Engineering and Computer Science, Pennsylvania State University, PA, USA(电气工程与计算机科学系,宾夕法尼亚州立大学);College of Information Sciences and Technology, Pennsylvania State University, PA, USA(信息科学与技术学院,宾夕法尼亚州立大学)
研究多目标强化学习中现有方法的不足,提出基于PPO的$D^3PO$框架,通过分解管道和后期加权保留目标学习信号、改善信用分配,引入多样性正则化器,在多环境基准测试中发现更优帕累托前沿,超越现有方法。
2026-07-13 cs.AI cs.LG
Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对自回归文本到图像生成中人类偏好对齐问题,提出统一f-散度框架,理论分析不同散度对策略优化的影响,实验证明JS散度在性能与多样性间取得最佳平衡。
2026-06-23 cs.AI cs.LG
EAPO: Entropy-Driven Adaptive Positive-Negative Sample Weighting for Policy Optimization in Open-Ended QA
Baidu Inc(百度公司)
针对开放问答中强化学习固定权重的问题,提出基于熵驱动的自适应策略优化方法EAPO,通过动态调整正负样本权重平衡探索与稳定性,在医学问答数据集上显著提升多样性和稳定性。
2026-05-27 cs.AI
Anchored Policy Optimization: Mitigating Exploration Collapse Via Support-Constrained Rectification
Beijing University of Posts and Telecommunications(北京邮电大学);Southern University of Science and Technology(南方科技大学);Alibaba Group(阿里巴巴集团);Shanghai University of Finance and Economics(上海财经大学)
本文提出锚定策略优化方法,通过支持覆盖机制缓解强化学习中的探索崩溃问题,提升模型在准确性与多样性间的性能平衡。
2026-02-05 cs.AI
Perceptual Similarity for Measuring Decision-Making Style and Policy Diversity in Games
National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院)
本文提出基于感知相似度的游戏决策风格度量方法,通过多尺度分析、感知核和交并比评估提升零样本风格分类精度,并验证其在多样性与AI演化分析中的价值。
2024-08-30 cs.AI cs.IR cs.LG
Skill Learning via Policy Diversity Yields Identifiable Representations for Reinforcement Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);University of Cambridge(剑桥大学);Princeton University(普林斯顿大学)
本文从可辨识表征学习角度研究互信息技能学习,证明对比后继特征方法可在线性变换意义下可证明地恢复环境真实特征,并在 MuJoCo 与 DeepMind Control 上验证了该结论。
2025-07-19 cs.AI cs.LG stat.ML
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
原则上,强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能,使它们能够在现实世界的复杂性和多样性中发挥作用。然而,训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是,多个机器人可以相互分享经验,从而共同学习策略。在这项工作中,我们探索分布式和异步策略学习作为一种手段,以实现泛化和提高训练时间的挑战性,现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索,并使用它来展示集体策略学习基于视觉的开门任务,使用四个机器人。我们表明,它实现了更好的泛化,利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Evolutionary Policy Optimization
该研究针对在线策略RL批量扩展冗余、EA样本效率低的问题,提出EPO混合算法,结合EA可扩展性与策略梯度优势,在多任务中样本效率、性能和扩展性均优于基线。
2025-11-12 cs.AI cs.LG cs.RO
Structured Diversity Control: A Dual-Level Framework for Group-Aware Multi-Agent Coordination
Northwestern Polytechnical University(西北工业大学)
结构多样性控制通过双层框架实现群体感知多智能体协调,通过加权组合组内与组间多样性提升协作性能。
2026-03-02 cs.AI
DyJR: Preserving Diversity in Reinforcement Learning with Verifiable Rewards via Dynamic Jensen-Shannon Replay
Griffith University, Australia(澳大利亚格里菲斯大学);Fudan University, China(复旦大学);Beijing University of Post(北京邮电大学);Shanghai Innovation Institute, China(上海创新研究院);Shanghai Academy of Artificial Intelligence for Science, China(上海人工智能科学研究院)
本文提出DyJR方法,通过动态参考分布和Jensen-Shannon散度正则化,在强化学习中保持多样性,提升数学推理和Text-to-SQL任务性能。
2026-10-14 cs.AI cs.LG
Diversifying Policy Behaviors with Extrinsic Behavioral Curiosity
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(数据科学学院,香港中文大学(深圳));CFAR, Agency for Science, Technology and Research, Singapore(CFAR,新加坡科技研究局);College of Computing and Data Science, Nanyang Technological University (NTU), Singapore(计算与数据科学学院,南洋理工大学(NTU))
针对模仿学习局限于单一策略的问题,提出质量多样性逆强化学习框架QD-IRL,并引入外在行为好奇心EBC机制,通过外部评论家提供的好奇心奖励引导智能体探索多样化行为,显著提升了多种机器人移动任务的性能。
2025-08-14 cs.AI cs.LG
pi-Flow: Policy-Based Few-Step Generation via Imitation Distillation
pi-Flow通过模仿蒸馏策略,实现少步生成模型的稳定训练和高质量输出。
2026-02-19 cs.AI cs.CV cs.LG
Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
针对RLVR中推理覆盖不足的问题,提出难度自适应句子熵引导树结构策略优化(DATPO),通过树搜索与多样性优势项扩展pass@k,在数学推理基准上取得更优性能。
2026-09-09 cs.AI cs.CL cs.LG
Contextual Quality-Diversity Evolutionary Reinforcement Learning for HVAC Control in Tropical Commercial Buildings
本文提出 CQD-ERL 控制器,用于热带商业建筑 HVAC 监督控制,在新加坡建筑降阶环境训练后,经年度回测与 ASHRAE Guideline 36 基线对比,实现更优控制性能。
2026-08-13 cs.AI cs.LG cs.NE
Dual-Force: Enhanced Offline Diversity Maximization under Imitation Constraints
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);ETH Zürich(苏黎世联邦理工学院)
Dual-Force是一种离线算法,通过后继特征的VdW力目标和功能奖励编码,实现模仿约束下的多样化行为策略学习,在Solo12仿真任务中提升了性能与鲁棒性。
2026-08-03 cs.AI cs.LG cs.RO
Constructive Conflict-Driven Multi-Agent Reinforcement Learning for Strategic Diversity
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CRISE, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(复杂系统认知与决策智能重点实验室,中国科学院自动化研究所)
针对多智能体强化学习策略多样性不足的问题,提出CoDiCon方法,通过建设性冲突引入竞争激励,在SMAC和GRF环境中取得优越性能。
2025-09-26 cs.AI cs.MA
Diversity Through Exclusion (DTE): Niche Identification for Reinforcement Learning through Value-Decomposition
DeepMind(深度思维);Google(谷歌)
许多环境包含许多可变值的可用小生境,每个小生境与行为空间(策略空间)中的不同局部最优值相关联。在这种情况下,通常很难设计出一种学习过程,能够避免被糟糕的局部最优值分心足够长的时间,以偶然发现最佳的可用利基。在这项工作中,我们提出了一个通用的强化学习(RL)算法,在这种具有多个可变值小生境的环境中,该算法的性能优于基线深度Q-学习算法。我们提出的算法由两部分组成:代理架构和学习规则。代理架构包含多个子策略。该学习规则的灵感来自演化计算中的适应度共享,并应用于强化学习中,以一种新颖的方式使用值分解网络的单智能体的内部人口。它可以具体地理解为添加额外的损失项,其中一个策略的经验也用于以降低其对访问状态的价值估计的方式更新所有其他策略。特别地,当一个子策略频繁地访问特定状态时,这降低了针对去往该状态的其他子策略的预测值。此外,我们还介绍了一个人工化学启发的平台,在这个平台上,可以很容易地利用不同的资源(即多个利基)创建具有多个奖励策略的任务。我们表明,以这种方式训练的代理可以逃脱差但有吸引力的局部最优,而不是收敛到更难发现更高的价值策略在人工化学环境和更简单的说明性环境。
2023-02-03 cs.AI cs.NE
TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment
Huazhong University of Science and Technology(华中科技大学);Kuaishou Technology(快手科技);Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学);Tsinghua University(清华大学)
本文提出TMPO,通过轨迹级奖励分布匹配提升扩散模型生成多样性,采用Softmax-TB目标和动态随机树采样,有效减少训练时间并提升性能。
2026-06-23 cs.AI cs.CV cs.LG
Quality-Diversity Optimisation on a Physical Robot Through Dynamics-Aware and Reset-Free Learning
Edinburgh Napier University(爱丁堡龙比亚大学);Imperial College London(帝国理工学院)
本文扩展 RF-QD,利用学习的动力学模型、行为筛选与自主恢复策略,让物理四足机器人在两小时内无监督构建行为库,并在迷宫任务中验证其优于 MAP-Elites。
2023-04-24 cs.AI cs.NE cs.RO
The Quality-Diversity Transformer: Generating Behavior-Conditioned Trajectories with Decision Transformers
InstaDeep;CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
针对不确定环境中策略缺乏鲁棒性和储备库离散性导致行为不连续的问题,提出结合MAP-Elites Low-Spread(ME-LS)和Quality-Diversity Transformer(QDT)的方法,实现高精度按需生成行为条件化轨迹。
2023-09-13 cs.AI cs.NE
Entropy-Preserving Reinforcement Learning
本文提出熵保持强化学习方法,通过监控和控制熵来维持探索多样性,提升策略性能和可训练性。
2026-03-12 cs.AI cs.LG
Fine-tuning Pocket-Aware Diffusion Models via Denoising Policy Optimization
L3S Research Center(L3S研究所以);Delft University of Technology(代尔夫特理工大学)
本文提出DEPPA方法,基于去噪扩散策略优化,通过强化学习微调预训练的意识口袋扩散模型,以优化结合亲和力、药物性、可合成性和多样性等多属性。
2026-05-17 cs.AI cs.LG
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);University of Toronto(多伦多大学)
我们提出了奖励切换策略优化(RSPO),一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值,RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时,RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹,RSPO利用内在多样性奖励来促进探索。实验表明,RSPO能够在各种领域发现广泛的策略,从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
UOEP: User-Oriented Exploration Policy for Enhancing Long-Term User Experiences in Recommender Systems
Renmin University of China(中国人民大学);University of International Business and Economics(对外经济贸易大学)
针对推荐系统中统一探索策略忽视用户活跃度差异的问题,提出用户导向探索策略(UOEP),通过分布性评论家和多样化行动者群体实现细粒度探索,实验证明其能提升长期性能、低活跃用户表现及公平性。
2024-05-22 cs.AI cs.IR