OptiGAN: Generative Adversarial Networks for Goal Optimized Sequence Generation
Monash University（莫纳什大学）；The University of Melbourne（墨尔本大学）
序列生成任务中的一个挑战性问题是具有特定期望目标的序列的优化生成。当前的序列生成模型主要生成序列以紧密地模仿训练数据，而没有直接优化特定于任务的期望目标或属性。我们引入了OptiGAN，这是一种生成模型，它结合了生成对抗网络（GAN）和强化学习（RL），使用策略梯度来优化所需的目标得分。我们将我们的模型应用于文本和实值序列生成，其中我们的模型能够获得比GAN和RL基线更高的期望分数，同时不牺牲输出样本多样性。
2021-01-14 cs.LG stat.ML
Grounding Language to Autonomously-Acquired Skills via Goal Generation
Sorbonne Université（索邦大学）；Inria（法国国家信息与自动化研究所）
我们感兴趣的是自主获得技能的剧目。有条件的强化学习（LC-RL）方法是这方面的重要工具，因为它们允许将抽象目标表达为状态约束集。然而，大多数LC-RL代理都不是自主的，并且在没有外部指令和反馈的情况下无法学习。此外，他们的直接语言条件不能解释前语言婴儿的目标导向行为，并强烈限制了对给定语言输入的行为多样性的表达。为了解决这些问题，我们提出了一个新的概念方法语言条件强化学习：目标-行为架构（LGB）。LGB通过对世界的中间语义表示来整合技能学习和语言基础。为了展示LGB的属性，我们提出了一个特定的实现称为DECSTR。DECSTR是一种内在动机的学习代理，具有描述物理对象之间空间关系的内在语义表示。在第一阶段（G -> B），它自由地探索其环境，并以自我生成的语义配置为目标。在第二阶段（L -> G）中，它训练语言条件目标生成器以生成与基于语言的输入中表达的约束相匹配的语义目标。我们展示了LGB w.r.t.的其他特性。端到端LC-RL方法和利用非语义、连续中间表示的类似方法。中间语义表示有助于以多种方式满足语言命令，在失败后实现策略切换并促进语言基础。
2021-01-25 cs.AI cs.LG stat.ML
Language-Conditioned Goal Generation: a New Approach to Language Grounding for RL
Inria（法国国家信息与自动化研究所）；Université Paris-Sorbonne（巴黎索邦大学）
在现实世界中，语言主体也是具身主体：它们在物理世界中感知和行动。语言根植的概念质疑语言和具体化之间的相互作用：学习主体如何将语言表征连接或根植于物理世界？这个问题最近已经被强化学习社区在预防跟踪代理的框架下进行了研究。在这些代理中，行为策略或奖励功能的条件是嵌入的指令表示的自然语言。本文提出了另一种方法：使用语言条件目标生成器。给定任何目标条件策略，可以训练语言条件目标生成器来为代理生成语言无关的目标。这种方法允许从语言习得中解耦感觉运动学习，并使代理能够为任何给定的指令展示多种行为。我们提出了这种方法的一个特定的实例，并证明了它的好处。
2020-06-12 cs.AI cs.CL cs.LG
Towards Mode Balancing of Generative Models via Diversity Weights
Queen Mary University of London（伦敦玛丽女王大学）；Aalto University（阿尔托大学）
针对生成模型需提升输出多样性以适配创意应用的需求，提出名为多样性权重的训练方案，通过平衡训练集模式提升多样性，初步实验验证其潜力，并探讨了与多样性、公平性及计算创造力的关联。
2023-06-15 cs.AI cs.LG
Towards Task Sampler Learning for Meta-Learning
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；Tsinghua University（清华大学）；the Hong Kong University of Science and Technology（香港科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文挑战了任务多样性必然提升元学习泛化能力的观点，提出即插即用的 Adaptive Sampler (ASr) 模块，通过动态调整任务权重优化元训练任务概率分布，在多基准数据集上表现优越。
2024-06-02 cs.CV cs.LG
Diversity By Design: Leveraging Distribution Matching for Offline Model-Based Optimization
University of Pennsylvania（宾夕法尼亚大学）
针对离线基于模型的优化中缺乏设计多样性的问题，提出DynAMO方法，将多样性显式化为分布匹配目标，在保证候选方案高质量的同时显著提升设计多样性。
2025-05-01 cs.AI cs.LG
Beyond Quality: Unlocking Diversity in Ad Headline Generation with Large Language Models
Xiaohongshu Inc.（小红书公司）；East China Normal University（东华大学）
针对广告标题生成中质量与多样性难以兼顾的问题，提出基于大型语言模型的DIVER框架，通过多阶段多目标优化（SFT+RL）在单次前向中实现两者平衡，部署后使ADVV和CTR分别提升4.0%和1.4%。
2025-08-26 cs.CL cs.LG
A Collection of Quality Diversity Optimization Problems Derived from Hyperparameter Optimization of Machine Learning Models
LMU Munich（慕尼黑大学）
质量多样性优化的目标是为手头的给定问题生成一系列多样但高性能的解决方案。典型的基准问题是，例如，找到机器人手臂配置的曲目或游戏策略的集合。在本文中，我们提出了一组质量多样性优化问题，解决了机器学习模型的超参数优化-质量多样性优化的一个迄今为止尚未探索的应用。我们的基准问题涉及新的功能，如模型的可解释性或资源使用。为了实现快速有效的基准测试，我们建立在YAHPO Gym，最近提出的开源基准测试套件超参数优化，利用高性能的代理模型，并返回这些代理模型预测，而不是评估真正昂贵的黑盒功能。我们目前的初步实验研究结果比较不同的质量多样性优化我们的基准问题。此外，我们讨论了未来的方向和挑战的质量多样性优化的背景下，超参数优化。
2022-07-30 cs.LG
Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity
Seoul National University（首尔国立大学）；Neural Processing Research Center（神经处理研究中心）
虽然深度神经网络在拟合训练分布方面表现出很好的性能，但提高网络对测试分布的泛化性能和对输入扰动敏感性的鲁棒性仍然是一个挑战。尽管已经提出了许多基于混淆的增强策略来部分地解决它们，但是从优化的角度来看，如何最好地利用每个输入数据内的监督信号来进行混淆仍然是不清楚的。我们提出了一个新的角度对批量混淆和制定一批混淆数据的最佳建设最大化的数据显着性措施，每个单独的混淆数据，并鼓励超模之间的多样性建设混淆数据。这导致了一个新的离散优化问题，最大限度地减少子模函数之间的差异。我们还提出了一个有效的模块近似为基础的迭代子模块最小化算法，每个小批量有效的混合计算适合于基于小批量的神经网络训练。我们的实验表明，所提出的方法实现了最先进的泛化，校准，和弱监督定位结果相比，其他混淆的方法。源代码可在https://github.com/snu-mllab/Co-Mixup上获得。
2021-02-05 cs.AI cs.CV cs.LG
RADio -- Rank-Aware Divergence Metrics to Measure Normative Diversity in News Recommendations
University of Amsterdam（阿姆斯特丹大学）；RTL Nederland B.V.（RTL荷兰有限公司）
在传统的推荐系统文献中，多样性通常被视为相似性的对立面，通常被定义为所识别的主题、类别或词模型之间的距离。然而，这并不能表达社会科学对多样性的解释，多样性解释了新闻机构的规范和价值观，我们在这里称之为规范多样性。我们介绍RADio，一个多功能的指标框架，以评估建议，根据这些规范的目标。RADio引入了秩感知的Jensen Shannon（JS）发散。这种组合说明了（i）用户观察列表中更下方的项目的倾向降低，以及（ii）与点估计相反的完全分布偏移。我们评估RADio的能力，以反映五个规范的概念，在微软新闻数据集和六个（神经）推荐算法的新闻推荐，我们的元数据丰富管道的帮助下。我们发现，RADio提供了有见地的估计，可以潜在地用于通知新闻推荐系统的设计。
2022-10-13 cs.IR cs.LG
DIDI: Diffusion-Guided Diversity for Offline Behavioral Generation
School of Engineering, Westlake University（西湖大学工程学院）；Zhejiang University（浙江大学）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
DIDI利用扩散模型作为先验，从无标签离线数据中学习多样化技能，通过联合优化多样性和正则化，在多个决策任务中实现有效技能发现，并支持奖励引导的行为生成。
2024-05-23 cs.LG
Subset Selection for Fine-Tuning: A Utility-Diversity Balanced Approach for Mathematical Domain Adaptation
Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Koita Centre for Digital Health IIT Bombay（IIT班加罗尔数字健康中心）
本文提出一种效用-多样性平衡的预算子集选择方法，通过结合困惑度与思维链损失筛选高价值样本并保证数学子领域覆盖，在LLaMA-3 8B和Phi-3上以更低成本实现接近全数据集的微调性能。
2025-05-02 cs.AI cs.LG
Finding NEEMo: Geometric Fitting using Neural Estimation of the Energy Mover's Distance
The NSF AI Institute for Artificial Intelligence and Fundamental Interactions（美国国家科学基金会人工智能与基础交互AI研究所）；Massachusetts Institute of Technology（麻省理工学院）
最近开发了一种新的神经架构，通过以最小的方式约束其权重的范数来强制执行模型的Lipschitz常数的精确上限，从而与其他技术相比具有更高的表达能力。我们提出了一个新的和有趣的方向，这种架构：估计Wasserstein度量（地球移动器的距离）在最佳运输采用的Kantorovich-Rubinstein对偶，使其在几何拟合应用程序中的使用。具体来说，我们专注于高能粒子物理学领域，在那里已经表明，粒子对撞机事件的空间度量可以根据Wasserstein度量定义，称为能量移动器的距离（EMD）。这种度量化有可能彻底改变数据驱动的对撞机现象学。这里提出的工作是实现这一目标的一个重要步骤，提供了一种直接计算EMD的可微方法。我们展示了如何灵活，我们的方法使可以用来开发新的聚类算法。
2022-09-30 cs.LG hep-ex hep-ph
Using Stable Matching to Optimize the Balance between Accuracy and Diversity in Recommendation
DePaul University（德保罗大学）
增加聚合多样性（或目录覆盖率）在许多推荐领域中是重要的系统级目标，在这些领域中，可能期望减轻流行度偏差并提高向用户给出的推荐中的长尾项的覆盖率。这在多利益相关者推荐场景中尤其重要，在多利益相关者推荐场景中，不仅对于最终用户，而且对于其他利益相关者（诸如物品卖家或生产者）优化效用可能是重要的，这些利益相关者期望在系统产生的推荐列表中公平地表示他们的物品。不幸的是，增加聚合多样性的尝试通常会导致最终用户的推荐准确性降低。因此，解决这个问题需要一种方法，可以有效地管理准确性和聚合多样性之间的权衡。在这项工作中，我们提出了一个双边的后处理方法，其中用户和项目公用事业被认为是。我们的目标是最大化聚合多样性，同时最小化推荐准确性的损失。我们的解决方案是一个推广的延迟接受算法，提出了一个有效的算法来解决著名的稳定匹配问题。我们证明，我们的算法的结果在一个独特的用户最佳的稳定匹配项目和用户之间。使用三个推荐数据集，我们实证证明了我们的方法与几个基线相比的有效性。特别是，我们的研究结果表明，所提出的解决方案是非常有效的，在增加聚合多样性和项目端的效用，同时优化最终用户的推荐准确性。
2020-06-05 cs.IR cs.LG
RTLSeek: Boosting the LLM-Based RTL Generation with Multi-Stage Diversity-Oriented Reinforcement Learning
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所处理器国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；CASTEST Co., Ltd.（中科芯测科技有限公司）
RTLSeek通过多阶段多样性导向强化学习提升基于LLM的RTL生成，结合专家知识与EDA反馈，改进RTL的正确性和多样性，实验表明其在RTLLM基准上优于现有方法。
2026-03-29 cs.AR cs.LG
Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning
University of Southern California（南加州大学）
该研究首次将同策略RL算法PPO适配到可微质量多样性框架，提出PPGA算法，在运动任务尤其是人形机器人领域实现了4倍于基线的最佳奖励提升，推动了质量多样性强化学习在随机环境中的应用。
2024-01-29 cs.AI cs.LG
Aligning GPTRec with Beyond-Accuracy Goals with Reinforcement Learning
University of Glasgow（格拉斯哥大学）
针对传统Top-K推荐模型难优化超越准确率指标的问题，提出两阶段训练GPTRec的方法：先以师生法模拟Top-K模型，再用强化学习对齐多样性、降流行度偏差等目标，实验显示多数情况下其在准确率与次要指标间权衡更优。
2024-03-07 cs.IR cs.LG
