DiffPoGAN: Diffusion Policies with Generative Adversarial Networks for Offline Reinforcement Learning
Hubei University（湖北大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Chinese Academy of Sciences（中国科学院）
DiffPoGAN将扩散模型作为GAN的策略生成器，结合MLE正则化和判别器输出约束，以缓解离线强化学习中的外推误差并改进策略，在D4RL基准上取得领先效果。
2024-06-13 cs.LG
Drift, Then Spread: Learning One-Step Generative Policies for Online Reinforcement Learning
The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Tsinghua University（清华大学）
针对在线强化学习中生成策略采样代价高的问题，提出单步生成策略DriftSpread，其在MuJoCo上的聚合归一化回报最高，且训练与推理效率优于扩散、流类基线方法。
2026-10-14 cs.LG
Augmenting Offline Reinforcement Learning with State-only Interactions
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出利用无奖励的仅状态在线交互，通过条件扩散模型生成高回报轨迹并与离线数据拼接增强，从而提升下游离线强化学习性能。
2024-10-02 cs.LG
Adaptive sampling using variational autoencoder and reinforcement learning
Department of Engineering Cybernetics, Norwegian University of Science and Technology（工程 cybernetics 系，挪威科学与技术大学）；Department of Engineering Sciences, University of Agder（工程科学系，阿格德大学）
本文提出结合变分自编码器和强化学习的自适应稀疏感知框架，通过顺序选择测量提升稀疏采样效率和重建质量。
2025-12-03 cs.LG
Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies
University of Michigan（密歇根大学）
提出拉格朗日扰动扩散引导（LP-DS），通过学习紧凑的噪声空间扰动来微调冻结的生成策略，利用拉格朗日信任区域目标优化，在保持潜在先验约束的同时提升下游价值，在多个基准上实现样本效率和回报提升。
2026-08-11 cs.LG
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
受过度拟合大脑假说启发，提出基于生成式增强的想象强化学习方法，在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
Improving Generative Ad Text on Facebook using Reinforcement Learning
Meta Platforms（Meta平台）
通过强化学习改进Facebook广告文本生成，提升点击率和广告效果
2025-12-15 cs.LG
Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model
University of Technology Sydney（悉尼科技大学）
研究强化学习中高维状态等复杂场景，提出基于流基深度生成模型支持直接离策略校正的新型分层强化学习模型，利用模型逆操作与解决其局限性，经实验验证该模型性能优于现有模型。
2026-07-28 cs.LG
Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
Google DeepMind（谷歌DeepMind）；FAIR, Meta（Meta FAIR）
本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。
2024-11-04 cs.LG stat.ML
Information Directed Reward Learning for Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）；Spotify（声田）
对于许多强化学习（RL）应用，指定奖励是困难的。本文考虑了一种RL设置，其中代理仅通过查询专家来获得有关奖励的信息，例如，可以评估单个状态或提供轨迹的二进制偏好。从这样昂贵的反馈中，我们的目标是学习一个奖励模型，该模型允许标准RL算法以尽可能少的专家查询实现高预期回报。为此，我们提出了信息导向的奖励学习（IDRL），它使用贝叶斯模型的奖励和选择查询，最大限度地提高信息收益的差异，在回报之间的合理最优的政策。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它实现了类似的或更好的性能与显着更少的查询，通过转移的重点从减少奖励近似误差，以提高政策诱导的奖励模型。我们支持我们的研究结果在多个环境中进行了广泛的评估，并与不同的查询类型。
2022-01-31 cs.LG
Guiding Generative Models to Uncover Diverse and Novel Crystals via Reinforcement Learning
Department of Materials, Imperial College London（伦敦帝国理工学院材料系）
本文提出一种强化学习框架，通过分组相对策略优化与多目标奖励引导潜在去噪扩散模型，在保证热力学稳定性和化学有效性的前提下，生成多样且新颖的晶体化合物，为可控AI驱动逆向设计提供模块化基础。
2025-11-10 cs.LG physics.comp-ph
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
AI in Energy Digital Twining: A Reinforcement Learning-based Adaptive Digital Twin Model for Green Cities
Edinburgh Napier University（爱丁堡龙比亚大学）；Istanbul Technical University（伊斯坦布尔理工大学）；BTS Group（BTS集团）
针对智慧城市数字孪生建模动态性不足与高能耗问题，提出结合深度Q网络的强化学习自适应孪生机制（RL-AT），利用时空图实现适时数据捕获，显著提升了查询性能、降低了开销与能耗。
2024-01-28 cs.LG
Mitigating Data Scarcity in Spaceflight Applications for Offline Reinforcement Learning Using Physics-Informed Deep Generative Models
Aerospace Engineering Department, Worcester Polytechnic Institute（沃斯彻斯特理工学院航空航天工程系）；Aerospace Engineering Department（航空航天工程系）
本文提出基于互信息的分裂变分自编码器（MI-VAE），通过引入物理约束生成符合物理规律的合成数据集，提升空间飞行任务中离线强化学习的性能。
2026-05-09 cs.LG
Generative Memory for Lifelong Reinforcement Learning
SRI International（SRI国际研究所）
我们的研究重点是理解和应用生物记忆转移到新的人工智能系统，可以从根本上提高他们的性能，在他们的现场生活经验。我们利用目前对生物记忆转移的理解来达到记忆巩固和重放的AI算法。在本文中，我们提出了使用的生成记忆，可以召回批量样本训练的多任务代理的伪排练方式。我们的结果激励需要任务不可知的潜在空间分离的生成记忆，以解决终身学习中的灾难性遗忘的问题。
2019-02-22 cs.AI cs.LG stat.ML
Exploration for Multi-task Reinforcement Learning with Deep Generative Models
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
多任务强化学习中的探索对于训练智能体推断底层MDP至关重要。许多现有的探索框架，如$E^3$，$R_{max}$，汤普森采样假设一个单一的固定MDP，并不适合系统辨识在多任务设置。我们提出了一种新的方法，以促进探索多任务强化学习使用深度生成模型。我们用低维能量模型来补充我们的方法，以学习底层的MDP分布，并为代理提供弹性和自适应的探索信号。我们在一组新的环境中评估我们的方法，并对我们的结果进行直观的解释。
2016-11-29 cs.AI cs.LG stat.ML
A Generative Model Enhanced Multi-Agent Reinforcement Learning Method for Electric Vehicle Charging Navigation
提出一种仅用本地信息的生成模型增强多智能体强化学习算法，用于电动汽车充电导航，性能损失小于8%。
2025-02-27 cs.LG
Learning Generative Models with Goal-conditioned Reinforcement Learning
Inria（法国国家信息与自动化研究所）；ENS Lyon（里昂高等师范学院）
我们提出了一个新的，替代框架学习生成模型与目标条件强化学习。我们定义了两个代理，一个目标条件代理（GC-代理）和一个监督代理（S-代理）。给定一个用户输入的初始状态，GC代理学习重建训练集。在这种情况下，训练集中的元素就是目标。在训练过程中，S-agent学习模仿GC-agent，同时保持对目标的不可知性。在推理时，我们用S-代理生成新的样本。按照类似的路线，在变分自动编码器，我们推导出一个上界的负对数似然，包括重建项和GC-代理政策和（目标不可知的）S-代理政策之间的分歧。我们的经验表明，我们的方法是能够生成多样化和高质量的图像合成任务的样本。
2023-03-26 cs.LG stat.ML
Reinforcement Learning for Generative AI: State of the Art, Opportunities and Open Research Challenges
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本综述探讨强化学习在生成式AI中的应用，涵盖三类应用场景，并深入分析该领域的机遇与挑战。
2024-02-08 cs.AI cs.LG
Decision Stacks: Flexible Reinforcement Learning via Modular Generative Models
University of California Los Angeles（加州大学洛杉矶分校）
本文提出Decision Stacks框架，将目标条件策略智能体分解为三个可并行训练的生成模块，分别模拟观测、奖励和动作的时序演化，在多个MDP和POMDP离线策略优化任务中优于现有方法。
2023-10-29 cs.AI cs.LG
Revisiting Generative Policies: A Simpler Reinforcement Learning Algorithmic Perspective
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Xi’an Jiaotong University（西安交通大学）；SenseTime Research（商汤科技研究院）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文比较分析生成式策略的训练与部署技术，将现有目标归纳为更简单的GMPO和数值稳定的GMPP，并通过GenerativeRL验证其在多个离线RL数据集上的先进性能。
2024-12-02 cs.AI cs.LG
Generative Support Realignment for Cross-Domain Offline Reinforcement Learning
Ulsan National Institute of Science and Technology, UNIST（乌山国立科学技术研究院，UNIST）
本文提出TCE框架，通过目标对齐生成扩展状态覆盖，有效缓解领域差异，提升跨领域离线强化学习性能。
2026-09-30 cs.AI cs.LG
Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations using Generative Models
University of Toronto Robotics Institute（多伦多大学机器人研究所）；Vector Institute（向量研究所）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）
无模型强化学习对真实机器人系统的潜在好处受到其不知情探索的限制，导致收敛缓慢，缺乏数据效率以及与环境的不必要交互。为了解决这些缺点，我们提出了一种结合强化和模仿学习的方法，该方法通过使用生成模型来塑造奖励函数，该奖励函数具有从演示数据中训练的状态和动作依赖的潜力。我们表明，这加速了策略学习，指定高价值领域的国家和行动空间，是值得探索的第一。与大多数现有的方法，假设最佳的演示和纳入演示数据作为政策优化的硬约束不同，我们将演示数据作为建议，以奖励塑造潜力的形式训练为生成模型的状态和动作。特别是，我们研究了归一化流和生成对抗网络来表示这些潜力。我们表明，与许多现有的方法，将示威作为硬约束，我们的方法是公正的，即使在次优和嘈杂的示威的情况下。我们提出了一个广泛的模拟，以及实验上的Franka Rankka 7自由度的手臂，证明我们的方法的实用性。
2020-11-02 cs.LG cs.RO
Offline Reinforcement Learning with Generative Trajectory Policies
School of Computing, Data Sciences；Computer Engineering Department, UCLA, Los Angeles, USA
本文提出生成轨迹策略（GTP），通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹，并引入两种理论自适应方法，在D4RL基准上达到最先进性能。
2026-05-28 cs.AI cs.LG
Interpretable Reward Redistribution in Reinforcement Learning: A Causal Approach
Eindhoven University of Technology（埃因霍温理工大学）；University of California San Diego（加州大学圣迭戈分校）；University College London（伦敦大学学院）；University of Liverpool（利物浦大学）
本文提出一种基于因果生成模型的奖励再分配框架GRD，通过识别不可观测的马尔可夫奖励和因果关系，实现可解释的奖励分配并保持策略不变性，在延迟奖励场景中优于现有方法。
2023-11-10 cs.LG
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入，使强化学习能够扩展到非常复杂的领域，在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功，但这些新方法存在自身的问题，使它们往往不适用于现实世界的问题。数据效率的极度缺乏，加上巨大的差异和难以执行安全约束，是该领域三个最突出的问题之一。通常，从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型，以及支持强化学习设置的马尔可夫特性，在内部想象模块中对真实环境的动态进行建模。然后，来自想象的卷展用于在标准强化学习过程中人工模拟真实环境，以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明，该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验，从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
Reinforcement Learning with Generative Models for Compact Support Sets
University of Alberta（阿尔伯塔大学）
提出利用强化学习控制基础模型生成紧凑合成支持集的框架，通过优化提示与奖励反馈机制，在无额外标注成本下显著提升小样本分类准确率。
2024-04-25 cs.CV cs.LG
Multiple-objective Reinforcement Learning for Inverse Design and Identification
University of Delaware（特拉华大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
逆向化学设计的目的是开发具有给定优化分子性质或目标的新分子。最近，生成式深度学习（DL）网络被认为是逆向化学设计的最新技术，并在药物和材料化学领域中生成具有所需性质的分子结构方面取得了早期成功。然而，满足大量（大于10个目标）的分子目标是当前生成模型的限制。为了提高模型处理大量分子设计目标的能力，我们开发了一个基于强化学习（RL）的生成框架来优化化学分子生成。我们使用课程学习（CL）来微调预训练的生成网络，使模型能够满足多达21个目标，并提高生成网络的鲁棒性。实验表明，所提出的基于多目标RL的生成模型可以正确识别未知分子，成功率为83%至100%，而基线方法为0%。此外，这个生成模型不仅限于化学研究的挑战;我们预计，利用RL多目标的问题将受益于这个框架。
2019-10-09 cs.AI cs.LG
From Generative to Episodic: Sample-Efficient Replicable Reinforcement Learning
Princeton University（普林斯顿大学）；UC San Diego（加州大学圣迭戈分校）；National Institute of Informatics（日本信息处理学会）
针对可复制强化学习中生成式与情景式设置的样本复杂度鸿沟，本文提出一种仅需 $\tilde{O}(S^2A)$ 样本的可复制 RL 算法，并给出匹配下界，证明探索并非可复制学习的重大障碍。
2025-07-16 cs.LG
Outcome-Guided Counterfactuals for Reinforcement Learning Agents from a Jointly Trained Generative Latent Space
SRI International（斯坦福国际研究院）
我们提出了一种新的生成方法，用于根据表征代理行为的结果变量为强化学习（RL）代理生成看不见的和似是而非的反事实示例。我们的方法使用一个变分自编码器训练的潜在空间，共同编码的观察和结果变量有关的代理的行为的信息。反事实生成使用遍历在这个潜在的空间，通过梯度驱动的更新，以及潜在的插值对情况下，从一个池的例子。其中包括提高生成示例的可能性的更新，这提高了生成的反事实的可验证性。从三个强化学习环境中的实验，我们表明，这些方法产生的反事实是更合理的，接近他们的查询相比，纯粹的结果驱动或基于案例的基线。最后，我们表明，一个潜在的联合训练，以重建输入的观察和行为结果变量产生更高质量的反事实比潜在的训练只重建观察输入。
2022-07-15 cs.AI cs.LG
Towards Interpretable Reinforcement Learning Using Attention Augmented Agents
DeepMind（深度思维）
受图像描述和问答的注意力模型的启发，我们提出了一个用于强化学习领域的软注意力模型。该模型使用软的、自上而下的注意力机制来在代理中创建瓶颈，通过顺序查询其环境视图来迫使其关注任务相关信息。注意力机制的输出允许直接观察代理选择其动作所使用的信息，从而使该模型比传统模型更容易解释。我们分析了代理学习的不同策略，并表明少数策略在不同的游戏中反复出现。我们还表明，该模型学习分别查询空间和内容（“在哪里”与“什么”）。我们证明了使用这种机制的代理可以实现与ATARI任务上的最先进模型竞争的性能，同时仍然是可解释的。
2019-06-06 cs.LG stat.ML
RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；NiuTrans Research（NiuTrans研究院）；Institute of Psychology, CAS（中国科学院心理研究所）；Kunming University of Science and Technology（昆明理工大学）
本研究针对生成式奖励模型在LLM强化学习中潜力未充分发挥的问题，提出RRC方法，通过两种互补策略提升RL训练效果，在多基准上取得一致增益。
2026-08-07 cs.CL cs.LG
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Guelph（圭尔夫大学）
尽管机器学习（ML）已经成功地自动化了各种软件工程需求，但软件测试仍然是一个极具挑战性的话题。在本文中，我们的目标是通过直接增强随机数生成器（RNG）与深度强化学习（RL）代理使用一个有效的，自动提取的状态表示的测试下的软件，以提高软件的生成测试。使用Cosmos SDK作为测试平台，我们证明了所提出的DeepRNG框架对具有超过350，000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
探索是训练最优强化学习（RL）策略的关键，其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖，而不考虑可以学习的这种鉴别过程。在本文中，我们提出了一种称为生成对抗探索（GAEX）的新方法，通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索，其中生成器提供了状态的假样本，帮助机器人识别那些不太频繁访问的状态。因此，鼓励代理人访问那些州，而代理人不太有信心判断为访问过。GAEX易于实现，训练效率高。在我们的实验中，我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题，包括游戏冒险，蒙特祖玛的复仇和超级马里奥兄弟，没有进一步微调复杂的学习算法。据我们所知，这是第一个工作，采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
Data-efficient visuomotor policy training using reinforcement learning and generative models
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
我们提出了一个数据高效的框架，解决可视化顺序决策问题，利用强化学习（RL）和潜变量生成模型的组合。我们的框架通过引入动作潜在变量来训练深度可视化策略，使得前馈策略搜索可以分为三个部分：（i）训练子策略，该子策略在给定系统状态的情况下输出关于动作潜在变量的分布，（ii）无监督地训练生成模型，该生成模型输出以潜在动作变量为条件的运动动作序列，以及（iii）以端到端的方式对深度可视化策略进行监督训练。我们的方法可以安全探索，并解决数据效率低下的问题，因为它利用了有关有效的电机动作序列的先验知识。此外，我们还提供了一组用于评估生成模型的措施，以便我们能够在物理机器人的实际训练之前预测RL策略训练的性能。我们定义了两个新的措施，去纠缠和本地线性评估潜在的代表性的质量，并补充他们与现有的措施，评估的学习分布。我们通过实验确定了不同的生成模型的特性，这些模型对机器人采摘任务的最终策略训练的性能影响最大。
2020-11-06 cs.LG cs.RO
Generative Adversarial User Model for Reinforcement Learning Based Recommendation System
Ant Financial（蚂蚁集团）
将强化学习（RL）应用于推荐系统，既有很大的研究兴趣，也面临着许多挑战。在这种情况下，在线用户是环境;奖励函数和环境动态都没有明确定义，这使得RL的应用具有挑战性。在本文中，我们提出了一种新的基于基于模型的强化学习框架的推荐系统，我们开发了一个生成对抗网络，模仿用户的行为动力学和学习她的奖励函数。使用此用户模型作为模拟环境，我们开发了一种新的级联DQN算法，以获得一个组合的推荐策略，可以有效地处理大量的候选项目。在我们对真实数据的实验中，我们表明这种生成式对抗用户模型可以更好地解释用户行为，并且基于该模型的RL策略可以为用户带来更好的长期回报和更高的系统点击率。
2020-01-01 cs.IR cs.LG stat.ML
Spatial Assembly: Generative Architecture With Reinforcement Learning, Self Play and Tree Search
University of Oxford（牛津大学）；Bartlett School of Architecture, UCL（伦敦大学学院巴特莱特建筑学院）
在这项工作中，我们研究了使用强化学习（RL）的空间组件的生成，通过结合程序生成算法（波函数折叠算法（WFC））和RL的游戏解决的想法。WFC是一种生成式设计算法，受约束求解的启发。在WFC中，定义了一组瓦片/块和约束，并且算法生成满足这些约束的组件。将空间装配体的生成问题转化为一个马尔可夫决策过程，其状态转移由WFC定义，提出了一种利用强化学习和Self-Play学习策略生成装配体的算法，该算法能够最大化设计者设定的目标。最后，我们展示了我们的空间组装算法在建筑设计中的应用。
2021-01-19 cs.AI cs.GR cs.LG
Generative Market Equilibrium Models with Stable Adversarial Learning via Reinforcement
Vector Institute（向量研究所）；NSERC（加拿大自然科学与工程研究理事会）
本文提出一种结合GAN与深度强化学习的生成式框架，通过“强化链接”解耦反馈机制稳定训练，在含交易成本的多智能体连续时间市场中求解均衡并预测资产收益与波动率的涌现。
2025-04-05 cs.LG q-fin.MF q-fin.PR
Reinforcement-guided generative protein language models enable de novo design of highly diverse AAV capsids
LASIGE, Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学学院LASIGE实验室）；BioISI, Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学学院BioISI实验室）；iBET – Instituto de Biologia Experimental e Tecnológica（生物实验与技术研究所）
本文提出基于蛋白质语言模型和强化学习的生成设计框架，用于从头设计高多样性的AAV衣壳，通过强化学习引导序列生成，提升序列空间探索能力。
2026-03-19 cs.LG q-bio.BM
A Multi-Armed Bandit Approach to Online Selection and Evaluation of Generative Models
The Chinese University of Hong Kong（香港中文大学）
本文提出将生成模型在线评估与选择建模为多臂老虎机问题，基于Fréchet距离和Inception Score设计FD-UCB与IS-UCB算法，并证明遗憾界，实现样本高效地选择最优深度生成模型。
2025-03-11 cs.LG
Reinforcement Learning for Generative AI: A Survey
Macquarie University（麦考瑞大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；CSIRO’s Data61（联邦科学与工业研究组织数据61）；University of New South Wales（新南威尔士大学）
本文综述了强化学习在生成式人工智能中的应用，提出严格分类法，覆盖多种模型与应用，并探讨大语言模型及未来方向。
2025-02-24 cs.AI cs.LG
Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（KTH皇家理工学院）；Aalto University（阿尔托大学）
我们提出了一个数据高效的框架来解决顺序决策问题，它利用了强化学习（RL）和潜变量生成模型的组合。该框架称为GenRL，通过引入动作潜变量来训练深度策略，使得前馈策略搜索可以分为两个部分：（i）训练子策略，该子策略输出给定系统状态的动作潜变量的分布，以及（ii）生成模型的无监督训练，该生成模型输出以潜在动作变量为条件的运动动作序列。GenRL能够安全探索并解决数据效率低下的问题，因为它利用了关于有效运动动作序列的先验知识。此外，我们还提供了一组用于评估生成模型的措施，以便我们能够在物理机器人的实际训练之前预测RL策略训练的性能。我们通过实验确定生成模型的特性，这些特性对两个机器人任务的最终策略训练的性能影响最大：射击曲棍球和投掷篮球。此外，我们的经验表明，GenRL是唯一的方法，可以安全，有效地解决机器人任务相比，两个国家的最先进的RL方法。
2022-04-18 cs.LG cs.RO
A Survey on Data-Centric AI: Tabular Learning from Reinforcement Learning and Generative AI Perspective
Arizona State University（亚利桑那州立大学）；The University of Kansas（堪萨斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文综述以数据为中心的表格学习，系统梳理利用强化学习和生成式 AI 进行特征选择与特征生成的方法、应用、优势、局限及未来方向。
2025-02-16 cs.AI cs.LG
GenPO: Generative Diffusion Models Meet On-Policy Reinforcement Learning
ShanghaiTech University（上海科技大学）；University of Electronic Science and Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）；MoE Key Laboratory of Intelligent Perception and Human Machine Collaboration（智能感知与人机协同联合实验室）
GenPO通过生成扩散模型与在线强化学习结合，解决了扩散策略在计算状态-动作对数似然中的挑战，实现了高效的可逆动作映射和熵正则化，提升了机器人任务的训练效果。
2026-01-22 cs.LG
The Duality of Generative AI and Reinforcement Learning in Robotics: A Review
SUPSI（瑞士苏黎世联邦理工学院）
本文综述了生成式人工智能与强化学习在机器人中的双重性，探讨了两者的整合方法、挑战及未来研究方向。
2025-07-18 cs.LG cs.RO
Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models
Tsinghua University（清华大学）；Boson AI（玻色人工智能）；Tencent Hunyuan（腾讯混元）；SLAI；CUHK（香港中文大学）；Tencent Jarvis Lab（腾讯贾维斯实验室）；UCLA（加利福尼亚大学洛杉矶分校）；Nanyang Technological University（南洋理工大学）
针对物理时空预测的随机性与不可微指标问题，提出基于模型强化学习的SFP范式，利用生成式世界模型和束搜索规划，以领域指标为奖励，通过自训练优化预测策略，显著降低误差并提升极端事件捕捉能力。
2025-10-10 cs.AI cs.LG
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Multi-Agent Reinforcement Learning with Multi-Step Generative Models
Technion（以色列理工学院）；Google Brain（谷歌大脑）
我们认为基于模型的强化学习（MBRL）在2代理，高保真连续控制问题-机器人与其他代理在同一个工作空间中进行交互的一个重要领域。对于非平凡的动力系统，MBRL通常遭受累积误差。最近的几项研究已经通过学习轨迹段的潜变量模型和优化潜空间中的行为来解决这个问题。在这项工作中，我们研究这种方法是否可以扩展到2代理的竞争和合作的设置。最根本的挑战是如何学习模型，捕捉代理之间的交互，但被解开，以允许每个代理的行为分别优化。我们提出了这样的模型的基础上解开变分自动编码器，并证明我们的方法模拟2机器人操作任务，其中一个机器人可以帮助或分散对方。我们表明，我们的方法比强大的无模型RL基线具有更好的样本效率，并且可以从相同的数据中学习合作和对抗行为。
2019-11-01 cs.LG stat.ML
Sequential Transfer in Reinforcement Learning with a Generative Model
Politecnico di Milano（米兰理工大学）
我们感兴趣的是如何设计强化学习代理，可证明降低样本的复杂性学习新的任务，从以前解决的知识转移。相关问题的解决方案的可用性提出了一个基本的权衡：是否寻求政策，预计将立即实现高（但次优）的新任务的性能或是否寻求信息，以快速确定一个最佳的解决方案，可能在不良的初始行为的成本。在这项工作中，我们专注于第二个目标时，代理有机会生成模型的状态-动作对。首先，给定一组已解决的任务，其中包含目标任务的近似值，我们设计了一种算法，该算法通过寻找最能提供信息的状态-动作对来快速识别准确的解决方案。我们得出PAC的界限，其样本的复杂性，清楚地表明使用这种先验知识的好处。然后，我们展示了如何学习这些近似的任务顺序减少我们的转移设置的隐马尔可夫模型，并采用频谱方法来恢复其参数。最后，我们在简单的模拟域实证验证我们的理论研究结果。
2020-07-01 cs.LG stat.ML
GTA: Generative Trajectory Augmentation with Guidance for Offline Reinforcement Learning
KAIST（韩国科学技术院）
GTA是一种基于扩散模型的生成式轨迹增强方法，通过部分加噪和回报引导去噪生成高奖励且动态合理的轨迹，提升离线强化学习算法的性能和数据质量。
2024-11-07 cs.AI cs.LG
Optimizing Algorithms for Mobile Health Interventions with Active Querying Optimization
Harvard University（哈佛大学）
本文提出一种贝叶斯扩展的ATM算法，以提升移动健康干预中强化学习的稳定性与样本效率，同时揭示现有方法在复杂现实场景中的局限性。
2025-11-27 cs.LG stat.ML
Provable Multi-Objective Reinforcement Learning with Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）；J. P. Morgan AI Research（摩根大通人工智能研究院）
多目标强化学习（MORL）是普通的单目标强化学习（RL）的扩展，适用于许多现实世界中存在多个目标而没有已知相对成本的任务。我们研究了单策略MORL问题，它学习目标偏好的最优策略。现有的方法需要强的假设，如多目标马尔可夫决策过程的确切知识，并在无限的数据和时间的限制进行分析。我们提出了一种新的算法称为基于模型的包络值迭代（EVI），它推广了杨等人的包络多目标$Q$ -学习算法，2019.我们的方法可以学习一个接近最优的价值函数多项式的样本复杂度和线性收敛速度。据我们所知，这是第一个有限样本分析MORL算法。
2021-01-11 cs.AI cs.LG math.OC
Plasma Shape Control via Zero-shot Generative Reinforcement Learning
Zhejiang University（浙江大学）；Southwestern Institute of Physics（西南物理研究所）；Zhejiang Lab（浙江实验室）
本文融合GAIL与Hilbert空间表示学习，基于历史PID放电离线数据训练可零样本部署的等离子体形状控制基础策略，并在HL-3模拟器中验证其多场景精确稳定跟踪能力。
2025-10-20 cs.LG physics.plasm-ph
ACEGEN: Reinforcement learning of generative chemical agents for drug discovery
Universitat Pompeu Fabra（庞培法布拉大学）；Acellera Labs（阿塞莱拉实验室）；Biogen Research and Development（渤健研发部门）；Janssen Pharmaceutica N. V.（杨森制药公司）；Meta
ACEGEN是一个基于TorchRL的强化学习工具包，用于生成式药物设计，通过基准测试验证了其性能，并在多个案例研究中展示了应用。
2024-07-22 cs.AI cs.LG q-bio.BM
