Scheduling Distributed Flexible Assembly Lines using Safe Reinforcement Learning with Soft Shielding
Contemporary Amperex Technology Co., Limited（宁德时代新能源科技股份有限公司）
本文提出基于优势演员-评论家的强化学习方法实时调度分布式柔性装配线，结合紧凑环境表示与蒙特卡洛树搜索软屏蔽组件，有效解决长序列不安全行为并监控逾期风险。
2023-11-21 cs.AI cs.NE
Learning to grow: control of material self-assembly using evolutionary reinforcement learning
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；National Research Council of Canada（加拿大国家研究委员会）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
我们表明，进化强化学习训练的神经网络可以制定有效的分子自组装协议。通过分子模拟轨迹，网络学习改变温度和化学势，以促进所需结构的组装或在竞争的多晶型物之间进行选择。在第一种情况下，网络在定性意义上再现了先前已知协议的结果，但速度更快，保真度更高;在第二种情况下，它们识别了先前未知的策略，我们可以从中提取物理见解。将模拟的运行时间或系统的微观信息作为输入的网络都是有效的，后者更有效。我们使用的进化方案易于实现，并且可以应用于实验自组装的广泛示例，无论是否可以在实验进行时监控实验。我们的结果已经取得了没有超出规范的序参量，以促进人类的输入，指出了人工智能的合成协议的设计方式。
2020-05-28 cond-mat.stat-mech cs.LG cs.NE
Towards Intelligent Pick and Place Assembly of Individualized Products Using Reinforcement Learning
TH Köln – University of Applied Sciences（科隆应用技术大学）；Cologne Cobots Lab（科隆协作机器人实验室）；Laboratory of Manufacturing Systems（制造系统实验室）；Institute of Telecommunications Technology（电信技术研究所）
个性化制造正在成为满足日益多样化和特定的消费者需求和期望的重要方法。虽然有各种解决方案来实现制造过程，例如增材制造，但随后的自动化组装仍然是一项具有挑战性的任务。作为解决这个问题的一种方法，我们的目标是教一个协作机器人成功地执行拾取和放置任务，通过实施强化学习。对于在不断变化的制造环境中的个性化产品的装配，模拟的几何和动态参数将变化。使用具有元学习能力的强化学习算法，任务将首先在模拟中进行训练。然后，它们将在真实世界的环境中执行，其中引入了在训练中未模拟的新因素，以确认算法的鲁棒性。机器人将从触觉传感器、区域扫描相机和3D相机获得输入数据，这些相机用于生成环境和物体的高度图。机器学习算法和硬件组件的选择，以及进一步的研究问题，以实现概述的生产场景是所提出的工作的结果。
2020-02-11 cs.LG cs.RO
Symmetry-aware Reinforcement Learning for Robotic Assembly under Partial Observability with a Soft Wrist
Northeastern University（东北大学）；OMRON SINIC X Corporation（欧姆龙SINIC X公司）
该研究针对软手腕机器人孔轴装配任务，提出利用领域对称性进行数据增强和辅助损失约束的部分可观测深度强化学习方法，在仿真和真实机器人上均实现了高效学习。
2024-04-29 cs.AI cs.LG cs.RO
Graph-based Reinforcement Learning meets Mixed Integer Programs: An application to 3D robot assembly discovery
Technical University of Darmstadt（达姆施塔特工业大学）
机器人装配发现是一个具有挑战性的问题，生活在资源分配和运动规划的交叉点。我们的目标是将一组预定义的对象组合起来，形成新的东西，同时考虑使用机器人在环执行任务。在这项工作中，我们解决的问题，建立任意的，预定义的目标结构完全从头开始使用一组俄罗斯方块一样的积木和机器人操纵器。我们的新的分层方法的目的是有效地分解成三个可行的水平，相互受益的整体任务。在高层次上，我们运行一个经典的混合整数程序，用于块类型选择和块的最终姿态的全局优化，以重新创建所需的形状。然后利用其输出来有效地指导底层强化学习（RL）策略的探索。这种RL策略从一个灵活的基于图的表示中提取其泛化属性，该表示是通过Q学习学习的，可以通过搜索进行细化。此外，它还考虑了结构稳定性和机器人可行性的必要条件，这些条件在前一层中无法有效反映。最后，抓取和运动规划器将所需的装配命令转换为机器人关节运动。我们展示了我们提出的方法的性能在一组竞争激烈的模拟RAD环境，展示现实世界的传输，并报告性能和鲁棒性增益相比，非结构化的端到端的方法。有关视频，请访问https://sites.google.com/view/rl-meets-milp。
2022-08-02 cs.AI cs.LG cs.RO
A Sliding-Window-Based Reinforcement Learning for Dynamic Assembly Flow Shop Scheduling with Multi-Product Delivery
School of Electromechanical Engineering, Guangdong University of Technology（广东工业大学机电工程学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
针对混合制造系统中多产品配套交付的实时调度难题，提出基于滑动窗口的强化学习框架，将问题建模为基于异构图的马尔可夫决策过程，集成多种机制，实验表明该方法能降低延迟，性能稳健。
2026-07-07 cs.AI
Assembly robots with optimized control stiffness through reinforcement learning
Saitama University（埼玉大学）；University of Tsukuba（筑波大学）；JST PRESTO（日本科学技术振兴机构先驱研究计划）
对机器人任务自动化的需求日益增加。接触丰富的任务，其中多个接触过渡发生在一系列的操作，正在被广泛研究，以实现高精度。在这项研究中，我们提出了一种方法，使用强化学习（RL），以实现高性能的机器人执行装配任务，需要精确的接触对象，而不会造成损害。该方法保证了刚度矩阵的在线生成，有助于提高局部轨迹优化的性能。由于轨迹规划的采样时间短，该方法具有响应速度快的优点。通过两个接触丰富的任务的实验验证了该方法的有效性。结果表明，该方法可以实现在各种接触丰富的操作。一个演示视频显示了性能。（https：//youtu.be/gxSCl7Tp4-0）
2020-02-27 cs.LG cs.RO cs.SY
Dynamic control of self-assembly of quasicrystalline structures through reinforcement learning
Future University Hakodate（函馆未来大学）；Mathematics for Advanced Materials-OIL, AIST（日本国立研究开发法人产业技术综合研究所先进材料数学研究部门-OIL）
本文采用 Q-learning 学习温度控制策略，引导补丁粒子沿有利动力学路径自组装为低缺陷 DDQC，并借助三势阱模型解释强化学习发现特征温度的机制。
2024-09-19 cond-mat.soft cs.LG
A study on a Q-Learning algorithm application to a manufacturing assembly problem
University of Coimbra（科英布拉大学）
本文研究将无模型Q-Learning算法应用于制造装配问题，通过Q-table学习最优装配序列，并在三个复杂度递增的场景中验证了其98.3%的最优序列学习成功率。
2023-04-17 cs.LG
Robust Multi-Modal Policies for Industrial Assembly via Reinforcement Learning and Demonstrations: A Large-Scale Study
Google X（谷歌X）；DeepMind（深度思维）
在过去的几年里，已经有相当大的研究投资到基于学习的方法，以工业组装，但尽管取得了重大进展，这些技术尚未被采用的行业。我们认为，深度强化学习（DRL）的设计空间过大，而不是算法本身的限制，才是导致这种缺乏采用的真正原因。将这些技术推向工业主流需要一个与学术思维截然不同的面向工业的范式。在本文中，我们定义了面向行业的DRL的标准，并进行了彻底的比较，根据这些标准的一个家庭的学习方法，DRL从示范，对专业的工业集成商在最近建立的NIST组装基准。我们解释的设计选择，代表了几年的调查，使我们的日间行车灯系统，以一贯优于集成商的速度和可靠性方面的基线。最后，我们得出结论，我们的DRL系统和人类之间的竞争插入到一个随机移动的目标的挑战性任务。这项研究表明，DRL不仅能够超越已建立的工程方法，而且还能够超越人类运动系统，并且仍然有很大的改进空间。视频可以在我们的项目网站上找到：https://sites.google.com/view/shield-nist。
2021-07-31 cs.AI cs.RO
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
受过度拟合大脑假说启发，提出基于生成式增强的想象强化学习方法，在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
Novel Multi-Agent Action Masked Deep Reinforcement Learning for General Industrial Assembly Lines Balancing Problems
Department of Mechanical and Aerospace Engineering, Carleton University（机械与航空航天工程系，卡尔顿大学）
本文针对通用工业装配线平衡问题，提出基于MDP建模的多智能体深度强化学习方法，结合动作掩码与集中训练分散执行框架，显著加快收敛到最优解的速度。
2025-07-22 cs.AI
Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
大多数成功的机器人操作已被限制在单臂夹持机器人，其灵活性低，限制了范围内的可解决的任务，拾取和放置，插入，和对象的重排。更复杂的任务，如装配，需要双臂和多臂平台，但也带来了一系列独特的挑战，如双臂协调和避免碰撞，稳健的抓取和长期规划。在这项工作中，我们研究了在模拟中训练深度强化学习（RL）策略并将其转移到现实世界（Sim 2 Real）的可行性，作为一种通用方法，用于获得真实世界双手动机器人操作任务的性能控制器。作为双手操作的试验平台，我们开发了U型磁块装配任务，其中两个机器人具有平行的夹具必须连接3个磁块形成U形。没有手动设计的控制器，也没有人的演示，我们证明，通过仔细的Sim 2 Real考虑，我们的策略在仿真中使用RL训练，使两个xArm 6机器人能够解决U形装配任务，在仿真中的成功率超过90%，在真实硬件上的成功率为50%，而无需任何额外的真实世界的微调。通过仔细的消融，我们强调了系统的每个组成部分是如何对这种简单而成功的策略学习和转移至关重要的，包括任务规范，学习算法，直接关节空间控制，行为约束，感知和驱动噪声，动作延迟和动作插值。我们的研究结果为真实硬件上的双臂能力向前迈出了重要的一步，我们希望我们的系统可以激发未来对双手动策略的深度RL和Sim 2 Real传输的研究，大幅提升现实世界机器人操作器的能力。
2023-03-27 cs.AI cs.LG cs.RO
Autonomous Planning In-space Assembly Reinforcement-learning free-flYer (APIARY) International Space Station Astrobee Testing
U.S. Naval Research Laboratory Naval Center for Space Technology（美国海军研究实验室海军空间技术中心）
APIARY实验利用强化学习控制空间自由飞行器，通过NASA Astrobee机器人在国际空间站进行首次空间强化学习控制测试，验证了强化学习在提升机器人自主性方面的潜力。
2025-12-03 cs.LG cs.RO cs.SY
RL-Lock: Reinforcement Learning for Generating Interlocking Assemblies
针对现有互锁组件生成方法依赖手工启发式、难处理复杂案例的问题，研究人员提出强化学习框架RL-Lock，结合结构化动作分块与MCTS学习，高效生成互锁组件，在复杂场景表现更优。
2026-08-04 cs.AI cs.GR
Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
考虑从示例专家行为中学习策略，而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数，然后用强化学习从该成本函数中提取策略。这种方法是间接的，可能会很慢。我们提出了一个新的一般框架，直接从数据中提取的政策，就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比，从中我们得到了一个无模型的模仿学习算法，该算法在模仿大型高维环境中的复杂行为时，比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Generative Memory for Lifelong Reinforcement Learning
SRI International（SRI国际研究所）
我们的研究重点是理解和应用生物记忆转移到新的人工智能系统，可以从根本上提高他们的性能，在他们的现场生活经验。我们利用目前对生物记忆转移的理解来达到记忆巩固和重放的AI算法。在本文中，我们提出了使用的生成记忆，可以召回批量样本训练的多任务代理的伪排练方式。我们的结果激励需要任务不可知的潜在空间分离的生成记忆，以解决终身学习中的灾难性遗忘的问题。
2019-02-22 cs.AI cs.LG stat.ML
Exploration for Multi-task Reinforcement Learning with Deep Generative Models
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
多任务强化学习中的探索对于训练智能体推断底层MDP至关重要。许多现有的探索框架，如$E^3$，$R_{max}$，汤普森采样假设一个单一的固定MDP，并不适合系统辨识在多任务设置。我们提出了一种新的方法，以促进探索多任务强化学习使用深度生成模型。我们用低维能量模型来补充我们的方法，以学习底层的MDP分布，并为代理提供弹性和自适应的探索信号。我们在一组新的环境中评估我们的方法，并对我们的结果进行直观的解释。
2016-11-29 cs.AI cs.LG stat.ML
Reinforcement Learning for Generative AI: State of the Art, Opportunities and Open Research Challenges
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本综述探讨强化学习在生成式AI中的应用，涵盖三类应用场景，并深入分析该领域的机遇与挑战。
2024-02-08 cs.AI cs.LG
Decision Stacks: Flexible Reinforcement Learning via Modular Generative Models
University of California Los Angeles（加州大学洛杉矶分校）
本文提出Decision Stacks框架，将目标条件策略智能体分解为三个可并行训练的生成模块，分别模拟观测、奖励和动作的时序演化，在多个MDP和POMDP离线策略优化任务中优于现有方法。
2023-10-29 cs.AI cs.LG
Revisiting Generative Policies: A Simpler Reinforcement Learning Algorithmic Perspective
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Xi’an Jiaotong University（西安交通大学）；SenseTime Research（商汤科技研究院）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文比较分析生成式策略的训练与部署技术，将现有目标归纳为更简单的GMPO和数值稳定的GMPP，并通过GenerativeRL验证其在多个离线RL数据集上的先进性能。
2024-12-02 cs.AI cs.LG
Generative Support Realignment for Cross-Domain Offline Reinforcement Learning
Ulsan National Institute of Science and Technology, UNIST（乌山国立科学技术研究院，UNIST）
本文提出TCE框架，通过目标对齐生成扩展状态覆盖，有效缓解领域差异，提升跨领域离线强化学习性能。
2026-09-30 cs.AI cs.LG
Offline Reinforcement Learning with Generative Trajectory Policies
School of Computing, Data Sciences；Computer Engineering Department, UCLA, Los Angeles, USA
本文提出生成轨迹策略（GTP），通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹，并引入两种理论自适应方法，在D4RL基准上达到最先进性能。
2026-05-28 cs.AI cs.LG
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入，使强化学习能够扩展到非常复杂的领域，在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功，但这些新方法存在自身的问题，使它们往往不适用于现实世界的问题。数据效率的极度缺乏，加上巨大的差异和难以执行安全约束，是该领域三个最突出的问题之一。通常，从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型，以及支持强化学习设置的马尔可夫特性，在内部想象模块中对真实环境的动态进行建模。然后，来自想象的卷展用于在标准强化学习过程中人工模拟真实环境，以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明，该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验，从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
Multiple-objective Reinforcement Learning for Inverse Design and Identification
University of Delaware（特拉华大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
逆向化学设计的目的是开发具有给定优化分子性质或目标的新分子。最近，生成式深度学习（DL）网络被认为是逆向化学设计的最新技术，并在药物和材料化学领域中生成具有所需性质的分子结构方面取得了早期成功。然而，满足大量（大于10个目标）的分子目标是当前生成模型的限制。为了提高模型处理大量分子设计目标的能力，我们开发了一个基于强化学习（RL）的生成框架来优化化学分子生成。我们使用课程学习（CL）来微调预训练的生成网络，使模型能够满足多达21个目标，并提高生成网络的鲁棒性。实验表明，所提出的基于多目标RL的生成模型可以正确识别未知分子，成功率为83%至100%，而基线方法为0%。此外，这个生成模型不仅限于化学研究的挑战;我们预计，利用RL多目标的问题将受益于这个框架。
2019-10-09 cs.AI cs.LG
Leveraging Procedural Generation for Learning Autonomous Peg-in-Hole Assembly in Space
本研究提出利用过程生成和域随机化在并行仿真中训练智能体，以解决空间机器人自主轴孔装配的泛化与适应性问题，并通过三种强化学习算法验证了策略的鲁棒性和适应性。
2024-05-02 cs.AI cs.LG cs.RO
IKEA Furniture Assembly Environment for Long-Horizon Complex Manipulation Tasks
University of Southern California（南加州大学）
宜家家具装配环境是测试和加速复杂操作任务自动化的首批基准之一。该环境旨在将强化学习从简单的玩具任务推进到需要长期规划和复杂低级控制的复杂任务。我们的环境支持超过80种不同的家具模型，Sawyer和Baxter机器人模拟，以及域随机化。宜家家具装配环境是一个旨在解决复杂操作任务的方法的测试平台。该环境可在https://clvrai.com/furniture上公开获取
2019-11-17 cs.AI cs.CV cs.LG
Outcome-Guided Counterfactuals for Reinforcement Learning Agents from a Jointly Trained Generative Latent Space
SRI International（斯坦福国际研究院）
我们提出了一种新的生成方法，用于根据表征代理行为的结果变量为强化学习（RL）代理生成看不见的和似是而非的反事实示例。我们的方法使用一个变分自编码器训练的潜在空间，共同编码的观察和结果变量有关的代理的行为的信息。反事实生成使用遍历在这个潜在的空间，通过梯度驱动的更新，以及潜在的插值对情况下，从一个池的例子。其中包括提高生成示例的可能性的更新，这提高了生成的反事实的可验证性。从三个强化学习环境中的实验，我们表明，这些方法产生的反事实是更合理的，接近他们的查询相比，纯粹的结果驱动或基于案例的基线。最后，我们表明，一个潜在的联合训练，以重建输入的观察和行为结果变量产生更高质量的反事实比潜在的训练只重建观察输入。
2022-07-15 cs.AI cs.LG
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Guelph（圭尔夫大学）
尽管机器学习（ML）已经成功地自动化了各种软件工程需求，但软件测试仍然是一个极具挑战性的话题。在本文中，我们的目标是通过直接增强随机数生成器（RNG）与深度强化学习（RL）代理使用一个有效的，自动提取的状态表示的测试下的软件，以提高软件的生成测试。使用Cosmos SDK作为测试平台，我们证明了所提出的DeepRNG框架对具有超过350，000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
探索是训练最优强化学习（RL）策略的关键，其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖，而不考虑可以学习的这种鉴别过程。在本文中，我们提出了一种称为生成对抗探索（GAEX）的新方法，通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索，其中生成器提供了状态的假样本，帮助机器人识别那些不太频繁访问的状态。因此，鼓励代理人访问那些州，而代理人不太有信心判断为访问过。GAEX易于实现，训练效率高。在我们的实验中，我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题，包括游戏冒险，蒙特祖玛的复仇和超级马里奥兄弟，没有进一步微调复杂的学习算法。据我们所知，这是第一个工作，采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
A step toward a reinforcement learning de novo genome assembler
Center for Higher Studies of Itacoatiara, University of the State of Amazonas（亚马逊州立大学伊塔科阿蒂拉高等研究中心）；Sustainable Development, Vale Technology Institute（淡水河谷技术研究所可持续发展部）；Institute of Mathematics and Computer Sciences, University of São Paulo（圣保罗大学数学与计算机科学研究所）；Polytechnic School, University of São Paulo（圣保罗大学理工学院）；LIRMM, University of Montpellier, CNRS（蒙彼利埃大学、法国国家科学研究中心联合实验室LIRMM）；Institute of Natural Sciences, Federal University of Pará（帕拉联邦大学自然科学研究所）
本研究拓展了现有基于强化学习的从头基因组组装方法，改进奖励系统并结合剪枝与进化计算优化状态空间探索，在23个新环境中验证了性能提升，同时指出高维空间等局限并探讨了真实场景下的实现路径。
2024-03-07 cs.AI cs.LG q-bio.GN
A Connection between Generative Adversarial Networks, Inverse Reinforcement Learning, and Energy-Based Models
University of California, Berkeley（加州大学伯克利分校）
生成对抗网络（GANs）是最近提出的一类生成模型，其中生成器被训练以优化由神经网络同时学习的成本函数。虽然学习成本函数的想法对于生成建模领域来说是相对较新的，但学习成本在控制和强化学习（RL）领域已经研究了很长时间，通常用于从演示中进行模仿学习。在这些领域中，基于观察到的行为的学习成本函数被称为逆强化学习（IRL）或逆最优控制。虽然一开始RL中的成本学习和生成建模中的成本学习之间的联系可能看起来很肤浅，但我们在本文中表明，某些IRL方法实际上在数学上等同于GANs。特别是，我们证明了一个基于样本的最大熵IRL算法和GAN，其中发电机的密度可以进行评估，并提供作为一个额外的输入到ESTA之间的等价性。有趣的是，最大熵IRL是基于能量的模型的一个特例。我们讨论了将GANs解释为训练基于能量的模型的算法，并将这种解释与最近试图连接GANs和EBM的其他工作联系起来。通过正式强调GANs、IRL和EBM之间的联系，我们希望这三个领域的研究人员能够更好地识别和应用从一个领域到另一个领域的可转移思想，特别是开发更稳定和可扩展的算法：这是这三个领域的主要挑战。
2016-11-25 cs.AI cs.LG
Reinforcement Learning for Generative AI: A Survey
Macquarie University（麦考瑞大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；CSIRO’s Data61（联邦科学与工业研究组织数据61）；University of New South Wales（新南威尔士大学）
本文综述了强化学习在生成式人工智能中的应用，提出严格分类法，覆盖多种模型与应用，并探讨大语言模型及未来方向。
2025-02-24 cs.AI cs.LG
A Survey on Data-Centric AI: Tabular Learning from Reinforcement Learning and Generative AI Perspective
Arizona State University（亚利桑那州立大学）；The University of Kansas（堪萨斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文综述以数据为中心的表格学习，系统梳理利用强化学习和生成式 AI 进行特征选择与特征生成的方法、应用、优势、局限及未来方向。
2025-02-16 cs.AI cs.LG
Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models
Tsinghua University（清华大学）；Boson AI（玻色人工智能）；Tencent Hunyuan（腾讯混元）；SLAI；CUHK（香港中文大学）；Tencent Jarvis Lab（腾讯贾维斯实验室）；UCLA（加利福尼亚大学洛杉矶分校）；Nanyang Technological University（南洋理工大学）
针对物理时空预测的随机性与不可微指标问题，提出基于模型强化学习的SFP范式，利用生成式世界模型和束搜索规划，以领域指标为奖励，通过自训练优化预测策略，显著降低误差并提升极端事件捕捉能力。
2025-10-10 cs.AI cs.LG
GTA: Generative Trajectory Augmentation with Guidance for Offline Reinforcement Learning
KAIST（韩国科学技术院）
GTA是一种基于扩散模型的生成式轨迹增强方法，通过部分加噪和回报引导去噪生成高奖励且动态合理的轨迹，提升离线强化学习算法的性能和数据质量。
2024-11-07 cs.AI cs.LG
Provable Multi-Objective Reinforcement Learning with Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）；J. P. Morgan AI Research（摩根大通人工智能研究院）
多目标强化学习（MORL）是普通的单目标强化学习（RL）的扩展，适用于许多现实世界中存在多个目标而没有已知相对成本的任务。我们研究了单策略MORL问题，它学习目标偏好的最优策略。现有的方法需要强的假设，如多目标马尔可夫决策过程的确切知识，并在无限的数据和时间的限制进行分析。我们提出了一种新的算法称为基于模型的包络值迭代（EVI），它推广了杨等人的包络多目标$Q$ -学习算法，2019.我们的方法可以学习一个接近最优的价值函数多项式的样本复杂度和线性收敛速度。据我们所知，这是第一个有限样本分析MORL算法。
2021-01-11 cs.AI cs.LG math.OC
Continual Offline Reinforcement Learning via Diffusion-based Dual Generative Replay
Nanjing University（南京大学）；Chinese University of Hong Kong（香港中文大学）
本研究提出双生成回放框架，结合扩散模型与行为克隆，解决持续离线强化学习中的遗忘与迁移问题，实现高保真回放并提升性能。
2024-04-18 cs.AI cs.LG
ACEGEN: Reinforcement learning of generative chemical agents for drug discovery
Universitat Pompeu Fabra（庞培法布拉大学）；Acellera Labs（阿塞莱拉实验室）；Biogen Research and Development（渤健研发部门）；Janssen Pharmaceutica N. V.（杨森制药公司）；Meta
ACEGEN是一个基于TorchRL的强化学习工具包，用于生成式药物设计，通过基准测试验证了其性能，并在多个案例研究中展示了应用。
2024-07-22 cs.AI cs.LG q-bio.BM
Learning and Querying Fast Generative Models for Reinforcement Learning
DeepMind
基于基于模型的强化学习（RL）的一个关键挑战是综合计算效率高且准确的环境模型。我们表明，精心设计的生成模型，学习和操作紧凑的状态表示，所谓的状态空间模型，大大降低了预测结果的行动序列的计算成本。大量的实验表明，状态空间模型准确地捕捉动态的雅达利游戏从街机学习环境从原始像素。状态空间模型的计算速度提高，同时保持高精度，使其在强化学习中的应用是可行的：我们证明，代理查询这些模型的决策优于强大的无模型基线的游戏MSPACMAN，展示了使用学习环境模型进行规划的潜力。
2018-02-08 cs.LG
Backprop-Free Reinforcement Learning with Active Neural Generative Coding
Rochester Institute of Technology（罗切斯特理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
在人类中，感知觉有助于从感官输入中快速识别和提取信息。这种意识在很大程度上取决于人类主体如何与环境互动。在这项工作中，我们提出了主动神经生成编码，这是一种用于在动态环境中学习动作驱动生成模型而不会反向传播错误（backprop）的计算框架。具体来说，我们开发了一个智能代理，即使在稀疏的奖励，从规划推理的认知理论中汲取灵感。我们在几个简单的控制问题上证明了我们的框架与深度Q学习的竞争力。我们的代理的强大性能提供了有希望的证据，证明神经推理和学习的无反向传播方法可以驱动目标导向行为。
2021-12-19 cs.LG
Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）；Macquarie University（麦考瑞大学）
强化学习的最新进展激发了人们对通过动态交互自适应地学习用户建模的兴趣，例如，在基于强化学习的推荐系统中。在大多数强化学习应用中，奖励函数是一个重要的参数，它可以为优化提供指导。然而，目前基于学习的方法依赖于人工定义的奖励函数，不能适应动态和噪声环境。此外，它们通常使用特定于任务的奖励函数，牺牲了泛化能力。针对上述问题，提出了一种生成式逆强化学习的用户行为偏好建模方法。我们的模型不使用预定义的奖励函数，而是基于区分性演员-评论家网络和Wasserstein GAN自动学习用户行为的奖励。我们的模型提供了一种描述和解释潜在行为倾向的一般方法，我们的实验表明，我们的方法在各种场景下，即交通信号控制，在线推荐系统和扫描路径预测中的表现优于最先进的方法。
2021-05-05 cs.AI cs.IR cs.LG
Using Generative Adversarial Nets on Atari Games for Feature Extraction in Deep Reinforcement Learning
Middle East Technical University（中东技术大学）
深度强化学习（Deep Reinforcement Learning，DRL）已成功应用于机器人导航和自动视频游戏等多个研究领域。然而，这些方法需要过多的计算和与环境的交互，因此需要提高样本效率。这一要求的主要原因是稀疏和延迟的奖励不能为深度神经网络的表示学习提供有效的监督。在这项研究中，近端策略优化（PPO）算法与生成对抗网络（GANs）增强，通过强制网络学习有效的表示而不依赖于稀疏和延迟的奖励作为监督来提高样本效率。结果表明，通过联合训练DRL代理和GAN代理，可以获得更高的性能。- Derin Pekistirmeli Oakme，robot navigasyonu ve otomatikelestirilmis video oyunu oaku a gibi arastirma alanlarinda basariyla uygulanmaktadir.此外，我们还可以看到，由于气候变化和环境变化，我们的工作人员无法确定他们的工作是否正常。但是，在一个人的生活中，人们对自己的生活和生活的看法是，他们的生活和生活是如此的丰富多彩，以至于他们的生活和生活都变得如此的艰难。但据了解，Uretici Cekismeli Aglar（UCA）算法的优化政策方案将使目标明确，并使目标明确或使目标明确，从而使目标明确。其他的声音算法也可以用其他的方法来实现。
2020-04-06 cs.AI cs.LG
Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
Google DeepMind（谷歌DeepMind）；FAIR, Meta（Meta FAIR）
本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。
2024-11-04 cs.LG stat.ML
$\mathbf{(N,K)}$-Puzzle: A Cost-Efficient Testbed for Benchmarking Reinforcement Learning Algorithms in Generative Language Model
ByteDance, Inc.（字节跳动公司）；University of Washington（华盛顿大学）
针对生成式语言模型强化学习算法缺乏低成本标准化测试基准的问题，研究者提出泛化的$(N,K)$-Puzzle测试平台，并验证了PPO、IPO、DPO等多种强化学习算法的效果。
2024-03-11 cs.AI cs.CL cs.LG
Guiding Generative Models to Uncover Diverse and Novel Crystals via Reinforcement Learning
Department of Materials, Imperial College London（伦敦帝国理工学院材料系）
本文提出一种强化学习框架，通过分组相对策略优化与多目标奖励引导潜在去噪扩散模型，在保证热力学稳定性和化学有效性的前提下，生成多样且新颖的晶体化合物，为可控AI驱动逆向设计提供模块化基础。
2025-11-10 cs.LG physics.comp-ph
GAR: Generative Adversarial Reinforcement Learning for Formal Theorem Proving
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
GAR通过生成对抗强化学习框架提升形式定理证明的效率和性能
2026-03-01 cs.AI cs.LG
Factory: Fast Contact for Robotic Assembly
NVIDIA Corporation（英伟达公司）；University of Washington（华盛顿大学）
机器人装配是机器人技术最古老、最具挑战性的应用之一。在机器人的其他领域，如感知和抓取，仿真迅速加速了研究进展，特别是当与现代深度学习相结合时。然而，准确，高效，鲁棒地模拟装配中接触丰富的相互作用的范围仍然是一个长期的挑战。在这项工作中，我们提出了工厂，一套物理仿真方法和机器人学习工具，这样的应用。我们实现了对各种接触丰富的场景的实时或更快模拟，包括同时模拟1000个螺母和螺栓交互。我们提供$60$精心设计的零件模型、3个机器人装配环境和7个机器人控制器，用于训练和测试虚拟机器人。最后，我们训练和评估概念验证强化学习政策的螺母和螺栓装配。我们的目标是让Factory打开大门，将仿真用于机器人装配，以及机器人技术中许多其他接触丰富的应用。请访问https://sites.google.com/nvidia.com/factory获取补充内容，包括视频。
2022-05-07 cs.GR cs.LG cs.RO
Bringing Value Models Back: Generative Critics for Value Modeling in LLM Reinforcement Learning
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出生成式批评者GenAC，通过链式推理改进价值建模，提升RL性能。
2026-09-10 cs.AI cs.CL cs.LG
RoboAssembly: Learning Generalizable Furniture Assembly Policy in a Novel Multi-robot Contact-rich Simulation Environment
Peking University（北京大学）；Stanford University（斯坦福大学）；Tencent AI Lab（腾讯人工智能实验室）
零件装配是机器人技术中一个典型但具有挑战性的任务，机器人将一组单独的零件装配成一个完整的形状。在本文中，我们开发了一个机器人装配仿真环境的家具装配。我们制定的部分装配任务作为一个具体的强化学习问题，并提出了一个管道，机器人学习组装一套不同的椅子。实验表明，当测试与看不见的椅子，我们的方法实现了74.5%的成功率下，以对象为中心的设置和50.0%下的完整设置。我们采用RRT连接算法作为基线，在显著更长的计算时间后，该算法仅实现了18.8%的成功率。补充材料和视频可在我们的项目网页上找到。
2021-12-19 cs.AI cs.CV cs.LG
Generative Adversarial User Model for Reinforcement Learning Based Recommendation System
Ant Financial（蚂蚁集团）
将强化学习（RL）应用于推荐系统，既有很大的研究兴趣，也面临着许多挑战。在这种情况下，在线用户是环境;奖励函数和环境动态都没有明确定义，这使得RL的应用具有挑战性。在本文中，我们提出了一种新的基于基于模型的强化学习框架的推荐系统，我们开发了一个生成对抗网络，模仿用户的行为动力学和学习她的奖励函数。使用此用户模型作为模拟环境，我们开发了一种新的级联DQN算法，以获得一个组合的推荐策略，可以有效地处理大量的候选项目。在我们对真实数据的实验中，我们表明这种生成式对抗用户模型可以更好地解释用户行为，并且基于该模型的RL策略可以为用户带来更好的长期回报和更高的系统点击率。
2020-01-01 cs.IR cs.LG stat.ML
Generative Inverse Deep Reinforcement Learning for Online Recommendation
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；Data61, CSIRO（联邦科学与工业研究组织Data61研究院）
深度强化学习使智能体能够通过与环境的动态交互来捕获用户的兴趣。它引起了人们对推荐研究的极大兴趣。深度强化学习使用奖励函数来学习用户的兴趣并控制学习过程。然而，大多数奖励函数都是手动设计的;它们要么不切实际，要么不精确，以反映推荐问题的高多样性，维度和非线性特性。这使得代理很难学习最佳策略来生成最满意的建议。为了解决上述问题，我们提出了一种新的生成逆强化学习方法，即InvRec，它自动提取用户的行为的奖励功能，在线推荐。我们在一个在线平台VirtualTB上进行了实验，并与几种最先进的方法进行了比较，以证明我们所提出的方法的可行性和有效性。
2020-11-04 cs.AI cs.IR
Generative Market Equilibrium Models with Stable Adversarial Learning via Reinforcement
Vector Institute（向量研究所）；NSERC（加拿大自然科学与工程研究理事会）
本文提出一种结合GAN与深度强化学习的生成式框架，通过“强化链接”解耦反馈机制稳定训练，在含交易成本的多智能体连续时间市场中求解均衡并预测资产收益与波动率的涌现。
2025-04-05 cs.LG q-fin.MF q-fin.PR
