Improving Search through A3C Reinforcement Learning based Conversational Agent
Adobe Systems Inc（奥多比系统公司）；IIT Delhi（印度理工学院德里分校）
我们开发了一个基于强化学习的搜索助手，它可以通过一组动作和一系列交互来帮助用户实现他们的意图。我们的方法迎合主观搜索，用户正在寻找数字资产，如图像，这是从根本上不同的任务，具有客观和有限的搜索方式。标记的会话数据通常在这样的搜索任务中不可用，并且通过人类交互来训练代理可能是耗时的。我们提出了一个随机虚拟用户模拟一个真实的用户，可以用来有效地采样用户的行为，训练代理，加快了自举代理。我们开发了基于A3C算法的上下文保持体系结构，使代理提供上下文的帮助给用户。我们将A3C代理与Q学习进行比较，并评估其在验证事件中与虚拟用户获得的平均奖励和状态值上的性能。我们的实验表明，智能体学习获得更高的奖励和更好的状态。
2018-08-19 cs.AI
Retrospex: Language Agent Meets Offline Reinforcement Learning Critic
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；Nanjing University School of Artificial Intelligence（南京大学人工智能学院）
Retrospex框架通过离线回顾训练强化学习评论器，结合LLM动作可能性与评论器动作值，并采用动态重评分机制，在ScienceWorld等环境中超越当代基线。
2025-05-27 cs.AI cs.CL
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC（维迪亚游戏有限责任公司）
深度强化学习容易出现过拟合，Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练，验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践，使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明，该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
在离线强化学习（RL）中，深度Q函数在分布外（OOD）区域的误差积累是影响策略学习的一个重要问题。不幸的是，现有的离线RL方法往往过于保守，不可避免地会损害数据分布之外的泛化性能。在我们的研究中，一个有趣的观察是，深度Q函数在训练数据的凸包内很好地近似。受此启发，我们提出了一种新方法DOGE（Distance-sensitive Offline RL with better GEneralization）。DOGE将数据集几何与离线RL中的深度函数近似器结合在一起，并在可推广的OOD领域进行开发，而不是严格限制数据分布中的策略。具体来说，DOGE训练了一个状态条件距离函数，可以很容易地插入到标准的行动者-批评者方法中作为策略约束。简单而优雅，我们的算法在D4 RL基准测试中比最先进的方法具有更好的泛化能力。理论分析表明，我们的方法的优越性，现有的方法是完全基于数据分布或支持的限制。
2023-02-08 cs.AI cs.LG cs.RO
Improving Safety in Reinforcement Learning Using Model-Based Architectures and Human Intervention
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；US Army Research Laboratory（美国陆军研究实验室）
人工智能和强化学习的最新进展在解决高维状态空间的复杂问题方面取得了巨大成功。然而，这些成功中的大多数主要是在模拟环境中，其中失败的后果很小或没有。然而，大多数现实世界的应用程序需要安全运行的训练解决方案，因为灾难性故障是不可接受的，特别是当涉及人类交互时。目前，安全RL系统在训练和探索过程中使用人类监督，以确保RL代理不会进入灾难性状态。这些方法需要大量的人力，并且很难扩大规模。我们提出了一种混合方法，通过结合基于模型的方法和训练有监督的学习者来减少人工干预时间，以提高样本效率，同时也确保安全性。我们使用标准和视觉表示在各种网格世界环境中评估这些方法，并表明与传统的无模型方法相比，我们的方法在样本效率，达到的灾难状态数量以及整体任务性能方面取得了更好的性能
2019-03-22 cs.AI
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Apple（苹果公司）
提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
RLoop 通过迭代策略初始化构建探索-利用循环，将强化学习探索得到的成功轨迹经拒绝采样微调用于精炼初始策略，从而缓解强化学习过拟合，显著提升泛化性能。
2025-11-06 cs.AI
Structured Prompt Optimization Meets Reinforcement Learning for Global and Local Interpretability over Complex Text
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
提出eXTC框架，通过结构化提示优化、基于SOP的推理蒸馏和强化学习扩展，在分类性能和解释质量上显著优于现有范式。
2026-06-02 cs.AI cs.CL cs.LG
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
受过度拟合大脑假说启发，提出基于生成式增强的想象强化学习方法，在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
Optimal Transport Meets Reinforcement Learning: A Survey
University of Warwick（华威大学）
本综述系统梳理最优传输在强化学习目标与算法中的应用，分类现有方法，探讨动机、实际考量与开放问题，为相关研究提供全面参考。
2026-10-02 cs.AI cs.LG stat.ML
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg，以缓解离线强化学习在小数据集上的过拟合问题，在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
OSS Mentor A framework for improving developers contributions via deep reinforcement learning
East China Normal University（华东师范大学）；Tongji University（同济大学）
在开源项目治理中，人们一直在关注如何衡量开发人员的贡献。然而，极其稀疏的工作集中在使开发人员能够改进他们的贡献上，尽管这是重要和有价值的。在本文中，我们介绍了一个名为开源软件（OSS）Mentor的深度强化学习框架，它可以从经验知识中进行训练，然后自适应地帮助开发人员提高他们的贡献。大量的实验表明，OSS Mentor显着优于优秀的实验结果。此外，这是第一次提出的框架探索深度强化学习技术来管理开源软件，这使我们能够设计一个更强大的框架，以提高开发人员的贡献。
2022-10-24 cs.AI cs.SE
Graph-based Reinforcement Learning meets Mixed Integer Programs: An application to 3D robot assembly discovery
Technical University of Darmstadt（达姆施塔特工业大学）
机器人装配发现是一个具有挑战性的问题，生活在资源分配和运动规划的交叉点。我们的目标是将一组预定义的对象组合起来，形成新的东西，同时考虑使用机器人在环执行任务。在这项工作中，我们解决的问题，建立任意的，预定义的目标结构完全从头开始使用一组俄罗斯方块一样的积木和机器人操纵器。我们的新的分层方法的目的是有效地分解成三个可行的水平，相互受益的整体任务。在高层次上，我们运行一个经典的混合整数程序，用于块类型选择和块的最终姿态的全局优化，以重新创建所需的形状。然后利用其输出来有效地指导底层强化学习（RL）策略的探索。这种RL策略从一个灵活的基于图的表示中提取其泛化属性，该表示是通过Q学习学习的，可以通过搜索进行细化。此外，它还考虑了结构稳定性和机器人可行性的必要条件，这些条件在前一层中无法有效反映。最后，抓取和运动规划器将所需的装配命令转换为机器人关节运动。我们展示了我们提出的方法的性能在一组竞争激烈的模拟RAD环境，展示现实世界的传输，并报告性能和鲁棒性增益相比，非结构化的端到端的方法。有关视频，请访问https://sites.google.com/view/rl-meets-milp。
2022-08-02 cs.AI cs.LG cs.RO
Monkey Business: Reinforcement learning meets neighborhood search for Virtual Network Embedding
Telecom SudParis（南巴黎电信学院）；Davidson consulting（戴维森咨询公司）
在这篇文章中，我们考虑了5G网络切片的虚拟网络嵌入（VNE）问题。这个问题需要在底层虚拟化物理网络上分配多个虚拟网络（VN），同时最大化资源利用率、放置的VN的最大数量和网络运营商的利益等。我们解决了切片随时间到达的问题的在线版本。启发嵌套推出政策适应（NRPA）算法，一个著名的蒙特卡罗树搜索（MCTS），学习如何随着时间的推移进行良好的模拟的变体，我们提出了一个新的算法，我们称之为邻域增强的政策适应（NEPA）。我们的算法的关键特征是观察NRPA不能利用在状态树的一个分支中获得的知识用于另一个开始不同的分支。NEPA通过将NRPA与邻域搜索相结合来学习，以一种节俭的方式只改进有希望的解决方案，同时保持低运行时间。我们称这种技术为猴子生意，因为它归结为从一个有趣的树枝跳到另一个，类似于猴子从一棵树跳到另一棵树，而不是每次都下来。与其他最先进的算法相比，NEPA在接受率和收入成本比方面取得了更好的结果，无论是在真实的还是合成的拓扑结构上。
2022-02-28 cs.AI cs.NI
When Mining Electric Locomotives Meet Reinforcement Learning
China University of Mining and Technology（中国矿业大学）
本文针对煤矿复杂环境下矿用电机车人工操作安全隐患大的问题，提出基于强化学习（RL）的自主控制方法，并改进ε-贪心算法平衡探索与利用，通过联合仿真平台验证了该方法能安全跟车并快速应对突发障碍。
2023-11-14 cs.AI cs.SY eess.SY
RH-Net: Improving Neural Relation Extraction via Reinforcement Learning and Hierarchical Relational Searching
East China Normal University（华东师范大学）
距离监督（Distant Supervision，DS）的目标是生成大规模的启发式标注语料，目前广泛用于神经关系抽取。然而，它严重遭受噪声标记和长尾分布问题。许多先进的方法通常分别解决两个问题，忽略了它们之间的相互作用。在本文中，我们提出了一个新的框架命名为RH-Net，它利用强化学习和层次关系搜索模块，以改善关系抽取。我们利用强化学习来指导模型选择高质量的实例。然后，我们提出了层次关系搜索模块共享语义之间的数据丰富和数据贫乏类的相关实例。在迭代过程中，两个模块保持交互，以同时缓解噪声和长尾问题。在广泛使用的NYT数据集上进行的大量实验清楚地表明，我们的方法在最先进的基线上有显着的改进。
2021-02-02 cs.AI cs.CL
Improving generalization in reinforcement learning through forked agents
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Vrije Universiteit Medical Center Amsterdam（阿姆斯特丹自由大学医学中心）
代理的生态系统，每个都有自己的政策与一些，但有限的，概括性已被证明是一个可靠的方法，以增加跨程序生成的环境的概括性。在这种方法中，当遇到生态系统范围之外的新环境时，新的代理人定期添加到生态系统中。生态系统方法的适应速度和普遍有效性在很大程度上取决于新代理人的启动。在本文中，我们提出了不同的初始化技术，灵感来自深度神经网络初始化和迁移学习，并研究了它们的影响。
2022-12-29 cs.AI cs.LG
Energy Efficient Edge Computing: When Lyapunov Meets Distributed Reinforcement Learning
CEA-Leti, Université Grenoble Alpes（CEA-Leti，格勒诺布尔阿尔卑斯大学）；Athonet
在这项工作中，我们研究了边缘计算实现的节能计算卸载问题。在所考虑的场景中，多个用户同时竞争有限的无线电和边缘计算资源，以在延迟约束下处理卸载的任务，并且有可能在所有网络节点处利用低功率睡眠方式。无线电资源分配考虑了小区间和小区间干扰，并且无线电和计算设备的占空比必须被联合优化以最小化总体能耗。为了解决这个问题，我们制定了一个动态的长期优化的基本问题。然后，基于李雅普诺夫随机优化工具，我们将制定的问题分解为CPU调度问题和无线电资源分配问题，以解决每个时隙的基础。而第一个可以最佳和有效地解决使用快速迭代算法，第二个解决使用分布式多智能体强化学习，由于其非凸性和NP-硬度。由此产生的框架实现了基于穷举搜索的最优策略的96.5%的性能，同时大大降低了复杂性。与基准启发式方法相比，所提出的解决方案还允许提高网络的能量效率。
2021-03-31 cs.AI cs.LG cs.MA
Improving generalization to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Amsterdam UMC（阿姆斯特丹大学医学中心）
使强化学习（RL）智能体适应看不见的环境是一项艰巨的任务，因为训练环境中存在典型的过拟合。RL代理通常能够解决非常接近训练环境的环境，但当环境变得非常不同时，它们的性能会迅速下降。当智能体在新的环境中接受再训练时，第二个问题出现了：存在灾难性遗忘的风险，即在以前见过的环境中的表现受到严重阻碍。本文提出了一种新的方法，利用生态系统的代理，以解决这两个问题。据此，个体代理的（有限的）适应能力被收获，以建立一个高度适应性的生态系统。
2022-07-01 cs.AI cs.MA
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Alibaba Group（阿里巴巴集团）
本文提出CHORD框架，通过动态加权将监督微调与强化学习统一，解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题，实验表明其在多个任务中具有稳定高效的性能。
2026-03-17 cs.AI cs.LG
Drawing Inductor Layout with a Reinforcement Learning Agent: Method and Application for VCO Inductors
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
压控振荡器（VCO）电感器的设计是一项费力且耗时的任务，传统上由人类专家手动完成。在本文中，我们提出了一个自动化的VCO电感器的设计框架，使用强化学习（RL）。我们将问题表述为一个顺序过程，一个接一个地绘制线段，直到创建一个完整的电感器。然后，我们采用RL代理来学习绘制满足某些目标规格的电感器。鉴于需要在整个电路设计周期中调整目标规格，我们还开发了一个变体，其中代理可以学习快速适应，以针对适度不同的目标规格绘制新电感器。我们的实证结果表明，所提出的框架是成功的自动生成VCO电感器，满足或超过目标规格。
2022-02-25 cs.AI cs.LG
When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning
University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯农工大学）
针对离线IRL中世界模型误差会放大奖励估计偏差的问题，提出结合保守专家策略与最大似然的双层优化框架，并在MuJoCo和D4RL上显著超越现有基准。
2024-02-28 cs.AI cs.LG
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology（佐治亚理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
深度强化学习（deep RL）的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中，我们提出了一种新的无监督的行动规划技术，以提高安全性的政策上的强化学习算法，如信任区域策略优化（TRPO）或近端策略优化（PPO）。我们设计了我们的安全意识强化学习，通过存储所有的历史“恢复”行动，拯救代理从危险的情况下到一个单独的“安全”缓冲区，并找到最好的恢复行动时，代理遇到类似的状态。由于此功能需要算法查询相似的状态，我们实现了建议的安全机制，使用无监督学习算法，k-均值聚类。我们评估所提出的算法上的六个机器人控制任务，包括导航和操作。我们的研究结果表明，所提出的安全RL算法可以实现更高的回报相比，多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research（LG人工智能研究院）
针对RLHF导致的表面化对齐问题，提出RLRF框架，利用细粒度自我反思机制探索和优化响应，并通过RL算法微调模型，有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Reinforcement Learning Jazz Improvisation: When Music Meets Game Theory
Dartmouth College（达特茅斯学院）；Geisel School of Medicine at Dartmouth（达特茅斯学院盖泽尔医学院）
本研究构建爵士乐即兴演奏的博弈论模型，通过强化学习对比多种随机即兴策略的配对表现，发现和弦跟随强化学习策略收益最优，为音乐AI及策略优化提供了新框架。
2024-02-25 cs.AI cs.LG cs.SD
Improving Low-Resource Machine Translation via Round-Trip Reinforcement Learning
MBZUAI Masdar City（MBZUAI马斯达尔城）
本文提出通过往返强化学习提升低资源机器翻译，利用NLLB模型进行往返训练，结合chrF++和BLEU作为奖励函数，提升多语言翻译的流畅性和语义准确性。
2026-03-17 cs.AI cs.CL
Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control
Department of Civil and Environmental Engineering, University of Wisconsin-Madison, Madison, WI, 53706, USA（土木与环境工程系，威斯尼大学麦迪逊分校）
本文提出基于知识的模型驱动残差强化学习框架，用于智能交通车辆轨迹控制，结合交通专家知识与传统控制方法，提升学习效率与交通流平滑度。
2025-02-03 cs.AI cs.LG
Leveraging weights signals -- Predicting and improving generalizability in reinforcement learning
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Vrije Universiteit Medical Center Amsterdam（阿姆斯特丹自由大学医学中心）
本文提出通过分析神经网络内部权重信号，改进PPO算法以提升强化学习代理的泛化能力。
2025-11-25 cs.AI cs.LG
Improving interactive reinforcement learning: What makes a good teacher?
University of Hamburg（汉堡大学）；Universidad Central de Chile（智利中央大学）；Osaka University（大阪大学）；National Institute of Information and Communications Technology（信息通信研究机构）
交互式强化学习已成为加速经典强化学习问题收敛的重要学徒方法。在这方面，交互式强化学习的变体是策略成形，其使用类似于父母的训练器来建议要执行的下一个动作，并且通过这样做来通过建议减少搜索空间。在某些情况下，训练者可能是另一个人工智能体，而人工智能体又使用强化学习方法进行训练，然后成为其他学习者智能体的顾问。在这项工作中，我们分析了人工代理的内部表示和特性，以确定哪一个代理可能优于其他代理，成为一个更好的教练代理。与专家代理相比，使用polymath代理，顾问导致奖励信号的更大奖励和更快收敛，并且在学习者代理的状态访问频率方面也导致更稳定的行为。此外，我们分析系统的相互作用参数，以确定他们是如何影响学徒过程中，反馈的一致性是更相关的处理不同的学习者服从参数时。
2019-04-15 cs.AI cs.RO
Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning
Harvard University（哈佛大学）；Imperial College London（帝国理工学院）；MIT（麻省理工学院）
脓毒症是ICU死亡的主要原因。这是具有挑战性的管理，因为个别患者对治疗的反应不同。因此，为个体患者量身定制治疗对于获得最佳结果至关重要。在本文中，我们通过应用专家混合框架来实现这一目标，以个性化脓毒症治疗。混合模型根据患者的当前病史选择性地在基于邻居（内核）和深度强化学习（DRL）专家之间交替。在一个大型回顾性队列中，这种基于混合的方法优于医生、仅内核和仅DRL专家。
2019-01-15 cs.AI cs.LG stat.ML
When Deep Reinforcement Learning Meets Federated Learning: Intelligent Multi-Timescale Resource Management for Multi-access Edge Computing in 5G Ultra Dense Network
Sun Yat-sen University（中山大学）；Auburn University（奥本大学）
超密集边缘计算（UDEC）具有巨大的潜力，特别是在5G时代，但其当前的解决方案仍然面临挑战，例如缺乏：i）多个5G资源的有效利用（例如，计算、通信、存储和服务资源）; ii）低开销卸载决策和资源分配策略;以及iii）隐私和安全保护方案。因此，我们首先提出了一个智能超密集边缘计算（I-UDEC）框架，它将区块链和人工智能（AI）集成到5G超密集边缘计算网络中。首先，我们展示了框架的架构。然后，为了实现实时和低开销的计算卸载决策和资源分配策略，我们设计了一种新的双时标深度强化学习（\textit{2Ts-DRL}）方法，分别由一个快速时标和一个慢速时标的学习过程。主要目标是通过联合优化计算卸载、资源分配和服务缓存放置来最小化总卸载延迟和网络资源使用。我们还利用联邦学习（FL）以分布式方式训练\textit{2Ts-DRL}模型，旨在保护边缘设备的数据隐私。仿真结果证实了I-UDEC框架中的\textit{2Ts-DRL}和FL的有效性，并证明我们提出的算法可以减少任务执行时间高达31.87%。
2020-09-22 cs.AI cs.DC cs.NI
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University（麦吉尔大学）；Quebec AI Institute（魁北克人工智能研究所）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
强化学习（RL）代理被广泛用于解决复杂的顺序决策任务，但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明，使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力，即使用自监督学习（SSL），但它们在离线RL设置中挣扎，即从静态数据集学习。我们发现，在RL的泛化在线算法的性能可能会受到阻碍，由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架，称为广义相似性函数（GSF），它使用对比学习训练离线RL代理聚合观察的基础上，他们的预期未来行为的相似性，在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明，GSF是一般的，足以恢复现有的SSL目标，同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试，离线Procgen。
2021-11-29 cs.AI cs.LG
Progress-SQL: Improving Reinforcement Learning for Text-to-SQL via Progressive Rewards
East China Normal University（华东师范大学）
提出Progress-SQL，一种多轮强化学习框架，通过Oracle引导诊断树（ODT）生成子句级结构反馈，结合渐进式奖励（结构对齐、词汇对齐、延迟奖励和执行状态奖励），提升文本到SQL生成的准确性和鲁棒性。
2026-06-05 cs.AI cs.CL
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Improving Robustness of Deep Reinforcement Learning Agents: Environment Attack based on the Critic Network
IRT SystemX（IRT SystemX 研究所）；ISIR（智能系统与机器人研究所）；Sorbonne University（索邦大学）
为了提高深度强化学习代理的策略鲁棒性，最近的一系列工作集中在产生环境干扰上。文献中产生有意义的环境扰动的现有方法是对抗性强化学习方法。这些方法将问题设置为主角代理和对手代理之间的双人游戏，主角代理学习在环境中执行任务，对手代理学习通过修改所考虑的环境来干扰主角。主角和对手都是用深度强化学习算法训练的。或者，我们在本文中建议建立基于梯度的对抗攻击，通常用于分类任务，例如，我们应用于主角的评论家网络，以识别环境的有效干扰。而不是学习攻击者的策略，这通常表现为非常复杂和不稳定，我们利用主角的批评网络的知识，在学习过程的每一步动态地复杂化任务。我们表明，我们的方法，而更快，更轻，导致显着更好的改善政策的鲁棒性比现有的方法的文献。
2022-10-03 cs.AI cs.LG
Improving Deep Reinforcement Learning in Minecraft with Action Advice
Georgia Institute of Technology（佐治亚理工学院）
在3D虚拟环境中训练深度强化学习代理的复杂行为需要大量的计算资源。在具有高度混叠的环境中尤其如此，其中许多状态共享几乎相同的视觉特征。Minecraft就是这样一个环境的典范。我们假设交互式机器学习IML，其中人类教师通过演示，批评或行动建议在训练中发挥直接作用，可能会减轻代理对别名的敏感性。然而，交互式机器学习只有在人类交互的数量有限时才是实用的，需要在人类教师的努力和代理性能之间取得平衡。我们用两种强化学习算法进行实验，这两种算法使人类教师能够在视觉锯齿条件下给出行动建议，反馈仲裁和牛顿行动建议。为了评估每种建议类型的潜在认知负荷，我们改变了各种人类行动建议技术的准确性和频率。训练效率，对不频繁和不准确的顾问输入的鲁棒性，以及对混叠的敏感性进行了检查。
2019-08-02 cs.AI cs.LG stat.ML
Search-Based Adversarial Estimates for Improving Sample Efficiency in Off-Policy Reinforcement Learning
针对深度强化学习样本效率低、稀疏/延迟奖励场景下学习困难的问题，提出基于少量人类轨迹潜在相似性搜索的对抗估计方法，仅需5分钟人类经验即可加速基于反馈的DRL算法收敛，并有望支持极稀疏奖励场景下的学习。
2025-06-13 cs.AI cs.LG
Improving Assistive Robotics with Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
辅助机器人（Assistive Robotics）是一类机器人技术，它帮助人类完成日常护理任务，这些任务可能由于残疾或年龄而被禁止。虽然研究表明，经典的控制方法可以用来设计策略来完成这些任务，这些方法可能很难推广到各种实例的任务。强化学习可以为这个问题提供一个解决方案，其中机器人在仿真中进行训练，并将其策略转移到现实世界的机器上。在这项工作中，我们复制了一个已发布的基线，用于在辅助健身房环境中训练机器人完成三项任务，并探索了使用递归神经网络和阶段性策略梯度学习来增强原始工作。我们的基线实现达到或超过了原始工作的基线，然而，我们发现我们对新方法的探索并没有我们预期的那么有效。我们讨论了基线的结果，以及为什么我们的新方法不那么成功的一些想法。
2022-11-08 cs.AI cs.RO
Improving Generalization of Deep Reinforcement Learning-based TSP Solvers
Shanghai Jiao Tong University（上海交通大学）；University of Michigan（密歇根大学）
最近的工作应用深度强化学习（DRL）来解决旅行商问题（TSP）已经表明，基于DRL的求解器可以快速且具有竞争力的小实例TSP算法，但不能很好地推广到较大的实例。在这项工作中，我们提出了一种名为MAGIC的新方法，其中包括一个深度学习架构和DRL训练方法。我们的架构，它集成了一个多层感知器，一个图神经网络，和一个注意力模型，定义了一个随机的政策，顺序生成一个TSP解决方案。我们的训练方法包括几个创新：（1）我们将DRL策略梯度更新与局部搜索（使用新的局部搜索技术）交织在一起，（2）我们使用新的简单基线，（3）我们应用课程学习。最后，我们的经验表明，MAGIC是优于其他基于DRL的方法随机TSP的情况下，无论是在性能和推广。此外，我们的方法相比有利的TSP算法和其他国家的最先进的方法在性能和计算时间。
2021-10-06 cs.AI cs.LG
Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets Deep Reinforcement Learning
Singapore University of Technology and Design（新加坡科技设计大学）；Beihang University（北京航空航天大学）
本文研究了为无线移动用户提供超可靠和节能的虚拟现实（VR）体验的问题。为了确保向移动用户提供可靠的超高清（UHD）视频帧并增强其沉浸式视觉体验，采用了协调多点（CoMP）传输技术和毫米波（mmWave）通信。由于用户移动和时变的无线信道，无线VR体验增强问题被公式化为序列依赖和混合整数问题，其目标是最大化用户在虚拟世界中的存在感（FoP），受限于接入点（AP）和用户的盔装显示器（HMD）上的功耗约束。然而，由于缺乏用户准确的跟踪信息以及序列相关和混合整数的特性，这个问题很难直接解决。为了克服这一挑战，我们开发了一种并行回声状态网络（ESN）的学习方法来预测用户的跟踪信息，通过训练新鲜的和历史的跟踪样本分别收集的AP。根据学习结果，我们提出了一种基于深度强化学习（DRL）的优化算法来解决该问题。在该算法中，我们实现了深度神经网络（DNN）作为一个可扩展的解决方案，以产生整数决策变量和解决连续功率控制问题，以批评整数决策变量。最后，将该算法与各种基准算法进行了性能比较，并讨论了不同设计参数对性能的影响。仿真结果表明，该算法比基准算法节能4.14%。
2021-07-08 cs.AI cs.HC cs.LG
Improving RNA Secondary Structure Design using Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
近年来，开发新药和治疗方法的成本不断上升，导致了对生物分子设计中优化技术的广泛研究。目前，在生物分子设计中应用最广泛的方法是定向进化，这是一种模拟生物进化的贪婪爬山算法。在本文中，我们提出了一个新的基准应用强化学习的RNA序列设计，其中的目标函数被定义为序列的二级结构中的自由能。除了从标准库中试验每个强化学习算法的普通实现外，我们还分析了每个算法的变体，其中我们修改了算法的奖励函数并调整了模型的超参数。我们展示了我们为这些算法所做的消融分析的结果，以及表明该算法在批次中的性能及其搜索RNA序列可能空间的能力的图表。我们发现，我们的DQN算法在此设置中的性能迄今为止最好，与之相比，PPO在所有测试算法中的性能最好。我们的研究结果应该是感兴趣的那些在生物分子设计社区，并应作为一个基线，为未来的实验，涉及机器学习在分子设计。
2021-11-05 cs.AI cs.LG
Improving Model-Based Reinforcement Learning with Internal State Representations through Self-Supervision
University of Hamburg（汉堡大学）
使用环境模型，强化学习代理可以计划他们未来的行动，并在国际象棋，将棋和围棋等棋盘游戏中实现超人的表现，同时保持相对的样本效率。正如MuZero算法所证明的那样，环境模型甚至可以动态学习，将代理推广到更多的任务，同时实现最先进的性能。值得注意的是，MuZero使用来自真实环境状态的内部状态表示进行预测。在本文中，我们通过两个附加项将模型的预测内部状态表示绑定到环境状态：重建模型损失和更简单的一致性损失，这两个项都独立且无监督地工作，作为稳定学习过程的约束。我们的实验表明，这种新的重建模型丢失和更简单的一致性丢失的集成在OpenAI Gym环境中提供了显着的性能提升。我们的修改还支持MuZero的自我监督预训练，因此该算法可以在目标可用之前学习环境动态。
2021-02-10 cs.AI cs.LG
Self-Improving Skill Learning for Robust Skill-based Meta-Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；Ulsan National Institute of Science and Technology (UNIST)（釜山国立科学技术研究院 (UNIST)）
本文提出Self-Improving Skill Learning (SISL)方法，通过解耦的高层和技能改进策略进行自我指导的技能细化，并利用最大回报重标记进行技能优先级排序，从而在噪声和次优数据下实现鲁棒且稳定的适应，优于其他基于技能的元强化学习方法。
2026-05-20 cs.AI cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本研究提出一种离线适配框架，无需人工设定目标偏好，仅通过演示即可隐式推断多目标强化学习的预期策略，还可扩展至满足安全约束，经实验验证效果良好。
2024-09-16 cs.AI cs.LG
DARLA: Improving Zero-Shot Transfer in Reinforcement Learning
DeepMind
领域自适应是深度强化学习（RL）中一个重要的开放问题。在许多感兴趣的场景中，数据很难获得，因此代理可以在数据容易获得的环境中学习源策略，希望它能够很好地推广到目标域。我们提出了一种新的多阶段RL代理，DARLA（DisentAngled Representation Learning Agent），它在学习行动之前学习观察。DARLA的愿景是基于对所观察环境的分解表示的学习。一旦DARLA可以看到，它就能够获得对许多域转换都很健壮的源策略-即使无法访问目标域。DARLA在zero-shot域自适应场景中的表现明显优于传统基线，这种效果适用于各种RL环境（Jaco arm，DeepMind Lab）和基础RL算法（DQN，A3C和EC）。
2018-06-06 cs.AI cs.LG stat.ML
Improving the Generalization of Unseen Crowd Behaviors for Reinforcement Learning based Local Motion Planners
Nanyang Technological University（南洋理工大学）；Continental Automotive Singapore（大陆汽车新加坡公司）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种通过最大化信息论目标来增强单一策略内智能体多样性的方法，以解决基于强化学习的运动规划器在不可预测行人场景中的过拟合和同质冲突问题，提升了智能体对未见人群行为的适应性和避碰能力。
2024-10-16 cs.AI cs.LG cs.RO
Improving Generalization in Reinforcement Learning with Mixture Regularization
National University of Singapore（新加坡国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
深度强化学习（RL）在有限的环境中训练的代理往往会遭受过拟合，并且无法推广到看不见的测试环境。为了提高其通用性，数据增强的方法（如剪切和随机卷积），以前探索增加数据的多样性。然而，我们发现这些方法只是局部扰动的观察，无论训练环境，提高数据的多样性和泛化性能表现出有限的效果。在这项工作中，我们介绍了一种简单的方法，名为mixreg，它训练代理的混合观察来自不同的训练环境，并施加线性约束的观察插值和监督（例如相关的奖励）插值。Mixreg更有效地增加了数据多样性，并帮助学习更顺畅的策略。我们验证了其有效性，提高泛化进行了广泛的实验上的大型Procgen基准。结果显示，mixreg在看不见的测试环境中的性能远远优于成熟的基线。Mixreg简单、有效、通用。它可以应用于基于策略和基于值的RL算法。代码可在https://github.com/kaixin96/mixreg上获得。
2020-10-21 cs.AI cs.LG stat.ML
Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models
Tsinghua University（清华大学）
Meta-TTRL通过元认知信号实现测试时间参数优化，提升统一多模态模型的自改进能力，在文本到图像生成任务中取得显著成果。
2026-03-16 cs.AI cs.LG
Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning
North Carolina State University（北卡罗来纳州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了带压缩更新和误差反馈机制的时间差分（TD）学习算法，证明其具有与SGD相同的非渐近理论保证，并首次在多智能体强化学习中实现了线性收敛加速且仅需极低通信开销。
2024-06-04 cs.AI cs.LG cs.SY
Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (AMII)（阿尔伯塔机器智能研究所）
强化学习系统需要良好的表示才能正常工作。几十年来，强化学习的实际成功仅限于小领域。另一方面，深度强化学习系统是可扩展的，不依赖于特定领域的先验知识，并已成功用于播放Atari，从像素进行3D导航，并控制高自由度机器人。不幸的是，深度强化学习系统的性能对超参数设置和架构选择很敏感。即使是调整良好的系统也会在试验和重复实验中表现出显着的不稳定性。在实践中，要取得良好的业绩，通常需要大量的专业知识和反复试验。这个问题的一个潜在来源被称为灾难性干扰：当后来的训练通过覆盖以前的学习而降低性能时。有趣的是，使神经网络（NN）在批量监督学习中如此有效的强大泛化能力可能解释了将它们应用于强化学习任务时的挑战。在本文中，我们探讨了在线NN训练和干扰如何在强化学习中相互作用。我们发现，简单地将输入观测值重新映射到高维空间可以提高学习速度和参数敏感性。我们还表明，这种预处理减少了预测任务中的干扰。更实际的是，我们提供了一种简单的NN训练方法，易于实现，并且需要很少的额外计算。我们证明，我们的方法提高了预测和控制的性能，在经典的控制领域的大量实验。
2020-03-16 cs.AI cs.LG cs.NE
Reinforcement Learning (RL) Meets Urban Climate Modeling: Investigating the Efficacy and Impacts of RL-Based HVAC Control
The University of Manchester（曼彻斯特大学）；NSF National Center for Atmospheric Research (NCAR)（美国国家大气研究中心）；China University of Petroleum–Beijing（中国石油大学（北京））
本文提出融合RL与城市气候及建筑能耗模型的框架，评估不同气候下RL HVAC控制的效能、室内外气候影响与跨城市迁移性，发现气候显著影响奖励、权重敏感性和可迁移性。
2025-05-11 cs.AI cs.LG physics.ao-ph
Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?
NTT Corporation（日本电报电话公司）；NTT West Corporation（日本电报电话公司西日本公司）
我们研究的目的是开发一种方法，通过这种方法，社交机器人可以问候路人并引起他们的注意，而不会让他们感到不适。最近，一些客户服务已经由社交机器人而不是人提供，包括担任接待员，导游和参展商。例如，机器人参展商可以解释机器人所有者正在推广的产品。然而，机器人突然打招呼可能会吓到路人，并给路人带来不适。因此，社交机器人应该使自己的举止适应他们面对的路人情况。我们根据相关工作的结果开发了一种满足这一要求的方法。我们提出的方法，以用户为中心的强化学习，使机器人迎接路人，并得到他们的注意，而不会使他们遭受不适（p<0.01）。在现场的实验结果，办公室入口，证明我们的方法满足这一要求。
2020-01-02 cs.AI cs.LG cs.RO
Improving generalization of robot locomotion policies via Sharpness-Aware Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；inspire AG（inspire公司）；University of Zurich（苏黎世大学）
针对强化学习在机器人运动策略泛化性差的问题，本文提出将锐度感知优化集成到基于梯度的强化学习算法中，在接触密集环境中提升策略对环境变化和动作扰动的鲁棒性，同时保留一阶方法的样本效率。
2024-11-29 cs.AI cs.LG cs.RO
