Multi-objective Reinforcement Learning With Augmented States Requires Rewards After Deployment
Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续发展研究所，联邦大学澳大利亚）
本文指出多目标强化学习与传统单目标强化学习的关键区别，强调增强状态需要部署后持续获取奖励信号，探讨其实际影响。
2026-04-17 cs.LG
Augmented Memory Networks for Streaming-Based Active One-Shot Learning
Norwegian University of Science and Technology（挪威科技大学）
训练用于预测任务的深度架构的主要挑战之一是标记的训练数据的稀缺性和成本。主动学习（AL）是应对这一挑战的一种方法。在基于流的AL中，观察结果连续地提供给学习者，学习者必须决定是请求标签还是进行预测。目标是降低请求速率，同时最大化预测性能。在先前的研究中，强化学习已被用于学习AL请求/预测策略。在我们的工作中，我们建议装备一个强化学习过程与记忆增强神经网络，以提高一次性的能力。此外，我们引入类边缘采样（CMS）作为标准边缘采样到强化学习设置的扩展。该策略旨在减少训练时间，提高训练过程中的样本效率。我们评估所提出的方法的分类任务，使用经验准确性的标签预测和标签请求的百分比。结果表明，该方法，通过使用记忆增强网络和CMS在训练过程中，优于现有的基线。
2019-09-04 cs.LG stat.ML
Diffusion-Augmented Reinforcement Learning for Robust Portfolio Optimization under Stress Scenarios
Indian Institute of Technology Mandi（印度理工学院曼迪）
针对金融市场压力情景，提出扩散增强强化学习（DARL）框架，融合去噪扩散概率模型与深度强化学习，生成合成崩盘数据以提升训练稳健性，实证优于传统基线，增强风险调整后收益与危机韧性。
2025-10-08 cs.CE cs.LG q-fin.CP
Augmented Q Imitation Learning (AQIL)
York University（约克大学）；University of Waterloo（滑铁卢大学）
无监督学习的研究一般可分为两大类：模仿学习和强化学习。在模仿学习中，机器通过模仿专家系统的行为来学习，而在强化学习中，机器通过直接的环境反馈来学习。传统的深度强化学习在机器开始收敛到最优策略之前需要相当长的时间。本文提出了增强Q-模仿学习，这是一种通过将Q-模仿学习作为传统深度Q-学习中的初始训练过程来加速深度强化学习收敛的方法。
2020-04-05 cs.AI cs.LG
Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty
Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程机械数据科学研究所，亚琛RWTH大学）
本文提出Dyna-SAuR算法，通过学习不确定性感知的动力学模型，同时学习安全过滤器和控制策略，有效减少高维系统中的失败率，实验表明其在CartPole和MuJoCo Walker任务中性能显著优于现有方法。
2026-11-09 cs.LG
FlowRL: Flow-Augmented Few-Shot Reinforcement Learning for Semi-Structured Sensor Data
Wayne State University（韦恩州立大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
FlowRL 通过生成高质量合成数据提升少样本强化学习的样本效率和策略鲁棒性，有效应用于半结构化传感器数据场景。
2026-01-10 cs.LG
Entropy Augmented Reinforcement Learning
Northwestern Polytechnical University（西北工业大学）
深度强化学习是在信任域方法的存在下发起的，具有可扩展性和高效性。然而，这类算法的悲观主义，其中它强制约束在一个信任区域的一切手段，已被证明抑制探索和损害性能。探索性算法如SAC，在利用熵鼓励探索的同时，隐含地优化了另一个目标。我们首先观察到这种不一致性，因此提出了一种类似的增强技术，当涉及到一个值评论家时，它与策略算法结合得很好。令人惊讶的是，所提出的方法始终满足软策略改进定理，同时更具可扩展性。分析认为，控制温度系数是实现勘探开发平衡的关键。在MuJoCo基准任务上的实验结果表明，该智能体在更高的奖励区域中表现出更好的性能.此外，我们验证了我们的方法的探索奖金上的一组自定义环境。
2023-03-03 cs.LG
Retrieval-Augmented Reinforcement Learning
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维）
本文提出检索增强强化学习，通过神经网络检索过程直接访问经验数据集，使智能体在测试时基于整个数据集决策，在离线多任务和Atari任务上均比基线DQN和R2D2智能体学习更快、得分更高。
2026-10-06 cs.LG stat.ML
Discriminator Augmented Model-Based Reinforcement Learning
Stanford University（斯坦福大学）
通过学习动力学模型进行规划，基于模型的强化学习（MBRL）提供了良好性能的前景，几乎没有环境交互。然而，在实践中，学习的模型通常是不准确的，从而损害规划并导致性能差。本文的目的是改善规划与重要性采样的框架，帐户和纠正真实和学习动态之间的差异。这个框架还激励了一个替代目标拟合的动态模型：最小化规划过程中的价值估计的方差。我们推导并实现了这一目标，它鼓励更好地预测具有更大回报的轨迹。我们观察到经验，我们的方法提高了目前的MBRL算法对两个随机控制问题的性能，并提供了理论基础，我们的方法。
2021-03-30 cs.AI cs.LG
Mastering Visual Continuous Control: Improved Data-Augmented Reinforcement Learning
NYU（纽约大学）；FAIR（Facebook人工智能研究院）
我们提出了DrQ-v2，一个无模型强化学习（RL）算法的视觉连续控制。DrQ-v2建立在DrQ的基础上，DrQ是一种非策略的行动者-批评者方法，使用数据增强直接从像素中学习。我们介绍了几项改进，这些改进在DeepMind Control Suite上产生了最先进的结果。值得注意的是，DrQ-v2能够直接从像素观察中解决复杂的人形运动任务，这是以前无模型RL无法实现的。DrQ-v2概念简单，易于实现，与以前的工作相比，它提供了更好的计算占用空间，大多数任务只需8小时即可在单个GPU上进行训练。最后，我们公开发布DrQ-v2的实现，为RL从业者提供强大且计算效率高的基线。
2021-07-20 cs.AI cs.LG
Batch-Augmented Multi-Agent Reinforcement Learning for Efficient Traffic Signal Optimization
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Elan Corporation（Elan公司）
本文的目标是为交通信号控制问题提供一种可行的基于强化学习的解决方案。尽管最先进的强化学习方法在各种领域取得了巨大成功，但考虑到高样本效率的要求以及如何收集训练数据，直接将其应用于缓解交通拥堵可能具有挑战性。在这项工作中，我们解决了几个挑战，我们遇到的时候，我们试图减轻严重的交通拥堵发生在大都市地区。具体而言，我们需要提供一种解决方案，能够（1）在检索强化学习信息的某些监控摄像机停机时处理交通信号控制，（2）在没有交通模拟器的情况下从批量数据中学习，（3）在没有交叉路口共享信息的情况下做出控制决策。我们提出了一个两阶段的框架来处理上述情况。该框架可以被分解成一个演化策略的方法，给出了一个固定时间的交通信号控制时间表和多智能体的政策外强化学习，能够学习批量数据的援助，提出了三个组件，有界的行动，批量扩增，和代理奖励裁剪。我们的实验表明，所提出的框架减少了36%的交通拥堵的等待时间相比，目前使用的固定时间的交通信号灯计划。此外，该框架只需要对模拟器进行600次查询即可实现结果。
2020-05-19 cs.AI cs.LG stat.ML
MCRL2: Multi-resource Cross-attention-based Representation Learning-augmented Reinforcement Learning for Cloud Microservice Scheduling
Wuhan University（武汉大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对云微服务调度中资源动态失衡与异构耦合问题，提出MCRL2，利用多资源交叉注意力表示学习增强强化学习，在真实集群轨迹上显著提升负载均衡、调度成功率并降低平均完成时间。
2026-09-14 cs.LG
GTA-RAG: Graph-Trajectory-Augmented Reinforcement Learning for Multi-Turn Retrieval-Augmented Reasoning
Shenzhen University（深圳大学）；Great Bay University（大湾区大学）；Ant Group（蚂蚁集团）
GTA-RAG是一种图轨迹增强强化学习框架，通过轨迹级监督优化检索策略，在多跳和简单问答基准上，相比RL-based RAG基线提升了性能与证据链覆盖率。
2026-09-01 cs.CL cs.LG
Decision Making for Autonomous Driving via Augmented Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Zenseact（森赛克特）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Google Research（谷歌研究院）
对于自主智能体来说，在复杂的驾驶环境中做出决策是一项具有挑战性的任务。模仿学习方法在实现这一目标方面具有巨大的潜力。对抗性逆强化学习（AIRL）是一种最先进的模仿学习方法，它可以同时学习行为策略和奖励函数，但它只在没有引入交互的简单静态环境中演示。在本文中，我们通过在学习框架中增加语义奖励来提高和稳定AIRL的性能。此外，我们还将增强的AIRL适应于自动驾驶高度互动环境中更实用和更具挑战性的决策任务。所提出的方法与四个基线进行比较，并通过四个性能指标进行评估。仿真结果表明，增强的AIRL优于所有的基线方法，其性能与专家的四个指标。
2021-03-26 cs.AI cs.LG
HAMMER: Hamiltonian Curiosity Augmented Large Language Model Reinforcement
Fudan University（复旦大学）；Tiansuan Lab, Ant Group Co., Ltd.（蚂蚁集团天算实验室）；East China Normal University（华东师范大学）
针对大语言模型课程强化学习易陷入局部优化、探索不足的问题，提出HAMMER框架，借最小语义哈密顿路径排序样本以增强探索，理论上保障稳定收敛，实验中在推理基准上实现3%-4%的准确率提升。
2025-09-25 cs.AI cs.CL cs.LG
A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning
Peking University（北京大学）；Beijing International Center for Mathematical Research（北京国际数学研究中心）；Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）
在本文中，我们考虑深度强化学习的线性规划（LP）公式。约束的数量取决于状态空间和动作空间的大小，这使得问题在大型或连续环境中变得棘手。一般增广拉格朗日方法在求解线性规划问题时存在双采样问题。也就是说，源自约束函数的条件期望和增广拉格朗日函数中的二次罚函数给采样和评估带来了困难。受乘子更新的启发，我们通过用乘子替换难以处理的条件期望，克服了增广拉格朗日函数极小化的障碍。为此，提出了一种深度参数化增广拉格朗日方法。此外，替代提供了一个有前途的突破，将两个步骤中的增广拉格朗日方法到一个单一的约束问题。一般的理论分析表明，从一系列的约束优化产生的解决方案收敛到最优解的线性规划，如果误差得到适当的控制。对神经正切核设置下的二次罚函数算法进行了理论分析，指出只要网络参数和优化算法选择适当，残差可以任意小。初步的实验表明，我们的方法是有竞争力的其他国家的最先进的算法。
2021-05-20 cs.LG math.OC
Memory Augmented Self-Play
MILA, Université de Montréal（蒙特利尔大学MILA）
自我游戏是一种无监督的训练过程，它使强化学习代理能够在不需要任何外部奖励的情况下探索环境。我们通过提供一个外部存储器来增强自我游戏设置，代理可以存储来自先前任务的经验。这使得智能体能够提出更多样化的自我游戏任务，从而更快地探索环境。在记忆增强的自我游戏设置中预训练的代理很容易胜过在无记忆自我游戏设置中预训练的代理。
2018-06-01 cs.LG stat.ML
Diffusion-Augmented Markov Decision Processes for Maximum Entropy Reinforcement Learning
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University Munich（慕尼黑机器人与机器智能研究所（MIRMI），技术大学慕尼黑）；Practical Project Student Exchange Program, Technical University Munich（技术大学慕尼黑实践项目学生交换计划）；MIT World Peace University（MIT和平大学）
本文通过将最大熵强化学习扩展到扩散过程，提出扩散增强马尔可夫决策过程（DA-MDPs），以最小化反向KL散度的上界来学习最优策略轨迹分布，并成功将PPO、WPO和REPPO适配为扩散变体，在连续控制和多模态基准上取得与基线相当或更优的性能。
2026-10-01 cs.AI cs.LG stat.ML
Generalization in Reinforcement Learning by Soft Data Augmentation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Technical University of Denmark（丹麦技术大学）
为了提高强化学习（RL）方法的泛化能力，人们已经做出了广泛的努力，通过域随机化和数据增强。然而，随着在训练期间引入更多的变化因素，优化变得越来越具有挑战性，并且根据经验可能导致较低的样本效率和不稳定的训练。我们提出了软数据增强（SODA），而不是直接从增强数据中学习策略，这是一种将增强与策略学习相结合的方法。具体而言，SODA对编码器施加软约束，其旨在最大化增强数据和非增强数据的潜在表示之间的互信息，而RL优化过程使用严格的非增强数据。对来自DeepMind Control套件的各种任务以及机器人操作任务进行了实证评估，我们发现SODA在训练中显着提高了样本效率，泛化和稳定性，超过了最先进的基于视觉的RL方法。
2021-04-09 cs.LG
State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards
Universitat Pompeu Fabra（庞培法布拉大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Stuttgart（斯图加特大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对约束强化学习中奖励线性组合无法诱导最优策略的问题，提出用拉格朗日乘子增广状态并将原始-对偶方法重新解释为乘子演化动力学，从而保证求解带约束的强化学习问题。
2023-09-21 cs.LG cs.RO math.OC
Reinforcement-Learning based Portfolio Management with Augmented Asset Movement Prediction States
Zhejiang University（浙江大学）；Fudan University（复旦大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
投资组合管理（PM）是一项基本的财务规划任务，旨在实现最大利润或最小风险等投资目标。它的决策过程涉及从各种数据源中不断推导有价值的信息和顺序决策优化，是强化学习（RL）的一个很有前景的研究方向。在本文中，我们提出了SARL，一种新的状态增强的RL框架PM。我们的框架旨在解决金融PM中的两个独特挑战：（1）数据异构性-为每种资产收集的信息通常是多样的，嘈杂的和不平衡的（例如，（2）环境的不确定性-金融市场是多变和不稳定的。为了整合异构数据并增强对环境不确定性的鲁棒性，我们的SARL将资产信息与其价格变动预测一起作为附加状态进行增强，其中预测可以仅基于金融数据（例如，资产价格）或来自新闻等替代来源。在两个真实世界的数据集上进行的实验，（i）比特币市场和（ii）高科技股票市场与7年的路透社新闻文章，验证了SARL对现有PM方法的有效性，无论是在累积利润还是风险调整利润方面。此外，进行了广泛的模拟，以证明我们提出的状态增强的重要性，提供新的见解和提高性能显着超过标准的基于RL的PM方法和其他基线。
2020-02-09 cs.LG q-fin.PM stat.ML
AAMDRL: Augmented Asset Management with Deep Reinforcement Learning
AI Square Connect；MILES；LAMSADE；Dauphine university（多芬大学）；LISIC；ULCO；Societe Generale（法国兴业银行）
智能体能否在具有连续、非平稳和非齐次观测的噪声和自适应环境中有效地学习？通过交易机器人，我们说明了深度强化学习（DRL）如何应对这一挑战。我们的贡献有三个方面：（i）在DRL中使用上下文信息（也称为增强状态），（ii）对于资产管理环境而言更现实的观测和动作之间的一个时段滞后的影响，（iii）实现称为向前走分析的新的重复性训练测试方法，其精神类似于时间序列的交叉验证。虽然我们的实验是在交易机器人上进行的，但它可以很容易地转换到其他机器人环境中，这些机器人环境在政权变化和噪声数据的连续环境中运行。我们的实验增强资产管理公司有兴趣找到最好的投资组合对冲策略表明，AAMDRL实现了卓越的回报和较低的风险。
2020-09-30 cs.AI cs.LG q-fin.MF
Towards Augmented Microscopy with Reinforcement Learning-Enhanced Workflows
Massachusetts Institute of Technology（麻省理工学院）
在这里，我们报告了一个案例研究实施强化学习（RL），以自动化扫描透射电子显微镜（STEM）工作流程中的操作。为此，我们设计了一个虚拟的原型RL环境来测试和开发一个网络，以在没有先验知识的情况下自动对齐电子束。使用这个模拟器，我们评估环境设计和算法超参数对对齐精度和学习收敛的影响，在很宽的超参数空间中显示出鲁棒收敛。此外，我们部署了一个成功的模型上的显微镜，以验证该方法，并证明设计适当的虚拟环境的价值。与模拟结果一致，显微镜上的RL模型在最少的训练后实现了收敛到目标对齐。总的来说，研究结果强调，通过利用RL，显微镜操作可以自动化，而不需要广泛的算法设计，朝着用机器学习方法增强电子显微镜迈出了又一步。
2022-08-04 cs.LG physics.ins-det
StaRPO: Stability-Augmented Reinforcement Policy Optimization
Clemson University（克莱姆森大学）；Université de Montréal（蒙特利尔大学）；Accenture (United States)（埃森哲（美国））；Arizona State University（亚利桑那州立大学）；Northeastern University（东北大学）
StaRPO通过引入推理稳定性指标提升强化学习在复杂推理任务中的表现，通过ACF和PE指标增强逻辑稳定性和响应准确性。
2026-10-15 cs.AI cs.LG
Heterogeneous Knowledge for Augmented Modular Reinforcement Learning
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
针对现有模块化强化学习模块同构、难整合多源异构知识的问题，提出AMRL框架，通过选择器组合异构模块，实现性能、效率与泛化性提升，并探讨了相关安全等问题。
2024-10-31 cs.AI cs.LG
SLEA-RL: Step-Level Experience Augmented Reinforcement Learning for Multi-Turn Agentic Training
Carnegie Mellon University（卡内基梅隆大学）
本文提出SLEA-RL框架，通过步骤级经验增强提升多轮代理训练性能，采用动态经验库和策略优化方法，在长周期任务中优于传统强化学习基线。
2026-03-18 cs.AI cs.LG
Reinforcement Learning for Battery Energy Storage Dispatch augmented with Model-based Optimizer
Washington State University（华盛顿州立大学）
强化学习已被发现在解决电力分配系统中的最优潮流（OPF）问题中是有用的。然而，使用完全忽略基于物理的电网建模的基本上无无模型强化学习算法会损害优化器性能并带来可扩展性挑战。本文提出了一种新的方法，协同结合基于物理的模型和基于学习的算法，使用模仿学习来解决分布级的最优潮流问题。具体而言，我们提出了基于模仿学习的改进深度强化学习（DRL）方法，以解决配电系统中电池存储调度的特定情况下的OPF问题。提出的模仿学习算法使用从线性化的基于模型的OPF求解器获得的近似最优解，为DRL算法提供良好的初始策略，同时提高训练效率。所提出的方法的有效性证明了使用IEEE 34总线和123总线配电馈线与众多的分布式级电池存储系统。
2021-09-02 cs.AI cs.LG cs.SY
Rainbow-DemoRL: Combining Improvements in Demonstration-Augmented Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；National Sun Yat-sen University（国立中山大学）
本文通过分类和实证研究，探讨了演示增强强化学习中不同策略的优劣及组合效果，发现直接复用离线数据和行为克隆初始化在提升在线样本效率方面表现更优。
2026-03-28 cs.LG cs.RO
A Deep Reinforcement Learning-Based Charging Scheduling Approach with Augmented Lagrangian for Electric Vehicle
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）
研究电动汽车参与需求响应时的充放电优化问题。由于电动汽车的剩余能量、到达和离开时间以及未来电价存在不确定性，因此很难在保证电动汽车电池荷电状态（SOC）在一定范围内的情况下做出最小化充电成本的充电决策。为了解决这一难题，本文将电动汽车充电调度问题描述为一个约束马尔可夫决策过程（CMDP）。将增广拉格朗日方法和软演员评判算法相结合，提出了一种新的安全的非策略强化学习（RL）方法来求解CMDP问题.行动者网络更新的策略梯度的方式与拉格朗日价值函数。采用双批评网络同步估计动作-价值函数，以避免高估偏差。该算法不需要强凸性保证的检查问题，是样本有效的。通过对实际电价问题的数值实验表明，该算法具有较高的解的最优性和约束的一致性。
2022-09-20 cs.AI cs.LG
Playing optical tweezers with deep reinforcement learning: in virtual, physical and augmented environments
University of Southampton（南安普顿大学）；Optoelectronics Research Centre（光电研究中心）
在模拟环境中进行强化学习，以学习多个电机轴上的连续速度控制。然后将其应用于现实世界的光镊实验，其目的是将激光捕获的微球移动到目标位置，同时避免与其他自由移动的微球碰撞。在虚拟环境中训练神经网络的概念在将机器学习应用于实验优化和控制方面具有巨大的潜力，因为神经网络可以发现解决问题的最佳方法，而不会有损坏设备的风险，并且速度不受物理环境中移动的限制。由于神经网络对待虚拟和物理环境等效，我们表明，网络也可以应用于增强环境，其中虚拟环境与物理环境相结合。这种技术可能有潜力解锁与混合和增强现实相关的功能，例如强制执行机器运动的安全限制或作为从附加传感器输入观察结果的方法。
2020-11-10 cs.AI cs.LG cs.RO
Uniform State Abstraction For Reinforcement Learning
University of York（约克大学）；L3S Research Center, Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）
基于潜力的奖励塑造结合基于适当定义的抽象知识的潜力函数已被证明可以显着提高强化学习的学习速度。多网格强化学习（MRL）进一步表明，这种抽象的知识，在一个潜在的功能的形式，可以学习几乎完全从代理与环境的互动。然而，我们发现，MRL面临着无法很好地扩展到深度学习的问题。在本文中，我们扩展和改进了MRL，以利用现代深度学习算法，如深度Q网络（DQN）。我们表明，DQN增强我们的方法在连续控制任务上的表现显着优于其香草对应物和DQN增强MRL。
2020-04-06 cs.AI cs.LG stat.ML
Sample Efficient Reinforcement Learning in Mixed Systems through Augmented Samples and Its Applications to Queueing Networks
Washington State University（华盛顿州立大学）；ShanghaiTech University（上海科技大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
针对包含随机与伪随机状态的混合系统强化学习样本效率低的问题，提出通过生成增强样本的方法，在FQI下证明可降低样本复杂度，并在排队网络实验中验证其能显著加速深度Q学习和深度策略梯度的学习。
2023-11-08 cs.LG
Graph augmented Deep Reinforcement Learning in the GameRLand3D environment
Ubisoft La Forge（育碧La Forge）
我们解决具有挑战性的3D视频游戏中的规划和导航问题，这些游戏的地图具有可由代理使用特殊动作到达的断开区域。在这种情况下，经典的象征性规划不适用或难以适应。我们介绍了一种混合技术相结合的低层次的政策训练与强化学习和基于图的高层次的经典规划。除了提供人类可解释的路径外，该方法还提高了端到端方法在看不见的地图中的泛化性能，在尚未看到的1 km x 1 km大规模地图中，与经常性端到端代理相比，它在点对点导航任务上的成功率绝对提高了20%。在一项深入的实验研究中，我们量化了端到端深度RL方法在广阔环境中的局限性，我们还介绍了“GameRLand3D”，这是一个新的基准，即将发布的环境可以为导航任务生成复杂的程序3D地图。
2021-12-22 cs.AI cs.LG
Augmented Replay Memory in Reinforcement Learning With Continuous Control
Artificial Intelligence Center（人工智能中心）；Faculty of Electrical Engineering（电气工程学院）；Czech Technical University in Prague（捷克理工大学）；Dipartimento di Elettronica, Informazione e Bioingegneria（电子、信息与生物工程系）；Politecnico di Milano（米兰理工大学）
在线强化学习代理目前能够通过将其转换为更高阶的价值函数来处理越来越多的数据。从环境中收集的信息的这种扩展增加了代理的状态空间，使其能够扩展到更复杂的问题，但也增加了通过学习冗余或冲突数据而忘记的风险。为了改进大量数据的近似，存储在重放存储器缓冲区中的随机小批量的过去经验通常在每个学习步骤中重放。这项工作的灵感来自于一种生物学机制，这种机制是人类大脑高级认知功能的保护层：主动记忆巩固通过动态处理新的记忆来减轻遗忘以前记忆的影响。类似的动态实现了一个建议的增强记忆重放AMR能够优化重放的经验，从代理的记忆结构，通过改变或增强其相关性。实验结果表明，能够增加特定记忆的重要性的改进AMR增强函数能够进一步提高处理连续动作域复杂性的学习算法的稳定性和收敛速度。
2019-12-29 cs.AI cs.LG cs.NE
HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning
Santa Clara University（圣克拉拉大学）；Rochester Institute of Technology（罗切斯特理工学院）
HindSearch是面向GRPO的轨迹级事后批判方法，通过冻结评判器利用标准答案为失败轨迹提供搜索动作的在线蒸馏信号，在7基准测试上使Qwen2.5-3B-Instruct的平均EM达39.4%，优于现有基线。
2026-08-04 cs.AI cs.IR cs.LG
Counterfactual experience augmented off-policy reinforcement learning
Wuhan University of Science and Technology（武汉科技大学）；College of Science（理学院）；Intelligent Automobile Engineering Research Institute（智能汽车工程研究院）；School of Automobile and Traffic Engineering（汽车与交通工程学院）
针对强化学习分布外与探索低效问题，提出CEA算法，利用变分自编码器和反事实推理扩展经验池，并在多类环境中优于SOTA方法。
2025-03-18 cs.AI cs.LG stat.ML
Efficient Action-Constrained Reinforcement Learning via Acceptance-Rejection Method and Augmented MDPs
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Taiwan University（国立台湾大学）
针对动作约束RL中QP计算昂贵和生成模型复杂的问题，提出结合接受-拒绝采样与含自环、拒绝惩罚的增广双目标MDP的高效框架。
2025-03-17 cs.LG
Heuristic Transformer: Belief Augmented In-Context Reinforcement Learning
University of Liverpool（利物浦大学）；University of Sheffield（谢菲尔德大学）
针对Transformer在上下文内强化学习（ICRL）中的应用，提出启发式Transformer（HT），通过变分自动编码器（VAE）学习奖励后验分布的低维表示并融入上下文数据集，在多环境中性能优于基线，为信念增强与Transformer决策的结合提供新方向。
2025-11-13 cs.AI cs.LG
Virtual Augmented Reality for Atari Reinforcement Learning
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文研究SAM图像分割模型能否提升Atari游戏RL智能体性能，发现其可作为虚拟增强现实，在特定条件下改善表现，为相关研究提供方向。
2023-10-12 cs.AI cs.LG
A Model-Based Approach for Improving Reinforcement Learning Efficiency Leveraging Expert Observations
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
本文提出一种基于模型的方法，通过结合最大熵强化学习与行为克隆损失，并自动调整权重，利用专家观测提升深度强化学习的样本效率，实验验证其优于多种基准。
2024-02-29 cs.LG
Augmented Random Search for Quadcopter Control: An alternative to Reinforcement Learning
Oracle Inc（甲骨文公司）；BMSCE（BMS工程学院）
基于模型的强化学习策略被认为比无模型策略表现出更显著的样本复杂性来控制动态系统，如四轴飞行器。这种信念，即基于模型的战略，涉及使用训练有素的神经网络，使这种高层次的决策总是提供更好的性能，可以消除利用无模型的政策搜索方法。本文提出了使用模型-自由随机搜索策略，称为增强随机搜索（ARS），这是一种更好、更快的线性策略训练方法，适用于连续控制任务，如控制四轴飞行器飞行。该方法实现了艺术的准确性，通过消除使用太多的数据的神经网络的训练，目前在以前的方法的任务四轴飞行器控制。本文还在一个策略性设计的任务环境中，通过仿真，重点分析了搜索策略在该任务中的性能结果，并将增强随机搜索的1000集以上奖励收集性能和飞行中的代理行为与强化学习算法的行为进行了比较，我们的模拟和结果表明，在这些任务的样本效率的常用策略中观察到性能的高度可变性，但ARS的构建策略网络-Quad可以相对准确地对阶跃响应做出反应，为强化学习策略提供了一种性能更好的替代方案。
2019-11-28 cs.AI cs.LG cs.RO
Hybrid LLM-Augmented Reinforcement Learning Agents for Complex Sequential Decision Tasks
本文提出混合LLM增强RL智能体，融合LLM规划与RL动作优化，经实验验证其在序列决策任务上优于仅RL、仅LLM的基线方法，为构建更强自主系统提供了新方向。
2026-08-20 cs.AI cs.LG cs.MA
PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs
Alibaba Group（阿里巴巴集团）
该研究针对LLM多任务RL后训练的任务分配问题，提出PAC方法结合优势与奖励增益信号，经多场景验证可提升样本效率与最终性能。
2026-09-01 cs.LG
Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents
Beijing University of Posts and Telecommunications（北京邮电大学）；China Mobile Group Design Institute Co., Ltd（中国移动集团设计院有限公司）；Singapore Management University（新加坡管理大学）
本文提出STEP-HRL框架，通过仅基于单步转换而非完整交互历史实现步骤级学习，提升LLM代理在复杂任务中的性能和泛化能力，同时减少token使用。
2026-04-15 cs.AI cs.LG
Guiding Exploration in Reinforcement Learning Through LLM-Augmented Observations
本文提出通过增强观测空间提供LLM动作建议的框架，引导RL智能体在稀疏奖励环境中探索，在BabyAI最困难任务上实现成功率71%相对提升，样本效率最高提升9倍。
2025-10-09 cs.AI cs.LG
SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning
University of Chicago（芝加哥大学）；University of California San Diego（加州大学圣地亚哥分校）；NEC Labs America（NEC美国实验室）；University of California Berkeley（加州大学伯克利分校）；University of California Santa Cruz（加州大学圣克鲁兹分校）
SkillRL通过递归技能增强强化学习，有效提升智能体在复杂任务中的表现与泛化能力。
2026-10-08 cs.LG
Faster and more diverse de novo molecular optimization with double-loop reinforcement learning using augmented SMILES
Odyssey Therapeutics（奥德赛治疗公司）；King's College（国王学院）
提出双循环强化学习结合SMILES增强，通过内循环重用评分计算并防止模式崩溃，实现更快、更多样且可重复的从头分子优化。
2023-03-03 cs.LG physics.chem-ph
Towards Robust On-Ramp Merging via Augmented Multimodal Reinforcement Learning
Michigan Technological University（密歇根理工大学）；University of Science and Technology of China（中国科学技术大学）
尽管人工智能车载感知取得了成功，但入口匝道合并一直是自动驾驶面临的主要挑战之一。由于车载传感器的感知范围有限，并道车辆很难观察到主干道的路况并道。通过利用联网车辆和自动驾驶车辆（CAV）之间的无线通信，合并CAV有可能主动获取附近车辆的意图。然而，CAV可能容易出现不准确的观测，例如嘈杂的基本安全信息（BSM）和质量差的监视图像。在本文中，我们提出了一种新的方法，通过增强和多模态强化学习，命名为RAMRL的CAV的鲁棒入口匝道合并。具体来说，我们制定了一个马尔可夫决策过程（MDP）的入口匝道合并问题，考虑到驾驶安全，舒适的驾驶行为，和交通效率。为了提供可靠的合并操作，我们同时利用BSM和监控图像进行多模态观察，用于通过近端策略优化（PPO）学习策略模型。此外，为了提高数据效率并提供更好的泛化性能，我们训练增强数据（例如，噪声BSM和噪声监视图像）。在两种典型的合流场景下，利用城市移动性仿真平台（SUMO）进行了大量的实验。实验结果表明，我们的鲁棒入口匝道合并设计的有效性和效率。
2022-07-21 cs.AI cs.LG cs.RO
Concept Learning through Deep Reinforcement Learning with Memory-Augmented Neural Networks
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
深度神经网络在许多领域都表现出了出色的性能，可以记住大量数据的熟悉模式。然而，标准的监督式深度学习范式在面临从稀缺数据中有效学习新概念的需求时仍然是有限的。在本文中，我们提出了一个记忆增强的神经网络，这是由人类的概念学习过程的动机。训练过程模仿人类的概念形成过程，学习如何区分不同类别的样本和聚合同类样本。为了更好地利用源于人类行为的优势，我们提出了一个顺序的过程，在这个过程中，网络应该决定如何在每一步记住每个样本。在这个连续的过程中，一个稳定的和交互式的记忆是一个重要的模块。我们验证了我们的模型在一些典型的一次性学习任务，也是一个探索性的离群值检测问题。在所有的实验中，我们的模型在达到或超过这些强基线方面都具有很强的竞争力。
2018-11-15 cs.AI cs.LG
A Reinforcement-Learning-Augmented Liquid-Fueled Reactor Network Model for Predicting Lean Blowout in Gas Turbine Combustors
Louisiana State University（路易斯安那州立大学）；Argonne National Laboratory（阿贡国家实验室）
研究提出强化学习框架预测燃气轮机燃烧室贫油熄火，采用多阶段聚类-分类策略，借助初始聚类和演员-评论家RL智能体生成优化反应器区域，验证研究显示该框架预测保真度高、速度快，有潜力作为降阶建模技术辅助高保真模拟。
2026-07-22 cs.LG
Understanding when Dynamics-Invariant Data Augmentations Benefit Model-Free Reinforcement Learning Updates
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
本文研究动力学不变数据增强在无模型强化学习中的效用，发现增加状态-动作覆盖比增加奖励密度更有效，且降低增强重放比率能显著提升数据效率。
2024-03-16 cs.LG
Emergence of a Flow-Assisted Casting Strategy for Olfactory Navigation via Memory-Augmented Reinforcement Learning
State Key Laboratory of Ocean Engineering, School of Ocean and Civil Engineering, Shanghai Jiao Tong University, Shanghai 200240, People’s Republic of China（海洋工程国家重点实验室，海洋与土木工程学院，上海交通大学，上海200240，中华人民共和国）；State Key Laboratory of Fluid Power and Mechatronic Systems, Department of Engineering Mechanics, Zhejiang University, Hangzhou 310027, People’s Republic of China（流体动力与机械系统国家重点实验室，工程力学系，浙江大学，杭州310027，中华人民共和国）
研究通过记忆增强强化学习探讨了在动态流场中动物如何利用记忆长度和流条件优化气味搜索效率，发现智能体通过自适应调整搜索轨迹几何形状和启动铸造的浓度阈值来最大化成功概率。
2026-05-16 cs.LG physics.flu-dyn
Augmented Reinforcement Learning Framework For Enhancing Decision-Making In Machine Learning Models Using External Agents
提出增强强化学习框架，引入两个外部智能体监督和修正模型决策，解决垃圾进垃圾出问题，并在文档识别与信息提取场景验证，结合人类反馈提升模型鲁棒性和准确性。
2025-08-03 cs.AI cs.LG
Motion Planner Augmented Reinforcement Learning for Robot Manipulation in Obstructed Environments
Cognitive Learning for Vision and Robotics Lab（认知视觉与机器人学实验室）；Robotic Embedded Systems Laboratory（机器人嵌入式系统实验室）；University of Southern California（南加利福尼亚大学）
深度强化学习（RL）智能体能够通过最大化奖励信号来学习接触丰富的操作任务，但需要大量的经验，特别是在有许多障碍物的环境中，这些障碍物使探索变得复杂。相比之下，运动规划者使用代理和环境的显式模型来规划到遥远目标的无碰撞路径，但是在需要与环境接触的任务中遭受不准确的模型。为了结合这两种方法的优点，我们提出了运动规划增强RL（MoPA-RL），它增强了RL代理的动作空间与运动规划的长期规划能力。基于动作的大小，我们的方法在直接执行动作和调用运动规划器之间平滑地过渡。我们评估我们的方法在各种模拟操作任务，并比较它的学习效率和安全性方面的替代行动空间。实验表明，MoPA-RL提高了学习效率，导致更快的探索，并产生更安全的策略，避免与环境发生冲突。视频和代码可在https://clvrai.com/mopa-rl上获得。
2020-10-22 cs.AI cs.LG cs.RO
