Current applications and potential future directions of reinforcement learning-based Digital Twins in agriculture
University of Vienna(维也纳大学);TU Wien(维也纳技术大学);SBA Research gGmbH(SBA研究有限责任公司)
本文综述了强化学习在农业机器人、温室、灌溉和作物管理中的应用,分类现有技术并展望基于强化学习的数字孪生未来方向,以推动高效可持续农业发展。
2024-06-13 cs.AI cs.LG
Bi-directional personalization reinforcement learning-based architecture with active learning using a multi-model data service for the travel nursing industry
本文提出一种结合主动学习的双向个性化强化学习架构,利用多模型数据服务加速数据获取,为旅行护理行业提供双向精准的职位与候选人推荐。
2023-03-14 cs.AI cs.IR cs.LG
TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning
本文提出TRIAGE,一种方向感知的稳定化方法,通过片段级诊断和修复解决原生NVFP4强化学习中的失配问题,在Qwen3模型上实现全精度性能并提升2.3倍吞吐量。
2026-10-12 cs.AI cs.LG
A Survey of Reinforcement Learning Techniques: Strategies, Recent Development, and Future Directions
强化学习是设计强调实时响应的人工智能系统的核心组成部分之一。强化学习影响系统在具有或不具有关于环境模型的先前知识的任意环境内采取动作。在本文中,我们对强化学习进行了全面的研究,重点关注各个方面,包括挑战,不同最先进技术的最新发展以及未来的发展方向。本文的基本目标是提供一个框架,用于介绍强化学习的可用方法,该方法信息量足够大,并且易于为该领域的新研究人员和学者考虑最新的关注点。首先,我们以一种易于理解和可比的方式说明了强化学习的核心技术。最后,我们分析和描述了强化学习方法的最新发展。我的分析指出,大多数模型都专注于调整策略值,而不是在特定的推理状态下调整其他东西。
2020-01-27 cs.AI
Direction-Conditioned Policies for Online Goal-Conditioned Reinforcement Learning
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
提出方向条件化策略(DCP),通过利用表示空间中的方向与距离信息改进对比强化学习,在多个导航和操作任务中提升成功率和目标接近时间,并验证其几何捕获能力。
2026-10-06 cs.AI cs.LG cs.RO
LLM-based Multi-Agent Reinforcement Learning: Current and Future Directions
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
本文综述了现有基于LLM的单智能体与多智能体RL框架,聚焦多智能体协作任务与通信及人在回路场景,提出未来研究方向,推动LLM-based MARL发展。
2024-05-17 cs.AI cs.CL cs.LG
GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning
针对在线强化学习训练LLM时奖励噪声导致的不稳定性,提出GEOALIGN,通过检测并修正方向不一致的轨迹来稳定更新,提升最终性能并减少训练震荡。
2026-06-26 cs.AI cs.LG
A Novel Deep Reinforcement Learning Based Stock Direction Prediction using Knowledge Graph and Community Aware Sentiments
University of Kocaeli(科贾埃利大学)
股票市场预测一直是投资者、研究人员和分析师的重要课题。股票市场预测受诸多因素的影响,是一项比较困难的工作。在这项研究中,我们提出了一种新的方法,这是基于深度强化学习方法的方向预测的股票使用社区的情绪和知识图谱。为此,我们首先通过分析连接之间的关系来构建用户的社会知识图谱。在此基础上,将相关股票的时间序列分析和情感分析与深度强化方法相结合。土耳其版本的双向编码器表示从Transformers(BerTurk)的用户的情绪进行分析,而深度Q学习方法用于所提出的模型的深度强化学习侧,以构建深度Q网络。为了证明所提出的模型的有效性,Garanti银行(GARAN),Akbank(AKBNK),Türkiye银行(ISCTR)在伊斯坦布尔证券交易所的股票被用作案例研究。实验结果表明,该模型在股市预测中取得了显著的效果。
2021-07-02 cs.AI cs.CE cs.LG
Deep Reinforcement Learning with a Combinatorial Action Space for Predicting Popular Reddit Threads
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们引入了一个在线流行度预测和跟踪任务,作为组合自然语言动作空间的强化学习的基准任务。推荐指定数量的被预测为流行的讨论线程,从要跟踪的最近评论的固定窗口中选择。研究了新的深度强化学习架构,用于对与由相互依赖的子动作组成的动作相关联的价值函数进行有效建模。所提出的模型通过双向LSTM表示子动作之间的依赖关系,在不同的实验配置和领域中提供了最佳性能,并且在不同数量的推荐请求中也具有很好的泛化能力。
2016-09-17 cs.AI cs.CL cs.LG
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);Montreal Institute of Learning Algorithms (MILA)(蒙特利尔学习算法研究所);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系)
本文全面综述了进化强化学习(ERL)领域,将进化算法(EA)与强化学习(RL)融合,系统总结了三种主要研究方向:EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化,并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
Deep Multiagent Reinforcement Learning: Challenges and Directions
Leiden University(莱顿大学)
本文综述了深度多智能体强化学习领域。近年来,深度神经网络与强化学习的结合获得了越来越多的关注,并且正在慢慢将焦点从单智能体环境转移到多智能体环境。处理多个代理本质上更复杂,因为(a)未来的奖励取决于多个参与者的联合行动,以及(b)计算复杂性增加。我们提出了最常见的多智能体的问题表示和他们的主要挑战,并确定了五个研究领域,解决这些挑战中的一个或多个:集中培训和分散执行,对手建模,沟通,有效的协调,和奖励塑造。我们发现,许多计算研究依赖于不切实际的假设,或者不能推广到其他设置;他们努力克服维数或非平稳性的灾难。心理学和社会学的方法捕捉有前途的相关行为,如沟通和协调,以帮助代理在多代理环境中实现更好的性能。我们建议,多智能体强化学习是成功的,未来的研究应该解决这些挑战与跨学科的方法,在多智能体强化学习开辟新的可能性。
2022-10-12 cs.AI cs.LG cs.MA
Detecting Adversarial Directions in Deep Reinforcement Learning to Make Robust Decisions
针对深度强化学习中观测维度增加导致的策略易受对抗攻击问题,提出基于策略损失局部二次逼近的对抗方向检测方法,具备理论依据与计算效率,在多种攻击场景下验证了有效性。
2023-06-09 cs.AI cs.CR cs.LG
Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning
University of Georgia(佐治亚大学);Tencent AI Lab(腾讯AI实验室);The Education University of Hong Kong(香港教育大学);The Hong Kong Polytechnic University(香港理工大学)
提出DiRL框架,通过方向感知奖励区分推理与记忆驱动的探索,在GRPO中集成方向加权梯度特征,显著提升数学与通用推理性能。
2026-06-09 cs.AI
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络,已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而,观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换(即对抗性扰动)引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中,我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上,而且在深层神经策略领域中更丰富,并且可以通过更自然的方式在黑盒环境中找到。此外,我们发现,与通过最先进的对抗训练技术学习的策略相比,香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性,我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Survey on reinforcement learning for language processing
本文综述了强化学习在自然语言处理任务中的应用,重点探讨对话系统中的方法、优势与局限,并提出未来研究方向。
2022-03-15 cs.AI cs.CL cs.LG
Accelerating Reinforcement Learning with a Directional-Gaussian-Smoothing Evolution Strategy
Oak Ridge National Laboratory(橡树岭国家实验室)
演化策略(ES)在许多具有挑战性的强化学习(RL)任务中表现出了巨大的潜力,可以与其他最先进的深度RL方法相媲美。然而,在目前的ES实践中有两个限制,可能会阻碍其进一步的能力。首先,大多数当前的方法依赖于蒙特卡罗类型的梯度估计建议搜索方向,其中的政策参数,一般来说,随机抽样。由于这种估计器的低精度,RL训练可能会收敛缓慢,并且需要更多的迭代才能达到最优解。其次,奖励函数的景观可能具有欺骗性,并且包含许多局部最大值,导致ES算法过早收敛,并且无法探索具有潜在更大奖励的参数空间的其他部分。在这项工作中,我们采用了方向高斯平滑进化策略(DGS-ES)来加速RL训练,它非常适合解决这两个挑战,因为它能够i)提供高精度的梯度估计,ii)找到非局部搜索方向,强调奖励函数的大规模变化并忽略局部波动。通过几个基准RL任务在这里演示,我们表明DGS-ES是高度可扩展的,具有优越的挂钟时间,并实现竞争力的奖励分数,其他流行的策略梯度和ES方法。
2020-02-21 cs.AI cs.LG math.OC
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
University of New South Wales(新南威尔士大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Technology Sydney(悉尼科技大学)
鉴于深度强化学习(DRL)在推荐系统研究中的出现以及近年来取得的一些丰硕成果,本文旨在对深度强化学习在推荐系统中的最新发展趋势进行及时而全面的综述。我们首先介绍了在推荐系统中应用DRL的动机。然后,我们提供了一个分类目前基于DRL推荐系统和现有的方法的总结。我们讨论新出现的主题和开放的问题,并提供我们对推进该领域的观点。本调查作为学术界和工业界读者对这一主题的介绍材料,并确定了进一步研究的重要机会。
2021-09-09 cs.AI cs.IR
A Fully Controllable Agent in the Path Planning using Goal-Conditioned Reinforcement Learning
Rutgers University, The State University of New Jersey(罗格斯大学(新泽西州立大学))
路径规划的目的是通过搜索智能体的路径,使其从起点到达目标。在路径规划中,路线可以根据变量的数量而变化,使得对于代理达到各种目标是重要的。然而,许多研究都涉及用户预先定义的单一目标。在本研究中,我提出了一个新的强化学习框架,一个完全可控的智能体在路径规划。为此,我提出了一种双向记忆编辑来获得代理的各种双向轨迹,其中代理的行为和子目标在目标条件强化学习上进行训练。至于在各个方向上移动代理,我利用子目标专用网络,与策略网络分离。最后,提出了奖励塑造,以缩短智能体到达目标的步骤。在实验结果中,智能体能够达到智能体在训练中从未访问过的各种目标。我们证实了智能体可以执行诸如往返之类的困难任务,并且智能体使用具有奖励塑造的较短路线。
2022-05-20 cs.AI cs.LG
Understanding and Diagnosing Deep Reinforcement Learning
University College London (UCL)(伦敦大学学院(UCL))
本文提出一种有理论依据的方法,系统分析深度强化学习策略决策边界中跨时空的不稳定方向,揭示了鲁棒训练与标准训练在稳定性上的差异,有助于构建更可靠的深度神经策略。
2024-06-23 cs.AI cs.LG
Quality Determines Direction, Length Shapes Magnitude: Length Control for Open-Ended Reinforcement Learning
Fudan University(复旦大学);Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.(星辰AGI实验室,中国电信人工智能科技(北京)有限公司);Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学)
针对开放式强化学习中响应长度增长损害token效率的问题,提出质量门控长度优势塑造(QGLAS),让质量决定强化方向、长度仅塑造幅度,在约30%压缩下保留98.4%–102.0%的质量增益,优于基线。
2026-09-29 cs.CL cs.LG
Switching Isotropic and Directional Exploration with Parameter Space Noise in Deep Reinforcement Learning
The University of Tokyo(东京大学)
提出了一种基于参数空间噪声的深度强化学习探索方法。最近的研究已经实验表明,参数空间噪声比常用的动作空间噪声导致更好的探索。以往的方法设计了一种更新噪声分布的对角协方差阵的方法,并且没有考虑噪声向量的方向及其相关性。此外,需要快速更新噪声分布,以促进政策学习。我们提出了一种方法,变形的噪声分布,根据累积的回报和噪声,导致的回报。此外,该方法在参数空间中切换各向同性探索和定向探索,获得的回报。我们在OpenAI Gym连续环境和具有稀疏奖励的修改环境中验证了我们的探索策略。所提出的方法实现的结果是有竞争力的基线任务与以前的方法。此外,我们的方法表现出更好的性能在稀疏奖励环境中的探索与切换策略。
2018-09-27 cs.LG stat.ML
Reinforcement Learning for Education: Opportunities and Challenges
MPI-SWS(马克斯·普朗克软件系统研究所);Carleton College(卡尔顿学院);Worcester Polytechnic Institute(伍斯特理工学院)
这篇调查文章源于作者在教育数据采掘(EDM)2021会议上组织的RL4ED研讨会。我们组织了这次研讨会,作为社区建设工作的一部分,汇集了对强化学习(RL)和教育(ED)广泛领域感兴趣的研究人员和从业人员。本文旨在提供研讨会活动的概述,并总结了在该领域的RL教育的主要研究方向。
2021-07-15 cs.AI cs.LG
Retrospective Analysis of the 2019 MineRL Competition on Sample Efficient Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);OpenAI;AIcrowd;Preferred Networks;DeepMind;Microsoft Research(微软研究院)
为了促进样本高效强化学习方向的研究,我们在第三十三届神经信息处理系统会议(NeurIPS 2019)上举办了MineRL竞赛。该竞赛的主要目标是促进使用人类演示和强化学习的算法的开发,以减少解决复杂,分层和稀疏环境所需的样本数量。我们描述了比赛,概述了主要挑战,比赛设计,以及我们为参与者提供的资源。我们提供了顶级解决方案的概述,每个解决方案都使用深度强化学习和/或模仿学习。我们还讨论了我们的组织决策对竞争和未来改进方向的影响。
2020-06-18 cs.AI cs.LG stat.ML
Goal-conditioned Batch Reinforcement Learning for Rotation Invariant Locomotion
University of California, San Diego(加州大学圣迭戈分校)
我们提出了一种新的方法来学习目标条件的政策,在一个批RL设置运动。批处理数据由不受目标限制的策略收集。对于运动任务,这转化为数据汇集,使用代理学习的策略在一个方向上笔直行走,并使用该数据学习目标条件策略,使代理能够在任何方向上行走。所使用的数据汇集策略应该对代理所面向的方向是不变的,即,无论其初始方向如何,代理都应该采取相同的动作来向前行走。我们利用这一特性来学习目标条件策略,使用两个关键思想:(1)通过在不同方向上生成具有相同动作的轨迹来增强数据,以及(2)学习一个编码器,该编码器使用Siamese框架来强制这些旋转轨迹之间的不变性。我们表明,我们的方法优于现有的RL算法的3-D运动代理,如蚂蚁,人形和Minitaur。
2020-04-17 cs.AI cs.LG stat.ML
Maneuver Decision-Making For Autonomous Air Combat Through Curriculum Learning And Reinforcement Learning With Sparse Rewards
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
强化学习是解决决策问题的有效方法。研究基于强化学习的自主空战机动决策方法是一个有意义和价值的方向。然而,当使用强化学习来解决具有稀疏奖励的决策问题时,如空战机动决策,需要花费太多的训练时间,并且训练后的智能体的性能可能不令人满意。为了解决这些问题,提出了基于课程学习的方法。首先,设计了空战机动决策的三种课程:角度课程、远程课程和混合课程。将这些课程分别用于训练空战智能体,并与原无课程训练方法进行了比较。训练结果表明,角度课程可以提高训练的速度和稳定性,提高Agent的性能;距离课程可以提高Agent训练的速度和稳定性;混合课程会使Agent陷入局部最优,对训练有负面影响。仿真结果表明,经过训练,智能体能够处理目标来自不同方向的情况,机动决策结果符合导弹的特点。
2023-02-12 cs.AI cs.LG
DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 学院);Ant International(蚂蚁国际)
本文提出DelTA方法,通过估计token系数来增强特定侧的token梯度方向,从而改进可验证奖励强化学习中的token概率更新,提升了模型在数学基准测试中的性能。
2026-05-20 cs.CL cs.LG
Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning
Tencent AI Lab(腾讯AI实验室);University of Notre Dame(诺丁汉大学)
G2RL通过利用模型自身的梯度几何特性,改进大语言模型的推理能力,优于传统探索方法。
2025-12-17 cs.AI cs.LG
Training Directional Locomotion for Quadrupedal Low-Cost Robotic Systems via Deep Reinforcement Learning
The University of Queensland(昆士兰大学)
本文提出一种基于朝向随机化的DRL方法,用于真实世界低成本四足机器人的定向运动训练,使其能完成含频繁转弯和长直线的复杂轨迹,并减少人工重置。
2025-03-14 cs.AI cs.RO
Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control
Fudan NLP Group(复旦大学自然语言处理组);Honor Device Co Ltd(荣誉设备有限公司);University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学);Tencent Hunyuan(腾讯文心)
本文提出熵极性理论框架,揭示熵变化的token级机制,开发PAPO算法通过优势重加权实现熵控制,实验显示其在数学推理和代理基准中表现优异。
2026-05-14 cs.CL cs.LG
Offline Reinforcement Learning for Wind Farm Control: A Wind Tunnel Study under Dynamic Wind Directions
University of Warwick(华威大学);Technical University of Munich(慕尼黑工业大学)
针对动态风向下的风电场功率最大化问题,提出离线强化学习算法MTD3-BC,通过偏航控制减轻尾流效应,风洞实验表明其比贪婪策略提升约10%功率,且无需尾流模型、训练成本低,为首次实验验证。
2026-09-14 cs.LG
Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
深度强化学习在过去几年中取得了显著的成功。高度复杂的顺序决策问题已经在游戏和机器人等任务中得到解决。不幸的是,大多数深度强化学习方法的样本复杂度都很高,这阻碍了它们在一些重要应用中的使用。基于模型的强化学习创建环境动态的显式模型以减少对环境样本的需求。当前的深度学习方法使用高容量网络来解决高维问题。不幸的是,高容量模型通常需要许多样本,从而否定了基于模型的方法中较低样本复杂性的潜在好处。因此,基于深度模型的方法面临的挑战是在保持低样本复杂度的同时实现高预测能力。近年来,许多基于模型的方法被引入来解决这一挑战。在本文中,我们调查了当代基于模型的景观。首先,我们讨论定义和与其他领域的关系。我们提出了一个分类法的基础上,三种方法:使用明确的规划给定的过渡,使用明确的规划学习的过渡,规划和过渡的端到端的学习。我们使用这些方法来组织一个全面的概述最近的重要发展,如潜在的模型。我们描述的方法和基准,我们建议的每一种方法的未来工作的方向。其中有前途的研究方向是课程学习,不确定性建模,并使用潜在的模型迁移学习。
2020-12-01 cs.AI cs.LG
A Survey of Reinforcement Learning for Large Language Models under Data Scarcity: Challenges and Solutions
Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);National University of Singapore(新加坡国立大学);Nankai University(南开大学);Tongji University(同济大学);Nanjing University(南京大学);University of Wollongong(沃林根大学);Shanghai Jiao Tong University(上海交通大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文综述了在数据稀缺条件下大型语言模型强化学习的挑战与解决方案,提出三级框架,梳理现有方法并分析其优劣,为高效强化学习提供理论基础。
2026-04-19 cs.AI cs.LG
Reinforcement Learning in Medical Image Analysis: Concepts, Applications, Challenges, and Future Directions
Emory University(埃默里大学);Winship Cancer Institute(温希普癌症研究所);School of Medicine, Emory University(埃默里大学医学院)
动机:医学图像分析涉及协助医生对病变或解剖结构进行定性和定量分析的任务,显著提高诊断和预后的准确性和可靠性。传统上,这些任务由医生或医学物理学家完成,并导致两个主要问题:(i)效率低;(ii)受个人经验的影响。在过去的十年中,许多机器学习方法已被应用于加速和自动化图像分析过程。与监督和无监督学习模型的大量部署相比,在医学图像分析中使用强化学习的尝试很少。这篇综述文章可以作为相关研究的垫脚石。重要性:从我们的观察来看,尽管强化学习近年来逐渐获得了发展势头,但许多医学分析领域的研究人员发现很难理解并在临床上部署。原因之一是缺乏针对缺乏专业计算机科学背景的读者的组织良好的评论文章。本文不是提供医学图像分析中所有强化学习模型的全面列表,而是帮助读者学习如何将医学图像分析研究作为强化学习问题来制定和解决。方法和结果:我们选择了来自Google Scholar和PubMed的已发表文章。考虑到相关文章的稀缺性,我们还包括一些优秀的最新预印本。这些论文被仔细审查,并根据图像分析任务的类型进行分类。我们首先回顾了强化学习的基本概念和流行模型。然后,我们探讨了强化学习模型在地标检测中的应用。最后,我们通过讨论所回顾的强化学习方法的局限性和可能的改进来结束本文。
2022-06-28 cs.CV cs.LG
CARE-RL: Capability-Aware Reinforcement Learning for Mitigating Cross-Domain Conflicts
National University of Singapore(新加坡国立大学)
提出CARE-RL框架,结合协议感知奖励生成与能力感知优化,通过PA-GRM和DACSP方法缓解多领域强化学习中的奖励不可靠与能力干扰问题。
2026-05-30 cs.AI cs.LG
Directional Constraints for Efficient Exploration in Safe Reinforcement Learning
Dipartimento di Automatica e Informatica, Politecnico di Torino(自动控制与信息工程系,都灵理工大学);Tongji University, Shanghai Research Institute for Intelligent Autonomous Systems(同济大学,上海智能自主系统研究院);German Research Center for AI (DFKI)(德国人工智能研究中心(DFKI));Intelligent Autonomous Systems Group, TU Darmstadt(智能自主系统组,达姆施塔特工业大学);Lund University(隆德大学);Istituto Italiano di Tecnologia(意大利技术研究院)
针对安全强化学习中约束学习降低速度和性能的问题,提出扩展ATACOM框架的ATACOM-DC方法,通过引入方向约束区分动作,改善安全与性能权衡,在模拟机器人控制任务中评估,分析约束违反成本和任务性能。
2026-07-15 cs.LG cs.RO
Deep reinforcement learning for machine scheduling: Methodology, the state-of-the-art, and future directions
University of Victoria(维多利亚大学)
本文综述了深度强化学习在机器调度中的应用,按计算组件分类评估了各方法,指出其在速度和寻优上优于传统算法,并总结了泛化性与鲁棒性等未来挑战。
2023-10-04 cs.AI cs.LG cs.NE
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University(延世大学)
深度强化学习(Deep Reinforcement Learning,DRL)旨在创建智能代理,这些智能代理可以学习在现实环境中有效地解决复杂问题。通常,两个学习目标:适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后,我们回顾了这些方法下的最新工作,并讨论了未来的研究方向,通过DRL算法的适应性和泛化能力可以提高,并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
When Model Merging Rivals Joint Multi-Task Reinforcement Learning: A Task-Vector Geometry Analysis
Aimpoint Digital Labs(Aimpoint数字实验室)
研究在强化学习中模型合并能否替代联合多任务训练,通过训练Qwen3 - 8B专家并合并,与联合训练模型对比,发现任务向量几何结构中方向和支持解耦,合并效果与联合训练相当,还发布了代码和统计数据。
2026-07-20 cs.AI cs.LG
Mutual Enhancement of Large Language and Reinforcement Learning Models through Bi-Directional Feedback Mechanisms: A Planning Case Study
Technical University of Munich(慕尼黑工业大学);Peking University(北京大学);BIGAI(北京智源人工智能研究院);King's College London(伦敦国王学院);Tongji University(同济大学);University College London(伦敦大学学院)
本研究提出一种师生学习框架,通过LLM与RL模型间的双向反馈机制实现相互增强,使两者在合作多智能体环境中共同优化以完成更具挑战性的规划任务。
2025-03-02 cs.CL
AttendLight: Universal Attention-Based Reinforcement Learning Model for Traffic Signal Control
SAS Institute Inc.(SAS公司)
我们提出AttendLight,一个端到端的强化学习(RL)算法的交通信号控制问题。以前的方法,这个问题的缺点是,他们需要训练每个新的交叉口与不同的结构或交通流分布。AttendLight通过为具有任意数量的道路、车道、相位(可能的信号)和交通流的交叉口训练单个通用模型来解决这个问题。为此,我们提出了一个深度强化学习模型,其中包含两个注意力模型。第一个注意力模型被引入到处理不同数量的道路车道,和第二个注意力模型的目的是使决策与任何数量的相位在一个交叉口。因此,我们提出的模型适用于任何交叉配置,只要在训练集中表示类似的配置。实验进行了合成和真实世界的标准基准数据集。我们的结果显示,覆盖交叉口与三个或四个接近的道路;单向/双向道路与一个,两个和三个车道;不同数量的阶段;和不同的交通流量。我们考虑两种制度:(i)单一环境的培训,单一的部署,和(ii)多环境的培训,多部署。AttendLight在这两种机制的所有情况下都优于经典和其他基于RL的方法。
2020-10-12 cs.AI cs.LG
Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications
Washington University in St. Louis(华盛顿大学圣路易斯分校);Microsoft Research(微软研究院);Vanderbilt University(范德比尔特大学)
本文提出一种任务驱动的深度Q学习算法,利用LTL自动机表示和部分环境模型指导探索,加速未知随机动力学下LTL任务策略学习,并在机器人导航实验中验证了效率提升。
2025-04-22 cs.AI cs.LG cs.RO
A Survey on Explainable Deep Reinforcement Learning
Northwestern University(西北大学)
本综述针对深度强化学习(DRL)的黑箱不可解释性问题,系统梳理了可解释深度强化学习(XRL)的多维度解释技术、评估框架及应用场景,并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
Leveraging Human Guidance for Deep Reinforcement Learning Tasks
University of Texas at Austin(德克萨斯大学奥斯汀分校)
强化学习智能体可以通过与环境交互来学习解决顺序决策任务。人类如何解决这些任务的知识可以使用模仿学习来整合,其中代理学习模仿人类演示的决策。然而,人类的指导并不局限于演示。其他类型的指导可能更适合某些任务,需要更少的人力。这项调查提供了一个高层次的概述五个最近的学习框架,主要依赖于人类的指导,而不是传统的,一步一步的行动示范。我们回顾了每个框架的动机,假设和实施。然后,我们讨论了未来可能的研究方向。
2019-09-21 cs.AI cs.LG
RL Is Neither a Panacea Nor a Mirage: Understanding Supervised vs. Reinforcement Learning Fine-Tuning for LLMs
PolyTechnique Montreal(蒙特利尔大学);Mila(Mila研究院);McGill(麦吉尔大学);UDeM(UDeM大学)
本文通过24点游戏OOD变体与谱诊断分析SFT和RL-FT对LLM表示及OOD性能的影响,发现RL主要抵消SFT引起的方向漂移,并提出低秩UV合并和浅层重置等低成本恢复方法。
2025-08-22 cs.AI cs.LG
MAD: A Magnitude And Direction Policy Parametrization for Stability Constrained Reinforcement Learning
Institute of Mechanical Engineering, École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院机械工程学院);Department of Engineering Science, University of Oxford(牛津大学工程科学系);Institute for Data Science Foundations, Hamburg University of Technology (TUHH)(汉堡技术大学数据科学基础研究所);School of Electrical Engineering and Computer Science and Digital Futures, KTH Royal Institute of Technology(皇家理工学院电气工程与计算机科学学院及数字未来学院)
本研究提出一种面向稳定性约束强化学习的MAD策略参数化方法,通过幅值由扰动反馈Lp稳定算子描述、方向由状态特征逼近的设计,在兼容无模型RL流程的同时保证闭环稳定,泛化性能匹配标准神经网络策略。
2025-10-05 cs.LG cs.SY eess.SY
Reinforcement Learning in Healthcare: A Survey
Sun Yat-sen University(中山大学);Hong Kong Baptist University(香港浸会大学);UC San Diego(加州大学圣地亚哥分校)
作为机器学习的一个分支,强化学习(RL)旨在通过使用与世界的交互经验和评估反馈来增强一个人的行为决策能力。与传统的监督学习方法通常依赖于一次性的、穷举的和监督的奖励信号不同,强化学习同时处理采样的、评估的和延迟的反馈的顺序决策问题。这些独特的功能使RL技术成为在各种医疗保健领域开发强大解决方案的合适候选者,其中诊断决策或治疗方案通常以长期和顺序程序为特征。本调查讨论了RL技术在医疗保健领域的广泛应用,以便为研究界提供对理论基础,使能方法和技术,现有挑战以及这种新兴范式的新见解的系统理解。通过首先从高效和代表性的方向简要研究RL研究的理论基础和关键技术,然后概述RL在医疗保健领域的应用,包括慢性疾病和重症监护的动态治疗方案,非结构化和结构化临床数据的自动化医疗诊断,以及渗透到医疗保健系统许多方面的许多其他控制或调度领域。最后,我们总结了当前研究中的挑战和开放问题,并指出了一些潜在的解决方案和未来的研究方向。
2020-04-24 cs.AI cs.LG
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London(帝国理工学院)
深度强化学习系统在许多复杂的双人游戏(围棋、国际象棋、象棋)中表现优于世界级的人类玩家。然而,由于易处理性的考虑,极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中,我们考虑简单的游戏(Noughts-and-Crosses和Hexapawn),其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾,以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中,正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差(更高的累积极大极小遗憾)。此外,MIGO的学习规则相对容易理解,并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Challenges in Ensuring AI Safety in DeepSeek-R1 Models: The Shortcomings of Reinforcement Learning Strategies
AIShield (Powered by Bosch)(博世旗下AIShield)
本文探讨了强化学习在减少DeepSeek-R1模型有害输出方面的局限性,如奖励黑客和高计算成本,并提出结合监督微调的混合训练方法以实现稳健的无害性。
2025-01-28 cs.AI cs.CL cs.CR
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);INRIA Lille(里尔国家信息与自动化研究所)
在许多顺序决策问题中,人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化,即,提高对小概率和高后果事件的认识。因此,本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程(MDP),其中风险表示通过机会约束或约束的条件风险价值(CVaR)的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说,我们首先推导出一个公式,用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后,我们设计了策略梯度和行动者-批评者算法,用于(1)估计此类梯度,(2)在下降方向上更新策略,以及(3)在上升方向上更新拉格朗日乘数。对于这些算法,我们证明收敛到局部最优的政策。最后,我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group(蚂蚁集团);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们考虑一个序贯决策问题,代理面临的环境特征的随机离散事件,并寻求一个最优的干预政策,使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中,但在强化学习的传统研究中却很少被研究。为此,我们提出了一个新的框架,基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态,并开发了一种算法来将这样的过程嵌入到Bellman方程中,该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Causal Reinforcement Learning: A Survey
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
本文综述了因果强化学习领域,探讨如何将因果关系纳入学习过程以解决传统强化学习在泛化、可解释性和试错效率上的核心挑战,并系统分类现有方法及未来方向。
2023-11-21 cs.AI cs.LG
Derivative-Free Reinforcement Learning: A Review
Nanjing University(南京大学)
强化学习是关于学习在未知环境中做出最佳顺序决策的代理模型。在一个未知的环境中,智能体需要探索环境,同时利用收集到的信息,这通常会形成一个复杂的问题来解决。与此同时,无导数优化能够解决复杂的问题。它通常使用采样和更新框架来迭代地改进解决方案,其中还需要很好地平衡探索和利用。因此,无导数优化处理与强化学习类似的核心问题,并且已经在学习分类器系统和神经进化/进化强化学习的名称下被引入到强化学习方法中。虽然这种方法已经发展了几十年,最近,衍生物免费强化学习展览吸引了越来越多的关注。然而,最近关于这一主题的调查仍然缺乏。本文综述了无导数强化学习的研究现状,并从参数更新、模型选择、探索、并行/分布式等方面对无导数强化学习方法进行了分类。此外,我们还讨论了目前的一些局限性和未来可能的发展方向,希望本文能引起更多的关注,这一主题,并作为一个催化剂,开发新的和有效的方法。
2021-02-10 cs.AI cs.LG
Scalable agent alignment via reward modeling: a research direction
DeepMind(深度思维);Mila(米拉研究所)
将强化学习算法应用于现实问题的一个障碍是缺乏合适的奖励函数。设计这样的奖励函数是困难的,部分原因是用户对任务目标只有隐含的理解。这就产生了代理对齐的问题:我们如何创建代理的行为,根据用户的意图?我们概述了一个高层次的研究方向,以解决围绕奖励建模的代理对齐问题:从与用户的交互中学习奖励函数,并使用强化学习优化学习的奖励函数。我们讨论了将奖励建模扩展到复杂和一般领域时所面临的关键挑战,减轻这些挑战的具体方法,以及在所产生的代理中建立信任的方法。
2018-11-19 cs.AI cs.LG cs.NE