ARISE: Adapting to Evolving Capability Gaps in Agentic Reinforcement Learning
ARISE提出自适应评分标准-技能协同进化框架,利用展开证据动态调整评估与训练,以应对智能体能力缺口演变,在SkillsBench和Terminal-Bench上提升任务性能与训练效率。
2026-09-29 cs.AI
EvoOptiGraph: Weakness-Driven Coevolution via Graph-Based Structural Generation for Optimization Modeling
提出EvoOptiGraph框架,通过图结构表示混合整数线性规划并应用进化算子生成多样实例,结合监督微调和强化学习实现数据与模型的协同进化,显著提升优化建模的准确性和泛化能力。
2026-11-06 cs.AI
Interactive Reinforcement Learning with Dynamic Reuse of Prior Knowledge from Human/Agent's Demonstration
Washington State University(华盛顿州立大学)
强化学习近年来取得了许多成功。然而,这些成功通常需要非常大量的数据之前,代理实现可接受的性能。本文介绍了一种新的方式,打击这种要求,利用现有的(人或代理)的知识。特别是,本文使用代理和人类的演示,允许未经训练的代理快速实现高性能。我们经验比较,并突出的弱点,HAT和CHAT,知识从源代理/人类转移到目标代理的方法。本文介绍了一种有效的迁移方法,DRoP,结合离线知识(学习前记录的演示)与在线基于信心的性能分析。DRoP动态地涉及演示者的知识,将其集成到强化学习代理的在线学习循环中,以实现高效和鲁棒的学习。
2018-05-11 cs.AI
Using Collision Momentum in Deep Reinforcement Learning Based Adversarial Pedestrian Modeling
The Ohio State University(俄亥俄州立大学)
针对现有行人仿真算法难在极端场景挖掘自动驾驶短板的问题,提出一种专门针对碰撞的强化学习算法,可高效生成更严重碰撞,助力识别修正自动驾驶算法缺陷。
2023-06-13 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning with AI Planning Models
IBM Research AI(IBM研究院人工智能部门)
顺序决策的两种常见方法是AI规划(AIP)和强化学习(RL)。每一个都有优点和缺点。AIP是可解释的,易于与符号知识集成,通常是有效的,但需要一个预先的逻辑域规范,对噪声敏感; RL只需要规范的奖励,对噪声是鲁棒的,但样本效率低,不容易提供外部知识。我们提出了一种综合的方法,结合高层次的规划与RL,保留可解释性,转让和效率,同时允许鲁棒学习的较低层次的计划行动。该方法通过建立人工智能规划问题的状态转移模型与马尔可夫决策过程(MDP)的抽象状态转移系统之间的对应关系,从AIP算子定义层次强化学习(HRL)中的选项。通过增加内在奖励来学习选项,以鼓励MDP和AIP过渡模型之间的一致性。我们通过比较RL和HRL算法在MiniGrid和N-rooms环境中的性能,展示了我们的集成方法的好处,显示了我们的方法比现有方法的优势。
2022-09-28 cs.AI
Qualitative Differences Between Evolutionary Strategies and Reinforcement Learning Methods for Control of Autonomous Agents
Institute of Cognitive Science and Technologies, National Research Council(国家研究委员会认知科学与技术研究所)
在本文中,我们分析了进化策略和强化学习算法之间的质的差异,重点是两个流行的最先进的算法:OpenAI-ES进化策略和最近端策略优化(PPO)强化学习算法-这两个家庭的最相似的方法。我们分析了这些方法在以下方面的不同:(i)一般功效,(ii)应对稀疏奖励的能力,(iii)发现最小解决方案的倾向/能力,(iv)对奖励塑造的依赖,以及(v)应对环境条件变化的能力。分析的性能和表现出的行为策略的代理培训与基准问题的两种方法,使我们能够证明在以前的研究中没有发现的定性差异,以确定这两种方法的相对弱点,并提出改善这些弱点的方法。我们表明,奖励函数的特性具有很强的影响,不仅对于OpenAI-ES和PPO,而且对于其他强化学习算法,这些特性都有很大的不同,从而证明了优化奖励函数特性对所使用算法的重要性。
2022-05-16 cs.AI cs.LG cs.NE
Comparing Reinforcement Learning and Human Learning using the Game of Hidden Rules
Rutgers University(罗格斯大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文构建“隐藏规则游戏”学习环境,以系统比较任务结构对人类学习与强化学习表现的影响,并通过实验揭示二者差异。
2023-06-30 cs.AI
Is Epicurus the father of Reinforcement Learning?
University of Sheffield(谢菲尔德大学)
伊壁鸠鲁哲学通常被认为是简单化和享乐主义的。在这里,我讨论了这是一个误解,并探讨了它与强化学习的联系。基于伊壁鸠鲁的信件,我构造了一个享乐主义的目标函数,当省略折扣因子时,它等价于强化学习的目标函数。然后,我讨论了柏拉图和亚里士多德的观点是如何与强化学习松散地联系在一起的,以及他们在与它的关系中的弱点。最后,我强调了伊壁鸠鲁观点和贝尔曼方程的密切联系。
2017-10-12 cs.AI cs.LG stat.ML
Evolutionary Algorithms for Reinforcement Learning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Naval Research Laboratory(美国海军研究实验室);George Mason University(乔治梅森大学)
有两种不同的方法来解决强化学习问题,即在价值函数空间中搜索和在策略空间中搜索。时间差分方法和进化算法是这些方法的众所周知的例子。Kaelbling,Littman和Moore最近提供了一个翔实的调查时间差异的方法。这篇文章的重点是应用进化算法的强化学习问题,强调替代政策表示,信用分配方法,和特定问题的遗传算子。强化学习的进化方法的优点和缺点,以及代表性的应用调查。
2011-06-01 cs.AI cs.LG cs.NE
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology(代尔夫特理工大学);VU Amsterdam(阿姆斯特丹自由大学)
深度强化学习(DRL)和演化策略(ES)在许多顺序决策问题中已经超越了人类控制,但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势,分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后,在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后,混合算法的好处,结合DRL和ES的概念突出。最后,有一个关于他们如何在现实世界中的应用程序进行比较的指示,他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Exploiting Symbolic Heuristics for the Synthesis of Domain-Specific Temporal Planning Guidance using Reinforcement Learning
Fondazione Bruno Kessler(布伦诺·科塞勒基金会)
本文提出一种改进的时序规划学习框架,结合符号启发式与强化学习,通过学习符号启发式的残差,采用多队列规划方法,提升了时序规划的性能。
2026-08-14 cs.AI
Incentivizing Tool-Use Reinforcement Learning for Post-Arrival Emergency Care Prediction
Stevens Institute of Technology(史蒂文斯理工学院);University of Michigan(密歇根大学);National Institutes of Health(美国国立卫生研究院);Yale University(耶鲁大学)
本研究提出工具集成强化学习框架TIR-EC,将EHR特征组作为LLM可调用工具,结合梯度提升树教师奖励与反向课程训练,使4B智能体在三项临床预测任务中宏F1值最高,优于传统ML基线且与大模型有竞争力。
2026-10-22 cs.AI
Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer Communication
University of Galway(戈尔韦大学)
本文提出一种结合进化策略与TD3的进化强化学习模型,通过多缓冲区通信机制避免低质量轨迹污染回放缓冲区,在MuJoCo任务上超越CEM-RL。
2023-06-20 cs.AI cs.NE
GAN-based Intrinsic Exploration For Sample Efficient Reinforcement Learning
Istanbul Technical University(伊斯坦布尔理工大学)
在这项研究中,我们解决了强化学习中的有效探索问题。大多数常见的探索方法依赖于随机动作选择,然而这些方法在奖励稀疏或没有奖励的环境中效果不佳。我们提出了基于生成对抗网络的内在奖励模块,该模块学习观察到的状态的分布,并发送一个内在奖励,该奖励对于分布之外的状态计算为高,以便将代理引导到未探索的状态。我们评估我们的方法在超级马里奥兄弟的无奖励设置和蒙特祖玛的复仇稀疏奖励设置,并表明我们的方法确实能够有效地探索。我们讨论了一些弱点,并讨论未来的工作结束。
2022-06-28 cs.AI cs.CV cs.LG
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University(劳里埃大学)
本文全面综述强化学习算法,从基础表格方法到深度强化学习技术,按可扩展性和样本效率等标准分类评估,并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
High-Accuracy Model-Based Reinforcement Learning, a Survey
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所);Leiden University(莱顿大学)
深度强化学习在过去几年中取得了显著的成功。来自游戏和机器人的高度复杂的顺序决策问题已经用深度无模型方法解决了。不幸的是,无模型方法的样本复杂度通常很高。为了减少环境样本的数量,基于模型的强化学习创建环境动态的显式模型。在高维问题中,实现高的模型精度是一个挑战。近年来,已经引入了各种基于模型的方法来提高模型精度,使用诸如不确定性建模、模型预测控制、潜在模型以及端到端学习和规划等方法。其中一些方法成功地在低样本复杂度下实现了高精度,大多数方法都是在机器人技术或游戏环境中实现的。在本文中,我们调查这些方法,我们详细解释它们是如何工作的,它们的优点和缺点是什么。最后,我们为未来的工作,使方法更强大,更广泛地适用于其他应用程序的研究议程。
2021-07-17 cs.AI cs.LG
Two-Memory Reinforcement Learning
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
本文提出双记忆强化学习智能体2M,通过结合情景记忆的快速学习能力与强化学习的最优性和泛化能力,提升数据效率并优于现有记忆增强方法。
2023-04-23 cs.AI cs.LG
Distilling Neuron Spike with High Temperature in Reinforcement Learning Agents
Peking University(北京大学)
脉冲神经网络(SNN)与深度神经网络(DNN)相比,具有更快的处理速度、更低的能耗和更强的生物可解释性,有望接近强AI。强化学习类似于生物学中的学习。研究SNN与RL的结合具有重要意义。提出了基于STBP的尖峰蒸馏网络的强化学习方法。该方法利用蒸馏有效避免了STBP的弱点,在分类上可以达到SOTA性能,并且可以得到体积更小、收敛速度更快、功耗更低的SNN强化学习模型。实验表明,该方法比传统的SNN强化学习和DNN强化学习方法收敛更快,约快1000 epoch,得到的SNN比DNN小200倍。我们还将SDN部署到北大nc64c芯片上,证明SDN的功耗比DNN更低,在大规模设备上SDN的功耗比DNN低600倍以上。SDN为SNN强化学习提供了一种新的途径,并能达到SOTA性能,证明了SNN强化学习进一步发展的可能性。
2021-08-05 cs.AI cs.LG cs.NE
Fidelity-Induced Interpretable Policy Extraction for Reinforcement Learning
Xiangtan University(湘潭大学);Nanjing University(南京大学)
针对深度强化学习智能体决策不透明及现有可解释策略提取方法解释与行为不一致的问题,提出保真度诱导策略提取方法FIPE,通过将保真度测量集成到强化学习反馈中提升一致性与交互性能。
2023-09-12 cs.AI cs.LG
Threat-guided Policy-aware Scene Perturbation for Safe Autonomous Driving with Online Reinforcement Learning
Yinwang Intelligent Technology Co., Ltd(银网智能科技有限公司)
本文提出TPSP方法,通过策略感知场景编码器与威胁引导优化策略,提升在线RL安全自动驾驶的学习效率,在NAVSIM v2数据集上用约400万公里模拟数据实现出色安全性能。
2026-08-12 cs.AI
Deep Reinforcement Learning for Cybersecurity Threat Detection and Protection: A Review
Microsoft R&D(微软研发中心);BITS Pilani(博拉理工学院皮拉尼校区)
网络安全威胁形势最近变得过于复杂。威胁行为者以非常协调的方式利用网络和端点安全中的弱点来实施复杂的攻击,这些攻击可能会使整个网络和网络中的许多关键主机瘫痪。越来越先进的深度和基于机器学习的解决方案已被用于威胁检测和保护。这些技术的应用在科学文献中得到了很好的综述。深度强化学习在为早期需要高级人类认知的领域开发基于人工智能的解决方案方面表现出了巨大的潜力。深度强化学习下的不同技术和算法在从游戏到工业过程的应用中显示出巨大的前景,据称可以增强具有通用AI功能的系统。这些算法最近也被用于网络安全,特别是在威胁检测和端点保护方面,这些算法显示出最先进的结果。与监督机器和深度学习不同,深度强化学习的使用方式更加多样化,并在威胁防御领域为许多创新应用提供支持。然而,没有对这些独特的应用和成就进行任何全面审查。因此,在本文中,我们打算填补这一空白,并全面回顾深度强化学习在网络安全威胁检测和保护中的不同应用。
2022-06-06 cs.AI cs.CR
Trajectory-Based Off-Policy Deep Reinforcement Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
策略梯度方法是一种功能强大的强化学习算法,已被证明可以解决许多复杂的任务。然而,这些方法也是数据效率低下的,受到高方差梯度估计的困扰,并且经常陷入局部最优。这项工作解决了这些弱点,结合最近的改进,在重复使用的政策数据和探索参数空间与确定性的行为政策。所得到的目标是服从标准的神经网络优化策略,如随机梯度下降或随机梯度哈密顿蒙特卡罗。通过重要性采样将先前的推出合并,极大地提高了数据效率,而随机优化方案有助于摆脱局部最优。我们评估了一系列的连续控制基准任务所提出的方法。结果表明,该算法能够成功地和可靠地学习解决方案,使用更少的系统交互比标准的策略梯度方法。
2019-05-14 cs.AI cs.LG stat.ML
Adaptive Stress Testing: Finding Likely Failure Events with Reinforcement Learning
NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);Norwegian University of Science and Technology(挪威科技大学);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);MIT Lincoln Laboratory(麻省理工学院林肯实验室);Stanford University(斯坦福大学)
找到一组故障状态的最可能路径对于分析在一系列时间步长内运行的安全关键系统(如飞机防撞系统和自动驾驶汽车)非常重要。在自动驾驶等许多应用中,由于系统运行的复杂随机环境,故障无法完全消除。因此,安全性验证不仅关注是否会发生故障,还关注发现哪些故障最有可能发生。本文介绍了自适应压力测试(AST),这是一个用于在仿真中找到最可能的失败事件路径的框架。我们考虑一个一般的黑箱设置的部分可观测和连续值的系统在随机干扰的环境中运行。我们将问题描述为一个马尔可夫决策过程,并使用强化学习来优化它。该方法是基于仿真的,不需要系统的内部知识,使其适合大型系统的黑盒测试。我们提出了完全可观测和部分可观测系统的配方。在后一种情况下,我们提出了一个修改后的蒙特卡罗树搜索算法,只需要访问模拟器的伪随机数发生器,以克服部分可观性。我们还提出了一个扩展的框架,称为差分自适应压力测试(DAST),可以找到故障发生在一个系统,但不是在另一个。这种类型的差异分析在回归测试等应用中很有用,在回归测试中,我们关注的是找到与基线相比相对薄弱的区域。我们证明了该方法的有效性的飞机防撞应用程序,其中原型飞机防撞系统进行压力测试,以找到最有可能的情况下,近空中碰撞。
2020-12-04 cs.AI
Interpretable performance analysis towards offline reinforcement learning: A dataset perspective
Alibaba Group(阿里巴巴集团);Beijing Institute of Technology(北京理工大学);Purdue University(普渡大学)
由于离线强化学习(RL)具有广泛的现实应用,其中数据收集可能困难、耗时或成本高昂,因此它日益成为人工智能研究的焦点。在本文中,我们首先提出了一个双重分类现有的离线RL算法的探索和开发趋势的角度。其次,我们推导了外推误差上界的显式表达式,并探讨了不同类型的算法的性能和状态下的动作分布之间的相关性。具体来说,我们放松了严格的假设上的足够大的数量的状态动作元组。因此,我们可以证明解释为什么批量约束Q学习(BCQ)比其他现有技术表现更好。第三,在发现BCQ在低平均事件收益数据集上的弱点后,我们提出了一种基于顶部收益选择机制的改进变体,该变体被证明能够在各种数据集上获得最先进的性能。最后,我们在Atari域上创建了一个基准平台,名为RL Easy Go(RLEG),估计成本超过30万美元。我们将其开源,以便在离线RL算法之间进行公平和全面的竞争,并提供完整的数据集和检查点。
2021-05-12 cs.AI cs.LG
SoftCTRL: Soft conservative KL-control of Transformer Reinforcement Learning for Autonomous Driving
Ho Chi Minh City University of Technology (HCMUT)(胡志明市技术大学(HCMUT));Vietnam National University Ho Chi Minh City (VNUHCM)(越南国家大学胡志明市分校(VNUHCM))
针对城市自动驾驶运动规划中模仿学习存在的安全可靠性不足、与强化学习结合后易过度保守的问题,提出采用隐式熵-KL控制的SoftCTRL方法,在模拟场景中实现超17%的故障减少,提升鲁棒性并生成类人驾驶行为。
2024-10-30 cs.AI cs.RO
Evaluation of Reinforcement Learning for Autonomous Penetration Testing using A3C, Q-learning and DQN
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);OPS-GDA, ESA-ESOC(欧洲空间操作中心(ESA-ESOC)OPS-GDA部门);Technische Universität Kaiserslautern(凯泽斯劳滕工业大学)
本研究利用NASim环境训练强化学习智能体(Q-learning、DQN、A3C)进行自主渗透测试,A3C在三个安全场景中表现最佳,能以更少动作实现泛化,证明RL可有效执行渗透测试。
2024-07-22 cs.AI cs.CR
Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Meituan(美团)
本文提出非对称在线策略蒸馏,通过局部散度最小化改进传统策略蒸馏,提升数学推理任务表现,实现更稳定的策略熵和持续工具使用能力。
2026-09-01 cs.AI cs.LG
Distributional Reinforcement Learning with Unconstrained Monotonic Neural Networks
University of Liège(列日大学);Institut Polytechnique de Paris(巴黎理工学院)
分布式强化学习(RL)方法主张表示随机收益的完整概率分布,而不是仅对其期望进行建模。分布式RL算法可以由两个主要组成部分来表征,即分布的表示及其参数化和定义损失的概率度量。目前的研究工作认为,无约束单调神经网络(UMNN)架构,连续单调函数,特别适合于不同的分布表示建模的通用逼近。这个属性使有效的解耦的函数逼近类的影响,从概率度量。研究论文首先介绍了一种学习随机收益分布(PDF,CDF和QF)的不同表示的方法。其次,提出了一种新的分布式强化学习算法--无约束单调深度Q网络(UMDQN)。据作者所知,它是第一个支持学习随机收益分布的三个有效和连续表示的分布RL方法。最后,基于该算法,对Kullback-Leibler散度、Cramer距离和Wasserstein距离三种概率准度量进行了实证比较.结果突出了与每个概率度量相关的主要优点和缺点,以及Wasserstein距离的重要限制。
2023-03-17 cs.AI cs.LG
The Evolution of Reinforcement Learning in Quantitative Finance: A Survey
University of Warwick(沃里克大学)
本文综述了167篇文献,系统梳理强化学习在量化金融中的演进、关键组件、应用框架及多智能体等方法,并指出未来研究方向与现有方法优缺点。
2025-05-06 cs.AI cs.CE cs.LG
Automaton Distillation: Neuro-Symbolic Transfer Learning for Deep Reinforcement Learning
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室);Florida International University(佛罗里达国际大学);University of Colorado(科罗拉多大学)
本文提出自动机蒸馏,一种神经符号迁移学习方法,将教师DQN的Q值估计蒸馏为自动机表示,用于加速目标环境中的强化学习,并提升泛化能力。
2024-11-07 cs.AI cs.LG
Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们考虑的问题,设计一个算法,让汽车自动合并到高速公路上的入口匝道。已经提出了两大类技术来解决自动驾驶中的运动规划问题:模型预测控制(MPC)和强化学习(RL)。在本文中,我们首先建立了国家的最先进的MPC和RL为基础的技术,通过模拟的优点和缺点。我们表明,从安全性和对分布外流量模式的鲁棒性的角度来看,RL代理的性能比MPC解决方案差,即,RL代理在训练期间没有看到的流量模式。另一方面,在效率和乘客舒适度方面,RL代理的性能优于MPC解决方案。随后,我们提出了一种算法,该算法将无模型RL代理与MPC解决方案相结合,并表明它在所有指标-乘客舒适度,效率,碰撞率和鲁棒性之间提供了更好的权衡。
2021-09-28 cs.AI cs.LG cs.RO
Latent Plans for Task-Agnostic Offline Reinforcement Learning
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
日常任务的长视野,包括一系列的多个隐式子任务仍然是离线机器人控制的一个重大挑战。虽然许多现有方法旨在通过模仿和离线强化学习的变体来解决这种设置,但学习的行为通常很窄,并且通常难以达到可配置的长期目标。由于这两种范式具有互补的优势和劣势,我们提出了一种新的分层方法,结合了这两种方法的优势,从高维相机观察中学习任务不可知的长视野策略。具体地说,我们结合了一个低层次的政策,学习潜在的技能,通过模仿学习和高层次的政策,从离线强化学习技能链的潜在行为先验。在各种模拟和真实的机器人控制任务的实验表明,我们的配方能够产生以前看不见的技能组合,以达到暂时延长的目标,通过“缝合”在一起的潜在技能,通过目标链与一个数量级的性能改进后,国家的最先进的基线。我们甚至在现实世界中学习了25个不同操作任务的多任务可视化策略,其性能优于模仿学习和离线强化学习技术。
2022-09-19 cs.AI cs.CV cs.LG
Diffusion Guided Adversarial State Perturbations in Reinforcement Learning
Department of Computer Science, Tulane University(Tulane大学计算机科学系);Shanghai Center for Mathematical Science, Fudan University(复旦大学上海数学科学中心)
针对强化学习系统易受对抗攻击的问题,提出SHIFT扩散基攻击,生成语义不同、真实且历史一致的扰动状态,有效破解现有防御,显著优于现有攻击且感知隐蔽性更强。
2025-11-10 cs.AI cs.LG
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
本文综述分布式深度强化学习方法与关键组件,并开发发布一个多玩家多智能体分布式深度强化学习工具箱,在Wargame环境中验证其可用性,同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Innovation Institute(上海创新研究院)
Spatial-SSRL通过自监督强化学习提升大视觉-语言模型的空间理解能力,无需人工标注,在多个基准测试中取得显著准确率提升。
2025-11-25 cs.AI cs.CV
EnsembleFollower: A Hybrid Car-Following Framework Based On Reinforcement Learning and Hierarchical Planning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Beihang University(北京航空航天大学)
提出EnsembleFollower,一种基于强化学习和分层规划的混合跟车框架,通过高层智能体动态选择或加权低层模型,结合加加速度约束运动学模型,在HighD数据集上实现更准确、灵活的类人跟车行为。
2023-08-30 cs.AI cs.LG cs.RO
Assessing the Impact of Distribution Shift on Reinforcement Learning Performance
Pacific Northwest National Laboratory(太平洋西北国家实验室);Northeastern University(东北大学)
本文提出了一套评估方法,通过时间序列分析和因果影响测量,衡量强化学习算法在分布偏移下的鲁棒性,并应用于单智能体与多智能体环境,作为严格评估的第一步。
2024-02-05 cs.AI cs.LG cs.MA
Can Jev be Your Q or Policy in Reinforcement Learning?
Shanxi University(山西大学);Nanjing University(南京大学);The Chinese University of Hong Kong(香港中文大学);Tianjin University(天津大学)
本文首次将未训练的决策模型Jev作为参考策略、探索判断器和回放评分器用于RL训练,在9个MiniGrid任务和3款Atari游戏上提升了RL的样本效率与性能。
2026-10-09 cs.AI cs.LG
DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models
The Ohio State University(俄亥俄州立大学);Apple(苹果公司)
本文提出DACA-GRPO,通过引入去噪进度评分和分层掩码似然,改进扩散语言模型中强化学习的信用分配,提升数学推理、代码生成等任务性能。
2026-05-08 cs.AI cs.CL cs.LG
Self-Improving Safety Performance of Reinforcement Learning Based Driving with Black-Box Verification Algorithms
ITU Artificial Intelligence and Data Science Research Center(伊斯坦布尔技术大学人工智能与数据科学研究中心);Department of Aeronautical Engineering(航空工程系);Eatron Technologies(Eatron技术公司);Department of Electronics and Communication Engineering(电子与通信工程系);ITU Artificial Intelligence and Data Science Application and Research Center(伊斯坦布尔技术大学人工智能与数据科学应用与研究中心);Department of Computer Engineering(计算机工程系)
本文提出一种结合黑盒验证与迁移学习的自提升框架,通过迭代发现并修复强化学习自动驾驶智能体在安全关键场景中的失效,显著减少碰撞并提升安全性能。
2023-07-09 cs.AI cs.LG cs.RO
Distractor Injection Attacks on Large Reasoning Models: Characterization and Defense
Amazon(亚马逊)
本文揭示大型推理模型易被提示中恶意注入的复杂无关任务诱导而偏离目标,提出结合SFT与RL的训练防御,显著提升抗干扰攻击鲁棒性。
2025-10-17 cs.AI
RLAS-BIABC: A Reinforcement Learning-Based Answer Selection Using the BERT Model Boosted by an Improved ABC Algorithm
Staffordshire University(斯塔福德郡大学)
答案选择是开放域问答问题的一个关键子任务。本文提出了一种基于注意力机制的长短期记忆(LSTM)和Transformers(BERT)词嵌入的双向编码器表示方法,并采用改进的人工蜂群(ABC)算法进行预训练,采用基于强化学习的BP算法进行训练,称为RLAS-BIABC。BERT可以包含在下游工作中并作为一个统一的特定于任务的架构进行微调,并且预训练的BERT模型可以抓住不同的语言效果。现有的算法通常训练的AS模型与正负对的两类分类器。正对包含一个问题和一个真实的答案,而负对包含一个问题和一个假答案。输出应该是一个积极的和零的负对。通常,负对比正对多,导致分类不平衡,从而大大降低系统性能。为了解决这一问题,我们将分类定义为一个连续的决策过程,在这个过程中,智能体在每一步都采集一个样本并进行分类,对于每一次分类操作,智能体都得到一个奖励,其中多数类的奖励小于少数类的奖励。最终,代理找到策略权重的最优值。我们用改进的ABC算法初始化策略权重。初始值技术可以防止陷入局部最优等问题。虽然ABC在大多数任务中表现良好,但ABC算法仍然存在一个弱点,即在发现相邻食物源位置时忽略了相关个体对的适应性。
2023-01-07 cs.AI cs.CL cs.IR
CODA: Coordinating the Cerebrum and Cerebellum for a Dual-Brain Computer Use Agent with Decoupled Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
CODA提出可训练的双脑组合框架,通过解耦GRPO专用化训练和监督微调泛化,结合通用规划器与专用执行器,在ScienceBoard上显著超越基线并取得开源模型新最优。
2025-08-27 cs.AI cs.CV cs.LG
A Unified Dynamics Framework for Reinforcement Learning and Classical Control of a Six-DOF Pipeline-Tracking ROV in NVIDIA Isaac Sim
Newcastle University Singapore(新加坡纽卡斯尔大学);Amrita Vishwa Vidyapeetham(阿姆里塔大学);Qingdao University of Technology(青岛理工大学)
本文提出一个统一动力学框架,在NVIDIA Isaac Sim中训练六自由度ROV的管道跟踪策略,通过共享USD场景和Coriolis动力学模型,使强化学习与经典控制算法在相同条件下比较,实验表明PPO、TRPO和反馈线性化表现最佳。
2026-10-06 cs.AI cs.RO cs.SY
Less is more? Rewards in RL for Cyber Defence
The Alan Turing Institute(阿兰·图灵研究所)
本文针对网络防御强化学习中密集奖励可能引入策略偏差的问题,提出真值评估分数和两种稀疏奖励机制,实验证明稀疏奖励能训练出更有效且更稳定的网络防御智能体。
2025-03-10 cs.AI cs.CR cs.LG
Mind the Inconspicuous: Revealing the Hidden Weakness in Aligned LLMs' Refusal Boundaries
Northwestern University(西北大学);University of California Santa Barbara(加州大学圣塔芭芭拉分校)
本研究发现追加多个eos标记会引发上下文分割现象,使对齐后LLM的拒绝边界出现漏洞,可显著提升越狱攻击成功率,且商业大模型同样存在该漏洞,为优化对齐与防御机制指明了新方向。
2025-06-17 cs.AI
Strategic Maneuver and Disruption with Reinforcement Learning Approaches for Multi-Agent Coordination
DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);Army Research Laboratory-Research Associateship Program(陆军研究实验室研究副研究员项目);University of Colorado Boulder(科罗拉多大学博尔德分校)
强化学习(RL)方法可以阐明促进多智能体系统(MAS)中智能体团队之间协调的紧急行为,这可以在各种军事任务中提供机会窗口。在技术上不断进步的对手对友好国家的利益和资源构成了巨大的风险。在现代复杂的环境中,单靠优势资源不足以击败对手,因为对手在多个领域制造僵局,反对可预测的基于军事理论的演习。因此,作为防御战略的一部分,友军必须使用战略机动和破坏,以获得在复杂的多方面领域,如多域作战(MDO)的优势。实施战略机动和破坏以获得对对手的优势的一个有希望的途径是通过MAS在未来军事行动中的协调。在本文中,我们概述了RL领域的突出作品及其优势和劣势,以克服与在军事环境中执行自主战略机动和中断相关的挑战。
2022-03-17 cs.AI cs.MA
Multiple Weaks Win Single Strong: Large Language Models Ensemble Weak Reinforcement Learning Agents into a Supreme One
Department of Electronic Engineering, BNRist, Tsinghua University(电子工程系、BNRist、清华大学)
针对现有强化学习模型集成方法缺乏任务语义理解、适应性有限的问题,提出LLM-Ens方法,利用大语言模型划分任务情境并动态选择最优智能体,在Atari基准上性能超知名基线最高20.9%。
2025-05-21 cs.AI cs.LG
Adversarial Instance Generation and Robust Training for Neural Combinatorial Optimization with Multiple Objectives
LIACS, Leiden University, Leiden, The Netherlands(莱顿大学LIACS研究所,莱顿,荷兰);Eindhoven University of Technology, Eindhoven, The Netherlands(埃因霍温理工大学,埃因霍温,荷兰)
提出面向多目标组合优化问题的偏好条件深度强化学习鲁棒性框架,通过偏好对抗攻击生成困难实例并量化影响,结合硬度感知偏好选择的对抗训练提升泛化性,在MOTSP、MOCVRP、MOKP上验证了攻击与防御的有效性。
2026-06-06 cs.AI cs.LG