K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning
University of Bern, Bern, Switzerland(伯恩大学)
本文提出一种简单有效的奖励归一化替代方法,通过整合一维卡尔曼滤波进行在线奖励估计,递归估计潜在奖励均值,降低高方差回报并适应非平稳环境,实验表明其加速收敛并减少训练方差。
2026-04-24 cs.AI cs.LG
Aiding reinforcement learning for set point control
Uppsala University(乌普萨拉大学)
针对强化学习在设定点控制初期激励不足、收敛慢的问题,本文用比例控制器等简单引导反馈控制器增强强化学习,显著改善激励与收敛,并在仿真和真实双水箱系统中验证有效。
2023-04-20 cs.LG cs.SY eess.SY
Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning
Innopolis University(因诺普利斯大学);Cognitive AI Systems Lab(认知人工智能系统实验室)
本研究提出一个基准测试持续记忆更新,发现经典循环模型在记忆重写任务中表现更优,强调需平衡稳定保留与适应更新的记忆机制。
2026-01-21 cs.AI cs.LG
A Survey of Exploration Methods in Reinforcement Learning
McGill University(麦吉尔大学);University of Amsterdam(阿姆斯特丹大学)
探索是强化学习算法的重要组成部分,其中代理需要学习如何预测和控制未知且通常是随机的环境。强化学习智能体非常依赖于探索来获得学习过程中的信息数据,因为缺乏足够的信息可能会阻碍有效的学习。在这篇文章中,我们提供了(顺序)强化学习中的现代探索方法的调查,以及探索方法的分类。
2021-09-02 cs.AI cs.LG
A Unified Deep Reinforcement Learning Approach for Close Enough Traveling Salesman Problem
Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系);School of Traffic and Transportation Engineering, Central South University(中南大学交通与运输工程学院);Department of Industrial Engineering and Innovation Sciences, Eindhoven University of Technology(埃因霍温理工大学工业工程与创新科学系);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动性学院);School of Automation, Central South University(中南大学自动化学院)
针对 CETSP 的邻域访问难点,本文提出双解码器 UD3RL 框架,联合完成节点选择与路径点确定,并通过定制 REINFORCE 实现跨规模和半径类型的强泛化。
2025-10-03 cs.AI cs.LG
Delayed Geometric Discounts: An Alternative Criterion for Reinforcement Learning
ANEO;Centre Borelli - ENS Paris-saclay(巴黎萨克雷高等师范学院博雷利中心);ISIR Lab(智能系统与机器人研究所);Sorbonne Université(索邦大学)
人工智能(AI)的目标是设计能够完成复杂任务的自主智能体。也就是说,强化学习(RL)提供了一个学习最佳行为的理论背景。在实践中,RL算法依赖于几何折扣来评估这种最优性。不幸的是,这并不包括未来回报价值不会呈指数级下降的决策过程。根据问题的不同,这种限制会导致样本效率低下(因为反馈呈指数衰减),并需要额外的课程/探索机制(以处理稀疏,欺骗性或对抗性的奖励)。在本文中,我们通过使用一族延迟目标函数来概括贴现问题公式来解决这些问题。我们研究基本的RL问题,以获得:1)最优稳态解和2)最优非稳态控制的近似。所设计的算法解决了表格环境中的困难探索问题,并提高了经典模拟机器人基准测试的样本效率。
2022-09-26 cs.AI cs.LG
One Policy Is Enough: Single-Agent Reinforcement Learning Outperforms Tree Search for Chemistry Tool Learning
DIRO, Université de Montréal(蒙特利尔大学DIRO学院);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Air Liquide(液化空气集团)
该研究提出单智能体强化学习模型,在ChemToolBench多工具化学任务上,相较CheMatAgent的树搜索方法,在Qwen-2.5-7B和Llama-3.1-8B上提升了工具F1、返回F1及答案通过率,且成本更低。
2026-09-01 cs.CL cs.LG
Evolution Strategies as a Scalable Alternative to Reinforcement Learning
OpenAI
我们探索使用进化策略(ES),一类黑盒优化算法,作为流行的基于MDP的RL技术,如Q学习和策略约束的替代。MuJoCo和Atari上的实验表明,ES是一种可行的解决方案策略,可随可用CPU的数量扩展得非常好:通过使用基于常见随机数的新型通信策略,我们的ES实现仅需要通信标量,从而可以扩展到超过一千个并行工作者。这使我们能够在10分钟内解决3D人形步行问题,并在一小时的训练后在大多数Atari游戏中获得有竞争力的结果。此外,我们强调了ES作为黑盒优化技术的几个优点:它对动作频率和延迟奖励是不变的,容忍极长的视野,并且不需要时间折扣或值函数近似。
2017-09-07 cs.AI cs.LG cs.NE
A Reinforcement Learning Approach to Online Learning of Decision Trees
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
在线决策树学习算法通常检查新数据点的所有特征以更新模型参数。我们提出了一种新的替代方案,基于强化学习的决策树(RLDT),它使用强化学习(RL)主动检查数据点的最小数量的特征,以高精度对其进行分类。此外,RLDT优化了长期回报,提供了一个更好的替代传统的短视贪婪的方法来增长决策树。我们证明,这种方法执行以及批处理学习算法和其他在线决策树学习算法,同时使显着更少的查询的数据点的功能。我们还表明,RLDT可以有效地处理概念漂移。
2015-07-24 cs.LG
An Alternative Softmax Operator for Reinforcement Learning
Brown University(布朗大学)
应用于一组值的softmax运算符有点像最大化函数,有点像平均值。在顺序决策中,softmax通常用于需要最大化效用的设置,但也可以对冲由于将所有权重放在单个最大效用决策之后而产生的问题。玻尔兹曼softmax算子是最常用的softmax算子在此设置中,但我们表明,该算子是容易行为不端。在这项工作中,我们研究了一个可微的softmax算子,除了其他属性外,它是一个非扩展,确保了学习和规划中的收敛行为。我们介绍了一种变体的SARSA算法,通过利用新的运营商,计算玻尔兹曼政策与状态相关的温度参数。我们表明,该算法是收敛的,它在实践中表现良好。
2017-06-14 cs.AI cs.LG stat.ML
Stability-Certified Reinforcement Learning via Spectral Normalization
The University of Tokyo(东京大学);Mitsubishi Electric Corporation(三菱电机公司)
在这篇文章中,两种类型的方法,从不同的角度基于谱归一化的描述,以确保由神经网络控制的系统的稳定性。第一个条件是反馈系统的L2增益有界小于1,以满足由小增益定理导出的稳定性条件。虽然显式地包括稳定性条件,但第一种方法可能由于其严格的稳定性条件而在神经网络控制器上提供不足的性能。为了克服这一困难,第二个,提出了提高性能,同时确保局部稳定性与更大的吸引区域。在第二种方法中,通过对神经网络控制器进行训练后求解线性矩阵不等式来保证稳定性。本文提出的谱归一化通过构造更紧密的局部扇区,提高了后验稳定性检验的可行性。数值实验表明,与现有的强化学习算法相比,第二种方法在保证足够稳定性的同时,提供了比第一种方法更好的性能。
2020-12-26 cs.AI cs.LG cs.SY
Augmented Random Search for Quadcopter Control: An alternative to Reinforcement Learning
Oracle Inc(甲骨文公司);BMSCE(BMS工程学院)
基于模型的强化学习策略被认为比无模型策略表现出更显著的样本复杂性来控制动态系统,如四轴飞行器。这种信念,即基于模型的战略,涉及使用训练有素的神经网络,使这种高层次的决策总是提供更好的性能,可以消除利用无模型的政策搜索方法。本文提出了使用模型-自由随机搜索策略,称为增强随机搜索(ARS),这是一种更好、更快的线性策略训练方法,适用于连续控制任务,如控制四轴飞行器飞行。该方法实现了艺术的准确性,通过消除使用太多的数据的神经网络的训练,目前在以前的方法的任务四轴飞行器控制。本文还在一个策略性设计的任务环境中,通过仿真,重点分析了搜索策略在该任务中的性能结果,并将增强随机搜索的1000集以上奖励收集性能和飞行中的代理行为与强化学习算法的行为进行了比较,我们的模拟和结果表明,在这些任务的样本效率的常用策略中观察到性能的高度可变性,但ARS的构建策略网络-Quad可以相对准确地对阶跃响应做出反应,为强化学习策略提供了一种性能更好的替代方案。
2019-11-28 cs.AI cs.LG cs.RO
Evaluating Rollout-Verified Reinforcement Fine-Tuning of a Reasoning Model for Multi-Zone Variable-Air-Volume Control
The University of Tokyo(东京大学);Tokyo University of Science(东京理科大学)
该研究针对多区域VAV控制,测试前沿LLM的控制能力及TD3引导的RFT效果,发现RFT未产生持续改进,需先开展状态转移聚焦的监督微调。
2026-11-02 cs.LG cs.SY eess.SY
Blending Search and Discovery: Tag-Based Query Refinement with Contextual Reinforcement Learning
Coveo(科沃);Coveo Labs(科沃实验室)
我们处理基于标签的查询细化作为一个移动友好的替代标准方面的搜索。我们用强化学习来解决推理挑战,并提出了一个可以在多租户SaaS场景中有效扩展的深度上下文强盗。
2020-10-15 cs.IR cs.LG
Policy-labeled Preference Learning: Is Preference Enough for RLHF?
Seoul National University(首尔大学);Korea University(高丽大学)
针对 RLHF 将轨迹误判为最优策略生成所导致的似然不匹配问题,本文提出 PPL,利用反映行为策略信息的遗憾建模偏好,并引入对比 KL 正则化,在离线与在线连续控制任务中验证了性能提升。
2025-05-13 cs.AI cs.LG
Multi-Agent Inverse Reinforcement Learning: Suboptimal Demonstrations and Alternative Solution Concepts
Stanford Existential Risk Initiative(斯坦福存在风险倡议);Stanford University(斯坦福大学)
多智能体逆强化学习(MIRL)可以用来从社会环境中的智能体学习奖励函数。为了模拟现实的社会动态,MIRL方法必须考虑次优的人类推理和行为。博弈论的传统形式主义提供了计算上易于处理的行为模型,但假设代理具有不切实际的认知能力。本研究识别和比较MIRL方法中的机制,a)处理代理决策中的噪声,偏见和竞争,b)模拟现实的平衡解决方案的概念。MIRL的研究进行了系统的审查,以确定这些挑战的解决方案。这些研究的方法和结果进行了分析和比较的基础上的因素,包括性能的准确性,效率和描述质量。我们发现,处理噪音,偏见和反倾销的MIRL的主要方法是最大熵(MaxEnt)IRL的多智能体设置的扩展。我们还发现,许多成功的解决方案的概念是传统的纳什均衡(NE)的推广。这些解包括相关平衡、Logistic随机最佳反应平衡和熵正则化平均场NE。使用递归推理或更新的方法也表现良好,包括反馈NE和归档多智能体对抗IRL。在单智能IRL中成功地建模特定的偏见和偏见,并在MIRL中使用心理理论方法取得了可喜的结果,这意味着建模特定的偏见和偏见可能是有用的。灵活性和公正的推理,在确定的替代解决方案的概念表明,一个解决方案的概念,既有递归和广义的特点,可以很好地表现在建模现实的社会互动。
2021-09-02 cs.AI cs.LG cs.MA
Risk-Averse Reinforcement Learning with Itakura-Saito Loss
Skolkovo Institute of Science and Technology(斯克尔科沃科学与技术研究院);Natixis Foundation(纳蒂克斯基金会);Artificial Intelligence Research Institute(人工智能研究 institutes)
针对风险规避强化学习,提出基于Itakura-Saito散度的损失函数,用于学习值函数,在理论和实验中优于现有替代方案。
2025-05-26 cs.LG
Learning Routines for Effective Off-Policy Reinforcement Learning
King’s College London(伦敦国王学院)
强化学习的性能取决于设计一个适当的动作空间,其中每个动作的效果是可测量的,但粒度足以允许灵活的行为。到目前为止,这个过程涉及到用户在可用操作及其执行频率方面的重要选择。我们提出了一个新的强化学习框架,有效地解除了这些限制。在我们的框架内,代理学习有效的行为在一个常规空间:一个新的,更高层次的动作空间,其中每个例程代表一组“等效”序列的粒度动作与任意长度。我们的常规空间是端到端学习的,以促进实现底层的非策略强化学习目标。我们将我们的框架应用于两个最先进的非策略算法,并表明所产生的代理获得相关的性能改进,同时需要更少的交互与环境每集,提高计算效率。
2021-06-05 cs.LG
Comparing NARS and Reinforcement Learning: An Analysis of ONA and $Q$-Learning Algorithms
Stockholm University(斯德哥尔摩大学)
本文比较了非公理推理系统NARS的实现ONA与$Q$-Learning在Open AI gym环境中的性能,发现NARS是强化学习的潜在替代方案,尤其在非确定性环境中表现优异。
2023-04-10 cs.AI cs.LG
Robust Point Cloud Reinforcement Learning via PCA-Based Canonicalization
Purdue University(普渡大学)
针对点云强化学习对相机位姿不匹配敏感的问题,提出基于PCA的点云规范化框架PPC,将点云对齐到统一规范位姿,提升了机器人任务对未见相机位姿的鲁棒性。
2025-10-28 cs.LG cs.RO
Modularity benefits reinforcement learning agents with competing homeostatic drives
Princeton University(普林斯顿大学)
平衡相互冲突的需求是智能的基础。标准的强化学习算法最大化标量奖励,这需要将不同的目标特定奖励组合成一个数字。可替代地,不同的目标也可以在动作值的级别上组合,使得负责不同目标的专家模块向决策过程提交不同的动作建议,每个动作建议基于彼此独立的奖励。在这项工作中,我们将探索这种替代策略的潜在好处。我们研究了一个与生物学相关的多目标问题,一组变量的持续动态平衡,并将单片深度Q网络与每个变量都有专用Q学习器的模块化网络进行了比较。我们发现,模块化代理:a)需要最小的外决定的探索; b)提高了样本效率;和c)是更强大的域外扰动。
2022-04-13 cs.LG
Missingness as Stability: Understanding the Structure of Missingness in Longitudinal EHR data and its Impact on Reinforcement Learning in Healthcare
Stanford School of Medicine(斯坦福大学医学院);Stanford University(斯坦福大学)
在医疗保健文献的强化学习中有一个新兴的趋势。为了为强化学习算法准备纵向的、不规则采样的临床数据集,许多研究人员将时间序列数据重新采样到短的、规则的间隔,并使用末次观测值结转(LOCF)插补来填补这些空白。通常情况下,他们不会保留任何关于估算值的明确信息。在这项工作中,我们(1)提请注意这种做法,并讨论其潜在的影响;(2)提出一种替代的表示病人的状态,解决其中一些问题;以及(3)在新颖但有代表性的临床数据集中证明,如通过偏离策略的策略评估所测量的,我们的替代表示对于实现最优控制始终产生更好的结果,与不包含缺失信息的表示相比。
2019-11-16 cs.AI cs.LG stat.ML
A Threshold-based Scheme for Reinforcement Learning in Neural Networks
提出了一种通用的、可扩展的人工神经网络强化学习方案,提供了一种通用的学习机。通过参考节点阈值,描述了三个特征:1)用于初级强化的机制,能够解决线性不可分割的问题; 2)学习方案被扩展为包括用于条件强化的机制,能够形成长期策略; 3)学习方案被修改为使用基于阈值的深度学习算法,为反向传播提供了鲁棒的和生物启发的替代方案。该模型可以用于监督以及无监督的训练制度。
2017-01-14 cs.LG cs.NE
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过演示的主动学习允许机器人向人类询问特定类型的输入,以实现有效的学习。现有的工作已经探索了各种主动查询策略,但是,据我们所知,这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展,我们提出了一种风险意识主动逆强化学习算法,该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现,风险意识主动学习优于标准的主动IRL方法在网格世界,模拟驾驶,表设置任务,同时还提供了一个基于性能的停止标准,让机器人知道它已经收到足够的演示,安全地执行任务。
2019-06-03 cs.LG stat.ML
Reinforcement Learning with Feedback from Multiple Humans with Diverse Skills
University of Bristol(布里斯托大学)
在强化学习中,一种很有前途的提高鲁棒性和探索性的方法是收集人类的反馈,并以这种方式结合目标环境的先验知识。然而,要获得足够的高质量反馈往往过于昂贵。为了缓解这个问题,我们的目标是依靠一组具有不同技能水平的多个专家(和非专家)来生成足够的反馈。因此,这种反馈可能不一致且不频繁。在本文中,我们建立在以前的工作-建议,贝叶斯方法试图最大限度地提高从人类反馈中获得的信息-扩展算法,接受来自这个更大的人类群体,培训师的反馈,同时还估计每个培训师的可靠性。我们展示了如何汇总来自多个培训师的反馈,提高总反馈的准确性,并通过两种方式使收集过程变得更轻松。首先,这种方法解决了一些培训师具有对抗性的情况。其次,访问关于每个训练器可靠性的信息提供了第二层鲁棒性,并为管理整个系统的人提供了有价值的信息,以提高系统的整体信任度。它提供了一个可操作的工具,用于改进反馈收集过程或在需要时修改奖励函数设计。我们的经验表明,我们的方法可以准确地学习每个培训师的可靠性正确,并使用它来最大限度地提高从多个培训师的反馈中获得的信息,即使有些来源是敌对的。
2021-11-16 cs.LG
InfoRL: Interpretable Reinforcement Learning using Information Maximization
IIT Kanpur(印度理工学院坎普尔分校)
强化学习的最新进展已经证明,给定一个环境,如果我们可以访问某种形式的奖励函数(密集,稀疏或从IRL导出),我们可以学习在该环境中执行任务。但大多数算法都专注于学习一个最佳策略来执行给定的一组任务。在本文中,我们专注于一种算法,它不仅学习执行一项任务,而且学习以不同的方式执行同一任务。正如我们所知,当环境足够复杂时,总是存在多种方法来执行任务。我们表明,使用信息最大化的概念,它是可能的学习潜码发现多种方式来执行任何给定的任务在一个环境中。
2019-05-24 cs.AI cs.LG stat.ML
Reinforcement Learning for Optimal Load Distribution Sequencing in Resource-Sharing System
Stony Brook Univesity(石溪大学)
可分负载理论(DLT)是数据密集型系统中可分负载问题建模的有力工具。利用机器学习框架研究了一个最优可分负荷分配排序问题。该问题的目的是确定分配可分负载到处理器的最优顺序,以达到最小的完成时间。调度在资源共享系统中执行,其中每个物理处理器被虚拟化为多个虚拟处理器。一个强化学习方法称为多臂强盗(MAB)用于我们的问题。我们首先提供了一个天真的解决方案,使用MAB算法,然后进行几次优化。进行了各种数值试验。我们的算法在训练过程中表现出越来越好的性能,当样本量足够大时,可以达到全局最优。
2019-02-05 cs.DC cs.LG
Automating Control of Overestimation Bias for Reinforcement Learning
Samsung AI Center(三星人工智能中心);Artificial Intelligence Research Institute(人工智能研究所);National Research University Higher School of Economics(高等经济研究大学)
高估偏差控制技术被大多数高性能的非策略强化学习算法所使用。然而,这些技术中的大多数依赖于预定义的偏差校正策略,这些策略要么不够灵活,要么需要环境特定的超参数调整。在这项工作中,我们提出了一个通用的数据驱动的方法,用于自动选择偏置控制超参数。我们证明了它的有效性三个算法:截断分位数批评,加权延迟DDPG,和最大最小Q学习。所提出的技术消除了对广泛的超参数搜索的需要。我们表明,它导致显着减少的实际数量的相互作用,同时保持性能。
2022-01-28 cs.AI cs.LG cs.RO
Regret Bounds for Reinforcement Learning via Markov Chain Concentration
我们给出了一个简单的乐观算法,它是很容易得到的遗憾界的$\tilde{O}(\sqrt{t_{\rm mix} SAT})$后,$T$步骤的一致遍历马尔可夫决策过程的$S$状态,$A$行动,和混合时间参数$t_{\rm mix}$。这些界限是第一个遗憾的界限,在一般的,非情节设置与所有给定的参数的最佳依赖。它们只能通过使用替代的混合时间参数来改善。
2019-01-19 cs.LG stat.ML
Demystifying Reinforcement Learning in Time-Varying Systems
Massachusetts Institute of Technology(麻省理工学院);Brown University(布朗大学);Microsoft Research(微软研究院)
最近的研究已经转向强化学习(RL)来解决具有挑战性的决策问题,作为手动调整算法的替代方案。RL可以学习好的策略,而不需要对环境的动态进行建模。尽管如此,RL仍然是许多现实世界系统问题的不切实际的解决方案。当环境随时间变化时,会出现一个特别具有挑战性的情况,即它表现出非平稳性。在这项工作中,我们介绍了非平稳性的特点的挑战,阐明了一系列的方法,他们和开发一个强大的框架来解决他们的训练RL代理在现场系统。这样的代理必须探索和学习新的环境,而不损害系统的性能,并随着时间的推移记住它们。为此,我们的框架(i)识别实时系统遇到的不同环境,(ii)在必要时触发探索,(iii)采取预防措施以保留来自先前环境的知识,以及(iv)当RL代理犯错误时,采用保障措施来保护系统的性能。我们将我们的框架应用于两个系统的问题,掉队缓解和自适应视频流,并评估它对各种替代方法,使用真实世界和合成数据。我们表明,框架的所有组件都是必要的,以应付非平稳性,并为每个组件的替代设计选择提供指导。
2023-01-26 cs.AI cs.LG cs.NI
A State Augmentation based approach to Reinforcement Learning from Human Preferences
SCAI, Arizona State University(亚利桑那州立大学SCAI)
即使在足够简单的领域,强化学习也存在奖励规范不佳以及奖励投机问题。基于偏好的强化学习试图通过利用循环中的人对查询轨迹对的二进制反馈来学习奖励模型来解决这个问题。在这项工作中,我们提出了一种状态增强技术,允许代理的奖励模型是强大的,并遵循不变性的一致性,显着提高性能,即奖励恢复和随后的回报计算使用我们的基线PEBBLE的学习策略。我们验证了我们的方法在三个领域,山地车,四足步行的运动任务,和机器人操作任务的扫入,并发现,使用建议的增强代理不仅有利于整体性能,但这样做,相当早在代理的训练阶段。
2023-02-17 cs.AI cs.LG
A Hybrid Approach for Reinforcement Learning Using Virtual Policy Gradient for Balancing an Inverted Pendulum
Center for Research in Scientific Computation, North Carolina State University(北卡罗来纳州立大学科学计算研究中心)
利用策略梯度算法,我们训练了一个单隐层神经网络来平衡一个物理上精确的模拟单级倒立摆。然后,训练好的权重和偏差可以转移到一个物理代理,在那里它们足够强大,可以平衡一个真正的倒立摆。这种训练模拟的混合方法可以比现实世界中更快地完成数千次试运行,从而大大减少训练时间和更多迭代,产生更强大的模型。与现有的强化学习方法相比,所得到的控制更平滑,学习速度更快,并且能够承受强制干扰。
2021-02-06 cs.LG cs.RO
Automating Privilege Escalation with Deep Reinforcement Learning
Aalto University(阿尔托大学);F-Secure(F-Secure公司)
基于人工智能的防御解决方案对于保护网络和信息资产免受智能自动化攻击是必要的。收集足够的真实数据来训练基于机器学习的防御是一个重大的实际挑战。一个能够执行真实攻击的智能红队测试代理可以缓解这个问题。然而,几乎没有科学证据证明使用机器学习进行全自动攻击的可行性。在这项工作中,我们使用深度强化学习来训练自动化代理来消除恶意行为者的潜在威胁。我们提出了一个代理,使用最先进的强化学习算法来执行本地权限升级。我们的研究结果表明,自主智能体可以升级特权在Windows 7环境中使用各种不同的技术,这取决于它遇到的环境配置。因此,我们的代理是可用于生成现实的攻击传感器数据的训练和评估入侵检测系统。
2021-10-04 cs.CR cs.LG
Using Deep Reinforcement Learning to solve Optimal Power Flow problem with generator failures
National University of Computer and Emerging Science(国立计算机与新兴科学大学)
深度强化学习(Deep Reinforcement Learning,DRL)被广泛应用于各个领域。DRL的最大优点之一是它能够持续改进学习代理。其次,DRL框架是强大的和灵活的,足以适用于不同性质和领域的问题。所提出的工作是使用DRL技术来解决最优潮流(OPF)问题的证据。两个经典的算法已经被提出来解决最优潮流问题。讨论了普通DRL应用的缺点,并提出了一种改进算法。其次,提出了一种用于最优潮流问题的奖励函数,该函数能够解决DRL中的固有问题。分析了DRL发散和退化的原因,并提出了在最优潮流控制下的正确处理策略。
2022-05-04 cs.AI cs.LG
An Empirical Evaluation of Posterior Sampling for Constrained Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫罗尼姆斯数据科学学院);University of Jyväskylä(于韦斯屈莱大学);Tilburg University(蒂尔堡大学)
研究了约束强化学习中有效探索的后验抽样方法。替代现有的算法,我们提出了两个简单的算法,更有效的统计,更简单的实现和计算成本更低。第一种算法是基于CMDP的线性公式,第二种算法利用CMDP的鞍点公式。我们的实证结果表明,尽管它的简单性,后验采样达到最先进的性能,在某些情况下,显着优于乐观算法。
2022-09-08 cs.LG
Quantile Reinforcement Learning
Sorbonnes Universités UPMC Univ Paris 06(索邦大学(巴黎第六大学));CNRS(法国国家科学研究中心);School of Electronics and Information Technology(电子与信息学院);SYSU-CMU Joint Institute of Engineering(中山大学-卡内基梅隆大学联合工程学院);SYSU-CMU Shunde Joint Research Institute(中山大学-卡内基梅隆大学顺德联合研究院)
在强化学习中,评估状态中的策略的标准准则是奖励(折扣)和的期望。然而,这一标准可能并不总是合适的,我们认为一个替代标准的概念的分位数的基础上。在情景强化学习问题的情况下,我们提出了一种基于两个时标的随机近似算法。我们评估我们的建议在一个简单的模型的电视节目,谁想成为百万富翁。
2016-11-03 cs.AI cs.LG
Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning
Uber AI Labs(优步人工智能实验室)
深度人工神经网络(DNN)通常通过基于梯度的学习算法(即反向传播)进行训练。演化策略(ES)可以与基于反向传播的算法(如Q学习和策略梯度)在具有挑战性的深度强化学习(RL)问题上相媲美。然而,ES可以被认为是基于梯度的算法,因为它通过类似于梯度的有限差分近似的操作来执行随机梯度下降。这就提出了一个问题,即非基于梯度的进化算法是否可以在DNN规模下工作。在这里,我们证明他们可以:我们用一个简单的、无梯度的、基于种群的遗传算法(GA)来进化DNN的权重,它在困难的深度RL问题上表现良好,包括Atari和人形运动。Deep GA成功地进化了具有超过400万个自由参数的网络,这是有史以来使用传统进化算法进化的最大神经网络。这些结果(1)扩展了我们对遗传算法可以操作的规模的理解,(2)有趣地表明,在某些情况下,遵循梯度并不是优化性能的最佳选择,(3)立即提供了大量的神经进化技术来提高性能。我们通过将DNN与新颖性搜索相结合来证明后者,这种新颖性搜索鼓励对具有欺骗性或稀疏奖励函数的任务进行探索,可以解决一个高维问题,在这个问题上,奖励最大化算法(例如\ DQN、A3C、ES和GA)失败。此外,Deep GA比ES、A3C和DQN更快(它可以在一个桌面上用${\raise.17ex\hbox{$ \scriptstyle \sim $}}$训练Atari 4小时,或者在720个核心上用${\ra…
2018-04-20 cs.LG cs.NE
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);Google AI(谷歌人工智能)
多智能体场景中的强化学习对于现实世界的应用非常重要,但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法,训练分散的政策,在多代理设置,使用集中计算的评论家,共享一个注意力机制,选择相关的信息,为每个代理在每个时间步。与最近的方法相比,这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置,而且适用于个性化奖励设置,包括对抗设置,以及不提供全局状态的设置,并且它不对代理的动作空间进行任何假设。因此,它足够灵活,可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Robust exploration in linear quadratic reinforcement learning
Uppsala University(乌普萨拉大学);KTH(瑞典皇家理工学院)
研究了未知线性动力系统的学习控制策略问题,以最小化二次型费用函数。我们提出了一种基于凸优化的方法,该方法稳健地完成了这一任务:即,我们最小化最坏情况下的成本,考虑到系统的不确定性,给定的观测数据。该方法平衡开发和探索,以这样的方式激励系统,以减少最坏情况下的成本最敏感的模型参数的不确定性。数值模拟和应用程序的硬件在环伺服机构证明了这种方法,与替代方法中观察到的可观的性能和鲁棒性增益。
2019-06-04 cs.LG math.OC stat.ML
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University(成均馆大学)
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储,成本低于购买和维护大型主机。在本文中,我们研究将强化学习(RL)应用于系统域问题是否可行。实验结果表明,RL模型在解决块管理问题上具有可比性,甚至优于其他算法。然而,我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用,但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
Information-theoretic Task Selection for Meta-Reinforcement Learning
School of Computing(计算学院);University of Leeds(利兹大学)
在Meta-强化学习(meta-RL)中,智能体在一组任务上进行训练,以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的,以代表测试任务的预期分布,因此全部用于训练。我们表明,给定一组训练任务,如果训练任务选择得当,学习可以更快,更有效(导致测试任务中更好的性能)。我们提出了一个任务选择算法,信息理论任务选择(ITTS),基于信息论,优化用于元强化学习训练的任务集,而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关,又彼此足够不同。我们再现了文献中不同的元RL实验,并表明ITTS提高了所有实验的最终性能。
2021-07-01 cs.LG
Maximum Entropy Model Correction in Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Amazon(亚马逊)
本文提出最大熵模型校正(MoCo)方法及MoCoVI、MoCoDyna算法,通过校正近似模型的下一状态分布,在利用近似模型加速收敛的同时仍保证收敛到正确价值函数。
2023-11-29 cs.AI cs.LG cs.SY
Reinforcement Learning as a Parsimonious Alternative to Prediction Cascades: A Case Study on Image Segmentation
Stevens Institute of Technology(斯蒂文斯理工学院);Oak Ridge National Laboratory(橡树岭国家实验室)
针对低资源环境下预测级联模型计算成本高的问题,提出基于强化学习的非级联成本感知流程 PaSeR,并引入 IoU/GigaFlop 指标,在电池材料分割等任务上以更低成本实现更高精度。
2024-02-19 cs.CV cs.LG
Contention Window Optimization in IEEE 802.11ax Networks with Deep Reinforcement Learning
AGH University of Science and Technology(AGH科技大学)
竞争窗口(CW)值的正确设置对Wi-Fi网络的效率具有显著影响。不幸的是,802.11网络使用的标准方法不足以为越来越多的站点保持稳定的吞吐量,但它仍然是802.11ax单用户传输的默认信道接入方法。因此,我们提出了一种新的CW控制方法,该方法利用深度强化学习(DRL)原理来学习不同网络条件下的正确设置。我们的方法,称为集中式竞争窗口优化与DRL(CCOD),支持两个可训练的控制算法:深度Q网络(DQN)和深度确定性策略梯度(DDPG)。我们证明,通过模拟,它提供了接近最佳的效率(即使在动态拓扑结构),同时保持计算成本低。
2022-02-04 cs.LG cs.NI eess.SP
Non-Markovian policies occupancy measures
Microsoft Research Montréal(微软研究院蒙特利尔);MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学)
强化学习(RL)的一个中心研究对象是马尔可夫策略,其中代理的行为是从无记忆概率分布中选择的,仅以其当前状态为条件。马尔可夫政策家族的范围足够广,令人感兴趣,但又足够简单,便于分析。然而,强化学习往往涉及更复杂的政策:政策的合奏,政策的选择,政策更新在线等,我们的主要贡献是证明,任何非马尔可夫政策的占用措施,即,与它一起收集的过渡样本的分布可以等效地由马尔可夫策略生成。这个结果允许定理的马尔可夫政策类直接扩展到其非马尔可夫对应,大大简化了证明,特别是那些涉及重放缓冲区和数据集。我们在强化学习领域提供了各种应用实例。
2022-05-27 cs.LG cs.SY eess.SY
Meta-Reinforcement Learning for Heuristic Planning
University of Leeds(利兹大学)
在Meta-强化学习(meta-RL)中,智能体在一组任务上进行训练,以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的,以代表测试任务的预期分布,因此全部用于训练。我们表明,给定一组训练任务,如果训练任务选择得当,学习可以更快,更有效(导致测试任务中更好的性能)。我们提出了一个任务选择算法,信息理论任务选择(ITTS),基于信息论,优化用于元强化学习训练的任务集,而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关,又彼此足够不同。我们再现了文献中不同的元RL实验,并表明ITTS提高了所有实验的最终性能。
2021-07-06 cs.AI cs.LG
Reinforcement Learning Neural Turing Machines - Revised
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
神经图灵机(NTM)比以前考虑的所有模型更有表现力,因为它的外部记忆。它可以被看作是一个更广泛的努力,使用抽象的外部接口,并学习与它们交互的参数化模型。模型的功能可以通过提供与世界交互的适当接口来扩展。这些外部接口包括内存、数据库、搜索引擎或一个软件(如定理验证器)。其中一些接口由模型的开发人员提供。然而,许多重要的现有接口,如数据库和搜索引擎,是离散的。我们研究学习模型与离散接口交互的可行性。我们研究了以下离散接口:存储器磁带,输入磁带和输出磁带。我们使用强化学习算法来训练一个神经网络,该网络与这些接口交互,以解决简单的算法任务。我们的接口足够表达,使我们的模型图灵完整。
2016-01-12 cs.LG
Reinforcement Learning for Admission Control in Wireless Virtual Network Embedding
Hasso Platter Institute(哈索·普拉特纳研究所);Potsdam University(波茨坦大学);Paderborn University(帕德博恩大学)
在无线网络中使用服务功能链(SFC)在网络和多媒体等许多领域变得流行。它依赖于通过虚拟网络嵌入(VNE)算法将网络资源分配给传入的SFC请求,从而优化SFC的性能。当传入请求的负载-竞争有限的网络资源-增加时,决定哪些请求应该被接纳,哪些请求应该被拒绝变得具有挑战性。在这项工作中,我们提出了一种深度强化学习(RL)解决方案,可以学习不同依赖关系的准入策略,例如服务生命周期和传入请求的优先级。我们将深度强化学习解决方案与先到先得的基线进行比较,只要有可用的资源,就可以接受请求。我们表明,深度RL优于基线,即使有足够的资源,也能提供更高的接受率和低拒绝率。
2021-10-04 cs.LG cs.NI
Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery
InstaDeep;Imperial College(帝国理工学院)
针对深度强化学习在技能发现中易过拟合且需精细调参的问题,本文证明神经进化(特别是质量多样性方法)能提供同等或更优性能,且对超参数不敏感、更具可扩展性。
2023-09-08 cs.AI cs.LG cs.NE
Evolutionary Algorithms for Reinforcement Learning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Naval Research Laboratory(美国海军研究实验室);George Mason University(乔治梅森大学)
有两种不同的方法来解决强化学习问题,即在价值函数空间中搜索和在策略空间中搜索。时间差分方法和进化算法是这些方法的众所周知的例子。Kaelbling,Littman和Moore最近提供了一个翔实的调查时间差异的方法。这篇文章的重点是应用进化算法的强化学习问题,强调替代政策表示,信用分配方法,和特定问题的遗传算子。强化学习的进化方法的优点和缺点,以及代表性的应用调查。
2011-06-01 cs.AI cs.LG cs.NE
Discovering an Aid Policy to Minimize Student Evasion Using Offline Reinforcement Learning
Federal University of Espirito Santo, UFES(圣埃斯皮里图联邦大学)
高等教育的高辍学率暴露出缺乏效率,造成期望落空和财政浪费。预测处于风险中的学生不足以避免学生辍学。通常,必须为每个学生在适当的时间发现和应用适当的援助行动。针对这一顺序决策问题,提出了一种基于离线强化学习的学生援助行动选择决策支持方法,有效地避免了学生辍学。此外,离散化的学生的状态空间,采用两种不同的聚类方法进行评估。我们使用真实学生的记录数据的实验表明,通过离线策略评估,该方法应该实现大约1.0到1.5倍的累积奖励。因此,这是可行的,以帮助决策者适用适当的援助行动,并可能减少学生辍学。
2021-04-20 cs.LG
Discovering Reinforcement Learning Algorithms
DeepMind(深度思维)
强化学习(RL)算法根据几种可能的规则之一更新代理的参数,这些规则是通过多年的研究手动发现的。从数据中自动发现更新规则可以产生更有效的算法,或者更好地适应特定环境的算法。虽然之前已经尝试解决这个重大的科学挑战,它仍然是一个悬而未决的问题,它是否是可行的发现替代RL的基本概念,如价值函数和时间差学习。本文介绍了一种新的元学习方法,发现一个完整的更新规则,其中包括“预测什么”(例如价值函数)和“如何从它学习”(例如自举)通过与一组环境的交互。该方法的输出是一个RL算法,我们称之为学习策略梯度(LPG)。实证结果表明,我们的方法发现自己的替代概念的价值函数。此外,它还发现了一种自举机制来维护和使用其预测。令人惊讶的是,当仅在玩具环境中训练时,LPG有效地推广到复杂的Atari游戏,并实现了非平凡的性能。这显示了从数据中发现通用RL算法的潜力。
2021-01-05 cs.AI cs.LG
Provably Efficient Primal-Dual Reinforcement Learning for CMDPs with Non-stationary Objectives and Constraints
University of California, Berkeley(加州大学伯克利分校)
我们考虑基于原始-对偶的强化学习(RL)在具有非平稳目标和约束的情景约束马尔可夫决策过程(CMDPs)中的应用,它在确保RL在时变环境中的安全性方面起着核心作用。在这个问题中,奖励/效用函数和状态转换函数都允许随时间任意变化,只要它们的累积变化不超过某些已知的变化预算。在时变环境中设计安全RL算法特别具有挑战性,因为需要集成约束违反减少,安全探索和适应非平稳性。为此,我们确定了两个可供选择的条件下,我们可以保证在长期的安全随时间变化的约束。我们还提出了\underline{P}周期性\underline{R}启动\underline{O}乐观\underline{P}原始- \underline{D} ual \underline{P} roximal \underline{P}优化\underline{O}策略(PROPD-PPO)算法,该算法可以协调这两种情况。此外,在线性核CMDP函数逼近和表格CMDP函数逼近两种情况下,分别建立了该算法的动态后悔界和约束违反界.本文提供了第一个可证明有效的算法与安全的探索非平稳CMDPs。
2022-11-19 cs.LG
Have I done enough planning or should I plan more?
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
人们关于如何分配有限的计算资源的决定对人类智能至关重要。这种元认知能力的一个重要组成部分是决定是否继续思考该做什么,并继续进行下一个决定。在这里,我们展示了人们通过学习和反向工程的基础学习机制获得这种能力。使用一个过程跟踪范式,具体化人类规划,我们发现,人们很快适应他们执行多少规划的成本和效益的规划。为了发现底层的元认知学习机制,我们增加了一组具有元认知特征的强化学习模型,并进行贝叶斯模型选择。我们的研究结果表明,元认知能力,以调整规划量可能会通过一个政策梯度机制,这是指导沟通规划的价值元认知伪奖励。
2022-01-03 cs.AI cs.LG