Optimizing a domestic battery and solar photovoltaic system with deep reinforcement learning
Imperial College London(帝国理工学院);Newcastle University(纽卡斯尔大学)
电池和太阳能光伏系统成本的降低导致了太阳能电池家用系统的高度采用。在这项工作中,我们使用深度确定性策略梯度算法来优化这样的系统内的电池的充电和放电行为。我们的方法输出一个连续的动作空间,当它充电和放电的电池,并能很好地在随机环境中工作。我们通过在一年内选定的几周内将单个家庭的电力支出降低到近1AUD的大型电池来展示该算法的良好性能。
2021-09-10 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance(字节跳动);Nankai University(南开大学)
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制,具有封闭多样性、不变性探索和自适应权衡三个特性,这有助于基于值的方法避免策略崩溃问题。然而,不存在一个并行的机制,基于策略的方法,实现所有三个特征。在本文中,我们提出了一个熵正则化的自由机制,设计的基于策略的方法,实现了封闭形式的多样性,不变性探索和自适应权衡。我们的实验表明,我们的机制是超级样本效率的基于策略的方法,并提高了基于策略的基线,以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory(阿贡国家实验室)
我们已经开发了一个模型,在线连续或终身强化学习(RL)的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练,使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移,其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Optimizing Sensory Neurons: Nonlinear Attention Mechanisms for Accelerated Convergence in Permutation-Invariant Neural Networks for Reinforcement Learning
针对强化学习训练成本高的问题,提出一种非线性注意力机制,通过增强键向量表示提升置换不变神经网络的收敛速度与训练效率,同时保持性能与基线相当。
2025-06-23 cs.AI cs.LG
Off-Policy Shaping Ensembles in Reinforcement Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学)
梯度时间差方法的最新进展允许学习的政策外多个价值函数并行与牺牲收敛保证或计算效率。这为强化学习中的声音集成技术开辟了新的可能性。在这项工作中,我们提出了通过基于潜力的塑造奖励相关的政策学习的合奏。该集成通过在其组件上使用投票机制来诱导组合策略。学习是实时的发生的,我们的经验表明,组合策略优于集成的单个策略。
2014-05-21 cs.AI cs.LG
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
在本文中,我们提出了谨慎的政策规划(CPP),一种新的基于值的强化学习(RL)算法,可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质,我们推导出一个新的熵正则化感知的策略改进下界,该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准,以减轻策略振荡。与同类算法大多是理论导向的不同,我们还提出了一种新的插值方案,使CPP更好地在高维控制问题的规模。我们证明,该算法可以交易o?在经典的控制问题和具有挑战性的高维度Atari游戏中,性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook(纽约州立大学石溪分校);Peking University(北京大学)
经典的强化学习(RL)旨在优化期望的累积奖励。在这项工作中,我们考虑RL设置,其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络,并提出了一种新的策略梯度算法,称为基于分位数的策略优化(QPO)及其变种基于分位数的近端策略优化(QPPO),以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度,同时估计分位数和政策参数,并在一定条件下收敛到全局最优的政策。我们的数值结果表明,所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs
Imperial College London(帝国理工学院)
健康相关数据在暗示患者的真实生理状态方面是噪声和随机的,限制了用于顺序临床决策的单时刻观察中包含的信息。我们将患者与临床医生的相互作用建模为部分可观察的马尔可夫决策过程(POMDPs),并根据从历史序列推断的信念状态优化顺序治疗。为了便于推理,我们建立了一个变分生成模型,并使用递归神经网络(RNN)增强状态表示,并结合了序列自动编码的辅助损失。同时,我们优化了一个连续的药物水平的政策与行动者-评论家的方法,其中策略梯度从一个稳定的政策外估计的优势函数,与并行的最佳优先后缀树支持的信念状态的值。我们利用我们的方法,使用回顾性重症监护数据集优化脓毒症患者的血管加压药和静脉输液剂量,并使用政策外政策评估(OPPE)评估学习的政策。结果表明,建模为POMDP产生更好的性能比MDP,并将启发式搜索提高样本效率。
2019-05-17 cs.AI cs.LG
Optimizing Fantasy Sports Team Selection with Deep Reinforcement Learning
Dream11
本文针对梦幻板球组队优化问题,将队伍创建建模为序贯决策过程,利用历史球员数据训练强化学习算法预测表现并优化阵容,实验证明RL方法优于传统选秀策略。
2024-12-26 cs.AI cs.LG
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne(科隆大学)
本文系统综述深度强化学习中的同策略策略梯度算法,整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法,提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs(英特尔实验室);Intel Israel(英特尔以色列);Technion(以色列理工学院)
对于深度神经网络加速器来说,内存移动既消耗能量又会限制计算。因此,张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加,需要自动化的内存映射来代替人工的启发式方法;然而,神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习(EGRL),一种为大搜索空间设计的方法,它结合了图神经网络,强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证,以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比,本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University(普渡大学)
本文提出对抗鲁棒策略优化(ARPO)算法,通过生成器扰动观测与策略网络最小化影响的博弈,去除对混淆特征的过拟合,提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Boolean Decision Rules for Reinforcement Learning Policy Summarisation
IBM Research Ireland(IBM爱尔兰研究院);Trinity College Dublin(都柏林圣三一学院)
强化学习(RL)策略的可解释性仍然是一个具有挑战性的研究问题,特别是在安全背景下考虑RL时。理解RL策略的决策和意图提供了通过限制不良行为将安全纳入策略的途径。我们建议使用一个布尔决策规则模型来创建一个事后基于规则的摘要代理的政策。我们评估我们提出的方法,使用DQN代理培训的熔岩gridworld的实现,并表明,鉴于手工制作的功能表示这个gridworld,简单的通用规则,可以创建一个事后解释的摘要代理的政策。我们讨论了可能的途径,引入安全到RL代理的政策,通过使用由这个基于规则的模型所产生的规则作为对代理的政策施加的约束,以及讨论如何创建简单的规则摘要的代理的政策可能有助于在RL代理的调试过程。
2022-07-18 cs.AI cs.LG
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University(首尔大学);Soongsil University(崇实大学);UC Berkeley(加州大学伯克利分校)
本文提出PG-Rainbow算法,将分布式强化学习与策略梯度结合,利用隐式分位数网络向PPO的评论家提供奖励分布信息,提升样本效率和决策质量,并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习中神经网络策略缺乏可解释性的问题,提出决策树策略优化(DTPO)算法,利用策略梯度直接优化完整决策树,实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Optimizing Warfarin Dosing Using Contextual Bandit: An Offline Policy Learning and Evaluation Method
University of California, Irvine(加利福尼亚大学欧文分校);University of Miami(迈阿密大学)
针对华法林剂量个体差异大且错误剂量风险高的问题,利用历史观察数据在上下文老虎机框架下进行离线策略学习与评估,构建个性化剂量策略,在无基因型输入时超越基线方法。
2024-02-16 cs.AI cs.LG
Quantile-Based Deep Reinforcement Learning using Two-Timescale Policy Gradient Algorithms
Guanghua School of Management, Peking University(北京大学光华管理学院);State University of New York at Stony Brook(纽约州立大学石溪分校)
本研究提出基于分位数的策略优化算法及其离策略变体,通过双时间尺度更新优化累积奖励的分位数,在深度RL中优于基线算法。
2023-05-12 cs.AI cs.LG
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展,但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是,传统的分层强化学习方法由于其风险性而不适用于自动驾驶:智能体必须避开多个障碍物,例如高度不可预测的其他智能体,因此安全区域很小,分散,并且随着时间的推移而变化。为了克服这一挑战,我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策,而且在状态空间中选择关注区域,在政策空间中选择大纲区域。随后,低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明,我们的方法可以从早期事件中找到近乎最佳的策略,优于基线分层强化学习方法,特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Implicit Policy for Reinforcement Learning
Columbia University(哥伦比亚大学)
我们引入了隐式策略,这是一类通用的表达策略,可以灵活地表示强化学习中的复杂动作分布,并具有计算熵正则化策略梯度的有效算法。我们的经验表明,尽管其简单的实施,熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架,如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
AcceRL: Policy Acceleration Framework for Deep Reinforcement Learning
Sichuan Normal University(四川师范大学)
深度强化学习以其超强的决策能力在各个领域取得了巨大的成功。然而,策略学习过程需要大量的训练时间,导致能量消耗。受神经网络冗余性的启发,提出了一种基于神经网络压缩的轻量级并行训练框架AcceRL,在保证策略质量的同时加快了策略学习的速度。具体来说,AcceRL通过灵活组合各种神经网络压缩方法,加快了经验收集的速度。总体而言,AcceRL由五个组件组成,即Actor,Learner,Compressor,Corrector和Monitor。执行者使用压缩器来压缩学习者的策略网络以与环境交互。生成的经验由修正器采用V-trace、Retrace等Off-Policy方法进行转换,并将修正后的经验反馈给学习器进行策略学习。我们相信这是第一个包含多种神经网络压缩技术的通用强化学习框架。在健身房进行的大量实验表明,与传统方法相比,AcceRL将演员的时间成本降低了约2.0倍至4.13倍。此外,与传统方法相比,AcceRL将整个训练时间减少了约29.8%至40.3%,同时保持相同的策略质量。
2022-11-28 cs.AI cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta(阿尔伯塔大学)
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题,提出价值感知重要性权重,在保证无偏估计的同时降低方差,并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院)
Dropout长期以来一直是监督学习的主要内容,但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法,并介绍一致的辍学,一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后,我们证明了一致的dropout可以在线训练复杂的架构,如GPT,而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business(麦库姆斯商学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
离线强化学习(Offline reinforcement learning,RL)将经典RL算法的范式扩展到纯粹从静态数据集学习,而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性,这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响,我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外,我们训练一个动力学模型来实现这种正则化,并更好地估计当前策略的平稳分布,减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上,我们的方法显示出有竞争力的性能,这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Supported Policy Optimization for Offline Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京国家信息科学与技术研究中心)
离线强化学习(RL)的策略约束方法通常利用参数化或正则化来约束策略以在行为策略的支持集内执行动作。精心设计的参数化方法通常会侵入策略网络,这可能会带来额外的推理成本,并且不能充分利用已有的在线方法。正则化方法减少了学习策略和行为策略之间的分歧,这可能与支持集的固有的基于密度的定义不匹配,从而无法有效地避免分布外的动作。本文提出了支持策略优化(SPOT),这是直接从基于密度的支持约束的理论形式化。SPOT采用基于VAE的密度估计器来显式地建模行为策略的支持集,并提出了一个简单但有效的基于密度的正则化项,该项可以非侵入性地插入到现成的非策略RL算法中。SPOT在离线RL的标准基准测试中达到了最先进的性能。得益于可插拔设计,SPOT的离线预训练模型也可以用于无缝地执行在线微调。
2022-10-12 cs.AI cs.LG
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University(普渡大学)
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数,例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是,我们学习一个新的价值函数的目标任务,同时结合它与价值估计从先前的计算。最后,将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明,成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Batch Reinforcement Learning with a Nonparametric Off-Policy Policy Gradient
University of Alberta(阿尔伯塔大学);Technische Universität Darmstadt(达姆施塔特工业大学)
非策略强化学习(RL)有望提高数据效率,因为它允许样本重用,并可能实现与环境的安全交互。当前的非策略策略梯度方法要么遭受高偏差,要么遭受高方差,从而提供通常不可靠的估计。低效率的代价在诸如交互驱动的机器人学习等现实场景中变得明显,其中RL的成功相当有限,并且非常高的样本成本阻碍了直接的应用。本文提出了一个非参数Bellman方程,它可以用封闭形式求解.该解对于策略参数是可微的,并且可以获得对策略梯度的估计。通过这种方式,我们避免了重要性采样方法的高方差和半梯度方法的高偏差。我们实证分析了我们的梯度估计对国家的最先进的方法的质量,并表明它优于经典控制任务的样本效率方面的基线。
2021-06-07 cs.AI cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中,我们提出了广义悲观主义学习(GPL),一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是,我们建议学习这个惩罚与批评双TD学习,一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差,而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合,我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学);Bar-Ilan University(巴伊兰大学)
多智能体强化学习(MARL)的进步使一系列令人兴奋的多智能体应用(如协作AI和自动驾驶)能够进行顺序决策。解释代理决策对于提高系统透明度,提高用户满意度和促进人类-代理协作至关重要。然而,现有的可解释的强化学习的工作主要集中在单智能体设置,不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL:(一)政策总结的代理合作和任务序列,和(ii)语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明,生成的解释显着提高用户的性能,并增加主观评分的指标,如用户满意度。
2022-05-23 cs.AI cs.LG
DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study, UESTC(电子科技大学深圳高等研究院)
在联邦学习(FL)中,模型聚合被广泛用于数据隐私。近年来,为局部模型分配不同的权重已被用来缓解局部数据集之间的差异所导致的FL性能下降。然而,当各种缺陷使得FL过程不可靠时,大多数现有的FL方法暴露出弱鲁棒性。本文提出DEfect-AwaRe联邦软行动者-批评者(DearFSAC)算法,动态分配局部模型的权重,提高FL的鲁棒性。采用深度强化学习软行动者-批评者算法,获得接近最优的性能和稳定的收敛。此外,自动编码器被训练以输出低维嵌入向量,其进一步用于评估模型质量。在实验中,DearFSAC优于现有的三种方法在四个数据集上的独立同分布(IID)和非IID设置下的缺陷场景。
2022-01-30 cs.AI cs.LG
Offline Reinforcement Learning with On-Policy Q-Function Regularization
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);CMU(卡内基梅隆大学);Google(谷歌)
本文提出通过SARSA式估计行为策略的Q函数并以其作为正则化目标,替代难以估计的行为策略本身,以解决离线强化学习中的外推误差问题,并在D4RL基准上验证了两种算法的强性能。
2023-07-25 cs.AI cs.LG
Sample-Efficient Model-Free Reinforcement Learning with Off-Policy Critics
Vrije Universiteit Brussel(布鲁塞尔自由大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
基于值的学习算法在无模型的离散动作设置中提供了最先进的结果,并且往往优于actor-critic算法。我们认为,演员批评家的算法是有限的,他们需要一个对政策的批评。我们提出了Bootstrapped双策略迭代(BDPI),一种新的无模型强化学习算法的连续状态和离散的行动,与演员和几个关闭政策的批评。政策外的批评是兼容的经验重放,确保高采样效率,而不需要政策外的校正。演员,通过慢慢地模仿平均贪婪的政策的批评,导致高质量和国家特定的探索,我们比较汤普森抽样。因为演员和评论家是完全解耦的,BDPI非常稳定,并且对它的超参数异常鲁棒。在离散、连续和基于像素的任务中,BDPI的采样效率明显高于Bootstrapped DQN、PPO和ACKTR。源代码:https://github.com/vub-ai-lab/bdpi。
2019-06-12 cs.AI cs.LG
Solving Deep Reinforcement Learning Tasks with Evolution Strategies and Linear Policy Networks
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science (LIACS)(莱顿高级计算机科学研究所(LIACS))
本研究对比了进化策略与基于梯度的深度强化学习方法,发现进化策略在训练线性策略网络时表现出更高的样本效率和鲁棒性,甚至在某些复杂任务和Atari游戏中超越传统深度强化学习算法。
2024-07-24 cs.AI cs.LG
Flow-Based Policy for Online Reinforcement Learning
Tsinghua University(清华大学);Shanghai Research Institute for Intelligent Autonomous Systems,Tongji University(上海智能自主系统研究所,同济大学)
本研究提出在线强化学习框架FlowRL,通过基于状态速度场的流策略建模与Wasserstein-2正则化约束,对齐流优化与RL目标,在基准测试中取得了有竞争力的性能。
2025-06-15 cs.AI cs.LG
Policy Constraint by Only Support Constraint for Offline Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Institute of Software, CAS(中国科学院软件研究所);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
针对离线强化学习中策略约束过度保守的问题,本文提出仅支持约束OSC,通过最大化学习策略在行为策略支持集内的总概率并利用扩散模型刻画支持集,在多个基准上显著提升性能。
2025-03-07 cs.AI cs.LG
On Gap-dependent Bounds for Offline Reinforcement Learning
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文对离线强化学习中间隙依赖的样本复杂度进行了系统的研究。以前的工作表明,当最优策略和行为策略之间的密度比是上界(最优策略覆盖假设),那么代理可以实现$O\left(\frac{1}{ε^2}\right)$率,这也是最小最大最优的。在最优策略覆盖假设下,当最优$Q$ -函数中存在一个正的次优间隙时,可以将速率提高到$O\left(\frac{1}ε\right)$.此外,我们表明,当访问概率的行为政策是一致的最优策略的访问概率是积极的状态(统一的最优策略覆盖假设)的下界,确定最优策略的样本复杂性是独立的$\frac{1}ε$。最后,我们提出了接近匹配的下限,以补充我们的间隙依赖的上限。
2022-08-03 cs.AI cs.LG
Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning
York University(约克大学)
本文提出基于变分量子电路的多目标强化学习框架,用于车载网络中的网络选择与自动驾驶决策,相比传统深度Q网络在收敛速度和奖励上均有显著提升。
2024-05-29 cs.AI cs.LG cs.NI
Optimizing Quantum Error Correction Codes with Reinforcement Learning
University of Innsbruck(因斯布鲁克大学);Microsoft Research(微软研究院);Leiden University(莱顿大学);University of Konstanz(康斯坦茨大学);Austrian Academy of Sciences(奥地利科学院)
量子纠错被广泛认为是容错量子计算的关键。然而,为未知的错误通道或特定的实验室设置确定最合适的编码是非常具有挑战性的。在这里,我们提出了一个强化学习框架优化和容错适应量子纠错码。我们考虑一个强化学习代理,其任务是修改一系列表面码量子存储器,直到达到所需的逻辑错误率。使用具有任意连接性的大约70个数据量子位的有效模拟,我们证明了这样的强化学习代理可以确定各种感兴趣的错误模型的数据量子位数量的接近最优的解决方案。此外,我们表明,在一个设置上训练的代理能够成功地将他们的经验转移到不同的设置。这种迁移学习的能力展示了强化学习的内在优势,以及我们的方法从离线模拟到在线实验室设置的优化适用性。
2020-04-09 cs.AI cs.LG quant-ph
Optimizing Language Models for Inference Time Objectives using Reinforcement Learning
Meta GenAI(Meta 生成式人工智能);Meta FAIR
本文提出在语言模型训练中显式优化推理时间目标(如pass@k和多数投票),并在代码生成任务上验证该方法能显著提升模型推理性能。
2025-08-17 cs.LG
A Batch, Off-Policy, Actor-Critic Algorithm for Optimizing the Average Reward
North Carolina State University(北卡罗来纳州立大学);University of Alberta(阿尔伯塔大学);University of New Mexico(新墨西哥大学);University of Michigan(密歇根大学)
我们开发了一个关闭政策的演员-评论家算法学习的最佳策略,从训练集组成的数据来自多个人。该算法的开发,以期其在移动医疗中的使用。
2016-07-18 cs.LG stat.ML
PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies
Princeton University(普林斯顿大学);University of British Columbia(英属哥伦比亚大学)
我们提出了一种新的强化学习为基础的框架PoBRL解决多文档摘要。PoBRL共同优化了高质量摘要所需的以下三个目标:重要性,相关性和长度。我们的策略将这种多目标优化分解为不同的子问题,这些子问题可以通过强化学习单独解决。然后,利用PoBRL,我们将每个学习到的策略混合在一起,以生成一个摘要,该摘要是原始输入的简洁而完整的表示。我们的实证分析显示了几个多文档数据集的最先进的性能。人工评估也表明,我们的方法产生高质量的输出。
2021-05-18 cs.AI
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning
The George Washington University(乔治华盛顿大学);Purdue University(普渡大学)
提出DPE算法,将序列建模与双策略估计结合,在统一框架中实现方差缩减,并在D4RL基准的多个任务上超越SOTA基线。
2023-08-28 cs.AI cs.DC cs.LG
Off-Policy Deep Reinforcement Learning without Exploration
McGill University(麦吉尔大学);Mila Québec AI Institute(米拉魁北克人工智能研究所)
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习,而不提供进一步的数据汇集的可能性。在本文中,我们证明了由于外推引入的错误,标准的非策略深度强化学习算法(如DQN和DDPG)无法使用与当前策略下的分布不相关的数据进行学习,这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法,批量约束强化学习,它限制了动作空间,以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法,该算法可以从任意固定的批量数据中有效地学习,并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Optimizing Low-Speed Autonomous Driving: A Reinforcement Learning Approach to Route Stability and Maximum Speed
本文提出一种基于强化学习的低速自动驾驶策略优化方法,在保证安全和路线准确性的前提下,使车辆稳定保持接近最高速度行驶。
2024-12-20 cs.AI cs.RO
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge(剑桥大学);DeepMind;Max Planck Institute(马克斯·普朗克研究所);Uber AI Labs(Uber人工智能实验室);UC Berkeley(加州大学伯克利分校)
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面,策略算法通常更稳定,更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明,具有价值函数估计器的非策略更新可以用策略策略梯度更新插值,同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法,最近提出的几个算法是这个家庭的特殊情况。然后,我们提供了一个实证比较这些技术与其余的算法细节固定,并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一,对偏离策略更新引入的偏差具有理论保证,并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
Optimizing Market Making using Multi-Agent Reinforcement Learning
本文将强化学习应用于做市优化问题。一个多智能体强化学习框架被用来最佳地放置限价订单,导致成功的交易。该框架由两个代理组成。宏观主体优化购买、出售或持有资产的决策。微代理优化在限价订单簿内下限价订单。在本文的背景下,所提出的框架在比特币加密货币市场上应用和研究。本文的目的是表明强化学习是一种可行的策略,可以应用于复杂的问题(复杂的环境),如做市。
2018-12-26 cs.LG q-fin.TR stat.ML
Bridging the Gap between Reinforcement Learning and Knowledge Representation: A Logical Off- and On-Policy Framework
知识表示是强化学习中的一个重要问题。在本文中,我们弥合了强化学习和知识表示之间的差距,通过提供一个丰富的知识表示框架,基于正常的逻辑程序与答案集语义,这是能够解决无模型强化学习问题,更复杂的领域,并利用特定领域的知识。我们证明了我们方法的正确性。我们证明了在我们的方法中为无模型强化学习问题找到离线和在线策略的复杂性是NP完全的。此外,我们证明了MDP环境中的任何无模型强化学习问题都可以编码为SAT问题。重要的是无模型强化
2010-12-07 cs.AI cs.LG cs.LO
Post-processing Networks: Method for Optimizing Pipeline Task-oriented Dialogue Systems using Reinforcement Learning
Nagoya University(名古屋大学)
许多研究已经提出了通过使用强化学习联合训练系统中的模块来优化整个管道面向任务的对话系统的对话性能的方法。然而,这些方法是有限的,因为它们只能应用于使用可训练的基于神经的方法实现的模块。为了解决这个问题,我们提出了一种方法,用于优化由任意方法实现的对话性能的模块组成的流水线系统。使用我们的方法,基于神经的组件称为后处理网络(PPN)安装在这样的系统中,对每个模块的输出进行后处理。通过使用强化学习更新所有PPN以提高系统的整体对话性能,而不需要每个模块是可区分的。通过对MultiWOZ数据集的对话模拟和人工评估,我们表明我们的方法可以提高由各种模块组成的流水线系统的对话性能。
2022-07-25 cs.AI cs.CL
Optimizing Quantum Variational Circuits with Deep Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
量子机器学习(QML)被认为是近期量子器件最有前途的应用之一。然而,量子机器学习模型的优化提出了许多挑战,这些挑战来自硬件的不完善和导航指数缩放希尔伯特空间的根本障碍。在这项工作中,我们评估了当代方法在深度强化学习中的潜力,以增强量子变分电路中基于梯度的优化例程。我们发现,强化学习增强优化器在噪声环境中始终优于梯度下降。所有代码和预训练的权重都可用于复制结果或部署模型:https://github.com/lockwo/rl_qvc_opt。
2022-05-14 cs.LG quant-ph
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology(奈良科学技术大学大学院科学技术研究科)
本文旨在建立一种基于熵正则化值的强化学习方法,保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限,我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数,它是可扩展的大规模(连续)的状态空间问题。我们提出了一种新的强化学习算法,利用这个下限作为一个标准,调整的程度,减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin(柏林工业大学)
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明,非确定性的政策改进可以稳定的方法,如LSPI通过控制改进的随机性。此外,我们表明,一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单,也应该很容易转移到更复杂的算法,如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University(索迈亚维迪亚维哈尔大学)
随着实时处理的影响在最近的过去被实现,强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点,但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索,特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大,我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程,并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比,平均1.48倍的加速比,比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology(东京工业大学);Mitsubishi Electric Corporation(三菱电机株式会社)
逆强化学习(IRL)在奖励工程可能很乏味的情况下很有吸引力。然而,先前的IRL算法使用策略上的转换,这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序,其中环境交互可能变得非常昂贵。为了解决这个问题,我们提出了Off-Policy Inverse强化学习(OPIRL),它(1)采用off-policy数据分布而不是on-policy,并能够显着减少与环境的交互次数,(2)学习一个固定的奖励函数,该函数在动态变化时具有高度的泛化能力,(3)利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果,并且交互明显减少。此外,我们的经验表明,恢复的奖励函数一般化到不同的任务,现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学);University of California, Irvine(加利福尼亚大学尔湾分校)
本文针对电商搜索广告排名与竞价机制,结合强化学习与进化策略提出动态模型,有效平衡广告主成本、用户相关性与平台收入,显著提升广告投放准确率与成本效率。
2024-05-29 cs.LG