Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI有限公司)
提出一种结合分解与进化搜索的群体元强化学习框架,通过维护权重向量群体并迭代优化,生成多样且分布均匀的帕累托前沿近似,在多目标供应链优化中超体积提升高达32%。
2026-06-23 cs.LG
Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes
Quantinuum
本文提出利用强化学习自适应组合量子电路优化传递,有效提升优化效果。
2026-11-06 cs.LG quant-ph
Autonomous Control of a Particle Accelerator using Deep Reinforcement Learning
Apple(苹果公司);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
我们描述了一种使用深度强化学习结合高保真物理引擎来学习大型线性粒子加速器的最优控制策略的方法。该框架由一个人工智能控制器组成,该控制器使用深度神经网络进行状态和动作空间表示,并使用物理模拟器提供的奖励信号学习最佳策略。对于这项工作,我们只关注整个加速器的一小部分。然而,初步结果表明,我们可以实现优于人类水平的性能方面的粒子束流和分布。这项工作的最终目标是大幅减少这些设施的调谐时间,并实现近乎自主的控制。
2020-12-20 cs.AI cs.LG physics.acc-ph
Reinforcement Learning for Efficient Design and Control Co-optimisation of Energy Systems
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Planair SA(普莱尔公司);University of Liège(列日大学)
本文提出一种新型强化学习框架,通过联合优化能源系统的设计与控制策略,摆脱对显式系统建模的依赖,从而提升可再生能源整合效率和系统整体性能。
2024-06-28 cs.LG
MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI 公司)
MIRACL通过元多目标强化学习框架,实现了在多目标多层级组合供应链优化中的高效适应与泛化,实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
Fingerprint Policy Optimisation for Robust Reinforcement Learning
University of Oxford(牛津大学)
策略梯度方法忽略了调整环境变量的潜在价值:在物理设置中由环境随机确定的不可观察的状态特征,但在模拟器中是可控的。如果环境变量对过渡动态有很大的影响,这可能导致学习缓慢或收敛到次优策略。在本文中,我们提出了指纹策略优化(FPO),它找到了一个政策,是最佳的预期分布的环境变量。其中心思想是使用贝叶斯优化(BO)来主动选择环境变量的分布,使策略梯度方法的每次迭代产生的改进最大化。为了使这个BO实用,我们贡献了两个易于计算的低维指纹的当前政策。我们的实验表明,FPO可以有效地学习对重大罕见事件具有鲁棒性的策略,这些事件在随机抽样下不太可能被观察到,但却是学习良好策略的关键。
2019-05-27 cs.AI cs.LG stat.ML
Transfer learning-enhanced deep reinforcement learning for aerodynamic airfoil optimisation subject to structural constraints
ETSIAE-UPM-School of Aeronautics, Universidad Politécnica de Madrid, Plaza Cardenal Cisneros 3, E-28040 Madrid, Spain(西班牙马德里理工大学航空航天学院);Institute for Cross-Disciplinary Physics(跨学科物理研究所);Center for Computational Simulation, Universidad Politécnica de Madrid, Campus de Montegancedo, Boadilla del Monte, 28660 Madrid, Spain(马德里理工大学计算仿真中心)
该研究提出迁移学习增强的深度强化学习方法,用于兼顾气动性能与结构约束的翼型优化,相比传统粒子群优化方法计算效率更高、气动提升更显著,且迁移学习版本可在保持性能的同时节省大量算力。
2025-08-01 cs.LG physics.comp-ph
Deep Reinforcement Learning and Convex Mean-Variance Optimisation for Portfolio Management
University of the Witwatersrand(金山大学)
传统的投资组合管理方法可以结合特定的投资者偏好,但依赖于对资产收益和协方差的准确预测。强化学习(RL)方法不依赖于这些明确的预测,更适合多阶段决策过程。为了解决评估研究的局限性,我们在总体趋势不同的不同经济体的三个市场进行了实验。通过将特定的投资者偏好纳入我们的RL模型的奖励函数中,可以在风险收益空间中与传统方法进行更全面的比较。交易成本的模型也更现实,包括市场波动和交易量引起的非线性变化。这项研究的结果表明,在某些市场条件下,与传统的凸均值-方差优化方法相比,使用RL方法可能具有优势。我们的RL模型在上升趋势市场中的表现可以显著优于传统的单期优化(SPO)和多期优化(MPO)模型,但仅限于特定的风险限制。在横向趋势市场中,SPO和MPO模型的表现可以与我们的RL模型在大多数测试的超额风险范围内紧密匹配。在特定的市场条件下,这些模型可以胜过对方突出的重要性,更全面的比较帕累托最优边界的风险回报空间。这些前沿领域让投资者更细致地了解哪些模型可能为他们特定的风险承受能力或回报目标提供更好的表现。
2022-02-13 cs.LG q-fin.PM
Model-free and Bayesian Ensembling Model-based Deep Reinforcement Learning for Particle Accelerator Control Demonstrated on the FERMI FEL
Paris Lodron University(巴黎洛德伦大学);CERN(欧洲核子研究组织)
强化学习在加速器控制方面有着巨大的前景。本文的主要目标是展示如何利用这种方法在操作层面上的加速器物理问题。尽管无模型强化学习在多个领域取得了成功,但样本效率仍然是一个瓶颈,这可能会被基于模型的方法所涵盖。我们比较适合纯粹的基于模型的无模型强化学习应用于FERMI自由电子激光系统的强度优化。我们发现,基于模型的方法表现出更高的代表性的权力和样本效率,而无模型的方法的渐近性能略优。基于模型的算法使用不确定性感知模型以DYNA风格实现,而无模型算法基于定制的深度Q学习。在这两种情况下,算法的实现方式,这提出了增加的噪声鲁棒性,无处不在的加速器控制问题。代码发布在https://github.com/MathPhysSim/FERMI_RL_Paper。
2022-01-26 cs.AI cs.LG cs.SY
Spectral Normalisation for Deep Reinforcement Learning: an Optimisation Perspective
Bitdefender(比特梵德);Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);Imperial College London(帝国理工学院);DeepMind(深度思维);University College London(伦敦大学学院)
大多数最近的深度强化学习进展都采取了以RL为中心的观点,并专注于训练目标的细化。我们从这个角度出发,表明我们可以恢复这些发展的性能,而不是通过改变目标,而是通过正则化的价值函数估计。使用光谱归一化约束单层的Lipschitz常数足以将分类DQN代理的性能提升到具有挑战性的Atari域上的更详细的\rainbow{}代理的性能。我们进行消融研究,以解开归一化对学习动态的各种影响,并表明这足以调节参数更新,以恢复频谱归一化的大部分性能。这些发现暗示,需要关注神经组件及其学习动态,以解决深度强化学习的特殊性。
2021-05-11 cs.AI cs.LG
Optimisation of Resource Allocation in Heterogeneous Wireless Networks Using Deep Reinforcement Learning
African Institute for Mathematical Sciences, South Africa(非洲数学科学研究所,南非);University of Cape Town, South Africa(开普敦大学,南非)
本文提出基于深度强化学习的近实时RAN智能控制器,通过联合优化发射功率、带宽切片和用户调度,减少能耗并提升用户公平性。
2026-04-07 cs.LG cs.NI eess.SP
A3C-S: Automated Agent Accelerator Co-Search towards Efficient Deep Reinforcement Learning
Rice University(莱斯大学)
针对 DRL 端侧部署中智能体复杂性与硬件资源受限的矛盾,提出 A3C-S 框架,自动协同搜索匹配的智能体与加速器,以同时提升测试分数和硬件效率。
2025-01-04 cs.LG
Sample-Efficient, Exploration-Based Policy Optimisation for Routing Problems
无模型的基于深度强化的学习算法已经应用于一系列COP ~ \cite{bello2016neural} ~ \cite{kool2018attention} ~ \cite{nazari2018reinforcement}。然而,这些方法在应用于组合问题时遇到两个关键挑战:探索不足和需要搜索空间的许多训练样本来实现合理的性能。组合优化可以是复杂的,其特征在于具有许多最优值的搜索空间和用于搜索和学习的大空间。因此,需要一种新的方法来找到更有效的解决方案,通过更有效的样本。本文提出了一种新的基于熵的强化学习方法。此外,我们还设计了一种基于偏离策略的强化学习技术,该技术可以最大化预期收益并提高样本效率,从而在训练期间实现更快的学习。我们系统地评估我们的方法在一系列路线优化任务通常用于评估基于学习的优化,如旅行推销员问题(TSP),容量限制车辆路径问题(CVRP)。在本文中,我们表明,我们的模型可以推广到各种路由问题,如拆分交付VRP(SDVRP),并比较我们的方法与当前最先进的方法的性能。实证结果表明,该方法可以提高国家的最先进的方法在解决方案的质量和计算时间,并推广到不同规模的问题。
2022-05-31 cs.LG
Learning Vehicle Routing Problems using Policy Optimisation
深度强化学习(Deep Reinforcement Learning,DRL)已被用于通过策略网络学习解决复杂组合优化问题的有效算法,并表现出良好的性能。现有的工作都集中在解决(车辆)路由问题,因为他们有一个很好的平衡之间的非平凡性和困难。最先进的方法使用强化学习来学习策略,并且所学习的策略充当伪求解器。这些方法在某些情况下表现出良好的性能,但由于典型的组合/路由问题的大搜索空间,它们可能会收敛得太快,策略不佳。为了防止这种情况,在本文中,我们提出了一种名为熵正则化强化学习(ERRL)的方法,该方法通过提供更多的随机策略来支持探索,从而提高优化效果。经验上,低方差ERRL提供RL训练快速和稳定。我们还引入了一个组合的本地搜索算子在测试时,显着提高解决方案和补充ERRL。我们定性地证明,对于车辆路径问题,具有较高熵的策略可以使优化景观平滑,这使得它更容易优化。定量评价表明,该模型的性能与最先进的变体相当。在我们的评估中,我们实验表明,该模型产生的最先进的性能的车辆路径问题的变种,如容量限制车辆路径问题(CVRP),固定车队问题(MRPFF)和旅行推销员问题的多个路由。
2020-12-24 cs.LG
The Best of N Worlds: Aligning Reinforcement Learning with Best-of-N Sampling via max@k Optimisation
JetBrains Research(JetBrains研究)
针对 RLVR 微调损害探索能力、导致 Best-of-N 采样性能退化的问题,提出直接优化 max@k 指标的无偏同策略及离策略梯度方法,实验证明其有效对齐 Best-of-N 推理策略。
2025-10-27 cs.LG
Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories
InstaDeep
混合整数线性规划(MILP)的组合优化问题在实际应用中是普遍存在的。典型的分支定界算法通过构造一个搜索树来精确求解MILP问题。在实践中,它的求解时间性能取决于算法,例如选择下一个要约束的变量(“分支”)。最近,机器学习(ML)已经成为分支的一个有前途的范例。然而,以前的工作一直在努力应用强化学习(RL),引用稀疏奖励,困难的探索和部分可观察性作为重大挑战。相反,领先的机器学习方法采用模仿学习(IL)来近似高质量的手工算法,这排除了新策略的发现,并需要昂贵的数据标签。在这项工作中,我们提出了逆向分支;一种简单而有效的分支RL方法。通过回顾性地将搜索树解构为多条路径,每条路径都包含在一个子树中,我们使智能体能够从更短的轨迹中学习,并具有更可预测的下一个状态。在四个组合任务的实验中,我们的方法可以在没有任何专家指导或预训练的情况下学习分支。我们的性能优于目前最先进的RL分支算法3- 5倍,并且在具有500个约束和1000个变量的MILP上的最佳IL方法性能的20%以内,消融验证了我们回顾性构建的轨迹对于实现这些结果至关重要。
2022-12-05 cs.LG
Causal Reinforcement Learning for Optimisation of Robot Dynamics in Unknown Environments
Cranfield University(克兰菲尔德大学)
针对机器人在未知环境中因缺乏交互动力学认知而难以自主操作的问题,提出一种新颖的因果强化学习架构,通过学习物体视觉特征与交互动力学的因果关系优化决策,在城市场景中使学习时间降低24.5%以上。
2024-09-20 cs.LG cs.RO
Maximum a Posteriori Policy Optimisation
DeepMind
我们介绍了一种新的强化学习算法,称为最大后验策略优化(MPO)的基础上相对熵目标的坐标上升。我们表明,现有的几种方法可以直接与我们的推导。我们开发了两种非策略算法,并证明了它们在深度强化学习中与最先进的算法具有竞争力。特别是,对于连续控制,我们的方法优于现有的方法方面的样本效率,过早收敛和鲁棒性超参数设置,同时实现类似或更好的最终性能。
2018-06-14 cs.AI cs.IT cs.LG
Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation
InstaDeep;AIMS;University of Stellenbosch(斯特伦博斯大学)
本文提出CPPO算法,通过对比性Q值直接优化策略优势,无需奖励函数或回放缓冲区,在连续和离散环境中均表现出色,超越现有CRL基线并在多项任务中达到与PPO相当的性能。
2026-05-13 cs.AI cs.LG
Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
University of Catania(卡塔尼亚大学)
针对多租户多加速器云环境中差异化 QoS 需求,提出基于深度强化学习的 DNN 在线实时调度算法,以截止时间命中率为 SLI,保障租户级和模型级服务质量。
2024-02-09 cs.AR cs.DC cs.LG
Reinforcement Learning for Accelerated Aerodynamic Shape Optimisation
Software Competence Center Hagenberg (SCCH)(软件竞争力中心哈根贝格);Institut für Strömungsmechanik und Wärmeübertragung, TU Wien(流体力学与传热研究所,维也纳技术大学);CERBSim GmbH(CERBSim公司)
提出基于强化学习的自适应优化算法,通过代理模型和演员-评论家策略评估的MCMC方法,冻结部分参数以降低维度,加速气动外形优化,并在简单流体动力学问题上验证了特征重要性解释能力。
2026-06-18 cs.LG
Deep W-Networks: Solving Multi-Objective Optimisation Problems With Deep Reinforcement Learning
Trinity College Dublin(都柏林圣三一学院)
本文提出Deep W-Networks(DWN)方法,通过用DQN替换Q表并引入W-Networks替代表格权重,将W-learning扩展至大型状态空间,有效解决多目标策略竞争并在基准测试中优于基线且找到Pareto前沿。
2023-02-23 cs.LG math.OC
Autonomous Pressure Control in MuVacAS via Deep Reinforcement Learning and Deep Learning Surrogate Models
HI Iberia(HI伊比利亚);Department of Mathematics, Universidad Carlos III de Madrid(数学系,卡洛斯三世大学);Gregorio Millán Barbany Institute, Universidad Carlos III de Madrid(格里戈里·米兰·巴尔巴尼研究所,卡洛斯三世大学);IFMIF-DONES Spain(IFMIF-DONES西班牙)
本文提出利用深度强化学习和深度学习替代模型实现MuVacAS的自主压力控制,通过数字孪生技术提升粒子加速器的智能化控制水平。
2025-12-17 cs.LG physics.acc-ph
Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems
University of Catania(卡塔尼亚大学)
针对云环境下多租户DNN调度的SLA满足与硬件利用问题,提出考虑加速器异构性和带宽争用的低开销深度强化学习调度算法RELMAS,相比现有技术SLA满足率最高提升173%,能量开销低于1.5%。
2024-04-13 cs.AR cs.DC cs.LG
Reinforcement Learning-Based Joint Self-Optimisation Method for the Fuzzy Logic Handover Algorithm in 5G HetNets
University of Nottingham Ningbo China(宁波诺丁汉大学);University of Nottingham(诺丁汉大学)
5G异构网络(HetNet)可以通过在4G宏系统内部署大量小型基站(BS)来为用户提供更高的网络覆盖和系统容量。然而,小基站的大规模部署显著增加了网络维护和优化的复杂性和工作量。当前的切换(HO)触发机制A3事件仅被设计用于宏系统中的移动性管理。在5G-HetNet中直接实现A3可能会降低用户移动性鲁棒性。受自组织网络(SON)概念的启发,该研究开发了一种自优化的触发机制,以实现自动化网络维护并增强5G-HetNet中的用户移动性鲁棒性。该方法将减法聚类和Q学习框架的优点集成到传统的基于模糊逻辑的HO算法(FLHA)中。首先采用减法聚类方法生成FLHA的隶属度函数,使FLHA具有自配置特性。随后,Q-学习是用来学习的最佳HO政策,从环境中的模糊规则,赋予FLHA与自我优化功能。具有SON功能的FLHA还克服了必须严重依赖专业经验来设计的传统FLHA的局限性。仿真结果表明,所提出的自优化FLHA可以有效地产生MF和模糊规则的FLHA。通过与传统的触发机制相比,所提出的方法可以减少HO,乒乓HO和HO失败率约91%,49%和97.5%,同时提高网络吞吐量和延迟分别为8%和35%。
2021-02-27 cs.LG cs.NI
3D UAV Trajectory and Data Collection Optimisation via Deep Reinforcement Learning
Queen’s University Belfast(贝尔法斯特女王大学);Ho Chi Minh City University of Technology and Education(胡志明市技术教育大学);Tyndall National Institute(廷德尔国家研究所);University of Southampton(南安普顿大学)
为了提高无线通信的网络性能和覆盖范围,现在开始部署无人机(UAV)。然而,由于其机载功率和飞行时间的限制,这是具有挑战性的,以获得一个最佳的资源分配方案,无人机辅助物联网(IoT)。在本文中,我们设计了一种新的无人机辅助物联网系统,该系统依赖于无人机的最短飞行路径,同时最大限度地提高从物联网设备收集的数据量。然后,设想了一种基于深度强化学习的技术,用于在特定覆盖区域中找到最佳轨迹和吞吐量。经过训练后,无人机能够以显著的总速率提高自主收集来自用户节点的所有数据,同时最大限度地减少所使用的相关资源。提供的数值结果,以突出我们的技术如何达到的吞吐量,轨迹和所花费的时间之间的平衡。更明确地说,我们在无人机轨迹,预期的回报和总的总和率方面的可达到的性能。
2021-06-06 cs.AI cs.LG eess.SP
Investigating the Edge of Stability Phenomenon in Reinforcement Learning
University College London(伦敦大学学院);Google Deepmind(谷歌DeepMind)
本文研究了异策略深度强化学习中的稳定性边缘现象,发现该现象在 DQN(Huber 损失)中明显存在而在 C51(交叉熵损失)中未出现,揭示了深度 RL 优化与监督学习的差异。
2023-07-09 cs.LG
Adaptive Height Optimisation for Cellular-Connected UAVs using Reinforcement Learning
Trinity College Dublin(都柏林圣三一学院);Virginia Tech(弗吉尼亚理工大学)
为蜂窝连接的无人机提供可靠的连接可能非常具有挑战性;它们的性能在很大程度上取决于周围环境的性质,例如地面BS的密度和高度。另一方面,高层建筑物可能阻挡来自地面BS的不期望的干扰信号,从而改善UAV与其服务BS之间的连接性。为了解决无人机在这种环境中的连通性问题,本文提出了一种RL算法,用于动态优化无人机在环境中移动时的高度,其目标是增加其所经历的吞吐量或频谱效率。所提出的解决方案在两种情况下进行评估:使用一系列生成的环境,我们在其中改变BS的数量和建筑密度,并在一个场景中使用从爱尔兰都柏林的实验中获得的真实数据。结果表明,我们提出的基于RL的解决方案提高了6%至41%的无人机的QoS,这取决于场景。我们还得出结论,当飞行高度高于建筑物,建筑物密度的变化对无人机的QoS没有影响。另一方面,BS密度会对UAV QoS产生负面影响,BS数量越多,产生的干扰越多,UAV性能越差。
2022-04-13 cs.LG eess.SP
Hyperparameter Optimisation with Practical Interpretability and Explanation Methods in Probabilistic Curriculum Learning
University of Queensland(昆士兰大学)
本文针对概率课程学习在强化学习中的超参数优化难题,基于AlgOS与Optuna TPE提出搜索空间细化策略,并引入SHAP可解释性方法分析超参数影响,提升优化效率与计算可行性。
2025-04-09 cs.AI cs.LG
Skill-aware Mutual Information Optimisation for Generalisation in Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);University of Edinburgh(爱丁堡大学)
本文提出技能感知互信息(SaMI)及其估计器SaNCE,通过区分上下文嵌入来提升元强化学习智能体的零样本泛化能力,并在MuJoCo和Panda-gym基准上验证了其有效性及对样本减少的鲁棒性。
2024-11-06 cs.AI cs.LG cs.RO
A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning
强化学习(RL)系统依赖于一组影响系统性能的初始条件(超参数)。然而,定义一个好的超参数选择是一个具有挑战性的问题。超参数调优通常需要手动或自动搜索以找到最佳值。尽管如此,一个值得注意的限制是复杂模型的算法评估成本高,使得调优过程在计算上昂贵且耗时。在本文中,我们提出了一个框架的基础上集成复杂事件处理和时态模型,以减轻这些权衡。通过这种组合,可以基于数据流监控有效且不显眼地获得有关运行的RL系统的见解,并创建抽象表示,允许对RL系统的历史行为进行推理。所获得的知识被用来提供反馈给RL系统,以优化其超参数,同时有效地利用并行资源。我们引入了一种新的历史感知epsilon贪婪逻辑用于超参数优化,而不是使用在整个训练中保持固定的静态超参数,而是基于对代理在单个代理生命周期中的时间窗口的性能分析在运行时调整超参数。我们在5G移动通信案例研究中测试了所提出的方法,该案例研究使用DQN(RL的一种变体)进行决策。我们的实验证明了使用历史的超参数调整对训练稳定性和奖励值的影响。令人鼓舞的结果表明,所提出的历史感知框架显着提高性能相比,传统的超参数调整方法。
2023-03-09 cs.AI cs.LG cs.SE
Hype or Heuristic? Quantum Reinforcement Learning for Join Order Optimisation
Technical University of Applied Sciences Regensburg(雷根斯堡应用技术大学);University of Lübeck(吕贝克大学);Siemens AG, Technology(西门子股份公司技术部)
针对数据库连接顺序优化问题,提出基于混合变分量子拟设的量子强化学习方法,可处理通用浓密连接树且所需量子比特极少,虽性能与经典方法相当,但可训练参数大幅减少,训练效率更高,适用于低延迟场景。
2024-05-13 cs.DB cs.LG quant-ph
Introduction to Machine Learning for Accelerator Physics
SLAC(斯坦福直线加速器中心)
这对CAS讲座为加速器物理学学生介绍了机器学习(ML)的框架和术语。我们首先通过线性回归的简单示例介绍ML语言,包括从概率角度介绍极大似然估计(MLE)和极大先验(MAP)估计的概念。然后,我们将这些概念应用于神经网络和逻辑回归的示例。接下来,我们将介绍非参数模型和核方法,并简要介绍另外两种机器学习范式,无监督学习和强化学习。最后,我们关闭ML在自由电子激光的应用实例。
2020-06-17 cs.LG physics.acc-ph
One-shot, Offline and Production-Scalable PID Optimisation with Deep Reinforcement Learning
University College London(伦敦大学学院);Huber+Suhner Polatis
比例-积分-微分(PID)控制是自动化工业过程中比$97\%$更重要的基础。有效地控制这些过程相对于一些指定的一组性能目标,需要找到一组最佳的PID参数,以缓和PID回路。调整这些参数是一个漫长而详尽的过程。提出了一种基于深度强化学习的方法(正在申请专利),该方法学习通用系统属性(例如谐振频率)、多目标性能目标和最佳PID参数值之间的关系。性能证明在一个真正的光开关产品的最重要的制造商,这种设备的全球范围内。开关由压电致动器处理,其中开关时间和光损耗分别来自致动器控制过程的速度和稳定性。该方法实现了落在最具挑战性的目标切换速度内的致动器的数量的$5\times$改进、相同光损耗下的平均切换速度的$\geq 20\%$改进以及温度在5摄氏度和73摄氏度之间变化时的性能不一致性的$\geq 75\%$降低。此外,一旦被训练(其采用$\mathcal{O}(hours)$),该模型就在单次推理过程中生成致动器唯一的PID参数,该单次推理过程采用$\mathcal{O}(ms)$与常规调谐方法所需的高达$\mathcal{O}(week)$相比,因此实现这些性能改进,同时实现高达$10^6\times$加速。在训练之后,该方法可以完全离线应用,在生产中有效地产生零优化开销。
2022-10-25 cs.AI cs.LG cs.SY
Wasserstein Robust Reinforcement Learning
Huawei R&D UK(华为英国研发中心);Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
强化学习算法虽然成功,但往往过度适应训练环境,阻碍了它们在现实世界中的应用。本文提出了$\text{W}\text{R}^{2}\text{L}$ -一个强大的强化学习算法具有显着的低维和高维控制任务的鲁棒性能。我们的方法形式化强大的强化学习作为一个新的最小-最大的游戏与Wasserstein约束的正确和收敛的求解器。除了制定,我们还提出了一个有效的和可扩展的求解器以下一种新的零阶优化方法,我们相信可以是有用的数值优化一般。我们经验证明显着的收益相比,标准和强大的国家的最先进的算法在高维MuJuCo环境。
2019-09-16 cs.AI cs.LG stat.ML
Reinforcement Learning with a Bilevel World-Model Architecture for Scan-Order Optimisation in Laser Directed Energy Deposition
College of Engineering, Design and Physical Sciences, Brunel University London(布鲁内尔大学伦敦工程、设计与物理科学学院);Pattern Recognition Laboratory, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别实验室);ISIS Neutron and Muon Source, Science and Technology Facilities Council, Rutherford Appleton Laboratory(Rutherford Appleton实验室,科学与技术设施委员会ISIS中子与μ子源)
本文提出一个双层代理-有限元分析诊断框架,通过轻量代理和稀疏有限元模拟,诊断强化学习在激光增材制造扫描顺序优化中的奖励和世界模型保真度问题。
2026-06-28 cond-mat.mtrl-sci cs.LG
QuantFPFlow: Quantum Amplitude Estimation for Fokker--Planck Policy Optimisation in Continuous Reinforcement Learning
AI-WEINBERG, AI Experts(AI-WEINBERG人工智能专家)
QuantFPFlow通过量子振幅估计提升连续强化学习中Fokker-Planck策略优化的效率,实现算法复杂度从O(1/ε²)到O(1/ε)的平方加速,并在多模态奖励景观中发现全局最优解。
2026-05-14 cs.AI cs.LG
Population-based Global Optimisation Methods for Learning Long-term Dependencies with RNNs
University of Oxford(牛津大学);Oxford-Man Institute of Quantitative Finance(牛津-曼量化金融研究所)
尽管最近在网络架构和损失函数方面进行了创新,但由于基于梯度的优化方法的挑战,训练RNN学习长期依赖关系仍然很困难。受Deep Neuroevolution在强化学习中的成功启发(Such et al. 2017),我们探索了基于无梯度群体的全局优化(PBO)技术的使用-训练RNN以捕获时间序列数据中的长期依赖关系。测试进化策略(ES)和粒子群优化(PSO)在波动率预测的应用程序,我们表明,PBO方法导致的性能改善一般,ES表现出最一致的结果在各种架构。
2019-05-23 cs.LG stat.ML
SmartFlow Reinforcement Learning and Agentic AI for Bike-Sharing Optimisation
Department of Data Science, Machine Learning \& Artificial Intelligence, PES University, Bengaluru, Karnataka - 560100, India;1 Sunrise Setting Ltd, 12a Fore Street, St. Marychurch, Torquay, Devon, TQ1 4NE, UK 2 European Alliance for Innovation (EAI), Gent, Belgium
SmartFlow 通过整合强化学习与代理AI,实现城市自行车共享系统的高效再平衡,显著减少网络不平衡并提升运营效率。
2025-12-30 cs.AI cs.LG
Fast, efficient and flexible particle accelerator optimisation using densely connected and invertible neural networks
粒子加速器是在各个学科中进行科学探索和发现的工具。然而,由于涉及大量参数和潜在的非线性动态特性,为这些复杂机器找到优化的操作点是一项具有挑战性的任务。在这里,我们介绍了两类数据驱动的代理模型,它们基于深度和可逆的神经网络,可以取代昂贵的物理计算机模型。这些模型采用多目标优化,找到帕累托最优操作点两个根本不同类型的粒子加速器。我们的方法将多目标加速器优化的解决方案的时间减少到640倍,计算成本高达98%。该框架为今后粒子加速器的在线实时多目标优化奠定了基础。
2021-06-30 physics.acc-ph
RIFT: A Scalable Methodology for LLM Accelerator Fault Assessment using Reinforcement Learning
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of Missouri-Columbia(密苏里大学哥伦比亚分校)
RIFT通过强化学习引导智能故障定位,实现高效LLM加速器故障评估,提升故障覆盖率与成本效益
2025-12-10 cs.AI cs.LG
Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
Your Fantastic Institute(优范研究院);Their Fantastic Institute(泽范研究院)
互信息是一个核心统计量,在机器学习的所有领域都有应用,无论是在多个数据模态上训练密度模型,最大化噪声传输信道的效率,还是在学习人工智能体探索的行为策略时。大多数涉及互信息优化的学习算法依赖于Blahut-Arimoto算法-一种具有指数复杂度的枚举算法,不适合现代机器学习应用。本文通过融合变分推断和深度学习的技术,为互信息的可扩展优化提供了一种新方法。我们通过关注内在动机学习的问题来开发我们的方法,其中互信息形成了一个众所周知的内部驱动的定义,称为授权。使用互信息的变分下界,结合处理视觉输入流的卷积网络,我们开发了一种随机优化算法,该算法允许直接从像素到动作的可扩展信息最大化和基于授权的推理。
2015-09-29 cs.AI cs.LG stat.ML
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland(昆士兰大学);Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对强化学习中目标自动创建的挑战,提出一种概率课程学习算法,通过为连续控制和导航任务中的智能体建议目标,系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
CORE: Constraint-Aware One-Step Reinforcement Learning for Simulation-Guided Neural Network Accelerator Design
University of California, Berkeley(加州大学伯克利分校);Futurewei Technologies(未来科技)
本文提出CORE,一种约束感知的一步强化学习方法,通过结构化分布采样、基于缩放图的解码器和无批评家的代理目标,在仿真引导的设计空间探索中高效平衡采样效率与约束满足,并在神经网络加速器协同设计中显著优于现有基线。
2025-06-04 cs.AI cs.AR cs.LG
Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning
School of Information Technology;Electrical Engineering The University of Queensland Brisbane, Australia
本文利用 NEAT 神经进化和 MAP-Elites 在三项强化学习任务中分析模块化与性能的关系,发现二者受网络及环境特征共同制约,直接优化模块化未必有益。
2024-10-25 cs.LG cs.NE
Gym-preCICE: Reinforcement Learning Environments for Active Flow Control
Heriot-Watt University(赫瑞-瓦特大学)
本研究提出兼容Gymnasium API的Python适配器Gym-preCICE,借助preCICE耦合库实现控制器与AFC仿真环境的信息交互,支撑AFC场景下强化学习环境的搭建与算法应用。
2023-05-03 cs.LG
RL-ABC: Reinforcement Learning for Accelerator Beamline Control
Laboratory of Methods for Big Data Analysis, HSE University, Moscow, Russia(大数据分析方法实验室,莫斯科HSE大学);Budker Institute of Nuclear Physics, Novosibirsk, Russia(布德ker核物理研究所,新西伯利亚俄罗斯)
本文提出RL-ABC框架,通过将束流线调谐转化为马尔可夫决策过程,利用强化学习算法实现自动优化,支持多种RL算法并提升训练效率。
2026-10-01 cs.LG hep-ex
ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
DNN加速器通过在DNN计算期间利用激活/权重/输出的重用来提供效率,以减少从DRAM到芯片的数据移动。复用被加速器的流水线捕获。虽然在探索和比较各种硬件方面已经有了重要的先前工作,但是用于分配片上硬件资源的策略(即,计算和存储器),其可以优化性能/能量,同时满足感兴趣的DNN的面积/功率的平台约束。平衡计算和内存的设计空间选择组合爆炸,正如我们在这项工作中所展示的那样(例如,运行\mobilenet的选择多达O(10^(72)),这使得通过穷举搜索进行手动调优是不可行的。考虑到不同的DNN和层类型表现出不同的重用量,也很难提出一个特定的启发式方法。在本文中,我们提出了一个自主的策略,称为孔子X找到优化的硬件资源分配为给定的模型和低风格。ConfuciuX利用强化学习方法REINFORCE来指导搜索过程,利用训练循环中详细的硬件性能成本模型来估计奖励。我们还增加了RL的方法与遗传算法进一步微调。与其他技术(如贝叶斯优化,遗传算法,模拟退火和其他RL方法)相比,ConfuciuX在训练中表现出最高的样本效率。它收敛到优化的硬件配置比其他技术快4.7到24倍。
2020-09-04 cs.AR cs.LG eess.SP
Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
Solofied Ltd.(索洛菲德有限公司)
针对DDPO仅有最终图像奖励导致的稀疏奖励与高样本需求,本文提出PXPO算法,将像素级反馈纳入扩散模型强化学习,以更精细的奖励优化策略。
2024-04-05 cs.CV cs.LG
Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
University of Southern California(南加州大学)
该研究提出新型动态协同优化编译器DCOC,通过含三个专用演员-评论家智能体的自适应MARL框架实现软硬件协同优化,缩减搜索空间,在多种DNN模型上吞吐量最高提升37.95%、优化时间最多缩短42.2%,优于现有前沿框架。
2025-02-21 cs.AI cs.AR cs.LG
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz(康斯坦茨大学)
针对深度强化学习智能体违反安全约束的问题,提出一种利用安全评论器的反例引导修复算法,通过梯度约束优化联合修复智能体与评论器,消除不安全行为。
2024-05-24 cs.LG cs.LO
On-Policy Trust Region Policy Optimisation with Replay Buffers
Department of Computer Science, University of Exeter(埃克塞特大学计算机科学系);University of Exeter(埃克塞特大学)
基于最近深度强化学习方法的成功,我们研究了通过重用来自多个连续策略的数据来改进策略上强化学习的可能性。基于策略的方法带来了许多好处,例如能够评估每个结果策略。然而,他们通常抛弃了所有关于以前存在的政策的信息。在这项工作中,我们提出了自适应的重放缓冲区的概念,借用了离策略学习设置,创建的方法,结合的优势,和离策略学习。为了实现这一点,所提出的算法概括的$Q$,价值和优势函数的数据从多个政策。该方法使用信赖域优化,同时避免了TRPO或ACKTR等算法的一些常见问题:它使用超参数代替信赖域选择算法,以及可训练协方差矩阵代替固定协方差矩阵。在许多情况下,该方法不仅改善了结果相比,最先进的信任区域同策略学习算法,如PPO,ACKTR和TRPO,但也相对于他们的非策略对应DDPG。
2019-01-18 cs.AI cs.LG stat.ML
An Optimisation Framework for Unsupervised Environment Design
本文从优化视角研究无监督环境设计,提出非凸-强凹目标下的可证明收敛算法,并在多个难度环境中验证其优于现有方法。
2025-07-09 cs.LG
SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算学院和数据科学学院,新加坡);Sony Corporation(索尼公司)
SB-TRPO通过动态平衡成本降低与奖励提升,提供硬约束强化学习的原理性算法,确保安全性和奖励的改进,实验显示其在安全约束下平衡性能最佳。
2026-09-29 cs.AI cs.LG