MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation
The University of Manchester(曼彻斯特大学);Peak AI, Ltd(Peak AI 公司)
MIRACL通过元多目标强化学习框架,实现了在多目标多层级组合供应链优化中的高效适应与泛化,实验表明其在超体积和预期效用方面表现优异。
2026-03-05 cs.LG
Fingerprint Policy Optimisation for Robust Reinforcement Learning
University of Oxford(牛津大学)
策略梯度方法忽略了调整环境变量的潜在价值:在物理设置中由环境随机确定的不可观察的状态特征,但在模拟器中是可控的。如果环境变量对过渡动态有很大的影响,这可能导致学习缓慢或收敛到次优策略。在本文中,我们提出了指纹策略优化(FPO),它找到了一个政策,是最佳的预期分布的环境变量。其中心思想是使用贝叶斯优化(BO)来主动选择环境变量的分布,使策略梯度方法的每次迭代产生的改进最大化。为了使这个BO实用,我们贡献了两个易于计算的低维指纹的当前政策。我们的实验表明,FPO可以有效地学习对重大罕见事件具有鲁棒性的策略,这些事件在随机抽样下不太可能被观察到,但却是学习良好策略的关键。
2019-05-27 cs.AI cs.LG stat.ML
Transfer learning-enhanced deep reinforcement learning for aerodynamic airfoil optimisation subject to structural constraints
ETSIAE-UPM-School of Aeronautics, Universidad Politécnica de Madrid, Plaza Cardenal Cisneros 3, E-28040 Madrid, Spain(西班牙马德里理工大学航空航天学院);Institute for Cross-Disciplinary Physics(跨学科物理研究所);Center for Computational Simulation, Universidad Politécnica de Madrid, Campus de Montegancedo, Boadilla del Monte, 28660 Madrid, Spain(马德里理工大学计算仿真中心)
该研究提出迁移学习增强的深度强化学习方法,用于兼顾气动性能与结构约束的翼型优化,相比传统粒子群优化方法计算效率更高、气动提升更显著,且迁移学习版本可在保持性能的同时节省大量算力。
2025-08-01 cs.LG physics.comp-ph
Deep Reinforcement Learning and Convex Mean-Variance Optimisation for Portfolio Management
University of the Witwatersrand(金山大学)
传统的投资组合管理方法可以结合特定的投资者偏好,但依赖于对资产收益和协方差的准确预测。强化学习(RL)方法不依赖于这些明确的预测,更适合多阶段决策过程。为了解决评估研究的局限性,我们在总体趋势不同的不同经济体的三个市场进行了实验。通过将特定的投资者偏好纳入我们的RL模型的奖励函数中,可以在风险收益空间中与传统方法进行更全面的比较。交易成本的模型也更现实,包括市场波动和交易量引起的非线性变化。这项研究的结果表明,在某些市场条件下,与传统的凸均值-方差优化方法相比,使用RL方法可能具有优势。我们的RL模型在上升趋势市场中的表现可以显著优于传统的单期优化(SPO)和多期优化(MPO)模型,但仅限于特定的风险限制。在横向趋势市场中,SPO和MPO模型的表现可以与我们的RL模型在大多数测试的超额风险范围内紧密匹配。在特定的市场条件下,这些模型可以胜过对方突出的重要性,更全面的比较帕累托最优边界的风险回报空间。这些前沿领域让投资者更细致地了解哪些模型可能为他们特定的风险承受能力或回报目标提供更好的表现。
2022-02-13 cs.LG q-fin.PM
Spectral Normalisation for Deep Reinforcement Learning: an Optimisation Perspective
Bitdefender(比特梵德);Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);Imperial College London(帝国理工学院);DeepMind(深度思维);University College London(伦敦大学学院)
大多数最近的深度强化学习进展都采取了以RL为中心的观点,并专注于训练目标的细化。我们从这个角度出发,表明我们可以恢复这些发展的性能,而不是通过改变目标,而是通过正则化的价值函数估计。使用光谱归一化约束单层的Lipschitz常数足以将分类DQN代理的性能提升到具有挑战性的Atari域上的更详细的\rainbow{}代理的性能。我们进行消融研究,以解开归一化对学习动态的各种影响,并表明这足以调节参数更新,以恢复频谱归一化的大部分性能。这些发现暗示,需要关注神经组件及其学习动态,以解决深度强化学习的特殊性。
2021-05-11 cs.AI cs.LG
Optimisation of Resource Allocation in Heterogeneous Wireless Networks Using Deep Reinforcement Learning
African Institute for Mathematical Sciences, South Africa(非洲数学科学研究所,南非);University of Cape Town, South Africa(开普敦大学,南非)
本文提出基于深度强化学习的近实时RAN智能控制器,通过联合优化发射功率、带宽切片和用户调度,减少能耗并提升用户公平性。
2026-04-07 cs.LG cs.NI eess.SP
Learning to Do or Learning While Doing: Reinforcement Learning and Bayesian Optimisation for Online Continuous Tuning
Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所);Karlsruhe Institute of Technology KIT(卡尔斯鲁厄理工学院)
本文在真实粒子加速器的常规在线调优任务中比较 RLO 与 BO,发现 RLO 通常更优但并非总最佳,并提出算法选择准则以推动自主调优落地。
2023-06-06 cs.AI cs.LG physics.acc-ph
Sample-Efficient, Exploration-Based Policy Optimisation for Routing Problems
无模型的基于深度强化的学习算法已经应用于一系列COP ~ \cite{bello2016neural} ~ \cite{kool2018attention} ~ \cite{nazari2018reinforcement}。然而,这些方法在应用于组合问题时遇到两个关键挑战:探索不足和需要搜索空间的许多训练样本来实现合理的性能。组合优化可以是复杂的,其特征在于具有许多最优值的搜索空间和用于搜索和学习的大空间。因此,需要一种新的方法来找到更有效的解决方案,通过更有效的样本。本文提出了一种新的基于熵的强化学习方法。此外,我们还设计了一种基于偏离策略的强化学习技术,该技术可以最大化预期收益并提高样本效率,从而在训练期间实现更快的学习。我们系统地评估我们的方法在一系列路线优化任务通常用于评估基于学习的优化,如旅行推销员问题(TSP),容量限制车辆路径问题(CVRP)。在本文中,我们表明,我们的模型可以推广到各种路由问题,如拆分交付VRP(SDVRP),并比较我们的方法与当前最先进的方法的性能。实证结果表明,该方法可以提高国家的最先进的方法在解决方案的质量和计算时间,并推广到不同规模的问题。
2022-05-31 cs.LG
Learning Vehicle Routing Problems using Policy Optimisation
深度强化学习(Deep Reinforcement Learning,DRL)已被用于通过策略网络学习解决复杂组合优化问题的有效算法,并表现出良好的性能。现有的工作都集中在解决(车辆)路由问题,因为他们有一个很好的平衡之间的非平凡性和困难。最先进的方法使用强化学习来学习策略,并且所学习的策略充当伪求解器。这些方法在某些情况下表现出良好的性能,但由于典型的组合/路由问题的大搜索空间,它们可能会收敛得太快,策略不佳。为了防止这种情况,在本文中,我们提出了一种名为熵正则化强化学习(ERRL)的方法,该方法通过提供更多的随机策略来支持探索,从而提高优化效果。经验上,低方差ERRL提供RL训练快速和稳定。我们还引入了一个组合的本地搜索算子在测试时,显着提高解决方案和补充ERRL。我们定性地证明,对于车辆路径问题,具有较高熵的策略可以使优化景观平滑,这使得它更容易优化。定量评价表明,该模型的性能与最先进的变体相当。在我们的评估中,我们实验表明,该模型产生的最先进的性能的车辆路径问题的变种,如容量限制车辆路径问题(CVRP),固定车队问题(MRPFF)和旅行推销员问题的多个路由。
2020-12-24 cs.LG
The Best of N Worlds: Aligning Reinforcement Learning with Best-of-N Sampling via max@k Optimisation
JetBrains Research(JetBrains研究)
针对 RLVR 微调损害探索能力、导致 Best-of-N 采样性能退化的问题,提出直接优化 max@k 指标的无偏同策略及离策略梯度方法,实验证明其有效对齐 Best-of-N 推理策略。
2025-10-27 cs.LG
Causal Reinforcement Learning for Optimisation of Robot Dynamics in Unknown Environments
Cranfield University(克兰菲尔德大学)
针对机器人在未知环境中因缺乏交互动力学认知而难以自主操作的问题,提出一种新颖的因果强化学习架构,通过学习物体视觉特征与交互动力学的因果关系优化决策,在城市场景中使学习时间降低24.5%以上。
2024-09-20 cs.LG cs.RO
Non-Asymptotic Pure Exploration by Solving Games
Centrum Wiskunde & Informatica(数学与计算机科学研究中心);Inria Lille(里尔法国国家信息与自动化研究所)
纯探索(也称为主动测试)是顺序收集信息以回答关于随机环境的查询的基本任务。好的算法很少出错,也很少采样。下界(多臂强盗模型的武器在指数家庭)表明,样本的复杂性是由一个优化问题的解决方案。现有的最先进的算法通过在每一步解决该优化问题的插件估计来实现渐近最优性。我们解释的优化问题作为一个未知的游戏,并提出基于迭代策略的采样规则,估计和收敛到其鞍点。我们应用无遗憾学习器获得第一个有限的置信保证,适用于指数族,适用于任何纯探索查询和强盗结构。此外,我们的算法只使用最佳对策预言,而不是完全解决优化问题。
2019-06-25 cs.LG stat.ML
Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories
InstaDeep
混合整数线性规划(MILP)的组合优化问题在实际应用中是普遍存在的。典型的分支定界算法通过构造一个搜索树来精确求解MILP问题。在实践中,它的求解时间性能取决于算法,例如选择下一个要约束的变量(“分支”)。最近,机器学习(ML)已经成为分支的一个有前途的范例。然而,以前的工作一直在努力应用强化学习(RL),引用稀疏奖励,困难的探索和部分可观察性作为重大挑战。相反,领先的机器学习方法采用模仿学习(IL)来近似高质量的手工算法,这排除了新策略的发现,并需要昂贵的数据标签。在这项工作中,我们提出了逆向分支;一种简单而有效的分支RL方法。通过回顾性地将搜索树解构为多条路径,每条路径都包含在一个子树中,我们使智能体能够从更短的轨迹中学习,并具有更可预测的下一个状态。在四个组合任务的实验中,我们的方法可以在没有任何专家指导或预训练的情况下学习分支。我们的性能优于目前最先进的RL分支算法3- 5倍,并且在具有500个约束和1000个变量的MILP上的最佳IL方法性能的20%以内,消融验证了我们回顾性构建的轨迹对于实现这些结果至关重要。
2022-12-05 cs.LG
Maximum a Posteriori Policy Optimisation
DeepMind
我们介绍了一种新的强化学习算法,称为最大后验策略优化(MPO)的基础上相对熵目标的坐标上升。我们表明,现有的几种方法可以直接与我们的推导。我们开发了两种非策略算法,并证明了它们在深度强化学习中与最先进的算法具有竞争力。特别是,对于连续控制,我们的方法优于现有的方法方面的样本效率,过早收敛和鲁棒性超参数设置,同时实现类似或更好的最终性能。
2018-06-14 cs.AI cs.IT cs.LG
Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation
InstaDeep;AIMS;University of Stellenbosch(斯特伦博斯大学)
本文提出CPPO算法,通过对比性Q值直接优化策略优势,无需奖励函数或回放缓冲区,在连续和离散环境中均表现出色,超越现有CRL基线并在多项任务中达到与PPO相当的性能。
2026-05-13 cs.AI cs.LG
Reinforcement Learning for Accelerated Aerodynamic Shape Optimisation
Software Competence Center Hagenberg (SCCH)(软件竞争力中心哈根贝格);Institut für Strömungsmechanik und Wärmeübertragung, TU Wien(流体力学与传热研究所,维也纳技术大学);CERBSim GmbH(CERBSim公司)
提出基于强化学习的自适应优化算法,通过代理模型和演员-评论家策略评估的MCMC方法,冻结部分参数以降低维度,加速气动外形优化,并在简单流体动力学问题上验证了特征重要性解释能力。
2026-06-18 cs.LG
Optimisation of the Accelerator Control by Reinforcement Learning: A Simulation-Based Approach
本研究提出基于强化学习的模拟框架,用于优化加速器控制,通过智能建议提升性能并减少调优时间。
2025-03-12 cs.LG physics.acc-ph
Reinforcement Learning-Based Joint Self-Optimisation Method for the Fuzzy Logic Handover Algorithm in 5G HetNets
University of Nottingham Ningbo China(宁波诺丁汉大学);University of Nottingham(诺丁汉大学)
5G异构网络(HetNet)可以通过在4G宏系统内部署大量小型基站(BS)来为用户提供更高的网络覆盖和系统容量。然而,小基站的大规模部署显著增加了网络维护和优化的复杂性和工作量。当前的切换(HO)触发机制A3事件仅被设计用于宏系统中的移动性管理。在5G-HetNet中直接实现A3可能会降低用户移动性鲁棒性。受自组织网络(SON)概念的启发,该研究开发了一种自优化的触发机制,以实现自动化网络维护并增强5G-HetNet中的用户移动性鲁棒性。该方法将减法聚类和Q学习框架的优点集成到传统的基于模糊逻辑的HO算法(FLHA)中。首先采用减法聚类方法生成FLHA的隶属度函数,使FLHA具有自配置特性。随后,Q-学习是用来学习的最佳HO政策,从环境中的模糊规则,赋予FLHA与自我优化功能。具有SON功能的FLHA还克服了必须严重依赖专业经验来设计的传统FLHA的局限性。仿真结果表明,所提出的自优化FLHA可以有效地产生MF和模糊规则的FLHA。通过与传统的触发机制相比,所提出的方法可以减少HO,乒乓HO和HO失败率约91%,49%和97.5%,同时提高网络吞吐量和延迟分别为8%和35%。
2021-02-27 cs.LG cs.NI
3D UAV Trajectory and Data Collection Optimisation via Deep Reinforcement Learning
Queen’s University Belfast(贝尔法斯特女王大学);Ho Chi Minh City University of Technology and Education(胡志明市技术教育大学);Tyndall National Institute(廷德尔国家研究所);University of Southampton(南安普顿大学)
为了提高无线通信的网络性能和覆盖范围,现在开始部署无人机(UAV)。然而,由于其机载功率和飞行时间的限制,这是具有挑战性的,以获得一个最佳的资源分配方案,无人机辅助物联网(IoT)。在本文中,我们设计了一种新的无人机辅助物联网系统,该系统依赖于无人机的最短飞行路径,同时最大限度地提高从物联网设备收集的数据量。然后,设想了一种基于深度强化学习的技术,用于在特定覆盖区域中找到最佳轨迹和吞吐量。经过训练后,无人机能够以显著的总速率提高自主收集来自用户节点的所有数据,同时最大限度地减少所使用的相关资源。提供的数值结果,以突出我们的技术如何达到的吞吐量,轨迹和所花费的时间之间的平衡。更明确地说,我们在无人机轨迹,预期的回报和总的总和率方面的可达到的性能。
2021-06-06 cs.AI cs.LG eess.SP
Adaptive Height Optimisation for Cellular-Connected UAVs using Reinforcement Learning
Trinity College Dublin(都柏林圣三一学院);Virginia Tech(弗吉尼亚理工大学)
为蜂窝连接的无人机提供可靠的连接可能非常具有挑战性;它们的性能在很大程度上取决于周围环境的性质,例如地面BS的密度和高度。另一方面,高层建筑物可能阻挡来自地面BS的不期望的干扰信号,从而改善UAV与其服务BS之间的连接性。为了解决无人机在这种环境中的连通性问题,本文提出了一种RL算法,用于动态优化无人机在环境中移动时的高度,其目标是增加其所经历的吞吐量或频谱效率。所提出的解决方案在两种情况下进行评估:使用一系列生成的环境,我们在其中改变BS的数量和建筑密度,并在一个场景中使用从爱尔兰都柏林的实验中获得的真实数据。结果表明,我们提出的基于RL的解决方案提高了6%至41%的无人机的QoS,这取决于场景。我们还得出结论,当飞行高度高于建筑物,建筑物密度的变化对无人机的QoS没有影响。另一方面,BS密度会对UAV QoS产生负面影响,BS数量越多,产生的干扰越多,UAV性能越差。
2022-04-13 cs.LG eess.SP
Skill-aware Mutual Information Optimisation for Generalisation in Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);University of Edinburgh(爱丁堡大学)
本文提出技能感知互信息(SaMI)及其估计器SaNCE,通过区分上下文嵌入来提升元强化学习智能体的零样本泛化能力,并在MuJoCo和Panda-gym基准上验证了其有效性及对样本减少的鲁棒性。
2024-11-06 cs.AI cs.LG cs.RO
A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning
强化学习(RL)系统依赖于一组影响系统性能的初始条件(超参数)。然而,定义一个好的超参数选择是一个具有挑战性的问题。超参数调优通常需要手动或自动搜索以找到最佳值。尽管如此,一个值得注意的限制是复杂模型的算法评估成本高,使得调优过程在计算上昂贵且耗时。在本文中,我们提出了一个框架的基础上集成复杂事件处理和时态模型,以减轻这些权衡。通过这种组合,可以基于数据流监控有效且不显眼地获得有关运行的RL系统的见解,并创建抽象表示,允许对RL系统的历史行为进行推理。所获得的知识被用来提供反馈给RL系统,以优化其超参数,同时有效地利用并行资源。我们引入了一种新的历史感知epsilon贪婪逻辑用于超参数优化,而不是使用在整个训练中保持固定的静态超参数,而是基于对代理在单个代理生命周期中的时间窗口的性能分析在运行时调整超参数。我们在5G移动通信案例研究中测试了所提出的方法,该案例研究使用DQN(RL的一种变体)进行决策。我们的实验证明了使用历史的超参数调整对训练稳定性和奖励值的影响。令人鼓舞的结果表明,所提出的历史感知框架显着提高性能相比,传统的超参数调整方法。
2023-03-09 cs.AI cs.LG cs.SE
Hype or Heuristic? Quantum Reinforcement Learning for Join Order Optimisation
Technical University of Applied Sciences Regensburg(雷根斯堡应用技术大学);University of Lübeck(吕贝克大学);Siemens AG, Technology(西门子股份公司技术部)
针对数据库连接顺序优化问题,提出基于混合变分量子拟设的量子强化学习方法,可处理通用浓密连接树且所需量子比特极少,虽性能与经典方法相当,但可训练参数大幅减少,训练效率更高,适用于低延迟场景。
2024-05-13 cs.DB cs.LG quant-ph
Investigating the Edge of Stability Phenomenon in Reinforcement Learning
University College London(伦敦大学学院);Google Deepmind(谷歌DeepMind)
本文研究了异策略深度强化学习中的稳定性边缘现象,发现该现象在 DQN(Huber 损失)中明显存在而在 C51(交叉熵损失)中未出现,揭示了深度 RL 优化与监督学习的差异。
2023-07-09 cs.LG
Hyperparameter Optimisation with Practical Interpretability and Explanation Methods in Probabilistic Curriculum Learning
University of Queensland(昆士兰大学)
本文针对概率课程学习在强化学习中的超参数优化难题,基于AlgOS与Optuna TPE提出搜索空间细化策略,并引入SHAP可解释性方法分析超参数影响,提升优化效率与计算可行性。
2025-04-09 cs.AI cs.LG
One-shot, Offline and Production-Scalable PID Optimisation with Deep Reinforcement Learning
University College London(伦敦大学学院);Huber+Suhner Polatis
比例-积分-微分(PID)控制是自动化工业过程中比$97\%$更重要的基础。有效地控制这些过程相对于一些指定的一组性能目标,需要找到一组最佳的PID参数,以缓和PID回路。调整这些参数是一个漫长而详尽的过程。提出了一种基于深度强化学习的方法(正在申请专利),该方法学习通用系统属性(例如谐振频率)、多目标性能目标和最佳PID参数值之间的关系。性能证明在一个真正的光开关产品的最重要的制造商,这种设备的全球范围内。开关由压电致动器处理,其中开关时间和光损耗分别来自致动器控制过程的速度和稳定性。该方法实现了落在最具挑战性的目标切换速度内的致动器的数量的$5\times$改进、相同光损耗下的平均切换速度的$\geq 20\%$改进以及温度在5摄氏度和73摄氏度之间变化时的性能不一致性的$\geq 75\%$降低。此外,一旦被训练(其采用$\mathcal{O}(hours)$),该模型就在单次推理过程中生成致动器唯一的PID参数,该单次推理过程采用$\mathcal{O}(ms)$与常规调谐方法所需的高达$\mathcal{O}(week)$相比,因此实现这些性能改进,同时实现高达$10^6\times$加速。在训练之后,该方法可以完全离线应用,在生产中有效地产生零优化开销。
2022-10-25 cs.AI cs.LG cs.SY
Using Reinforcement Learning for the Three-Dimensional Loading Capacitated Vehicle Routing Problem
University of Cambridge(剑桥大学);ETH Zurich(苏黎世联邦理工学院)
本文首次提出用强化学习以近似线性时间求解三维装载容量约束车辆路径问题,解决了传统运筹学方法随规模非线性扩展的瓶颈,实验表明其性能与最先进方法的平均差距仅为3.83%至8.10%,为大规模物流优化开辟了新方向。
2024-06-11 cs.LG math.OC
Wasserstein Robust Reinforcement Learning
Huawei R&D UK(华为英国研发中心);Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
强化学习算法虽然成功,但往往过度适应训练环境,阻碍了它们在现实世界中的应用。本文提出了$\text{W}\text{R}^{2}\text{L}$ -一个强大的强化学习算法具有显着的低维和高维控制任务的鲁棒性能。我们的方法形式化强大的强化学习作为一个新的最小-最大的游戏与Wasserstein约束的正确和收敛的求解器。除了制定,我们还提出了一个有效的和可扩展的求解器以下一种新的零阶优化方法,我们相信可以是有用的数值优化一般。我们经验证明显着的收益相比,标准和强大的国家的最先进的算法在高维MuJuCo环境。
2019-09-16 cs.AI cs.LG stat.ML
Reinforcement Learning with a Bilevel World-Model Architecture for Scan-Order Optimisation in Laser Directed Energy Deposition
College of Engineering, Design and Physical Sciences, Brunel University London(布鲁内尔大学伦敦工程、设计与物理科学学院);Pattern Recognition Laboratory, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别实验室);ISIS Neutron and Muon Source, Science and Technology Facilities Council, Rutherford Appleton Laboratory(Rutherford Appleton实验室,科学与技术设施委员会ISIS中子与μ子源)
本文提出一个双层代理-有限元分析诊断框架,通过轻量代理和稀疏有限元模拟,诊断强化学习在激光增材制造扫描顺序优化中的奖励和世界模型保真度问题。
2026-06-28 cond-mat.mtrl-sci cs.LG
QuantFPFlow: Quantum Amplitude Estimation for Fokker--Planck Policy Optimisation in Continuous Reinforcement Learning
AI-WEINBERG, AI Experts(AI-WEINBERG人工智能专家)
QuantFPFlow通过量子振幅估计提升连续强化学习中Fokker-Planck策略优化的效率,实现算法复杂度从O(1/ε²)到O(1/ε)的平方加速,并在多模态奖励景观中发现全局最优解。
2026-05-14 cs.AI cs.LG
Population-based Global Optimisation Methods for Learning Long-term Dependencies with RNNs
University of Oxford(牛津大学);Oxford-Man Institute of Quantitative Finance(牛津-曼量化金融研究所)
尽管最近在网络架构和损失函数方面进行了创新,但由于基于梯度的优化方法的挑战,训练RNN学习长期依赖关系仍然很困难。受Deep Neuroevolution在强化学习中的成功启发(Such et al. 2017),我们探索了基于无梯度群体的全局优化(PBO)技术的使用-训练RNN以捕获时间序列数据中的长期依赖关系。测试进化策略(ES)和粒子群优化(PSO)在波动率预测的应用程序,我们表明,PBO方法导致的性能改善一般,ES表现出最一致的结果在各种架构。
2019-05-23 cs.LG stat.ML
SmartFlow Reinforcement Learning and Agentic AI for Bike-Sharing Optimisation
Department of Data Science, Machine Learning \& Artificial Intelligence, PES University, Bengaluru, Karnataka - 560100, India;1 Sunrise Setting Ltd, 12a Fore Street, St. Marychurch, Torquay, Devon, TQ1 4NE, UK 2 European Alliance for Innovation (EAI), Gent, Belgium
SmartFlow 通过整合强化学习与代理AI,实现城市自行车共享系统的高效再平衡,显著减少网络不平衡并提升运营效率。
2025-12-30 cs.AI cs.LG
Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
Your Fantastic Institute(优范研究院);Their Fantastic Institute(泽范研究院)
互信息是一个核心统计量,在机器学习的所有领域都有应用,无论是在多个数据模态上训练密度模型,最大化噪声传输信道的效率,还是在学习人工智能体探索的行为策略时。大多数涉及互信息优化的学习算法依赖于Blahut-Arimoto算法-一种具有指数复杂度的枚举算法,不适合现代机器学习应用。本文通过融合变分推断和深度学习的技术,为互信息的可扩展优化提供了一种新方法。我们通过关注内在动机学习的问题来开发我们的方法,其中互信息形成了一个众所周知的内部驱动的定义,称为授权。使用互信息的变分下界,结合处理视觉输入流的卷积网络,我们开发了一种随机优化算法,该算法允许直接从像素到动作的可扩展信息最大化和基于授权的推理。
2015-09-29 cs.AI cs.LG stat.ML
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland(昆士兰大学);Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对强化学习中目标自动创建的挑战,提出一种概率课程学习算法,通过为连续控制和导航任务中的智能体建议目标,系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning
School of Information Technology;Electrical Engineering The University of Queensland Brisbane, Australia
本文利用 NEAT 神经进化和 MAP-Elites 在三项强化学习任务中分析模块化与性能的关系,发现二者受网络及环境特征共同制约,直接优化模块化未必有益。
2024-10-25 cs.LG cs.NE
Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
Solofied Ltd.(索洛菲德有限公司)
针对DDPO仅有最终图像奖励导致的稀疏奖励与高样本需求,本文提出PXPO算法,将像素级反馈纳入扩散模型强化学习,以更精细的奖励优化策略。
2024-04-05 cs.CV cs.LG
Gym-preCICE: Reinforcement Learning Environments for Active Flow Control
Heriot-Watt University(赫瑞-瓦特大学)
本研究提出兼容Gymnasium API的Python适配器Gym-preCICE,借助preCICE耦合库实现控制器与AFC仿真环境的信息交互,支撑AFC场景下强化学习环境的搭建与算法应用。
2023-05-03 cs.LG
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz(康斯坦茨大学)
针对深度强化学习智能体违反安全约束的问题,提出一种利用安全评论器的反例引导修复算法,通过梯度约束优化联合修复智能体与评论器,消除不安全行为。
2024-05-24 cs.LG cs.LO
On-Policy Trust Region Policy Optimisation with Replay Buffers
Department of Computer Science, University of Exeter(埃克塞特大学计算机科学系);University of Exeter(埃克塞特大学)
基于最近深度强化学习方法的成功,我们研究了通过重用来自多个连续策略的数据来改进策略上强化学习的可能性。基于策略的方法带来了许多好处,例如能够评估每个结果策略。然而,他们通常抛弃了所有关于以前存在的政策的信息。在这项工作中,我们提出了自适应的重放缓冲区的概念,借用了离策略学习设置,创建的方法,结合的优势,和离策略学习。为了实现这一点,所提出的算法概括的$Q$,价值和优势函数的数据从多个政策。该方法使用信赖域优化,同时避免了TRPO或ACKTR等算法的一些常见问题:它使用超参数代替信赖域选择算法,以及可训练协方差矩阵代替固定协方差矩阵。在许多情况下,该方法不仅改善了结果相比,最先进的信任区域同策略学习算法,如PPO,ACKTR和TRPO,但也相对于他们的非策略对应DDPG。
2019-01-18 cs.AI cs.LG stat.ML
SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算学院和数据科学学院,新加坡);Sony Corporation(索尼公司)
SB-TRPO通过动态平衡成本降低与奖励提升,提供硬约束强化学习的原理性算法,确保安全性和奖励的改进,实验显示其在安全约束下平衡性能最佳。
2026-09-29 cs.AI cs.LG
Deep Reinforcement Learning for Intelligent Reflecting Surface-assisted D2D Communications
Queen’s University Belfast(贝尔法斯特女王大学);Duy Tan University(阮攸大学);Memorial University(纪念大学)
在本文中,我们提出了一种深度强化学习(DRL)方法,用于解决智能反射面(IRS)支持的设备到设备(D2D)通信中网络总速率的优化问题。IRS被部署为减轻干扰并增强D2D发射机和相关联的D2D接收机之间的信号。我们的目标是联合优化D2D发射机的发射功率和IRS的相移矩阵,以最大化网络总速率。我们制定了一个马尔可夫决策过程,然后提出了解决最大化博弈的最接近的政策优化。仿真结果表明,令人印象深刻的性能方面的可实现的速率和处理时间。
2021-08-06 cs.AI cs.GT cs.LG
An Optimisation Framework for Unsupervised Environment Design
本文从优化视角研究无监督环境设计,提出非凸-强凹目标下的可证明收敛算法,并在多个难度环境中验证其优于现有方法。
2025-07-09 cs.LG
Bayes-Adaptive Deep Model-Based Policy Optimisation
Technical University of Munich(慕尼黑工业大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们引入了一种贝叶斯(深度)基于模型的强化学习方法(RoMBRL),该方法可以捕获模型的不确定性,以实现样本有效的策略优化。我们建议制定基于模型的政策优化问题作为贝叶斯自适应马尔可夫决策过程(BAMDP)。RoMBRL通过深度贝叶斯神经网络的置信分布来维护模型的不确定性,该深度贝叶斯神经网络的样本是通过随机梯度哈密顿蒙特卡罗生成的。不确定性通过由采样模型和基于历史的策略控制的模拟来传播。由于信念是在访问历史中编码的,我们提出了一个基于历史的策略网络,可以进行端到端的训练,以概括整个历史空间,并将使用经常性的信任区域策略优化进行训练。我们表明,RoMBRL优于现有的方法在许多具有挑战性的控制基准任务的样本复杂性和任务性能。本文的源代码也可在https://github.com/thobotics/RoMBRL上公开获得。
2021-01-04 cs.LG cs.RO
Prediction-Free, Real-Time Flexible Control of Tidal Lagoons through Proximal Policy Optimisation: A Case Study for the Swansea Lagoon
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
潮差结构(TRS)由于其潜在的产生合理可预测的能量而不排放温室气体的能力而被考虑用于大规模发电。一旦驱动潮汐的主要强迫分量具有确定性动力学,通过分析和数值优化程序,已估计给定TRS中的可用能量,作为一个主要可预测的事件。这一限制要求采用最先进的灵活操作方法,依靠潮汐预测来推断TRS的最佳操作策略,并需要为每个新潮汐运行优化程序的额外成本。本文介绍了一种深度强化学习方法(通过Unity ML-Agents进行最接近策略优化)来执行TRS的自动操作。为了验证,所提出的方法的性能进行比较,从文献中设计的六种不同的操作优化方法,利用斯旺西湾潮汐泻湖作为案例研究。我们表明,我们的方法是成功的,在最大限度地提高发电量,通过优化的操作政策的涡轮机和水闸,产生竞争力的结果与国家的最先进的优化策略,具有明显的优势,需要培训一次,并执行实时的【形】自动控制TRS与测量的海洋数据。
2022-01-23 cs.LG
Maximising the Set-Piece Return: Optimising Football Corner Tactics with Graph Reinforcement Learning
School of Computer Science, University of Birmingham, Birmingham, UK(伯明翰大学计算机科学学院);Nottingham Forest Football Club, Nottingham, UK(诺丁汉森林足球俱乐部);Oxford Robotics Institute, University of Oxford, Oxford, UK(牛津大学机器人研究所);School of Sport, Exercise and Rehabilitation Sciences, University of Birmingham, Birmingham, UK(伯明翰大学运动、体能与康复科学学院)
提出一种基于图强化学习的框架,通过调整进攻球员位置和速度来最大化角球首次触球射门概率,在英超角球数据上优于传统优化方法。
2026-06-04 cs.LG
MGDA-Decoupled: Geometry-Aware Multi-Objective Optimisation for DPO-based LLM Alignment
Prescient Design, CS CoE, Genentech | Roche(预见设计,计算机科学学院,基因泰克 | 罗氏)
本文提出MGDA-Decoupled算法,通过几何方法在DPO框架内实现更公平的多目标优化,实验显示其在UltraFeedback数据集上表现最优。
2026-04-22 cs.LG
Right Place, Right Time: Market Simulation-based RL for Execution Optimisation
Simudyne UK(Simudyne英国公司)
本文提出基于反应式市场模拟器的强化学习框架,用于优化交易执行策略,在有效前沿上平衡风险与成本,实验证明其优于基线并接近最优。
2025-10-25 cs.AI cs.LG q-fin.CP
Constructive Symbolic Reinforcement Learning via Intuitionistic Logic and Goal-Chaining Inference
FAST Foundation(FAST基金会)
本文提出用直觉主义逻辑下的构造性证明替代奖励优化,通过目标链推理实现可证明安全、可解释且高效收敛的符号强化学习,并在网格世界任务中验证其优于Q学习。
2025-06-05 cs.AI cs.LG
Alternating Optimisation and Quadrature for Robust Control
University of Oxford(牛津大学);Inria(法国国家信息与自动化研究所);CNRS/Université de Lorraine(法国国家科学研究中心/洛林大学)
贝叶斯优化已成功应用于各种强化学习问题。然而,在模拟器中学习最优策略的传统方法并没有利用机会通过调整某些环境变量来改善学习:这些环境变量是不可观察的,并且由物理环境中的环境随机确定,但在模拟器中是可控的。本文考虑的问题,找到一个强大的政策,同时考虑到环境变量的影响。我们提出了交替优化和正交(ALOQ),它使用贝叶斯优化和贝叶斯正交来解决这样的设置。ALOQ对随机抽样下可能无法观察到的重大罕见事件的存在具有鲁棒性,但在确定最优策略方面发挥着重要作用。不同领域的实验结果表明,ALOQ可以学习更有效和更强大的比现有的方法。
2017-12-18 cs.AI cs.LG stat.ML
Discovered Policy Optimisation
University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
在过去的十年中,强化学习(RL)取得了巨大的进展。这些进步大多来自于新算法的不断开发,这些算法是使用数学推导、直觉和实验相结合来设计的。这种手动创建算法的方法受到人类理解力和独创性的限制。相比之下,元学习为自动机器学习方法优化提供了一个工具包,可能会解决这个缺陷。然而,黑盒的方法,试图发现RL算法与最小的先验结构,迄今没有优于现有的手工制作的算法。镜像学习,包括RL算法,如PPO,提供了一个潜在的中间点:虽然这个框架中的每一种方法都有理论保证,但区分它们的组件受到设计的影响。在本文中,我们探索镜像学习空间的元学习“漂移”功能。我们将直接结果称为学习策略优化(LPO)。通过分析LPO,我们获得了对策略优化的原始见解,我们用它来制定一种新的,封闭形式的RL算法,发现策略优化(DPO)。我们在Brax环境中的实验证实了LPO和DPO的最新性能,以及它们转移到看不见的设置。
2022-10-13 cs.AI cs.LG
BOiLS: Bayesian Optimisation for Logic Synthesis
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University College London(伦敦大学学院)
在逻辑综合过程中优化电路的结果质量(QoR)是一个艰巨的挑战,需要探索指数大小的搜索空间。虽然专家设计的操作有助于发现有效的序列,但逻辑电路复杂性的增加有利于自动化程序。受机器学习成功的启发,研究人员将深度学习和强化学习应用于逻辑合成应用。无论多么成功,这些技术都受到高样本复杂性的影响,从而阻止了广泛采用。为了实现高效和可扩展的解决方案,我们提出了BOiLS,第一个算法适应现代贝叶斯优化导航空间的合成操作。BOiLS不需要人为干预,并通过新颖的高斯过程内核和信任区域约束采集有效地权衡探索与开发。在EPFL基准测试的一组实验中,我们证明了BOiLS在样本效率和QoR值方面的优越性能。
2021-11-11 cs.LG stat.ML
Offline Regularised Reinforcement Learning for Large Language Models Alignment
Google DeepMind(谷歌DeepMind);Cohere(科here);Stanford University(斯坦福大学);Google Research(谷歌研究院)
本文提出DRO(直接奖励优化)框架,通过均方目标利用更丰富的单轨迹数据集进行大型语言模型对齐,无需成对偏好数据,并在T5模型上验证了其优于KTO等基线的性能。
2024-05-29 cs.AI cs.LG
Solving the QAP by Two-Stage Graph Pointer Networks and Reinforcement Learning
Kyoto University(京都大学)
本文提出两阶段图指针网络(GPN)深度强化学习模型求解NP难的二次分配问题(QAP),通过扩展GPN至一般TSP并添加新算法,在TSPlib和QAPLIB基准上取得半最优解。
2024-03-31 cs.LG
Evidence on the Regularisation Properties of Maximum-Entropy Reinforcement Learning
Université Paris-Saclay(巴黎-萨克雷大学);CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique(法国国家科学研究中心,跨学科数字科学实验室)
该研究通过混沌系统验证最大熵强化学习策略在噪声下的鲁棒性,并利用复杂性度量解释其正则化性质。
2025-01-28 cs.LG