Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs(诺基亚贝尔实验室);Technical University of Munich(慕尼黑工业大学);Nokia Software(诺基亚软件部门)
自组织网络中的传统移动性鲁棒性优化(MRO)旨在通过优化小区特定的切换参数来提高切换性能。然而,这样的解决方案不能满足下一代网络的需求与网络切片,因为它只保证接收信号的强度,而不是每个切片的服务质量。为了提供真正无缝的移动服务,我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化(SAMRO)方法,该方法通过优化切片特定的切换参数来提高切换性能,并确保切片服务。此外,为了允许安全和样本有效的在线训练,我们开发了一个两步迁移学习方案:1)正则化的离线强化学习,以及2)有效的在线微调与混合经验重放。系统级仿真结果表明,与传统的MRO算法相比,SAMRO算法在优化切换性能的同时,显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
Robust Reinforcement Learning on Graphs for Logistics optimization
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
物流优化如今正成为人工智能社区最热门的领域之一。在过去的一年中,通过以图形的形式表示问题,在该领域取得了重大进展。另一个有前途的研究领域是将强化学习算法应用于上述任务。在我们的工作中,我们利用这两种方法,并在图上应用强化学习。为此,我们分析了这两个领域的最新成果,并从图神经网络和强化学习中选择了SOTA算法。然后,我们结合选定的模型对纽约市的交通网络的AMOD系统优化问题。我们的团队比较了三种算法- GAT,Pro-CNN和PTDNet -以突出图形表示上的重要节点。最后,我们使用PTDNet和GNN实现了AMOD系统优化问题的SOTA结果,并以强化方式对其进行训练。关键词:图神经网络,物流优化,强化学习
2022-05-25 cs.AI cs.LG
Deep Reinforcement Learning and Mean-Variance Strategies for Responsible Portfolio Optimization
J.P. Morgan AI Research(摩根大通人工智能研究院);University College London(伦敦大学学院)
本文研究了将深度强化学习应用于负责任的投资组合优化,通过纳入ESG状态和目标,在财务与ESG责任的加性及乘性效用函数下,表现出与均值-方差方法相媲美的性能。
2024-03-25 cs.AI
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文证明在多目标优化中,Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
A View on Deep Reinforcement Learning in System Optimization
Intel Labs(英特尔研究院);University of California, Berkeley(加州大学伯克利分校)
许多现实世界的系统问题需要对配置和管理系统所采取的行动的长期后果进行推理。这些具有延迟和通常顺序聚集的奖励的问题通常是固有的强化学习问题,并且提供了利用深度强化学习最近的实质性进展的机会。然而,在某些情况下,尚不清楚为什么深度强化学习很适合解决这个问题。有时,它的性能并不比最先进的解决方案更好。在其他情况下,随机搜索或贪心算法可能优于深度强化学习。在本文中,我们回顾、讨论和评估了在系统优化中使用深度强化学习的最新趋势。我们提出了一组基本指标,以指导未来的工作,在系统优化中使用深度强化学习的有效性评估。我们的评估包括挑战、问题类型、它们在深度强化学习环境中的形成、嵌入、使用的模型、效率和鲁棒性。最后,我们讨论了进一步推动强化学习在系统优化中的集成所面临的挑战和潜在的方向。
2019-09-04 cs.AI cs.LG cs.SY
Optimization of Molecules via Deep Reinforcement Learning
Stanford University(斯坦福大学);Google AI Applied Science(谷歌人工智能应用科学部)
我们提出了一个框架,我们称之为分子深度$Q$网络(MolDQN),通过结合化学领域知识和最先进的强化学习技术(双$Q$学习和随机价值函数)进行分子优化。我们直接定义分子上的修饰,从而确保100%的化学有效性。此外,我们在没有对任何数据集进行预训练的情况下进行操作,以避免该集合的选择可能产生的偏差。受药物化学铅优化过程中面临的问题的启发,我们用多目标强化学习扩展了我们的模型,该模型在保持与原始分子相似性的同时最大化了药物相似性。我们进一步展示了通过化学空间实现分子优化的路径,以了解模型是如何工作的。
2019-03-01 cs.AI cs.LG stat.ML
Optimization of Link Configuration for Satellite Communication Using Reinforcement Learning
Mobile and Distributed Systems Group, LMU Munich, Germany(慕尼黑大学移动与分布式系统小组);Airbus Defence and Space, Germany(德国航空航天防务与空间公司)
针对卫星转发器链路配置优化的研究空白,构建转发器环境并对比强化学习算法PPO与模拟退火的性能,发现静态场景下模拟退火更优,同时验证了强化学习的优化潜力。
2025-09-01 cs.AI
Efficient Geothermal Well-Control Optimization via Diffusion-Surrogate Reinforcement Learning
针对EGS实时决策的高计算成本问题,提出扩散代理引导的强化学习框架,结合条件扩散模型与PPO,在裂缝型EGS基准上实现高效井控优化,性能优于现有方法且降低模拟依赖。
2026-09-01 cs.AI
Causal Inference on Investment Constraints and Non-stationarity in Dynamic Portfolio Optimization through Reinforcement Learning
Mizuho Research & Technologies, Ltd.(瑞穗综合研究所科技有限公司);Mizuho Bank, Ltd.(瑞穗银行股份有限公司)
本研究针对金融时间序列非平稳性问题,开发了融入机制转换等变量的强化学习动态资产配置策略,还将三类投资约束纳入框架并分析其对投资行为的影响,提升了预测准确率与优化灵活性。
2023-11-08 cs.AI q-fin.PM
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook(纽约州立大学石溪分校);Peking University(北京大学)
经典的强化学习(RL)旨在优化期望的累积奖励。在这项工作中,我们考虑RL设置,其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络,并提出了一种新的策略梯度算法,称为基于分位数的策略优化(QPO)及其变种基于分位数的近端策略优化(QPPO),以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度,同时估计分位数和政策参数,并在一定条件下收敛到全局最优的政策。我们的数值结果表明,所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Lane-Merging Using Policy-based Reinforcement Learning and Post-Optimization
fortiss GmbH(福蒂思有限公司);Technische Universität München(慕尼黑工业大学)
许多当前的行为生成方法难以处理真实世界的交通情况,因为它们不能很好地扩展复杂性。然而,可以使用数据驱动的方法离线学习行为。特别是,强化学习是有前途的,因为它隐含地学习如何利用收集的经验的行为。在这项工作中,我们将基于策略的强化学习与局部优化相结合,以培养和综合这两种方法中最好的一种。基于策略的强化学习算法为后期优化提供了初始解和指导性参考。因此,优化器只需计算单个同伦类,例如\在另一辆车的后面或前面行驶。通过在强化学习期间存储状态历史,它可以用于约束检查,优化器可以考虑交互。后优化还充当安全层,因此,该新方法可以应用于安全关键应用中。我们评估所提出的方法使用变道的情况下,不同数量的车辆。
2020-03-06 cs.AI cs.LG cs.MA
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology(密苏里科技大学)
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序,并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数,这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
Learning State Representations for Query Optimization with Deep Reinforcement Learning
University of Washington(华盛顿大学);Microsoft(微软);Criteo Research(Criteo研究院)
深度强化学习正在迅速改变人工智能领域。这些模型能够捕获对其环境的高层次理解,使它们能够在各种领域中学习困难的动态任务。在数据库领域,查询优化一直是一个难题。我们在这项工作中的目标是在查询优化的背景下探索深度强化学习的功能。在每个状态下,我们增量地构建查询,并通过学习表示对子查询的属性进行编码。这里的挑战在于状态转换函数的形成,它定义了当前子查询状态如何与下一个查询操作(action)组合以产生下一个状态。作为这个方向的第一步,我们专注于状态表示问题和状态转移函数的形成。我们描述我们的方法,并显示初步结果。我们进一步讨论如何使用状态表示来使用强化学习改进查询优化。
2018-03-22 cs.AI cs.DB cs.LG
Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning
University of California, Irvine(加州大学尔湾分校)
强化学习算法可以在具有不同随机种子的训练运行之间显示出性能的强烈变化。在本文中,我们将探讨这如何影响超参数优化时,目标是找到超参数设置,以及在随机种子。特别是,我们基准是否是更好地探索大量的超参数设置,通过修剪表现不佳,或者如果它是更好的目标,通过使用重复收集的结果的质量。为此,我们考虑连续减半,随机搜索和贝叶斯优化算法,后两个有和没有重复。我们将这些应用于调整Cartpole平衡任务和倒立摆摆动任务上的PPO2算法。我们证明了修剪可能会对优化产生负面影响,并且重复采样无助于找到在随机种子中表现更好的超参数设置。从我们的实验中,我们得出结论,贝叶斯优化与噪声鲁棒采集功能是强化学习任务中的超参数优化的最佳选择。
2020-07-30 cs.AI cs.LG stat.ML
Comparing Heuristics, Constraint Optimization, and Reinforcement Learning for an Industrial 2D Packing Problem
Technische Hochschule Rosenheim(罗森海姆应用技术大学);Technische Universität München(慕尼黑工业大学);Institut für nachhaltige Energieversorgung(可持续能源供应研究所);Technische Hochschule Ingolstadt(因戈尔施塔特应用技术大学)
切割和包装问题发生在不同的行业,直接影响企业的收入。通常,“剪切和打包”中的目标是将一组较小的对象指定给一组较大的对象。为了解决切割和包装问题,从业者可以诉诸启发式和精确的方法。最近,机器学习越来越多地用于解决此类问题。本文考虑了家具行业的二维装箱问题,其中一组木制工件必须以最节省空间的方式分配到手推车的不同模块。我们提出了一个实验设置来比较算法,约束优化和深度强化学习的给定问题。所使用的方法及其结果根据其解决方案质量和运行时间进行整理。在给定的用例中,贪婪启发式产生最佳结果,并在运行时间方面优于其他方法。约束优化也会产生最佳结果,但需要更多的时间来执行。深度强化学习方法并不总是产生最佳甚至可行的解决方案。虽然我们认为这可以通过更多的训练来弥补,但考虑到启发式的良好结果,深度强化学习似乎不适合给定的用例。
2021-10-27 cs.AI
Reinforcement Learning based Interconnection Routing for Adaptive Traffic Optimization
Georgia Institute of Technology(佐治亚理工学院);IBM Watson AI Foundation Group(IBM沃森人工智能基金会组)
应用机器学习技术设计和优化计算机体系结构是一个很有前途的研究方向。优化片上网络(NoC)的运行时性能需要一个持续的学习框架。在这项工作中,我们展示了应用强化学习(RL)优化NoC运行时性能的承诺。我们提出了三种基于RL的方法学习最优路由算法。实验结果表明,该算法可以成功地学习到一个接近最优的解决方案,在不同的环境状态。可复制代码:github.com/huckiyang/interconnect-routing-gym
2019-08-13 cs.AI cs.AR cs.LG
Model-free Reinforcement Learning for Robust Locomotion using Demonstrations from Trajectory Optimization
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);New York University(纽约大学)
我们提出了一种通用的两阶段强化学习方法来创建鲁棒的策略,这些策略可以部署在真实机器人上,而无需使用由轨迹优化生成的单个演示进行任何额外的训练。在第一阶段中,示范被用作促进初步探索的起点。在第二阶段,直接优化相关的任务奖励,并计算对环境不确定性具有鲁棒性的策略。我们详细展示和研究我们的方法在高动态跳跃和绑定任务的四足机器人的性能和鲁棒性。
2022-01-24 cs.AI cs.LG cs.RO
RL-PGO: Reinforcement Learning-based Planar Pose-Graph Optimization
Ryerson University(瑞尔森大学)
位姿SLAM或位姿图优化(PGO)的目标是在给定里程和闭环约束的情况下估计机器人的轨迹。最先进的迭代方法通常涉及非凸目标函数的线性化,然后重复求解一组法方程。此外,这些方法可能收敛到局部最小值,从而产生次优结果。在这项工作中,我们尽我们所知,提出了第一个基于深度强化学习(DRL)的环境,并提出了用于2D姿势图优化的代理。我们证明了姿势图优化问题可以建模为部分可观察的马尔可夫决策过程,并在真实世界和合成数据集上评估性能。所提出的代理优于国家的最先进的求解器g2o在具有挑战性的情况下,传统的非线性最小二乘技术可能会失败或收敛到不满意的解决方案。实验结果表明,基于迭代的求解器与所提出的方法自举允许显着更高的质量估计。我们相信,基于强化学习的PGO是一个有前途的途径,以进一步加快研究全球最优算法。因此,我们的工作铺平了道路,在2D姿态SLAM域的新的优化策略。
2022-02-26 cs.AI cs.RO
Robust Bayesian optimization with reinforcement learned acquisition functions
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心);State Key Laboratory of Aerodynamics(空气动力学国家重点实验室)
在贝叶斯优化(BO)昂贵的黑盒优化任务,采集功能(AF)指导顺序采样,并发挥了关键作用,有效收敛到更好的最优。流行的AF通常依赖于人工经验,在探索或开发的偏好方面,这会带来计算浪费或陷入局部最优和由此产生的重新优化的风险。为了解决这个问题,提出了数据驱动的AF选择思想,并将顺序AF选择任务进一步形式化为马尔可夫决策过程(MDP),并采用强大的强化学习(RL)技术。该算法从优势BO轨迹中学习合适的AF选择策略,实时的在探测和利用之间取得平衡,称为基于学习辅助的贝叶斯优化(RLABO)。五个基准问题的竞争力和强大的BO评估表明RL的认可的隐式AF选择模式,并暗示该建议的潜在实用性,智能AF选择,以及在昂贵的黑箱问题的有效优化。
2022-10-02 cs.AI cs.LG math.OC
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University(普渡大学)
本文提出对抗鲁棒策略优化(ARPO)算法,通过生成器扰动观测与策略网络最小化影响的博弈,去除对混淆特征的过拟合,提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
MORPH: Design Co-optimization with Reinforcement Learning via a Differentiable Hardware Model Proxy
Columbia University(哥伦比亚大学)
本文提出 MORPH 方法,利用始终可微的硬件模型代理和强化学习,协同优化硬件参数与长时域控制策略,并在二维到达和三维多指操作任务中验证。
2023-09-29 cs.AI cs.LG cs.RO
RL4health: Crowdsourcing Reinforcement Learning for Knee Replacement Pathway Optimization
Princeton University(普林斯顿大学)
关节置换术是美国最常见的住院手术治疗。我们研究膝关节置换术的临床路径优化,这是一个从发病到康复的顺序决策过程。基于以前案例中的情景索赔,我们将路径优化视为智能众包问题,并通过在每个中间状态模仿最佳专家来从数据中学习最优决策策略。我们开发了一个基于强化学习的流水线,该流水线使用值迭代、状态压缩和聚合学习、内核表示和交叉验证来预测最佳治疗策略。并对优化政策下的临床路径进行了预测。实证结果表明,优化后的策略使总成本降低了7%,超额成本溢价降低了33%。
2019-05-24 cs.AI cs.LG stat.ML
Design Optimization of Nuclear Fusion Reactor through Deep Reinforcement Learning
Princeton University(普林斯顿大学);Chung-Ang University(中央大学)
本研究将深度强化学习(DRL)应用于核聚变反应堆设计优化,开发了适配并行化的设计计算与优化框架,可在满足运行要求的同时降低建造成本,简化多目标设计优化,为未来聚变堆高效可持续设计提供新路径。
2026-11-19 cs.AI cs.LG physics.plasm-ph
A Hierarchical Two-tier Approach to Hyper-parameter Optimization in Reinforcement Learning
Facultad Regional Villa María, UTN(UTN玛丽亚城地区学院);CIT Villa María - CONICET-UNVM(玛丽亚城跨学科研究中心 - CONICET-UNVM);Instituto de Desarrollo y Diseño CONICET-UTN(CONICET-UTN发展与设计研究所)
在强化学习(RL)算法中,超参数的优化是一项关键任务,因为它们决定了智能体如何通过与环境交互来学习其策略,从而决定了收集什么数据。在这项工作中,提出了一种使用贝叶斯优化来执行两步优化的方法:首先,将类别RL结构超参数作为二进制变量,并使用针对这些变量定制的获取函数进行优化。然后,在较低的抽象级别,解决方案级别的超参数进行优化,通过诉诸预期的改善采集功能,同时使用最好的分类超参数中找到的优化抽象的上层。这种两层的方法是在一个模拟的控制任务进行验证。所获得的结果是有前途的,并开辟了更多的用户独立的应用程序的强化学习的方式。
2019-09-18 cs.AI cs.LG stat.ML
Bridging Physics-Informed Neural Networks with Reinforcement Learning: Hamilton-Jacobi-Bellman Proximal Policy Optimization (HJBPPO)
University of Waterloo(滑铁卢大学)
将Hamilton-Jacobi-Bellman近端策略优化(HJBPPO)算法引入到强化学习中。Hamilton-Jacobi-Bellman(HJB)方程在控制理论中用于评估价值函数的最优性。我们的工作将HJB方程与连续状态和动作空间中的强化学习相结合,以改善价值网络的训练。我们将价值网络视为物理信息神经网络(PINN),通过精确计算其对输入的导数来求解HJB方程。近端策略优化(PPO)-裁剪算法是利用该实现改进的,因为它使用价值网络来计算其策略网络的目标函数。HJBPPO算法在MuJoCo环境中显示出比PPO更好的性能。
2023-02-01 cs.AI cs.LG cs.NA
Is Exploration or Optimization the Problem for Deep Reinforcement Learning?
Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所);CIFAR(加拿大弗雷德里克·里曼基金会)
本文提出一种实用的次优性估计器,发现深度强化学习生成的最佳经验比策略学习性能好2-3倍,表明优化而非探索是主要瓶颈。
2025-08-02 cs.AI cs.LG
Advancing Investment Frontiers: Industry-grade Deep Reinforcement Learning for Portfolio Optimization
本文提出工业级深度强化学习框架AlphaOptimizerNet,融合仿真到现实方法论,实现跨资产类别投资组合的风险收益优化,并兼顾统计严谨与监管合规。
2024-02-27 cs.AI cs.LG
Designing Biological Sequences via Meta-Reinforcement Learning and Bayesian Optimization
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
加速生物序列设计的能力可以对医学领域的进步产生重大影响。该问题可以被构造为全局优化问题,其中目标是昂贵的黑盒函数,使得我们可以查询受限于低轮数限制的大批量。贝叶斯优化是解决这个问题的一种原则性方法。然而,生物序列的天文数字般大的状态空间使得暴力迭代所有可能的序列是不可行的。在本文中,我们提出MetaRLBO,其中我们通过Meta-强化学习训练自回归生成模型,以通过贝叶斯优化提出有希望的序列进行选择。我们提出这个问题,找到一个最佳的政策,在分布的MDP引起的采样子集的数据采集在前几轮。我们的计算机模拟实验表明,这种集成的元学习提供了对奖励错误指定的鲁棒性,并实现了与现有强基线相比具有竞争力的结果。
2022-09-13 cs.AI cs.LG
ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning
LMU Munich(慕尼黑大学)
机器学习流水线潜在地由几个操作阶段组成,如数据预处理、特征工程和机器学习模型训练。每个操作都有一组超参数,当操作未被选择时,这些超参数可能与管道无关。这就产生了一个分层的条件超参数空间。为了优化这种混合的连续和离散条件分层超参数空间,我们提出了一种有效的管道搜索和配置算法,该算法结合了强化学习和贝叶斯优化的力量。实验结果表明,我们的方法表现良好的最先进的方法,如自动sklearn,TPOT,树Parzen窗口,随机搜索。
2019-04-10 cs.AI cs.LG stat.ML
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan(东京大学);RIKEN Center for Advanced Intelligence Project, Japan(日本RIKEN高级智能项目中心)
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法,在双人零和设置中从理论和经验角度分析其组合,提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果,并基于正则化策略优化推导出一种实用的模型无关强化学习算法,通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Neural Combinatorial Optimization with Reinforcement Learning
Google Brain(谷歌大脑)
本文提出了一种利用神经网络和强化学习解决组合优化问题的框架。我们专注于旅行商问题(TSP)和训练一个经常性的网络,给定一组城市坐标,预测分布在不同的城市排列。以负游程长度作为反馈信号,采用策略梯度法对递归网络的参数进行优化。我们比较了在一组训练图上学习网络参数和在单个测试图上学习网络参数。尽管计算开销很大,但无需太多工程和启发式设计,神经组合优化在多达100个节点的2D欧几里得图上实现了接近最优的结果。应用于KnapSack,另一个NP难问题,相同的方法获得了最多200个项目的实例的最优解。
2017-01-12 cs.AI cs.LG stat.ML
Functional Optimization Reinforcement Learning for Real-Time Bidding
Wenzhou-Kean University(温州肯恩大学);Findability Sciences Private Limited(Findability Sciences私人有限公司);Babasaheb Bhimrao Ambedkar University(巴巴萨赫布·比姆拉奥·阿姆倍伽尔大学)
实时的【形】竞价是程序化广告的新范式。广告商希望明智地选择使用\textbf{Demand-Side Platform}来提高其广告活动的效果。现有的方法是努力提供一个令人满意的解决方案,由于随机投标行为的投标优化。提出了一种基于功能优化的RTB多智能体强化学习体系结构。我们设计了四个代理投标环境:三个拉格朗日乘数为基础的功能优化代理和一个基线代理(没有任何属性的功能优化)首先,许多属性已分配给每个代理,包括有偏或无偏的获胜概率,拉格朗日乘数,点击率。为了评估所提出的RTB策略的性能,我们展示了十个连续的模拟拍卖活动的结果。结果表明,在有偏和无偏获胜信息下,具有功能性行为和奖励的代理人具有最显著的平均获胜率和获胜盈余。实验评估表明,我们的方法显着提高运动的有效性和盈利能力。
2022-09-13 cs.AI cs.LG
Hierarchical Reinforcement Learning and Value Optimization for Challenging Quadruped Locomotion
Georgia Institute of Technology(佐治亚理工学院);Institute of Robotics and Intelligent Machine(机器人与智能机械研究所)
针对四足机器人复杂地形移动问题,提出一种无需额外训练的高级策略通过在线优化低级策略价值函数来选择目标的两层分层强化学习框架,相比端到端方法实现了更高奖励和更少碰撞。
2025-06-24 cs.AI cs.RO
DRiLLS: Deep Reinforcement Learning for Logic Synthesis
Brown University(布朗大学);American University in Cairo(开罗美国大学)
逻辑综合需要对综合优化流程进行广泛的调整,其中结果的质量(QoR)取决于所使用的优化序列。由于可能的优化排列的指数数量,有效的设计空间探索是具有挑战性的。因此,优化过程的自动化是必要的。在这项工作中,我们提出了一种新的强化学习为基础的方法,导航的优化空间,没有人为干预。我们展示了一个优势演员评论家(A2C)代理,旨在尽量减少受时间约束的区域的培训。使用所提出的方法,设计可以自动优化与无人在回路中。综合EPFL基准套件的评估表明,该代理优于现有的勘探方法,并提高了QoR的平均13%。
2019-11-13 cs.AI cs.LG cs.NE
The Fusion of Deep Reinforcement Learning and Edge Computing for Real-time Monitoring and Control Optimization in IoT Environments
Northern Arizona University(北亚利桑那大学);University of Electronic Science and Technology of China(电子科技大学);Trine University(特莱恩大学);Yantai University(烟台大学);Northwestern University(西北大学)
针对工业物联网实时控制需求,本文提出融合深度强化学习与边缘计算的优化控制系统,通过云边协同部署轻量策略网络和动态资源分配,降低延迟、提升稳定性并节省维护成本。
2024-02-28 cs.AI cs.LG cs.NI
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind(CreateAmind(需确认具体中文译名,此处按原文保留))
熵正则化是强化学习中的一个重要思想,在最近的软Q网络(SQN)和软Actor-Critic(SAC 1)等算法中取得了巨大成功。在这项工作中,我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理(SPGT)。在SPGT的基础上,推导出了一系列新的策略优化算法,如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等,并发现SDDPG与SAC 1是等价的。对于策略梯度,策略网络通常表示为具有全局动作方差的高斯分布,这损害了表示能力。我们在策略网络中引入了一个局部行为方差,发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外,我们的方法可以很容易地扩展到大规模的实验,具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Effects of Different Optimization Formulations in Evolutionary Reinforcement Learning on Diverse Behavior Generation
Osaka Prefecture University(大阪府立大学)
为给定的任务生成各种策略是具有挑战性的。然而,它已经被证明为主要的学习过程带来了许多资产,例如改进的行为探索。随着人们对演化计算和强化学习中解的异质性的兴趣的增长,出现了许多有前途的方法。为了更好地理解人们如何引导多个策略朝向不同的策略并从多样性中受益,我们需要进一步分析奖励信号调制和其他进化机制对所获得的行为的影响。为此,本文考虑了现有的进化强化学习框架,该框架利用多目标优化作为一种方法来获得成功的行为相关的任务,以及完成主要目标的政策。Atari游戏上的实验强调,不考虑目标的优化公式同样无法产生多样性,甚至输出在解决手头问题方面表现较差的代理,无论获得的行为如何。
2022-01-27 cs.AI cs.NE
A Hybrid Framework of Reinforcement Learning and Convex Optimization for UAV-Based Autonomous Metaverse Data Collection
Nanyang Technological University(南洋理工大学)
针对无人机辅助元宇宙数据采集中资源分配与轨迹控制的时间序列优化难题,本文提出强化学习与凸优化协同的混合框架,在给定功率资源下有效缩短任务完成时间。
2023-05-29 cs.AI cs.LG
Deep Reinforcement Learning for Field Development Optimization
Stanford University(斯坦福大学)
油田开发优化(FDO)问题是一个具有挑战性的混合整数非线性规划(MINLP)问题,我们试图获得井的数量,它们的类型,位置和钻井顺序,最大限度地提高经济指标。进化优化算法已被有效地应用于解决FDO问题,然而,这些方法只提供了一个确定性(单一)的解决方案,这通常是不稳健的小的变化,在问题的设置。在这项工作中,目标是将基于卷积神经网络(CNN)的深度强化学习(DRL)算法应用于油田开发优化问题,以获得从底层地质模型的不同状态或表示映射到最佳决策的策略。邻近策略优化(PPO)算法被认为是具有不同层数和组成的两个CNN架构。这两个网络获得的政策,提供令人满意的结果相比,混合粒子群优化-网格自适应直接搜索(PSO-MADS)算法,已被证明是有效的解决FDO问题。
2020-08-05 cs.AI cs.LG eess.SP
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich(慕尼黑工业大学);Peking University(北京大学);BIGAI(北京通用人工智能研究院);King's College London(伦敦国王学院);Tongji University(同济大学);University College London(伦敦大学学院)
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题,本文提出SCPO算法,用安全评判器取消违规所得奖励,并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
Constrained-Space Optimization and Reinforcement Learning for Complex Tasks
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
示教学习越来越多地用于将操作员的操作技能转移到机器人。在实践中,重要的是要满足有限的数据和不完美的人类演示,以及潜在的安全约束。本文提出了一种用于管理复杂任务的约束空间优化和强化学习方案。通过在受限空间内的交互,强化学习代理被训练以根据定义的奖励函数来优化操作技能。在学习之后,最优策略从训练良好的强化学习代理中导出,然后执行该代理以引导机器人执行类似于专家演示的任务。通过机器人的机器人任务验证了所提出方法的有效性,表明所学习的策略在关节运动和末端执行器轨迹的平滑性以及整体任务完成时间方面优于专家演示。
2020-04-01 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Exact Combinatorial Optimization: Learning to Branch
University of Alberta(阿尔伯塔大学);Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司)
分支定界法是求解组合优化的一种系统枚举方法,其性能高度依赖于变量选择策略。最先进的手工制作的启发式策略遭受每个选择的相对较慢的推理时间,而当前的机器学习方法需要大量的标记数据。提出了一种基于强化学习(RL)范式的组合优化中数据标记和推理延迟问题的解决方法。我们使用模仿学习来引导RL代理,然后使用近端策略优化(PPO)来进一步探索全局最优动作。然后,使用价值网络运行蒙特卡罗树搜索(MCTS)来增强策略网络。我们评估了我们的方法在四个不同类别的组合优化问题的性能,并表明我们的方法相比,最先进的机器学习和基于数学的方法表现强劲。
2022-06-14 cs.AI cs.LG cs.RO
RLEMMO: Evolutionary Multimodal Optimization Assisted By Deep Reinforcement Learning
South China University of Technology(华南理工大学);Xidian University(西安电子科技大学)
针对现有多模态优化人工自适应策略灵活性不足的问题,提出融合强化学习与注意力机制的元黑箱优化框架RLEMMO,可灵活调整个体搜索策略,在CEC2013基准上性能优于多个强基线。
2024-04-12 cs.AI cs.NE
MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization
Sun Yat-sen University(中山大学);Guangdong University of Finance and Economics(广东财经大学)
基于学习的算法求解组合优化问题近年来引起了学术界的广泛关注。虽然大多数现有的作品只考虑单目标问题与简单的约束,许多现实世界的问题有多目标的角度和包含丰富的约束条件。针对带时间窗的多目标车辆路径问题(MO-VRPTW),提出了一种多目标深度强化学习与进化学习算法相结合的方法。在该算法中,分解策略被应用到生成一组注意力模型的子问题。全面的上下文信息的引入,以进一步加强注意力模型。进化学习也被用来微调模型的参数。在MO-VRPTW实例上的实验结果证明了该算法相对于其他基于学习和迭代的方法的优越性。
2021-07-16 cs.AI cs.NE
OptLayer - Practical Constrained Optimization for Deep Reinforcement Learning in the Real World
IBM Research AI(IBM研究院人工智能部门)
虽然深度强化学习技术最近在许多决策问题上取得了相当大的成就,但它们在机器人技术中的使用在很大程度上仅限于模拟世界或受限运动,因为现实世界中不受约束的试错交互可能对机器人或其环境产生不良后果。为了克服这些限制,我们提出了一种新的强化学习架构OptLayer,它将神经网络预测的可能不安全的动作作为输入,并输出满足所选约束的最接近的动作。虽然学习控制策略通常需要仔细制定奖励和惩罚,同时探索可能的操作范围,但OptLayer确保在训练期间只执行安全的操作,并惩罚不安全的预测。我们证明了我们的方法对机器人达到任务的有效性,无论是模拟还是在现实世界中。
2018-02-23 cs.AI cs.RO
Optimizing Variational Quantum Circuits Using Metaheuristic Strategies in Reinforcement Learning
LMU Munich(慕尼黑大学)
本文研究将粒子群优化、模拟退火等元启发式算法引入量子强化学习,以解决梯度方法在平坦解景观中失效的问题,并在MiniGrid和Cart Pole环境中验证了粒子群优化与模拟退火的优越性能。
2024-08-02 cs.AI cs.LG quant-ph
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria(维多利亚大学)
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用,通过构建分类法对文献进行系统分类和总结,并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Supported Trust Region Optimization for Offline Reinforcement Learning
Tsinghua University(清华大学);Dalian University of Technology(大连理工大学)
针对离线强化学习的分布外问题,提出支撑信任区域优化(STR),在行为策略支撑内约束策略,保证策略改进,并在 MuJoCo 和 AntMaze 上取得最优性能。
2023-11-15 cs.AI cs.LG
A Deep Reinforcement Learning Approach to Battery Management in Dairy Farming via Proximal Policy Optimization
School of Computer Science, University of Galway(戈尔韦大学计算机科学学院);Atlantic Technological University(大西洋理工大学)
本文将深度强化学习算法PPO应用于奶牛场电池管理,利用真实数据优化可再生能源利用,结果显示其在减少电网购电方面较Q-learning提升1.62%。
2024-07-01 cs.AI cs.LG
Reinforcement Learning for Portfolio Optimization with a Financial Goal and Defined Time Horizons
AIMS South Africa /Stellenbosch university, South Africa(AIMS南非 /斯托滕博斯大学,南非);University of South Africa, South Africa(南非大学,南非);Michigan State University, USA(密歇根州立大学,美国)
本文提出利用强化学习优化投资组合,通过G-Learning算法提升夏普比率至0.483,展示其在高波动市场中的有效性。
2025-11-22 cs.AI cs.LG q-fin.PM
Research on Edge Computing and Cloud Collaborative Resource Scheduling Optimization Based on Deep Reinforcement Learning
Microsoft(微软);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究提出一种基于深度强化学习(DRL)的边缘云协同资源调度优化方法,有效提升了任务处理效率与资源利用率并控制任务迁移,实验证明其优于传统算法,未来将致力于提升学习效率与容错能力。
2025-04-10 cs.AI cs.DC cs.LG
Deep Reinforcement Learning for Stock Portfolio Optimization
National University of Singapore(新加坡国立大学)
股票投资组合优化是不断重新分配资金到各种股票池的过程。在本文中,我们将公式化的问题,这样我们就可以适当地应用强化学习的任务。为了保持对市场的现实假设,我们将把交易成本和风险因素也纳入状态。最重要的是,我们将应用各种最先进的深度强化学习算法进行比较。由于动作空间是连续的,现实的配方下的一个国家的最先进的连续策略梯度算法:深确定性策略梯度(DDPG),广义确定性策略梯度(GDPG)和近端策略优化(PPO),其中前两个性能远远优于最后一个。接下来,我们将提出端到端的解决方案的任务与最小方差投资组合理论的股票子集的选择,和小波变换提取多频数据模式。讨论了观察结果和假设,以及未来可能的研究方向。
2020-12-09 cs.AI cs.LG math.OC
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT(麻省理工学院);Boston College(波士顿学院)
约束马尔可夫决策过程(CMDP)是一个自然的框架,强化学习任务的安全约束,其中代理学习的政策,最大化的长期回报,同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法,该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新,这导致样本效率低下和收敛速度慢。在本文中,我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化(APDO),它结合了一个离线的政策训练的对偶变量的对偶更新过程中,同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明,APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University(普林斯顿大学)
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中,我们通过以下不变性原则来解决这一挑战:代理必须找到一个表示,使得存在一个建立在此表示之上的动作预测器,该预测器在所有训练域中同时是最优的。直观地说,由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法,不变策略优化(IPO),实现这一原则,并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较,并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善,以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO