Reinforcement Learning with Intrinsically Motivated Feedback Graph for Lost-sales Inventory Control
The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学)
针对失销库存控制中在线经验昂贵且需求失真的问题,提出结合反馈图与内在动机探索的RLFG框架,生成辅助经验并降低样本复杂度,显著提升强化学习的样本效率。
2025-02-17 cs.AI cs.LG
Combining Reinforcement Learning and Optimal Transport for the Traveling Salesman Problem
National University of Singapore(新加坡国立大学);Loyola Marymount University(洛约拉马利蒙特大学);Grabtaxi Holdings Pte Ltd(Grab出租车控股私人有限公司)
本文针对旅行商问题规模扩大时精确算法耗时、深度学习方法推理慢的问题,将熵正则化最优输运集成到深度强化学习网络中,实现无监督学习、更快推理,并在端到端训练中强制分配约束。
2022-03-02 cs.AI cs.LG math.OC
Solve Traveling Salesman Problem by Monte Carlo Tree Search and Deep Neural Network
Shanghai Jiao Tong University(上海交通大学)
我们提出了一种结合深度强化学习和蒙特卡罗树搜索的自学习方法来解决旅行商问题。所提出的方法有两个优点。首先,它采用深度强化学习来计算用于决策的价值函数,这消除了手工特征和标记数据的需要。其次,采用蒙特卡罗树搜索,通过比较不同的价值函数来选择最优策略,提高了算法的泛化能力。实验结果表明,该方法优于其他方法在中小型问题设置。它在大型问题设置中显示出与最先进的性能相当的性能。
2020-05-14 cs.AI cs.LG
Diversity Optimization for Travelling Salesman Problem via Deep Reinforcement Learning
South China University of Technology(华南理工大学);Singapore Management University(新加坡管理大学);Massachusetts Institute of Technology(麻省理工学院);Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种基于深度强化学习的神经求解器,通过相对化滤波器和多注意力自适应主动搜索在最优性与多样性之间取得平衡,用于求解多解旅行商问题,并验证了其在基准实例上的优越性及对CVRP的适用性。
2025-01-01 cs.AI cs.LG
TauRieL: Targeting Traveling Salesman Problem with a deep reinforcement learning inspired architecture
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心(BSC))
在本文中,我们提出了TauRieL和目标旅行商问题(TSP),因为它在理论和应用科学中具有广泛的适用性。TauRieL利用一个演员-评论家启发的架构,采用普通的前馈网络,以获得一个策略更新向量$v$。然后,我们使用$v$来改进状态转移矩阵,我们从生成的政策。此外,状态转移矩阵允许求解器从预先计算的解(例如最近邻)进行初始化。在在线学习设置中,TauRieL将训练和搜索统一起来,可以在几秒钟内生成接近最佳的结果。Actor-Critic架构中神经网络的输入是原始的2-D输入,这一决定背后的设计思想是保持神经网络比具有宽嵌入的架构相对较小,同时省略嵌入的任何分布式表示。因此,与最先进的离线技术相比,TauRieL在每个TSP实例中生成TSP解决方案的速度快两个数量级,在最坏情况下性能影响为6.1%。
2019-05-14 cs.AI cs.LG cs.NE
A Deep Reinforcement Learning Approach for Solving the Traveling Salesman Problem with Drone
Suleyman Demirel University(苏莱曼·德米雷尔大学);UNIST(蔚山科学技术院);Korea University(高丽大学);Amazon(亚马逊);University of South Florida(南佛罗里达大学)
强化学习最近在许多组合最优化问题的学习质量解决方案中显示出了希望。特别是,基于注意力的编码器-解码器模型在各种路由问题上表现出很高的效率,包括流动推销员问题(TSP)。不幸的是,它们在TSP with Drone(TSP-D)中表现不佳,需要协调不同的车辆-卡车和无人机。在TSP-D中,两辆车一前一后地移动,并且可能需要在节点处等待另一辆车加入。基于注意力的无状态解码器无法在车辆之间进行这种协调。我们提出了一个混合模型,它使用注意编码器和长短期记忆(LSTM)网络解码器,其中解码器的隐藏状态可以表示所做的动作序列。我们的经验表明,这样的混合模型提高了一个纯粹的基于注意力的模型的解决方案的质量和计算效率。最小-最大容量限制车辆路径问题(mmCVRP)的实验结果也表明,混合模型比基于注意力的模型更适合于多车辆的协调路径问题。所提出的模型展示了与运筹学基线方法相当的结果。
2022-12-05 cs.AI cs.LG math.OC
An End-to-End Deep Reinforcement Learning Approach for Solving the Traveling Salesman Problem with Drones
School of Management Science and Real Estate, Chongqing University(重庆大学管理科学与房地产学院);School of Management, Guizhou University(贵州大学管理学院);Chongqing Changan Minsheng APLL Logistics Co., Ltd.(重庆长安民生APLL物流有限公司);State Grid Chongqing Electric Power Company Material Branch(国网重庆市电力公司物资分公司)
本文提出一种端到端分层Actor-Critic深度强化学习框架,结合Transformer编码器与Minimal Gated Unit解码器,并引入优化的k近邻稀疏注意力机制,在TSP-D基准实例上以更短计算时间和更低训练成本取得优于启发式算法和现有强化学习方法的性能。
2025-11-07 cs.AI cs.LG
Solving the Traveling Salesperson Problem with Precedence Constraints by Deep Reinforcement Learning
University of Hildesheim(希尔德斯海姆大学)
这项工作提出了解决方案的旅行推销员问题与优先约束(TSPPC)使用深度强化学习(DRL)通过调整最近的方法,以及定期TSP。这些方法的共同点是使用基于多头注意力(MHA)层的图模型。一个解决拾取和递送问题(PDP)的想法是使用异构注意力嵌入每个节点可以采取的不同可能的角色。在这项工作中,我们推广这种概念的异构注意TSPPC。此外,我们适应最近的想法,以稀疏注意力更好的可扩展性。总的来说,我们有助于研究界通过应用和评估最近的DRL方法在解决TSPPC。
2022-09-19 cs.LG math.OC
Accelerating the Genetic Algorithm for Large-scale Traveling Salesman Problems by Cooperative Coevolutionary Pointer Network with Reinforcement Learning
Grad. School of Info. Science;Technology Hokkaido University Sapporo, Japan \ .;Technology Hokkaido University Sapporo, Japan;Information Initiative Center Hokkaido University Sapporo, Japan
本文提出了一种求解大规模旅行商问题的两阶段优化策略CCPNRL-GA。首先,我们假设一个表现良好的个人作为精英的参与可以加速优化的收敛。基于这一假设,在第一阶段,我们聚类的城市和LSTSP分解成多个子组件,每个子组件的优化与可重用的指针网络(PtrNet)。在子组件优化之后,我们将所有的子路径组合起来形成一个有效的解决方案,这个解决方案加入了第二阶段的优化与遗传算法。我们验证了我们的建议在10个LSTSP的性能,并将其与传统的EA。实验结果表明,精英个体的参与可以大大加快LSTSP的优化速度,该算法在LSTSP问题上具有广阔的应用前景。
2022-09-27 cs.LG cs.NE
Generative Modeling for Robust Deep Reinforcement Learning on the Traveling Salesman Problem
University of Washington(华盛顿大学)
针对神经网络求解TSP时存在的分布鲁棒性问题,提出COGS方法从生成式TSP模型采样训练数据以提升数据覆盖与插值,并构建TSPLib50数据集,实验证明该方法显著增强了分布鲁棒性,尤其在最坏情况场景下性能提升明显。
2025-08-12 cs.AI cs.LG
A Unified Deep Reinforcement Learning Approach for Close Enough Traveling Salesman Problem
Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系);School of Traffic and Transportation Engineering, Central South University(中南大学交通与运输工程学院);Department of Industrial Engineering and Innovation Sciences, Eindhoven University of Technology(埃因霍温理工大学工业工程与创新科学系);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动性学院);School of Automation, Central South University(中南大学自动化学院)
针对 CETSP 的邻域访问难点,本文提出双解码器 UD3RL 框架,联合完成节点选择与路径点确定,并通过定制 REINFORCE 实现跨规模和半径类型的强泛化。
2025-10-03 cs.AI cs.LG
Deep Reinforcement Learning for Combinatorial Optimization: Covering Salesman Problems
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院);Hunan Key Laboratory of Multi-Energy System Intelligent Interconnection Technology(湖南省多能源系统智能互联技术重点实验室);Graduate College, National University of Defense Technology(国防科技大学研究生院);Science and Technology on Parallel and Distributed Processing Laboratory, College of Computer, National University of Defense Technology(国防科技大学计算机学院并行与分布处理科技重点实验室)
本文介绍了一种新的深度学习方法来近似解决覆盖推销员问题(CSP)。在这种方法中,给定CSP的城市位置作为输入,深度神经网络模型被设计为直接输出解决方案。它是在没有监督的情况下使用深度强化学习训练的。具体而言,在模型中,我们应用多头注意力来捕捉结构模式,并设计了一个动态嵌入来处理问题的动态模式。一旦模型经过训练,它就可以推广到各种类型的CSP任务(不同大小和拓扑),而不需要重新训练。通过控制实验,所提出的方法显示出理想的时间复杂度:它运行速度比传统的启发式求解器的最优性的微小差距超过20倍。此外,它在训练和推理方面都明显优于当前最先进的组合优化深度学习方法。与传统的求解器相比,这种方法对于实践中大多数具有挑战性的任务都是非常可取的,这些任务通常是大规模的,需要快速决策。
2021-02-11 cs.AI cs.NE
Improving After-sales Service: Deep Reinforcement Learning for Dynamic Time Slot Assignment with Commitments and Customer Preferences
School of Automation, Central South University(自动化学院);School of Industrial Engineering, Eindhoven University of Technology(工业工程学院);Shenzhen Branch of China United Network Communications Co., Ltd.(中国联合网络通信股份有限公司深圳分公司)
本文针对带承诺与客户偏好的动态时间槽分配问题,提出基于注意力机制的深度强化学习与rollout执行方法及基于场景的规划方法,实验和案例验证了其在售后服务中的优越性与实用性。
2025-09-22 cs.LG
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google(谷歌);The Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
在这项工作中,我们提供了理论上的保证,在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例,它允许人们并行学习许多策略,并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题,然后推导出它的近似解。特别地,我们专注于局部的近似解,即,仅观察关于当前状态的信息的解决方案。本地策略易于实现,并且不需要大量的计算资源,因为它们不执行规划。虽然局部确定性策略,如最近邻,在实践中被用于分层强化学习,我们提出了三个随机策略,保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Multi-Agent Model-Based Reinforcement Learning with Joint State-Action Learned Embeddings
McGill University(麦吉尔大学)
本文提出了一种基于联合状态-动作学习嵌入的多智能体模型驱动强化学习框架,通过统一表示学习与想象式回放,提升智能体在动态环境中协调能力与长期规划效率。
2026-02-13 cs.LG cs.MA
Neural Combinatorial Optimization with Reinforcement Learning
Google Brain(谷歌大脑)
本文提出了一种利用神经网络和强化学习解决组合优化问题的框架。我们专注于旅行商问题(TSP)和训练一个经常性的网络,给定一组城市坐标,预测分布在不同的城市排列。以负游程长度作为反馈信号,采用策略梯度法对递归网络的参数进行优化。我们比较了在一组训练图上学习网络参数和在单个测试图上学习网络参数。尽管计算开销很大,但无需太多工程和启发式设计,神经组合优化在多达100个节点的2D欧几里得图上实现了接近最优的结果。应用于KnapSack,另一个NP难问题,相同的方法获得了最多200个项目的实例的最优解。
2017-01-12 cs.AI cs.LG stat.ML
Reinforcement Learning Enabled Peer-to-Peer Energy Trading for Dairy Farms
School of Computer Science, University of Galway(戈尔韦大学计算机科学学院)
针对奶牛场可再生能源剩余电力的P2P交易难题,本文构建MAPDES仿真平台并采用强化学习进行决策,显著降低电费与峰值需求并提升能源销售收入。
2024-05-21 cs.AI cs.LG cs.MA
Classical and Deep Reinforcement Learning Inventory Control Policies for Pharmaceutical Supply Chains with Perishability and Non-Stationarity
University of Milano-Bicocca(米兰-比可卡大学);ESSCA School of Management(ESSCA管理学院);Eindhoven University of Technology(埃因霍温理工大学)
本研究针对药品供应链的易腐性、非平稳需求等挑战,比较了OUT、PIL和深度强化学习(PPO)三种库存策略,发现经典与DRL策略各有优劣,需整合多种策略以有效管理。
2025-01-18 cs.AI cs.LG math.OC
Sales Time Series Analytics Using Deep Q-Learning
Ivan Franko National University of Lviv(利沃夫伊万·弗兰科国立大学)
本文描述了深度Q学习模型在销售时间序列分析问题中的应用。与监督式机器学习(一种使用历史数据的被动学习)相比,Q学习是一种主动学习,其目标是通过最优的动作序列来最大化奖励。研究了无模型Q学习方法在最优定价策略和供需问题中的应用。该研究的主要思想是表明,在时间序列分析中使用深度Q学习方法,当学习代理交互的环境可以使用参数模型建模时,并且在使用基于历史数据的模型的情况下,可以通过最大化奖励函数来优化动作序列。在定价优化的案例研究环境中,使用销售依赖于额外的价格和随机模拟的需求建模。在定价优化的案例研究中,环境建模的销售依赖于额外的价格和随机模拟的需求。在供需案例研究中,提出了使用历史需求时间序列进行环境建模,代理状态由促销活动,以前的需求值和每周的季节性特征表示。获得的结果表明,使用深度Q学习,我们可以优化价格优化和供需问题的决策过程。使用参数模型和历史数据的环境建模可以用于学习代理的冷启动。在接下来的步骤中,在冷启动之后,经过训练的代理可以在真实的业务环境中使用。
2022-01-06 cs.CL cs.LG
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间,它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间,以及一个评论家网络,以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间,所提出的架构,我们称之为混合演员评论家,可以扩展到更一般的动作空间,具有层次结构。我们提出了一个基于近端策略优化(PPO)的混合Actor-Critic架构的实例,我们称之为混合近端策略优化(H-PPO)。我们的实验在具有参数化动作空间的任务集合上测试H-PPO,其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Hierarchical Approaches for Reinforcement Learning in Parameterized Action Space
George Mason University(乔治梅森大学)
我们在参数化的动作空间中探索深度强化学习。具体来说,我们研究如何在这些任务中实现样本高效的端到端培训。我们提出了一个新的紧凑型架构的任务,其中参数政策的离散行动政策的输出为条件。我们还提出了两个新的方法的基础上,国家的最先进的算法信任域策略优化(TRPO)和随机值梯度(SVG)的训练这样的架构。我们证明,这些方法优于国家的最先进的方法,参数化的行动DDPG,测试域。
2018-10-23 cs.AI cs.LG stat.ML
Improving Deep Reinforcement Learning in Minecraft with Action Advice
Georgia Institute of Technology(佐治亚理工学院)
在3D虚拟环境中训练深度强化学习代理的复杂行为需要大量的计算资源。在具有高度混叠的环境中尤其如此,其中许多状态共享几乎相同的视觉特征。Minecraft就是这样一个环境的典范。我们假设交互式机器学习IML,其中人类教师通过演示,批评或行动建议在训练中发挥直接作用,可能会减轻代理对别名的敏感性。然而,交互式机器学习只有在人类交互的数量有限时才是实用的,需要在人类教师的努力和代理性能之间取得平衡。我们用两种强化学习算法进行实验,这两种算法使人类教师能够在视觉锯齿条件下给出行动建议,反馈仲裁和牛顿行动建议。为了评估每种建议类型的潜在认知负荷,我们改变了各种人类行动建议技术的准确性和频率。训练效率,对不频繁和不准确的顾问输入的鲁棒性,以及对混叠的敏感性进行了检查。
2019-08-02 cs.AI cs.LG stat.ML
Comparing Observation and Action Representations for Deep Reinforcement Learning in $μ$RTS
Drexel University(德雷塞尔大学)
本文提出了一个初步的研究,比较不同的观察和动作空间表示的深度强化学习(DRL)在实时策略(RTS)游戏的背景下。具体来说,我们比较了两种表示:(1)全局表示,其中观察表示整个游戏状态,RL代理需要选择向哪个单元发出动作,以及执行哪些动作;(2)局部表示,其中观察从单个单元的角度表示,RL代理独立地为每个单元选择动作。我们评估这些表示在$μ$ RTS显示,当地的代表性似乎优于全球代表时,训练代理收获资源的任务。
2020-04-22 cs.AI cs.LG stat.ML
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab(腾讯人工智能实验室);Princeton University(普林斯顿大学);Northwestern University(西北大学)
大多数现有的深度强化学习(DRL)框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发,我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间,以前的工作要么近似的混合空间离散化,或放松到一个连续的集合。在本文中,我们提出了一个参数化的深度Q网络(P-DQN)框架的混合行动空间没有近似或松弛。该算法结合了DQN(处理离散动作空间)和DDPG(处理连续动作空间)的思想,将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Reinforcement Learning with Function-Valued Action Spaces for Partial Differential Equation Control
University of Alberta(阿尔伯塔大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Vector Institute(向量研究所)
最近的研究表明,强化学习(RL)是一种很有前途的方法来控制动力系统描述的偏微分方程(PDE)。本文展示了如何使用强化学习来解决更一般的PDE控制问题,这些问题具有连续的高维动作空间,动作维度之间具有空间关系。特别是,我们提出了动作描述符的概念,它编码的空间扩展的动作维度之间的冗余,使代理控制高维动作偏微分方程。我们提供的理论证据表明,这种方法可以更有效的样本相比,传统的方法,单独对待每个动作维度,并没有明确利用的动作空间的空间规律性。然后在深度确定性策略梯度算法中使用动作描述符方法。两个PDE控制问题的实验,高达256维的连续行动,所提出的方法比传统的优势。
2018-06-13 cs.AI cs.LG stat.ML
How to Evaluate Machine Learning Approaches for Combinatorial Optimization: Application to the Travelling Salesman Problem
Ecole Polytechnique de Montréal(蒙特利尔综合理工学院);Ecole des Ponts Paristech(巴黎高科桥路学校);Element AI(元素人工智能公司)
组合优化是致力于研究和实践解决NP难题的算法的领域。随着机器学习(ML)和深度学习的普及,一些研究小组已经开始使用ML来解决组合优化问题,例如著名的旅行商问题(TSP)。基于深度(强化)学习,TSP的新模型和体系结构已经相继开发,并获得了越来越多的性能。在撰写本文时,最先进的模型为100个城市的TSP实例提供了近似1.33%的最优解。然而,尽管这些显然是积极的结果,性能仍然远离那些可以实现使用专门的搜索程序。在本文中,我们解决了ML方法解决TSP的局限性,并研究了两个基本问题:(1)我们如何衡量这种方法的纯ML组件的准确性水平;(2)插入ML模型内部的搜索过程对性能有什么影响?为了回答这些问题,我们提出了一个新的指标,最优决策率(ROD),基于与参数化Oracle的公平比较,以受控的准确性模仿ML模型。所有的实验都是在四种最先进的ML方法上进行的,这些方法致力于解决TSP问题。最后,我们将ROD开源,以方便该领域未来的研究。
2019-09-28 cs.AI cs.LG
Reinforcement Learning with Structured Hierarchical Grammar Representations of Actions
Imperial College London(帝国理工学院);Einstein Center for Neurosciences Berlin(柏林爱因斯坦神经科学中心);Technical University Berlin(柏林工业大学);MRC London Institute of Medical Sciences(英国医学研究委员会伦敦医学科学研究所)
从很小的时候起,人类就学会了使用语法原则来分层地将单词组合成句子。动作语法是一个平行的概念,即有一组潜在的规则(一种“语法”)来控制我们如何分层地组合动作以形成新的、更复杂的动作。我们引入了动作语法强化学习(AG-RL)框架,该框架利用动作语法的概念来不断提高强化学习代理的样本效率。AG-RL通过使用语法推理算法来推断训练中途代理的“动作语法”。代理的动作空间,然后增加了由语法识别的宏动作。我们将此框架应用于双深度Q学习(AG-DDQN)和Soft Actor-Critic(AG-SAC)的离散动作版本,并发现它分别在8个测试的Atari游戏中的8个(中位数+31%,最大+668%)和20个测试的Atari游戏中的19个(中位数+96%,最大+3,756%)中提高了性能,而无需实质性的超参数调整。我们还表明,AG-SAC在20个测试的Atari游戏中的17个中的样本效率方面击败了无模型的最先进水平(中位数+62%,最大值+13,140%),同样没有实质性的超参数调整。
2019-10-23 cs.AI cs.LG stat.ML
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
尖峰神经元网络已成功地用于解决简单的强化学习任务,连续的动作集应用基于尖峰时间依赖可塑性(STDP)的学习规则。然而,这些模型中的大多数不能应用于具有离散动作集的强化学习任务,因为它们假设所选择的动作是神经元放电率的确定性函数,这是连续的。在本文中,我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络,其中包含反馈调制。我们表明,基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时,适用于CartPole和LunarLander任务。此外,我们证明了代理是无法解决这些任务,如果反馈调制从学习规则中省略。我们的结论是,反馈调制允许更好的信用分配时,只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
Discrete linear-complexity reinforcement learning in continuous action spaces for Q-learning algorithms
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在这篇文章中,我们勾画了一个算法,扩展的Q-学习算法的连续动作空间域。我们的方法是基于动作空间的离散化。尽管常用的离散化方法,我们的方法不会增加离散化问题的维数指数。我们将证明,我们提出的方法是线性的离散化时的复杂性。在这项工作中提出的Q-学习算法的变体,标记为有限步Q-学习(FSQ),可以部署到浅层和深层神经网络架构。
2018-07-23 cs.AI cs.LG stat.ML
Combining Reinforcement Learning and Constraint Programming for Combinatorial Optimization
Ecole Polytechnique de Montréal(蒙特利尔综合理工学院);Element AI(Element AI公司);University of Toronto Scarborough(多伦多大学士嘉堡分校)
组合优化在航空航天、交通规划和经济学等众多领域都有应用。目标是在有限的可能性集合中找到最优解。组合优化面临的著名挑战是状态空间爆炸问题:可能性的数量随着问题的规模呈指数级增长,这使得解决大型问题变得棘手。在过去的几年中,深度强化学习(DRL)已经显示出其设计良好的算法来解决NP难组合优化问题的前景。然而,目前的方法有两个缺点:(1)他们主要集中在标准的旅行商问题,他们不能很容易地扩展到其他问题,(2)他们只提供一个近似的解决方案,没有系统的方法来改善它或证明最优性。在另一个上下文中,约束编程(CP)是解决组合优化问题的通用工具。基于一个完整的搜索过程,如果我们允许足够长的执行时间,它总是会找到最优解。一个关键的设计选择,使CP非平凡的使用在实践中,是分支的决定,指导如何探索搜索空间。在这项工作中,我们提出了一个通用的和混合的方法,DRL和CP的基础上,解决组合优化问题。我们的方法的核心是基于一个动态规划制定,作为两种技术之间的桥梁。我们的实验表明,我们的求解器是有效的,以解决两个具有挑战性的问题:旅行商问题的时间窗口,和4-矩投资组合优化问题。结果表明,引入的框架优于独立的RL和CP解决方案,同时与工业求解器竞争。
2020-06-02 cs.AI cs.LG
Efficient Planning in Combinatorial Action Spaces with Applications to Cooperative Multi-Agent Reinforcement Learning
University of Alberta(阿尔伯塔大学);ETH Zurich(苏黎世联邦理工学院);University College London(伦敦大学学院);DeepMind(深度思维)
强化学习的一个实际挑战是组合动作空间,这使得规划在计算上要求很高。例如,在协作多智能体强化学习中,潜在的大量智能体联合优化全局奖励函数,这导致动作空间中智能体数量的组合爆破。作为最低要求,我们假设可以访问argmax oracle,该oracle允许有效地计算模型类中任何Q函数的贪婪策略。最近的工作规划与本地访问模拟器和线性函数逼近的基础上,我们提出了有效的算法,这种设置,导致多项式计算和查询的复杂性,在所有相关的问题参数。对于特征分解是可加性的特殊情况,我们进一步改进了边界,并使用一种有效的算法将结果扩展到核化设置。
2023-02-08 cs.AI cs.LG stat.ML
State Action Separable Reinforcement Learning
Imperial College London(帝国理工学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Yale University(耶鲁大学)
近年来,基于强化学习(RL)的方法在解决一系列决策和控制问题方面取得了巨大的成功。对于传统的RL公式,马尔可夫决策过程(MDP)和状态-动作-价值函数是问题建模和策略评估的基础。然而,仍然存在一些具有挑战性的问题。在大多数被引用的问题中,状态/动作空间的一致性是导致在精确地近似状态-动作-价值函数时效率低下的重要因素。我们观察到,虽然行动直接定义代理的行为,对于许多问题的下一个状态后,状态转换的问题比采取的行动,在确定这样的状态转换的回报。在这方面,我们提出了一种新的学习范式,状态动作分离的强化学习(sasRL),其中的动作空间是从价值函数学习过程中解耦,以提高效率。然后,一个轻量级的过渡模型学习,以帮助代理确定的动作,触发相关的状态转换。此外,我们的收敛性分析表明,在一定的条件下,sasRL的收敛时间是$O(T^{1/k})$,其中$T$是收敛时间更新的价值函数在基于MDP的配方和$k$是一个加权因子。多个游戏场景的实验表明,sasRL的性能比最先进的基于MDP的RL算法高出高达$75\%$。
2020-06-05 cs.AI cs.LG stat.ML
Hybrid Reinforcement Learning with Expert State Sequences
IBM Research AI(IBM研究院人工智能部门)
现有的模仿学习方法通常需要完整的演示数据,包括动作序列和状态,是可用的。在本文中,我们考虑一个更现实和困难的情况下,强化学习代理只能访问的状态序列的专家,而专家的行动是不可观察的。我们提出了一种新的基于张量的模型来推断未观察到的专家状态序列的行动。然后通过结合强化学习和模仿学习的混合目标优化代理的策略。我们评估了我们的混合方法的说明域和雅达利游戏。实证结果表明,(1)智能体能够利用状态专家序列比纯强化学习基线学习得更快,(2)与标准深度神经网络相比,我们的基于张量的动作推理模型在推理专家动作方面具有优势,(3)混合策略优化目标对专家状态序列中的噪声具有鲁棒性。
2019-03-11 cs.AI cs.LG stat.ML
Ranked Reward: Enabling Self-Play Reinforcement Learning for Combinatorial Optimization
InstaDeep(InstaDeep公司)
当与结合了深度神经网络和树搜索的强化学习算法一起使用时,双人游戏中的对抗性自我游戏产生了令人印象深刻的结果。像AlphaZero和Expert Iteration这样的算法学习tabula-rasa,在飞行中产生高度信息化的训练数据。然而,自玩训练策略并不直接适用于单人游戏。最近,几个实际上重要的组合优化问题,如旅行商问题和装箱问题,已被重新表述为强化学习问题,增加了重要性,使自我发挥的好处超越两个玩家的游戏。我们提出了排名奖励(R2)算法,它通过对单个代理在多个游戏中获得的奖励进行排名来创建相对性能指标。将R2算法应用于二维和三维装箱问题的实例表明,它优于一般的蒙特卡罗树搜索,启发式算法和整数规划求解器。我们还提出了一个分析的排名奖励机制,特别是不同的难度和不同的排名阈值的问题实例的影响。
2018-12-06 cs.AI cs.LG stat.ML
Continuous Learning Conversational AI: A Personalized Agent Framework via A2C Reinforcement Learning
Convai Innovations(Convai创新公司)
针对静态LLM难以个性化适应的问题,提出基于A2C强化学习的CLCA框架,利用LLM生成模拟销售对话训练智能体并结合LLM进行响应选择,实现可持续学习的个性化对话AI。
2025-02-18 cs.AI
Macro Action Reinforcement Learning with Sequence Disentanglement using Variational Autoencoder
Dwango Artificial Intelligence Laboratory(Dwango人工智能实验室);NTT Secure Platform Laboratories(NTT安全平台实验室)
将强化学习应用于现实世界问题的一个问题是动作空间上的维数灾难。宏动作,一系列的原始动作,已被研究,以减少关于时间轴的动作空间的维数。然而,以前的研究依赖于人类定义宏动作或假设宏动作是相同原始动作的重复。我们提出了因子化宏动作强化学习(FaMARL),它自主学习一系列动作的分解因子表示,以生成可直接应用于一般强化学习算法的宏动作。FaMARL在需要大量搜索的环境中表现出比其他强化学习算法更高的分数。
2019-06-04 cs.AI cs.LG cs.RO
Multi-Scenario Combination Based on Multi-Agent Reinforcement Learning to Optimize the Advertising Recommendation System
Columbia University(哥伦比亚大学);University of California, Irvine(加利福尼亚大学尔湾分校);University of Southern California(南加利福尼亚大学)
本文提出MARDPG算法,将搜索、推荐和广告视为协作式部分可观测多智能体决策问题,通过共享目标和策略通信实现多场景联合优化,显著提升CTR、转化率和总销售额。
2024-07-03 cs.AI cs.LG
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近,最初提出的行动独立的基线(萨顿等。2000)。
2017-06-20 cs.AI cs.LG
Reinforcement Learning with Combinatorial Actions: An Application to Vehicle Routing
MIT Operations Research Center(麻省理工学院运筹学中心);Google Research(谷歌研究院)
基于值函数的方法长期以来在强化学习中发挥着重要作用。然而,当动作空间对于枚举来说太大时,找到给定任意复杂度的价值函数的最佳下一动作是不平凡的。我们开发了一个具有组合动作空间的基于值函数的深度强化学习框架,其中动作选择问题被显式地表示为混合整数优化问题。作为一个激励的例子,我们提出了一个应用程序的能力限制的车辆路径问题(CVRP),一个组合优化问题,其中一组位置必须由一个单一的车辆有限的能力。在每一个实例中,我们的行动建模为一个单一的路由建设,并考虑一个确定性的政策,通过一个简单的政策迭代算法进行改进。我们的方法与其他强化学习方法相比具有竞争力,并且在中等大小的标准库实例上与最先进的OR方法的平均差距为1.7%。
2020-10-22 cs.AI cs.LG math.OC
Graph Constrained Reinforcement Learning for Natural Language Action Spaces
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
交互式小说游戏是基于文本的模拟,其中代理纯粹通过自然语言与世界交互。它们是研究如何扩展强化学习代理以应对组合大文本动作空间中的自然语言理解、部分可观察性和动作生成挑战的理想环境。我们提出了KG-A2 C,一个代理,建立一个动态的知识图谱,同时探索和生成使用基于模板的动作空间的行动。我们认为,知识图谱的双重用途,以原因有关的游戏状态和约束自然语言生成的组合大自然语言行动的可扩展性探索的关键。各种IF游戏的结果表明,KG-A2 C优于当前的IF代理,尽管动作空间大小呈指数级增长。
2020-01-23 cs.AI cs.CL cs.LG
Generalization to New Actions in Reinforcement Learning
Department of Computer Science, University of Southern California(南加州大学计算机科学系)
智力的一个基本特征是在面对新的环境时实现目标的能力,例如从新的行动选择中做出决定。然而,标准的强化学习假设一组固定的动作,并且在给定新的动作集时需要昂贵的再训练。为了使学习代理更具适应性,我们引入了zero-shot泛化问题。我们提出了一个两阶段的框架,代理首先推断动作表示从单独获得的任务的动作信息。一个灵活的政策,以不同的行动集,然后训练泛化目标。我们对顺序任务进行基准泛化,例如从看不见的工具集中选择以解决物理推理难题和堆叠具有新颖3D形状的塔。视频和代码可在https://sites.google.com/view/action-generalization上获得
2020-11-03 cs.AI cs.LG cs.RO
Combinatorial Optimization by Graph Pointer Networks and Hierarchical Reinforcement Learning
Columbia University(哥伦比亚大学);Cornell University(康奈尔大学)
在这项工作中,我们介绍了使用强化学习(RL)训练的图指针网络(GPNs),用于解决旅行商问题(TSP)。GPN通过在输入上引入图形嵌入层来构建指针网络,该层捕获节点之间的关系。此外,近似解决约束组合优化问题,如TSP的时间窗口,我们训练层次的GPNs(HGPNs)使用RL,学习分层的政策,找到一个最佳的城市置换的约束。层次结构的每一层都设计有单独的奖励函数,从而实现稳定的训练。我们的研究结果表明,在小规模TSP 50/100问题上训练的GPN可以很好地推广到大规模TSP 500/1000问题,具有更短的行程长度和更快的计算时间。我们验证了对于有时间窗的TSP等约束TSP问题,通过分层RL训练找到的可行解优于以前的基线。本着可重复研究的精神,我们将我们的数据、模型和代码公开提供。
2019-11-12 cs.LG stat.ML
Reinforcement Learning Methods for Neighborhood Selection in Local Search
CETIC research center(CETIC研究中心)
本文研究了强化学习在局部搜索中用于邻域选择的效果,发现ε-贪心表现优异,而深度强化学习需更长运行时间才能竞争
2026-01-12 cs.AI cs.LG
Action Redundancy in Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);Nvidia Research(英伟达研究院)
最大熵(MaxEnt)强化学习是一种在熵正则化下寻求收益最大化的强大学习范式。然而,动作熵不一定与状态熵一致,例如,当多个动作产生相同的过渡时。相反,我们建议最大化过渡熵,即,下一个状态的熵我们表明,过渡熵可以描述为两个术语,即,依赖于模型的过渡熵和动作冗余。特别是,我们探索后者在确定性和随机设置和开发易于处理的近似方法在一个近无模型设置。我们构建的算法,以尽量减少行动冗余,并证明其有效性的合成环境与多个冗余的行动,以及当代基准在雅达利和Mujoco。我们的研究结果表明,动作冗余是强化学习中的一个基本问题。
2021-07-25 cs.AI cs.LG
Reinforcement Learning with Parameterized Actions
University of Witwatersrand(威特沃特斯兰德大学);Duke University(杜克大学)
我们介绍了一个无模型的学习算法在马尔可夫决策过程的参数化行动-离散行动与连续参数。在每个步骤中,代理必须选择要使用的操作以及要与该操作一起使用的参数。我们介绍了Q-PAMDP算法在这些领域的学习,表明它收敛到一个局部最优,并比较它的目标得分和平台域的直接政策搜索。
2015-11-26 cs.AI cs.LG
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington(德克萨斯大学阿灵顿分校)
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习(RL)的一大挑战。主要是,不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互,这有效地(重新)将概念漂移引入到底层的策略学习过程中。我们假设,通过用额外的“自由度“来表征和表示动作,可以实现控制策略的更高适应性,从而以更大的灵活性来适应动作的“行为”结果的变化,包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架,首先建立参数动作模型的概念,以更好地应对不确定性和流体动作行为,然后引入强化场的概念,作为一个物理启发的结构,通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验,随着时间的推移,以自组织的方式演变。使用强化场作为基底,我们将通过将过去的记忆视为隐式图结构,进一步概括策略搜索以纳入高级决策概念,其中记忆实例或粒子,与定义和量化的关联性/相似性程度相互关联,使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
Reinforcement Learning for Multi-Product Multi-Node Inventory Management in Supply Chains
TCS Research(塔塔咨询服务公司研究院);Robert Bosch Centre for Data Science and AI, IIT Madras(印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心)
本文描述了强化学习(RL)在供应链多产品库存管理中的应用。问题描述和解决方案都改编自现实世界的业务解决方案。这个问题的新颖之处就供应链文献是(i)我们考虑并发库存管理的大量(50到1000)的产品共享能力,(ii)我们考虑了一个多节点的供应链,由一个仓库,供应三个商店,(iii)仓库,商店和运输从仓库到商店有有限的能力,(iv)仓库和商店补货发生在不同的时间尺度上,并且具有实际的时间滞后,以及(v)商店对产品的需求是随机的。我们描述了一种新的配方在多代理(分层)强化学习框架,可用于并行决策,并使用优势演员评论(A2C)算法与量化的行动空间来解决这个问题。实验表明,该方法是能够处理多目标奖励最大化的产品销售和最小化易腐产品的浪费。
2020-06-07 cs.AI cs.LG cs.MA
Optimizing Conversational Product Recommendation via Reinforcement Learning
Independent Researcher(独立研究者)
本文提出基于强化学习的对话策略优化方法,通过反馈学习最优推荐时机与方式,在遵守约束的同时提升用户参与度和产品转化率。
2025-06-30 cs.IR cs.LG
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research(谷歌研究院)
我们考虑一个层次化强化学习的设置,其中的奖励是一个组件的总和。对于每个组件,我们都给出了一个最大化它的策略,我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证,组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案,即,仅使用来自当前状态的信息的策略;因此,它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策,并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下,实验结果表明,他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司);Georgia institute of technology(佐治亚理工学院)
针对离线 PBRL 中奖励作弊与强化学习复杂的问题,本文提出 PRC,通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
Jointly-Learned State-Action Embedding for Efficient Reinforcement Learning
Imperial College London(伦敦帝国理工学院);Dataminr
虽然强化学习近年来取得了相当大的成功,但最先进的模型通常仍然受到状态和动作空间大小的限制。无模型强化学习方法使用某种形式的状态表示,最新的工作探索了动作的嵌入技术,目的是实现更好的泛化和适用性。然而,这些方法只考虑状态或动作,在生成嵌入式表示时忽略了它们之间的交互。在这项工作中,我们建立了理论基础的有效性训练强化学习代理使用嵌入的状态和动作。然后,我们提出了一种新的方法,用于联合学习嵌入的状态和动作,结合了无模型和基于模型的强化学习,它可以应用于离散和连续域的方面。具体来说,我们使用的环境模型,以获得嵌入的状态和动作,并提出了一个通用的架构,利用这些来学习的政策。通过这种方式,通过我们的方法获得的嵌入式表示通过捕获嵌入空间中的相似性,可以更好地概括状态和动作。对我们的方法在几个游戏,机器人控制和推荐系统上的评估表明,它在具有大状态/动作空间的离散/连续域中显着优于最先进的模型,从而证实了它的有效性。
2021-08-20 cs.AI cs.LG
Learning Action Representations for Reinforcement Learning
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(奥多比研究院)
大多数无模型强化学习方法利用状态表示(嵌入)进行泛化,但要么忽略动作空间中的结构,要么假设结构是先验提供的。我们展示了一个政策可以分解成一个组件,在一个低维空间的动作表示和一个组件,这些表示转化为实际行动的行为。这些表示通过允许代理推断与已经采取的行动类似的行动的结果来改善大型有限行动集的泛化。我们提供了一个算法来学习和使用动作表示,并提供其收敛的条件。所提出的方法的有效性证明了对大规模的现实世界的问题。
2019-05-14 cs.LG stat.ML
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Google research(谷歌研究);Deepmind(深度思维);The Technion - Israel Institute of Technology(以色列理工学院)
当每个状态下有许多可用动作时,学习如何行动对于强化学习(RL)代理来说是一项具有挑战性的任务,特别是当许多动作是冗余或不相关的时候。在这种情况下,有时更容易了解哪些行动不采取。在这项工作中,我们提出了一种消除干扰的深度Q网络(AE-DQN)架构,该架构将深度RL算法与消除次优动作的动作消除网络(AEN)相结合。AEN被训练来预测无效的动作,由环境提供的外部消除信号监督。仿真结果表明,在基于文本的游戏超过一千个离散的动作香草DQN相当大的加速和增加的鲁棒性。
2019-02-24 cs.LG stat.ML
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室 IDSIA/USI/SUPSI);NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而,这些方法通常需要在数据汇集期间记录动作信息,这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中,我们研究了使用无动作离线数据集来改进在线强化学习的潜力,将这个问题命名为无动作离线预训练的强化学习(AFP-RL)。我们介绍了无动作指南(AF-Guide),一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer(AFDT)组成,实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态,以及一个引导的软演员-评论家(引导SAC),它在AFDT的指导下在线学习。实验结果表明,AF-Guide能够有效地提高样本效率和在线训练的性能,这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG