Sparsely ensembled convolutional neural network classifiers via reinforcement learning
Pavlov Institute of Physiology RAS（俄罗斯科学院巴甫洛夫生理学研究所）；State University of Aerospace Instrumentation（国立航空航天仪器大学）
我们考虑卷积神经网络（CNN）集成学习的目标函数的启发，最小行动原则，它包括资源消耗组件。我们教一个代理通过一组预先训练的分类器来感知图像，并希望得到的动态配置的系统以最小的操作次数和最大的预期精度展开计算图。建议代理的架构隐式近似所需的分类器选择功能的帮助下，强化学习。我们的实验结果证明，如果代理利用动态（和上下文相关）的计算结构，它优于传统的集成学习。
2021-02-07 cs.AI cs.CV cs.LG
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School（孝感高级中学）
在这篇文章中，我们扩展了卷积限制玻尔兹曼机的传统框架，通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征，该乘法单元捕捉输入之间的关系。在许多情况下，两个以上的映射是强相关的，所以明智的做法是让乘法单元学习更多输入映射之间的关系，换句话说，找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序，我们开发了一种学习方法，其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
Reinforcement Learning via Recurrent Convolutional Neural Networks
IIT Guwahati（印度理工学院古瓦哈提分校）
深度强化学习使得能够在部分可观察的环境中学习复杂任务的策略，而无需显式地学习任务的底层模型。虽然这种无模型方法取得了相当大的性能，他们往往忽略了任务的结构。为了更好地利用这种固有结构，我们使用递归卷积神经网络（RCNN）对强化学习（RL）问题进行了自然表示。我们定义了3个这样的RCNN，它们的前向传递执行有效的值迭代，在部分可观察的环境中传播状态的信念，并分别选择最佳动作。通过这些RCNN的反向传播梯度允许系统显式学习与底层MDP相关的转换模型和奖励函数，作为经典的基于模型的RL的优雅替代方案。我们评估所提出的算法在仿真中，考虑到机器人规划问题。我们证明了我们的框架能够降低重新规划的成本，学习准确的MDP模型，并最终使用学习的模型重新规划以实现接近最优的政策。
2017-01-09 cs.AI cs.LG
Dual Self-Awareness Value Decomposition Framework without Individual Global Max for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对合作多智能体强化学习中IGM原则限制问题，提出双自感知价值分解框架，结合自我策略与 alter ego 价值函数并引入反自我探索机制，实现完全无需IGM的价值分解并在多任务中表现优异。
2023-05-17 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning with Graph Convolutional Neural Networks for optimal Bidding Strategies of Generation Units in Electricity Markets
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
在电力市场环境下，寻找发电机组的最优报价策略将获得更高的利润。然而，由于系统的不确定性，这是一个具有挑战性的问题，这是由于未知的其他发电机组的策略。分布式优化，其中每个实体或代理单独决定其出价，已成为最先进的，但它不能克服系统的不确定性的挑战。深度强化学习是在不确定环境中学习最优策略的一种很有前途的方法。然而，它是不能够在学习过程中集成的空间系统拓扑结构的信息。提出了一种基于深度强化学习（DRL）和图卷积神经网络（GCN）的分布式学习算法。事实上，所提出的框架可以帮助代理人更新他们的决策，从环境中获得反馈，以便它可以克服的不确定性的挑战。在该算法中，节点之间的状态和连接是GCN的输入，它可以使代理知道系统的结构。这些关于系统拓扑结构的信息有助于代理人改进他们的投标策略并增加利润。我们评估所提出的算法在IEEE 30节点系统在不同的情况下。此外，为了研究所提出的方法的泛化能力，我们测试IEEE 39节点系统的训练模型。仿真结果表明，该算法比DRL算法具有更强的泛化能力，在改变系统拓扑结构时，可以获得更高的收益。
2022-08-11 cs.AI cs.LG cs.MA
Pruning Convolutional Filters via Reinforcement Learning with Entropy Minimization
Transilvania University of Braşov（布拉索夫特兰西瓦尼亚大学）；Central Washington University（中央华盛顿大学）
本文提出一种以卷积激活空间熵最小化为奖励的强化学习结构化剪枝方法，在多种网络上将 FLOPS 降低 5–10 倍且性能基本无损。
2023-12-08 cs.LG
Deep Graph Convolutional Reinforcement Learning for Financial Portfolio Management -- DeepPocket
National Research Council（加拿大国家研究委员会）
投资组合管理的目标是通过不断重新分配构成投资组合的资产，使投资回报最大化，同时使风险最小化。这些资产不是独立的，而是在短时间内相互关联的。提出了一个名为DeepPocket的图卷积强化学习框架，其目标是利用金融工具之间的时变相互关系。这些相互关系由图表示，其节点对应于金融工具，而边缘对应于资产之间的成对相关函数。DeepPocket包括一个用于特征提取的受限堆栈自动编码器，一个用于收集金融工具之间共享的底层本地信息的卷积网络，以及一个演员-评论家强化学习代理。行动者-批评者结构包含两个卷积网络，其中行动者学习并执行投资策略，该投资策略反过来由批评者评估，以便通过不断重新分配各种投资组合资产来确定最佳行动方案，以优化投资的预期收益率。该代理最初是离线训练与在线随机抽样的历史数据。当新数据可用时，它会使用被动概念漂移方法在线训练，以处理其分布中的意外变化。DeepPocket在三个不同的投资时期（包括2019冠状病毒病危机期间）根据五个真实数据集进行评估，表现明显优于市场指数。
2021-05-06 cs.CE cs.LG q-fin.CP
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
值分解方法作为求解分散部分可观测马尔可夫决策过程（Dec-POMDP）问题的方法之一，近年来取得了重要的成果。然而，大多数值分解方法需要在训练期间完全可观察的环境状态，但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此，我们提出了一种新的价值分解框架，称为状态推理价值分解（SIDE），它通过同时寻求最优控制和状态推理两个问题的解决方案，消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法，以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能，我们验证了SIDE可以在没有可访问状态的情况下，根据过去的局部观察推断出有助于强化学习过程的当前状态，甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Deep Reinforcement Learning with Mixed Convolutional Network
Boston University（波士顿大学）
最近的研究表明，将单个前置摄像头的原始像素直接映射到转向命令的功能非常强大。本文提出了一种卷积神经网络（CNN），用于在OpenAI Gym中使用模仿学习播放CarRacing-v0。数据集是通过在Gym中手动玩游戏生成的，并使用数据增强方法将数据集扩展到以前的4倍。此外，我们读取每个图像的真实速度，四个ABS传感器，方向盘位置和陀螺仪，并通过结合传感器输入和图像输入设计了一个混合模型。经过训练，该模型可以自动检测道路特征的边界，并像人一样驱动机器人。通过使用CarRacing-v0中的平均奖励与AlexNet和VGG 16进行比较，我们的模型赢得了最大的整体系统性能。
2020-10-06 cs.CV cs.LG cs.RO
Graph Convolutional Reinforcement Learning for Collaborative Queuing Agents
Télécom SudParis, Institut Polytechnique de Paris（巴黎理工学院南巴黎电信学院）；Huawei Technologies Ltd.（华为技术有限公司）
在本文中，我们探讨了使用多代理深度学习以及学习合作原则，以满足严格的服务水平协议，在吞吐量和端到端延迟方面，一组分类的网络流。我们认为代理建立在加权公平排队算法之上，该算法连续设置三个流组的权重：金，银，铜。我们依赖于一种新的基于图卷积的多智能体强化学习方法，称为DGN。作为基准，我们提出了集中式和分布式深度Q网络方法，并评估了它们在不同网络、流量和路由场景中的性能，突出了我们建议的有效性和代理合作的重要性。我们表明，我们的基于DGN的方法满足严格的吞吐量和延迟要求在所有情况下。
2022-05-24 cs.LG cs.NI
MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using Decomposition and Attention Model for Multiobjective Optimization
Department of Computer Science, Sun Yat-sen University（中山大学计算机科学系）；Sun Yat-sen University（中山大学）
近年来，提出了一种用于求解多目标优化问题的深度强化学习方法。该方法将多目标优化问题分解为多个单目标优化子问题，并以协同的方式对所有子问题进行优化。每个子问题用指针网络建模，并用强化学习训练模型。然而，指针网络在提取实例的特征时，忽略了输入节点的底层结构信息。因此，本文提出了一种基于分解和注意力模型的多目标深度强化学习方法来求解多目标优化问题。在我们的方法中，每个子问题是解决一个注意力模型，它可以利用结构特征以及输入节点的节点特征。对多目标旅行商问题的实验结果表明，该算法与已有的方法相比，具有更好的性能。
2020-02-13 cs.LG cs.NE
Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院）；School of Computer Science, Tongji University, Shanghai, China（同济大学计算机科学学院）；Vector Institute（向量研究所）
针对离线合作多智能体强化学习中联合动作空间高维和异质行为数据导致的策略分布偏移问题，提出序列得分函数分解方法，利用扩散模型从多模态离线数据中学习每个智能体的正则化信号，指导策略更新至高分、分布内区域，在多个粒子环境和多智能体MuJoCo基准上实现最先进性能。
2026-05-28 cs.LG cs.MA
Deep Reinforcement Learning-Based Channel Allocation for Wireless LANs with Graph Convolutional Networks
Kyoto University（京都大学）
去年，IEEE 802.11极高吞吐量研究组（EHT Study Group）成立，以发起对IEEE 802.11新特性的讨论。EHT研究小组讨论了无线局域网（WLAN）中接入点（AP）的协调控制方法。本研究提出了一种使用图卷积网络（GCN）的基于深度强化学习的信道分配方案。作为一种深度强化学习方法，我们使用了一种著名的方法双深度Q网络。在密集部署的无线局域网中，AP的可用拓扑结构的数量是非常高的，因此，我们提取的拓扑结构的特征的基础上GCN。我们将GCN应用到竞争图中，其中在其载波侦听范围内的AP被连接以提取载波侦听关系的特征。此外，为了提高学习速度，特别是在学习的早期阶段，我们采用了基于博弈论的方法来收集独立于神经网络模型的训练数据。仿真结果表明，与现有的方法相比，该方法可以适当地控制信道。
2019-05-17 cs.LG cs.NI eess.SP
Alpha Elimination: Using Deep Reinforcement Learning to Reduce Fill-In during Sparse Matrix Decomposition
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
提出基于深度强化学习（蒙特卡洛树搜索与神经网络）的alphaElimination方法，将稀疏矩阵重排序视为单人游戏，以减少LU分解中的填充，相比现有启发式算法显著降低非零元素且运行时间几乎不变。
2023-10-15 cs.LG
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Symbolic Relational Deep Reinforcement Learning based on Graph Neural Networks and Autoregressive Policy Decomposition
Czech Technical University in Prague（布拉格捷克技术大学）；Artificial Intelligence Center, Department of Computer Science, Faculty of Electrical Engineering（电气工程学院计算机科学系人工智能中心）
针对关系型强化学习中状态与动作空间可变、难用定长表示适配现有方法的问题，提出基于图神经网络和自回归策略分解的无领域依赖深度RL框架，在多领域验证了适用性与跨规模零样本泛化能力。
2023-08-25 cs.AI cs.LG
Distributed Control of Partial Differential Equations Using Convolutional Reinforcement Learning
Paderborn University（帕德博恩大学）；University of Washington（华盛顿大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
提出卷积强化学习框架，利用平移不变性和有限速度信息传输降低PDE分布式控制复杂度，通过核宽度或步长灵活调整，实现低资源下的系统稳定化。
2023-12-23 cs.LG math.OC
Convolutional Neural Networks For Automatic State-Time Feature Extraction in Reinforcement Learning Applied to Residential Load Control
VITO/EnergyVille（VITO/能源城）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出使用卷积神经网络提取隐藏状态-时间特征，以缓解部分可观测性带来的 curse，通过拟合 Q-迭代的监督学习步骤估计状态-动作值函数，验证了该方法在住宅负荷控制中的有效性。
2016-10-11 cs.LG cs.SY eess.SY
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
Almost Optimal Model-Free Reinforcement Learning via Reference-Advantage Decomposition
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究了有限时域情景马尔可夫决策过程（MDP）中的强化学习问题，该过程具有$S$状态、$A$动作和情景长度$H$ .我们提出了一个无模型的算法UCB-Advantage，并证明了它实现了$\tilde{O}(\sqrt{H^2SAT})$遗憾，其中$T = KH$和$K$是播放的剧集数。我们的遗憾界改进了[Jin等人，2018]，并匹配最知名的基于模型的算法以及信息理论下限对数因子。我们还表明，UCB-Advantage实现了低局部切换成本，并适用于并发强化学习，改进了[Bai et al.，2019年]。
2020-06-06 cs.DS cs.LG stat.ML
Spectral Decomposition Representation for Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）；University of Alberta（阿尔伯塔大学）；Georgia Tech（佐治亚理工学院）
表示学习通常通过管理维度灾难在强化学习中起着关键作用。一类具有代表性的算法利用随机过渡动力学的谱分解来构造在理想化设置中具有强理论性质的表示。然而，目前的谱方法受到有限的适用性，因为它们被构造为仅状态聚合和来自一个依赖于策略的过渡内核，而不考虑探索的问题。为了解决这些问题，我们提出了一种替代的谱方法，谱分解表示（SPEDER），从动态中提取状态-动作抽象，而不会引起对数据汇集策略的虚假依赖，同时还平衡了学习过程中的探索与利用权衡。理论分析建立了所提出的算法在在线和离线设置的样本效率。此外，实验研究表明，在几个基准测试的性能优于当前国家的最先进的算法。
2023-03-07 cs.LG stat.ML
Value Function Decomposition for Iterative Design of Reinforcement Learning Agents
Sony AI（索尼AI）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
设计强化学习（RL）代理通常是一个困难的过程，需要多次设计迭代。学习失败的原因有很多，标准的强化学习方法提供的工具太少，无法深入了解确切的原因。在本文中，我们将展示如何将价值分解集成到一个广泛的演员-评论家算法，并使用它来协助迭代代理设计过程。价值分解将奖励函数分成不同的组件，并学习每个组件的价值估计。这些价值估计提供了对智能体学习和决策过程的深入了解，并使新的训练方法能够减轻常见问题。作为演示，我们介绍SAC-D，软演员评论家（SAC）的一个变种，适用于价值分解。SAC-D保持与SAC相似的性能，同时学习更大的价值预测集。我们还介绍了基于分解的工具，利用这些信息，包括一个新的奖励影响度量，衡量每个奖励组件对代理决策的影响。使用这些工具，我们提供了几个示范分解的使用，在识别和解决问题的环境和代理的设计。价值分解具有广泛的适用性，并且易于纳入现有的算法和工作流，使其成为RL实践者工具箱中的强大工具。
2022-10-20 cs.AI cs.LG
MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在现实世界中，许多任务需要多个智能体在局部观测条件下相互协作。为了解决这些问题，许多多智能体强化学习方法的基础上集中训练与分散执行已被提出。一个代表性的工作类别是值分解，其将全局联合Q值$Q_\text{jt}$分解为个体Q值$Q_a$以指导个体的行为，例如VDN（值分解网络）和QMIX。然而，这些基线往往忽略了情况的随机性。我们提出了MMD-MIX，一种结合分布式强化学习和值分解的方法来缓解上述弱点。此外，为了提高数据采样效率，我们受到了REM（随机混合）的启发，REM是一种鲁棒的RL算法，将随机性显式引入MMD-MIX。实验表明，MMD-MIX优于星际争霸多智能体挑战赛（SMAC）环境中的先前基线。
2021-06-22 cs.AI cs.LG cs.MA
Decomposition Methods with Deep Corrections for Reinforcement Learning
分解方法已被提出来近似解决大型序列决策问题。在代理与多个实体交互的上下文中，效用分解可以用于将全局目标分离为独立考虑每个个体实体的局部任务。然后，仲裁者负责将各个效用组合起来，并实时的选择一个动作来解决全局问题。虽然这些技术可以很好地执行经验，他们依赖于强假设的本地任务之间的独立性和牺牲全局解决方案的最优性。本文提出了一种方法，通过学习一个校正项表示的神经网络的近似解的改进。我们展示了这种方法的渔业管理问题，多艘船必须协调，以最大限度地提高他们的渔获量随着时间的推移，以及行人回避问题的自动驾驶。在每个问题中，分解方法可以通过使用涉及一个实体的策略扩展到多个船只或行人。我们经验验证，所提出的校正方法显着提高了分解方法，并优于一个政策训练的全尺寸的问题，没有效用分解。
2019-04-22 cs.AI cs.LG
Scaling All-Goals Updates in Reinforcement Learning Using Convolutional Neural Networks
Imperial College London（帝国理工学院）
能够到达环境中的任何期望位置对于代理来说都是有价值的资产。学习在所有状态对之间单独导航的策略通常是不可行的。一个全目标更新算法使用每个转换学习Q值同时对所有目标和关闭的政策。然而，昂贵的大量并行更新限制了迄今为止的小表格病例的方法。为了解决这个问题，我们建议使用卷积网络架构来同时为大量目标生成Q值和更新。我们证明了随机生成的迷宫和推箱子难题所提出的方法的准确性和泛化质量。在屏幕上的目标坐标的情况下，从帧到距离地图的映射直接通知代理哪些地方是可到达的，以及有多少步骤。作为一个应用程序的例子，我们表明，取代ε贪婪探索的几个行动对可行的目标产生更好的探索轨迹蒙特祖玛的复仇和超级马里奥全明星游戏的随机行动。
2020-02-04 cs.LG stat.ML
Graph Convolutional Policy for Solving Tree Decomposition via Reinforcement Learning Heuristics
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一个基于强化学习的方法来近似解决树分解（TD）问题。TD是一个组合问题，它是分析图的次结构和计算复杂性的核心，也是概率推理、寄存器分配和其他实际任务算法的核心。最近，它已被证明，组合问题可以成功地解决学习算法。然而，大多数现有的作品不解决的问题，基于学习的解决方案的泛化。我们的模型是基于图卷积神经网络（GCN）的学习图形表示。我们表明，智能体构建在GCN上，并使用Actor-Critic方法在单个图上进行训练，可以有效地推广到现实世界的TD问题实例。我们确定，我们的方法成功地推广从小图，TD可以找到精确的算法，大的实际利益的情况下，同时仍然具有非常低的时间解决方案。另一方面，基于代理的方法通过解决方案的质量超越了所有贪婪算法。
2020-02-20 cs.LG stat.ML
Reinforcement Learning for Block Decomposition of CAD Models
Georgia Institute of Technology（佐治亚理工学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了一种新的AI辅助方法，用于将平面CAD（计算机辅助设计）模型分解（分割）成形状良好的矩形块，作为适用于复杂2D和3D CAD模型的一般分解方法的原理证明。分解块需要生成高质量的网格（四边形或六面体的平铺），适用于守恒定律所管辖的物理系统的数值模拟。一般CAD模型的六面体网格生成问题已经困扰了研究人员超过30年，分析人员通常花费超过50%的设计分析周期时间将复杂模型分解为可通过现有技术网格化的简单部分。我们的方法使用强化学习来训练代理对CAD模型执行一系列优化切割，从而产生高质量的块分解。我们表明，代理快速学习一个有效的策略，选择的位置和方向的削减，并最大限度地提高其回报，而不是随机削减。本文是第一个成功的演示代理自主学习如何有效地执行这个块分解任务，从而保持一个可行的方法来自动化这个具有挑战性的过程的承诺。
2023-02-21 cs.AI cs.LG
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
Wireless Communication Enhanced Value Decomposition for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
本文提出CLOVER框架，通过无线通信图增强价值分解，提升多智能体强化学习的收敛速度和性能。
2026-04-09 cs.LG
Representations and Exploration for Deep Reinforcement Learning using Singular Value Decomposition
University of Massachusetts（马萨诸塞大学）；DeepMind（深度思维）
针对深度强化学习的表示学习与探索难题，提出基于奇异值分解的方法，可保留转移结构、免费生成伪计数估计，适配大规模及部分可观测场景，在DM-Lab-30和DM-Hard-8基准上验证了有效性。
2023-05-02 cs.AI cs.LG
A Contextualized Real-Time Multimodal Emotion Recognition for Conversational Agents using Graph Convolutional Networks in Reinforcement Learning
Lucerne University of Applied Science and Arts（卢塞恩应用科学与艺术大学）
本文提出conER-GRL框架，通过将对话划分为话语组并用GRU提取多模态特征，再级联训练GCN和强化学习智能体捕捉情感依赖，在IEMOCAP上实现了实时多模态情感识别的优越性能。
2023-10-24 cs.CL cs.HC cs.LG
Understanding Value Decomposition Algorithms in Deep Cooperative Multi-Agent Reinforcement Learning
Yale University（耶鲁大学）；University of Oxford（牛津大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）
价值函数分解正在成为一种流行的经验法则，用于在合作游戏中扩展多智能体强化学习（MARL）。对于这样的分解规则，必须假设个体-全局最大值（IGM）原则;也就是说，每个代理的分解价值函数上的局部最大值必须等于联合价值函数上的全局最大值。然而，这一原则并不一定在一般情况下成立。因此，值分解算法的适用性被掩盖，其相应的收敛特性仍然未知。在本文中，我们首次尝试回答这些问题。具体来说，我们引入了一组合作博弈的价值分解方法找到他们的有效性，这是被称为可分解的游戏。在可分解博弈中，我们从理论上证明了应用多智能体拟合Q迭代算法（MA-FQI）将导致最优Q函数。在不可分解对策中，在Q函数每次迭代都需要投影到可分解函数空间的情况下，MA-FQI估计的Q函数仍能收敛到最优解。在这两种情况下，我们考虑实际深度神经网络的价值函数表示，并推导出相应的收敛速度。总之，我们的研究结果首次为MARL从业者提供了关于价值分解算法何时收敛以及为什么它们表现良好的理论见解。
2022-02-16 cs.AI cs.LG stat.ML
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition
本文提出了分层强化学习的MAXQ方法的基础上分解的目标马尔可夫决策过程（MDP）到一个层次的较小的MDP和分解的价值函数的目标MDP到一个加法组合的价值函数的较小的MDP。本文定义了MAXQ层次结构，证明了其表示能力的形式化结果，并建立了安全使用状态抽象的五个条件。本文提出了一种在线无模型的学习算法MAXQ-Q，并证明了即使在存在五种状态抽象的情况下，它也以概率1收敛到一种称为递归最优策略的局部最优策略。本文通过三个领域的一系列实验对MAXQ表示和MAXQ-Q进行了评估，并通过实验表明MAXQ-Q（具有状态抽象）收敛到递归最优策略的速度比平坦Q学习快得多。MAXQ学习价值函数的表示的事实具有重要的益处：它使得可以通过类似于策略迭代的策略改进步骤的过程来计算和执行改进的非分层策略。本文通过实验证明了这种非分层执行的有效性。最后，本文的结论与相关工作的比较和层次强化学习的设计权衡的讨论。
1999-05-21 cs.LG
Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
Technion, Israel Institute of Technology（以色列理工学院）；University of Augsburg（奥格斯堡大学）
本文研究将局部奖励分解与全局策略摘要方法 HIGHLIGHTS 相结合来解释强化学习智能体，并通过用户研究验证两种方法在不同偏好差异场景下对理解智能体行为的互补收益。
2022-10-21 cs.AI cs.HC cs.LG
Auto-STGCN: Autonomous Spatial-Temporal Graph Convolutional Network Search Based on Reinforcement Learning and Existing Research Results
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，人们提出了许多时空图卷积网络（STGCN）模型来处理时空网络数据预测问题。这些STGCN模型有其自身的优点，即，它们各自提出了许多有效的运算，并在实际应用中取得了较好的预测效果。如果用户能够有效地利用和组合这些优秀的操作，结合现有模型的优点，那么他们可能会获得更有效的STGCN模型，从而利用现有的工作创造更大的价值。然而，由于缺乏领域知识，他们无法做到这一点，并且缺乏自动化系统来帮助用户实现这一目标。本文填补了这一空白，提出了Auto-STGCN算法，该算法利用现有模型自动探索特定场景下的高性能STGCN模型。具体而言，本文设计了Unified-STGCN框架，该框架对现有体系结构的操作进行了总结，并使用参数控制每个操作的用法和特征属性，从而实现了STGCN体系结构的参数化表示和优势的重组与融合。然后，我们提出了Auto-STGCN，一种基于强化学习的优化方法，快速搜索Unified-STGCN提供的参数搜索空间，自动生成最优的STGCN模型。在真实世界基准数据集上的大量实验表明，我们的Auto-STGCN可以找到优于现有STGCN模型的启发式参数，这表明我们提出的方法的有效性。
2020-10-15 cs.AI cs.LG
Multi-Objective Reinforcement Learning Based on Decomposition: A Taxonomy and Framework
University of Luxembourg（卢森堡大学）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）
本文提出基于分解的多目标强化学习（MORL/D）分类体系与灵活框架，连接RL与MOO/D文献，经基准测试验证其性能与最先进方法相当，为MORL提供统一视角与词汇。
2024-02-05 cs.LG
Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；East China Normal University（华东师范大学）；Tongji University（同济大学）
针对合作式稀疏奖励多智能体强化学习中现有自动子目标生成方法样本效率低的问题，提出结合预训练语言模型思维链与语言锚定强化学习的SAMA方法，显著提升样本效率。
2023-09-30 cs.AI cs.CL cs.LG
State Space Decomposition and Subgoal Creation for Transfer in Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
典型的强化学习（RL）代理学习完成由针对其域定制的奖励函数指定的任务。因此，他们学习的策略甚至不能推广到类似的领域。为了解决这个问题，我们开发了一个框架，通过该框架，深度RL代理可以使用循环注意力机制学习将策略从更小，更简单的域推广到更复杂的域。任务以图像和指定目标的指令的形式呈现给代理。这个元控制器通过在注意力的状态空间中设计一系列较小的子任务来引导代理实现其目标，有效地分解它。作为基线，我们也考虑了没有注意力的设置。我们的实验表明，元控制器学习在注意力中创建子目标。
2017-05-24 cs.AI cs.LG stat.ML
Scalable Deep Reinforcement Learning for Ride-Hailing
Cornell University（康奈尔大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
滴滴出行、Lyft和Uber等叫车服务全天安排数千辆汽车满足乘车请求。我们考虑了一个叫车服务系统的马尔可夫决策过程（MDP）模型，将其构建为一个强化学习（RL）问题。多个智能体（汽车）的同时控制对MDP优化提出了挑战，因为动作空间随着汽车的数量呈指数增长。我们提出了一个特殊的分解MDP行动顺序分配任务的驱动程序。新的动作结构解决了可扩展性问题，并允许使用深度RL算法进行控制策略优化。我们证明了我们提出的分解的好处，基于滴滴出行的真实数据的数值实验。
2020-09-27 cs.LG cs.MA math.OC
Fixing Incomplete Value Function Decomposition for Multi-Agent Reinforcement Learning
Khoury College of Computer Sciences（科里学院计算机科学系）；Northeastern University（东北大学）
本文针对协作多智能体强化学习中现有值函数分解无法完整表示 IGM 值或过于复杂的问题，提出带轻量修复层的 QFIX 模型族，并在 SMACv2 与 Overcooked 上验证其更稳定、更高效。
2025-05-15 cs.LG
Attentive Convolutional Deep Reinforcement Learning for Optimizing Solar-Storage Systems in Real-Time Electricity Markets
Monash University（莫纳什大学）
针对实时电力市场下的光储系统优化问题，提出结合注意力机制与多粒度特征卷积的AC-DRL算法，相较基准方法收益提升11%-23%，光伏弃电降低76%，实现光储协同增效。
2024-01-29 cs.LG cs.SY eess.SY
Mesh-RL: Coupled subgrid reinforcement learning
University of Alberta（阿尔伯塔大学）
提出Mesh-RL框架，通过有限元启发的空间域分解和边界一致时序差分更新，加速稀疏奖励环境中的长程信用分配，提升收敛速度与学习稳定性。
2026-06-26 cs.LG
Model Primitive Hierarchical Lifelong Reinforcement Learning
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
学习可解释和可转移的子策略并从单个复杂任务执行任务分解是困难的。一些传统的分层强化学习技术以自上而下的方式执行这种分解，而元学习技术需要手头的任务分布来学习这种分解。本文提出了一个框架，使用不同的次优世界模型分解成简单的模块化子策略的复杂任务的解决方案。该框架以自自底向上的的方式执行单个源任务的自动分解，同时学习所需的模块化子策略以及控制器来协调它们。我们在高维连续动作控制任务上进行了一系列实验，以证明这种方法在复杂的单任务学习和终身学习中的有效性。最后，我们进行消融研究，以了解框架中不同元素的重要性和鲁棒性以及这种方法的局限性。
2019-03-04 cs.AI cs.LG cs.NE
Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition
LG Electronics（LG电子）
在一个通用的已知环境中的覆盖路径规划被证明是NP难的。当环境未知时，机器人需要依靠在覆盖过程中建立的在线地图信息进行路径规划，因此设计具有合理性能的启发式或近似算法成为一个重要的研究方向。这样的算法在覆盖区域或覆盖成本方面具有次优性能，例如，覆盖时间或能量消耗。在本文中，我们提供了一个系统的分析的覆盖问题，并制定它作为一个最佳的停止时间的问题，覆盖性能和成本之间的权衡明确占。接下来，我们证明了强化学习（RL）技术可以用来解决计算问题。为此，我们提供了一些技术和实际的考虑，以促进RL算法的应用和提高解决方案的效率。最后，通过在网格世界环境和Gazebo模拟器中的实验，我们证明了基于强化学习的算法能够有效地覆盖真实的未知室内环境，并且性能优于当前的最新技术水平。
2021-10-18 cs.AI cs.LG cs.RO
Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach
University of Alberta（阿尔伯塔大学）
针对多链MDP的平均奖励强化学习，提出基于Bather分解的层次化异步值迭代算法，收敛到最优增益并生成增益最优策略，进一步扩展两种算法提升瞬态性能，为一般多链MDP提供首批无模型平均奖励RL方法。
2026-10-08 cs.LG math.OC
Graph Convolutional Memory using Topological Priors
University of Cambridge（剑桥大学）；Toshiba Europe Limited（东芝欧洲有限公司）
当将强化学习应用于现实世界的问题时，解决部分可观察的马尔可夫决策过程（POMDPs）是至关重要的，其中代理人对世界的看法是不完整的。我们提出了图卷积记忆（GCM），第一个使用强化学习解决POMDPs的混合记忆模型。GCM使用人类定义的或数据驱动的拓扑先验来形成图邻域，使用动态规划将它们组合成更大的网络拓扑。我们使用图卷积查询图，将相关记忆合并为上下文相关的信念。在没有人类先验知识的情况下使用时，GCM的表现与最先进的方法相似。当与人类先验一起使用时，GCM在控制，记忆和导航任务上优于这些方法，同时使用更少的参数。
2021-10-08 cs.AI cs.LG cs.RO
Exploiting inter-agent coupling information for efficient reinforcement learning of cooperative LQR
Oklahoma State University（俄克拉荷马州立大学）
本文利用智能体间耦合信息提出精确分解局部Q函数的系统方法，开发近似最小二乘策略迭代算法，并证明其最坏情况样本复杂度与集中式相当，同时推导出提升样本效率的充要图条件。
2025-04-29 cs.LG cs.MA cs.SY
Gradient Reduction Convolutional Neural Network Policy for Financial Deep Reinforcement Learning
University of North Texas（北得克萨斯大学）；Artificial Intelligence Research Center (AIRC)（人工智能研究中心（AIRC））
本文提出两项改进CNN模型的方法：输入阶段集成归一化层以稳定训练动态，并采用梯度缩减架构以捕捉复杂模式，显著提升了金融表格数据的预测准确性和模型稳定性。
2024-08-16 cs.LG q-fin.CP
Playing to Par: Reinforcement Learning for Provably Optimal Quadrilateral Block Decompositions
本文提出用强化学习智能体直接操作网格半边结构，通过局部编辑和基于网格连通性的卷积策略，生成达到离散高斯-博内下界（标准杆）的四边形分解，在保留域上显著优于Gmsh，实现可证明最优的网格生成。
2026-09-29 cs.LG
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
A Recipe for Stable Offline Multi-agent Reinforcement Learning
本文提出一种稳定离线多智能体强化学习的配方，通过尺度不变价值归一化技术解决非线性价值分解的不稳定性问题，提升训练稳定性与性能。
2026-03-09 cs.AI cs.LG cs.RO
Privacy-Engineered Value Decomposition Networks for Cooperative Multi-Agent Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Florida（佛罗里达大学）
针对合作多智能体强化学习中的隐私问题，提出PE-VDN算法，通过分布式计算、多方计算和差分隐私技术，在保护环境数据的同时实现80%的Vanilla VDN胜率。
2023-09-13 cs.AI cs.LG cs.MA
