Biases for Emergent Communication in Multi-agent Reinforcement Learning
DeepMind（深度思维）
我们研究的问题，紧急沟通，语言出现，因为扬声器和听众必须沟通信息，以解决任务。在时间上扩展的强化学习领域中，已经证明在没有集中训练代理的情况下难以学习这种通信，部分原因是难以联合探索问题。我们为积极的信号和积极的倾听引入了归纳偏见，这缓解了这个问题。在一个简单的一步环境中，我们展示了这些偏见如何缓解学习问题。我们还将我们的方法应用到一个更广泛的环境中，表明具有这些归纳偏见的代理可以实现更好的性能，并分析由此产生的通信协议。
2019-12-11 cs.CL cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Communication Methods in Multi-Agent Reinforcement Learning
Telecooperation Institute, Johannes Kepler University Linz, Austria（telecooperation研究所，约瑟夫·胡斯大学林茨，奥地利）
本文综述了多智能体强化学习中不同通信方法的优缺点，指出无通用最优框架，需根据具体问题选择，并强调低计算开销和现实通信条件下的鲁棒性改进的重要性。
2026-01-19 cs.AI cs.LG cs.MA
DACOM: Learning Delay-Aware Communication for Multi-Agent Reinforcement Learning
University of Oslo（奥斯陆大学）；NOOT Tech. Co., Ltd.（NOOT科技有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
在协作式多智能体强化学习（MARL）中，通信可以提高多智能体协作和整体性能。然而，由于大多数现有通信方案忽略了通信开销（例如，通信延迟）。在本文中，我们证明了忽略通信延迟对协作有不利影响，特别是在自动驾驶等延迟敏感的任务中。为了减轻这种影响，我们设计了一个延迟感知的多智能体通信模型（DACOM），以适应通信延迟。具体来说，DACOM引入了一个组件TimeNet，负责调整代理接收来自其他代理的消息的等待时间，以便解决与延迟相关的不确定性。我们的实验表明，DACOM有一个不可忽视的性能改善比其他机制，使通信的好处和等待消息的成本之间的更好的权衡。
2022-12-03 cs.LG cs.MA cs.NI
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University（普渡大学）
逆向强化学习（IRL）是一种从演示中进行示教学习的强大方法。在本文中，我们解决IRL问题的先验知识，最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制，需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习（X-MEN）算法，保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样（一种可证明的采样方法，将#P完全采样问题转换为对NP预言机的查询）嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明，X-MEN收敛速度更快的最佳政策相比，基线方法，总是产生的轨迹，满足多状态组合约束。
2022-03-22 cs.LG
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了逆强化学习（IRL）和模仿学习（IM），即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程，通过增加一个权重函数的最大熵框架，具有学习和恢复的随机性（或有限理性）的专家政策的能力的动机。我们的框架和算法允许学习奖励（或策略）函数和添加到马尔可夫决策过程的熵项的结构，从而增强学习过程。我们的数值实验，使用人类和模拟演示和离散和连续的IRL/IM任务表明，我们的方法优于以前的算法。
2022-08-20 cs.LG
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；Kakao Brain
在本文中，我们提出了一类新的马尔可夫决策过程（MDP），称为Tsallis MDP，Tsallis熵最大化，推广现有的最大熵强化学习（RL）。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架，包括著名的标准香农-吉布斯（SG）熵，使用额外的实值参数，称为熵指数。通过控制熵指数，我们可以产生各种类型的熵，包括SG熵，不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析，包括最优性条件，性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题，我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值，并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题，我们发现，一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估，并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
提出LMAC框架，利用大语言模型的推理能力设计通信协议，使所有智能体尽可能准确一致地重建底层状态，从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Universally Expressive Communication in Multi-Agent Reinforcement Learning
InstaDeep Ltd.（InstaDeep公司）；University of Oxford（牛津大学）
在多智能体强化学习中，允许智能体通过通信共享信息对于解决复杂任务至关重要。在这项工作中，我们考虑的问题，是否一个给定的通信协议可以表达任意的政策。通过观察，许多现有的协议可以被视为图神经网络（GNNs）的实例，我们证明了联合动作选择节点标记的等价性。由于标准GNN方法的表达能力有限，我们从现有的GNN文献中借鉴，并考虑用以下内容来增强代理观察：（1）唯一的代理ID和（2）随机噪声。我们提供了一个理论分析，这些方法如何产生普遍表达的沟通，也证明了他们能够针对任意一组相同的代理人的行动。从经验上讲，这些增强被发现，以提高表现性的沟通是必需的，而在一般情况下，最佳的通信协议被发现是任务相关的任务上的性能。
2023-01-13 cs.DM cs.LG cs.MA
Action Redundancy in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
最大熵（MaxEnt）强化学习是一种在熵正则化下寻求收益最大化的强大学习范式。然而，动作熵不一定与状态熵一致，例如，当多个动作产生相同的过渡时。相反，我们建议最大化过渡熵，即，下一个状态的熵我们表明，过渡熵可以描述为两个术语，即，依赖于模型的过渡熵和动作冗余。特别是，我们探索后者在确定性和随机设置和开发易于处理的近似方法在一个近无模型设置。我们构建的算法，以尽量减少行动冗余，并证明其有效性的合成环境与多个冗余的行动，以及当代基准在雅达利和Mujoco。我们的研究结果表明，动作冗余是强化学习中的一个基本问题。
2021-07-25 cs.AI cs.LG
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）
两个迄今为止断开的研究线程，多样性探索（DE）和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中，我们确定了这两种方法之间的联系。首先，提出了一个基于鉴别器的多样性目标，并将其与常用的发散性度量相连接。然后，我们将这个目标扩展到最大熵框架，并提出了一个算法最大熵多样性探索（MEDE），它提供了一个原则性的方法来学习不同的行为。理论研究表明，由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上，所提出的算法将最大熵策略分解为不同的组成策略。实验表明，MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Minnesota（明尼苏达大学）
本文研究了强化学习中的分布式策略优化问题，该问题涉及一个中央控制器和一组学习器。特别是，在几个应用程序中遇到的两个典型的设置被认为是：多智能体强化学习（RL）和并行RL，学习者和控制器之间的频繁的信息交换是必需的。然而，对于许多实际的分布式系统，这些频繁的通信交换所造成的开销是相当可观的，并成为整体性能的瓶颈。为了解决这一问题，提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信，在不降低学习性能的前提下减少了通信开销。它是建立解析：i）新的算法具有相同的收敛速度的平原香草策略梯度;而ii）如果分布式学习器是异构的，在他们的奖励功能，需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比，替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center（FEI大学中心）
受图神经网络在智能体通信方面的最新进展的启发，提出了一种多智能体通信能力的有向标记异构智能体图表示方法，其中节点标签表示智能体类，边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构，专门在完全合作的异构多智能体任务的通信，通过学习个人的转换，每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享，我们表现出相当或优越的性能，在环境中，有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
Communication Efficient Parallel Reinforcement Learning
Purdue University（普渡大学）
我们考虑的问题，$M$代理与$M$相同和独立的环境与$S$状态和$A$行动使用强化学习的$T$轮。代理与中央服务器共享数据，以尽量减少他们的遗憾。我们的目标是找到一个算法，允许代理，以尽量减少与不频繁的通信回合的遗憾。我们提供\NAM \，它运行在每个代理，并证明了$M$代理的总累积遗憾的上界为$\Tilde{O}(DS\sqrt{MAT})$的马尔可夫决策过程直径$D$，状态数$S$，和行动数$A$。代理同步后，他们的访问任何状态动作对超过一定的阈值。利用这一点，我们得到了$O\left(MSA\log(MT)\right)$上的通信轮总数的界。最后，我们评估算法对多种环境，并证明该算法的性能与始终通信版本的UCRL 2算法，而显着降低通信。
2021-02-22 cs.AI cs.LG cs.MA
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)（电子和电信研究院（ETRI））
本文针对深度强化学习中的探索问题，发现低初始熵导致学习失败，提出熵感知模型初始化策略，有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
On the Role of Emergent Communication for Social Learning in Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
人类之间的明确沟通是协调和学习的关键。社会学习，它使用来自专家的线索，可以大大受益于使用明确的沟通，以调整异构的政策，降低样本的复杂性，并解决部分可观察的任务。紧急通信是一种显式通信，研究创建一种人工语言来直接从数据中编码高任务实用性消息。然而，在大多数情况下，紧急通信发送的消息压缩不足，信息很少或为空，这也可能无法理解第三方侦听器。提出了一种基于信息瓶颈的无监督方法，以捕获参考复杂度和任务特定效用，从而充分探索多智能体强化学习（MARL）中的稀疏社会通信场景。我们表明，我们的模型能够i）开发一个自然语言启发的信息词典，该信息词典独立地由一组新兴概念组成，这些概念以最小的位跨越观察和意图，ii）开发通信，以使异构代理的行动策略与不同的特征模型保持一致，iii）从观察专家的行动策略中学习通信策略，我们称之为“社会阴影”。
2023-02-28 cs.AI cs.LG cs.MA
A Survey of Multi-Agent Deep Reinforcement Learning with Graph Neural Network-Based Communication
Université Lyon 1, INSA Lyon, CNRS, LIRIS, UMR 5205（里昂1大学，里昂国立应用科学学院，国家科学研究中心，LIRIS，UMR 5205）
本文综述了基于图神经网络的多智能体强化学习通信方法，提出通用通信过程以明确方法核心思想。
2026-04-28 cs.AI cs.LG cs.MA
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
最近的平均场博弈（MFG）的形式主义，否则难以计算的近似纳什均衡在许多代理设置。在本文中，我们考虑离散时间有限MFG有限时域目标。我们发现，所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献，除非通过不动点迭代收敛。相反，我们将熵正则化和玻尔兹曼政策到不动点迭代。结果，我们获得了可证明的收敛到现有方法失败的近似不动点，并达到了近似纳什均衡的原始目标。所有提出的方法进行评估，就其可利用性，在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中，我们应用已建立的深度强化学习方法，并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh（爱丁堡大学）；J.P. Morgan AI Research（摩根大通人工智能研究）；Imperial College London（伦敦帝国理工学院）
研究连续时间强化学习中熵正则化的策略鲁棒性，建立相关理论保证，分析鲁棒集特性，实验验证其有效性。
2026-07-07 cs.LG math.OC
Provably Safe Reinforcement Learning for Stochastic Reach-Avoid Problems with Entropy Regularization
Section of Automation \& Control, Aalborg University, 9220 Aalborg East, Denmark
本文提出一种基于熵正则化的安全强化学习算法，用于解决随机到达-避免问题，通过优化策略并控制学习过程中的安全约束。
2026-01-19 cs.LG
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Maximum Entropy Reinforcement Learning with Mixture Policies
Technion, Israel Institute of Technology（以色列理工学院）
混合模型是一种表达性的假设类，可以近似一组丰富的策略。然而，在最大熵（MaxEnt）框架中使用混合策略并不简单。混合模型的熵不等于其分量之和，在大多数情况下也没有封闭形式的表达式。因此，在MaxEnt算法中使用这样的策略需要构建混合熵的易处理的近似。在本文中，我们得到一个简单的，低方差混合熵估计。我们表明，它是密切相关的边际熵的总和。配备我们的熵估计，我们推导出一个算法的软演员批评（SAC）的混合策略的情况下，并评估它的一系列连续控制任务。
2021-03-18 cs.AI cs.LG
Cooperative Multi-Agent Reinforcement Learning: Asynchronous Communication and Linear Function Approximation
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究情景式马尔可夫决策过程中的多智能体强化学习，提出一种基于值迭代的异步通信算法，利用线性函数近似实现了低通信开销下的高效合作，并给出了遗憾与通信复杂度的理论上下界。
2023-06-24 cs.AI cs.LG cs.MA
Reinforcement Communication Learning in Different Social Network Structures
Indiana University（印第安纳大学）；University of California, Irvine（加利福尼亚大学欧文分校）
社会网络结构是人类语言进化的关键决定因素之一。以前的研究表明，社会互动网络塑造了人类群体中的分散学习，导致了不同类型的交流惯例的出现。我们研究了社会网络组织对分散的多智能体强化学习社区中出现的通信系统属性的影响。我们发现，社交网络的全球连通性驱动了共享和对称通信系统上的人口聚集，阻止了代理人形成许多本地“方言”。此外，代理人的程度是负相关的一致性，其使用的交际惯例。这些结果表明了社会网络结构的基本属性对强化交流学习的重要性，并对人类在词汇约定上的收敛性研究结果提出了新的解释。
2020-07-19 cs.AI cs.CL cs.LG
Generalized Maximum Causal Entropy for Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑了逆强化学习（IRL）从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性，我们提出了一个基于因果熵最大化问题的广义IRL模型，它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复，除了奖励功能，另一个专家的功能，将（部分）捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明，我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。
2020-08-18 cs.LG stat.ML
State Entropy Regularization for Robust Reinforcement Learning
Technion（技术学院）；MILA Institute（蒙特利尔人工智能研究所）；NVIDIA Research（NVIDIA研究）
本文研究了状态熵正则化在强化学习中的鲁棒性，对比了其与策略熵正则化的不同优势，并探讨了其在不同场景下的表现。
2025-11-29 cs.LG stat.ML
Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning
The University of Electro-Communications（电气通信大学）；Ritsumeikan University（立命馆大学）
本文提出将控制即概率推断与涌现通信结合的多智能体强化学习模型，通过潜在消息变量和Metropolis-Hasting命名博弈实现智能体间动作信息交换，并在网格世界实验中验证其能推断有意义消息以完成协作任务。
2023-07-11 cs.AI cs.LG cs.MA
SafeDiver: Cooperative AUV-USV Assisted Diver Communication via Multi-agent Reinforcement Learning Approach
针对水下潜水员通信难题，提出利用多智能体强化学习控制AUV与USV协同中继的方案，实现潜水员间及与水面平台的高速可靠通信，并经仿真验证有效性。
2025-10-23 cs.LG cs.MA cs.RO
Cyclical Entropy Eruption: Entropy Dynamics in Agent Reinforcement Learning
Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系）
本文发现智能体强化学习训练中存在循环熵爆发现象，并提出了SEAL辅助损失函数来稳定训练、提升性能。
2026-11-02 cs.LG
Maximum Entropy Deep Inverse Reinforcement Learning
University of Oxford（牛津大学）
本文提出了一个通用的框架，利用神经网络的代表能力，以近似复杂的，非线性的奖励函数的上下文中解决逆强化学习（IRL）问题。在这种情况下，我们表明，IRL的最大熵范式自然适合于深度架构的有效训练。在测试时，该方法导致独立于演示数量的计算复杂性，这使得它特别适合于终身学习场景中的应用。我们的方法实现了与现有基准的最先进水平相称的性能，同时超过了基于高度变化的奖励结构的替代基准。最后，我们扩展了基本架构-相当于宽度为1的全卷积神经网络（FCNN）的简化子类-以包括更大的卷积，以消除对预先计算的空间特征的依赖，并对原始输入表示进行处理。
2016-03-11 cs.LG
Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication
Munich Quantum Valley（慕尼黑量子谷）
本文提出通过通信机制在量子多智能体强化学习中实现协同涌现，实验表明MATE等方法能有效提升协作水平。
2026-01-26 cs.AI cs.LG cs.MA
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Utilizing Prior Solutions for Reward Shaping and Composition in Entropy-Regularized Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
在强化学习（RL）中，利用先前解决的任务的先验知识的能力可以允许代理快速解决新问题。在某些情况下，这些新的问题可以通过组合先前解决的原始任务的解决方案（任务组合）来近似解决。否则，可以使用先验知识来调整新问题的奖励函数，以保持最优策略不变但能够更快学习的方式（奖励塑造）。在这项工作中，我们开发了一个通用的框架，奖励塑造和任务组成熵正则化强化学习。为了做到这一点，我们推导出一个精确的关系连接的最佳软价值函数的两个熵正则化RL问题具有不同的奖励函数和动态。我们展示了如何导出的关系导致一个一般的结果，奖励塑造在熵正则化RL。然后，我们推广这种方法，推导出一个精确的关系连接最佳价值函数的熵正则化RL的多个任务的组成。我们通过实验验证了这些理论贡献，实验表明奖励塑造和任务组合可以在各种环境中更快地学习。
2022-12-30 cs.LG
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Enforcing KL Regularization in General Tsallis Entropy Reinforcement Learning via Advantage Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Osaka University（大阪大学）；Advanced Telecommunication Research（国际电气通信基础技术研究所）
强化学习中的最大Tsallis熵（Maximum Tsallis entropy，MTE）框架由于其灵活的建模选择（包括广泛使用的Shannon熵和稀疏熵）而近年来得到了广泛的应用。然而，非香农熵遭受近似误差和随后的表现不佳，无论是由于其敏感性或缺乏封闭形式的政策表达。为了提高灵活性和经验性能之间的权衡，我们建议通过在Munchausen DQN（MDQN）激励的MTE中执行隐式Kullback-Leibler（KL）正则化来加强其错误鲁棒性。我们这样做，通过绘制MDQN和优势学习之间的连接，MDQN被证明是失败的推广到MTE框架。经过大量实验验证，所提出的方法Tsallis优势学习（TAL）不仅在各种非封闭形式Tsallis熵方面显着改进了Tsallis-DQN，而且表现出与最先进的最大香农熵算法相当的性能。
2022-05-16 cs.AI cs.LG
Entropy Augmented Reinforcement Learning
Northwestern Polytechnical University（西北工业大学）
深度强化学习是在信任域方法的存在下发起的，具有可扩展性和高效性。然而，这类算法的悲观主义，其中它强制约束在一个信任区域的一切手段，已被证明抑制探索和损害性能。探索性算法如SAC，在利用熵鼓励探索的同时，隐含地优化了另一个目标。我们首先观察到这种不一致性，因此提出了一种类似的增强技术，当涉及到一个值评论家时，它与策略算法结合得很好。令人惊讶的是，所提出的方法始终满足软策略改进定理，同时更具可扩展性。分析认为，控制温度系数是实现勘探开发平衡的关键。在MuJoCo基准任务上的实验结果表明，该智能体在更高的奖励区域中表现出更好的性能.此外，我们验证了我们的方法的探索奖金上的一组自定义环境。
2023-03-03 cs.LG
Learning to Schedule Communication in Multi-agent Reinforcement Learning
KAIST（韩国科学技术院）
许多现实世界的强化学习任务需要多个智能体在智能体的交互下做出顺序决策，其中智能体之间的良好协调的动作对于在这些任务中更好地实现目标至关重要。加速协调效果的一种方法是使多个代理能够以分布式方式相互通信并作为一个组进行行为。在本文中，我们研究了一个实际的情况下，（一）通信带宽是有限的，（二）代理共享通信介质，使只有有限数量的代理能够同时使用该介质，在国家的最先进的无线网络标准。这就需要某种形式的通信调度。在这方面，我们提出了一个多智能体深度强化学习框架，称为SchedNet，在该框架中，智能体学习如何调度自己，如何编码消息，以及如何根据收到的消息选择动作。通过学习每个代理的部分观察信息的重要性，SchedNet能够决定哪些代理应该有权广播他们的（编码）消息。我们在两个不同的应用程序下，即合作通信和导航，和捕食者-猎物，对多个基线进行评估。我们的实验表明，在SchedNet和其他机制之间存在不可忽略的性能差距，例如没有通信和使用普通调度方法的机制，例如，循环，从32%到43%不等。
2019-02-05 cs.AI cs.LG cs.MA
A Comparative Theoretical Analysis of Entropy Control Methods in Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Météo France/CNRS, Université de Toulouse, CNRM UMR 3589（法国气象局/法国国家科学研究中心，图卢兹大学，国家气象研究中心 UMR 3589）
本文比较了传统熵正则化与基于协方差的熵控制方法，揭示了熵变化由log-probabilities与logit更新的协方差决定，传统方法引入持续偏差导致次优策略，而基于协方差方法通过稀疏正则化实现无偏性。
2026-04-02 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance（字节跳动）；Nankai University（南开大学）
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制，具有封闭多样性、不变性探索和自适应权衡三个特性，这有助于基于值的方法避免策略崩溃问题。然而，不存在一个并行的机制，基于策略的方法，实现所有三个特征。在本文中，我们提出了一个熵正则化的自由机制，设计的基于策略的方法，实现了封闭形式的多样性，不变性探索和自适应权衡。我们的实验表明，我们的机制是超级样本效率的基于策略的方法，并提高了基于策略的基线，以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Scalable Communication for Multi-Agent Reinforcement Learning via Transformer-Based Email Mechanism
Tsinghua University（清华大学）
针对多智能体强化学习通信的可扩展性问题，提出基于Transformer的邮件机制框架，通过局部通信加消息链转发实现跨观测范围协作，在多基准测试中优于基线且智能体数量变化时无需重训。
2023-06-12 cs.AI cs.LG cs.MA
Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning
Zhejiang University（浙江大学）；Zhejiang Lab（浙江实验室）
在联邦学习（FL）范式下，研究了独立强化学习（IRL）在多智能体决策过程中的应用。我们发现，FL可以明显提高IRL的培训效率和稳定性方面的政策性能。然而，由于策略参数是在本地训练的，并通过FL中的中央服务器迭代地聚合，因此频繁的信息交换会产生大量的通信开销。为了在提高模型的收敛性能和减少所需的通信和计算开销之间取得良好的平衡，本文提出了一个系统效用函数，并在周期平均法的基础上开发了一个基于共识的优化方案，该方案将共识算法引入FL中，用于交换模型的局部梯度。本文还提供了新的收敛性保证的发展方法，并通过理论分析和数值仿真结果表明，其优越的有效性和效率，提高系统的效用值。
2022-01-30 cs.AI cs.LG cs.MA
Reducing Variance Caused by Communication in Decentralized Multi-agent Deep Reinforcement Learning
Utrecht University（乌得勒支大学）
针对去中心化多智能体深度强化学习（MADRL）中通信引入的策略梯度方差问题，本文通过理论分析提出模块化技术，将其应用于现有算法后在多任务上实现了高性能智能体并降低了训练方差。
2025-02-10 cs.LG
Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning
School of Future Technology, Southeast University, Nanjing, China（东南大学未来技术学院，南京，中国）；School of Automation, Southeast University, Nanjing, China（东南大学自动化学院，南京，中国）
本文提出AES方法，通过动态调整熵系数以应对环境漂移，减少性能下降并加快恢复速度。
2026-07-15 cs.AI cs.LG
Provably Efficient Multi-Agent Reinforcement Learning with Fully Decentralized Communication
Princeton University（普林斯顿大学）
强化学习（RL）的一个挑战是最小化与探索相关的采样成本。分布式探索降低了多代理RL（MARL）的采样复杂度。我们调查的好处，在MARL的性能时，勘探是完全分散。具体来说，我们考虑了一类在线的，情景的，表格式的$Q$学习问题下随时间变化的奖励和过渡动态，其中代理人可以在分散的方式进行通信，我们表明，群体的表现，作为衡量的界限后悔，可以显着提高通过通信时，每个代理人使用分散的消息传递协议，即使当被限制为向其$γ$跳邻居发送信息时。我们证明遗憾和样本的复杂性界限，取决于代理的数量，通信网络结构和$γ.$我们表明，将更多的代理和更多的信息共享到组学习计划加快收敛到最优策略。数值模拟说明了我们的结果，并验证了我们的理论主张。
2022-05-02 cs.LG cs.MA math.OC
Enhancing Solution Efficiency in Reinforcement Learning: Leveraging Sub-GFlowNet and Entropy Integration
本文通过为子GFlowNet引入新损失函数并集成熵来改进GFlowNet，在超网格和分子合成任务中验证了其在候选多样性和计算效率上优于传统方法。
2024-10-01 cs.LG
Clip-Low Increases Entropy and Clip-High Decreases Entropy in Reinforcement Learning of Large Language Models
Department of Mathematics, UCLA（UCLA数学系）；Department of Mathematical Sciences, Seoul National University（首尔国立大学数学科学系）；KRAFTON；Department of Linguistics, Stanford University（斯坦福大学语言学系）；Department of Computer Science and Engineering, Santa Clara University（圣克拉拉大学计算机科学与工程系）
本文揭示 PPO/GRPO 裁剪机制对 LLM 的 RLVR 熵变化具有独立偏差：clip-low 增熵、clip-high 降熵且后者通常占主导，并提出用更激进的 clip-low 促进探索、防止熵崩溃。
2026-10-26 cs.LG
Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
我们提出了一种新的策略迭代理论，作为软策略迭代和软Actor-Critic（SAC）的重要扩展，SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下，推广香农熵的任意熵度量，如Tsallis熵和Renyi熵，可以用来适当地随机化动作选择，同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法，即，Tsallis熵Actor-Critic（TAC）和Renyi熵Actor-Critic（RAC）。理论分析表明，这些算法可以比SAC更有效。此外，它们为我们开发一种新的Encriminator Actor-Critic（EAC）算法铺平了道路，该算法的特点是使用引导机制进行深度环境探索，以及一种新的基于值函数的机制进行高级动作选择。经验上，我们表明，TAC，RAC和EAC可以实现最先进的性能在一系列的基准控制任务，优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Dynamic Collaborative Multi-Agent Reinforcement Learning Communication for Autonomous Drone Reforestation
Aleph Alpha
我们采用协作式多智能体强化学习（MARL）设置来实现基于无人机的自主重新造林。代理可以作为动态变化的网络的一部分进行通信。我们在一个高影响力的问题背后探索协作和沟通。森林是控制二氧化碳上升的主要资源。不幸的是，全球森林体积正在以前所未有的速度减少。许多地区太大，很难穿越种植新的树木。为了有效地覆盖尽可能多的区域，在这里，我们提出了一个基于图神经网络（GNN）的通信机制，使合作。代理可以共享需要重新造林的区域的位置信息，这增加了查看的区域和种植的树木数量。我们比较我们提出的通信机制与多代理基线没有能力进行通信。结果表明，沟通如何实现协作，提高集体绩效，种植精度和个人代理的冒险倾向。
2022-11-14 cs.AI cs.LG cs.MA
Average-Reward Maximum Entropy Reinforcement Learning for Underactuated Double Pendulum Tasks
School of Electrical Engineering, Korea University（高丽大学电气工程学院）
针对IROS 2024 AI Olympics竞赛中的欠驱动双摆任务，提出结合平均回报与最大熵的无模型RL算法AR-EAPO，在仿真场景的两类双摆任务中性能和鲁棒性均优于基线，无需复杂奖励设计或系统模型。
2024-09-13 cs.LG cs.RO
Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Beihang University（北航）
提出Policy Split方法，将策略分裂为正常和高熵两种模式，通过协作双模式熵正则化在保持准确性的同时促进多样化探索，实验表明在通用和创造性任务上优于现有基线。
2026-06-03 cs.AI cs.CL cs.LG
Deep reinforcement learning of event-triggered communication and control for multi-agent cooperative transport
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们探讨了一个多智能体强化学习的方法来解决多智能体合作运输的通信和控制策略的设计问题。典型的端到端深度神经网络策略可能不足以覆盖通信和控制;这些方法不能决定通信的定时并且只能与固定速率通信一起工作。因此，我们的框架利用事件触发的架构，即，一个反馈控制器，计算通信输入和触发机制，确定何时输入必须再次更新。使用多代理深度确定性策略梯度来有效地优化这种事件触发的控制策略。我们证实，我们的方法可以通过数值模拟来平衡传输性能和通信节省。
2021-03-29 cs.LG cs.RO
Count-Based Temperature Scheduling for Maximum Entropy Reinforcement Learning
University of California, Irvine（加利福尼亚大学欧文分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
最大熵强化学习（MaxEnt RL）算法，如Soft Q-Learning（SQL）和Soft Actor-Critic权衡奖励和策略熵，这有可能提高训练稳定性和鲁棒性。然而，大多数MaxEnt RL方法使用恒定的权衡系数（温度），与直觉相反，温度应该在训练早期较高，以避免过度拟合噪声值估计，并在训练后期降低，因为我们越来越相信高值估计确实会带来良好的回报。此外，我们对价值估计的信心是依赖于状态的，每当我们使用更多的证据来更新估计时，信心就会增加。在本文中，我们提出了一个简单的基于状态的温度调度方法，并将其实例化为基于计数的软Q学习（CBSQL）的SQL。我们评估我们的方法在玩具领域以及在几个雅达利2600域，并显示出可喜的成果。
2021-11-28 cs.AI cs.LG
Examining Policy Entropy of Reinforcement Learning Agents for Personalization Tasks
Lirio LLC（Lirio有限责任公司）；Lirio AI Research（Lirio人工智能研究院）；Behavioral Reinforcement Learning Lab（行为强化学习实验室）
本研究考察强化学习系统在个性化环境中的行为，发现Policy Optimization智能体训练时易产生低熵策略，而Q-Learning智能体通常保持高熵策略，并通过数值实验与理论证明这种熵差异源于学习算法类型。
2024-04-27 cs.AI cs.LG cs.NA
