A Comparative Theoretical Analysis of Entropy Control Methods in Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Météo France/CNRS, Université de Toulouse, CNRM UMR 3589(法国气象局/法国国家科学研究中心,图卢兹大学,国家气象研究中心 UMR 3589)
本文比较了传统熵正则化与基于协方差的熵控制方法,揭示了熵变化由log-probabilities与logit更新的协方差决定,传统方法引入持续偏差导致次优策略,而基于协方差方法通过稀疏正则化实现无偏性。
2026-04-02 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance(字节跳动);Nankai University(南开大学)
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制,具有封闭多样性、不变性探索和自适应权衡三个特性,这有助于基于值的方法避免策略崩溃问题。然而,不存在一个并行的机制,基于策略的方法,实现所有三个特征。在本文中,我们提出了一个熵正则化的自由机制,设计的基于策略的方法,实现了封闭形式的多样性,不变性探索和自适应权衡。我们的实验表明,我们的机制是超级样本效率的基于策略的方法,并提高了基于策略的基线,以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning
School of Future Technology, Southeast University, Nanjing, China(东南大学未来技术学院,南京,中国);School of Automation, Southeast University, Nanjing, China(东南大学自动化学院,南京,中国)
本文提出AES方法,通过动态调整熵系数以应对环境漂移,减少性能下降并加快恢复速度。
2026-07-15 cs.AI cs.LG
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);Kakao Brain
在本文中,我们提出了一类新的马尔可夫决策过程(MDP),称为Tsallis MDP,Tsallis熵最大化,推广现有的最大熵强化学习(RL)。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架,包括著名的标准香农-吉布斯(SG)熵,使用额外的实值参数,称为熵指数。通过控制熵指数,我们可以产生各种类型的熵,包括SG熵,不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析,包括最优性条件,性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题,我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值,并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题,我们发现,一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估,并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
Count-Based Temperature Scheduling for Maximum Entropy Reinforcement Learning
University of California, Irvine(加利福尼亚大学欧文分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
最大熵强化学习(MaxEnt RL)算法,如Soft Q-Learning(SQL)和Soft Actor-Critic权衡奖励和策略熵,这有可能提高训练稳定性和鲁棒性。然而,大多数MaxEnt RL方法使用恒定的权衡系数(温度),与直觉相反,温度应该在训练早期较高,以避免过度拟合噪声值估计,并在训练后期降低,因为我们越来越相信高值估计确实会带来良好的回报。此外,我们对价值估计的信心是依赖于状态的,每当我们使用更多的证据来更新估计时,信心就会增加。在本文中,我们提出了一个简单的基于状态的温度调度方法,并将其实例化为基于计数的软Q学习(CBSQL)的SQL。我们评估我们的方法在玩具领域以及在几个雅达利2600域,并显示出可喜的成果。
2021-11-28 cs.AI cs.LG
Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University(宾汉姆顿大学);Yantai University(烟台大学)
两个迄今为止断开的研究线程,多样性探索(DE)和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中,我们确定了这两种方法之间的联系。首先,提出了一个基于鉴别器的多样性目标,并将其与常用的发散性度量相连接。然后,我们将这个目标扩展到最大熵框架,并提出了一个算法最大熵多样性探索(MEDE),它提供了一个原则性的方法来学习不同的行为。理论研究表明,由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上,所提出的算法将最大熵策略分解为不同的组成策略。实验表明,MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Rényi State Entropy for Exploration Acceleration in Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
深度强化学习最关键的挑战之一是保持智能体的长期探索能力。为了解决这个问题,最近有人提出为代理提供内在奖励以鼓励探索。然而,大多数现有的内在奖励为基础的方法在文献中提出的未能提供可持续的勘探激励,一个问题被称为消失的奖励。此外,这些常规方法在其学习过程中招致复杂的模型和额外的存储器,导致高计算复杂性和低鲁棒性。在这项工作中,提出了一种新的内在奖励模块的基础上的雷尼熵提供高质量的内在奖励。结果表明,所提出的方法实际上推广了现有的状态熵最大化方法。特别地,引入了$k$ -最近邻估计器进行熵估计,同时设计了$k$ -值搜索方法以保证估计精度。大量的仿真结果表明,所提出的Rényi熵为基础的方法可以实现更高的性能相比,现有的计划。
2022-03-08 cs.AI cs.LG
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University(四川大学)
受城市感知专家评价策略的启发,提出了一种基于逆强化学习(IRL)的城市安全预测框架,并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法,将预测问题建模为马尔可夫决策过程(MDP),并使用强化学习(RL)来解决问题。此外,我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知,这是首次将IRL方法引入城市安全感知和规划领域,帮助专家定量分析感知特征。我们的研究结果表明,IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore(新加坡南洋理工大学);Tel Aviv University(特拉维夫大学)
本文研究强化学习中LTL与$ω$-正则目标的关系,提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题,并证明可通过近似求解折扣求和问题渐近学习最优策略,解决了相关开放问题。
2024-10-16 cs.AI cs.LG
Implicit Policy for Reinforcement Learning
Columbia University(哥伦比亚大学)
我们引入了隐式策略,这是一类通用的表达策略,可以灵活地表示强化学习中的复杂动作分布,并具有计算熵正则化策略梯度的有效算法。我们的经验表明,尽管其简单的实施,熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架,如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila Quebec AI Institute(米拉魁北克人工智能研究所)
针对无监督强化学习中单一熵目标无法适配所有环境的问题,提出将目标选择建模为多臂老虎机的惊奇自适应智能体,通过新型内在反馈信号控制环境熵,在高低熵场景及基准任务中均实现有效行为学习。
2024-08-16 cs.AI cs.LG
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy
Chongqing University(重庆大学)
多智能体深度强化学习已被应用于解决各种具有离散或连续动作空间的复杂问题,并取得了巨大的成功。然而,大多数现实世界的环境不能被描述为只有离散的动作空间或只有连续的动作空间。而将深度强化学习(drl)应用于混合行动空间的多智能体问题的研究还很少。因此,我们提出了一种新的算法:深度多智能体混合软Actor-Critic(MAHSAC)来填补这一空白。该算法遵循集中式训练分散式执行(CTDE)的思想,扩展了软Actor-Critic算法(SAC),使之能够处理多Agent环境中基于最大熵的混合动作空间问题。我们的经验是在一个简单的多智能体粒子世界上运行的,它具有连续的观察和离散的动作空间,以及一些基本的模拟物理。实验结果表明,MAHSAC在训练速度、稳定性、抗干扰能力等方面都有较好的表现。同时,它在合作场景和竞争场景中的表现优于现有的独立深度混合学习方法。
2022-06-10 cs.AI cs.LG
Entropy Pacing Policy Optimization for Multi-Task Agentic Reinforcement Learning
Generative AI Lab, College of Computing and Data Science, Nanyang Technological University(生成式人工智能实验室,南洋理工大学计算与数据科学学院);Tongyi Lab, Alibaba Group(阿里集团通义实验室)
研究多任务智能强化学习中任务间探索-利用步长不匹配问题,提出熵步长策略优化(EPPO),核心是任务级动态裁剪机制,实验证明EPPO在多任务智能基准上结果优于同类方法。
2026-07-09 cs.AI cs.LG
Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces
University of Oxford(牛津大学)
本文提出Soft Q(λ),一种基于效用追踪的离策略方法,通过引入新的Soft Tree Backup操作符,扩展了软Q学习的多步框架,实现了高效的信用分配。
2026-07-20 cs.AI cs.LG
Convergence of a model-free entropy-regularized inverse reinforcement learning algorithm
Swiss Data Science Center(瑞士数据科学中心)
本文提出一种无模型熵正则化逆强化学习算法,结合随机梯度下降和随机软策略迭代更新,证明了在生成模型下能以特定样本复杂度恢复近似最优奖励并逼近专家策略。
2025-03-03 cs.AI cs.LG
Deceptive Reinforcement Learning for Privacy-Preserving Planning
The University of Melbourne(墨尔本大学)
在本文中,我们研究了欺骗性强化学习的问题,以保护奖励函数的隐私。强化学习是根据探索行为获得的奖励来寻找行为策略的问题。强化学习的一个关键要素是奖励函数,它决定了给予多少奖励(负或正)以及何时给予。然而,在某些情况下,我们可能希望将奖励函数保持私有;也就是说,使观察者难以确定所使用的奖励函数。我们定义了隐私保护强化学习的问题,并提出了两个解决这个问题的模型。这些模型是基于伪装--一种“隐藏真相”的欺骗形式。我们通过计算和人类行为实验来评估我们的模型。结果表明,由此产生的政策确实是欺骗性的,参与者可以确定真正的奖励功能不可靠的诚实代理。
2021-02-05 cs.AI cs.LG cs.MA
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology(奈良科学技术大学大学院科学技术研究科)
本文旨在建立一种基于熵正则化值的强化学习方法,保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限,我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数,它是可扩展的大规模(连续)的状态空间问题。我们提出了一种新的强化学习算法,利用这个下限作为一个标准,调整的程度,减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind(CreateAmind(需确认具体中文译名,此处按原文保留))
熵正则化是强化学习中的一个重要思想,在最近的软Q网络(SQN)和软Actor-Critic(SAC 1)等算法中取得了巨大成功。在这项工作中,我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理(SPGT)。在SPGT的基础上,推导出了一系列新的策略优化算法,如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等,并发现SDDPG与SAC 1是等价的。对于策略梯度,策略网络通常表示为具有全局动作方差的高斯分布,这损害了表示能力。我们在策略网络中引入了一个局部行为方差,发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外,我们的方法可以很容易地扩展到大规模的实验,具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Privacy Preserving Reinforcement Learning with One-Sided Feedback
Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学);Cornell SC Johnson College of Business(康奈尔大学SC Johnson商学院)
本文研究了在多维连续状态和动作空间中,代理仅接收状态部分观测并仅在每个时间步获得状态-动作空间子集奖励信息的强化学习问题,提出了一种新的隐私保护强化学习算法POOL,并通过理论分析证明其样本复杂度与非隐私强化学习的下界一致,展示了在保持高学习效率的同时实现强隐私保障的可行性。
2026-05-18 cs.AI cs.LG
ECHO: Entropy-Confidence Hybrid Optimization for Test-Time Reinforcement Learning
Northeastern University, Shenyang, China(东北大学(沈阳));Shenzhen Campus of Sun Yat-sen University, China(中山大学深圳校区)
针对测试时强化学习中高熵分支导致rollout崩溃和早期伪标签噪声引发过拟合的问题,提出熵-置信度混合组相对策略优化(ECHO),通过自适应分支控制和置信度剪枝缓解崩溃,并采用置信度自适应裁剪和优势塑造增强训练鲁棒性。
2026-05-27 cs.AI cs.LG
Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization
Beijing Institute of Technology(北京理工大学);Tsinghua University(清华大学);Beihang University(北航)
提出Policy Split方法,将策略分裂为正常和高熵两种模式,通过协作双模式熵正则化在保持准确性的同时促进多样化探索,实验表明在通用和创造性任务上优于现有基线。
2026-06-03 cs.AI cs.CL cs.LG
Maximum Entropy Model-based Reinforcement Learning
JetBrains Research(JetBrains研究院);HSE University(俄罗斯高等经济学院)
强化学习的最新进展已经证明了它能够在超人的水平上解决硬代理-环境交互任务。然而,强化学习方法在实际和现实任务中的应用目前受到限制,这是由于大多数强化学习算法的样本效率低下,即,需要大量的训练片段。例如,在Dota 2中击败人类玩家的OpenAI Five算法已经训练了数千年的游戏时间。有几种方法可以解决样本效率低下的问题,这些方法可以更有效地利用已经收集的经验,或者旨在通过更好地探索环境来获得更相关和更多样化的经验。然而,据我们所知,没有这样的方法存在基于模型的算法,这表明他们的高样本效率在解决具有高维状态空间的硬控制任务。这项工作将探索技术和基于模型的强化学习联系起来。我们设计了一种新的探索方法,考虑到基于模型的方法的功能。我们还通过实验证明,我们的方法显着提高了基于模型的算法梦想家的性能。
2021-12-02 cs.AI cs.LG
Privacy-Preserving Joint Edge Association and Power Optimization for the Internet of Vehicles via Federated Multi-Agent Reinforcement Learning
主动边缘关联能够以增加的切换(HO)频率和能量消耗为代价来改善无线连接,同时依赖于决策所需的大量私有信息共享。为了在不泄露隐私的情况下改善连通性-代价权衡,研究了在环境不确定性和个体学习不可行的情况下,保护隐私的联合边关联和功率分配(JEAPA)问题.在通过分散的部分可观察马尔可夫决策过程(Dec-POMDP)对问题进行建模后,通过仅共享加密的训练数据以用于联邦地学习所寻求的策略,通过联邦多智能体强化学习(FMARL)来解决该问题。我们的模拟结果表明,所提出的解决方案取得了令人信服的权衡,同时保持了更高的隐私水平比国家的最先进的解决方案。
2023-01-26 cs.AI cs.CR cs.LG
ETTRL: Balancing Exploration and Exploitation in LLM Test-Time Reinforcement Learning Via Entropy Mechanism
Beihang University(北京航空航天大学);Northwestern Polytechnical University(西北工业大学);Kuaishou Technology(快手科技)
针对 TTRL 的高推理成本、早期估计偏差和多样性不足问题,本文提出基于熵的 ETMR 与 EAR 策略,在 AIME 2024 上以更少 token 显著提升 Llama3.1-8B 性能。
2025-08-29 cs.AI cs.LG
Evidence on the Regularisation Properties of Maximum-Entropy Reinforcement Learning
Université Paris-Saclay(巴黎-萨克雷大学);CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique(法国国家科学研究中心,跨学科数字科学实验室)
该研究通过混沌系统验证最大熵强化学习策略在噪声下的鲁棒性,并利用复杂性度量解释其正则化性质。
2025-01-28 cs.LG
Maximum Entropy Reinforcement Learning with Diffusion Policy
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);AiRiA
本文提出MaxEntDP方法,用扩散模型替代高斯策略实现最大熵强化学习,以增强多模态探索能力,在Mujoco基准上优于高斯策略及其他生成模型,并达到与先进扩散在线RL算法相当的性能。
2025-06-06 cs.AI cs.LG
Operator-Guided Invariance Learning for Continuous Reinforcement Learning
The George Washington University(乔治华盛顿大学)
本文提出VPSD-RL,通过Lie群作用和拉回算子发现连续强化学习中的价值保持结构,提升学习稳定性和效率。
2026-05-07 cs.AI cs.LG
E-GRPO: High Entropy Steps Drive Effective Reinforcement Learning for Flow Models
Tsinghua University(清华大学)
E-GRPO通过增加SDE采样步骤的熵,提升流模型强化学习的效果,通过合并低熵步骤为高熵步骤并引入多步群体归一化优势,提高探索效率和奖励信号清晰度。
2026-01-01 cs.AI cs.CV cs.LG
Boosting Maximum Entropy Reinforcement Learning via One-Step Flow Matching
Tianjin Key Laboratory of Intelligent Unmanned Swarm Technology(天津智能无人群技术与系统重点实验室);School of Electrical and Information Engineering(电气与信息工程学院);Tianjin University(天津大学)
FLAME通过一步流匹配提升最大熵强化学习,解决能量分布不可行和对数似然估计偏差问题,实现高效探索和低延迟控制。
2026-02-02 cs.AI cs.LG
Reward-Preserving Attacks For Robust Reinforcement Learning
本文提出保留奖励的攻击方法,通过动态调整对抗强度,提升强化学习在广泛扰动范围内的鲁棒性和性能。
2026-01-29 cs.LG
A Privacy-preserving Distributed Training Framework for Cooperative Multi-agent Deep Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));School of Data Science(数据科学学院)
深度强化学习(Deep Reinforcement Learning,DRL)在训练过程中有时需要大量的数据来收敛,在某些情况下,智能体的每个动作都可能产生后悔。这种障碍自然会促使不同的数据集或环境所有者进行合作,以共享他们的知识,并更有效地训练他们的代理。然而,如果我们直接合并来自不同所有者的原始数据,就会引发隐私问题。为了解决这个问题,我们提出了一种新的深度神经网络(DNN)架构,具有全局NN和局部NN,以及分布式训练框架。我们允许全局权重由所有协作代理更新,而局部权重仅由它们所属的代理更新。通过这种方式,我们希望全局权重可以共享这些合作者之间的共同知识,而局部神经网络可以保持专门的属性,并确保代理与其特定的环境兼容。实验表明,该框架能够有效地帮助处于相同或相似环境中的智能体在训练过程中进行协作,并获得更高的收敛速度和更好的性能。
2021-09-30 cs.AI cs.LG
Multi-task Maximum Entropy Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
多任务逆强化学习(IRL)是从专家论证中推断多个奖励函数的问题。以前的工作,建立在贝叶斯IRL,是无法扩展到复杂的环境中,由于计算的限制。本文在计算效率更高的最大因果熵(MCE)IRL框架下,提出了一种多任务IRL模型。实验表明,我们的方法可以执行一次性的模仿学习在网格世界环境中,单任务IRL算法需要数百个演示来解决。我们概述了初步工作,使用元学习扩展我们的方法,现代MCE IRL算法的函数逼近器设置。评估常见的模拟机器人基准的多任务变体,我们发现这些IRL算法的严重局限性,并得出结论,为进一步的工作提出建议。
2018-07-15 cs.AI cs.LG stat.ML
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University(普渡大学)
逆向强化学习(IRL)是一种从演示中进行示教学习的强大方法。在本文中,我们解决IRL问题的先验知识,最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制,需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习(X-MEN)算法,保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样(一种可证明的采样方法,将#P完全采样问题转换为对NP预言机的查询)嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明,X-MEN收敛速度更快的最佳政策相比,基线方法,总是产生的轨迹,满足多状态组合约束。
2022-03-22 cs.LG
Accelerating Reinforcement Learning with Value-Conditional State Entropy Exploration
KAIST(韩国科学技术院);UC Berkeley(加州大学伯克利分校)
针对状态熵探索在奖励任务中偏向低价值区域的问题,提出价值条件化状态熵内在奖励,在多个基准上显著加速强化学习。
2024-08-08 cs.AI cs.LG
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University(新加坡管理大学);Massachusetts Institute of Technology(麻省理工学院)
我们研究了逆强化学习(IRL)和模仿学习(IM),即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程,通过增加一个权重函数的最大熵框架,具有学习和恢复的随机性(或有限理性)的专家政策的能力的动机。我们的框架和算法允许学习奖励(或策略)函数和添加到马尔可夫决策过程的熵项的结构,从而增强学习过程。我们的数值实验,使用人类和模拟演示和离散和连续的IRL/IM任务表明,我们的方法优于以前的算法。
2022-08-20 cs.LG
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University(清华大学)
最大熵深度强化学习(RL)方法已经在一系列具有挑战性的连续任务上得到了证明。然而,现有的方法要么在训练大型非策略数据时存在严重的不稳定性,要么无法扩展到具有非常高的状态和动作维度的任务,例如3D人形运动。另外,对于非最优软价值函数,期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后,将软策略梯度与软Bellman方程相结合,提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度(DSPG)。为了确保稳定的学习,同时消除两个单独的批评软价值函数的需要,我们利用双采样方法,使软贝尔曼方程易于处理。实验结果表明,我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Flexible Entropy Control in RLVR with a Gradient-Preserving Perspective
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS);Meituan(美团)
本文从梯度保持裁剪角度出发,提出动态裁剪阈值机制和动态熵控制策略,有效缓解熵崩溃问题并提升多基准性能。
2026-05-08 cs.AI cs.CL cs.LG
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University(首尔大学)
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程(MDP),该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件,然后给出了稀疏MDP的最优性条件。然后,我们提出了一个稀疏值迭代方法,解决了稀疏MDP,然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比,软MDP利用因果熵正则化。我们表明,稀疏MDP的性能误差有一个恒定的界限,而软MDP的错误增加相对于动作的数量,其中这种性能误差是由引入的正则化项。在实验中,我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
Revisiting Entropy in Reinforcement Learning for Large Reasoning Models
TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China(天津大学计算机科学与技术学院 TJUNLP 实验室,中国);Independent Researcher(独立研究者);College of Computer and Information Engineering, Tianjin Normal University, China(天津师范大学计算机与信息工程学院,中国)
本文研究了强化学习可验证奖励中大语言模型熵崩溃问题,分析了熵与响应多样性、校准及性能的关系,提出正优势重加权方法以调节熵并保持性能。
2026-04-19 cs.AI cs.CL cs.LG
Entropy Regularized Reinforcement Learning Using Large Deviation Theory
University of Massachusetts Boston(马萨诸塞大学波士顿分校);San Jose State University(圣何塞州立大学)
本文通过建立熵正则化强化学习与非平衡统计力学中稀有事件条件下马尔可夫过程的映射,利用大偏差理论在长时间极限下推导出最优策略和动力学的精确解析解,并提出了一个经模拟验证的新框架。
2023-04-10 cond-mat.stat-mech cs.AI cs.LG
Efficient Reinforcement Learning with Semantic and Token Entropy for LLM Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家实验室,南京大学);China Mobile NineVerse Artificial Intelligence Technology (Beijing) Co., Ltd.(中国移动九章人工智能技术(北京)有限公司);Institute of Artificial Intelligence, NineVerse, Beijing(九章人工智能研究院,北京)
本文提出基于语义和token熵的高效强化学习框架,通过优化数据组织和算法设计缓解熵崩溃,提升大语言模型的推理能力。
2026-01-16 cs.AI
Low Entropy Communication in Multi-Agent Reinforcement Learning
Tsinghua University(清华大学)
多智能体强化学习中的通信因其在协作中的重要作用而受到关注。然而,多智能体系统可能会受到通信资源的限制,因此需要有效的通信技术在现实世界中的场景。根据香农-哈特利定理,在较差信道中可靠传输的消息需要较低的熵。因此,我们的目标是减少多智能体通信中的消息熵。一个基本的挑战是熵的梯度要么是0,要么是无穷大,这使得基于梯度的方法无法使用。为了解决这个问题,我们提出了一个伪梯度下降方案,它通过明智地调整消息的分布来降低熵。我们进行了实验,两个基地的通信框架与六个环境设置,发现我们的计划可以减少消息熵高达90%,几乎没有损失的合作性能。
2023-02-10 cs.LG cs.MA
Examining Policy Entropy of Reinforcement Learning Agents for Personalization Tasks
Lirio LLC(Lirio有限责任公司);Lirio AI Research(Lirio人工智能研究院);Behavioral Reinforcement Learning Lab(行为强化学习实验室)
本研究考察强化学习系统在个性化环境中的行为,发现Policy Optimization智能体训练时易产生低熵策略,而Q-Learning智能体通常保持高熵策略,并通过数值实验与理论证明这种熵差异源于学习算法类型。
2024-04-27 cs.AI cs.LG cs.NA
Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Control: Stochasticity vs Determinism
Mechatronics Engineering Department(机械工程系);The German University in Cairo(开罗德国大学)
研究在四旋翼控制中,通过动态熵调节训练随机策略的强化学习算法,并与确定性策略算法对比,发现动态熵调节可防止灾难性遗忘并提高探索效率。
2026-06-01 cs.AI cs.LG cs.RO
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究中心)
无模型深度强化学习(RL)算法已在一系列具有挑战性的决策和控制任务中得到验证。然而,这些方法通常面临两个主要挑战:非常高的样本复杂性和脆弱的收敛特性,这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中,我们提出了软演员-评论家,一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中,行动者的目标是最大化预期回报,同时也最大化熵。也就是说,在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合,我们的方法在一系列连续控制基准任务上实现了最先进的性能,优于之前的政策内和政策外方法。此外,我们证明,与其他政策外算法相比,我们的方法是非常稳定的,在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
最近的平均场博弈(MFG)的形式主义,否则难以计算的近似纳什均衡在许多代理设置。在本文中,我们考虑离散时间有限MFG有限时域目标。我们发现,所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献,除非通过不动点迭代收敛。相反,我们将熵正则化和玻尔兹曼政策到不动点迭代。结果,我们获得了可证明的收敛到现有方法失败的近似不动点,并达到了近似纳什均衡的原始目标。所有提出的方法进行评估,就其可利用性,在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中,我们应用已建立的深度强化学习方法,并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh(爱丁堡大学);J.P. Morgan AI Research(摩根大通人工智能研究);Imperial College London(伦敦帝国理工学院)
研究连续时间强化学习中熵正则化的策略鲁棒性,建立相关理论保证,分析鲁棒集特性,实验验证其有效性。
2026-07-07 cs.LG math.OC
Constrained Model-based Reinforcement Learning with Robust Cross-Entropy Method
Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学)
本文研究了约束违反指示信号稀疏的约束/安全强化学习(RL)问题。我们提出了一种基于模型的方法,使RL代理有效地探索未知的系统动态和环境约束的环境,给出了一个显着的小数目的违规预算。我们采用神经网络集成模型来估计预测的不确定性,并使用模型预测控制作为基本的控制框架。考虑模型的不确定性和约束条件,提出了鲁棒交叉熵方法来优化控制序列。我们在安全健身房环境中评估我们的方法。结果表明,我们的方法学习完成任务的约束违反比最先进的基线少得多。此外,我们能够实现几个数量级更好的样本效率相比,约束无模型RL方法。代码可在\url{https://github.com/liuzuxin/safe-mbrl}上获得。
2021-03-06 cs.AI cs.LG cs.RO
Provably Safe Reinforcement Learning for Stochastic Reach-Avoid Problems with Entropy Regularization
Section of Automation \& Control, Aalborg University, 9220 Aalborg East, Denmark
本文提出一种基于熵正则化的安全强化学习算法,用于解决随机到达-避免问题,通过优化策略并控制学习过程中的安全约束。
2026-01-19 cs.LG
Predictable Reinforcement Learning Dynamics through Entropy Rate Minimization
University of Oxford(牛津大学);Eindhoven University of Technology(埃因霍温理工大学);Delft University of Technology(代尔夫特理工大学)
本文提出可预测性感知强化学习(PARL),通过最大化折扣奖励与负轨迹熵率的线性组合,在策略梯度算法中引入熵率价值函数估计,从而在保持近最优性能的同时诱导出可预测的智能体行为。
2025-06-03 cs.AI cs.LG cs.SY
Generalized Maximum Causal Entropy for Inverse Reinforcement Learning
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学);Massachusetts Institute of Technology(麻省理工学院)
我们考虑了逆强化学习(IRL)从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性,我们提出了一个基于因果熵最大化问题的广义IRL模型,它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复,除了奖励功能,另一个专家的功能,将(部分)捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明,我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。
2020-08-18 cs.LG stat.ML
State Entropy Regularization for Robust Reinforcement Learning
Technion(技术学院);MILA Institute(蒙特利尔人工智能研究所);NVIDIA Research(NVIDIA研究)
本文研究了状态熵正则化在强化学习中的鲁棒性,对比了其与策略熵正则化的不同优势,并探讨了其在不同场景下的表现。
2025-11-29 cs.LG stat.ML
Cyclical Entropy Eruption: Entropy Dynamics in Agent Reinforcement Learning
Department of Computer Sciences, University of Wisconsin–Madison(威斯康星大学麦迪逊分校计算机科学系)
本文发现智能体强化学习训练中存在循环熵爆发现象,并提出了SEAL辅助损失函数来稳定训练、提升性能。
2026-11-02 cs.LG
Maximum Entropy Deep Inverse Reinforcement Learning
University of Oxford(牛津大学)
本文提出了一个通用的框架,利用神经网络的代表能力,以近似复杂的,非线性的奖励函数的上下文中解决逆强化学习(IRL)问题。在这种情况下,我们表明,IRL的最大熵范式自然适合于深度架构的有效训练。在测试时,该方法导致独立于演示数量的计算复杂性,这使得它特别适合于终身学习场景中的应用。我们的方法实现了与现有基准的最先进水平相称的性能,同时超过了基于高度变化的奖励结构的替代基准。最后,我们扩展了基本架构-相当于宽度为1的全卷积神经网络(FCNN)的简化子类-以包括更大的卷积,以消除对预先计算的空间特征的依赖,并对原始输入表示进行处理。
2016-03-11 cs.LG