Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）
两个迄今为止断开的研究线程，多样性探索（DE）和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中，我们确定了这两种方法之间的联系。首先，提出了一个基于鉴别器的多样性目标，并将其与常用的发散性度量相连接。然后，我们将这个目标扩展到最大熵框架，并提出了一个算法最大熵多样性探索（MEDE），它提供了一个原则性的方法来学习不同的行为。理论研究表明，由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上，所提出的算法将最大熵策略分解为不同的组成策略。实验表明，MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Generalized Maximum Entropy for Supervised Classification
BCAM-Basque Center for Applied Mathematics（巴斯克应用数学中心）；IKERBASQUE-Basque Foundation for Science（巴斯克科学基金会）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
最大熵原则主张使用在满足某些期望约束的那些事件中最大化熵的分布来评估事件的概率。这样的原则可以推广到任意决策问题，它对应于极大极小方法。基于广义最大熵原理，建立了一个监督分类框架，并由此得到极小极大风险分类器（MRC）。我们开发的学习技术，确定一般熵函数的MRC，并通过凸优化提供性能保证。此外，我们描述了所提出的技术与现有的分类方法的关系，并量化MRCs的性能相比，建议的界限和传统的方法。
2021-12-15 cs.LG stat.ML
Boltzmann Machine Learning with the Latent Maximum Entropy Principle
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；University of Missouri（密苏里大学）
我们提出了一个新的统计学习范式玻尔兹曼机的基础上，我们提出了一个新的推理原则：潜在的最大熵原则（LME）。LME既不同于Jaynes最大熵原理，也不同于标准的极大似然估计。本文通过导出Boltzmann机参数估计的新算法来证明LME原理，并展示如何发展新的EM算法的鲁棒性和快速性。我们的实验表明，基于LME的估计通常比极大似然估计产生更好的结果。特别是当从少量数据推断隐藏单元时。
2012-10-19 cs.LG stat.ML
Failure Modes of Maximum Entropy RLHF
Koç University（科克大学）；KUIS AI Center（KUIS人工智能中心）
本文研究了最大熵强化学习在在线RLHF中的表现，发现其易出现过度优化和KL动态不稳定，且熵正则化无法有效防止奖励黑客，揭示了参考自由方法在在线与离线学习中的不同挑战。
2026-04-29 cs.CL cs.LG
Deriving the Scaled-Dot-Function via Maximum Likelihood Estimation and Maximum Entropy Approach
Oracle Corporation（甲骨文公司）
本文提出基于极大似然估计和最大熵的两种方法，通过将向量建模为高斯分布并利用特征函数，为transformer中的缩放点积函数提供新解释。
2025-09-14 cs.AI cs.LG
Maximum Entropy Reinforcement Learning with Mixture Policies
Technion, Israel Institute of Technology（以色列理工学院）
混合模型是一种表达性的假设类，可以近似一组丰富的策略。然而，在最大熵（MaxEnt）框架中使用混合策略并不简单。混合模型的熵不等于其分量之和，在大多数情况下也没有封闭形式的表达式。因此，在MaxEnt算法中使用这样的策略需要构建混合熵的易处理的近似。在本文中，我们得到一个简单的，低方差混合熵估计。我们表明，它是密切相关的边际熵的总和。配备我们的熵估计，我们推导出一个算法的软演员批评（SAC）的混合策略的情况下，并评估它的一系列连续控制任务。
2021-03-18 cs.AI cs.LG
Notes on Generalizing the Maximum Entropy Principle to Uncertain Data
University of North Carolina Asheville（北卡罗来纳大学阿什维尔分校）
最大熵原理是一种广泛适用的技术，用于计算具有尽可能少的信息量的分布，以匹配经验数据，例如特征期望。我们试图将这一原则推广到无法计算经验特征预期的场景，因为模型变量只被部分观察到，这引入了对学习模型的依赖性。推广潜在最大熵原理，我们引入不确定最大熵，并描述了一个基于期望最大化的解决方案，近似解决这些问题。我们表明，我们的技术还推广了最大熵的原则。我们还讨论了使用黑盒分类器与我们的技术，它简化了利用稀疏，大数据集的过程。
2022-05-26 cs.IT cs.LG math.IT
Approximate maximum entropy principles via Goemans-Williamson with applications to provable variational methods
Princeton University（普林斯顿大学）
众所周知的最大熵原理是由Jaynes提出的，该原理指出，给定平均参数，匹配它们的最大熵分布是指数族，由于其“奥卡姆剃刀”解释，该原理在机器学习中非常流行。不幸的是，计算最大熵分布中的势是棘手的\cite{bresler2014hardness}。当平均参数是成对矩时，我们提供了这一原则的计算效率版本：我们设计了近似匹配给定成对矩的分布，同时具有与匹配这些矩的最大熵分布相当的熵。我们还提供了令人惊讶的应用程序的近似最大熵原理设计可证明的变分方法的伊辛模型的配分函数计算没有任何假设的潜力的模型。更确切地说，我们表明，在每一个温度下，我们可以得到近似保证的对数配分函数相比，在低温极限，这是设置优化的二次型的超立方体。\cite{alon2006approximating}
2016-07-12 cs.DS cs.LG stat.ML
Maximum Entropy Dueling Network Architecture in Atari Domain
Amirkabir University of Technology（阿米尔卡比尔理工大学）
近年来，强化学习出现了许多深层结构，主要用于价值函数估计和表示。这些方法在Atari 2600领域取得了很大的成功。本文提出了一种基于Dueling网络的改进结构，在这种结构中，有两个独立的估计器，一个逼近状态价值函数，另一个逼近状态优势函数。这种改进基于最大熵，显示出更好的政策评估相比，原来的网络和其他价值为基础的架构在Atari域。
2022-04-27 cs.AI cs.LG
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Generalized Maximum Causal Entropy for Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑了逆强化学习（IRL）从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性，我们提出了一个基于因果熵最大化问题的广义IRL模型，它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复，除了奖励功能，另一个专家的功能，将（部分）捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明，我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。
2020-08-18 cs.LG stat.ML
IRL with Partial Observations using the Principle of Uncertain Maximum Entropy
University of North Carolina Asheville（北卡罗来纳大学阿什维尔分校）；University of Georgia（佐治亚大学）
最大熵原理是一种广泛适用的技术，用于计算具有最少信息量的分布，同时约束以匹配经验估计的特征期望。然而，在许多使用噪声传感器的实际应用中，由于相关模型变量的部分观测，计算特征期望可能具有挑战性。例如，执行学徒学习的机器人可能由于环境遮挡而看不到它正在学习的代理。我们表明，在将最大熵原理推广到这些类型的场景中，我们必然会引入对经验特征期望的学习模型的依赖性。我们引入了不确定性最大熵原理，并提出了一个基于期望最大化的解决方案，从潜在最大熵原理的推广。最后，我们通过实验证明了我们的技术在最大因果熵逆强化学习域中对噪声数据的鲁棒性。
2022-08-15 cs.IT cs.LG math.IT
SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR
Stanford University（斯坦福大学）
研究发现 SFT 过度训练导致 rollout 分布熵降低，使 GRPO 中优势信号消失，从而引发排名反转；提出基于熵的两阶段诊断方法可预警高风险检查点。
2026-06-23 cs.AI cs.CL cs.LG
A series of maximum entropy upper bounds of the differential entropy
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Data61；the Australian National University（澳大利亚国立大学）；the University of Sydney（悉尼大学）
本文提出连续单变量随机变量微分熵的若干最大熵上界，并探讨了其在高斯混合模型中的应用及上界的紧致性。
2016-12-09 cs.CV cs.IT cs.LG
