首页/论文/2210.02450

arXiv 2210.024502022-10-05cs.LGcs.AI

基于最大熵模型的聚合数据学习

Learning from aggregated data with a maximum entropy model

Criteo（科韬广告）

Alexandre Gilotte, Ahmed Ben Yahmed, David Rohde

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

聚合数据集，然后注入一些噪声，是一种简单而常见的方法来释放差异隐私数据。然而，聚合数据-即使没有噪声-也不是机器学习分类器的合适输入。在这项工作中，我们展示了一个新的模型，类似于逻辑回归，可以从聚合数据中学习，只通过近似未观察到的特征分布与最大熵假设。由此产生的模型是马尔可夫随机场（MRF），我们详细介绍了如何应用，修改和扩展MRF训练算法到我们的设置。最后，我们在几个公共数据集上提出了经验证据，证明以这种方式学习的模型可以实现与使用完整未聚合数据训练的逻辑模型相当的性能。

英文摘要：

Aggregating a dataset, then injecting some noise, is a simple and common way to release differentially private data.However, aggregated data -- even without noise -- is not an appropriate input for machine learning classifiers.In this work, we show how a new model, similar to a logistic regression, may be learned from aggregated data only by approximating the unobserved feature distribution with a maximum entropy hypothesis. The resulting model is a Markov Random Field (MRF), and we detail how to apply, modify and scale a MRF training algorithm to our setting. Finally we present empirical evidence on several public datasets that the model learned this way can achieve performances comparable to those of a logistic model trained with the full unaggregated data.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

最大熵多样性探索：解开最大熵强化学习

Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning

Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）

两个迄今为止断开的研究线程，多样性探索（DE）和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中，我们确定了这两种方法之间的联系。首先，提出了一个基于鉴别器的多样性目标，并将其与常用的发散性度量相连接。然后，我们将这个目标扩展到最大熵框架，并提出了一个算法最大熵多样性探索（MEDE），它提供了一个原则性的方法来学习不同的行为。理论研究表明，由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上，所提出的算法将最大熵策略分解为不同的组成策略。实验表明，MEDE在学习高性能和多样化的策略方面优于现有技术。

2019-11-03cs.AIcs.LGstat.ML

通过极大似然估计和最大熵方法推导缩放点积函数

Deriving the Scaled-Dot-Function via Maximum Likelihood Estimation and Maximum Entropy Approach

Oracle Corporation（甲骨文公司）

本文提出基于极大似然估计和最大熵的两种方法，通过将向量建模为高斯分布并利用特征函数，为transformer中的缩放点积函数提供新解释。

2025-09-14cs.AIcs.LG

基于混合策略的最大熵强化学习

Maximum Entropy Reinforcement Learning with Mixture Policies

Technion, Israel Institute of Technology（以色列理工学院）

混合模型是一种表达性的假设类，可以近似一组丰富的策略。然而，在最大熵（MaxEnt）框架中使用混合策略并不简单。混合模型的熵不等于其分量之和，在大多数情况下也没有封闭形式的表达式。因此，在MaxEnt算法中使用这样的策略需要构建混合熵的易处理的近似。在本文中，我们得到一个简单的，低方差混合熵估计。我们表明，它是密切相关的边际熵的总和。配备我们的熵估计，我们推导出一个算法的软演员批评（SAC）的混合策略的情况下，并评估它的一系列连续控制任务。

2021-03-18cs.AIcs.LG

超越边界噪声：聚合偶然不确定性无法捕捉3D肺结节分割中的存在歧义

Beyond Boundary Noise: Aggregated Aleatoric Uncertainty Fails to Capture Presence Ambiguity in 3D Lung Nodule Segmentation

Fraunhofer Heinrich-Hertz-Institut（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；The Berlin Institute for the Foundations of Learning and Data (BIFOLD)（柏林学习与数据基础研究所（BIFOLD））

该研究针对3D肺结节分割，发现基于熵的聚合偶然不确定性无法捕捉病理存在的病例级歧义，提出轻量级监督歧义头可更有效建模该歧义，为医疗图像分割的不确定性估计提供了改进方向。

2026-08-18cs.CVcs.LG

Atari域上的最大熵决斗网络结构

Maximum Entropy Dueling Network Architecture in Atari Domain

Amirkabir University of Technology（阿米尔卡比尔理工大学）

近年来，强化学习出现了许多深层结构，主要用于价值函数估计和表示。这些方法在Atari 2600领域取得了很大的成功。本文提出了一种基于Dueling网络的改进结构，在这种结构中，有两个独立的估计器，一个逼近状态价值函数，另一个逼近状态优势函数。这种改进基于最大熵，显示出更好的政策评估相比，原来的网络和其他价值为基础的架构在Atari域。

2022-04-27cs.AIcs.LG

最大因果熵逆强化学习入门

A Primer on Maximum Causal Entropy Inverse Reinforcement Learning

逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。

2022-03-22cs.AIcs.LG

更多相关论文收起更多论文

通过最大熵理解深度学习泛化

Understanding Deep Learning Generalization by Maximum Entropy

University of Science and Technology of China（中国科学技术大学）；Beijing Jiaotong University（北京交通大学）

深度学习通过大量的模型参数实现了卓越的泛化能力。对深度学习泛化的理论理解最近受到关注，但尚未得到充分探索。本文试图从最大熵的角度提供另一种理解。首先推导出softmax回归严格应用最大熵原理的两个特征条件。然后，DNN被认为是近似的特征条件与多层特征学习，并证明了最大熵原则的递归解决方案。DNN和最大熵之间的联系很好地解释了为什么诸如捷径和正则化之类的典型设计可以提高模型的泛化能力，并为未来的模型开发提供了指导。

2017-11-21cs.LG

均值熵最大法滤除加性测量噪声

Filtering Additive Measurement Noise with Maximum Entropy in the Mean

Universidad Central de Venezuela（委内瑞拉中央大学）；Instituto de Estudios Superiores de Administración IESA（IESA高级管理研究院）

本文的目的是说明如何使用最大平均熵（MEM）的方法来改善参数估计时，测量值被破坏的大噪声水平。该方法是在上下文中开发的一个具体的例子：在指数分布的参数估计。我们比较了我们的方法与baidu和最大似然方法的性能。

2007-09-04cs.LG

关于最大熵线性特征反演

On Maximum Entropy Linear Feature Inversion

Fraunhofer FKIE（弗劳恩霍夫 FKIE）

本文提出一种统一的最大熵线性特征反演方法，解决现有方法依赖问题且不一致的缺陷，并扩展至数据值受限于[0,1]的新场景，为机器学习提供新应用。

2024-07-19cs.LG

基于软Q学习的最大熵GFlowNets

Maximum entropy GFlowNets with soft Q-learning

MIT（麻省理工学院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Valence Labs（瓦伦斯实验室）；University of Montreal（蒙特利尔大学）

该研究通过构建合适的奖励函数厘清生成流网络（GFN）与最大熵强化学习的精确关联，提出最大熵GFN，在无状态空间约束下实现GFN可达的最大熵。

2024-05-02cs.LG

最大熵自动编码

Maximum Entropy Auto-Encoding

Fraunhofer FKIE（弗劳恩霍夫通信、信息处理和人机工程学研究所）

在本文中，它表明，使用最佳重建的自动编码器显着优于传统的自动编码器。最佳重建使用给定特征的输入的条件平均值，在最大熵先验分布下。最优重构网络称为确定性投影置信网络（D-PBN），它类似于标准重构网络，但具有特殊的非线性，需要迭代求解。该方法可以看作是最大熵图像重建的推广，并可扩展到多层。在实验中，均方重建误差减少了高达两倍。对于更深的网络，或者对于具有无约束值的输入数据（高斯假设），性能改进会减少。

2021-04-13cs.LG

最大熵强化学习的正则化性质的证据

Evidence on the Regularisation Properties of Maximum-Entropy Reinforcement Learning

Université Paris-Saclay（巴黎-萨克雷大学）；CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique（法国国家科学研究中心，跨学科数字科学实验室）

该研究通过混沌系统验证最大熵强化学习策略在噪声下的鲁棒性，并利用复杂性度量解释其正则化性质。

2025-01-28cs.LG

非马尔可夫性在最大状态熵探索中的重要性

The Importance of Non-Markovianity in Maximum State Entropy Exploration

Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）

在最大状态熵探索框架中，智能体与无奖励环境进行交互，以学习使其诱导的预期状态访问的熵最大化的策略。Hazan等人（2019）指出，马尔可夫随机策略类对于最大状态熵目标是足够的，在这种情况下，利用非马尔可夫性通常被认为是毫无意义的。在本文中，我们认为，在有限样本制度的最大状态熵的探索，而不是至关重要的非马尔可夫。特别是，我们重新设计的目标，在一个单一的审判诱导状态访问的预期熵。然后，我们证明了这类非马尔可夫确定性政策是足够的引入的目标，而马尔可夫政策遭受非零遗憾一般。然而，我们证明了寻找最优非马尔可夫策略的问题是NP-困难的。尽管这个负面的结果，我们讨论的途径来解决这个问题，在一个易于处理的方式，以及如何非马尔可夫探索可以有利于样本效率的在线强化学习在未来的工作。

2022-07-08cs.LG

最大熵原理在不确定数据中的推广注记

Notes on Generalizing the Maximum Entropy Principle to Uncertain Data

University of North Carolina Asheville（北卡罗来纳大学阿什维尔分校）

最大熵原理是一种广泛适用的技术，用于计算具有尽可能少的信息量的分布，以匹配经验数据，例如特征期望。我们试图将这一原则推广到无法计算经验特征预期的场景，因为模型变量只被部分观察到，这引入了对学习模型的依赖性。推广潜在最大熵原理，我们引入不确定最大熵，并描述了一个基于期望最大化的解决方案，近似解决这些问题。我们表明，我们的技术还推广了最大熵的原则。我们还讨论了使用黑盒分类器与我们的技术，它简化了利用稀疏，大数据集的过程。

2022-05-26cs.ITcs.LGmath.IT

监督分类的广义最大熵

Generalized Maximum Entropy for Supervised Classification

BCAM-Basque Center for Applied Mathematics（巴斯克应用数学中心）；IKERBASQUE-Basque Foundation for Science（巴斯克科学基金会）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）

最大熵原则主张使用在满足某些期望约束的那些事件中最大化熵的分布来评估事件的概率。这样的原则可以推广到任意决策问题，它对应于极大极小方法。基于广义最大熵原理，建立了一个监督分类框架，并由此得到极小极大风险分类器（MRC）。我们开发的学习技术，确定一般熵函数的MRC，并通过凸优化提供性能保证。此外，我们描述了所提出的技术与现有的分类方法的关系，并量化MRCs的性能相比，建议的界限和传统的方法。

2021-12-15cs.LGstat.ML

基于Goemans-Williamson的近似极大熵原理及其在可证变分方法中的应用

Approximate maximum entropy principles via Goemans-Williamson with applications to provable variational methods

Princeton University（普林斯顿大学）

众所周知的最大熵原理是由Jaynes提出的，该原理指出，给定平均参数，匹配它们的最大熵分布是指数族，由于其“奥卡姆剃刀”解释，该原理在机器学习中非常流行。不幸的是，计算最大熵分布中的势是棘手的\cite{bresler2014hardness}。当平均参数是成对矩时，我们提供了这一原则的计算效率版本：我们设计了近似匹配给定成对矩的分布，同时具有与匹配这些矩的最大熵分布相当的熵。我们还提供了令人惊讶的应用程序的近似最大熵原理设计可证明的变分方法的伊辛模型的配分函数计算没有任何假设的潜力的模型。更确切地说，我们表明，在每一个温度下，我们可以得到近似保证的对数配分函数相比，在低温极限，这是设置优化的二次型的超立方体。\cite{alon2006approximating}

2016-07-12cs.DScs.LGstat.ML

基于潜在最大熵原理的Boltzmann机器学习

Boltzmann Machine Learning with the Latent Maximum Entropy Principle

University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；University of Missouri（密苏里大学）

我们提出了一个新的统计学习范式玻尔兹曼机的基础上，我们提出了一个新的推理原则：潜在的最大熵原则（LME）。LME既不同于Jaynes最大熵原理，也不同于标准的极大似然估计。本文通过导出Boltzmann机参数估计的新算法来证明LME原理，并展示如何发展新的EM算法的鲁棒性和快速性。我们的实验表明，基于LME的估计通常比极大似然估计产生更好的结果。特别是当从少量数据推断隐藏单元时。

2012-10-19cs.LGstat.ML

最大熵强化学习在RLHF中的失败模式

Failure Modes of Maximum Entropy RLHF

Koç University（科克大学）；KUIS AI Center（KUIS人工智能中心）

本文研究了最大熵强化学习在在线RLHF中的表现，发现其易出现过度优化和KL动态不稳定，且熵正则化无法有效防止奖励黑客，揭示了参考自由方法在在线与离线学习中的不同挑战。

2026-04-29cs.CLcs.LG

基于不确定最大熵原理的部分观测值IRL

IRL with Partial Observations using the Principle of Uncertain Maximum Entropy

University of North Carolina Asheville（北卡罗来纳大学阿什维尔分校）；University of Georgia（佐治亚大学）

最大熵原理是一种广泛适用的技术，用于计算具有最少信息量的分布，同时约束以匹配经验估计的特征期望。然而，在许多使用噪声传感器的实际应用中，由于相关模型变量的部分观测，计算特征期望可能具有挑战性。例如，执行学徒学习的机器人可能由于环境遮挡而看不到它正在学习的代理。我们表明，在将最大熵原理推广到这些类型的场景中，我们必然会引入对经验特征期望的学习模型的依赖性。我们引入了不确定性最大熵原理，并提出了一个基于期望最大化的解决方案，从潜在最大熵原理的推广。最后，我们通过实验证明了我们的技术在最大因果熵逆强化学习域中对噪声数据的鲁棒性。

2022-08-15cs.ITcs.LGmath.IT

广义最大因果熵逆强化学习

Generalized Maximum Causal Entropy for Inverse Reinforcement Learning

Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Massachusetts Institute of Technology（麻省理工学院）

我们考虑了逆强化学习（IRL）从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性，我们提出了一个基于因果熵最大化问题的广义IRL模型，它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复，除了奖励功能，另一个专家的功能，将（部分）捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明，我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。

2020-08-18cs.LGstat.ML

连续单变量随机变量微分熵的若干最大熵上界

A series of maximum entropy upper bounds of the differential entropy

Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Data61；the Australian National University（澳大利亚国立大学）；the University of Sydney（悉尼大学）

本文提出连续单变量随机变量微分熵的若干最大熵上界，并探讨了其在高斯混合模型中的应用及上界的紧致性。

2016-12-09cs.CVcs.ITcs.LG