Chaining Mutual Information and Tightening Generalization Bounds
Princeton University（普林斯顿大学）；EPFL（洛桑联邦理工学院）
界定学习算法的泛化误差有很长的历史，但在解释包括深度学习在内的各种泛化成功方面仍有不足。两个重要的困难是（i）利用假设之间的依赖关系，（ii）利用算法的输入和输出之间的依赖关系。在第一点上的进展是与链接的方法，起源于工作的Kolmogorov，并用于VC维界。最近，Russo和Zou的互信息方法在第二点上取得了进展。然而，这两种方法目前是不相交的。在本文中，我们介绍了一种技术相结合的链接和互信息的方法，以获得一个推广的范围，这是算法依赖性和利用之间的依赖关系的假设。我们提供了一个例子，在这个例子中，我们的界限显着优于链接和互信息界限。作为推论，当学习算法从具有高概率的假设的小子集中选择其输出时，我们收紧了Dudley不等式。
2019-07-01 cs.IT cs.LG math.IT
The Role of Mutual Information in Variational Classifiers
Facultad de Ingeniería, Universidad de Buenos Aires（布宜诺斯艾利斯大学工程学院）；CSC, CONICET（国家科学技术研究委员会计算机科学中心）；International Laboratory on Learning Systems (ILLS)（国际学习系统实验室）；Mila（米拉人工智能研究所）
本文从信息论角度研究变分分类器的泛化误差，推导出泛化误差可由输入特征与潜在表示之间的互信息所界定的条件，为 KL 正则化项提供理论依据，并通过 MNIST 和 CIFAR 实验验证互信息能有效反映泛化行为。
2023-04-13 cs.LG stat.ML
Generalization Guarantees via Algorithm-dependent Rademacher Complexity
University of Amsterdam（阿姆斯特丹大学）；University of Melbourne（墨尔本大学）；Purdue University（普渡大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文提出基于算法相关且数据相关的经验Rademacher复杂度来刻画泛化误差，据此得到有限分形维数新界、简化随机梯度下降的维数无关泛化界证明，并恢复VC类与压缩方案的结果。
2023-07-04 cs.LG stat.ML
Reasoning About Generalization via Conditional Mutual Information
IBM Research – Almaden（IBM阿尔马登研究中心）；Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机学院）
我们提供了一个信息理论的框架，研究机器学习算法的泛化性能。我们的框架将现有的方法联系在一起，包括一致收敛边界和最近的自适应数据分析方法。具体来说，我们使用条件互信息（CMI）来量化输入（即，训练数据）可以在给定输出（即，训练的模型）的学习算法。我们表明，可以从VC维，压缩方案，差分隐私，和其他方法得到的CMI的界限。然后，我们表明，有界CMI意味着各种形式的推广。
2020-06-19 cs.CR cs.DS cs.IT
Robust Generalization via $α$-Mutual Information
EPFL（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
这项工作的目的是提供边界连接两个概率测量同一事件使用雷尼$α$ -分歧和Sibson的$α$ -互信息，分别推广的Kullback-Leibler分歧和香农的互信息。当所考虑的两个概率度量是联合分布和边际的相应乘积（代表统计独立情景）时，可以找到感兴趣的特定情况。在这种情况下，检索使用Sibson的$α-$互信息的界限，将涉及最大泄漏的结果扩展到一般字母表。这些结果具有广泛的应用，从限制学习算法的泛化误差到自适应数据分析的更一般的框架，只要所使用的发散和/或信息度量服从于这样的分析（{ \it，}对后处理和自适应合成具有鲁棒性）。相对于高概率事件的泛化误差的界限，但相应的预期泛化误差的界限也检索。
2020-01-14 cs.IT cs.LG math.IT
Individually Conditional Individual Mutual Information Bound on Generalization Error
我们提出了一个新的信息理论界的泛化误差的基础上相结合的错误分解技术Bu等。和条件互信息（CMI）的建设Steinke和Zakynthinou。在以前的工作中，Haghifam等人。提出了一个不同的界限结合上述两种技术，我们称之为条件个人互信息（CIMI）界。然而，在一个简单的高斯设置中，CMI和CIMI界限都比Bu等人的更差。这一观察促使我们提出了新的界限，它克服了这个问题，减少条件互信息中的条件项。在建立这个界的过程中，建立了一个条件解耦引理，这也导致了一个有意义的二分法和这些信息论界之间的比较。
2020-12-29 cs.IT math.IT stat.ML
On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization
Carnegie Mellon University（卡内基梅隆大学）
近年来，潜变量模型（LVMs）的多样性诱导正则化方法（Diversity-inducing regularization methods）被广泛研究，旨在解决潜变量建模中的几个问题：（1）如何捕获数据背后的长尾模式;（2）如何在不牺牲表达性的前提下降低模型复杂度;（3）如何提高学习模式的可解释性。虽然多样性诱导正则化，如相互角正则化的有效性已被证明经验，他们仍然缺乏严格的理论分析。在本文中，我们的目标是弥合这一差距，并分析相互角度正则化（MAR）如何影响监督LVMs的泛化性能。以神经网络（NN）为例进行了研究，分析表明，增加NN中隐层单元的多样性会减小估计误差，增加逼近误差。除了理论分析外，我们还进行了实证研究，结果表明，MAR可以大大提高神经网络的性能，实证观察与理论分析是一致的。
2015-11-23 cs.LG
Generalization Bounds via Convex Analysis
ICREA（加泰罗尼亚研究与高等教育机构）；Universitat Pompeu Fabra（庞培法布拉大学）
自Russo和Zou（2016，2019）以及Xu和Raginsky（2017）的着名作品以来，众所周知，监督学习算法的泛化误差可以根据其输入和输出之间的互信息来限制，因为任何固定假设的损失都具有亚高斯尾。在这项工作中，我们推广了这一结果超出了标准的选择香农的互信息来衡量输入和输出之间的依赖性。我们的主要结果表明，它确实是可能的，以取代任何强凸函数的联合输入输出分布的互信息，与亚高斯条件的损失取代了一个适当选择的规范捕获的几何形状的依赖措施的约束。这使我们能够得到一系列的泛化界，要么是全新的或加强以前已知的。例子包括以$p$ -范数发散和Wasserstein-2距离表示的界限，它们分别适用于重尾损失分布和高度平滑的损失函数。我们的分析完全基于凸分析的基本工具，通过跟踪与依赖度量和损失函数相关的潜在函数的增长。
2022-07-19 cs.LG stat.ML
Generalization in Federated Learning: A Conditional Mutual Information Framework
Ziqiao Wang（瓦氏）；Cheng Long（龙成）；Yongyi Mao（茅永毅）
本文提出基于条件互信息的超客户端框架，为联邦学习两级泛化误差推导多个信息论界，并给出快速速率界及实验验证。
2025-06-04 cs.IT cs.LG math.IT
Generalization error bounds for iterative learning algorithms with bounded updates
Xi’an Jiaotong University（西安交通大学）
本文用信息论方法为有界更新迭代学习算法提出新的泛化误差界，通过更新不确定性和方差分解改进界，并联系大语言模型缩放行为。
2023-10-14 cs.LG stat.ML
Understanding Generalization via Leave-One-Out Conditional Mutual Information
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Technion（以色列理工学院）；Google Research（谷歌研究院）；Mila（米拉研究所）；McGill（麦吉尔大学）
我们研究了学习算法的输出（的某些摘要）与其$n$训练数据之间的互信息，条件是$n+1$ i.i.d.的超样本。从其中随机选择训练数据而不替换的数据。算法的条件互信息（CMI）的这些留一法变体（Steinke和Zakynthinou，2020）也被视为控制具有有界损失函数的学习算法的平均泛化误差。对于在0-1损失下实现零经验风险的学习算法（即，插值算法），我们提供了一个显式的留一出局CMI和经典的留一出局误差估计的风险之间的联系。使用这种连接，我们获得的（评估）留一出局CMI的风险的上限和下限。当极限风险是常数或多项式衰减时，边界收敛到常数因子2内。作为一个应用，我们分析了一个包含图算法，一个通用的转换学习算法的VC类在可实现的设置的人口风险。使用留一法CMI，我们在可实现的设置中匹配学习VC类的最佳界限，回答了Steinke和Zakynthinou（2020）提出的公开挑战。最后，为了理解留一CMI在研究推广中的作用，我们将留一CMI置于一个层次的措施，一个新的无条件互信息的根。对于0-1损失和插值学习算法，观察到该互信息正是风险。
2022-06-29 cs.LG
Information Theoretic Lower Bounds for Information Theoretic Upper Bounds
Tel Aviv University（特拉维夫大学）
本文研究随机凸优化中互信息与泛化性的关系，证明真实风险最小化需要依赖维度的互信息，从而揭示现有信息论泛化界无法解释 SGD 和正则化 ERM 的维度无关样本复杂度。
2024-01-14 cs.LG stat.ML
Conditional Mutual Information-Based Generalization Bound for Meta Learning
Chalmers University of Technology（查尔姆斯理工大学）；Kings College London（伦敦国王学院）
元学习通过观察有限数量的相关任务的数据来优化归纳偏差-通常以基础学习算法的超参数的形式。本文提出了任何给定元学习者泛化性能的信息论界限，该界限建立在Steinke和Zakynthinou（2020）的条件互信息（CMI）框架之上。在所提出的元学习扩展中，CMI界限涉及训练\textit{meta-supersample}，其通过首先从任务环境中采样$2N$独立任务，然后为每个采样任务绘制$2M$独立训练样本来获得。馈送给元学习者的Meta训练数据被建模为通过从可用的$2N$任务中随机选择$N$任务以及从每个任务的可用的$2M$训练样本中随机选择每个任务的$M$训练样本来获得。得到的界限在两个CMI项中是明确的，其测量元学习器输出和基础学习器输出提供的关于在给定整个元超样本的情况下选择哪些训练数据的信息。最后，我们提出了一个数值例子，说明了所提出的界限的优点相比，先验信息理论的界限元学习。
2021-02-08 cs.IT cs.LG math.IT
Information-Theoretic Generalization Bounds for Transductive Learning and its Applications
本文在信息论与PAC-Bayes框架下，为转导学习建立泛化界，涵盖随机采样与随机划分，提出转导超样本概念，并应用于自适应优化、半监督及图学习，经实验验证。
2025-01-21 cs.LG stat.ML
Generalization error property of infoGAN for two-layer neural network
Virginia Commonwealth University（弗吉尼亚联邦大学）；University of South Alabama（南阿拉巴马大学）
本研究证明当判别器和生成器样本量趋于无穷时，infoGAN 的泛化误差性质，利用 Rademacher 复杂度推导误差界，并在两层网络（使用 Lipschitz 非递减激活函数）中验证。
2025-05-22 cs.LG stat.ML
Information-theoretic analysis of generalization capability of learning algorithms
University of Illinois（伊利诺伊大学）
我们推导了学习算法的泛化误差的上界，它的输入和输出之间的互信息。该界提供了一个信息理论的理解泛化学习问题，并通过控制输入输出互信息之间的数据拟合和泛化之间的正确平衡的理论指导方针。为此，我们提出了一些方法，其中包括用相对熵或随机噪声正则化ERM算法的算法。我们的工作扩展，并导致非平凡的改进最近的结果Russo和邹。
2017-11-06 cs.IT cs.LG math.IT
Learning from Label Proportions: A Mutual Contamination Framework
University of Michigan（密歇根大学）
从标签比例学习（LLP）是一种弱监督的分类设置，其中未标记的训练实例被分组到袋子中，每个袋子都用该袋子中出现的每个类的比例进行注释。以前的工作LLP尚未建立一个一致的学习程序，也不存在一个理论上合理的，通用的培训标准。在这项工作中，我们解决这两个问题，提出LLP的相互污染模型（MCMs），最近已成功地应用于研究各种其他弱监管设置。在这个过程中，我们建立了几个新的技术成果的MCMs，包括无偏损失和推广误差界下的非iid抽样计划。我们还指出了一个共同的实验设置LLP的局限性，并提出了一个新的MCM框架的基础上。
2020-06-12 cs.LG stat.ML
Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning Algorithms
Tehran Institute for Advanced Studies, Khatam University（哈塔姆大学德黑兰高等研究院）；INRIA（法国国家信息与自动化研究所）；ENS – PSL Research University（PSL研究大学巴黎高等师范学院）
在现代机器学习环境中理解泛化一直是统计学习理论的主要挑战之一。在这种情况下，近年来已经见证了各种泛化界的发展，提出了不同的复杂性概念，如数据样本和算法输出之间的互信息，假设空间的可压缩性，以及假设空间的分形维数。虽然这些界限从不同的角度阐明了手头的问题，但它们所建议的复杂性概念可能看起来似乎无关紧要，从而限制了它们的高层次影响。在这项研究中，我们证明了新的泛化界通过率失真理论的镜头，并明确地涉及到一个单一的数学框架中的互信息，可压缩性和分形维数的概念。我们的方法包括：（i）定义一个广义的概念，通过使用源编码的概念，压缩性，和（ii）表明，“压缩错误率”可以链接到泛化错误的期望和高概率。我们表明，在“无损压缩”设置，我们恢复和改善现有的互信息为基础的界限，而“有损压缩”计划允许我们链接泛化率失真维数-分形维数的一个特定的概念。我们的研究结果带来了一个更统一的角度概括，并开辟了几个未来的研究方向。
2022-06-29 cs.IT cs.LG math.IT
Recognizable Information Bottleneck
Beijing Jiaotong University（北京交通大学）；Shanghai University（上海大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有信息瓶颈泛化界空泛或计算成本高的问题，本文建立表征可识别性与f-CMI泛化界的联系，提出可识别信息瓶颈RIB，经实验验证其在模型正则化和泛化间隙估计上有效。
2023-04-28 cs.LG stat.ML
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；KTH Royal Institute of Technology（皇家理工学院）；Google Research（谷歌研究院）；Mila（米拉研究所）；McGill（麦吉尔大学）
本文证明输入-输出互信息、条件互信息、PAC-Bayes等现有信息论泛化界及其高斯噪声代理分析，均无法为随机凸优化中的梯度下降建立极小极大速率。
2023-07-13 cs.LG stat.ML
PAC-Bayes, MAC-Bayes and Conditional Mutual Information: Fast rate bounds that handle general VC classes
CWI Amsterdam（阿姆斯特丹数学与计算机科学国家研究所）；Leiden University（莱顿大学）；Google Research（谷歌研究院）；Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
我们给出了一个新的，统一的推导条件PAC贝叶斯和互信息（MI）的推广界。我们推导出条件MI界限作为一个实例，与特殊的选择之前，条件MAC贝叶斯（平均近似正确）界限，本身来自条件PAC贝叶斯界限，其中“有条件”的意思是，可以使用先验条件的联合训练和鬼样本。这使我们能够得到一般VC类的非平凡PAC贝叶斯和MI风格的界限，最近证明标准PAC贝叶斯/MI界限是不可能的。第二，如果Bernstein条件成立，它允许我们获得$γ> 1/2$和指数凹损失（使用$γ=1$）的更快的$O \left(({\text{KL}}/n)^γ\right)$阶速率，这在标准PAC贝叶斯推广和MI边界下都是不可能的。我们的工作扩展了Steinke和Zakynthinou [2020]最近的工作，他们用VC处理MI，但既不是PAC-Bayes也不是快速的，Hellström和Durisi [2020]最近的工作通过统一的指数不等式将后者扩展到PAC-Bayes设置，以及Mhammedi等人。[2019]启动了快速PAC-Bayes泛化误差界，但既不处理MI也不处理一般的VC类。
2021-06-17 cs.IT cs.LG math.IT
On-Average KL-Privacy and its equivalence to Generalization for Max-Entropy Mechanisms
我们定义了平均KL隐私，并介绍了它的性质和连接到差分隐私，推广和信息理论的数量，包括最大信息和互信息。新的定义大大削弱了差异隐私，同时保留了其极简的设计特征，如小组和多个查询的组成以及接近后处理。此外，我们表明，平均KL隐私是 ** 等效 ** 的统计学和机器学习中的一大类常用工具的泛化，这些工具从吉布斯分布中采样--一类自然产生于最大熵原理的分布。此外，我们的分析的副产品产生了一个下界的泛化误差的互信息，揭示了一个有趣的相互作用与已知的上限，使用相同的数量。
2016-05-08 cs.CR stat.ML
A unified framework for information-theoretic generalization bounds
University of Illinois（伊利诺伊大学）
本文提出基于测度变换与 Orlicz 空间不等式的概率去相关引理，并结合对称化、耦合和链式技术，构建统一框架以推导期望和高概率信息论泛化界。
2023-12-06 cs.IT cs.LG math.IT
Fast Rate Information-theoretic Bounds on Generalization Errors
Department of Electrical and Electronic Engineering, University of Melbourne（墨尔本大学电子与电气工程系）
本文研究泛化误差信息论界的紧性，证明在适当假设下个体样本互信息界可达到快速率，并基于中心条件提出新界。
2025-06-23 cs.IT cs.LG math.IT
Algorithm-Dependent Bounds for Representation Learning of Multi-Source Domain Adaptation
Université Laval（拉瓦尔大学）
本文利用信息论工具从表示学习视角分析多源域适应，为监督和无监督设置提供算法相关的泛化界限，并提出一种通过联合对齐隐式解决目标偏移的深度MDA算法，在保持性能相当的同时提升了内存效率。
2023-04-04 cs.LG stat.ML
Information-Theoretic Generalization Bounds for SGLD via Data-Dependent Estimates
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Element AI（元素人工智能）
在这项工作中，我们改进了Pensia，Jog和Loh（2018）发起的噪声迭代学习算法的逐步分析，最近由Bu，Zou和Veeravalli（2019）扩展。我们的主要贡献是通过数据相关估计显着改善随机梯度朗之万动力学的互信息界。我们的方法是基于互信息的变分表征和使用数据相关的先验知识，预测的小批量梯度的基础上的训练样本的子集。我们的方法在Russo和Zou（2015）以及Xu和Raginsky（2017）的信息理论框架内广泛适用。我们的界限可以与经验风险曲面的平坦度相联系。与其他依赖于梯度平方范数的界相比，经验研究表明，我们的界中的项小了几个数量级。
2020-01-25 cs.IT cs.LG math.IT
Reducing the Variance of Variational Estimates of Mutual Information by Limiting the Critic's Hypothesis Space to RKHS
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
互信息（MI）是两个随机变量之间相关性的信息论度量。文献中提出了几种从两个具有未知潜在概率分布的随机变量的样本中估计MI的方法。最近的方法实现参数概率分布或评论作为一个神经网络来近似未知的密度比。近似的密度比被用来估计不同的变分下限MI。虽然这些方法在真实MI较低时提供了可靠的估计，但在高MI的情况下，它们会产生高方差估计。我们认为，高方差特性是由于不受控制的复杂性的批评家的假设空间。为了支持这一论点，我们使用数据驱动的Rademacher复杂性的假设空间与评论家的架构分析泛化误差界的变分下界估计MI。在所提出的工作中，我们表明，通过将评论家的假设空间约束到再生希尔伯特核空间（RKHS），可以否定这些估计量的高方差特性，该空间对应于使用自动谱核学习（ASKL）学习的核。通过分析上述泛化误差界限，我们增加了有效的正则化项的整体优化目标。我们经验证明了这种正则化在执行适当的偏置方差权衡四个变分下界，即NWJ，MINE，JS和SMILE的功效。
2020-11-17 cs.LG
f-divergences and their applications in lossy compression and bounding generalization error
在本文中，我们提供了三个应用$f$ -发散：（i）我们介绍了Sanov的上界的独立随机变量和的尾概率的基础上超模块$f$ -发散，并表明，我们的广义Sanov的界严格改善普通的，（ii）我们考虑的有损压缩问题，研究了一组可实现的速率为一个给定的失真和码长。我们扩展的率失真函数，使用相互$f$ -信息，并提供新的和严格更好的界限，可实现的速率在有限块长度制度，使用超级模块$f$ -分歧，和（iii）我们提供了一个连接之间的泛化误差的有界输入/输出相互$f$ -信息和广义率失真问题的算法。这种连接允许我们使用$f$率失真函数的下限来限制学习算法的泛化误差。我们的边界是基于一个新的率失真函数的下限，（对于某些例子）严格提高了以前最知名的界限。
2023-01-26 cs.IT cs.LG math.IT
Generalization Error Bounds Via Rényi-, $f$-Divergences and Maximal Leakage
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
在这项工作中，在某种联合分布下事件的概率是有界的，通过测量它与边际的乘积（这通常更容易分析）以及两个随机变量之间的相关性来衡量。这些结果在自适应数据分析中找到应用，其中引入了多个依赖关系，并且在学习理论中，它们可以用于限制学习算法的泛化误差。根据Sibson互信息、$α-$分歧、Hellinger分歧和$f-$分歧给出了边界。特别感兴趣的情况是最大泄漏（或无穷阶的Sibson互信息），因为该测量对后处理是鲁棒的并且自适应地合成。相应的界可以看作是经典界的推广，如Hoeffding不等式和McDiarmid不等式，对于相依随机变量的情况。
2020-10-21 cs.IT cs.LG math.IT
Stability, Complexity and Data-Dependent Worst-Case Generalization Bounds
INRIA, CNRS, Département d’Informatique de l’Ecole Normale Supérieure / PSL, France（法国国家信息与自动化技术研究所、国家科学研究中心、巴黎高等师范学院计算机系/巴黎社会科学实验室）；Department of Computing, Imperial College London, United Kingdom（伦敦帝国理工学院计算机系、英国）；School of Computation and Technology, Technical University of Munich, Germany（慕尼黑技术大学计算与技术学院、德国）；Munich Center for Machine Learning, Germany（慕尼黑机器学习中心、德国）
本文提出基于随机集稳定性的新框架，结合经验相关性测度，改进拓扑泛化界限，提供数据依赖的最坏情况泛化保证。
2026-01-21 cs.LG math.AT stat.ML
Understanding the Behaviour of the Empirical Cross-Entropy Beyond the Training Distribution
Mila（米拉）
机器学习理论主要集中在对来自与训练数据相同分布的样本的泛化。而更好地理解训练分布之外的泛化，其中观察到的分布变化对于实现更强大的泛化形式也非常重要。在本文中，我们试图通过信息度量的镜头来研究当样本的真实概率规律在训练和测试时可能不同时，特定架构的行为。我们的主要结果是，经验交叉熵和它的统计期望（相对于测试概率法测量）之间的测试差距可以有界的输入测试样本和相应的表示，在训练时获得的编码器之间的互信息的概率很高。这些理论性质的结果得到了数值模拟的支持，表明上述互信息代表了测试间隙，定性地捕捉了网络超参数的动态。
2019-05-28 cs.IT cs.LG math.IT
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise
Electrical Engineering and Computer Science University of California, Merced（电气工程与计算机科学大学加州大学默塞德分校）
本文提出可预测的历史自适应虚拟扰动，通过条件高斯相对熵论证，推导出具有自适应虚拟噪声几何的随机梯度下降泛化界限，改进了传统固定敏感性和梯度偏差项。
2026-04-30 cs.LG
Rényi Divergence Deep Mutual Learning
Tencent Security Big Data Lab（腾讯安全大数据实验室）；School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；Maynooth University（梅努斯大学）
本文提出用Rényi散度替代KL散度改进深度互学习，理论分析其收敛性，实验证明能持续提升模型泛化性能。
2024-09-18 cs.AI cs.LG
MINERVA: Mutual Information Neural Estimation for Supervised Feature Selection
Queen Mary University of London（伦敦女王学院）；Wise Payments Ltd；Memorial University of Newfoundland（新不伦瑞克纪念大学）
针对现有特征过滤方法无法捕捉高阶特征交互的问题，提出基于神经互信息估计的两阶段监督特征选择算法MINERVA，实验验证其能有效捕获复杂依赖关系且性能优异。
2025-10-06 cs.AI cs.LG
Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中，我们提出了一个新的信息理论为基础的泛化误差上限适用于监督学习的情况。我们表明，我们的一般界可以专门在各种以前的界限。我们还表明，在某些条件下，我们的一般界限可以专门化为一个新的界限，该界限涉及建模训练样本集的随机变量和建模假设的另一个随机变量之间的Jensen-Shannon信息。我们还证明了在一定条件下，我们的界可以比基于互信息的界更紧。
2021-01-08 cs.IT math.IT math.ST
Rate-Regularization and Generalization in VAEs
Northeastern University（东北大学）；Boston College（波士顿学院）
变分自编码器优化组合重构损失（失真）和KL项（速率）的目标。速率是互信息的上界，其通常被解释为控制压缩程度的正则化器。我们在这里研究是否包括率也作为一个归纳偏差，提高泛化。我们进行率失真分析，控制率项的强度，网络容量和泛化问题的难度。在大多数情况下，降低速率的强度反而会提高泛化能力，而降低互信息通常会导致欠拟合。此外，我们表明，泛化继续改善，即使在互信息饱和，表明在边界上的差距（即KL发散相对于推理边际）影响泛化。这表明，标准高斯先验并不是一种通常有助于泛化的归纳偏差，这促使人们了解先验的选择如何改善VAE中的泛化。
2021-03-25 cs.LG stat.ML
Scalable Infomin Learning
University of Cambridge（剑桥大学）；Rutgers University（罗格斯大学）；Imperial College London（伦敦帝国理工学院）；Alan Turing Institute（艾伦·图灵研究所）
信息学习的任务旨在学习具有高实用性的表示，同时不提供关于指定目标的信息，后者通过最小化表示和目标之间的互信息来实现。它有广泛的应用，从训练公平的预测模型对受保护的属性，无监督学习与解开表示。最近关于信息学习的工作主要使用对抗训练，其涉及训练神经网络来估计互信息或其代理，因此速度缓慢且难以优化。借鉴切片技术的最新进展，我们提出了一种新的信息学习方法，它使用了一种新的代理度量互信息。我们进一步推导出一个准确的和分析计算近似这个代理度量，从而消除了需要构建基于神经网络的互信息估计。算法公平性、解纠缠表示学习和领域自适应实验表明，该方法能够在有限的时间预算下有效地去除不需要的信息。
2023-02-21 cs.AI cs.IT cs.LG
On the Maximum Mutual Information Capacity of Neural Architectures
我们推导出封闭形式的表达式的最大互信息-最大值的$I(X;Z)$可通过训练-一个广泛的家庭的神经网络架构。这个量对于机器学习理论和实践的几个分支都是必不可少的。定量地，我们表明，这些家庭的最大互信息都源于一个单一的通用公式。定性，我们表明，最大的互信息的架构是最强烈的影响的最小层的网络的宽度-“信息瓶颈”在不同意义上的短语，并通过任何统计不变性捕获的架构。
2020-06-10 cs.LG stat.ML
Invariant Information Bottleneck for Domain Generalization
Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不变风险最小化（Invariant Risk Minimization，简称Risk Minimization）是近年来兴起的一种领域泛化方法。然而，损失函数是难以优化的非线性分类器和原始的优化目标可能会失败时，伪不变特征和几何倾斜存在。受信息瓶颈的启发，本文提出了一种新的领域泛化公式，称为不变信息瓶颈（IIB）。IIB的目标是最大限度地减少非线性分类器的不变风险，同时减轻伪不变特征和几何倾斜的影响。具体来说，我们首先提出了一种新的公式不变的因果预测通过互信息。然后，我们采用变分形式的互信息开发一个易于处理的损失函数的非线性分类器。为了克服的故障模式，我们建议，以最小化之间的互信息的输入和相应的表示。IIB显着优于合成数据集，其中伪不变特征和几何偏斜发生，显示出所提出的配方在克服故障模式的并行计算的有效性。此外，DomainBed上的实验表明，IIB在$7$真实数据集上的平均性能优于$13$基线$0.9\%$。
2022-03-21 cs.LG stat.ML
Parametric Models for Mutual Kernel Matrix Completion
Graduate School of Science and Technology, Gunma University（群马大学科学技术研究生院）
最近的研究利用多核学习来处理不完全数据问题。在这项研究中，我们引入了新的方法，不仅完成多个不完整的内核矩阵同时，但也允许通过参数化的模型矩阵的灵活性的控制。通过对模型协方差施加限制，避免了数据的过拟合。通过目标函数的优化完成的核矩阵估计的限制是不能保证结果的正定性。鉴于这一限制，我们提出的方法采用LogDet发散，这确保了所得到的推断核矩阵的正定性。我们的经验表明，我们提出的限制协方差模型，采用LogDet发散，产生显着的改进，以前的完成方法的泛化性能。
2018-04-17 cs.LG stat.ML
Data-Efficient Mutual Information Neural Estimator
SRI International（SRI国际）；Princeton University（普林斯顿大学）
从观测样本中测量高维连续随机变量之间的互信息具有广泛的理论和实际应用。最近的工作MINE（Belghazi et al. 2018）专注于使用神经网络估计MI的紧变分下界，但假设样本供应无限以防止过拟合。在现实世界的应用程序中，数据并不总是过剩的。在这项工作中，我们专注于提高数据效率，并提出了一个数据有效的矿估计（DEMINE），通过开发一个宽松的预测MI下限，可以估计在更高的数据效率的数量级。预测MI下限还使我们能够开发一种新的元学习方法，使用任务增强Meta-DEMINE，以提高网络的泛化能力，并进一步提高经验估计精度。随着数据效率的提高，我们的估计器可以在实际的数据集大小上进行依赖性的统计测试。我们证明了我们的估计的有效性合成基准和现实世界的功能磁共振成像数据，与学科间的相关性分析的应用。
2019-05-24 cs.LG stat.ML
Disentanglement and Generalization Under Correlation Shifts
University of Tübingen（图宾根大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
变异因素之间的相关性在真实世界的数据中很普遍。利用这种相关性可以提高对噪声数据的预测性能;然而，通常相关性不是鲁棒的（例如，它们可能在域、数据集或应用程序之间改变），并且当相关性改变时，利用它们的模型不会泛化。解纠缠方法旨在学习在潜在子空间中捕获不同变化因素的表示。一种常见的方法涉及最小化潜在子空间之间的互信息，使得每个潜在子空间编码单个底层属性。但是，当属性相关时，这会失败。我们解决这个问题，通过强制执行的子空间之间的独立性的条件下，可用的属性，这使我们能够删除的依赖关系，而不是由于存在于训练数据的相关性结构。我们通过对抗的方法来实现这一点，以最小化子空间之间的条件互信息（CMI）相对于分类变量。我们首先从理论上表明，CMI最小化是一个很好的目标强大的解纠缠线性问题。然后，我们将我们的方法应用于基于MNIST和CelebA的真实世界数据集，并表明它产生的模型在相关性偏移下是解纠缠和鲁棒的，包括在弱监督设置中。
2022-12-23 cs.CV cs.LG stat.ML
Beyond Normal: On the Evaluation of Mutual Information Estimators
ETH AI Center, ETH Zurich（苏黎世联邦理工学院ETH人工智能中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；SIB Swiss Institute of Bioinformatics（SIB瑞士生物信息学研究所）；Department of Biosystems Science and Engineering, ETH Zurich（苏黎世联邦理工学院生物系统科学与工程系）
本文提出构建具有已知真实互信息的多样化分布族及语言无关基准平台，系统评估经典与神经互信息估计器在高维、稀疏、长尾和高互信息场景下的适用性与局限，并为实践者提供选择指南。
2023-10-16 cs.IT cs.LG math.IT
Towards a generalization of information theory for hierarchical partitions
Universidad Nacional de Córdoba（科尔多瓦国立大学）；Instituto de Física Enrique Gaviola（恩里克·加维奥拉物理研究所）；IMT School for Advanced Studies Lucca（卢卡高等研究院）
复杂系统通常表现出覆盖广泛物理尺度的多层组织，因此研究其结构和功能的分层分解通常很方便。为了更好地理解这一现象，我们介绍了一个广义的信息论，与分层分区。我们开始重新审视最近推出的分层互信息（HMI），并表明它可以被写为一个经典的条件互信息条款的一级一级的总和。然后，我们证明了HMI是有界的从上到下由相应的层次联合熵。这样，在类比的经典情况下，我们得到许多其他经典的信息理论量的层次概括。特别是，我们证明，相对于其经典的对应，层次化的信息的变化的推广是不是一个度量距离，但它承认一个转换成一个。此外，着眼于潜在的应用现有的理论发展，我们展示了如何调整的HMI的机会。我们还证实和分析所有提出的理论结果与详尽的数值计算，并包括一个说明性的应用例子所介绍的形式主义。最后，我们提到了一些开放的问题，最终应解决拟议的推广信息论达到成熟。
2020-06-30 cond-mat.stat-mech cs.IT cs.LG
"Dependency Bottleneck" in Auto-encoding Architectures: an Empirical Study
Carnegie Mellon University（卡内基梅隆大学）；RIKEN AIP（理化学研究所先进智能项目中心）；JST PRESTO（日本科学技术振兴机构先驱研究项目）
最近的研究工作通过研究深度神经网络（DNN）中的信息瓶颈来研究其泛化特性。然而，由于密度估计的原因，互信息（MI）的测量往往是不准确的。为了解决这个问题，我们建议在DNN中测量层之间的依赖性而不是MI。具体地说，我们建议使用希尔伯特-施密特独立准则（HSIC）作为依赖性度量，它可以衡量两个随机变量的依赖性，而无需估计概率密度。此外，HSIC是平方损失互信息（SMI）的特殊情况。在实验中，我们经验性地评估的泛化属性使用HSIC在重建和预测自动编码（AE）架构。
2018-02-15 cs.IT cs.LG math.IT
Generalized Bregman Divergence and Gradient of Mutual Information for Vector Poisson Channels
我们调查之间的连接信息理论和估计理论的矢量泊松信道模型的数量。特别是，我们概括的梯度互信息相对于关键系统参数从标量到矢量泊松信道模型。我们还提出，作为另一个贡献，一个泛化的经典Bregman发散，提供了一种手段，封装在一个统一的框架下的梯度的互信息结果的标量和矢量泊松和高斯信道模型。所谓的广义Bregman发散也表现出各种性质类似的经典版本的属性。鉴于其在各个领域中的应用，矢量泊松信道模型引起了相当大的关注：例如，互信息的梯度的可用性可以与梯度下降方法结合使用，以在新兴的X射线和文档分类应用中实现压缩感测投影设计。
2013-05-09 cs.IT math.IT stat.ML
Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems
Hologic（豪洛捷）
据报道，深度学习系统在许多应用中实现了最先进的性能，关键是在基准数据集上存在经过良好训练的分类器。作为一种主流的损失函数，交叉熵可以很容易地引导我们找到表现出严重过拟合行为的模型。在本文中，我们表明，现有的交叉熵损失最小化问题本质上是学习数据集的底层数据分布的标签条件熵（CE）。然而，以这种方式学习的CE不能很好地表征由标签和输入共享的信息。在本文中，我们提出了一个互信息学习框架，通过学习标签和输入之间的互信息来训练深度神经网络分类器。从理论上给出了基于互信息的种群分类误差下界。此外，我们推导出$\mathbb{R}^n$中具体的二进制分类数据模型的互信息下限和上限，以及在这种情况下的错误概率下限。从经验上讲，我们在几个基准数据集上进行了大量的实验来支持我们的理论。互信息学习分类器（MILC）比条件熵学习分类器（CELC）具有更好的泛化性能，其测试精度可提高10%以上.
2022-09-21 cs.CV cs.IT cs.LG
Entropy and mutual information in models of deep neural networks
École Normale Supérieure, PSL University（巴黎高等师范学院-PSL大学）；INRIA（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Duke University（杜克大学）；Sorbonne Universités（索邦大学）；LightOn
我们研究了一类深度学习模型，使用一种易于处理的方法来计算信息理论量。我们的贡献是三方面的：（i）我们展示了如何熵和互信息可以来自启发式统计物理方法，假设权重矩阵是独立的和正交不变的。(ii)我们扩展特定的情况下，在这种情况下，这一结果是已知的严格精确的高斯随机权重的两层网络提供了一个证明，使用最近推出的自适应插值方法。(iii)我们提出了一个具有合成数据集的生成模型的实验框架，在该框架上，我们训练具有权重约束的深度神经网络，以便在学习期间验证（i）中的假设。我们研究了整个学习过程中熵和互信息的行为，并得出结论，在所提出的设置中，压缩和泛化之间的关系仍然难以捉摸。
2018-10-29 cond-mat.dis-nn cs.IT cs.LG
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University（耶鲁大学）；Google Research（谷歌研究院）
计算高维空间中的近似最近邻是大规模数据采掘的核心问题，在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希（LSH）方案。在本文中，我们的目标是开发LSH计划的距离函数，测量两个概率分布之间的距离，特别是f-发散以及概括捕捉互信息损失。首先，我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离，这可能是独立的兴趣。接下来，我们展示了一个一般的方法，减少设计一个LSH计划的Krein内核（它可以表示为两个正定内核的差异）的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用，我们将其应用于互信息损失，从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
