Reliable Estimation of Individual Treatment Effect with Causal Information Bottleneck
KAIST（韩国科学技术院）；AItrics
从观察数据中估计个体水平治疗效应（ITE）是因果机器学习中一个具有挑战性和重要性的领域，并且通常在各种关键任务应用中被考虑。在本文中，我们提出了一个信息理论的方法，以找到更可靠的表示估计ITE。我们利用信息瓶颈（IB）原则，该原则解决了简洁性和表示的预测能力之间的权衡。随着因果信息瓶颈的扩展图形模型的引入，我们鼓励学习表示和治疗类型之间的独立性。我们还从理解半监督学习框架中的ITE的角度引入了一种额外形式的正则化器，以确保更可靠的表示。实验结果表明，我们的模型达到了最先进的结果，并表现出更可靠的预测性能与现实世界的数据集上的不确定性信息。
2019-06-07 cs.LG stat.ML
The Information Bottleneck EM Algorithm
Hebrew University（希伯来大学）
隐变量学习是概率图模型中的一个核心挑战，对许多现实问题具有重要意义。经典的方法是使用期望最大化（EM）算法。然而，该算法可能陷入局部最大值。在本文中，我们探索了一种新的方法，是基于信息瓶颈原则。在这种方法中，我们将学习问题视为两个信息理论目标之间的权衡。第一种是使隐变量不提供关于特定实例的身份的信息。第二个是使隐变量提供关于观测属性的信息。通过探索这两个目标之间的不同权衡，我们可以逐渐收敛到一个高分的解决方案。正如我们所示，由此产生的信息瓶颈期望最大化（IB-EM）算法，设法找到优于标准EM方法的解决方案。
2012-10-19 cs.LG stat.ML
Learning Robust Variational Information Bottleneck with Reference
Aalborg University（奥尔堡大学）；University of Glasgow（格拉斯哥大学）；University of Liverpool（利物浦大学）
我们提出了一种新的方法来训练变信息瓶颈（VIB），提高其鲁棒性对抗扰动。与传统的分类方法中硬标签的使用不同，我们在训练阶段使用软标签来细化分类信息，软标签是从预训练的参考神经网络中获得的，可以反映原始类别标签的可能性。我们还放宽了高斯后验假设在VIB实现通过使用互信息神经估计。使用MNIST和CIFAR-10数据集进行了大量的实验，结果表明，我们提出的方法显着优于基准模型。
2021-04-29 cs.LG stat.ML
Advantages and Bottlenecks of Quantum Machine Learning for Remote Sensing
Massachusetts Institute of Technology (MIT)（麻省理工学院）；University of Sannio（桑尼奥大学）；European Space Agency（欧洲航天局）；Italian Space Agency（意大利航天局）
这篇概念论文旨在简要介绍量子计算机，探索量子图像分类技术的现有方法，因此专注于遥感应用，并讨论在当前可用的开源平台上执行这些算法的瓶颈。初步结果证明了可行性。接下来的步骤包括扩展量子隐藏层的大小，并增加输出图像选项的种类。
2021-06-30 cs.AI cs.LG quant-ph
Graph Information Bottleneck
Department of Computer Science（计算机科学系）；Stanford University（斯坦福大学）
图结构数据的表示学习具有挑战性，因为图结构和节点特征都携带重要信息。图神经网络（GNNs）提供了一种表达方式来融合来自网络结构和节点特征的信息。然而，GNN容易受到对抗攻击。在这里，我们介绍了图信息瓶颈（GIB），一个信息理论的原则，最佳平衡的表达性和鲁棒性的学习表示的图结构数据。GIB继承了一般的信息瓶颈（Information Bottleneck，IB），通过最大化表示与目标之间的互信息，同时约束表示与输入数据之间的互信息，来学习给定任务的最小充分表示。与一般的IB不同，GIB不仅正则化了特征信息，而且正则化了结构信息。我们设计了两个采样算法的结构正则化和实例化的GIB原则与两个新的模型：GIB-Cat和GIB-Bern，并通过评估的弹性对抗攻击的好处。我们表明，我们提出的模型比最先进的图防御模型更强大。基于GIB的模型在经验上实现了高达31%的改进，其中包括图结构和节点特征的对抗性扰动。
2020-10-24 cs.LG stat.ML
Recognizable Information Bottleneck
Beijing Jiaotong University（北京交通大学）；Shanghai University（上海大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有信息瓶颈泛化界空泛或计算成本高的问题，本文建立表征可识别性与f-CMI泛化界的联系，提出可识别信息瓶颈RIB，经实验验证其在模型正则化和泛化间隙估计上有效。
2023-04-28 cs.LG stat.ML
Machine learning at the mesoscale: a computation-dissipation bottleneck
Abdus Salam International Centre for Theoretical Physics（阿卜杜勒·萨拉姆国际理论物理中心）
本文在介观输入-输出设备中提出计算-耗散瓶颈框架，结合真实与合成任务证明非平衡可提升性能，并揭示信息压缩、计算与动态不可逆性之间的关键折中。
2023-07-05 cond-mat.dis-nn cond-mat.stat-mech cs.LG
The Variational Bandwidth Bottleneck: Stochastic Evaluation on an Information Budget
Mila, University of Montreal（蒙特利尔大学Mila研究所）；Deepmind（深度思维公司）；University of California, Berkeley（加州大学伯克利分校）
在许多应用中，期望从复杂的输入数据中仅提取相关信息，这涉及做出关于哪些输入特征是相关的决定。信息瓶颈方法将其形式化为信息理论优化问题，通过保持压缩（丢弃不相关的输入信息）和预测目标之间的最佳权衡。在许多问题设置中，包括我们在这项工作中考虑的强化学习问题，我们可能更喜欢只压缩部分输入。这是典型的情况下，当我们有一个标准的条件输入，如状态观察，和一个“特权”的输入，这可能对应于一个任务的目标，一个昂贵的规划算法的输出，或与另一个代理的通信。在这种情况下，我们可能更喜欢压缩特权输入，以实现更好的泛化（例如，关于目标）或最小化对昂贵信息的访问（例如，在通信方面）。基于变分推断的信息瓶颈的实际实现需要访问特权输入以计算瓶颈变量，因此尽管它们执行压缩，但该压缩操作本身需要不受限制的无损访问。在这项工作中，我们提出了变带宽瓶颈，它决定了每个例子的估计值的特权信息之前，看到它，即，仅基于标准输入，然后相应地选择随机性，是否访问特权输入。我们制定了一个易于处理的近似这个框架，并在一系列强化学习实验中证明，它可以提高泛化能力，减少对计算成本高的信息的访问。
2020-04-24 cs.LG stat.ML
Cause-Effect Deep Information Bottleneck For Systematically Missing Covariates
Harvard John A Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院，哈佛大学）；University of Basel（巴塞尔大学）
由于混杂因素的存在，从高维观测数据中估计干预措施的因果效应是困难的。由于在测试时我们的数据中可能有系统性的缺失，这项任务通常会变得复杂。我们的方法使用的信息瓶颈进行低维压缩的协变量，明确考虑的相关性的信息。基于充分减少的协变量，我们将相关信息转移到测试时数据缺失的情况下，使我们能够可靠准确地估计干预措施的效果，即使数据不完整。我们的结果因果推断基准和治疗败血症的实际应用表明，我们的方法达到了最先进的性能，而不牺牲可解释性。
2020-02-28 cs.LG stat.ML
On the Difference Between the Information Bottleneck and the Deep Information Bottleneck
University of Basel（巴塞尔大学）
通过用深度神经网络替换互信息项，将信息瓶颈模型与深度学习相结合，已被证明在从生成建模到解释深度神经网络的领域是成功的。在本文中，我们重新审视了深度变分信息瓶颈及其推导所需的假设。数据$X$、$Y$和它们的潜在表示$T$的两个假定属性采用两个马尔可夫链$T-X-Y$和$X-T-Y$的形式。在优化过程期间要求两者都保持可能限制潜在联合分布$P(X,Y,T)$的集合。因此，我们展示了如何规避这一限制，优化的下限$I(T;Y)$，只有后者的马尔可夫链得到满足。实际的互信息包括在实际中在DVIB和同源模型中优化的下限和测量违反前一要求$T-X-Y$的程度的两个术语。最后，我们建议解释家庭的信息瓶颈模型作为有向图形模型，并表明，在这个框架中的原始和深的信息瓶颈是一个基本的IB模型的特殊情况。
2019-12-31 cs.IT cs.LG math.IT
Learning Robust Representations via Multi-View Information Bottleneck
University of Amsterdam（阿姆斯特丹大学）；University of Exeter（埃克塞特大学）；Microsoft Research（微软研究院）；University of Tuebingen（蒂宾根大学）
信息瓶颈原理提供了一种用于表示学习的信息理论方法，通过训练编码器来保留与预测标签相关的所有信息，同时最小化表示中的其他多余信息的量。然而，原始公式需要标记数据来识别多余的信息。在这项工作中，我们将这种能力扩展到多视图无监督设置，其中提供了同一底层实体的两个视图，但标签是未知的。这使我们能够将多余的信息识别为两个视图不共享的信息。理论分析导致了一个新的多视图模型的定义，该模型在Sketchy数据集和MIR-Flickr数据集的标签限制版本上产生了最先进的结果。我们还利用标准的数据增强技术将我们的理论扩展到单视图设置，与表示学习的常见无监督方法相比，经验上显示出更好的泛化能力。
2020-02-18 cs.LG stat.ML
Plumber: Diagnosing and Removing Performance Bottlenecks in Machine Learning Data Pipelines
Carnegie Mellon University（卡内基梅隆大学）；ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
输入管道，摄取和转换输入数据，是训练机器学习（ML）模型的重要组成部分。然而，实现高效的输入管道是具有挑战性的，因为它需要对细粒度分析信息中的并行性、可扩展性和可变性进行推理。我们对Google训练中心中超过200万个ML工作的分析表明，很大一部分模型训练工作可以从更快的输入数据管道中受益。与此同时，我们的分析表明，大多数作业不会使主机硬件饱和，这指向了基于软件的瓶颈。受这些发现的启发，我们提出了Plumber，这是一种用于查找ML输入管道中瓶颈的工具。Plumber使用可扩展和可解释的操作分析分析模型，在主机资源约束下自动调优并行性、预取和缓存。在五个具有代表性的ML管道中，Plumber针对错误配置的管道获得了高达47倍的加速。通过自动缓存，Plumber与最先进的调谐器相比，获得了超过50%的端到端加速。
2022-03-21 cs.LG cs.PF
Multivariate Information Bottleneck
Hebrew University（希伯来大学）
信息瓶颈方法是一种无监督的非参数数据组织技术。给定一个联合分布P（A，B），该方法构造一个新的变量T，该变量T提取关于B的信息的A值上的分区或聚类。信息瓶颈已经应用于文档分类、基因表达、神经编码和频谱分析。在本文中，我们介绍了信息瓶颈方法多元扩展的一般原则框架。这允许我们考虑相互关联的数据分区的多个系统。我们的方法利用贝叶斯网络指定系统的集群和每个捕获的信息。我们表明，这种结构提供了有关瓶颈变化的见解，使我们能够表征这些变化的解决方案。我们还提出了一个一般的框架，迭代算法构造的解决方案，并将其应用到几个例子。
2013-01-10 cs.AI cs.LG stat.ML
A Closer Look at the Adversarial Robustness of Information Bottleneck Models
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）；DeepMind（深度思维）
研究了信息瓶颈分类模型的对抗鲁棒性。以前的工作表明，用信息瓶颈训练的模型的鲁棒性可以提高对抗性训练。我们在各种白盒$l_{\infty}$攻击下的评估表明，信息瓶颈本身并不是一个强大的防御策略，以前的结果可能受到梯度混淆的影响。
2021-07-12 cs.LG
Variational Predictive Information Bottleneck
Google Research（谷歌研究院）
在经典论文中，Zellner证明了贝叶斯推理可以作为信息论泛函的解决方案。下面我们推导出这个泛函的广义形式作为预测信息瓶颈目标的变分下界。这种广义的功能包括最现代的推理程序，并建议新的。
2019-10-23 cs.IT cs.LG math.IT
Semi-supervised cross-entropy clustering with information bottleneck constraint
Jagiellonian University（雅盖隆大学）；Technical University of Munich（慕尼黑工业大学）
在本文中，我们提出了一种半监督聚类方法，CEC-IB，模型数据与一组高斯分布和检索集群的基础上提供的部分标签的用户（分区级边信息）。通过将交叉熵聚类（CEC）的思想与信息瓶颈方法（IB）的思想相结合，我们的方法在三个相互冲突的目标之间进行交易：数据集建模的准确性，模型的简单性，以及聚类与边信息的一致性。实验表明，CEC-IB在经典的半监督场景中具有与高斯混合模型（GMM）相当的性能，但速度更快，对噪声标签更具鲁棒性，自动确定最佳聚类数量，并且在边信息中不存在所有类别时表现良好。此外，与其他半监督模型相比，它可以成功地应用于发现自然子群，如果分区级别的边信息是来自一个层次聚类的顶层。
2017-05-03 cs.LG stat.ML
Adversarial Information Bottleneck
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
信息瓶颈（IB）原理已经被用来解释深度学习的信息压缩和预测方面，这是平衡的权衡超参数。如何优化IB原则以提高鲁棒性和通过权衡超参数来计算压缩效果是两个具有挑战性的问题。先前的方法试图通过将随机噪声引入到学习表示中来优化IB原理，并且在讨厌的信息压缩和语义信息抽取中实现了最先进的性能。然而，它们在抵抗对抗性扰动方面的表现却远不如人意。为此，我们提出了一种对抗性信息瓶颈（AIB）方法，该方法没有任何关于表示的底层分布的明确假设，可以通过求解Min-Max优化问题来有效地优化。在合成和真实世界数据集上的数值实验表明，与几种竞争性IB方法相比，它在学习更多不变表示和减轻对抗性扰动方面是有效的。此外，我们还对比分析了各种IB方法的对抗鲁棒性，发现在IB曲线拐点处具有超参数$β$的IB模型在压缩和预测之间取得了最佳的折衷，对各种攻击具有最好的鲁棒性.
2021-03-03 cs.LG stat.ML
Understanding Learning Dynamics of Binary Neural Networks via Information Bottleneck
IIT Madras（印度理工学院马德拉斯分校）
紧凑的神经网络对于经济实惠且节能的深度学习解决方案至关重要。二进制神经网络（BNN）通过将权重和激活约束到两个级别（$\{+1, -1\}$），将紧致化发挥到极致。然而，由于激活函数的不连续性，训练BNN并不容易，并且BNN的训练动力学还没有得到很好的理解。在本文中，我们提出了一个信息论的角度来看，BNN的训练。我们通过信息瓶颈原理分析BNN，并观察到BNN的训练动态与深度神经网络（DNN）的训练动态有很大不同。虽然DNN具有单独的经验风险最小化和表示压缩阶段，但我们的数值实验表明，在BNN中，这两个阶段是同时进行的。由于BNN的表达能力较低，它们倾向于在标签拟合的同时找到有效的隐藏表示。多个数据集的实验支持这些观察结果，我们看到BNN中不同激活函数的行为一致。
2020-06-13 cs.LG stat.ML
Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
信息瓶颈（IB）目标使用信息论来制定任务性能与鲁棒性的权衡。它已成功地应用于标准判别分类设置。我们提出的问题是否也可以用来训练生成的可能性模型，如正常化流的IB。由于规范化流使用可逆网络架构（INN），因此它们通过构造来保持信息。这似乎与瓶颈的概念相矛盾。在这项工作中，首先，我们开发的理论和方法的IB-INN，一类有条件的规范化流程，INN的训练使用IB目标：引入少量的{ \em控制}的信息损失允许一个渐近精确制定的IB，同时保持INN的生成能力完好无损。其次，我们研究了这些模型的实验性质，特别是作为生成分类器。该模型类提供了诸如改进的不确定性量化和分布外检测的优点，但是传统的生成式分类器解决方案在分类精度方面受到相当大的影响。我们发现IB中的权衡参数控制了接近标准分类器的生成能力和准确性的混合。从经验上讲，我们的不确定性估计在这种混合制度相比，传统的生成和歧视分类。
2021-01-12 cs.LG stat.ML
Multi-Task Variational Information Bottleneck
Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；University of Glasgow（格拉斯哥大学）；Tongji University（同济大学）；Southeast University（东南大学）；RMIT University（皇家墨尔本理工大学）；Université de Lorraine（洛林大学）
多任务学习是机器学习和人工智能的重要研究课题。它在计算机视觉、信号处理和语音识别中的应用是无处不在的。虽然这个问题已经引起了相当大的关注，最近，现有的模型的性能和鲁棒性不同的任务没有得到很好的平衡。本文提出了一种基于变分信息瓶颈（VIB）体系结构的MTL模型，该模型可以为下游任务提供更有效的输入特征潜在表示。在对抗攻击下对三个公开数据集的大量观察表明，该模型在预测精度方面与现有算法具有竞争力。实验结果表明，结合VIB和任务相关的不确定性是一个非常有效的方法来提取有效的信息，从输入功能，以完成多个任务。
2021-03-01 cs.LG stat.ML
Improving Unsupervised Domain Adaptation with Variational Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
领域自适应的目的是利用源域的监督信号，在标签不可用的情况下获得目标域的准确模型。为了利用和适应源域的标签信息，大多数现有方法采用特征提取函数，并在共享特征空间中匹配源域和目标域的边缘分布。本文从信息论的角度，证明了表示匹配实际上是对特征空间的一个不充分约束，以获得在目标域具有良好泛化性能的模型。然后，我们提出了变分瓶颈领域自适应（VBDA），一个新的领域自适应方法，提高了功能的可转移性，明确执行的特征提取器忽略任务无关的因素，并专注于信息，是必不可少的感兴趣的任务，为源和目标域。大量的实验结果表明，VBDA显着优于国家的最先进的方法在三个领域自适应基准数据集。
2019-11-21 cs.LG stat.ML
Information Bottleneck Theory on Convolutional Neural Networks
Tiangong University（天宫大学）
近年来，许多研究试图打开深层神经网络的黑箱，提出了各种理论来理解它，其中信息瓶颈理论（Information Bottleneck，IB）认为训练过程中存在两个不同的阶段，即拟合阶段和压缩阶段。由于它成功地解释了前向神经网络的内在行为，引起了人们的广泛关注。在本文中，我们采用IB理论来理解卷积神经网络（CNN）的动态行为，并研究卷积层宽度，内核大小，网络深度，池化层和多个全连接层等基本特征如何影响CNN的性能。特别是，通过对MNIST和Fashion-MNIST基准的一系列实验分析，我们证明了在所有这些情况下都没有观察到压缩相。这向我们展示了CNN比前馈神经网络具有相当复杂的行为。
2021-02-19 cs.LG stat.ML
Silicon Photonic 2.5D Interposer Networks for Overcoming Communication Bottlenecks in Scale-out Machine Learning Hardware Accelerators
Colorado State University（科罗拉多州立大学）
针对单片ML加速器无法满足能效与吞吐量需求、2.5D电子加速器受金属互连限制的问题，本文提出在2.5D平台中利用光通信与光计算，构建高能效高吞吐量的2.5D ML加速器架构。
2024-03-07 cs.AR cs.LG eess.SP
Addressing Algorithmic Bottlenecks in Elastic Machine Learning with Chicle
IBM Research（IBM研究院）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；UC Berkeley（加州大学伯克利分校）
分布式机器学习训练是当今数据中心上运行的最常见和最重要的工作负载之一，但它很少单独执行。相反，为了降低成本，计算资源被整合并由不同的应用程序共享。在这种情况下，弹性和适当的负载均衡对于最大限度地提高效率、公平性和利用率至关重要。目前，大多数分布式训练框架不支持上述属性。少数例外支持弹性，模仿通用分布式框架并使用微任务。在本文中，我们说明了微任务对于机器学习应用是有问题的，因为它们需要高度的并行性，这阻碍了分布式训练在纯算法级别的收敛（即，忽略开销和可扩展性限制）。为了解决这个问题，我们提出了Chile，一个新的弹性分布式训练框架，它利用机器学习算法的性质来实现弹性和负载均衡，而无需微任务。我们使用Chicle来训练深度神经网络以及广义线性模型，并表明Chicle实现了与最先进的刚性框架相竞争的性能，同时有效地实现了弹性执行和动态负载均衡。
2019-09-11 cs.DC cs.LG cs.PF
Machine-learning optimized measurements of chaotic dynamical systems via the information bottleneck
College of Arts & Sciences, University of Pennsylvania（宾夕法尼亚大学文理学院）；The Santa Fe Institute（圣塔菲研究所）
该研究将混沌动力系统的“完美测量”等价于信息瓶颈变体，利用机器学习优化测量过程，为多种混沌映射获得近似最优测量，奠定了从一般时间序列高效提取信息的基础。
2024-03-20 cs.IT cs.LG math.IT
Unlearning Information Bottleneck: Machine Unlearning of Systematic Patterns and Biases
Yale University（耶鲁大学）；Wuhan University（武汉大学）；EPFL（洛桑联邦理工学院）；University of Bern（伯尔尼大学）
提出去学习信息瓶颈（UIB）框架，利用变分上界和动态先验调整参数，以高效移除系统模式与偏见，同时保持模型性能。
2024-05-22 cs.AI cs.LG
Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness
Northeastern University（东北大学）
我们研究了HSIC（Hilbert-Schmidt独立准则）瓶颈作为学习对抗鲁棒深度神经网络分类器的正则化器。除了通常的交叉熵损失外，我们还为每个中间层添加正则化项，以确保潜在表示保留输出预测的有用信息，同时减少冗余信息。我们证明了HSIC瓶颈增强了对对抗攻击的鲁棒性。特别是，我们证明了HSIC瓶颈正则化器降低了分类器对对抗性示例的敏感性。我们在多个基准数据集和架构上的实验表明，结合HSIC瓶颈正则化器可以获得具有竞争力的自然准确性，并提高对抗性鲁棒性，无论在训练过程中是否有对抗性示例。我们的代码和对抗性强大的模型是公开的。
2021-10-26 cs.LG
Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck
Ulsan National Institute of Science and Technology（蔚山科学技术院）
信息瓶颈（IB）是率失真理论的推广，它自然地结合了压缩和相关性权衡学习。虽然原始的IB已经被广泛研究，但对于更适合神经网络的多个瓶颈还没有太多的了解。在这项工作中，我们提出了信息多瓶颈（IMBs）作为IB的扩展到多个瓶颈，它有一个直接的应用程序来训练神经网络，考虑层作为多个瓶颈和权重参数化的编码器和解码器。我们表明，多重最优的IMB是不能同时实现的随机编码器。因此，我们提出了一个简单的妥协计划IMB，这反过来又推广了最大似然估计（MLE）的背景下，随机神经网络的原则。我们在MNIST和CIFAR10中证明了IMB在分类任务和对抗鲁棒性上的有效性。
2019-10-06 cs.LG
Is the Information Bottleneck Robust Enough? Towards Label-Noise Resistant Information Bottleneck Learning
LaT-IB通过引入'最小充分清洁'准则，提升信息瓶颈方法在标签噪声下的稳健性和效率。
2025-12-11 cs.LG
Label Smoothing is a Pragmatic Information Bottleneck
Nara Institute of Science and Technology（那拉科学与技术研究所）
本研究通过信息瓶颈视角重新审视标签平滑，理论与实验证明其模型输出可达信息瓶颈最优解，可作为实用实现方法，且对无目标信息或无额外条件信息的因素不敏感。
2025-08-12 cs.AI cs.LG
Visualizing Information Bottleneck through Variational Inference
New York University（纽约大学）
信息瓶颈理论为寻找近似最小充分统计量提供了一个理论和计算框架。对一个玩具问题的神经网络的随机梯度下降（SGD）训练的分析表明，存在两个阶段，拟合和压缩。在这项工作中，我们分析了深度神经网络在MNIST分类上的SGD训练过程，并确认了SGD训练的两个阶段的存在。我们还提出了一种通过变分推理估计深度神经网络的互信息的设置。
2022-12-24 cs.LG
Deep Variational Information Bottleneck
Google Research（谷歌研究院）
我们提出了一个变分近似的Tishby等人（1999）的信息瓶颈。这种变分方法允许我们使用神经网络参数化信息瓶颈模型，并利用重新参数化技巧进行有效的训练。我们称这种方法为“深度变分信息瓶颈”，或深度VIB。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用VIB目标训练的模型优于用其他形式的正则化训练的模型。
2019-10-23 cs.IT cs.LG math.IT
Learning Optimal Representations with the Decodable Information Bottleneck
Facebook AI Research（脸书人工智能研究院）；CUNY Graduate Center（纽约市立大学研究生中心）
我们解决的问题，表征和寻找最佳的表示监督学习。传统上，这个问题已经使用信息瓶颈来解决，它以解码器不可知的方式压缩输入，同时保留有关目标的信息。然而，在机器学习中，我们的目标不是压缩，而是泛化，这与预测家族或感兴趣的解码器（例如线性分类器）密切相关。我们提出了可解码的信息瓶颈（DIB），认为信息保留和压缩的角度来看，所需的预测家庭。因此，DIB产生的表示是最佳的预期测试性能，可以估计与保证。经验上，我们表明，该框架可以用来执行一个小的泛化差距下游分类器和预测的泛化能力的神经网络。
2021-07-16 cs.IT cs.LG math.IT
General Information Bottleneck Objectives and their Applications to Machine Learning
CableLabs（有线实验室）
我们认为信息瓶颈原理（IBP：Tishby et al.，1999; Schwartz-Ziv和Tishby，2017）和预测信息瓶颈原理（PIBP：Still等人，2007; Alemi，2019）作为一般信息瓶颈目标（IBO）家族的特殊情况。每个IBO对应于特定的约束优化问题，其中约束应用于：（a）训练数据与学习的模型参数或提取的数据表示之间的互信息，以及（b）学习的模型参数或提取的数据表示与测试数据（如果有的话）之间的互信息。IBP和PIBP背后的算法在相应的约束优化问题公式中产生不同的约束。我们展示了其他物理学如何导致一个新的IBO，不同于IBP和PIBP，并使用（Alemi，2019）的技术来推导和优化新IBO的变分上限。然后，我们应用一般IBO的理论来解决看似矛盾的问题，一方面，IBP和PIBP建议最大化模型参数和测试数据之间的互信息，另一方面，最近的信息理论结果（见Xu和Raginsky，2017）表明这种互信息应该最小化。关键的见解是，IBP和PIBP的算法（以及约束优化问题中的约束）不适用于（Xu和Raginsky，2017）分析的场景，因为后者做出了额外的假设，即训练模型的参数已被选择为最小化经验损失函数。在这种见解的帮助下，我们制定了一个新的IBO，该IBO解释了训练模型参数的这种属性，并推导和优化了该IBO的变分界限。
2019-12-20 cs.IT cs.LG math.IT
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Multi-view Semantic Consistency based Information Bottleneck for Clustering
Xi’an Jiaotong University（西安交通大学）；Fuzhou University（福州大学）
多视图聚类可以利用多源信息进行无监督聚类。现有的方法大多集中在学习一个融合的表示矩阵，而忽略了私人信息和噪声的影响。为了解决这个问题，我们引入了一种新的多视图语义一致性为基础的信息瓶颈聚类（MSCIB）。具体而言，MSCIB追求语义一致性，以改善不同视图的信息瓶颈学习过程。在语义空间中进行多视图的对齐操作，共同实现多视图数据有价值的一致信息。通过这种方式，从多视图数据中学习的语义一致性可以改善信息瓶颈，以更准确地区分一致性信息，并学习具有更多区分一致性信息的统一特征表示用于聚类。在不同类型的多视图数据集上的实验表明，MSCIB达到了最先进的性能。
2023-02-28 cs.AI cs.LG
Nonlinear Information Bottleneck
Santa Fe Institute（圣塔菲研究所）；Massachusetts Institute of Technology（麻省理工学院）；Complexity Science Hub（复杂性科学中心）；Arizona State University（亚利桑那州立大学）
信息瓶颈（IB）是一种用于提取一个随机变量$X$中与预测另一个随机变量$Y$相关的信息的技术。IB通过将$X$编码在压缩的“瓶颈”随机变量$M$中来工作，从中可以准确地解码$Y$。然而，找到最佳的瓶颈变量涉及到一个困难的优化问题，直到最近才被认为是只有两个有限的情况下：离散的$X$和$Y$与小的状态空间，和连续的$X$和$Y$与高斯联合分布（在这种情况下，最佳的编码和解码映射是线性的）。我们提出了一种方法，用于执行IB上任意分布的离散和/或连续的$X$和$Y$，同时允许非线性编码和解码映射。我们的方法依赖于一个新的非参数上界的互信息。我们描述了如何使用神经网络实现我们的方法。然后，我们表明，它实现了更好的性能比最近提出的“变分IB”的方法在几个真实世界的数据集。
2019-11-30 cs.IT cs.LG math.IT
Restricting the Flow: Information Bottlenecks for Attribution
Freie Universität Berlin（柏林自由大学）；Technische Universität München（慕尼黑工业大学）
归因方法为人工神经网络等机器学习模型的决策提供了见解。对于给定的输入样本，它们为每个输入变量（例如图像的像素）分配相关性得分。在这项工作中，我们适应信息瓶颈的概念归属。通过向中间特征图添加噪声，我们限制了信息流，并可以量化（以比特为单位）图像区域提供了多少信息。我们在VGG-16和ResNet-50上使用三种不同的指标将我们的方法与十个基线进行比较，发现我们的方法在六个设置中的五个设置中优于所有基线。该方法的信息理论基础为属性值（位）提供了一个绝对的参考框架，并保证得分接近零的区域对于网络的决策是不必要的。评论：https://openreview.net/forum? id= S1 xWh 1 rYwB适用于：https://github.com/BioroboticsLab/IBA
2020-05-25 cs.CV cs.LG stat.ML
Widening the Representation Bottleneck in Neural Machine Translation with Lexical Shortcuts
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
Transformer是一种最先进的神经翻译模型，它使用注意力来迭代地改进词汇表示，并从周围的上下文中提取信息。词汇特征被输入到第一层，并通过隐藏层的深层网络传播。我们认为，需要表示和传播词汇功能，在每一层限制了模型的学习能力和代表其他相关的信息的任务。为了缓解这个瓶颈，我们在嵌入层和编码器和解码器中的每个后续层之间引入门控快捷连接。这使得模型能够动态地访问相关的词汇内容，而无需将有限的资源用于将其存储在中间状态中。我们表明，所提出的修改产生一致的改进超过基线Transformer标准WMT翻译任务在5个翻译方向（平均0.9 BLEU），并减少了隐藏层传递的词汇信息量。此外，我们评估不同的方式来整合词汇连接到Transformer架构，并提出消融实验，探索建议的快捷方式对模型行为的影响。
2019-06-28 cs.CL cs.LG
Representation Learning in Deep RL via Discrete Information Bottleneck
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）；Beijing Institute of Technology（北京理工大学）；AMII（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；University of Montreal（蒙特利尔大学）；University of Virginia（弗吉尼亚大学）；Google DeepMind（谷歌DeepMind）；Microsoft Research NYC（微软研究院纽约分院）
本文提出RepDIB架构，利用变分和离散信息瓶颈学习因子化表示，以在强化学习中忽略任务无关信息并提升在线、离线及真实机器人任务的性能。
2023-05-31 cs.LG
Multi-view Information Bottleneck Without Variational Approximation
Xi'an Jiaotong University（西安交通大学）；UiT - The Arctic University of Norway（挪威北极大学）
通过“智能地”融合不同视图之间的互补信息，多视图学习能够提高分类任务的性能。在这项工作中，我们将信息瓶颈原理扩展到有监督的多视图学习场景，并使用最近提出的基于矩阵的R{é}nyi的$α$ -阶熵泛函直接优化所得目标，而无需变分近似或对抗训练。在合成和真实世界的数据集的实证结果表明，我们的方法享有改善的鲁棒性噪声和冗余信息在每个视图中，特别是在有限的训练样本。代码位于~ \url{https://github.com/archy666/MEIB}。
2022-04-22 cs.LG
Extracting robust and accurate features via a robust information bottleneck
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
我们提出了一种新的策略提取特征的监督学习，可用于构建一个分类器，这是更强大的输入空间中的小扰动。我们的方法建立在信息瓶颈的想法，通过引入一个额外的惩罚项，鼓励Fisher信息的提取特征是小的，当参数化的输入。通过调整正则化参数，我们可以显式地在构造分类器时权衡鲁棒性和准确性的对立需求。当输入和输出是联合高斯时，我们推导出鲁棒信息瓶颈的最优解，证明了最优鲁棒特征也是联合高斯的。此外，我们提出了一种方法，用于优化的变分约束的强大的信息瓶颈目标，在一般设置使用随机梯度下降，这可能是有效地实现在神经网络。我们的合成和真实数据集的实验结果表明，所提出的特征提取方法确实产生的分类器具有更强的鲁棒性扰动。
2019-10-15 cs.IT cs.LG math.IT
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology（北京理工大学）
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理，以自监督的方式学习不同视图之间的共同信息，并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类（SIB-MSC）。继承了信息瓶颈的优点，SIB-MSC可以为每个视图学习潜在空间，通过从视图本身去除多余的信息，同时为其他视图的潜在表示保留足够的信息，来捕获不同视图的潜在表示之间的公共信息。实际上，每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外，SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息，通过引入互信息为基础的正则化条款，以便进一步提高多视图子空间聚类的性能。据我们所知，这是第一个工作，探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明，我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
Label Information Bottleneck for Label Enhancement
Fuzhou University（福州大学）；Shandong University（山东大学）
在这项工作中，我们专注于标签增强（LE），其目的是从逻辑标签准确地恢复标签分布的挑战性问题，并提出了一种新的标签信息瓶颈（LIB）的LE方法。对于标签分布的恢复过程，数据集中包含的标签无关信息可能会导致恢复性能不理想。为了解决这个问题，我们努力挖掘必要的标签相关信息，以提高恢复性能。我们的方法将LE问题公式化为以下两个联合过程：1）学习具有基本标签相关信息的表示，2）基于学习的表示恢复标签分布。标签相关信息可以基于由学习的表示形成的“瓶颈”来挖掘。值得注意的是，在我们的方法中可以探索关于标签分配的标签相关信息和关于标签间隙的标签相关信息。在多个基准标签分布学习数据集上进行的评估实验验证了LIB的有效性和竞争力。我们的源代码可以在https://github.com/qinghai-zheng/LIBLE上找到
2023-03-14 cs.LG
How Does Information Bottleneck Help Deep Learning?
NUS（新加坡国立大学）；Columbia University（哥伦比亚大学）；Mila（米拉人工智能研究所）；University of Pennsylvania（宾夕法尼亚大学）
本文首次建立严格学习理论，将信息瓶颈与泛化误差数学关联，证明控制信息瓶颈可控制深度学习泛化误差，并通过实验验证其有效性。
2023-05-30 cs.AI cs.CL cs.CV
The Multi-layer Information Bottleneck Problem
Imperial College London（伦敦帝国学院）；CentraleSupélec-CNRS-Université Paris-Sud（中央理工-高等电力学院-法国国家科学研究中心-巴黎南大学）
多层信息瓶颈（IB）的问题，其中信息传播（或连续细化）从层到层，被认为是。基于前一层转发的信息，网络的每个阶段都需要保持与特定隐藏变量的一定程度的相关性，并通过互信息量化。隐变量和源可以任意相关。相关率和压缩率（或复杂度）之间的最佳权衡是通过单字母表征获得的，称为速率相关区域。给出了连续可加细的条件。证明了BSC隐变量的二元信源和BSC/BEC混合隐变量的二元信源都是逐次可加细的。我们进一步将结果推广到高斯模型。还提供了连续可加细性的一个反例。
2017-11-14 cs.IT cs.LG math.IT
Deep Learning and the Information Bottleneck Principle
The Edmond and Lilly Safra Center for Brain Sciences, Hebrew University of Jerusalem（耶路撒冷希伯来大学埃德蒙与莉莉·萨夫拉脑科学中心）；School of Engineering and Computer Science, Hebrew University of Jerusalem（耶路撒冷希伯来大学工程与计算机科学学院）
深度神经网络（DNN）是通过信息瓶颈（IB）原理的理论框架进行分析的。我们首先证明了任何DNN都可以通过层与输入和输出变量之间的互信息来量化。使用这种表示，我们可以计算DNN的最佳信息论极限，并获得有限样本泛化界。接近理论极限的优点可以通过泛化界和网络的简单性来量化。我们认为，这两个最佳的架构，层数和功能/连接在每一层，有关的信息瓶颈权衡的分叉点，即，相对于输出层的输入层的相关压缩。分层网络中的分层表示自然对应于沿着信息曲线的结构相变。我们相信，这种新的见解可以带来新的最优性界限和深度学习算法。
2015-03-09 cs.LG
Learning Optimal Multimodal Information Bottleneck Representations
Zhongnan University of Economics and Law（中南财经政法大学）；iWudao；Emory University（埃默里大学）
提出OMIB框架，通过理论推导的权重界限和动态调整，解决多模态信息瓶颈中正则化权重随意设置和任务信息不平衡问题，实现最优表示并提升下游任务性能。
2025-05-26 cs.LG
Reducing Information Bottleneck for Weakly Supervised Semantic Segmentation
Seoul National University（首尔大学）
弱监督的语义分割从类标签产生像素级定位;然而，在这样的标签上训练的分类器可能集中在目标对象的小的区分区域上。我们使用信息瓶颈原理来解释这种现象：由sigmoid或softmax激活函数激活的深度神经网络的最后一层会导致信息瓶颈，因此，只有一部分任务相关信息被传递到输出。我们首先通过一个模拟的玩具实验来支持这一论点，然后提出了一种通过删除最后一个激活函数来减少信息瓶颈的方法。此外，我们引入了一种新的池化方法，进一步鼓励信息从非歧视性区域的分类传输。我们的实验评估表明，这种简单的修改显着提高了PASCAL VOC 2012和MS COCO 2014数据集上的定位图的质量，为弱监督语义分割展示了新的最先进的性能。该代码可从以下网址获得：https://github.com/jbeomlee93/RIB。
2021-10-13 cs.CV cs.LG
Information Bottlenecks, Causal States, and Statistical Relevance Bases: How to Represent Relevant Information in Memoryless Transduction
发现相关但可能隐藏的变量是构建关于自然世界的有用和预测理论的关键一步。这个简短的说明解释了这个问题的三种方法之间的联系：最近推出的信息瓶颈方法，计算力学方法推断最佳模型，和鲑鱼的统计相关性的基础。
2000-06-16 cond-mat.dis-nn cs.LG nlin.AO
There Was Never a Bottleneck in Concept Bottleneck Models
ViVoLab, I3A University of Zaragoza（ViVoLab，I3A 萨拉戈萨大学）
本文提出最小概念瓶颈模型，通过信息瓶颈目标提升表示的可解释性并支持概念层面的干预。
2026-01-29 cs.LG
Clairvoyant Prefetching for Distributed Machine Learning I/O
ETH Zürich（苏黎世联邦理工学院）
I/O正在成为机器学习训练的主要瓶颈，特别是在分布式环境中。实际上，在大规模情况下，I/O占用了多达85%的训练时间。解决此I/O瓶颈需要仔细优化，因为最佳数据摄取管道在系统之间存在差异，并且需要在对本地存储、外部文件系统和远程节点的访问之间实现微妙的平衡。我们介绍NoPFS，一个机器学习I/O中间件，它提供了一个可扩展的，灵活的，易于使用的解决方案的I/O瓶颈。NoPFS使用透视：给定生成随机访问模式的种子，使用SGD进行训练，它可以准确地预测何时何地访问样本。我们将此与访问模式和性能模型的分析相结合，以提供分布式缓存策略，以适应不同的数据集和存储层次结构。NoPFS减少了I/O时间，并将ImageNet-1 k、ImageNet-22 k和CosmoFlow数据集上的端到端训练提高了5.4倍。
2021-06-10 cs.DC cs.LG
Concepts' Information Bottleneck Models
University of Amsterdam（阿姆斯特丹大学）；University of West of England（西英格兰大学）；University of Hull（赫尔大学）；University of Oslo（奥斯陆大学）
本文提出信息瓶颈正则化器，通过最小充分的概念表示提升CBM的预测性能和干预可靠性。
2026-02-16 cs.LG
Multimodal Information Bottleneck: Learning Minimal Sufficient Unimodal and Multimodal Representations
Sun Yat-sen University（中山大学）
学习跨模态数据的有效联合嵌入一直是多模态机器学习领域的研究热点。我们认为，在多模态融合过程中，生成的多模态嵌入可能是冗余的，并且可能会忽略有区别的单峰信息，这往往会干扰准确的预测，并导致更高的过拟合风险。此外，单峰表示还包含噪声信息，对跨模态动态的学习产生负面影响。为此，我们引入了多模态信息瓶颈（MIB），旨在学习一个强大的和足够的多模态表示，是免费的冗余，并过滤出噪声信息的单峰表示。具体地说，从一般的信息瓶颈（IB）继承，MIB的目的是学习一个给定的任务，通过最大化的表示和目标之间的互信息，同时限制的互信息之间的表示和输入数据的最小充分表示。不同于一般的IB，我们的MIB正则化的多模态和单峰表示，这是一个全面和灵活的框架，是兼容任何融合方法。我们开发了三种MIB变体，即早期融合MIB，后期融合MIB和完整MIB，以关注不同角度的信息约束。实验结果表明，该方法在三种常用数据集上的多模态情感分析和多模态情感识别任务上达到了最先进的性能。代码可在\url{https://github.com/TmacMai/Multimodal-Information-Bottleneck}上获得。
2022-12-05 cs.LG
