General Information Bottleneck Objectives and their Applications to Machine Learning
CableLabs（有线实验室）
我们认为信息瓶颈原理（IBP：Tishby et al.，1999; Schwartz-Ziv和Tishby，2017）和预测信息瓶颈原理（PIBP：Still等人，2007; Alemi，2019）作为一般信息瓶颈目标（IBO）家族的特殊情况。每个IBO对应于特定的约束优化问题，其中约束应用于：（a）训练数据与学习的模型参数或提取的数据表示之间的互信息，以及（b）学习的模型参数或提取的数据表示与测试数据（如果有的话）之间的互信息。IBP和PIBP背后的算法在相应的约束优化问题公式中产生不同的约束。我们展示了其他物理学如何导致一个新的IBO，不同于IBP和PIBP，并使用（Alemi，2019）的技术来推导和优化新IBO的变分上限。然后，我们应用一般IBO的理论来解决看似矛盾的问题，一方面，IBP和PIBP建议最大化模型参数和测试数据之间的互信息，另一方面，最近的信息理论结果（见Xu和Raginsky，2017）表明这种互信息应该最小化。关键的见解是，IBP和PIBP的算法（以及约束优化问题中的约束）不适用于（Xu和Raginsky，2017）分析的场景，因为后者做出了额外的假设，即训练模型的参数已被选择为最小化经验损失函数。在这种见解的帮助下，我们制定了一个新的IBO，该IBO解释了训练模型参数的这种属性，并推导和优化了该IBO的变分界限。
2019-12-20 cs.IT cs.LG math.IT
Improving Generalization of Deep Networks for Inverse Reconstruction of Image Sequences
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）
深度学习网络在许多图像重建问题中表现出最先进的性能。然而，目前还没有很好地理解表示和学习的属性可以提高网络的泛化能力。在本文中，我们提出的泛化能力的编码器-解码器网络的逆重建可以提高两种手段。首先，从分析学习理论出发，我们从理论上证明了随机潜在空间将提高网络推广到训练分布之外的测试数据的能力。其次，遵循信息瓶颈原理，我们证明了输入数据的潜在表示最小信息量将有助于网络推广到与输出重建无关的看不见的输入变化。因此，我们提出了一个序列图像重建网络优化的变分近似的信息瓶颈原理与随机潜空间。在从体表电位重建心脏跨膜电位序列的应用环境中，我们评估了所提出的网络相对于其确定性对应物的两种类型的泛化能力。结果表明，逆重构网络的泛化能力可以通过随机性和信息瓶颈来提高。
2019-03-05 cs.LG stat.ML
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文对矢量量化-变分自编码器（VQ-VAE）进行了信息论解释。我们表明，原始VQ-VAE的损失函数可以从变分确定性信息瓶颈（VDIB）原则。另一方面，由期望最大化（EM）算法训练的VQ-VAE可以被视为变分信息瓶颈（VIB）原理的近似。
2018-08-02 cs.LG stat.ML
The Architectural Bottleneck Principle
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
在本文中，我们试图衡量有多少信息的一个组件在神经网络可以提取的表示馈入it.Our工作站在与以前的探测工作，其中大部分调查有多少信息模型的表示包含。这种观点的转变使我们提出了一个新的探测原则，即架构瓶颈原则：为了估计给定组件可以提取多少信息，探测器应该看起来与组件完全一样。依靠这一原则，我们估计有多少句法信息是通过我们的注意力探针，探针，完全类似于一个Transformer的自我注意力头。实验上，我们发现，在三个模型（BERT，ALBERT，和RoBERTa），一个句子的语法树主要是提取我们的探测器，这表明这些模型可以访问句法信息，同时组成他们的上下文表示。然而，这些信息是否真的被这些模型使用，仍然是一个悬而未决的问题。
2022-11-11 cs.CL cs.LG
Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
因果关系的不变性原则是一些著名方法的核心，例如寻求解决分布外（OOD）泛化失败的不变风险最小化（Invariant Risk Minimization，简称VRM）。尽管理论很有前途，但基于不变性原理的方法在常见的分类任务中失败了，其中不变（因果）特征捕获了关于标签的所有信息。这些失败是由于方法未能捕获不变性吗？或者说，不变性原理本身是不够的？为了回答这些问题，我们重新审视了线性回归任务中的基本假设，其中基于不变性的方法被证明可以推广OOD。与线性回归任务相比，我们表明，对于线性分类任务，我们需要更强的限制分布偏移，否则OOD推广是不可能的。此外，即使有适当的限制分布偏移到位，我们表明，不变性原理本身是不够的。我们证明了一种形式的信息瓶颈约束以及不变性有助于解决关键故障时，不变的功能捕获的标签的所有信息，也保留了现有的成功时，他们没有。我们提出了一种方法，结合这两个原则，并在几个实验中证明其有效性。
2022-11-20 cs.LG stat.ML
Representation Learning in Deep RL via Discrete Information Bottleneck
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）；Beijing Institute of Technology（北京理工大学）；AMII（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；University of Montreal（蒙特利尔大学）；University of Virginia（弗吉尼亚大学）；Google DeepMind（谷歌DeepMind）；Microsoft Research NYC（微软研究院纽约分院）
本文提出RepDIB架构，利用变分和离散信息瓶颈学习因子化表示，以在强化学习中忽略任务无关信息并提升在线、离线及真实机器人任务的性能。
2023-05-31 cs.LG
Learning Sparse Latent Representations with the Deep Copula Information Bottleneck
University of Basel（巴塞尔大学）
深度潜变量模型是表示学习的强大工具。在本文中，我们采用了深度信息瓶颈模型，找出其缺点，并提出了一个模型，规避他们。为此，我们应用Copula变换，通过恢复信息瓶颈方法的不变性，导致潜在空间中的特征的解纠缠。在此基础上，我们展示了这种转换如何转化为新模型中潜在空间的稀疏性。我们评估我们的方法对人工和真实数据。
2018-04-19 cs.LG stat.ML
Deep Variational Information Bottleneck
Google Research（谷歌研究院）
我们提出了一个变分近似的Tishby等人（1999）的信息瓶颈。这种变分方法允许我们使用神经网络参数化信息瓶颈模型，并利用重新参数化技巧进行有效的训练。我们称这种方法为“深度变分信息瓶颈”，或深度VIB。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用VIB目标训练的模型优于用其他形式的正则化训练的模型。
2019-10-23 cs.IT cs.LG math.IT
On the Difference Between the Information Bottleneck and the Deep Information Bottleneck
University of Basel（巴塞尔大学）
通过用深度神经网络替换互信息项，将信息瓶颈模型与深度学习相结合，已被证明在从生成建模到解释深度神经网络的领域是成功的。在本文中，我们重新审视了深度变分信息瓶颈及其推导所需的假设。数据$X$、$Y$和它们的潜在表示$T$的两个假定属性采用两个马尔可夫链$T-X-Y$和$X-T-Y$的形式。在优化过程期间要求两者都保持可能限制潜在联合分布$P(X,Y,T)$的集合。因此，我们展示了如何规避这一限制，优化的下限$I(T;Y)$，只有后者的马尔可夫链得到满足。实际的互信息包括在实际中在DVIB和同源模型中优化的下限和测量违反前一要求$T-X-Y$的程度的两个术语。最后，我们建议解释家庭的信息瓶颈模型作为有向图形模型，并表明，在这个框架中的原始和深的信息瓶颈是一个基本的IB模型的特殊情况。
2019-12-31 cs.IT cs.LG math.IT
InfoAT: Improving Adversarial Training Using the Information Bottleneck Principle
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
对抗性训练（AT）在防御对抗性示例方面表现出出色的高性能。最近的研究表明，在AT过程中，样本对模型最终的鲁棒性并不同等重要，即容易被攻击的所谓硬样本比鲁棒样本对最终的鲁棒性有更大的影响。因此，保证硬样本的鲁棒性是提高模型最终鲁棒性的关键。然而，定义有效的搜索算法来搜索硬例子仍然很困难。在这篇文章中，受信息瓶颈（IB）原理的启发，我们发现，一个例子与高互信息的输入及其相关的潜在表示更有可能被攻击。基于这一观察，我们提出了一种新颖有效的对抗训练方法（InfoAT）。InfoAT被鼓励寻找具有高互信息的示例，并有效地利用它们来提高模型的最终鲁棒性。实验结果表明，InfoAT在不同的数据集和模型之间实现了最好的鲁棒性与几个国家的最先进的方法相比。
2022-06-23 cs.CV cs.LG
Wide Neural Networks with Bottlenecks are Deep Gaussian Processes
University of Tennessee（田纳西大学）；Oak Ridge National Lab（橡树岭国家实验室）
最近有很多关于神经网络的“宽极限”的工作，其中贝叶斯神经网络（BNN）被证明收敛到高斯过程（GP），因为所有隐藏层都被发送到无限宽。然而，这些结果不适用于需要一个或多个隐藏层保持窄的架构。在本文中，我们考虑了BNN的宽限制，其中一些隐藏层，称为“瓶颈”，在有限的宽度举行。其结果是GP的组合，我们称之为“瓶颈神经网络高斯过程“（瓶颈NNGP）。虽然很直观，但证明的微妙之处在于表明，网络组合的广泛限制实际上是限制GP的组合。我们还从理论上分析了一个单瓶颈NNGP，发现瓶颈诱导的依赖性之间的输出的多输出网络，持续通过极端后瓶颈深度，并防止核心的网络失去歧视的权力在极端后瓶颈深度。
2020-07-06 cs.LG stat.ML
Unpacking Information Bottlenecks: Unifying Information-Theoretic Objectives in Deep Learning
OATML（牛津应用与理论机器学习小组）；University of Oxford（牛津大学）
信息瓶颈原理既提供了一种解释深度神经网络如何训练和泛化的机制，也提供了一个用于训练模型的正则化目标。然而，在文献中提出了多个竞争目标，并且对于大型深度神经网络，这些目标中使用的信息理论量难以计算，这反过来限制了它们作为训练目标的使用。在这项工作中，我们审查这些数量，并比较和统一以前提出的目标，这使我们能够开发更友好的替代目标优化，而不依赖于繁琐的工具，如密度估计。我们发现，这些代理目标，使我们能够应用到现代神经网络架构的信息瓶颈。我们展示了我们对MNIST，CIFAR-10和Imagenette与现代DNN架构（ResNets）的见解。
2021-01-05 cs.LG stat.ML
FAVAE: Sequence Disentanglement using Information Bottleneck Principle
NTT Secure Platform Laboratories（NTT安全平台实验室）；Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）；The Whole Brain Architecture Initiative（全脑架构倡议组织）
我们提出了因式分解动作变分自动编码器（FAVAE），这是一种最先进的生成模型，用于在没有监督的情况下通过信息瓶颈从序列数据中学习解纠缠和可解释的表示。解纠缠表示学习的目的是从数据中获得可解释和可转移的表示。我们专注于序列数据的解纠缠表示，因为如果将解纠缠表示扩展到视频，语音和股票市场等序列数据，则会有广泛的潜在应用。序列数据的特征在于动态和静态因素：动态因素与时间相关，静态因素与时间无关。以前的模型通过明确地对潜在变量的先验进行建模来区分静态和动态因素。然而，这些模型不能解开动态因素之间的表示，如解开“拿起”和“扔”在机器人任务。FAVAE可以解开多个动态因素。由于它不需要建模先验，它可以解开“之间”的动态因素。我们进行了实验，以表明FAVAE可以提取解纠缠的动力学因素。
2019-05-30 cs.LG stat.ML
Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
引入基于矩阵的Renyi的$α$ -序熵泛函，利用神经网络对Tishby等的信息瓶颈原理进行参数化.我们称我们的方法为深度确定性信息瓶颈（DIB），因为它避免了变分推理和分布假设。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用DIB训练的深度神经网络优于变分目标对应物和用其他形式的正则化训练的深度神经网络。https://github.com/yuxi120407/DIB
2021-01-31 cs.IT cs.LG math.IT
Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck
Ulsan National Institute of Science and Technology（蔚山科学技术院）
信息瓶颈（IB）是率失真理论的推广，它自然地结合了压缩和相关性权衡学习。虽然原始的IB已经被广泛研究，但对于更适合神经网络的多个瓶颈还没有太多的了解。在这项工作中，我们提出了信息多瓶颈（IMBs）作为IB的扩展到多个瓶颈，它有一个直接的应用程序来训练神经网络，考虑层作为多个瓶颈和权重参数化的编码器和解码器。我们表明，多重最优的IMB是不能同时实现的随机编码器。因此，我们提出了一个简单的妥协计划IMB，这反过来又推广了最大似然估计（MLE）的背景下，随机神经网络的原则。我们在MNIST和CIFAR10中证明了IMB在分类任务和对抗鲁棒性上的有效性。
2019-10-06 cs.LG
Information Removal at the bottleneck in Deep Neural Networks
LTCI, Télécom Paris（巴黎电信学院 LTCI）；Institut Polytechnique de Paris（巴黎理工学院）
深度学习模型如今被广泛部署，以解决各种各样的任务。通常，利用“大数据”的可用性，深度神经网络被训练为黑盒，最小化其输出的目标函数。然而，这并不允许控制一些特定特征通过模型的传播，如性别或种族，以解决一些不相关的任务。这在隐私领域（考虑到不需要的信息的传播）和偏见（考虑到这些功能可能用于解决给定的任务）中提出了问题。在这项工作中，我们提出了IRENE，一种在深度神经网络的瓶颈处实现信息移除的方法，该方法显式地最小化要保持“私有”的特征与目标之间的估计互信息。在合成数据集和CelebA上的实验验证了所提出方法的有效性，并为保证深度神经网络中信息去除的方法的发展开辟了道路。
2022-09-30 cs.AI cs.LG
Attentional Bottleneck: Towards an Interpretable Deep Driving Network
Waymo Research（Waymo研究院）
深度神经网络是自动驾驶汽车行为预测和运动生成的关键组成部分。它们的主要缺点之一是缺乏透明度：它们应该为触发某些行为的原因提供易于解释的理由。我们提出了一个架构称为注意力瓶颈的目标是提高透明度。我们的关键思想是将视觉注意力（识别模型正在使用输入的哪些方面）与信息瓶颈（使模型能够只使用输入的重要方面）相结合。这不仅提供了稀疏和可解释的注意力地图（例如，只关注场景中的特定车辆），而且它在不影响模型准确性的情况下增加了这种透明度。事实上，我们发现在将注意力瓶颈应用于ChauffeurNet模型时，准确性略有提高，而我们发现传统视觉注意力模型的准确性有所下降。
2020-05-08 cs.CV cs.LG cs.RO
There Was Never a Bottleneck in Concept Bottleneck Models
ViVoLab, I3A University of Zaragoza（ViVoLab，I3A 萨拉戈萨大学）
本文提出最小概念瓶颈模型，通过信息瓶颈目标提升表示的可解释性并支持概念层面的干预。
2026-01-29 cs.LG
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology（北京理工大学）
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理，以自监督的方式学习不同视图之间的共同信息，并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类（SIB-MSC）。继承了信息瓶颈的优点，SIB-MSC可以为每个视图学习潜在空间，通过从视图本身去除多余的信息，同时为其他视图的潜在表示保留足够的信息，来捕获不同视图的潜在表示之间的公共信息。实际上，每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外，SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息，通过引入互信息为基础的正则化条款，以便进一步提高多视图子空间聚类的性能。据我们所知，这是第一个工作，探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明，我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
Implicit Acceleration and Feature Learning in Infinitely Wide Neural Networks with Bottlenecks
Apple（苹果公司）；MSR（微软研究院）
我们分析了无限宽神经网络的学习动力学与有限大小的瓶颈。与神经切线核限制不同，无限宽度网络中的瓶颈允许在其瓶颈表示中进行数据相关特征学习。我们的经验表明，与纯粹的有限网络相比，无限网络中的单个瓶颈大大加快了训练速度，并提高了整体性能。我们讨论的加速现象，通过绘制相似的无限宽深的线性模型，其中的瓶颈的加速效应可以从理论上理解。
2021-07-02 cs.LG
A Critical Review of Information Bottleneck Theory and its Applications to Deep Learning
在过去的十年中，深度神经网络取得了前所未有的进步，并继续影响着当今社会的各个方面。随着高性能GPU的发展和大量数据的可用性，机器学习系统的学习能力已经飙升，从对图片中的数字进行分类到在游戏中击败世界冠军。然而，即使ML模型继续取得新的前沿，但由于缺乏对其内部工作原理的深入理论理解，它们的实际成功受到了阻碍。幸运的是，一种称为信息瓶颈理论的已知信息理论方法已经成为一种有前途的方法，可以更好地理解神经网络的学习动力学。原则上，IB理论将学习建模为数据压缩和信息保留之间的权衡。本调查的目的是提供一个全面的审查IB理论，涵盖其信息理论的根源和最近提出的应用程序来理解深度学习模型。
2021-05-11 cs.AI cs.LG
Multi-view Information Bottleneck Without Variational Approximation
Xi'an Jiaotong University（西安交通大学）；UiT - The Arctic University of Norway（挪威北极大学）
通过“智能地”融合不同视图之间的互补信息，多视图学习能够提高分类任务的性能。在这项工作中，我们将信息瓶颈原理扩展到有监督的多视图学习场景，并使用最近提出的基于矩阵的R{é}nyi的$α$ -阶熵泛函直接优化所得目标，而无需变分近似或对抗训练。在合成和真实世界的数据集的实证结果表明，我们的方法享有改善的鲁棒性噪声和冗余信息在每个视图中，特别是在有限的训练样本。代码位于~ \url{https://github.com/archy666/MEIB}。
2022-04-22 cs.LG
Explaining a black-box using Deep Variational Information Bottleneck Approach
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）；Arizona State University（亚利桑那州立大学）
可解释的机器学习近年来受到了广泛的关注。在解释黑箱决策系统时，为了简明扼要地提供大量信息，简明和全面是必要的。然而，现有的可解释的机器学习方法未能同时考虑准确性和全面性，导致冗余解释。我们提出了变信息瓶颈的解释，VIBI，一个系统不可知的解释方法，提供了一个简短而全面的解释。VIBI采用信息理论原理，信息瓶颈原理，作为寻找这种解释的标准。对于每一个实例，VIBI选择的关键特征是最大限度地压缩了输入（准确性），并提供了关于黑盒系统对该输入所做决定的信息（全面性）。我们在三个数据集上评估了VIBI，并在通过人工和定量指标评估的可解释性和保真度方面与最先进的可解释机器学习方法进行了比较
2019-10-03 cs.LG stat.ML
Supervised Auto-Encoding Twin-Bottleneck Hashing
University of Geneva（日内瓦大学）
该研究将自编码双瓶颈哈希推广为监督深度哈希网络，融入标签信息并处理类别不平衡，在三个数据集上取得显著改进。
2023-06-19 cs.LG
On the inductive bias of infinite-depth ResNets and the bottleneck rank
MIT Mathematics（麻省理工学院数学系）；Harvard CMSA（哈佛大学计算与社会科学中心）
本文通过计算深度线性ResNet的最小范数权重，揭示其归纳偏置介于核范数与秩之间，并据此证明在适当超参数下深度非线性ResNet倾向于最小化瓶颈秩。
2025-01-31 cs.AI cs.LG stat.ML
Cause-Effect Deep Information Bottleneck For Systematically Missing Covariates
Harvard John A Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院，哈佛大学）；University of Basel（巴塞尔大学）
由于混杂因素的存在，从高维观测数据中估计干预措施的因果效应是困难的。由于在测试时我们的数据中可能有系统性的缺失，这项任务通常会变得复杂。我们的方法使用的信息瓶颈进行低维压缩的协变量，明确考虑的相关性的信息。基于充分减少的协变量，我们将相关信息转移到测试时数据缺失的情况下，使我们能够可靠准确地估计干预措施的效果，即使数据不完整。我们的结果因果推断基准和治疗败血症的实际应用表明，我们的方法达到了最先进的性能，而不牺牲可解释性。
2020-02-28 cs.LG stat.ML
Adversarial Information Bottleneck
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
信息瓶颈（IB）原理已经被用来解释深度学习的信息压缩和预测方面，这是平衡的权衡超参数。如何优化IB原则以提高鲁棒性和通过权衡超参数来计算压缩效果是两个具有挑战性的问题。先前的方法试图通过将随机噪声引入到学习表示中来优化IB原理，并且在讨厌的信息压缩和语义信息抽取中实现了最先进的性能。然而，它们在抵抗对抗性扰动方面的表现却远不如人意。为此，我们提出了一种对抗性信息瓶颈（AIB）方法，该方法没有任何关于表示的底层分布的明确假设，可以通过求解Min-Max优化问题来有效地优化。在合成和真实世界数据集上的数值实验表明，与几种竞争性IB方法相比，它在学习更多不变表示和减轻对抗性扰动方面是有效的。此外，我们还对比分析了各种IB方法的对抗鲁棒性，发现在IB曲线拐点处具有超参数$β$的IB模型在压缩和预测之间取得了最佳的折衷，对各种攻击具有最好的鲁棒性.
2021-03-03 cs.LG stat.ML
Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness
Northeastern University（东北大学）
我们研究了HSIC（Hilbert-Schmidt独立准则）瓶颈作为学习对抗鲁棒深度神经网络分类器的正则化器。除了通常的交叉熵损失外，我们还为每个中间层添加正则化项，以确保潜在表示保留输出预测的有用信息，同时减少冗余信息。我们证明了HSIC瓶颈增强了对对抗攻击的鲁棒性。特别是，我们证明了HSIC瓶颈正则化器降低了分类器对对抗性示例的敏感性。我们在多个基准数据集和架构上的实验表明，结合HSIC瓶颈正则化器可以获得具有竞争力的自然准确性，并提高对抗性鲁棒性，无论在训练过程中是否有对抗性示例。我们的代码和对抗性强大的模型是公开的。
2021-10-26 cs.LG
Information Bottleneck: Exact Analysis of (Quantized) Neural Networks
University of Copenhagen（哥本哈根大学）
信息瓶颈（IB）原理被认为是分析深层神经网络的一种方法。通过考察隐层与输入输出之间的互信息（MI）来研究学习动态。值得注意的是，已经报道了训练期间的单独的拟合和压缩阶段。这导致了一些争议，包括声称观察结果不可重现，并且强烈依赖于所使用的激活函数的类型以及MI的估计方式。我们的研究证实，在计算MI时，不同的分仓方式会导致质的不同结果，无论是支持还是拒绝IB假设。为了解决这一争议，我们研究了IB原则的设置MI是非平凡的，可以精确计算。我们监控量化神经网络的动态，也就是说，我们离散化整个深度学习系统，这样在计算MI时就不需要近似。这使我们能够量化信息流，而不会产生测量误差。在此设置中，我们在所有实验中观察到所有层的拟合阶段和输出层的压缩阶段;隐藏层中的压缩取决于激活函数的类型。我们的研究表明，最初的IB结果不是计算MI时的分箱伪影。然而，对于某些网络可能无法观察到压缩阶段的关键主张也是正确的。
2022-02-14 cs.LG
DRIBO: Robust Deep Reinforcement Learning via Multi-View Information Bottleneck
Boston University（波士顿大学）
深度强化学习（DRL）代理通常对训练环境中看不到的视觉变化敏感。为了解决这个问题，我们利用RL的顺序性来学习鲁棒的表示，该表示仅对基于无监督多视图设置的观察中的任务相关信息进行编码。具体来说，我们引入了一个新的对比版本的多视图信息瓶颈（MIB）的目标时间数据。我们用这个辅助目标从像素中训练RL代理，以学习鲁棒的表示，这些表示可以压缩与任务无关的信息，并预测与任务相关的动态。这种方法使我们能够训练高性能的策略，这些策略对视觉干扰是鲁棒的，并且可以很好地推广到看不见的环境。我们证明，当背景被自然视频取代时，我们的方法可以在DeepMind控制套件中的各种视觉控制任务上实现SOTA性能。此外，我们表明，我们的方法优于完善的基准推广到看不见的环境中的Procgen基准。我们的代码是开源的，可以在https：//github上找到。com/BU-DEPEND-Lab/DRIBO.
2022-07-14 cs.AI cs.LG
Interpretable Deep Learning for Stock Returns: A Consensus-Bottleneck Asset Pricing Model
Department of Industrial and Management Engineering, POSTECH（POSTECH工业与管理工程系）；Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院）；Korea University Business School（韩国大学商学院）
本文提出共识-瓶颈资产定价模型，通过将分析师共识作为结构性瓶颈，提升模型预测准确性并锚定经济可解释驱动因素，发现基于该模型的组合具有稳健的收益梯度。
2026-04-24 cs.AI cs.LG q-fin.PR
End-to-End Training Induces Information Bottleneck through Layer-Role Differentiation: A Comparative Analysis with Layer-wise Training
The University of Tokyo（东京大学）
本文通过与逐层训练对比，发现端到端训练因能高效传播信息并促使层级角色分化，使最终表示遵循信息瓶颈原则，揭示了层间协同交互对深度学习信息瓶颈分析的重要性。
2024-05-31 cs.LG
Diagnosing Bottlenecks in Deep Q-learning Algorithms
University of California, Berkeley（加州大学伯克利分校）
Q-学习方法代表了强化学习中常用的一类算法：它们通常是有效和简单的，并且可以很容易地与深度强化学习（RL）的函数逼近器相结合。然而，Q学习方法与函数逼近的行为在理论上和经验上都知之甚少。在这项工作中，我们的目标是通过实验研究Q学习中的潜在问题，通过一个“单元测试“框架，我们可以利用神谕来解开错误的来源。具体来说，我们研究了与函数近似、采样误差和非平稳性相关的问题，并在可用的情况下，验证Oracle设置中发现的趋势是否适用于现代深度RL方法。我们发现，大型神经网络架构有很多好处方面的学习稳定性，提供了几个实际的补偿过拟合，并开发了一种新的采样方法的基础上明确补偿函数逼近误差，产生公平的改善高维连续控制域。
2019-02-26 cs.LG stat.ML
Adversarial Robustness of Bottleneck Injected Deep Neural Networks for Task-Oriented Communication
TU Wien（维也纳工业大学）
本文研究面向任务通信中采用信息瓶颈目标的DNN对抗鲁棒性，分析瓶颈深度、任务复杂度等的影响，指出生成式模型引入新漏洞，为下一代通信系统安全提供参考。
2024-12-13 cs.DC cs.LG cs.NI
Causal Information Bottleneck Boosts Adversarial Robustness of Deep Neural Network
Tongji University（同济大学）；SmartMore. Co. Ltd.（思谋科技有限公司）
信息瓶颈（IB）方法是深度学习中对抗对抗攻击的一种可行的防御方案。然而，该方法存在虚假相关性，限制了其对抗鲁棒性的进一步提高。在本文中，我们将因果推理到IB框架，以减轻这样的问题。具体来说，我们通过工具变量将IB方法获得的特征分为稳健特征（内容信息）和非稳健特征（风格信息）来估计因果效应。利用这种框架，可以减轻非鲁棒特征的影响，以增强对抗鲁棒性。最后对该方法的有效性进行了分析。在MNIST、FashionMNIST和CIFAR-10上的大量实验表明，该方法对多个对抗攻击具有相当的鲁棒性。我们的代码将被释放。
2022-10-25 cs.AI cs.CR cs.LG
Winner-Take-All bottlenecks enforce disentangled symbolic representations in multi-task learning
Institute of Machine Learning and Neural Computation（机器学习与神经计算研究所）；Graz University of Technology（格拉茨技术大学）；Graz, Austria（奥地利格拉茨）
本文研究了赢家通吃瓶颈在多任务学习中强制提取数据类别潜在因素的作用，证明了其产生的表示具有高度符号性，并通过实验验证了其在一般化中的优势。
2026-07-03 cs.LG
Towards Consistency and Complementarity: A Multiview Graph Information Bottleneck Approach
Xidian University（西安电子科技大学）
图神经网络（GNNs）的实证研究一般将原始节点特征和邻接关系作为单视图输入，忽略了多个图视图的丰富信息。为了避免这个问题，多视图图分析框架已经被开发来融合视图之间的图信息。如何建模和集成共享（即一致性）和视图特定（即互补性）的信息是多视图图分析中的一个关键问题。在本文中，我们提出了一种新的多视图变分图信息瓶颈（MVGIB）的原则，以最大限度地提高协议的共同表示和意见分歧的特定视图表示。在此原则下，我们制定了共同的和特定于视图的信息瓶颈目标，通过使用互信息的约束。然而，这些目标难以直接优化，因为互信息在计算上是难以处理的。为了应对这一挑战，我们得到变分的上下界的互信息条款，然后优化变分的界限，找到近似的解决方案的信息目标。在图基准数据集上的大量实验证明了该方法的优越性。
2022-10-11 cs.AI cs.LG
Where is the Bottleneck of Adversarial Learning with Unlabeled Data?
RIKEN（理化学研究所）
深度神经网络（DNN）由于对抗性样本而非常脆弱。为了增强DNN的鲁棒性，提出了对抗训练，这需要大规模但标记良好的数据。然而，对大规模数据进行良好的注释是相当昂贵的。为了弥补这一不足，一些开创性的工作正在利用大规模的未标记数据。在本文中，我们观察到，开创性的工作并没有表现良好，因为在未标记的数据上的伪标签的质量是相当差的，特别是当未标记的数据的量是显着大于标记的数据。我们认为伪标签的质量是使用未标记数据进行对抗学习的瓶颈。为了解决这个瓶颈，我们利用深度协同训练，它训练两个深度网络，并通过利用对等体的对抗性示例来鼓励两个网络分歧。基于深度协同训练，我们提出了用于对抗性学习的鲁棒协同训练（RCT）。我们在CIFAR-10和SVHN数据集上进行了全面的实验。实证结果表明，我们的RCT可以显着优于基线（例如，鲁棒自训练（Robust Self-Training，简称RSE））在标准测试精度和鲁棒测试精度w.r.t.不同的数据集，不同的网络结构，以及不同类型的对抗训练。
2019-11-20 cs.LG stat.ML
The Bottleneck Simulator: A Model-based Deep Reinforcement Learning Approach
Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；McGill University（麦吉尔大学）；Facebook Artificial Intelligence Research (FAIR)（Facebook人工智能研究院（FAIR））
深度强化学习最近取得了许多令人印象深刻的成功。然而，将这些方法应用于现实世界问题的一个主要障碍是它们缺乏数据效率。为此，我们提出了瓶颈模拟器：一种基于基于模型的强化学习方法，它将环境的学习，因子化过渡模型与推出模拟相结合，从很少的例子中学习有效的策略。所学习的转换模型采用抽象的离散（瓶颈）状态，其通过减少模型参数的数目和通过利用环境的结构特性来增加样本效率。我们提供了一个数学分析的瓶颈模拟器在固定点的学习策略，它揭示了性能是如何受到四个不同来源的错误：错误相关的抽象空间结构，错误相关的过渡模型估计方差，错误相关的过渡模型估计偏差，和错误相关的过渡模型类偏差。最后，我们评估瓶颈模拟器上的两个自然语言处理任务：文本冒险游戏和现实世界中，复杂的对话响应选择任务。在这两个任务上，瓶颈模拟器都能产生出色的性能，击败竞争对手。
2018-07-12 cs.AI cs.CL cs.LG
GINTRIP: Interpretable Temporal Graph Regression using Information bottleneck and Prototype-based method
Royal Meteorological Institute（皇家气象研究所）
GINTRIP结合信息瓶颈和原型方法，提升时间图回归模型的可解释性与预测性能。
2025-12-27 cs.LG
Deep Supervised Information Bottleneck Hashing for Cross-modal Retrieval based Computer-aided Diagnosis
Huazhong University of Science and Technology（华中科技大学）；Guizhou Normal University（贵州师范大学）；Hubei University（湖北大学）
将X射线图像、放射学报告和其他医学数据映射为公共空间中的二进制代码，这可以帮助临床医生从异构模态（即，基于散列的跨模态医学数据检索），为促进计算机辅助诊断提供了新的视角。然而，仍然存在一个障碍，以提高医疗检索的准确性：如何揭示模糊的语义的医疗数据，而不分心的多余信息。为了克服这个缺点，我们提出了深度监督信息瓶颈哈希（DSIBH），它有效地增强了哈希码的可区分性。具体而言，针对单模态的深度确定性信息瓶颈（Yu，Yu和Principe 2021）被扩展到跨模态场景。这样就减少了多余的信息，从而提高了散列码的可鉴别性。实验结果表明，所提出的DSIBH相比，国家的最先进的跨模态医学数据检索任务的优越的准确性。
2022-05-06 cs.AI cs.CV cs.LG
Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning
Beijing Institute of Technology（北京理工大学）；Southeast University（东南大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
可变车速限制（VSL）控制是一种灵活的方式来改善交通状况，提高安全性和减少排放。利用强化学习技术进行VSL控制是一个新兴的趋势，最近的研究已经显示出有希望的结果。目前，深度学习正在使强化学习能够为以前难以解决的问题开发自主控制代理。提出了一种更有效的深度强化学习（DRL）模型用于差分可变限速（DVSL）控制，该模型可以在车道之间施加动态和不同的限速。建议的DRL模型使用一种新的行动者-评论家架构，可以学习大量的离散速度限制在一个连续的动作空间。采用不同的奖励信号，如总行程时间、瓶颈速度、紧急制动和车辆排放等对DVSL控制器进行训练，并对这些奖励信号进行比较。我们测试建议DRL基于DVSL控制器上模拟高速公路经常性瓶颈。结果表明，该方法可以有效地改善柴油机的效率、安全性和排放。我们还显示了一些有趣的发现，通过可视化的DRL模型产生的控制策略。
2018-10-25 cs.AI cs.LG stat.ML
COVID-19 Detection in Cough, Breath and Speech using Deep Transfer Learning and Bottleneck Features
Stellenbosch University（斯泰伦博斯大学）；SAMRC Centre for Tuberculosis Research（南非医学研究理事会结核病研究中心）
我们对迁移学习和瓶颈特征提取在从咳嗽、呼吸和语音的音频记录中检测COVID-19中的有效性进行了实验研究。这种类型的筛查是非接触式的，不需要专业的医疗知识或实验室设施，可以部署在廉价的消费硬件上。我们使用包含咳嗽，打喷嚏，语音和其他噪音记录但不包含COVID-19标签的数据集来预训练三个深度神经网络：CNN，LSTM和Resnet 50。这些预先训练的网络随后在迁移学习过程中使用带有COVID-19标签的咳嗽的较小数据集进行微调，或者用作瓶颈特征提取器。结果表明，通过这种迁移学习过程训练的Resnet 50分类器在所有数据集上提供了最佳或接近最佳的性能，所有三种声音类别（咳嗽，呼吸和语音）的受试者操作特征（ROC AUC）分别为0.98，0.94和0.92。这表明咳嗽携带最强的COVID-19特征，其次是呼吸和言语。我们的研究结果还表明，应用迁移学习并使用没有COVID-19标签的较大数据集提取瓶颈特征不仅提高了性能，而且还最小化了保留- $p$ -out交叉验证的外部折叠中分类器AUC的标准差，表明更好的泛化。我们的结论是，深度迁移学习和瓶颈特征提取可以改善COVID-19咳嗽，呼吸和语音音频分类，产生更高精度的自动分类器。
2021-08-18 cs.LG cs.SD eess.AS
Structure-Aware Hierarchical Graph Pooling using Information Bottleneck
Independent University Bangladesh（孟加拉独立大学）
图池是图神经网络（GNN）在图分类和回归任务中的重要组成部分。对于这些任务，已经提出了不同的池化策略，以通过下采样和总结图中节点的特征来生成图级表示。然而，大多数现有的池化方法无法有效地捕获可区分的结构信息。此外，他们容易受到对抗攻击。在这项工作中，我们提出了一种新的池化方法命名为{HIBPool}，我们利用信息瓶颈（IB）的原则，最佳地平衡了模型的表达性和鲁棒性，以学习输入数据的表示。此外，我们引入了一种新的结构感知的判别池读出（{DiP-Readout}）功能，以捕获图中的信息局部子图结构。最后，我们的实验结果表明，我们的模型显着优于其他国家的最先进的方法在几个图分类基准和更有弹性的特征扰动攻击比现有的池化方法。
2021-04-27 cs.LG
The Interaction Bottleneck of Deep Neural Networks: Discovery, Proof, and Modulation
Xi’an Jiaotong University（西安交通大学）；Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
本文发现深度神经网络在不同上下文复杂度下对交互的表示存在瓶颈，通过理论证明和实验验证，揭示中阶交互的难以学习，并提出通过损失函数调节交互阶数以提升模型性能。
2025-12-21 cs.AI cs.LG
Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization
South China University of Technology（华南理工大学）
学习不变（因果）特征的分布外（OOD）推广最近引起了广泛的关注，其中不变风险最小化（VRM）是一个值得注意的解决方案。尽管线性回归理论上有希望，但在线性分类问题中使用递归的挑战仍然存在。通过将信息瓶颈（IB）原理引入到机器学习中，IB-SVM方法已经证明了它解决这些挑战的能力。本文从两个方面进一步改进了IB-SVM。首先，我们证明了在IB-EQUIPMENT中使用的不变特征的支持重叠的关键假设对于保证OOD泛化是强有力的，并且在没有这个假设的情况下仍然有可能实现最优解。其次，我们说明了两种故障模式，IB-ESTA（和ESTA）可能会失败的学习不变的功能，并解决这样的故障，我们提出了一个\textit{Counterfactual Supervision-based Information Bottleneck (CSIB)}学习算法，可证明恢复不变的功能。通过要求反事实推理，CSIB即使在从单个环境访问数据时也能工作。在多个数据集上的实验验证了我们的理论结果。
2023-01-16 cs.LG
Graph Information Bottleneck
Department of Computer Science（计算机科学系）；Stanford University（斯坦福大学）
图结构数据的表示学习具有挑战性，因为图结构和节点特征都携带重要信息。图神经网络（GNNs）提供了一种表达方式来融合来自网络结构和节点特征的信息。然而，GNN容易受到对抗攻击。在这里，我们介绍了图信息瓶颈（GIB），一个信息理论的原则，最佳平衡的表达性和鲁棒性的学习表示的图结构数据。GIB继承了一般的信息瓶颈（Information Bottleneck，IB），通过最大化表示与目标之间的互信息，同时约束表示与输入数据之间的互信息，来学习给定任务的最小充分表示。与一般的IB不同，GIB不仅正则化了特征信息，而且正则化了结构信息。我们设计了两个采样算法的结构正则化和实例化的GIB原则与两个新的模型：GIB-Cat和GIB-Bern，并通过评估的弹性对抗攻击的好处。我们表明，我们提出的模型比最先进的图防御模型更强大。基于GIB的模型在经验上实现了高达31%的改进，其中包括图结构和节点特征的对抗性扰动。
2020-10-24 cs.LG stat.ML
AnyCBMs: How to Turn Any Black Box into a Concept Bottleneck Model
Università della Svizzera Italiana（提契诺大学）；Scuola Normale Superiore（比萨高等师范学校）
AnyCBM方法可将任意预训练黑盒模型转化为概念瓶颈模型，以最小计算资源实现可解释性，并验证了其分类性能与概念干预的有效性。
2024-05-26 cs.LG
QBFF: Deep Quantum Bottleneck for Automatic Speaker Verification Anti-Spoofing
Brno University of Technology（布尔诺理工大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）；NYUAD Research Institute（纽约大学阿布扎比研究院）；University of Southern Denmark（南丹麦大学）
该研究提出 QBFF 模型，将压缩语音表示经 8 量子比特变分电路作为瓶颈，在 IBM 量子处理器上实现了首个反 spoof 流水线，可提升语音检测的分数可靠性，性能增益随评估设置变化。
2026-10-14 cs.LG quant-ph
Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses
Department of Physics Emory University（埃默里大学物理系）；Departments of Physics and Biology Initiative in Theory and Modeling of Living Systems Emory University（埃默里大学物理与生物学理论与活体系统建模研究所）；Georgia Institute of Technology（佐治亚理工学院）
本研究提出深度变分多元信息瓶颈统一框架，推广多种变分降维方法，扩展beta-DVCCA并提出DVSIB新方法，实验验证其在多视图表示学习上的性能优势，为定制损失函数奠定基础。
2025-09-02 cond-mat.stat-mech cs.IT cs.LG
Training deep physical neural networks with local physical information bottleneck
Department of Precision Instrument, Tsinghua University（精密仪器系，清华大学）；Laboratoire Kastler Brossel, École Normale Supérieure - Paris Sciences et Lettres (PSL) Research University, Sorbonne Université, Centre National de la Recherche Scientifique (CNRS), UMR 8552, Collège de France（Kastler Brossel实验室，巴黎科学与文学研究大学（PSL）研究大学，索邦大学，法国国家科学研究中心（CNRS），UMR 8552，法国学院）；School of Integrated Circuits, Beijing Advanced Innovation Center for Integrated Circuits, BNRist, Tsinghua University（集成电路学院，北京集成电路先进创新中心，BNRist，清华大学）；Department of Electrical and Electronic Engineering, The University of Hong Kong（电子与电气工程系，香港大学）；State Key Laboratory of Precision Space-time Information Sensing Technology, Department of Precision Instrument, Tsinghua University（精密时空信息感知技术国家重点实验室，精密仪器系，清华大学）；Key Laboratory of Photonic Control Technology, Ministry of Education, Tsinghua University（光电控制技术重点实验室，教育部，清华大学）；Department of Electrical Engineering, City University of Hong Kong（电气工程系，城市大学）
本文提出物理信息瓶颈框架，通过整合信息论与局部学习，实现深度物理神经网络在任意物理动态下的高效训练，适用于多种物理基质。
2026-02-10 cs.LG physics.app-ph
Tighter Bounds on the Information Bottleneck with Application to Deep Learning
Reichman University（赖希曼大学）；Tel-Aviv University（特拉维夫大学）
本文提出了一种新的更紧的信息瓶颈变分界，提升了以往受IB启发的DNN性能，并显著增强了分类器DNN的对抗鲁棒性。
2024-02-12 cs.AI cs.IT cs.LG
Is the Information Bottleneck Robust Enough? Towards Label-Noise Resistant Information Bottleneck Learning
LaT-IB通过引入'最小充分清洁'准则，提升信息瓶颈方法在标签噪声下的稳健性和效率。
2025-12-11 cs.LG
Mind the GAP! The Challenges of Scale in Pixel-based Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
本文揭示像素深度强化学习扩展中编码器与密集层间瓶颈是性能下降主因，并提出全局平均池化作为简单有效的解决方案。
2025-10-24 cs.AI cs.LG
