InfoAT: Improving Adversarial Training Using the Information Bottleneck Principle
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
对抗性训练（AT）在防御对抗性示例方面表现出出色的高性能。最近的研究表明，在AT过程中，样本对模型最终的鲁棒性并不同等重要，即容易被攻击的所谓硬样本比鲁棒样本对最终的鲁棒性有更大的影响。因此，保证硬样本的鲁棒性是提高模型最终鲁棒性的关键。然而，定义有效的搜索算法来搜索硬例子仍然很困难。在这篇文章中，受信息瓶颈（IB）原理的启发，我们发现，一个例子与高互信息的输入及其相关的潜在表示更有可能被攻击。基于这一观察，我们提出了一种新颖有效的对抗训练方法（InfoAT）。InfoAT被鼓励寻找具有高互信息的示例，并有效地利用它们来提高模型的最终鲁棒性。实验结果表明，InfoAT在不同的数据集和模型之间实现了最好的鲁棒性与几个国家的最先进的方法相比。
2022-06-23 cs.CV cs.LG
Improving the Robustness/Accuracy Tradeoff Against Adversarial Attacks Using Information Bottleneck Distillation Through Dual Teachers
Joint Graduate School of Mathematics for Innovation（联合创新数学研究生院）；Kyushu University（九州大学）；Faculty of Information Science and Electrical Engineering（信息科学与电气工程学院）；Université Savoie Mont Blanc（萨瓦大学）
本研究通过引入干净教师扩展信息瓶颈蒸馏框架，在CIFAR-10/100数据集上提升了干净样本分类准确率，保持对抗样本准确率，与现有双教师蒸馏方法竞争力相当。
2026-07-31 cs.LG
IB-RAR: Information Bottleneck as Regularizer for Adversarial Robustness
Radboud University（拉德堡德大学）；Leiden University（莱顿大学）
本文提出 IB-RAR 方法，利用信息瓶颈构建正则化器并过滤中间表示中与标签互信息低的特征，在对抗训练和无防御训练下均显著提升模型对抗鲁棒性。
2023-05-31 cs.AI cs.CV cs.LG
Significance-aware Information Bottleneck for Domain Adaptive Semantic Segmentation
School of Computer Science & Technology, HUST（华中科技大学计算机科学与技术学院）；CAI, UTS（悉尼科技大学人工智能中心）
在无监督的领域自适应问题中，通过对抗学习在潜在特征空间中对齐两个领域的策略在图像分类中取得了很大的进展，但在潜在表示过于复杂的语义分割任务中通常失败。在这项工作中，我们为对抗网络配备了“重要性感知信息瓶颈（SIB）”，以解决上述问题。新的网络结构称为SIBAN，在对抗适应之前实现了重要性感知的特征纯化，这简化了特征对齐并稳定了对抗训练过程。在两个领域自适应任务中，即，GTA5 -> Cityscapes和SYNTHIA -> Cityscapes，我们验证了所提出的方法可以产生领先的结果相比，其他特征空间的替代品。此外，SIBAN甚至可以匹配最先进的输出空间方法的分割精度，而后者通常被认为是更好的选择域自适应分割任务。
2019-04-01 cs.AI cs.CV cs.LG
Invariant Representations through Adversarial Forgetting
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
我们提出了一种新的方法来实现深度神经网络的不变性，其形式是通过一种新的对抗性遗忘机制来诱导对数据中不需要的因素的遗忘。我们发现，遗忘机制是一个信息瓶颈，它是由对抗性训练来操纵的，以学习对不需要的因素的不变性。实证结果表明，所提出的框架实现了最先进的性能，在学习不变性的滋扰和偏见设置在不同的数据集和任务的集合。
2019-11-20 cs.LG stat.ML
Uncertainty in the Variational Information Bottleneck
Google Research（谷歌研究院）
我们提出了一个简单的案例研究，证明了变分信息瓶颈（VIB）可以提高网络的分类校准，以及它的能力，以检测出的分布数据。在没有明确设计的情况下，VIB提供了两个用于处理和量化不确定性的自然指标。
2018-07-02 cs.LG stat.ML
Guess First to Enable Better Compression and Adversarial Robustness
University of Virginia（弗吉尼亚大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；University of Electronic Science and Technology of China（电子科技大学）
机器学习模型通常容易受到对抗性示例的影响，这与人类的鲁棒性形成对比。在本文中，我们试图利用人类识别的机制之一，并提出了一个生物启发的分类框架，其中模型推理是以标签假设为条件。我们为这个框架提供了一类训练目标和一个信息瓶颈正则化器，它利用了标签信息可以在推理过程中被丢弃的优点。该框架能够更好地压缩输入和潜在表示之间的互信息，而不损失学习能力，以易于处理的推理复杂度为代价。更好的压缩和标签信息的消除进一步带来了更好的对抗鲁棒性，而不会损失自然的准确性，这在实验中得到了证明。
2020-01-10 cs.LG stat.ML
Multi-Task Variational Information Bottleneck
Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；University of Glasgow（格拉斯哥大学）；Tongji University（同济大学）；Southeast University（东南大学）；RMIT University（皇家墨尔本理工大学）；Université de Lorraine（洛林大学）
多任务学习是机器学习和人工智能的重要研究课题。它在计算机视觉、信号处理和语音识别中的应用是无处不在的。虽然这个问题已经引起了相当大的关注，最近，现有的模型的性能和鲁棒性不同的任务没有得到很好的平衡。本文提出了一种基于变分信息瓶颈（VIB）体系结构的MTL模型，该模型可以为下游任务提供更有效的输入特征潜在表示。在对抗攻击下对三个公开数据集的大量观察表明，该模型在预测精度方面与现有算法具有竞争力。实验结果表明，结合VIB和任务相关的不确定性是一个非常有效的方法来提取有效的信息，从输入功能，以完成多个任务。
2021-03-01 cs.LG stat.ML
Explaining a black-box using Deep Variational Information Bottleneck Approach
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）；Arizona State University（亚利桑那州立大学）
可解释的机器学习近年来受到了广泛的关注。在解释黑箱决策系统时，为了简明扼要地提供大量信息，简明和全面是必要的。然而，现有的可解释的机器学习方法未能同时考虑准确性和全面性，导致冗余解释。我们提出了变信息瓶颈的解释，VIBI，一个系统不可知的解释方法，提供了一个简短而全面的解释。VIBI采用信息理论原理，信息瓶颈原理，作为寻找这种解释的标准。对于每一个实例，VIBI选择的关键特征是最大限度地压缩了输入（准确性），并提供了关于黑盒系统对该输入所做决定的信息（全面性）。我们在三个数据集上评估了VIBI，并在通过人工和定量指标评估的可解释性和保真度方面与最先进的可解释机器学习方法进行了比较
2019-10-03 cs.LG stat.ML
The Conditional Entropy Bottleneck
Google Research（谷歌研究院）
针对机器学习鲁棒泛化失效问题，提出最小必要信息准则与条件熵瓶颈目标函数，实验验证其可改善对抗样本脆弱性、分布外检测差等鲁棒泛化问题。
2020-02-13 cs.LG stat.ML
Deep Variational Information Bottleneck
Google Research（谷歌研究院）
我们提出了一个变分近似的Tishby等人（1999）的信息瓶颈。这种变分方法允许我们使用神经网络参数化信息瓶颈模型，并利用重新参数化技巧进行有效的训练。我们称这种方法为“深度变分信息瓶颈”，或深度VIB。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用VIB目标训练的模型优于用其他形式的正则化训练的模型。
2019-10-23 cs.IT cs.LG math.IT
Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck
Ulsan National Institute of Science and Technology（蔚山科学技术院）
信息瓶颈（IB）是率失真理论的推广，它自然地结合了压缩和相关性权衡学习。虽然原始的IB已经被广泛研究，但对于更适合神经网络的多个瓶颈还没有太多的了解。在这项工作中，我们提出了信息多瓶颈（IMBs）作为IB的扩展到多个瓶颈，它有一个直接的应用程序来训练神经网络，考虑层作为多个瓶颈和权重参数化的编码器和解码器。我们表明，多重最优的IMB是不能同时实现的随机编码器。因此，我们提出了一个简单的妥协计划IMB，这反过来又推广了最大似然估计（MLE）的背景下，随机神经网络的原则。我们在MNIST和CIFAR10中证明了IMB在分类任务和对抗鲁棒性上的有效性。
2019-10-06 cs.LG
Tighter Bounds on the Information Bottleneck with Application to Deep Learning
Reichman University（赖希曼大学）；Tel-Aviv University（特拉维夫大学）
本文提出了一种新的更紧的信息瓶颈变分界，提升了以往受IB启发的DNN性能，并显著增强了分类器DNN的对抗鲁棒性。
2024-02-12 cs.AI cs.IT cs.LG
Understanding and Improving Adversarial Robustness of Neural Probabilistic Circuits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文分析神经概率电路的对抗鲁棒性仅取决于属性识别模型，并提出首个鲁棒版本RNPC，通过类级集成推理提升对抗鲁棒性，同时保持高准确率。
2025-09-24 cs.AI cs.LG
Multi-view Information Bottleneck Without Variational Approximation
Xi'an Jiaotong University（西安交通大学）；UiT - The Arctic University of Norway（挪威北极大学）
通过“智能地”融合不同视图之间的互补信息，多视图学习能够提高分类任务的性能。在这项工作中，我们将信息瓶颈原理扩展到有监督的多视图学习场景，并使用最近提出的基于矩阵的R{é}nyi的$α$ -阶熵泛函直接优化所得目标，而无需变分近似或对抗训练。在合成和真实世界的数据集的实证结果表明，我们的方法享有改善的鲁棒性噪声和冗余信息在每个视图中，特别是在有限的训练样本。代码位于~ \url{https://github.com/archy666/MEIB}。
2022-04-22 cs.LG
Removing Batch Normalization Boosts Adversarial Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）
对抗性训练（AT）可以保护深度神经网络免受对抗攻击。限制其实际应用的一个挑战是清洁样品的性能下降。以前的工作中发现的一个主要瓶颈是广泛使用的批量归一化（BN），它很难对AT中干净和对抗训练样本的不同统计数据进行建模。虽然主要的方法是扩展BN来捕获这种混合分布，但我们建议通过移除AT中的所有BN层来完全消除这种瓶颈。我们的无归一化鲁棒训练（NoFrost）方法将无归一化网络的最新进展扩展到AT，因为它在处理混合分布挑战方面具有未开发的优势。我们表明，NoFrost实现了对抗性的鲁棒性，只有一个小的牺牲干净的样本的准确性。在使用ResNet50的ImageNet上，NoFrost实现了$74.06\%$干净的准确性，仅从标准训练中降低了$2.00\%$。相比之下，基于BN的AT获得了$59.28\%$干净的准确性，遭受了标准训练的显著$16.78\%$下降。此外，NoFrost算法实现了$23.56\%$对PGD攻击的对抗性鲁棒性，提高了$13.57\%$在基于BN的AT中的鲁棒性.我们从NoFrost中观察到更好的模型平滑度和更大的决策裕度，这使得模型对输入扰动不太敏感，因此更具鲁棒性。此外，当将更多的数据扩充到NoFrost中时，它实现了对多个分布偏移的全面鲁棒性。代码和预训练模型在https://github.com/amazon-research/normalizer-free…
2022-07-04 cs.CV cs.LG
Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
在训练数据有限的实际场景中，数据中的许多预测信号可能来自数据采集中的一些偏差（即，不太可推广），从而不能防止模型在这种（所谓的）“捷径”信号上自适应：这使得模型在各种分布偏移中是脆弱的。为了绕过这种故障模式，我们考虑了一个对抗性的威胁模型下的互信息约束，以涵盖更广泛的一类扰动训练。这促使我们扩展标准的信息瓶颈，以额外建模的滋扰信息。我们提出了一种基于自动编码器的训练来实现这一目标，以及实际的编码器设计来促进所提出的关于卷积和基于变换器的架构的混合判别生成训练。我们的实验结果表明，该计划提高了鲁棒性的学习表示（显着不使用任何特定领域的知识），相对于多个具有挑战性的可靠性措施。例如，我们的模型可以在AUROC中的$78.4\% \rightarrow 87.2\%$的新颖性检测中推进最新的具有挑战性的ARMTS基准，同时享受改进的腐败，背景和（认证）对抗鲁棒性。代码可在https://github.com/jh-jeong/nuisance_ib上获得。
2023-03-24 cs.CV cs.LG
Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
引入基于矩阵的Renyi的$α$ -序熵泛函，利用神经网络对Tishby等的信息瓶颈原理进行参数化.我们称我们的方法为深度确定性信息瓶颈（DIB），因为它避免了变分推理和分布假设。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用DIB训练的深度神经网络优于变分目标对应物和用其他形式的正则化训练的深度神经网络。https://github.com/yuxi120407/DIB
2021-01-31 cs.IT cs.LG math.IT
Pruning Adversarially Robust Neural Networks without Adversarial Examples
Northeastern University（东北大学）
对抗性剪枝压缩模型，同时保持鲁棒性。目前的方法需要在修剪过程中访问对抗性示例。这严重影响了培训效率。此外，随着新的对抗攻击和训练方法的快速发展，对抗修剪方法需要相应地修改以跟上。在这项工作中，我们提出了一个新的框架，修剪以前训练的强大的神经网络，同时保持对抗的鲁棒性，而不进一步生成对抗的例子。我们利用并发的自蒸馏和修剪来保留原始模型中的知识，并通过Hilbert-Schmidt信息瓶颈来正则化修剪后的模型。我们全面评估了我们提出的框架，并在MNIST，CIFAR-10和CIFAR-100数据集上训练的修剪架构针对五种最先进的攻击时，在对抗鲁棒性和效率方面表现出卓越的性能。代码可在https://github.com/neu-spiral/PwoA/上获得。
2022-10-09 cs.AI cs.CR cs.CV
Maximum-Entropy Adversarial Data Augmentation for Improved Generalization and Robustness
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；University of Delaware（特拉华大学）
对抗性数据增强已经显示出训练鲁棒的深度神经网络以应对不可预见的数据变化或损坏的前景。然而，很难定义反演算法来生成有效的虚拟目标分布，其中包含与源分布大不相同的“硬”对抗性扰动。在本文中，我们提出了一种新的和有效的正则化项对抗数据增强。我们从理论上推导出它的信息瓶颈原则，这导致在最大熵公式。直观地说，这个正则化项鼓励扰动底层源分布，以扩大当前模型的预测不确定性，因此生成的“硬”对抗性扰动可以提高模型在训练期间的鲁棒性。三个标准基准的实验结果表明，我们的方法始终优于现有的最先进的统计显着的利润率。
2020-12-18 cs.CV cs.LG
Disentangled Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
信息瓶颈（IB）方法是用于从源随机变量提取与预测目标随机变量相关的信息的技术，其通常通过优化平衡压缩项和预测项的IB拉格朗日来实现。然而，IB拉格朗日函数很难优化，并且需要多次尝试调整拉格朗日乘子的值。此外，我们表明，预测性能严格降低，因为压缩变得更强，在优化IB拉格朗日。在本文中，我们实现了IB方法的监督解开的角度。具体来说，我们引入了解纠缠信息瓶颈（DisenIB），它在最大限度地压缩源而不损失目标预测性能（最大压缩）上是一致的。理论和实验结果表明，该方法在最大压缩率上具有一致性，在泛化能力、对抗攻击鲁棒性、分布外检测和监督解缠等方面表现良好.
2020-12-22 cs.IT cs.LG math.IT
When Interpretability Becomes a Liability: Adversarial Attacks on CBM Concept Layers
Independent Researcher（独立研究者）
本文系统研究了概念瓶颈模型（CBM）中概念层的对抗性脆弱性，提出了一种基于语义扰动的稳定性正则化防御方法SPECTRA，显著提高了攻击所需的最小扰动范数，同时保持了分类精度。
2026-05-25 cs.CR cs.CV cs.LG
Exploring Adversarial Examples and Adversarial Robustness of Convolutional Neural Networks by Mutual Information
Yunnan University（云南大学）；Southeast University（东南大学）
卷积神经网络（CNN）的一个反直觉性质是其固有的对对抗性示例的敏感性，这严重阻碍了CNN在安全关键领域的应用。对抗性示例与原始示例相似，但包含恶意扰动。对抗训练是一种简单有效的防御方法，可以提高CNN对对抗样本的鲁棒性。对抗性示例和对抗性训练背后的机制值得探索。因此，这项工作调查正常训练的CNN（NT-CNN）和对抗训练的CNN（AT-CNN）之间的相似性和差异，从互信息的角度信息抽取。我们发现：1）无论是NT-CNN还是AT-CNN，对于原始样本和对抗样本，互信息的趋势在整个训练过程中几乎是相似的; 2）与正常训练相比，对抗训练更困难，AT-CNN从输入中提取的信息量更少; 3）用不同方法训练的CNN对某些类型的信息有不同的偏好; NT-CNN倾向于从输入中提取基于纹理的信息，而AT-CNN更喜欢基于形状的信息。对抗性示例误导CNN的原因可能是它们包含更多关于其他类的基于纹理的信息。此外，我们还分析了在这项工作中使用的互信息估计，发现他们勾勒出的几何性质的中间层的输出。
2022-07-26 cs.AI cs.LG
Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow
University of California, Berkeley（加州大学伯克利分校）
对抗性学习方法已经被提出用于广泛的应用，但是对抗性模型的训练可能是非常不稳定的。有效地平衡发生器和插值器的性能至关重要，因为实现非常高精度的插值器将产生相对无信息的梯度。在这项工作中，我们提出了一个简单的和一般的技术来约束信息流的信息瓶颈的手段在crosslink。通过对观测值和模型的内部表示之间的互信息施加约束，我们可以有效地调节模型的精度并保持有用的和信息丰富的梯度。我们证明了我们提出的变分学习瓶颈（VDB）在对抗学习算法的三个不同的应用领域带来了显着的改进。我们的初步评估研究的适用性的VDB动态连续控制技能，如运行的模仿学习。我们表明，我们的方法可以直接从\emph{raw}视频演示中学习这些技能，大大优于以前的对抗性模仿学习方法。VDB还可以与对抗性逆强化学习相结合，以学习可以在新设置中转移和重新优化的简约奖励函数。最后，我们证明了VDB可以更有效地训练GANs来生成图像，改进了一些先前的稳定方法。
2020-08-25 cs.LG stat.ML
Distilling Robust and Non-Robust Features in Adversarial Examples by Information Bottleneck
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
由精心设计的扰动产生的对抗性例子在研究领域引起了相当大的关注。最近的研究认为，鲁棒和非鲁棒特征的存在是对抗性样本的主要原因，并研究了它们在特征空间中的内部相互作用。在本文中，我们提出了一种方法显式提取的特征表示为鲁棒性和非鲁棒性的功能，使用信息瓶颈。具体而言，我们注入噪声变化到每个特征单元，并评估特征表示中的信息流，以基于噪声变化幅度将特征单元二分为鲁棒性或非鲁棒性。通过综合实验，我们证明了提取的特征与对抗预测高度相关，并且它们本身具有人类可感知的语义信息。此外，我们提出了一种增强与模型预测直接相关的非鲁棒特征梯度的攻击机制，并验证了其破坏模型鲁棒性的有效性。
2022-04-06 cs.LG
Graph Information Bottleneck
Department of Computer Science（计算机科学系）；Stanford University（斯坦福大学）
图结构数据的表示学习具有挑战性，因为图结构和节点特征都携带重要信息。图神经网络（GNNs）提供了一种表达方式来融合来自网络结构和节点特征的信息。然而，GNN容易受到对抗攻击。在这里，我们介绍了图信息瓶颈（GIB），一个信息理论的原则，最佳平衡的表达性和鲁棒性的学习表示的图结构数据。GIB继承了一般的信息瓶颈（Information Bottleneck，IB），通过最大化表示与目标之间的互信息，同时约束表示与输入数据之间的互信息，来学习给定任务的最小充分表示。与一般的IB不同，GIB不仅正则化了特征信息，而且正则化了结构信息。我们设计了两个采样算法的结构正则化和实例化的GIB原则与两个新的模型：GIB-Cat和GIB-Bern，并通过评估的弹性对抗攻击的好处。我们表明，我们提出的模型比最先进的图防御模型更强大。基于GIB的模型在经验上实现了高达31%的改进，其中包括图结构和节点特征的对抗性扰动。
2020-10-24 cs.LG stat.ML
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；University of Konstanz（康斯坦茨大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要，因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性，并评估了潜在的防御。我们观察到，CNN架构中包含的瓶颈注意力模块（BAM）可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中，BAM增强的架构在推理过程中表现出更强的鲁棒性。最后，我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV
Toward Enhanced Robustness in Unsupervised Graph Representation Learning: A Graph Information Bottleneck Perspective
Xi’an Jiaotong University（西安交通大学）；University of Virginia（弗吉尼亚大学）；Ant Financial Services Group（蚂蚁金融服务集团）
针对无标签场景下GNN易受对抗攻击的问题，提出基于信息瓶颈的RGIB方法，通过仅特征扰动的对抗训练和子图级互信息估计学习鲁棒表示，并给出下游对抗风险下界。
2023-06-08 cs.LG
Refining the Information Bottleneck via Adversarial Information Separation
Shandong Key Laboratory of Ubiquitous Intelligent Computing, University of Jinan, Shandong, China（山东智能计算关键实验室，济南大学，山东，中国）；Quan Cheng Laboratory, Jinan, China（泉城实验室，中国济南）；David R. Cheriton School of Computer Science, University of Waterloo, Waterloo, Canada（大卫·R·切里顿计算机科学学院，滑铁卢大学，加拿大滑铁卢）；School of Artificial Intelligence, Shandong Women’s University, Jinan, China（人工智能学院，山东女子大学，中国济南）
本文提出AdverISF框架，通过自监督对抗机制和多层分离架构，在无需显式监督的情况下实现更精确的任务相关特征提取，提升数据稀缺场景下的泛化性能。
2026-02-09 cs.LG
Towards a General Time Series Anomaly Detector with Adaptive Bottlenecks and Dual Adversarial Decoders
East China Normal University（华东师范大学）；Aalborg University（奥尔堡大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对时间序列异常检测模型泛化能力差的问题，提出在多领域数据上预训练的通用检测器DADA，通过自适应瓶颈和双重对抗解码器灵活选择信息瓶颈并增强正常与异常序列的区分，在九个数据集上实现优异的零样本检测性能。
2025-03-03 cs.LG
Learning Robust Variational Information Bottleneck with Reference
Aalborg University（奥尔堡大学）；University of Glasgow（格拉斯哥大学）；University of Liverpool（利物浦大学）
我们提出了一种新的方法来训练变信息瓶颈（VIB），提高其鲁棒性对抗扰动。与传统的分类方法中硬标签的使用不同，我们在训练阶段使用软标签来细化分类信息，软标签是从预训练的参考神经网络中获得的，可以反映原始类别标签的可能性。我们还放宽了高斯后验假设在VIB实现通过使用互信息神经估计。使用MNIST和CIFAR-10数据集进行了大量的实验，结果表明，我们提出的方法显着优于基准模型。
2021-04-29 cs.LG stat.ML
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文对矢量量化-变分自编码器（VQ-VAE）进行了信息论解释。我们表明，原始VQ-VAE的损失函数可以从变分确定性信息瓶颈（VDIB）原则。另一方面，由期望最大化（EM）算法训练的VQ-VAE可以被视为变分信息瓶颈（VIB）原理的近似。
2018-08-02 cs.LG stat.ML
Contrastive Graph Representation Learning with Adversarial Cross-view Reconstruction and Information Bottleneck
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；Ministry of Education Key Laboratory for Intelligent Networks and Network Security, Xi’an Jiaotong University（西安交通大学智能网络与网络安全教育部重点实验室）；School of Artificial Intelligence, Xi'an Jiaotong University（西安交通大学人工智能学院）
本文提出CGRL方法，通过自适应掩码图结构、引入信息瓶颈去除对比视图中的冗余信息，并利用对抗视图重构增强鲁棒性，从而在节点分类任务中显著超越现有最先进算法。
2024-08-01 cs.AI cs.LG
Unpacking Information Bottlenecks: Unifying Information-Theoretic Objectives in Deep Learning
OATML（牛津应用与理论机器学习小组）；University of Oxford（牛津大学）
信息瓶颈原理既提供了一种解释深度神经网络如何训练和泛化的机制，也提供了一个用于训练模型的正则化目标。然而，在文献中提出了多个竞争目标，并且对于大型深度神经网络，这些目标中使用的信息理论量难以计算，这反过来限制了它们作为训练目标的使用。在这项工作中，我们审查这些数量，并比较和统一以前提出的目标，这使我们能够开发更友好的替代目标优化，而不依赖于繁琐的工具，如密度估计。我们发现，这些代理目标，使我们能够应用到现代神经网络架构的信息瓶颈。我们展示了我们对MNIST，CIFAR-10和Imagenette与现代DNN架构（ResNets）的见解。
2021-01-05 cs.LG stat.ML
Learning Sparse Latent Representations with the Deep Copula Information Bottleneck
University of Basel（巴塞尔大学）
深度潜变量模型是表示学习的强大工具。在本文中，我们采用了深度信息瓶颈模型，找出其缺点，并提出了一个模型，规避他们。为此，我们应用Copula变换，通过恢复信息瓶颈方法的不变性，导致潜在空间中的特征的解纠缠。在此基础上，我们展示了这种转换如何转化为新模型中潜在空间的稀疏性。我们评估我们的方法对人工和真实数据。
2018-04-19 cs.LG stat.ML
Reliable Estimation of Individual Treatment Effect with Causal Information Bottleneck
KAIST（韩国科学技术院）；AItrics
从观察数据中估计个体水平治疗效应（ITE）是因果机器学习中一个具有挑战性和重要性的领域，并且通常在各种关键任务应用中被考虑。在本文中，我们提出了一个信息理论的方法，以找到更可靠的表示估计ITE。我们利用信息瓶颈（IB）原则，该原则解决了简洁性和表示的预测能力之间的权衡。随着因果信息瓶颈的扩展图形模型的引入，我们鼓励学习表示和治疗类型之间的独立性。我们还从理解半监督学习框架中的ITE的角度引入了一种额外形式的正则化器，以确保更可靠的表示。实验结果表明，我们的模型达到了最先进的结果，并表现出更可靠的预测性能与现实世界的数据集上的不确定性信息。
2019-06-07 cs.LG stat.ML
The Information Bottleneck EM Algorithm
Hebrew University（希伯来大学）
隐变量学习是概率图模型中的一个核心挑战，对许多现实问题具有重要意义。经典的方法是使用期望最大化（EM）算法。然而，该算法可能陷入局部最大值。在本文中，我们探索了一种新的方法，是基于信息瓶颈原则。在这种方法中，我们将学习问题视为两个信息理论目标之间的权衡。第一种是使隐变量不提供关于特定实例的身份的信息。第二个是使隐变量提供关于观测属性的信息。通过探索这两个目标之间的不同权衡，我们可以逐渐收敛到一个高分的解决方案。正如我们所示，由此产生的信息瓶颈期望最大化（IB-EM）算法，设法找到优于标准EM方法的解决方案。
2012-10-19 cs.LG stat.ML
Recognizable Information Bottleneck
Beijing Jiaotong University（北京交通大学）；Shanghai University（上海大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有信息瓶颈泛化界空泛或计算成本高的问题，本文建立表征可识别性与f-CMI泛化界的联系，提出可识别信息瓶颈RIB，经实验验证其在模型正则化和泛化间隙估计上有效。
2023-04-28 cs.LG stat.ML
The Variational Bandwidth Bottleneck: Stochastic Evaluation on an Information Budget
Mila, University of Montreal（蒙特利尔大学Mila研究所）；Deepmind（深度思维公司）；University of California, Berkeley（加州大学伯克利分校）
在许多应用中，期望从复杂的输入数据中仅提取相关信息，这涉及做出关于哪些输入特征是相关的决定。信息瓶颈方法将其形式化为信息理论优化问题，通过保持压缩（丢弃不相关的输入信息）和预测目标之间的最佳权衡。在许多问题设置中，包括我们在这项工作中考虑的强化学习问题，我们可能更喜欢只压缩部分输入。这是典型的情况下，当我们有一个标准的条件输入，如状态观察，和一个“特权”的输入，这可能对应于一个任务的目标，一个昂贵的规划算法的输出，或与另一个代理的通信。在这种情况下，我们可能更喜欢压缩特权输入，以实现更好的泛化（例如，关于目标）或最小化对昂贵信息的访问（例如，在通信方面）。基于变分推断的信息瓶颈的实际实现需要访问特权输入以计算瓶颈变量，因此尽管它们执行压缩，但该压缩操作本身需要不受限制的无损访问。在这项工作中，我们提出了变带宽瓶颈，它决定了每个例子的估计值的特权信息之前，看到它，即，仅基于标准输入，然后相应地选择随机性，是否访问特权输入。我们制定了一个易于处理的近似这个框架，并在一系列强化学习实验中证明，它可以提高泛化能力，减少对计算成本高的信息的访问。
2020-04-24 cs.LG stat.ML
Cause-Effect Deep Information Bottleneck For Systematically Missing Covariates
Harvard John A Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院，哈佛大学）；University of Basel（巴塞尔大学）
由于混杂因素的存在，从高维观测数据中估计干预措施的因果效应是困难的。由于在测试时我们的数据中可能有系统性的缺失，这项任务通常会变得复杂。我们的方法使用的信息瓶颈进行低维压缩的协变量，明确考虑的相关性的信息。基于充分减少的协变量，我们将相关信息转移到测试时数据缺失的情况下，使我们能够可靠准确地估计干预措施的效果，即使数据不完整。我们的结果因果推断基准和治疗败血症的实际应用表明，我们的方法达到了最先进的性能，而不牺牲可解释性。
2020-02-28 cs.LG stat.ML
Learning Robust Representations via Multi-View Information Bottleneck
University of Amsterdam（阿姆斯特丹大学）；University of Exeter（埃克塞特大学）；Microsoft Research（微软研究院）；University of Tuebingen（蒂宾根大学）
信息瓶颈原理提供了一种用于表示学习的信息理论方法，通过训练编码器来保留与预测标签相关的所有信息，同时最小化表示中的其他多余信息的量。然而，原始公式需要标记数据来识别多余的信息。在这项工作中，我们将这种能力扩展到多视图无监督设置，其中提供了同一底层实体的两个视图，但标签是未知的。这使我们能够将多余的信息识别为两个视图不共享的信息。理论分析导致了一个新的多视图模型的定义，该模型在Sketchy数据集和MIR-Flickr数据集的标签限制版本上产生了最先进的结果。我们还利用标准的数据增强技术将我们的理论扩展到单视图设置，与表示学习的常见无监督方法相比，经验上显示出更好的泛化能力。
2020-02-18 cs.LG stat.ML
Multivariate Information Bottleneck
Hebrew University（希伯来大学）
信息瓶颈方法是一种无监督的非参数数据组织技术。给定一个联合分布P（A，B），该方法构造一个新的变量T，该变量T提取关于B的信息的A值上的分区或聚类。信息瓶颈已经应用于文档分类、基因表达、神经编码和频谱分析。在本文中，我们介绍了信息瓶颈方法多元扩展的一般原则框架。这允许我们考虑相互关联的数据分区的多个系统。我们的方法利用贝叶斯网络指定系统的集群和每个捕获的信息。我们表明，这种结构提供了有关瓶颈变化的见解，使我们能够表征这些变化的解决方案。我们还提出了一个一般的框架，迭代算法构造的解决方案，并将其应用到几个例子。
2013-01-10 cs.AI cs.LG stat.ML
On the Difference Between the Information Bottleneck and the Deep Information Bottleneck
University of Basel（巴塞尔大学）
通过用深度神经网络替换互信息项，将信息瓶颈模型与深度学习相结合，已被证明在从生成建模到解释深度神经网络的领域是成功的。在本文中，我们重新审视了深度变分信息瓶颈及其推导所需的假设。数据$X$、$Y$和它们的潜在表示$T$的两个假定属性采用两个马尔可夫链$T-X-Y$和$X-T-Y$的形式。在优化过程期间要求两者都保持可能限制潜在联合分布$P(X,Y,T)$的集合。因此，我们展示了如何规避这一限制，优化的下限$I(T;Y)$，只有后者的马尔可夫链得到满足。实际的互信息包括在实际中在DVIB和同源模型中优化的下限和测量违反前一要求$T-X-Y$的程度的两个术语。最后，我们建议解释家庭的信息瓶颈模型作为有向图形模型，并表明，在这个框架中的原始和深的信息瓶颈是一个基本的IB模型的特殊情况。
2019-12-31 cs.IT cs.LG math.IT
Variational Predictive Information Bottleneck
Google Research（谷歌研究院）
在经典论文中，Zellner证明了贝叶斯推理可以作为信息论泛函的解决方案。下面我们推导出这个泛函的广义形式作为预测信息瓶颈目标的变分下界。这种广义的功能包括最现代的推理程序，并建议新的。
2019-10-23 cs.IT cs.LG math.IT
Debiasing Graph Representation Learning based on Information Bottleneck
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）
本文提出基于变分图自编码器和条件公平瓶颈的GRAFair框架，在不依赖对抗训练的情况下稳定地学习兼顾任务效用与公平性的图表示，并在多个真实数据集上验证了其公平性、效用、鲁棒性和稳定性。
2024-09-02 cs.CY cs.LG
Is the Information Bottleneck Robust Enough? Towards Label-Noise Resistant Information Bottleneck Learning
LaT-IB通过引入'最小充分清洁'准则，提升信息瓶颈方法在标签噪声下的稳健性和效率。
2025-12-11 cs.LG
Drop-Bottleneck: Learning Discrete Compressed Representation for Noise-Robust Exploration
Seoul National University（首尔大学）
我们提出了一种新的信息瓶颈（IB）的方法命名为丢弃瓶颈，离散下降的功能是无关的目标变量。Drop-Bottleneck不仅具有简单易行的压缩目标，而且还提供了输入变量的确定性压缩表示，这对于需要一致表示的推理任务非常有用。此外，它可以联合学习一个特征提取器，并考虑每个特征维度与目标任务的相关性来选择特征，这是大多数基于神经网络的IB方法无法实现的。针对强化学习任务，提出了一种基于降瓶颈的探索方法。在VizDoom中的大量噪声和奖励稀疏迷宫导航任务中（Kempka等人，2016）和DMLab（Beattie等人，2016年），我们的勘探方法达到了最先进的性能。作为一个新的IB框架，我们证明了下降瓶颈优于变分信息瓶颈（VIB）（Alemi等人，2017）在多个方面，包括对抗鲁棒性和降维。
2021-03-23 cs.AI cs.LG
Machine Learning using the Variational Predictive Information Bottleneck with a Validation Set
CableLabs（电缆实验室）
Zellner（1988）根据信息处理对统计推断进行了建模，并假设了信息处理块的输入和输出之间的信息守恒原理（ICP），表明这产生了贝叶斯推断作为最佳信息处理规则。最近，Alemi（2019）在机器学习的背景下回顾了Zellner的工作，并表明ICP可以被视为更一般的最佳信息处理标准的特例，即预测信息瓶颈目标。然而，Alemi将机器学习中的模型训练步骤建模为仅使用训练和测试数据集，并且没有考虑在训练期间使用验证数据集。本说明是一种尝试，以延长Alemi的信息处理制定的机器学习，和预测信息瓶颈目标模型训练，广泛使用的情况下，训练利用不仅是一个训练，但也验证数据集。
2019-12-11 cs.IT cs.LG math.IT
Label Smoothing is a Pragmatic Information Bottleneck
Nara Institute of Science and Technology（那拉科学与技术研究所）
本研究通过信息瓶颈视角重新审视标签平滑，理论与实验证明其模型输出可达信息瓶颈最优解，可作为实用实现方法，且对无目标信息或无额外条件信息的因素不敏感。
2025-08-12 cs.AI cs.LG
Dynamic Graph Information Bottleneck
Beihang University（北京航空航天大学）；Guangxi Normal University（广西师范大学）
本文提出DGIB框架，基于信息瓶颈原则的MSC条件引导动态图结构与特征信息流，从而在链接预测中提升对抗攻击下的鲁棒表示能力。
2024-04-06 cs.AI cs.LG
Visualizing Information Bottleneck through Variational Inference
New York University（纽约大学）
信息瓶颈理论为寻找近似最小充分统计量提供了一个理论和计算框架。对一个玩具问题的神经网络的随机梯度下降（SGD）训练的分析表明，存在两个阶段，拟合和压缩。在这项工作中，我们分析了深度神经网络在MNIST分类上的SGD训练过程，并确认了SGD训练的两个阶段的存在。我们还提出了一种通过变分推理估计深度神经网络的互信息的设置。
2022-12-24 cs.LG
Restricting the Flow: Information Bottlenecks for Attribution
Freie Universität Berlin（柏林自由大学）；Technische Universität München（慕尼黑工业大学）
归因方法为人工神经网络等机器学习模型的决策提供了见解。对于给定的输入样本，它们为每个输入变量（例如图像的像素）分配相关性得分。在这项工作中，我们适应信息瓶颈的概念归属。通过向中间特征图添加噪声，我们限制了信息流，并可以量化（以比特为单位）图像区域提供了多少信息。我们在VGG-16和ResNet-50上使用三种不同的指标将我们的方法与十个基线进行比较，发现我们的方法在六个设置中的五个设置中优于所有基线。该方法的信息理论基础为属性值（位）提供了一个绝对的参考框架，并保证得分接近零的区域对于网络的决策是不必要的。评论：https://openreview.net/forum? id= S1 xWh 1 rYwB适用于：https://github.com/BioroboticsLab/IBA
2020-05-25 cs.CV cs.LG stat.ML
Learning Optimal Representations with the Decodable Information Bottleneck
Facebook AI Research（脸书人工智能研究院）；CUNY Graduate Center（纽约市立大学研究生中心）
我们解决的问题，表征和寻找最佳的表示监督学习。传统上，这个问题已经使用信息瓶颈来解决，它以解码器不可知的方式压缩输入，同时保留有关目标的信息。然而，在机器学习中，我们的目标不是压缩，而是泛化，这与预测家族或感兴趣的解码器（例如线性分类器）密切相关。我们提出了可解码的信息瓶颈（DIB），认为信息保留和压缩的角度来看，所需的预测家庭。因此，DIB产生的表示是最佳的预期测试性能，可以估计与保证。经验上，我们表明，该框架可以用来执行一个小的泛化差距下游分类器和预测的泛化能力的神经网络。
2021-07-16 cs.IT cs.LG math.IT
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
