Individual and Structural Graph Information Bottlenecks for Out-of-Distribution Generalization
Peking University（北京大学）；Ant Group（蚂蚁集团）；Peking University (Qingdao)（北京大学（青岛））；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）
针对分布外图泛化中虚假特征及实例级学习局限，提出统一框架IS-GIB，结合I-GIB丢弃无关信息与S-GIB从高阶视角学习类关系不变特征，在节点与图级任务上展现卓越泛化能力。
2023-06-28 cs.AI cs.CV cs.LG
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning
Department of Statistics & Data Science, Yale University（统计与数据科学系，耶鲁大学）
本研究提出四种架构机制（输入自适应递归、算法监督、离散瓶颈锚定表示、显式纠错），在计算图模块化算术任务上显著提升Transformer的分布外泛化，并通过可解释性分析揭示其内在机理。
2025-10-15 cs.AI cs.LG
Diversity inducing Information Bottleneck in Model Ensembles
University of Toronto（多伦多大学）；Google Brain（谷歌大脑）
尽管深度学习模型在许多视觉任务上已经达到了最先进的性能，但高维多模态数据的泛化和可靠的预测不确定性估计仍然是活跃的研究领域。包括贝叶斯神经网络（BNN）的贝叶斯方法不能很好地扩展到现代计算机视觉任务，因为它们很难训练，并且在移位下具有较差的泛化能力。这就需要有效的合奏，可以推广和可靠的不确定性估计。在本文中，我们的目标是通过鼓励多样性预测生成有效的神经网络集成的问题。我们显式地优化了多样性诱导对抗性损失的学习随机潜变量，从而获得多样性的输出预测建模多模态数据所必需的。我们在基准数据集上评估了我们的方法：MNIST，CIFAR100，TinyImageNet和MIT Places 2，并与最具竞争力的基线相比，在数据分布和分布外检测的变化下，分类准确性显着提高。代码将在此URL https://github.com/rvl-lab-utoronto/dibs中发布
2020-12-08 cs.AI cs.CV cs.LG
A Relational Inductive Bias for Dimensional Abstraction in Neural Networks
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
本文提出关系瓶颈这一归纳偏置，使神经网络学习因子化、正交的低维表征，从而提升泛化与学习效率，并涌现类人规律性偏置和类符号灵活性。
2024-02-28 cs.AI cs.LG
Deep Variational Information Bottleneck
Google Research（谷歌研究院）
我们提出了一个变分近似的Tishby等人（1999）的信息瓶颈。这种变分方法允许我们使用神经网络参数化信息瓶颈模型，并利用重新参数化技巧进行有效的训练。我们称这种方法为“深度变分信息瓶颈”，或深度VIB。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用VIB目标训练的模型优于用其他形式的正则化训练的模型。
2019-10-23 cs.IT cs.LG math.IT
Dynamic Graph Information Bottleneck
Beihang University（北京航空航天大学）；Guangxi Normal University（广西师范大学）
本文提出DGIB框架，基于信息瓶颈原则的MSC条件引导动态图结构与特征信息流，从而在链接预测中提升对抗攻击下的鲁棒表示能力。
2024-04-06 cs.AI cs.LG
IBNorm: Information-Bottleneck Inspired Normalization for Representation Learning
Singapore Management University（新加坡管理大学）；Beijing Normal University（北京师范大学）；Nanjing University（南京大学）
IBNorm基于信息瓶颈原理，通过有界压缩操作提升表示学习的信息量和稳定性，实验表明其在多种模型中优于传统规范化方法。
2026-01-29 cs.AI cs.LG
Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck
Ulsan National Institute of Science and Technology（蔚山科学技术院）
信息瓶颈（IB）是率失真理论的推广，它自然地结合了压缩和相关性权衡学习。虽然原始的IB已经被广泛研究，但对于更适合神经网络的多个瓶颈还没有太多的了解。在这项工作中，我们提出了信息多瓶颈（IMBs）作为IB的扩展到多个瓶颈，它有一个直接的应用程序来训练神经网络，考虑层作为多个瓶颈和权重参数化的编码器和解码器。我们表明，多重最优的IMB是不能同时实现的随机编码器。因此，我们提出了一个简单的妥协计划IMB，这反过来又推广了最大似然估计（MLE）的背景下，随机神经网络的原则。我们在MNIST和CIFAR10中证明了IMB在分类任务和对抗鲁棒性上的有效性。
2019-10-06 cs.LG
When In-memory Computing Meets Spiking Neural Networks -- A Perspective on Device-Circuit-System-and-Algorithm Co-design
Yale University（耶鲁大学）
本综述探讨脉冲神经网络与模拟存内计算的交叉，强调二者在低功耗边缘计算中的协同潜力，并指出需通过器件到系统的协同设计来解决系统级瓶颈，推动低功耗神经形态计算发展。
2024-08-22 cs.AI cs.AR cs.LG
Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
引入基于矩阵的Renyi的$α$ -序熵泛函，利用神经网络对Tishby等的信息瓶颈原理进行参数化.我们称我们的方法为深度确定性信息瓶颈（DIB），因为它避免了变分推理和分布假设。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用DIB训练的深度神经网络优于变分目标对应物和用其他形式的正则化训练的深度神经网络。https://github.com/yuxi120407/DIB
2021-01-31 cs.IT cs.LG math.IT
Do Concept Bottleneck Models Learn as Intended?
University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
概念瓶颈模型从原始输入映射到概念，然后从概念映射到目标。这种模式的目的是将预先指定的，高层次的概念到学习过程中，并已被激励，以满足三个desiderata：可解释性，可预测性和可干预性。然而，我们发现概念瓶颈模型很难达到这些目标。使用事后可解释性方法，我们证明，概念不对应于任何语义上有意义的输入空间，从而质疑概念瓶颈模型在其目前的形式的有用性。
2021-05-10 cs.AI cs.LG
Causally Reliable Concept Bottleneck Models
Università della Svizzera Italiana（瑞士意大利大学）；University of Liechtenstein（利赫泰森大学）；Politecnico di Torino（托尼诺理工学院）；IBM Research（IBM研究院）；Scuola Universitaria Professionale della Svizzera Italiana（瑞士意大利专业大学）
本文提出C$^2$BMs，一种基于概念的因果可靠模型，通过结构化概念瓶颈提升可解释性和因果推理能力。
2026-01-31 cs.AI cs.LG
Disentangled Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
信息瓶颈（IB）方法是用于从源随机变量提取与预测目标随机变量相关的信息的技术，其通常通过优化平衡压缩项和预测项的IB拉格朗日来实现。然而，IB拉格朗日函数很难优化，并且需要多次尝试调整拉格朗日乘子的值。此外，我们表明，预测性能严格降低，因为压缩变得更强，在优化IB拉格朗日。在本文中，我们实现了IB方法的监督解开的角度。具体来说，我们引入了解纠缠信息瓶颈（DisenIB），它在最大限度地压缩源而不损失目标预测性能（最大压缩）上是一致的。理论和实验结果表明，该方法在最大压缩率上具有一致性，在泛化能力、对抗攻击鲁棒性、分布外检测和监督解缠等方面表现良好.
2020-12-22 cs.IT cs.LG math.IT
Elastic Information Bottleneck
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
针对迁移学习场景下信息瓶颈（IB）与确定性信息瓶颈（DIB）泛化权衡难定的问题，提出弹性信息瓶颈（EIB）通过插值两类正则项实现帕累托最优，实验验证其域适应效果更优。
2023-11-07 cs.AI cs.IT math.IT
Tighter Bounds on the Information Bottleneck with Application to Deep Learning
Reichman University（赖希曼大学）；Tel-Aviv University（特拉维夫大学）
本文提出了一种新的更紧的信息瓶颈变分界，提升了以往受IB启发的DNN性能，并显著增强了分类器DNN的对抗鲁棒性。
2024-02-12 cs.AI cs.IT cs.LG
Contrastive variational information bottleneck for aspect-based sentiment analysis
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对基于方面的情感分析中深度模型易受虚假相关影响的问题，提出对比变分信息瓶颈框架CVIB，通过自剪枝网络与对比学习减少虚假相关，在五个基准数据集上提升性能、鲁棒性和泛化能力。
2023-12-21 cs.AI cs.CL
PanGuide3D: Cohort-Robust Pancreas Tumor Segmentation via Probabilistic Pancreas Conditioning and a Transformer Bottleneck
Trailridge School（Trailridge学校）；Department of Biochemistry, Grand View University（生物化学系，Grand View大学）；Department of Computer Science, Iowa State University（计算机科学系，Iowa State大学）
本文提出PanGuide3D，通过概率胰腺条件和Transformer瓶颈提升跨队列鲁棒性，实现高效且实用的3D CT肿瘤分割，尤其在小肿瘤和复杂解剖位置表现优异。
2026-04-22 cs.CV cs.LG q-bio.QM
Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
尽管深度强化学习（RL）在解决顺序决策问题方面取得了重大进展，但RL代理通常过度适应训练环境，并难以适应新的、不可见的环境。这阻止了RL在现实世界中的鲁棒应用，其中系统动态可能会严重偏离训练设置。在这项工作中，我们的主要贡献是提出了一个信息论正则化目标和一个基于退火的优化方法，以实现更好的推广能力的RL代理。我们展示了我们的方法在不同领域的极端推广效益，从迷宫导航到机器人任务;我们第一次表明，代理可以推广到测试参数超过10个标准差远离训练参数分布。这项工作提供了一种原则性的方法，通过逐渐去除对任务解决来说冗余的信息来提高RL中的泛化能力;它为从训练到极端不同的测试设置的泛化系统研究打开了大门，重点是信息论和机器学习之间的联系。
2020-08-03 cs.AI cs.LG stat.ML
Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck
The Hong Kong University of Science and Technology (HKUST)（香港科技大学）
针对面向任务通信中训练与测试数据的分布偏移问题，提出结合信息瓶颈原理与不变风险最小化框架的方法，实现域偏移泛化与语义偏移检测，性能优于现有方法。
2024-05-15 cs.IT cs.LG eess.SP
Generalization in Reinforcement Learning with Selective Noise Injection and Information Bottleneck
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
策略推广到新环境的能力是RL代理广泛应用的关键。一个有前途的方法，以防止代理的政策过拟合有限的一组训练环境是应用正则化技术最初开发的监督学习。然而，监督学习和RL之间存在着明显的差异。我们讨论了这些差异，并对现有的正则化技术提出了修改，以便更好地适应RL。特别是，我们专注于正则化技术，依赖于将噪声注入到学习函数中，这是一个家族，其中包括一些最广泛使用的方法，如Dropout和批量归一化。为了使它们适应RL，我们提出了选择性噪声注入（SNI），它保持了注入噪声的正则化效果，同时减轻了它对梯度质量的不利影响。此外，我们证明了信息瓶颈（IB）是一种特别适合RL的正则化技术，因为它在训练RL代理早期遇到的低数据机制中是有效的。将IB与SNI相结合，我们的表现明显优于当前最先进的结果，包括最近提出的泛化基准Coinrun。
2019-10-28 cs.AI cs.LG stat.ML
Upper Bound of Bayesian Generalization Error in Partial Concept Bottleneck Model (CBM): Partial CBM outperforms naive CBM
Tokyo Research Center（东京研究中心）；AISIN Corporation（爱信公司）
本文研究部分概念瓶颈模型（PCBM）的贝叶斯泛化误差上界，证明在三层线性架构下，部分观测概念相比全观测概念能降低泛化误差，从而优于朴素CBM。
2024-03-14 cs.AI cs.LG math.ST
Recognizable Information Bottleneck
Beijing Jiaotong University（北京交通大学）；Shanghai University（上海大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有信息瓶颈泛化界空泛或计算成本高的问题，本文建立表征可识别性与f-CMI泛化界的联系，提出可识别信息瓶颈RIB，经实验验证其在模型正则化和泛化间隙估计上有效。
2023-04-28 cs.LG stat.ML
Impact of Bottleneck Layers and Skip Connections on the Generalization of Linear Denoising Autoencoders
University of Freiburg（弗赖堡大学）；Technical University of Munich（慕尼黑技术大学）
研究两层线性去噪自编码器在过参数化下的泛化，推导含瓶颈层与跳跃连接模型的测试风险，发现瓶颈层引入偏差-方差权衡且跳跃连接能缓解方差。
2025-05-30 cs.LG stat.ML
Invariant Information Bottleneck for Domain Generalization
Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不变风险最小化（Invariant Risk Minimization，简称Risk Minimization）是近年来兴起的一种领域泛化方法。然而，损失函数是难以优化的非线性分类器和原始的优化目标可能会失败时，伪不变特征和几何倾斜存在。受信息瓶颈的启发，本文提出了一种新的领域泛化公式，称为不变信息瓶颈（IIB）。IIB的目标是最大限度地减少非线性分类器的不变风险，同时减轻伪不变特征和几何倾斜的影响。具体来说，我们首先提出了一种新的公式不变的因果预测通过互信息。然后，我们采用变分形式的互信息开发一个易于处理的损失函数的非线性分类器。为了克服的故障模式，我们建议，以最小化之间的互信息的输入和相应的表示。IIB显着优于合成数据集，其中伪不变特征和几何偏斜发生，显示出所提出的配方在克服故障模式的并行计算的有效性。此外，DomainBed上的实验表明，IIB在$7$真实数据集上的平均性能优于$13$基线$0.9\%$。
2022-03-21 cs.LG stat.ML
Neuron Campaign for Initialization Guided by Information Bottleneck Theory
University of Electronic Science and Technology of China（电子科技大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
神经网络在深度神经网络（DNN）的训练中起着至关重要的作用。现有的初始化策略主要集中在稳定训练过程，以减轻梯度消失/爆炸问题。然而，这些初始化方法缺乏对如何增强泛化能力的考虑。信息瓶颈（IB）理论是一个著名的理解框架，提供了一个解释DNN的泛化。在IB理论的指导下，我们设计了两个更好地初始化DNN的标准。我们进一步设计了一个神经元运动初始化算法，以有效地选择一个好的初始化神经网络在给定的数据集。在MNIST数据集上的实验表明，该方法具有更好的泛化性能和更快的收敛速度。
2021-08-14 cs.AI cs.LG
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
Rice University（莱斯大学）
研究了过参数化环境下的线性子空间拟合问题，其中估计的子空间可以很好地插值训练样本。我们的范围包括子空间拟合任务的最小二乘解决方案，在训练数据中具有不同的监督级别（即，期望的低维映射的输入-输出示例的比例）和定义学习算子的向量的正交性。这个灵活的问题系列将标准的无监督子空间拟合与相应的回归任务连接起来，该子空间拟合强制执行严格的正交性，该回归任务是完全监督的，并且不约束线性算子结构。这类问题是定义在一个监督正交平面，其中每个坐标诱导一个问题的实例与一个独特的一对监督水平和软正交约束。我们探索这个平面，并表明相应的子空间拟合问题的泛化误差遵循双下降的趋势，设置变得更加监督和正交约束。
2020-08-20 cs.LG stat.ML
Observations Meet Actions: Learning Control-Sufficient Representations for Robust Policy Generalization
本文将基于上下文的强化学习建模为推理-控制双重问题，提出控制充分性表征及BCPO算法，以更少样本在参数变化的连续控制基准上实现更强泛化。
2025-07-25 cs.LG
An Active-Bottleneck Mechanism for Weak-to-Strong Generalization
Sharif University of Technology（谢里夫理工大学）
研究弱到强泛化在无正则化两阶段线性回归和随机特征模型中的发生条件，提出主动瓶颈原则：数据量或宽度中较稀缺者控制教师误差过滤，有限资源本身即可正则化。
2026-09-29 cs.AI cs.LG stat.ML
Learning Optimal Representations with the Decodable Information Bottleneck
Facebook AI Research（脸书人工智能研究院）；CUNY Graduate Center（纽约市立大学研究生中心）
我们解决的问题，表征和寻找最佳的表示监督学习。传统上，这个问题已经使用信息瓶颈来解决，它以解码器不可知的方式压缩输入，同时保留有关目标的信息。然而，在机器学习中，我们的目标不是压缩，而是泛化，这与预测家族或感兴趣的解码器（例如线性分类器）密切相关。我们提出了可解码的信息瓶颈（DIB），认为信息保留和压缩的角度来看，所需的预测家庭。因此，DIB产生的表示是最佳的预期测试性能，可以估计与保证。经验上，我们表明，该框架可以用来执行一个小的泛化差距下游分类器和预测的泛化能力的神经网络。
2021-07-16 cs.IT cs.LG math.IT
Revisiting Modularized Multilingual NMT to Meet Industrial Demands
Kakao Enterprise（Kakao企业公司）；Seoul National University（首尔国立大学）；Soongsil University（崇实大学）
多语言翻译（1-1）的参数完全共享已成为当前研究的主流方法。然而，由于容量瓶颈和低可维护性而导致的性能下降阻碍了其在工业中的广泛采用。在这项研究中，我们重新审视了多语言神经机器翻译模型，该模型仅在相同的语言（M2）之间共享模块，作为1-1的实用替代方案，以满足工业需求。通过全面的实验，我们确定了多路训练的好处，并证明了M2可以享受这些好处，而不会受到容量瓶颈的影响。此外，M2的语际空间允许方便地修改模型。通过利用经过训练的模块，我们发现增量添加的模块比单独训练的模型表现出更好的性能。添加的模块的zero-shot性能甚至可以与监督模型相媲美。我们的研究结果表明，M2可以成为行业多语言翻译的合格候选人。
2020-10-19 cs.CL cs.LG
PAC-Bayes Information Bottleneck
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Tencent（腾讯）
理解神经网络优越的泛化能力的来源仍然是ML研究中最重要的问题之一。已经有一系列的理论工作，试图推导出非空界的神经网络。近年来，基于PAC-Bayes定理的神经网络推广中，权值信息压缩（IIW）被证明起着关键作用。然而，目前还没有IIW的解决方案，这为进一步研究IIW的性质及其在实际深度学习中的潜力建立了障碍。在本文中，我们提出了一个算法的有效逼近IIW。然后，我们建立了一个基于IIW的信息瓶颈之间的权衡精度和信息复杂性的神经网络，即PIB。从PIB中，我们可以经验地识别出在神经网络的训练过程中压缩相变的拟合以及IIW压缩与泛化之间的具体联系。此外，我们验证了IIW能够在广泛的情况下解释NN，例如，不同的批量大小、过度参数化和嘈杂的标签。此外，我们提出了一种基于MCMC的算法，从PIB特征的最佳权重后验进行采样，这在实践中实现了IIW在增强NN方面的潜力。
2022-03-04 cs.AI cs.LG
Preparation Meets Opportunity: Enhancing Data Preprocessing for ML Training With Seneca
Syracuse University（苏塞克斯大学）；Samsung Semiconductor（三星半导体）；Florida International University（佛罗里达国际大学）
针对并发多媒体ML训练中数据预处理的瓶颈问题，本文提出数据加载系统Seneca，通过优化缓存分区与采样策略，有效缩短训练时长、提升数据处理吞吐量。
2025-09-24 cs.AI cs.LG cs.OS
Improving Generalization of Deep Networks for Inverse Reconstruction of Image Sequences
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）
深度学习网络在许多图像重建问题中表现出最先进的性能。然而，目前还没有很好地理解表示和学习的属性可以提高网络的泛化能力。在本文中，我们提出的泛化能力的编码器-解码器网络的逆重建可以提高两种手段。首先，从分析学习理论出发，我们从理论上证明了随机潜在空间将提高网络推广到训练分布之外的测试数据的能力。其次，遵循信息瓶颈原理，我们证明了输入数据的潜在表示最小信息量将有助于网络推广到与输出重建无关的看不见的输入变化。因此，我们提出了一个序列图像重建网络优化的变分近似的信息瓶颈原理与随机潜空间。在从体表电位重建心脏跨膜电位序列的应用环境中，我们评估了所提出的网络相对于其确定性对应物的两种类型的泛化能力。结果表明，逆重构网络的泛化能力可以通过随机性和信息瓶颈来提高。
2019-03-05 cs.LG stat.ML
"Dependency Bottleneck" in Auto-encoding Architectures: an Empirical Study
Carnegie Mellon University（卡内基梅隆大学）；RIKEN AIP（理化学研究所先进智能项目中心）；JST PRESTO（日本科学技术振兴机构先驱研究项目）
最近的研究工作通过研究深度神经网络（DNN）中的信息瓶颈来研究其泛化特性。然而，由于密度估计的原因，互信息（MI）的测量往往是不准确的。为了解决这个问题，我们建议在DNN中测量层之间的依赖性而不是MI。具体地说，我们建议使用希尔伯特-施密特独立准则（HSIC）作为依赖性度量，它可以衡量两个随机变量的依赖性，而无需估计概率密度。此外，HSIC是平方损失互信息（SMI）的特殊情况。在实验中，我们经验性地评估的泛化属性使用HSIC在重建和预测自动编码（AE）架构。
2018-02-15 cs.IT cs.LG math.IT
Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective
本文从反向瓶颈视角对LLM后训练中的合成数据进行理论建模，提出基于互信息的泛化增益（GGMI）概念，揭示信息增益与泛化能力的关系，为合成数据生成与后训练优化提供理论指导。
2025-02-06 cs.AI cs.CL cs.LG
Post-hoc Concept Bottleneck Models
Stanford University（斯坦福大学）
概念瓶颈模型（CBMs）将输入映射到一组可解释的概念（“瓶颈”）上，并使用这些概念进行预测。概念瓶颈增强了可解释性，因为可以对其进行调查以了解模型在输入中“看到”什么概念以及这些概念中哪些被认为是重要的。然而，CBM在实践中是限制性的，因为它们需要训练数据中的密集概念注释来学习瓶颈。此外，建立信任措施往往与不受限制的神经网络的准确性不匹配，从而降低了在实践中部署它们的激励。在这项工作中，我们通过引入事后概念瓶颈模型（PCBM）来解决这些限制。我们证明了我们可以将任何神经网络转换为PCBM，而不会牺牲模型性能，同时仍然保留可解释性的好处。当训练数据上没有概念注释时，我们证明了PCBM可以通过多模态模型从其他数据集或概念的自然语言描述中转移概念。PCBM的一个主要优点是，它使用户能够快速调试和更新模型，以减少虚假相关性并提高对新分布的泛化能力。PCBM允许全局模型编辑，这可能比以前修复特定预测的局部干预工作更有效。通过模型编辑用户研究，我们表明，通过概念级反馈编辑PCBM可以提供显着的性能增益，而无需使用来自目标域或模型再训练的数据。
2023-02-01 cs.AI cs.LG stat.ML
The Variational Bandwidth Bottleneck: Stochastic Evaluation on an Information Budget
Mila, University of Montreal（蒙特利尔大学Mila研究所）；Deepmind（深度思维公司）；University of California, Berkeley（加州大学伯克利分校）
在许多应用中，期望从复杂的输入数据中仅提取相关信息，这涉及做出关于哪些输入特征是相关的决定。信息瓶颈方法将其形式化为信息理论优化问题，通过保持压缩（丢弃不相关的输入信息）和预测目标之间的最佳权衡。在许多问题设置中，包括我们在这项工作中考虑的强化学习问题，我们可能更喜欢只压缩部分输入。这是典型的情况下，当我们有一个标准的条件输入，如状态观察，和一个“特权”的输入，这可能对应于一个任务的目标，一个昂贵的规划算法的输出，或与另一个代理的通信。在这种情况下，我们可能更喜欢压缩特权输入，以实现更好的泛化（例如，关于目标）或最小化对昂贵信息的访问（例如，在通信方面）。基于变分推断的信息瓶颈的实际实现需要访问特权输入以计算瓶颈变量，因此尽管它们执行压缩，但该压缩操作本身需要不受限制的无损访问。在这项工作中，我们提出了变带宽瓶颈，它决定了每个例子的估计值的特权信息之前，看到它，即，仅基于标准输入，然后相应地选择随机性，是否访问特权输入。我们制定了一个易于处理的近似这个框架，并在一系列强化学习实验中证明，它可以提高泛化能力，减少对计算成本高的信息的访问。
2020-04-24 cs.LG stat.ML
When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
在离线强化学习（RL）中，深度Q函数在分布外（OOD）区域的误差积累是影响策略学习的一个重要问题。不幸的是，现有的离线RL方法往往过于保守，不可避免地会损害数据分布之外的泛化性能。在我们的研究中，一个有趣的观察是，深度Q函数在训练数据的凸包内很好地近似。受此启发，我们提出了一种新方法DOGE（Distance-sensitive Offline RL with better GEneralization）。DOGE将数据集几何与离线RL中的深度函数近似器结合在一起，并在可推广的OOD领域进行开发，而不是严格限制数据分布中的策略。具体来说，DOGE训练了一个状态条件距离函数，可以很容易地插入到标准的行动者-批评者方法中作为策略约束。简单而优雅，我们的算法在D4 RL基准测试中比最先进的方法具有更好的泛化能力。理论分析表明，我们的方法的优越性，现有的方法是完全基于数据分布或支持的限制。
2023-02-08 cs.AI cs.LG cs.RO
Breaking Memorization Barriers in LLM Code Fine-Tuning via Information Bottleneck for Improved Generalization
The OPTML Lab, Michigan State University（密歇根州立大学OPTML实验室）；Intel（英特尔）；IBM Research（IBM研究）
针对 LLM 代码监督微调中的记忆障碍，提出 IB-FT，通过信息瓶颈压缩隐藏表示中的记忆化虚假特征并保留任务信息，从而提升代码生成泛化与稳定性能。
2025-10-15 cs.LG cs.SE
On the Relevance-Complexity Region of Scalable Information Bottleneck
Sharif University of Technology（谢里夫理工大学）；Technical University of Munich（慕尼黑工业大学）；Universite Paris-Est（巴黎东部大学）
信息瓶颈方法是一种学习技术，通过在压缩复杂度（由最小描述长度测量）和对数损失度量下评估的失真之间进行适当的权衡，在准确性和泛化能力之间寻求正确的平衡。在本文中，我们研究的问题，称为可扩展的信息瓶颈，编码器输出多个描述的观察越来越丰富的功能。手头的问题是由一些应用场景引起的，这些应用场景需要根据所允许的泛化级别而改变准确度级别。首先，我们建立明确的（分析）的相关性复杂度区域的无记忆高斯源和无记忆二进制源的特征。然后，我们推导出一个Blahut-Arimoto型算法，使我们能够计算（近似）的一般离散源的区域。最后，在模式分类问题的应用实例提供了数值结果。
2020-11-02 cs.IT cs.LG math.IT
Deep Learning and the Information Bottleneck Principle
The Edmond and Lilly Safra Center for Brain Sciences, Hebrew University of Jerusalem（耶路撒冷希伯来大学埃德蒙与莉莉·萨夫拉脑科学中心）；School of Engineering and Computer Science, Hebrew University of Jerusalem（耶路撒冷希伯来大学工程与计算机科学学院）
深度神经网络（DNN）是通过信息瓶颈（IB）原理的理论框架进行分析的。我们首先证明了任何DNN都可以通过层与输入和输出变量之间的互信息来量化。使用这种表示，我们可以计算DNN的最佳信息论极限，并获得有限样本泛化界。接近理论极限的优点可以通过泛化界和网络的简单性来量化。我们认为，这两个最佳的架构，层数和功能/连接在每一层，有关的信息瓶颈权衡的分叉点，即，相对于输出层的输入层的相关压缩。分层网络中的分层表示自然对应于沿着信息曲线的结构相变。我们相信，这种新的见解可以带来新的最优性界限和深度学习算法。
2015-03-09 cs.LG
Is Value Learning Really the Main Bottleneck in Offline RL?
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
该研究针对离线RL性能常不及模仿学习的问题，通过实证分析发现策略提取算法选择和测试时策略泛化才是主要瓶颈，而非普遍认为的价值学习，并提出两种测试时策略改进方法提升性能。
2024-10-28 cs.AI cs.LG
TimeSieve: Extracting Temporal Dynamics through Information Bottlenecks
HKUST(GZ)（香港科技大学（广州））；Deep Interdisciplinary Intelligence Lab（深度跨学科智能实验室）
TimeSieve利用小波变换和信息瓶颈理论，无需手动调参即可提取多尺度时间动态并过滤冗余特征，在70%数据集上超越现有方法，提升预测准确性与泛化能力。
2024-08-21 cs.AI cs.LG
The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Hong Kong University of Science and Technology（香港科技大学）；Frontier Robotics（前沿机器人）
本文提出GOLD方法，通过轻量级适配器将特征投影到黄金子空间，并动态更新子空间以提升效率和稳定性，实验证明其在分类和分割任务中表现优异。
2026-03-23 cs.CV cs.LG
Statistically Valid Information Bottleneck via Multiple Hypothesis Testing
King’s College London（伦敦国王学院）
本文提出IB-MHT方法，通过多重假设检验为信息瓶颈问题提供统计有效解决方案，确保学习特征以高概率满足IB约束，在统计鲁棒性和可靠性上优于传统方法。
2024-10-10 cs.IT cs.LG math.IT
Learning Robust Representations via Multi-View Information Bottleneck
University of Amsterdam（阿姆斯特丹大学）；University of Exeter（埃克塞特大学）；Microsoft Research（微软研究院）；University of Tuebingen（蒂宾根大学）
信息瓶颈原理提供了一种用于表示学习的信息理论方法，通过训练编码器来保留与预测标签相关的所有信息，同时最小化表示中的其他多余信息的量。然而，原始公式需要标记数据来识别多余的信息。在这项工作中，我们将这种能力扩展到多视图无监督设置，其中提供了同一底层实体的两个视图，但标签是未知的。这使我们能够将多余的信息识别为两个视图不共享的信息。理论分析导致了一个新的多视图模型的定义，该模型在Sketchy数据集和MIR-Flickr数据集的标签限制版本上产生了最先进的结果。我们还利用标准的数据增强技术将我们的理论扩展到单视图设置，与表示学习的常见无监督方法相比，经验上显示出更好的泛化能力。
2020-02-18 cs.LG stat.ML
Meet You Halfway: Explaining Deep Learning Mysteries
Weizmann Institute of Science（魏茨曼科学研究所）
深度神经网络在各种学习任务中表现出色，具有最先进的结果。虽然这些模型具有高度的表达能力，并实现了令人印象深刻的准确解决方案，具有出色的泛化能力，但它们容易受到微小扰动的影响。遭受这种扰动的样本被称为“对抗样本”。尽管深度学习是一个广泛研究的领域，但有关深度学习模型本质的许多问题仍然没有答案。在本文中，我们引入了一个新的概念框架，附有正式的描述，旨在阐明网络的行为，并解释幕后的学习过程。我们的框架为有关深度学习的固有问题提供了解释。特别地，我们澄清：（1）为什么神经网络获得泛化能力？(2)为什么对抗性例子在不同的模型之间转移？我们提供了一套全面的实验，支持这个新的框架，以及它的基本理论。
2022-06-09 cs.CR cs.LG
Improving Unsupervised Domain Adaptation with Variational Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
领域自适应的目的是利用源域的监督信号，在标签不可用的情况下获得目标域的准确模型。为了利用和适应源域的标签信息，大多数现有方法采用特征提取函数，并在共享特征空间中匹配源域和目标域的边缘分布。本文从信息论的角度，证明了表示匹配实际上是对特征空间的一个不充分约束，以获得在目标域具有良好泛化性能的模型。然后，我们提出了变分瓶颈领域自适应（VBDA），一个新的领域自适应方法，提高了功能的可转移性，明确执行的特征提取器忽略任务无关的因素，并专注于信息，是必不可少的感兴趣的任务，为源和目标域。大量的实验结果表明，VBDA显着优于国家的最先进的方法在三个领域自适应基准数据集。
2019-11-21 cs.LG stat.ML
Chaining Meets Chain Rule: Multilevel Entropic Regularization and Training of Neural Nets
Princeton University（普林斯顿大学）；EPFL（洛桑联邦理工学院）
我们推导出的神经网络的泛化和过度风险的界限，使用一个家庭的复杂性措施的基础上，一个多级相对熵。通过引入神经网络的生成层次覆盖的概念并通过使用Asadi等人在NeurIPS'18中引入的链接互信息的技术来获得边界。由此产生的界限依赖于算法，并利用神经网络的多级结构。这反过来又导致了一个经验风险最小化问题的多级熵正则化。最小化问题的解决，通过引入一个多尺度的推广著名的吉布斯后验分布，证明派生的分布达到唯一的最小值。这导致了一种新的具有性能保证的神经网络训练过程，它利用了相对熵的链式规则，而不是导数的链式规则（如反向传播）。为了获得后者的有效实现，我们进一步开发了一个多层次的Metropolis算法模拟多尺度吉布斯分布，与实验的两层神经网络的MNIST数据集。
2019-06-26 cs.IT cs.LG math.IT
DRIBO: Robust Deep Reinforcement Learning via Multi-View Information Bottleneck
Boston University（波士顿大学）
深度强化学习（DRL）代理通常对训练环境中看不到的视觉变化敏感。为了解决这个问题，我们利用RL的顺序性来学习鲁棒的表示，该表示仅对基于无监督多视图设置的观察中的任务相关信息进行编码。具体来说，我们引入了一个新的对比版本的多视图信息瓶颈（MIB）的目标时间数据。我们用这个辅助目标从像素中训练RL代理，以学习鲁棒的表示，这些表示可以压缩与任务无关的信息，并预测与任务相关的动态。这种方法使我们能够训练高性能的策略，这些策略对视觉干扰是鲁棒的，并且可以很好地推广到看不见的环境。我们证明，当背景被自然视频取代时，我们的方法可以在DeepMind控制套件中的各种视觉控制任务上实现SOTA性能。此外，我们表明，我们的方法优于完善的基准推广到看不见的环境中的Procgen基准。我们的代码是开源的，可以在https：//github上找到。com/BU-DEPEND-Lab/DRIBO.
2022-07-14 cs.AI cs.LG
Towards understanding neural collapse in supervised contrastive learning with the information bottleneck method
University of Chicago（芝加哥大学）；Physics Frontier Center for Living Systems, University of Chicago（芝加哥大学物理前沿生命系统中心）
本文将神经崩溃建模为信息瓶颈（IB）问题，发现当其逼近最优IB解时能带来良好泛化能力，并揭示了K-单纯形ETF与IB相变及对比学习泛化能力的直接对应关系。
2024-06-26 cs.IT cs.LG math.IT
Differential Privacy Meets Federated Learning under Communication Constraints
Virginia Tech（弗吉尼亚理工大学）
联邦学习系统的性能受到通信代价和训练方差的影响。通信开销问题通常通过三种通信减少技术来解决，即模型压缩、部分设备参与和周期性聚合，代价是增加训练方差。与传统的分布式学习系统不同，联邦学习存在数据异构性（因为设备从可能不同的分布中采样数据），这会在训练期间引起设备之间的额外差异。各种降低方差的训练算法已经被引入来对抗数据异构性的影响，而它们通常需要额外的通信资源来提供必要的控制信息。此外，数据隐私仍然是FL中的一个关键问题，因此已经有人尝试将差分隐私引入该框架，作为效用和隐私要求之间的中介。本文从理论和实验上研究了资源受限联邦系统下通信成本和训练方差之间的权衡，以及通信减少技术如何在差分私有环境中相互作用。研究结果为设计实用的隐私感知联邦学习系统提供了重要的见解。
2021-01-28 cs.DC cs.LG
Generalization in Quantum Machine Learning: a Quantum Information Perspective
University of Florence（佛罗伦萨大学）；INFN Sezione di Firenze（意大利国家核物理研究院佛罗伦萨分部）；University of York（约克大学）
量子分类和假设检验是两个紧密相关的主题，主要区别在于前者是数据驱动的：如何将量子态$ρ(x)$分配给相应的类$c$（或假设）是在训练期间从示例中学习的，其中$x$可以是可调的实验参数或“嵌入”到量子态中的经典数据。该模型具有普适性吗？这是任何数据驱动策略的主要问题，即预测正确类的能力，即使是以前看不见的状态。在这里，我们建立了量子机器学习分类和量子假设检验（状态和通道鉴别）之间的联系，然后证明了量子分类器的准确性和泛化能力取决于量子状态空间$Q$和经典参数空间$X$或类空间$C$之间的（Rényi）互信息$I(C{:}Q)$和$I_2(X{:}Q)$。基于上述特征，然后我们展示了$Q$的不同属性如何影响分类准确性和泛化，例如希尔伯特空间的维度、噪声量以及来自$X$的被忽略的信息量，例如，池化层。此外，我们引入了量子版本的信息瓶颈原则，使我们能够探索准确性和泛化之间的各种权衡。最后，为了验证我们的理论预测，我们研究了伊辛自旋链的量子相位的分类，我们提出了变分量子信息瓶颈（VQIB）方法来优化经典数据的量子嵌入，以利于推广。
2021-08-06 cs.LG quant-ph stat.ML
