Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors
Tsinghua University（清华大学）；Beijing National Research Centre for Information Science and Technology（北京国家信息科学与技术研究中心）
针对多传感器强化学习中无关信息干扰的问题，提出多模态信息瓶颈模型，融合视觉与本体感受并过滤任务无关信息，提升样本效率和零样本噪声鲁棒性。
2024-10-23 cs.LG cs.RO
Learning Representations in Reinforcement Learning:An Information Bottleneck Approach
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
信息瓶颈原理是表示学习的一种优雅而有用的方法。在本文中，我们研究的强化学习的背景下，使用信息瓶颈框架的表示学习问题，旨在提高学习算法的样本效率。当输入状态是极高维的时，通过加速丢弃不相关信息的过程，我们解析推导出的最佳条件分布的表示，并提供了一个变分下界。然后，我们最大限度地利用Stein变分（SV）梯度方法的下限。我们将这个框架中的有利演员评论算法（A2 C）和近端策略优化算法（PPO）。实验结果表明，该框架能显著提高香草A2 C和PPO的样本效率。最后，我们研究了信息瓶颈（IB）的角度在深度RL与算法称为互信息神经估计（MINE）。我们通过实验验证了信息抽取-压缩过程也存在于深度强化学习中，并且我们的框架能够加速这一过程。我们还分析了MINE和我们的方法之间的关系，通过这种关系，我们从理论上推导出了一个算法来优化我们的IB框架，而无需构造下界。
2019-11-12 cs.AI cs.LG
Rule-Bottleneck Reinforcement Learning: Joint Explanation and Decision Optimization for Resource Allocation with Language Agents
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Google DeepMind（谷歌DeepMind）
针对深度RL策略缺乏透明度、语言智能体决策有效性不足的问题，提出RBRL框架，联合优化决策与解释，在真实场景中性能媲美深度RL且效率优于LLM微调，解释质量获提升。
2025-02-15 cs.AI cs.LG
Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对深度强化学习智能体的黑箱特性导致难以对齐与修正的问题，提出集成连续概念瓶颈层、可表示对象间关系的SCoBots，在保持性能的同时提升可解释性，还发现并解决了Pong游戏中未知的错位问题，实现更符合人类要求的智能体对齐。
2024-10-28 cs.LG cs.SC
Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization
Mila（米拉）；Google（谷歌）；National University of Singapore（新加坡国立大学）
矢量量化（VQ）是一种离散化潜在表示的方法，已成为深度学习工具包的主要组成部分。理论和经验表明，表示的离散化导致改进的泛化，包括在强化学习中，其中离散化可以用于瓶颈多智能体通信，以促进代理专业化和鲁棒性。大多数基于矢量量化的方法的离散化紧密度由表示矢量中的离散码的数量和码本大小定义，它们被固定为超参数。在这项工作中，我们建议学习动态选择离散化的输入条件下的紧密性，基于假设数据自然包含的复杂性，要求不同程度的代表性粗糙度的变化。我们表明，动态变化的紧密性的通信瓶颈可以提高模型的视觉推理和强化学习任务的性能。
2022-02-02 cs.AI cs.LG
Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning
提出一种在强化学习编码器特征中插入固定正交投影以约束低维子空间的简单先验，证明其在线性可实现性假设下保持表达能力，并在实验中显示价值表示可压缩至极低维度而不损失性能。
2026-07-07 cs.AI cs.LG
Viewpoint Optimization for Autonomous Strawberry Harvesting with Deep Reinforcement Learning
California Polytechnic State University（加州州立理工大学）
自动收获可能为美国草莓行业日益增加的劳动力压力提供一个可行的解决方案。然而，由于机器感知和经济可行性的瓶颈，一个有利可图的和商业上采用的草莓收获系统仍然难以捉摸。在这项研究中，我们探索了使用深度强化学习来克服这些瓶颈的可行性，并开发了一种实用的算法来解决视点优化的子目标，或者开发一种控制策略来引导相机到有利的有利位置进行自主收获。我们评估算法的性能在一个自定义的，开源的模拟环境，并观察到令人鼓舞的结果。经过训练的智能体产生的回报比随机行为高8.7倍，比我们使用视觉伺服的最佳基线策略快8.8%。视觉调查显示，智能体能够专注于有利的观点，尽管没有明确的方法来传播信息。总的来说，我们得出结论，深度强化学习是一个很有前途的研究领域，以推进最先进的自主草莓收获。
2019-05-02 cs.CV cs.LG cs.RO
RICE: Breaking Through the Training Bottlenecks of Reinforcement Learning with Explanation
Northwestern University（西北大学）；Presentation High School（普雷森特高中）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出RICE方案，通过解释方法识别关键状态并构造混合初始状态分布，突破深度强化学习训练瓶颈，并在多个环境和应用中验证其显著提升智能体性能。
2024-06-06 cs.AI cs.CR cs.LG
Scalable Deep Reinforcement Learning for Routing and Spectrum Access in Physical Layer
University of Toronto（多伦多大学）
提出了一种新的可扩展强化学习方法，用于无线自组织网络中同时路由和频谱接入。在以前大多数关于网络优化的强化学习的工作中，假设网络拓扑是固定的，并且为每个传输节点训练不同的代理-这限制了可扩展性和可推广性。此外，路由和频谱接入通常被视为单独的任务。此外，优化目标通常是沿着路线的累积度量，例如，跳数或延迟。在本文中，我们考虑了无线网络中的物理层信号与干扰加噪声比（SINR），并进一步表明，瓶颈目标，如沿路由的最小SINR，也可以使用强化学习进行有效优化。具体来说，我们提出了一个可扩展的方法，其中一个单一的代理与每个流，使路由和频谱访问决策，因为它沿着边界节点移动。该代理是根据环境的物理层特性进行训练，使用一种新的奖励计划的基础上的未来瓶颈SINR的蒙特卡罗估计。它通过基于相邻节点的地理位置信息智能地做出联合路由和频谱分配决策来学习避免干扰。
2021-09-15 cs.AI cs.LG cs.MA
Deep Variational Information Bottleneck
Google Research（谷歌研究院）
我们提出了一个变分近似的Tishby等人（1999）的信息瓶颈。这种变分方法允许我们使用神经网络参数化信息瓶颈模型，并利用重新参数化技巧进行有效的训练。我们称这种方法为“深度变分信息瓶颈”，或深度VIB。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用VIB目标训练的模型优于用其他形式的正则化训练的模型。
2019-10-23 cs.IT cs.LG math.IT
The HSIC Bottleneck: Deep Learning without Back-Propagation
Victoria University（维多利亚大学）
我们引入了训练深度神经网络的HSIC（Hilbert-Schmidt独立准则）瓶颈。HSIC瓶颈是传统交叉熵损失和反向传播的替代方案，具有许多明显的优点。它减轻了爆炸和消失的梯度，从而能够在不跳过连接的情况下学习非常深的网络。不需要对称反馈或更新锁定。我们发现，HSIC瓶颈提供性能的MNIST/FashionMNIST/CIFAR 10分类与反向传播的交叉熵目标，即使系统不鼓励使输出类似的分类标签。使用SGD（没有反向传播）训练的单层来重新格式化信息，进一步提高了性能。
2019-12-05 cs.LG stat.ML
On the Difference Between the Information Bottleneck and the Deep Information Bottleneck
University of Basel（巴塞尔大学）
通过用深度神经网络替换互信息项，将信息瓶颈模型与深度学习相结合，已被证明在从生成建模到解释深度神经网络的领域是成功的。在本文中，我们重新审视了深度变分信息瓶颈及其推导所需的假设。数据$X$、$Y$和它们的潜在表示$T$的两个假定属性采用两个马尔可夫链$T-X-Y$和$X-T-Y$的形式。在优化过程期间要求两者都保持可能限制潜在联合分布$P(X,Y,T)$的集合。因此，我们展示了如何规避这一限制，优化的下限$I(T;Y)$，只有后者的马尔可夫链得到满足。实际的互信息包括在实际中在DVIB和同源模型中优化的下限和测量违反前一要求$T-X-Y$的程度的两个术语。最后，我们建议解释家庭的信息瓶颈模型作为有向图形模型，并表明，在这个框架中的原始和深的信息瓶颈是一个基本的IB模型的特殊情况。
2019-12-31 cs.IT cs.LG math.IT
Learning Sparse Latent Representations with the Deep Copula Information Bottleneck
University of Basel（巴塞尔大学）
深度潜变量模型是表示学习的强大工具。在本文中，我们采用了深度信息瓶颈模型，找出其缺点，并提出了一个模型，规避他们。为此，我们应用Copula变换，通过恢复信息瓶颈方法的不变性，导致潜在空间中的特征的解纠缠。在此基础上，我们展示了这种转换如何转化为新模型中潜在空间的稀疏性。我们评估我们的方法对人工和真实数据。
2018-04-19 cs.LG stat.ML
Wide Neural Networks with Bottlenecks are Deep Gaussian Processes
University of Tennessee（田纳西大学）；Oak Ridge National Lab（橡树岭国家实验室）
最近有很多关于神经网络的“宽极限”的工作，其中贝叶斯神经网络（BNN）被证明收敛到高斯过程（GP），因为所有隐藏层都被发送到无限宽。然而，这些结果不适用于需要一个或多个隐藏层保持窄的架构。在本文中，我们考虑了BNN的宽限制，其中一些隐藏层，称为“瓶颈”，在有限的宽度举行。其结果是GP的组合，我们称之为“瓶颈神经网络高斯过程“（瓶颈NNGP）。虽然很直观，但证明的微妙之处在于表明，网络组合的广泛限制实际上是限制GP的组合。我们还从理论上分析了一个单瓶颈NNGP，发现瓶颈诱导的依赖性之间的输出的多输出网络，持续通过极端后瓶颈深度，并防止核心的网络失去歧视的权力在极端后瓶颈深度。
2020-07-06 cs.LG stat.ML
Unpacking Information Bottlenecks: Unifying Information-Theoretic Objectives in Deep Learning
OATML（牛津应用与理论机器学习小组）；University of Oxford（牛津大学）
信息瓶颈原理既提供了一种解释深度神经网络如何训练和泛化的机制，也提供了一个用于训练模型的正则化目标。然而，在文献中提出了多个竞争目标，并且对于大型深度神经网络，这些目标中使用的信息理论量难以计算，这反过来限制了它们作为训练目标的使用。在这项工作中，我们审查这些数量，并比较和统一以前提出的目标，这使我们能够开发更友好的替代目标优化，而不依赖于繁琐的工具，如密度估计。我们发现，这些代理目标，使我们能够应用到现代神经网络架构的信息瓶颈。我们展示了我们对MNIST，CIFAR-10和Imagenette与现代DNN架构（ResNets）的见解。
2021-01-05 cs.LG stat.ML
Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
引入基于矩阵的Renyi的$α$ -序熵泛函，利用神经网络对Tishby等的信息瓶颈原理进行参数化.我们称我们的方法为深度确定性信息瓶颈（DIB），因为它避免了变分推理和分布假设。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用DIB训练的深度神经网络优于变分目标对应物和用其他形式的正则化训练的深度神经网络。https://github.com/yuxi120407/DIB
2021-01-31 cs.IT cs.LG math.IT
Deep Learning and the Information Bottleneck Principle
The Edmond and Lilly Safra Center for Brain Sciences, Hebrew University of Jerusalem（耶路撒冷希伯来大学埃德蒙与莉莉·萨夫拉脑科学中心）；School of Engineering and Computer Science, Hebrew University of Jerusalem（耶路撒冷希伯来大学工程与计算机科学学院）
深度神经网络（DNN）是通过信息瓶颈（IB）原理的理论框架进行分析的。我们首先证明了任何DNN都可以通过层与输入和输出变量之间的互信息来量化。使用这种表示，我们可以计算DNN的最佳信息论极限，并获得有限样本泛化界。接近理论极限的优点可以通过泛化界和网络的简单性来量化。我们认为，这两个最佳的架构，层数和功能/连接在每一层，有关的信息瓶颈权衡的分叉点，即，相对于输出层的输入层的相关压缩。分层网络中的分层表示自然对应于沿着信息曲线的结构相变。我们相信，这种新的见解可以带来新的最优性界限和深度学习算法。
2015-03-09 cs.LG
Attentional Bottleneck: Towards an Interpretable Deep Driving Network
Waymo Research（Waymo研究院）
深度神经网络是自动驾驶汽车行为预测和运动生成的关键组成部分。它们的主要缺点之一是缺乏透明度：它们应该为触发某些行为的原因提供易于解释的理由。我们提出了一个架构称为注意力瓶颈的目标是提高透明度。我们的关键思想是将视觉注意力（识别模型正在使用输入的哪些方面）与信息瓶颈（使模型能够只使用输入的重要方面）相结合。这不仅提供了稀疏和可解释的注意力地图（例如，只关注场景中的特定车辆），而且它在不影响模型准确性的情况下增加了这种透明度。事实上，我们发现在将注意力瓶颈应用于ChauffeurNet模型时，准确性略有提高，而我们发现传统视觉注意力模型的准确性有所下降。
2020-05-08 cs.CV cs.LG cs.RO
How Does Information Bottleneck Help Deep Learning?
NUS（新加坡国立大学）；Columbia University（哥伦比亚大学）；Mila（米拉人工智能研究所）；University of Pennsylvania（宾夕法尼亚大学）
本文首次建立严格学习理论，将信息瓶颈与泛化误差数学关联，证明控制信息瓶颈可控制深度学习泛化误差，并通过实验验证其有效性。
2023-05-30 cs.AI cs.CL cs.CV
Information Removal at the bottleneck in Deep Neural Networks
LTCI, Télécom Paris（巴黎电信学院 LTCI）；Institut Polytechnique de Paris（巴黎理工学院）
深度学习模型如今被广泛部署，以解决各种各样的任务。通常，利用“大数据”的可用性，深度神经网络被训练为黑盒，最小化其输出的目标函数。然而，这并不允许控制一些特定特征通过模型的传播，如性别或种族，以解决一些不相关的任务。这在隐私领域（考虑到不需要的信息的传播）和偏见（考虑到这些功能可能用于解决给定的任务）中提出了问题。在这项工作中，我们提出了IRENE，一种在深度神经网络的瓶颈处实现信息移除的方法，该方法显式地最小化要保持“私有”的特征与目标之间的估计互信息。在合成数据集和CelebA上的实验验证了所提出方法的有效性，并为保证深度神经网络中信息去除的方法的发展开辟了道路。
2022-09-30 cs.AI cs.LG
Representation Learning in Deep RL via Discrete Information Bottleneck
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）；Beijing Institute of Technology（北京理工大学）；AMII（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；University of Montreal（蒙特利尔大学）；University of Virginia（弗吉尼亚大学）；Google DeepMind（谷歌DeepMind）；Microsoft Research NYC（微软研究院纽约分院）
本文提出RepDIB架构，利用变分和离散信息瓶颈学习因子化表示，以在强化学习中忽略任务无关信息并提升在线、离线及真实机器人任务的性能。
2023-05-31 cs.LG
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology（北京理工大学）
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理，以自监督的方式学习不同视图之间的共同信息，并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类（SIB-MSC）。继承了信息瓶颈的优点，SIB-MSC可以为每个视图学习潜在空间，通过从视图本身去除多余的信息，同时为其他视图的潜在表示保留足够的信息，来捕获不同视图的潜在表示之间的公共信息。实际上，每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外，SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息，通过引入互信息为基础的正则化条款，以便进一步提高多视图子空间聚类的性能。据我们所知，这是第一个工作，探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明，我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
A Critical Review of Information Bottleneck Theory and its Applications to Deep Learning
在过去的十年中，深度神经网络取得了前所未有的进步，并继续影响着当今社会的各个方面。随着高性能GPU的发展和大量数据的可用性，机器学习系统的学习能力已经飙升，从对图片中的数字进行分类到在游戏中击败世界冠军。然而，即使ML模型继续取得新的前沿，但由于缺乏对其内部工作原理的深入理论理解，它们的实际成功受到了阻碍。幸运的是，一种称为信息瓶颈理论的已知信息理论方法已经成为一种有前途的方法，可以更好地理解神经网络的学习动力学。原则上，IB理论将学习建模为数据压缩和信息保留之间的权衡。本调查的目的是提供一个全面的审查IB理论，涵盖其信息理论的根源和最近提出的应用程序来理解深度学习模型。
2021-05-11 cs.AI cs.LG
On the inductive bias of infinite-depth ResNets and the bottleneck rank
MIT Mathematics（麻省理工学院数学系）；Harvard CMSA（哈佛大学计算与社会科学中心）
本文通过计算深度线性ResNet的最小范数权重，揭示其归纳偏置介于核范数与秩之间，并据此证明在适当超参数下深度非线性ResNet倾向于最小化瓶颈秩。
2025-01-31 cs.AI cs.LG stat.ML
Visualizing Information Bottleneck through Variational Inference
New York University（纽约大学）
信息瓶颈理论为寻找近似最小充分统计量提供了一个理论和计算框架。对一个玩具问题的神经网络的随机梯度下降（SGD）训练的分析表明，存在两个阶段，拟合和压缩。在这项工作中，我们分析了深度神经网络在MNIST分类上的SGD训练过程，并确认了SGD训练的两个阶段的存在。我们还提出了一种通过变分推理估计深度神经网络的互信息的设置。
2022-12-24 cs.LG
Explaining a black-box using Deep Variational Information Bottleneck Approach
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）；Arizona State University（亚利桑那州立大学）
可解释的机器学习近年来受到了广泛的关注。在解释黑箱决策系统时，为了简明扼要地提供大量信息，简明和全面是必要的。然而，现有的可解释的机器学习方法未能同时考虑准确性和全面性，导致冗余解释。我们提出了变信息瓶颈的解释，VIBI，一个系统不可知的解释方法，提供了一个简短而全面的解释。VIBI采用信息理论原理，信息瓶颈原理，作为寻找这种解释的标准。对于每一个实例，VIBI选择的关键特征是最大限度地压缩了输入（准确性），并提供了关于黑盒系统对该输入所做决定的信息（全面性）。我们在三个数据集上评估了VIBI，并在通过人工和定量指标评估的可解释性和保真度方面与最先进的可解释机器学习方法进行了比较
2019-10-03 cs.LG stat.ML
Interpretable Deep Learning for Stock Returns: A Consensus-Bottleneck Asset Pricing Model
Department of Industrial and Management Engineering, POSTECH（POSTECH工业与管理工程系）；Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院）；Korea University Business School（韩国大学商学院）
本文提出共识-瓶颈资产定价模型，通过将分析师共识作为结构性瓶颈，提升模型预测准确性并锚定经济可解释驱动因素，发现基于该模型的组合具有稳健的收益梯度。
2026-04-24 cs.AI cs.LG q-fin.PR
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Adversarial Robustness of Bottleneck Injected Deep Neural Networks for Task-Oriented Communication
TU Wien（维也纳工业大学）
本文研究面向任务通信中采用信息瓶颈目标的DNN对抗鲁棒性，分析瓶颈深度、任务复杂度等的影响，指出生成式模型引入新漏洞，为下一代通信系统安全提供参考。
2024-12-13 cs.DC cs.LG cs.NI
Cause-Effect Deep Information Bottleneck For Systematically Missing Covariates
Harvard John A Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院，哈佛大学）；University of Basel（巴塞尔大学）
由于混杂因素的存在，从高维观测数据中估计干预措施的因果效应是困难的。由于在测试时我们的数据中可能有系统性的缺失，这项任务通常会变得复杂。我们的方法使用的信息瓶颈进行低维压缩的协变量，明确考虑的相关性的信息。基于充分减少的协变量，我们将相关信息转移到测试时数据缺失的情况下，使我们能够可靠准确地估计干预措施的效果，即使数据不完整。我们的结果因果推断基准和治疗败血症的实际应用表明，我们的方法达到了最先进的性能，而不牺牲可解释性。
2020-02-28 cs.LG stat.ML
Causal Information Bottleneck Boosts Adversarial Robustness of Deep Neural Network
Tongji University（同济大学）；SmartMore. Co. Ltd.（思谋科技有限公司）
信息瓶颈（IB）方法是深度学习中对抗对抗攻击的一种可行的防御方案。然而，该方法存在虚假相关性，限制了其对抗鲁棒性的进一步提高。在本文中，我们将因果推理到IB框架，以减轻这样的问题。具体来说，我们通过工具变量将IB方法获得的特征分为稳健特征（内容信息）和非稳健特征（风格信息）来估计因果效应。利用这种框架，可以减轻非鲁棒特征的影响，以增强对抗鲁棒性。最后对该方法的有效性进行了分析。在MNIST、FashionMNIST和CIFAR-10上的大量实验表明，该方法对多个对抗攻击具有相当的鲁棒性。我们的代码将被释放。
2022-10-25 cs.AI cs.CR cs.LG
Deep Supervised Information Bottleneck Hashing for Cross-modal Retrieval based Computer-aided Diagnosis
Huazhong University of Science and Technology（华中科技大学）；Guizhou Normal University（贵州师范大学）；Hubei University（湖北大学）
将X射线图像、放射学报告和其他医学数据映射为公共空间中的二进制代码，这可以帮助临床医生从异构模态（即，基于散列的跨模态医学数据检索），为促进计算机辅助诊断提供了新的视角。然而，仍然存在一个障碍，以提高医疗检索的准确性：如何揭示模糊的语义的医疗数据，而不分心的多余信息。为了克服这个缺点，我们提出了深度监督信息瓶颈哈希（DSIBH），它有效地增强了哈希码的可区分性。具体而言，针对单模态的深度确定性信息瓶颈（Yu，Yu和Principe 2021）被扩展到跨模态场景。这样就减少了多余的信息，从而提高了散列码的可鉴别性。实验结果表明，所提出的DSIBH相比，国家的最先进的跨模态医学数据检索任务的优越的准确性。
2022-05-06 cs.AI cs.CV cs.LG
COVID-19 Detection in Cough, Breath and Speech using Deep Transfer Learning and Bottleneck Features
Stellenbosch University（斯泰伦博斯大学）；SAMRC Centre for Tuberculosis Research（南非医学研究理事会结核病研究中心）
我们对迁移学习和瓶颈特征提取在从咳嗽、呼吸和语音的音频记录中检测COVID-19中的有效性进行了实验研究。这种类型的筛查是非接触式的，不需要专业的医疗知识或实验室设施，可以部署在廉价的消费硬件上。我们使用包含咳嗽，打喷嚏，语音和其他噪音记录但不包含COVID-19标签的数据集来预训练三个深度神经网络：CNN，LSTM和Resnet 50。这些预先训练的网络随后在迁移学习过程中使用带有COVID-19标签的咳嗽的较小数据集进行微调，或者用作瓶颈特征提取器。结果表明，通过这种迁移学习过程训练的Resnet 50分类器在所有数据集上提供了最佳或接近最佳的性能，所有三种声音类别（咳嗽，呼吸和语音）的受试者操作特征（ROC AUC）分别为0.98，0.94和0.92。这表明咳嗽携带最强的COVID-19特征，其次是呼吸和言语。我们的研究结果还表明，应用迁移学习并使用没有COVID-19标签的较大数据集提取瓶颈特征不仅提高了性能，而且还最小化了保留- $p$ -out交叉验证的外部折叠中分类器AUC的标准差，表明更好的泛化。我们的结论是，深度迁移学习和瓶颈特征提取可以改善COVID-19咳嗽，呼吸和语音音频分类，产生更高精度的自动分类器。
2021-08-18 cs.LG cs.SD eess.AS
OceanCBM: A Concept Bottleneck Model for Mechanistic Interpretability in Ocean Forecasting
University of California, Davis（加州大学戴维斯分校）；University of Washington（华盛顿大学）；NOAA Geophysical Fluid Dynamics Laboratory（国家海洋大气管理局流体动力学实验室）
本文提出OceanCBM，一种用于时空预测和海洋动力机制解释的概念瓶颈模型，通过混合监督预测混合层热含量，实现可解释且物理基础的表示。
2026-05-12 cs.LG
Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses
Department of Physics Emory University（埃默里大学物理系）；Departments of Physics and Biology Initiative in Theory and Modeling of Living Systems Emory University（埃默里大学物理与生物学理论与活体系统建模研究所）；Georgia Institute of Technology（佐治亚理工学院）
本研究提出深度变分多元信息瓶颈统一框架，推广多种变分降维方法，扩展beta-DVCCA并提出DVSIB新方法，实验验证其在多视图表示学习上的性能优势，为定制损失函数奠定基础。
2025-09-02 cond-mat.stat-mech cs.IT cs.LG
Where is the Bottleneck of Adversarial Learning with Unlabeled Data?
RIKEN（理化学研究所）
深度神经网络（DNN）由于对抗性样本而非常脆弱。为了增强DNN的鲁棒性，提出了对抗训练，这需要大规模但标记良好的数据。然而，对大规模数据进行良好的注释是相当昂贵的。为了弥补这一不足，一些开创性的工作正在利用大规模的未标记数据。在本文中，我们观察到，开创性的工作并没有表现良好，因为在未标记的数据上的伪标签的质量是相当差的，特别是当未标记的数据的量是显着大于标记的数据。我们认为伪标签的质量是使用未标记数据进行对抗学习的瓶颈。为了解决这个瓶颈，我们利用深度协同训练，它训练两个深度网络，并通过利用对等体的对抗性示例来鼓励两个网络分歧。基于深度协同训练，我们提出了用于对抗性学习的鲁棒协同训练（RCT）。我们在CIFAR-10和SVHN数据集上进行了全面的实验。实证结果表明，我们的RCT可以显着优于基线（例如，鲁棒自训练（Robust Self-Training，简称RSE））在标准测试精度和鲁棒测试精度w.r.t.不同的数据集，不同的网络结构，以及不同类型的对抗训练。
2019-11-20 cs.LG stat.ML
Drill the Cork of Information Bottleneck by Inputting the Most Important Data
深度学习已经成为过去十年中最强大的机器学习工具。然而，如何高效地训练深度神经网络仍有待彻底解决。广泛应用的小批量随机梯度下降算法（SGD）仍然需要加速。作为一个有前途的工具，以更好地了解学习动态的minibatch SGD，信息瓶颈（IB）理论声称，优化过程包括一个初始的拟合阶段和以下的压缩阶段。基于这一原则，我们进一步研究了典型性采样，这是一种有效的数据选择方法，并对它如何帮助加速深度网络的训练过程提出了新的解释。我们表明，在IB理论中描述的拟合相位将提升与梯度近似的高信噪比，如果适当地采用典型性采样。此外，这一发现也意味着训练集的先验信息对优化过程至关重要，更好地利用最重要的数据可以帮助信息更快地通过瓶颈。理论分析和实验结果的合成和真实世界的数据集证明了我们的结论。
2021-05-15 cs.LG
Tighter Bounds on the Information Bottleneck with Application to Deep Learning
Reichman University（赖希曼大学）；Tel-Aviv University（特拉维夫大学）
本文提出了一种新的更紧的信息瓶颈变分界，提升了以往受IB启发的DNN性能，并显著增强了分类器DNN的对抗鲁棒性。
2024-02-12 cs.AI cs.IT cs.LG
Aggregated Learning: A Deep Learning Framework Based on Information-Bottleneck Vector Quantization
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）；Beihang University（北京航空航天大学）
基于信息瓶颈（IB）的概念，我们制定了一个量化问题称为“IB量化”。我们表明IB量化等效于基于IB原则的学习。在这种等价性下，标准神经网络模型可以被看作是标量（单样本）IB量化器。从传统的率失真理论可知，标量量化器劣于矢量（多样本）量化器。这样的缺陷，然后启发我们开发一种新的学习框架，AgrLearn，对应于矢量IB量化器的学习与神经网络。与标准网络不同，AgrLearn同时针对多个数据样本进行优化。我们通过实验验证了AgrLearn在应用于当前几种用于图像识别和文本分类的深度学习架构时可以带来显著的改进。我们还通过经验证明，AgrLearn可以减少ResNet训练所需的训练样本的80%。
2019-02-12 cs.AI cs.IT cs.LG
The Interaction Bottleneck of Deep Neural Networks: Discovery, Proof, and Modulation
Xi’an Jiaotong University（西安交通大学）；Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
本文发现深度神经网络在不同上下文复杂度下对交互的表示存在瓶颈，通过理论证明和实验验证，揭示中阶交互的难以学习，并提出通过损失函数调节交互阶数以提升模型性能。
2025-12-21 cs.AI cs.LG
Implicit Acceleration and Feature Learning in Infinitely Wide Neural Networks with Bottlenecks
Apple（苹果公司）；MSR（微软研究院）
我们分析了无限宽神经网络的学习动力学与有限大小的瓶颈。与神经切线核限制不同，无限宽度网络中的瓶颈允许在其瓶颈表示中进行数据相关特征学习。我们的经验表明，与纯粹的有限网络相比，无限网络中的单个瓶颈大大加快了训练速度，并提高了整体性能。我们讨论的加速现象，通过绘制相似的无限宽深的线性模型，其中的瓶颈的加速效应可以从理论上理解。
2021-07-02 cs.LG
Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines
Technical University of Munich（慕尼黑工业大学）；University of Toronto（多伦多大学）
深度学习中的预处理管道旨在提供足够的数据吞吐量，以保持训练过程忙碌。随着训练过程的吞吐量随着硬件创新（例如，更快的GPU、TPU和互连）以及高级并行化技术，这些技术可带来更好的可扩展性。与此同时，为了训练日益复杂的模型所需的训练数据量正在增长。由于这种发展，数据预处理和供应正在成为端到端深度学习管道中的严重瓶颈。在本文中，我们对来自四个不同机器学习领域的数据预处理管道进行了深入分析。我们引入了一个新的视角来有效地为端到端深度学习管道准备数据集，并提取各个权衡来优化吞吐量、预处理时间和存储消耗。此外，我们提供了一个开源的分析库，可以自动决定一个合适的预处理策略，以最大限度地提高吞吐量。通过将我们生成的见解应用于现实世界的用例，与未调优的系统相比，我们获得了3倍至13倍的吞吐量，同时保持管道功能相同。这些发现显示了数据管道调优的巨大潜力。
2022-03-25 cs.DC cs.LG cs.PF
QBFF: Deep Quantum Bottleneck for Automatic Speaker Verification Anti-Spoofing
Brno University of Technology（布尔诺理工大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）；NYUAD Research Institute（纽约大学阿布扎比研究院）；University of Southern Denmark（南丹麦大学）
该研究提出 QBFF 模型，将压缩语音表示经 8 量子比特变分电路作为瓶颈，在 IBM 量子处理器上实现了首个反 spoof 流水线，可提升语音检测的分数可靠性，性能增益随评估设置变化。
2026-10-14 cs.LG quant-ph
Information Bottleneck and its Applications in Deep Learning
Sharif University of Technology（谢里夫理工大学）
信息论（IT）在机器学习（ML）领域的早期就已经被用于该领域。在过去的十年中，深度神经网络（DNN）的进步在ML的许多应用中带来了令人惊讶的改进。其结果是社区中的范式转变，在这个新框架中重新审视以前的想法和应用程序。来自IT的想法也不例外。信息瓶颈（Information Bottleneck，IB）是一种基于信息技术的信息抽取方法，在分析和改进DNN方面有着广阔的应用前景。本次调查的目的是回顾IB概念并展示其在深度学习中的应用。IB的信息论性质使其也成为展示如何在ML中使用IT的更一般概念的良好候选者。在关于这个主题的叙述中强调了两个重要的概念，i）IT提供了对ML的看似无关的方法的简洁和普遍的看法，通过解释IB如何与最小充分统计，随机梯度下降和变分自动编码器相关来证明，ii）应用IT的想法引起的常见技术错误和问题，这是通过仔细研究最近的一些方法从他们遭受讨论。
2019-04-07 cs.IT cs.LG math.IT
Supervised Auto-Encoding Twin-Bottleneck Hashing
University of Geneva（日内瓦大学）
该研究将自编码双瓶颈哈希推广为监督深度哈希网络，融入标签信息并处理类别不平衡，在三个数据集上取得显著改进。
2023-06-19 cs.LG
Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness
Northeastern University（东北大学）
我们研究了HSIC（Hilbert-Schmidt独立准则）瓶颈作为学习对抗鲁棒深度神经网络分类器的正则化器。除了通常的交叉熵损失外，我们还为每个中间层添加正则化项，以确保潜在表示保留输出预测的有用信息，同时减少冗余信息。我们证明了HSIC瓶颈增强了对对抗攻击的鲁棒性。特别是，我们证明了HSIC瓶颈正则化器降低了分类器对对抗性示例的敏感性。我们在多个基准数据集和架构上的实验表明，结合HSIC瓶颈正则化器可以获得具有竞争力的自然准确性，并提高对抗性鲁棒性，无论在训练过程中是否有对抗性示例。我们的代码和对抗性强大的模型是公开的。
2021-10-26 cs.LG
From Images to Probabilistic Anatomical Shapes: A Deep Variational Bottleneck Approach
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah（犹他大学）
直接从3D医学图像进行统计形状建模（SSM）是一种未充分利用的工具，用于检测病理、诊断疾病和进行群体级形态学分析。深度学习框架通过减少传统SSM工作流程中专家驱动的手动和计算开销，提高了在医疗实践中采用SSM的可行性。然而，将这样的框架转化为临床实践需要校准的不确定性度量，因为神经网络可以产生在敏感的临床决策中不能信任的过度自信的预测。用于预测具有任意（数据相关）不确定性的形状的现有技术利用与模型训练隔离地计算的基于主成分分析（PCA）的形状表示。该约束将学习任务限制为仅从3D图像估计预定义的形状描述符，并且在该形状表示和输出之间强加线性关系（即，形状）空间。在本文中，我们提出了一个原则性的框架的基础上变分信息瓶颈理论放松这些假设，同时预测解剖结构的概率形状直接从图像中没有监督编码的形状描述符。在这里，潜在表示是在学习任务的上下文中学习的，从而产生更可扩展、更灵活的模型，可以更好地捕捉数据的非线性。此外，该模型是自正则化的，并且在给定有限的训练数据的情况下更好地泛化。我们的实验表明，所提出的方法提供了更高的精度和更好的校准任意不确定性估计比国家的最先进的方法。
2022-05-13 cs.CV cs.LG
End-to-End Training Induces Information Bottleneck through Layer-Role Differentiation: A Comparative Analysis with Layer-wise Training
The University of Tokyo（东京大学）
本文通过与逐层训练对比，发现端到端训练因能高效传播信息并促使层级角色分化，使最终表示遵循信息瓶颈原则，揭示了层间协同交互对深度学习信息瓶颈分析的重要性。
2024-05-31 cs.LG
Data-driven detector signal characterization with constrained bottleneck autoencoders
University of Geneva（日内瓦大学）
高能物理学中的一种常见技术是通过调谐到数据的模型来表征探测器的响应，所述模型建立从系统的物理参数到探测器的预期信号的参数映射。当基础模型未知时，很难应用这种方法，并且通常会进行简化假设，从而引入建模误差。在本文中，我们使用波形玩具模型来展示如何使用约束瓶颈自动编码器形式的深度学习来直接从数据中学习底层未知的检测器响应模型。结果表明，即使信号受到随机噪声的显著影响，也可以实现优异的性能结果。训练后的算法可以同时用于对模型的物理参数进行估计，以高保真度模拟检测器响应并对检测器信号进行降噪。
2022-04-27 cs.LG hep-ex physics.ins-det
A Generalized Information Bottleneck Theory of Deep Learning
Department of Computer Science, University College London（计算机科学系，伦敦大学学院）；Centre for Artificial Intelligence, University College London（人工智能中心，伦敦大学学院）；University of Bologna（博洛尼亚大学）
本文提出广义信息瓶颈理论，通过协同性视角改进传统信息瓶颈理论，提升深度学习模型的泛化能力和对抗鲁棒性。
2026-01-30 cs.IT cs.LG math.IT
Relational Concept Bottleneck Models
Università della Svizzera Italiana（瑞士意大利语大学）；University of Cambridge（剑桥大学）；Scuola Normale Superiore（高等师范学院）；Politecnico di Torino（都灵理工大学）；University of Siena（锡耶纳大学）；KU Leuven（鲁汶大学）
针对关系学习缺乏可解释深度模型的问题，提出 R-CBMs，统一表示 CBMs 与消息传递 GNNs，并在图像分类和知识图谱链接预测中实现相当性能、概念解释、测试时干预及鲁棒性。
2024-10-25 cs.AI cs.LG cs.NE
Understanding Learning Dynamics of Binary Neural Networks via Information Bottleneck
IIT Madras（印度理工学院马德拉斯分校）
紧凑的神经网络对于经济实惠且节能的深度学习解决方案至关重要。二进制神经网络（BNN）通过将权重和激活约束到两个级别（$\{+1, -1\}$），将紧致化发挥到极致。然而，由于激活函数的不连续性，训练BNN并不容易，并且BNN的训练动力学还没有得到很好的理解。在本文中，我们提出了一个信息论的角度来看，BNN的训练。我们通过信息瓶颈原理分析BNN，并观察到BNN的训练动态与深度神经网络（DNN）的训练动态有很大不同。虽然DNN具有单独的经验风险最小化和表示压缩阶段，但我们的数值实验表明，在BNN中，这两个阶段是同时进行的。由于BNN的表达能力较低，它们倾向于在标签拟合的同时找到有效的隐藏表示。多个数据集的实验支持这些观察结果，我们看到BNN中不同激活函数的行为一致。
2020-06-13 cs.LG stat.ML
The Distributed Information Bottleneck reveals the explanatory structure of complex systems
University of Pennsylvania（宾夕法尼亚大学）；The Santa Fe Institute（圣塔菲研究所）
科学的成果是通过近似的方式使人们可以理解的关系。虽然深度学习是在数据中发现关系的一种非常强大的方法，但它在科学中的应用一直受到理解学习关系的困难的阻碍。信息瓶颈（IB）是一种信息理论框架，用于理解输入和输出之间的关系，在近似关系的保真度和复杂性之间的权衡。在这里，我们展示了一个关键的修改-在输入的多个组件中分配瓶颈-为科学中可解释的深度学习开辟了新的途径。分布式信息瓶颈抑制了输入组件之间交互的下游复杂性，将关系解构为通过深度学习找到的有意义的近似值，而不需要定制的数据集或神经网络架构。应用到一个复杂的系统中，近似值通过限制-和监控-有关纳入近似值的不同组件的信息来阐明系统性质的各个方面。我们证明了分布式IB的解释效用的应用数学和凝聚态物理系统绘制。在前者中，我们解构一个布尔电路的近似，隔离的输入组件，而不需要穷举搜索的信息量最大的子集。在后者中，我们本地化的剪切玻璃的静态结构中的未来的塑料重排的信息，并发现该信息或多或少的扩散取决于系统的准备。通过近似的原则方案，分布式IB为深度学习带来了急需的可解释性，并通过系统实现了前所未有的信息流分析。
2022-04-15 cond-mat.soft cs.IT cs.LG
Winner-Take-All bottlenecks enforce disentangled symbolic representations in multi-task learning
Institute of Machine Learning and Neural Computation（机器学习与神经计算研究所）；Graz University of Technology（格拉茨技术大学）；Graz, Austria（奥地利格拉茨）
本文研究了赢家通吃瓶颈在多任务学习中强制提取数据类别潜在因素的作用，证明了其产生的表示具有高度符号性，并通过实验验证了其在一般化中的优势。
2026-07-03 cs.LG
