BinBert: Binary Code Understanding with a Fine-tunable and Execution-aware Transformer
Sapienza University of Rome（罗马第一大学）
二进制代码分析的最近趋势促进了基于指令嵌入模型的神经解决方案的使用。指令嵌入模型是将汇编指令序列转换为嵌入向量的神经网络。如果嵌入网络经过训练，使得从代码到向量的转换部分地保留了语义，则网络有效地表示汇编代码模型。在本文中，我们提出了BinBert，一种新的汇编代码模型。BinBert构建在一个Transformer上，该transformer在一个包含汇编指令序列和符号执行信息的巨大数据集上进行了预训练。BinBert可以应用于汇编指令序列，并且它是可微调的，即它可以作为任务特定数据的神经架构的一部分进行重新训练。通过微调，BinBert学习如何将预训练获得的一般知识应用于特定任务。我们在一个多任务基准上评估了BinBert，该基准是我们专门设计来测试对汇编代码的理解的。基准测试由几个任务组成，其中一些来自文献，还有一些我们设计的新任务，以及内在和下游任务的混合。我们的研究结果表明，BinBert优于最先进的二进制指令嵌入模型，提高了二进制代码理解的标准。
2022-08-13 cs.CR cs.LG
When Better Eyes Lead to Blindness: A Diagnostic Study of the Information Bottleneck in CNN-LSTM Image Captioning Models
Independent Researcher（独立研究者）
本文通过从Genesis到Nexus的五个CNN-LSTM图像描述模型的迭代开发，揭示仅升级视觉骨干而不引入注意力机制会因单向量信息瓶颈导致性能下降，最终Nexus在MS COCO 2017上以BLEU-4 31.4验证了注意力机制的必要性。
2025-08-20 cs.AI cs.CV cs.LG
Bayesian Generalization Error in Linear Neural Networks with Concept Bottleneck Structure and Multitask Formulation
Aisin Corporation（爱信公司）
概念瓶颈模型（CBM）是一种普遍存在的用概念解释神经网络的方法。在CBM中，概念作为可观察值插入到输出层和最后一个中间层之间。这有助于理解神经网络生成输出背后的原因：权重对应于从最后一个隐藏层到输出层的概念。然而，由于神经网络一般是一个奇异的统计模型，因此还不可能理解CBM中泛化误差的行为。当模型为奇异时，无法创建从参数到概率分布的一对一映射。这种不可识别性使得分析泛化性能变得困难。在这项研究中，我们从数学上澄清了贝叶斯泛化误差和自由能的CBM时，其结构是三层线性神经网络。我们还考虑了一个多任务的问题，神经网络的输出不仅是原始的输出，但也的概念。结果表明，与标准版本相比，CBM极大地改变了三层线性神经网络中参数区域的行为和贝叶斯泛化误差，而多任务模型则没有.
2023-03-16 cs.AI cs.LG math.ST
Decoding of Non-Binary LDPC Codes Using the Information Bottleneck Method
Hamburg University of Technology（汉堡工业大学）
近年来，一种基于查找表的二进制低密度校验码译码方法引起了广泛的关注。在该方法中，互信息最大化查找表取代了消息传递解码中变量节点和校验节点的传统操作。此外，交换的消息由具有非常小的位宽的整数表示。一个机器学习框架称为信息瓶颈方法被用来设计相应的查找表。在本文中，我们将这种译码原理从二进制扩展到非二进制码。这不是一个简单的扩展，但需要一个更复杂的查找表设计，以应付高阶伽罗瓦域的算术。所提供的比特出错率仿真表明，我们提出的方案优于对数最大译码算法，并接近和积译码。
2019-10-23 cs.IT cs.LG math.IT
Understanding over-squashing and bottlenecks on graphs via curvature
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；Twitter（推特）
本文通过引入新的边组合曲率，精确刻画了GNN中的过度压缩现象，证明负曲率边是瓶颈根源，并提出基于曲率的图重连方法以缓解该问题。
2026-10-06 cs.LG stat.ML
On the Cardinality of Optimal Representations in the Binary-Source Information Bottleneck
The University of Hong Kong（香港大学）；McMaster University（麦克马斯特大学）
本文证明在二元源信息瓶颈中，最优表示可取二元符号，将经典基数上界从|X|+1加强为|X|，并利用分离超平面与熵函数二阶导数比值的凹性完成证明。
2026-10-06 cs.IT cs.LG math.IT
Adaptive Test-Time Intervention for Concept Bottleneck Models
Columbia University（哥伦比亚大学）；UC Berkeley（加州大学伯克利分校）
针对概念瓶颈模型（CBM）中概念使用存在黑箱或性能牺牲的问题，提出FIGS-BD方法，通过二元蒸馏将CBM的概念-目标部分转化为可解释树模型，保持性能的同时实现归因解释，并在4个数据集上通过自适应测试时干预显著提升人在环场景的性能。
2025-04-14 cs.LG
The Multi-layer Information Bottleneck Problem
Imperial College London（伦敦帝国学院）；CentraleSupélec-CNRS-Université Paris-Sud（中央理工-高等电力学院-法国国家科学研究中心-巴黎南大学）
多层信息瓶颈（IB）的问题，其中信息传播（或连续细化）从层到层，被认为是。基于前一层转发的信息，网络的每个阶段都需要保持与特定隐藏变量的一定程度的相关性，并通过互信息量化。隐变量和源可以任意相关。相关率和压缩率（或复杂度）之间的最佳权衡是通过单字母表征获得的，称为速率相关区域。给出了连续可加细的条件。证明了BSC隐变量的二元信源和BSC/BEC混合隐变量的二元信源都是逐次可加细的。我们进一步将结果推广到高斯模型。还提供了连续可加细性的一个反例。
2017-11-14 cs.IT cs.LG math.IT
Supervised Auto-Encoding Twin-Bottleneck Hashing
University of Geneva（日内瓦大学）
该研究将自编码双瓶颈哈希推广为监督深度哈希网络，融入标签信息并处理类别不平衡，在三个数据集上取得显著改进。
2023-06-19 cs.LG
Reliable Estimation of Individual Treatment Effect with Causal Information Bottleneck
KAIST（韩国科学技术院）；AItrics
从观察数据中估计个体水平治疗效应（ITE）是因果机器学习中一个具有挑战性和重要性的领域，并且通常在各种关键任务应用中被考虑。在本文中，我们提出了一个信息理论的方法，以找到更可靠的表示估计ITE。我们利用信息瓶颈（IB）原则，该原则解决了简洁性和表示的预测能力之间的权衡。随着因果信息瓶颈的扩展图形模型的引入，我们鼓励学习表示和治疗类型之间的独立性。我们还从理解半监督学习框架中的ITE的角度引入了一种额外形式的正则化器，以确保更可靠的表示。实验结果表明，我们的模型达到了最先进的结果，并表现出更可靠的预测性能与现实世界的数据集上的不确定性信息。
2019-06-07 cs.LG stat.ML
Auto-Encoding Twin-Bottleneck Hashing
Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）；University of Electronic Science and Technology of China（电子科技大学）
传统的无监督哈希方法通常利用相似图，这些相似图要么是在高维空间中预先计算的，要么是从随机锚点获得的。一方面，现有的方法将散列函数学习和图构造的过程解耦。另一方面，基于原始数据经验构建的图可能会引入有偏见的数据相关性先验知识，导致次优检索性能。在本文中，我们解决了上述问题，提出了一个有效的和自适应的代码驱动图，这是更新的自动编码器的上下文中的解码。具体来说，我们在框架中引入了两个瓶颈（即，潜在变量）协作地交换关键信息。一个瓶颈（即，二进制代码）将由代码驱动图捕获的高级固有数据结构传送到另一个（即，用于低级别细节信息的连续变量），其又传播更新的网络反馈以供编码器学习更多有区别的二进制码。自动编码学习目标从字面上奖励代码驱动图学习最佳编码器。此外，所提出的模型可以简单地优化梯度下降，而不违反二进制约束。在基准数据集上的实验清楚地表明了我们的框架优于最先进的哈希方法。我们的源代码可以在https://github.com/ymcidence/TBH上找到。
2020-03-16 cs.CV cs.LG
Intervening in Black Box: Concept Bottleneck Model for Enhancing Human Neural Network Mutual Understanding
Xidian University（西安电子科技大学）；KTH Royal Institute of Technology（皇家理工学院）；Donghai Laboratory（东海实验室）
提出CBM-HNMU，利用概念瓶颈模型近似黑盒推理，自动识别并修正有害概念，蒸馏回原模型，在多个数据集上提升准确率，增强可解释性。
2025-09-24 cs.CV cs.HC cs.LG
An Analysis of Concept Bottleneck Models: Measuring, Understanding, and Mitigating the Impact of Noisy Annotations
POSTECH
本文提出了一种两阶段框架，通过尖锐性感知训练和不确定性校正来缓解概念瓶颈模型中噪声标注的影响，提升模型的鲁棒性和可解释性。
2026-01-30 cs.AI cs.LG
A Tool Bottleneck Framework for Clinically-Informed and Interpretable Medical Image Understanding
California Institute of Technology（加州理工学院）；Stanford University（斯坦福大学）
针对医学图像理解中工具组合难的问题，提出工具瓶颈框架（TBF），利用工具瓶颈模型（TBM）组合VLM选择的工具，通过神经网络计算融合工具输出，在组织病理学和皮肤病学任务中表现出色，提升医学图像理解且使预测更具可解释性。
2026-07-10 cs.CV cs.LG
Layer-wise Learning of Stochastic Neural Networks with Information Bottleneck
Ulsan National Institute of Science and Technology（蔚山科学技术院）
信息瓶颈（IB）是率失真理论的推广，它自然地结合了压缩和相关性权衡学习。虽然原始的IB已经被广泛研究，但对于更适合神经网络的多个瓶颈还没有太多的了解。在这项工作中，我们提出了信息多瓶颈（IMBs）作为IB的扩展到多个瓶颈，它有一个直接的应用程序来训练神经网络，考虑层作为多个瓶颈和权重参数化的编码器和解码器。我们表明，多重最优的IMB是不能同时实现的随机编码器。因此，我们提出了一个简单的妥协计划IMB，这反过来又推广了最大似然估计（MLE）的背景下，随机神经网络的原则。我们在MNIST和CIFAR10中证明了IMB在分类任务和对抗鲁棒性上的有效性。
2019-10-06 cs.LG
Laplace-HDC: Understanding the geometry of binary hyperdimensional computing
Oregon State University（俄勒冈州立大学）
本文研究了二值超维度计算（HDC）的几何性质，发现Laplace核在HDC绑定算子中自然出现，据此提出了改进的Laplace-HDC编码方法，并通过实验验证了其在准确性、鲁棒性及平移等变编码方面的优势。
2024-04-26 cs.LG math.PR stat.ML
Why is prompting hard? Understanding prompts on binary sequence predictors
Google DeepMind（谷歌DeepMind）
本文探讨了二进制序列预测器上提示的挑战，通过实验揭示了预训练分布对最优提示识别的影响，并分析了前沿模型中提示的统计和经验模式。
2026-05-11 cs.CL cs.LG stat.ML
Understanding Variational Autoencoders with Intrinsic Dimension and Information Imbalance
CY Tech；Area Science Park（区域科学园）
本文利用内在维度和信息不平衡分析VAE隐藏表示，揭示瓶颈尺寸超过数据ID时的行为转变及两阶段训练，为架构搜索和欠拟合诊断提供新工具。
2024-11-04 cs.AI cs.LG stat.ML
On the Relevance-Complexity Region of Scalable Information Bottleneck
Sharif University of Technology（谢里夫理工大学）；Technical University of Munich（慕尼黑工业大学）；Universite Paris-Est（巴黎东部大学）
信息瓶颈方法是一种学习技术，通过在压缩复杂度（由最小描述长度测量）和对数损失度量下评估的失真之间进行适当的权衡，在准确性和泛化能力之间寻求正确的平衡。在本文中，我们研究的问题，称为可扩展的信息瓶颈，编码器输出多个描述的观察越来越丰富的功能。手头的问题是由一些应用场景引起的，这些应用场景需要根据所允许的泛化级别而改变准确度级别。首先，我们建立明确的（分析）的相关性复杂度区域的无记忆高斯源和无记忆二进制源的特征。然后，我们推导出一个Blahut-Arimoto型算法，使我们能够计算（近似）的一般离散源的区域。最后，在模式分类问题的应用实例提供了数值结果。
2020-11-02 cs.IT cs.LG math.IT
Understanding the Loss Surface of Neural Networks for Binary Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Facebook Research（脸书研究院）
普遍认为，用于神经网络的训练算法之所以成功，是因为所有局部最小值导致类似的性能，例如参见（LeCun et al.，2015年，Choromanska等人，2015年，Dauphin等人，2014年）。性能通常用两个指标来衡量：训练性能和泛化性能。在这里，我们专注于训练性能的单层神经网络的二进制分类，并提供条件下，训练误差是零的光滑铰链损失函数的所有局部极小值。我们的条件大致如下：神经元必须是严格凸的，代理损失函数应该是铰链损失的光滑版本。我们还提供了反例来说明，当损失函数被二次损失或逻辑损失所取代时，结果可能不成立。
2018-03-05 cs.AI cs.LG stat.ML
Causal Effect Estimation using Variational Information Bottleneck
Beijing Institute of Technology（北京理工大学）；University of Aberdeen（阿伯丁大学）
因果推理是在因果关系中估计干预措施的因果效应。确切地说，在一个二元干预的因果模型中，即，控制和治疗，因果效应只是事实和反事实之间的差异。困难在于，可能永远得不到必须估计的反事实，因此因果效应只能是一种估计。估计反事实的关键挑战是识别影响结果和治疗的混杂因素。一种典型的方法是将因果推理公式化为监督学习问题，从而可以预测反事实。包括线性回归和深度学习模型在内，最近的机器学习方法已经适用于因果推理。本文提出了一种基于变分信息瓶颈（CEVIB）的因果效应估计方法。有希望的一点是，VIB能够自然地从数据中提取混杂变量，这使得能够通过使用观察数据来估计因果效应。我们将CEVIB与其他方法进行了比较，将它们应用于三个数据集，表明我们的方法取得了最佳性能。我们还通过实验证明了我们方法的鲁棒性。
2022-07-16 cs.LG
Hierarchical binary CNNs for landmark localization with limited resources
University of Nottingham（诺丁汉大学）
我们的目标是设计架构，保留里程碑定位的卷积神经网络（CNN）的突破性性能，同时是轻量级的，紧凑的，适用于计算资源有限的应用程序。为此，我们做出了以下贡献：（a）我们是第一个研究神经网络二值化对定位任务，即人体姿态估计和人脸对齐的影响。我们详尽地评估各种设计选择，确定性能瓶颈，更重要的是提出多种正交方法来提高性能。(b)基于我们的分析，我们提出了一种新的层次化，并行和多尺度的残差架构，在具有相同数量的参数的同时，比标准瓶颈块产生大的性能改善，从而弥合了原始网络与其二进制化对应物之间的差距。(c)我们进行了大量的消融研究，阐明了拟议的块的属性和性能。(d)我们目前的实验结果对最具挑战性的数据集的人体姿态估计和人脸对齐，在许多情况下，最先进的性能报告。(e)我们进一步提供了额外的结果的面部分割的问题。代码可从https://www.adrianbulat.com/binary-cnn-landmark下载
2018-08-14 cs.AI cs.CV cs.LG
Towards understanding neural collapse in supervised contrastive learning with the information bottleneck method
University of Chicago（芝加哥大学）；Physics Frontier Center for Living Systems, University of Chicago（芝加哥大学物理前沿生命系统中心）
本文将神经崩溃建模为信息瓶颈（IB）问题，发现当其逼近最优IB解时能带来良好泛化能力，并揭示了K-单纯形ETF与IB相变及对比学习泛化能力的直接对应关系。
2024-06-26 cs.IT cs.LG math.IT
Understanding weight-magnitude hyperparameters in training binary networks
Delft University of technology（代尔夫特理工大学）；Axelera AI
二进制神经网络（BNN）通过使用二进制权重而不是实值权重来实现紧凑和高效。目前的BNN在训练过程中使用潜在的实值权重，其中几个训练超参数是从实值网络继承的。这些超参数中的几个的解释是基于实值权重的大小。然而，对于BNN，二进制权重的大小没有意义，因此不清楚这些超参数实际上是什么。一个例子是权重衰减，其目的是保持实值权重的大小较小。其他示例是潜在权重初始化、学习率和学习率衰减，其影响实值权重的大小。该幅值对于实值权重是可解释的，但对于二进制权重失去其意义。在本文中，我们提供了一个新的解释，这些基于幅度的超参数的基础上高阶梯度滤波在网络优化。我们的分析使得有可能理解基于幅度的超参数如何影响二进制网络的训练，这允许专门为二进制神经网络设计的新的优化过滤器，这些过滤器独立于它们的实值解释。此外，我们改进的理解减少了超参数的数量，这反过来又减轻了超参数调整的工作，这可能会导致更好的超参数值，以提高精度。代码可在https://github.com/jorisquist/Understanding-WM-HP-in-BNNs上获得
2023-03-04 cs.CV cs.LG
Bottleneck Problems: Information and Estimation-Theoretic View
Harvard University（哈佛大学）
信息瓶颈（IB）和隐私漏斗（PF）是两个密切相关的优化问题，它们已经在机器学习、隐私算法的设计、容量问题（例如，格伯夫人引理），强数据处理不等式，等等。在这项工作中，我们首先调查IB和PF的功能特性，通过一个统一的理论框架。然后，我们将它们连接到三个信息理论的编码问题，即假设检验对独立性，噪声信源编码和依赖稀释。利用这些连接，我们证明了一个新的基数界的辅助变量在IB，使其计算更易于处理的离散随机变量。在第二部分中，我们介绍了一个一般的家庭的优化问题，称为\textit{bottleneck problems}，取代互信息在IB和PF与其他概念的互信息，即$f$ -信息和Arimoto的互信息。然后，我们认为，不像IB和PF，这些问题导致容易解释的保证在各种推理任务的准确性和隐私的统计约束。虽然基本的优化问题是非凸的，我们开发了一种技术来评估瓶颈问题的封闭形式，等价地表示它们在某些功能的下凸或上凹包络。通过将这种技术应用到二元情况下，我们得到了几个瓶颈问题的封闭形式的表达式。
2020-11-12 cs.IT cs.LG math.IT
Deep Supervised Information Bottleneck Hashing for Cross-modal Retrieval based Computer-aided Diagnosis
Huazhong University of Science and Technology（华中科技大学）；Guizhou Normal University（贵州师范大学）；Hubei University（湖北大学）
将X射线图像、放射学报告和其他医学数据映射为公共空间中的二进制代码，这可以帮助临床医生从异构模态（即，基于散列的跨模态医学数据检索），为促进计算机辅助诊断提供了新的视角。然而，仍然存在一个障碍，以提高医疗检索的准确性：如何揭示模糊的语义的医疗数据，而不分心的多余信息。为了克服这个缺点，我们提出了深度监督信息瓶颈哈希（DSIBH），它有效地增强了哈希码的可区分性。具体而言，针对单模态的深度确定性信息瓶颈（Yu，Yu和Principe 2021）被扩展到跨模态场景。这样就减少了多余的信息，从而提高了散列码的可鉴别性。实验结果表明，所提出的DSIBH相比，国家的最先进的跨模态医学数据检索任务的优越的准确性。
2022-05-06 cs.AI cs.CV cs.LG
Generalizing Bottleneck Problems
Harvard University（哈佛大学）；University of Chicago（芝加哥大学）；Massachusetts Institute of Technology（麻省理工学院）
给定一对随机变量$(X,Y)\sim P_{XY}$和两个凸函数$f_1$和$f_2$，我们引入两个瓶颈泛函作为由这对$\left(I_{f_1}(W; X), I_{f_2}(W; Y)\right)$组成的二维凸集的上下边界，其中$I_f$表示$f$ -信息，$W$在所有满足Markov条件$W \to X \to Y$的离散随机变量的集合上变化.应用Witsenhausen和Wyner的方法，我们提供了一个算法，用于计算$f_1$，$f_2$和离散$P_{XY}$的边界。在二进制对称的情况下，我们充分刻画了当（i）$f_1(t)=f_2(t)=t\log t$，（ii）$f_1(t)=f_2(t)=t^2-1$，和（iii）$f_1$和$f_2$都是$β\geq 2$的$\ell^β$范数函数时的集合。然后，我们认为，在（i）中的上限和下限对应于Gerber夫人引理及其逆（我们称之为Gerber先生引理），在（ii）中对应于信息瓶颈和隐私漏斗的估计理论变体，在（iii）中对应于Arimoto信息瓶颈和隐私漏斗。
2018-11-14 cs.IT cs.LG math.IT
An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction
Allen School of Computer Science & Engineering, University of Washington（华盛顿大学艾伦计算机科学与工程学院）；Allen Institute of Artificial Intelligence（艾伦人工智能研究所）
复杂语言理解模型的决策可以通过将其输入限制在原始文本的相关子序列来合理化。理由应该尽可能简洁，而不会显着降低任务性能，但这种平衡在实践中可能难以实现。在本文中，我们表明，它是可能的，以更好地管理这种权衡，通过优化信息瓶颈（IB）目标的约束。我们完全无监督的方法共同学习一个解释器，它预测句子上的稀疏二进制掩码，以及一个只考虑提取的基本原理的最终任务预测器。使用IB，我们得到一个学习目标，允许通过可调稀疏先验直接控制掩模稀疏水平。ERASER基准任务上的实验表明，在任务性能和与人类理性的协议方面，范数最小化技术都有显着的收益。此外，我们发现，在半监督设置中，适量的黄金理论（训练样本的25%）缩小了与使用全部输入的模型的差距。
2020-11-03 cs.CL cs.LG
Neuron Campaign for Initialization Guided by Information Bottleneck Theory
University of Electronic Science and Technology of China（电子科技大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
神经网络在深度神经网络（DNN）的训练中起着至关重要的作用。现有的初始化策略主要集中在稳定训练过程，以减轻梯度消失/爆炸问题。然而，这些初始化方法缺乏对如何增强泛化能力的考虑。信息瓶颈（IB）理论是一个著名的理解框架，提供了一个解释DNN的泛化。在IB理论的指导下，我们设计了两个更好地初始化DNN的标准。我们进一步设计了一个神经元运动初始化算法，以有效地选择一个好的初始化神经网络在给定的数据集。在MNIST数据集上的实验表明，该方法具有更好的泛化性能和更快的收敛速度。
2021-08-14 cs.AI cs.LG
The Distributed Information Bottleneck reveals the explanatory structure of complex systems
University of Pennsylvania（宾夕法尼亚大学）；The Santa Fe Institute（圣塔菲研究所）
科学的成果是通过近似的方式使人们可以理解的关系。虽然深度学习是在数据中发现关系的一种非常强大的方法，但它在科学中的应用一直受到理解学习关系的困难的阻碍。信息瓶颈（IB）是一种信息理论框架，用于理解输入和输出之间的关系，在近似关系的保真度和复杂性之间的权衡。在这里，我们展示了一个关键的修改-在输入的多个组件中分配瓶颈-为科学中可解释的深度学习开辟了新的途径。分布式信息瓶颈抑制了输入组件之间交互的下游复杂性，将关系解构为通过深度学习找到的有意义的近似值，而不需要定制的数据集或神经网络架构。应用到一个复杂的系统中，近似值通过限制-和监控-有关纳入近似值的不同组件的信息来阐明系统性质的各个方面。我们证明了分布式IB的解释效用的应用数学和凝聚态物理系统绘制。在前者中，我们解构一个布尔电路的近似，隔离的输入组件，而不需要穷举搜索的信息量最大的子集。在后者中，我们本地化的剪切玻璃的静态结构中的未来的塑料重排的信息，并发现该信息或多或少的扩散取决于系统的准备。通过近似的原则方案，分布式IB为深度学习带来了急需的可解释性，并通过系统实现了前所未有的信息流分析。
2022-04-15 cond-mat.soft cs.IT cs.LG
Learning to Train a Binary Neural Network
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
卷积神经网络在不同的应用领域取得了惊人的成果。已经提出了各种方法，使我们能够在移动和嵌入式设备上使用这些模型。特别是二进制神经网络似乎是一个有前途的方法，这些设备与低计算能力。然而，理解二进制神经网络和训练实际应用的准确模型仍然是一个挑战。在我们的工作中，我们专注于提高我们对培训过程的理解，并使其能够为每个人所用。我们发布基于BMXNet的代码和模型供大家使用。在这个框架内，我们系统地评估了不同的网络架构和超参数，为如何训练二进制神经网络提供了有用的见解。此外，我们还介绍了如何通过增加网络中的连接数量来提高准确性。
2018-09-27 cs.CV cs.LG stat.ML
How Convolutional Neural Network Architecture Biases Learned Opponency and Colour Tuning
University of Southampton（南安普顿大学）；Vision Learning and Control, Electronics and Computer Science, University of Southampton（南安普顿大学视觉学习与控制、电子与计算机科学（注：机构粒度要求到大学级别，此处完整机构为University of Southampton，其余为其内部部门，按要求提取到大学级别））
最近的研究表明，通过在第二层引入瓶颈来改变卷积神经网络（CNN）架构可以改变学习函数。为了充分理解这种关系，需要一种定量比较训练网络的方法。电生理学和心理物理学领域已经开发出了大量的方法来表征允许这种比较的视觉系统。受这些方法的启发，我们提出了一种获得卷积神经元的空间和颜色调谐曲线的方法，该方法可用于根据其空间和颜色特性对细胞进行分类。我们对一系列具有不同深度和瓶颈宽度的CNN执行这些分类。我们的关键发现是，网络的瓶颈表现出强大的功能组织：几乎所有的细胞在瓶颈层成为空间和颜色的对手，细胞在层以下的瓶颈成为非对手。颜色调谐数据还可以用于形成对网络如何编码颜色的丰富理解。作为一个具体的演示，我们表明，没有瓶颈的浅网络学习一个复杂的非线性颜色系统，而更深的网络与紧张的瓶颈学习一个简单的通道对手代码在瓶颈层。我们进一步开发了一种获得用于训练的CNN的色调敏感度曲线的方法，该方法能够实现高水平的见解，该见解补充了来自颜色调谐数据的低水平发现。我们继续在不同条件下训练一系列网络，以确定所讨论的结果的鲁棒性。最终，我们的方法和发现与现有技术相结合，加强了我们解释训练CNN的能力，并进一步理解了架构和学习表示之间的联系。所有实验的代码可在https://github.com/ecs-vlc/opponency上获得。
2020-10-06 cs.CV cs.LG cs.NE
High-Capacity Expert Binary Networks
Samsung AI Cambridge（三星AI剑桥）；Queen Mary University of London（伦敦玛丽女王大学）
网络二值化是一个很有前途的硬件感知方向，用于创建高效的深度模型。尽管它的内存和计算优势，减少二进制模型和它们的实值对应物之间的精度差距仍然是一个未解决的具有挑战性的研究问题。为此，我们做出了以下3个贡献：（a）为了增加模型容量，我们提出了专家二进制卷积，它首次通过学习在输入特征的条件下选择一个特定于数据的专家二进制过滤器来为二进制网络定制条件计算。(b)为了提高表示能力，我们建议通过引入有效的宽度扩展机制来解决二进制网络中固有的信息瓶颈，该机制将二进制操作保持在相同的预算内。(c)为了改善网络设计，我们提出了一个原则性的二进制网络增长机制，揭示了一组网络拓扑结构的有利属性。总的来说，我们的方法改进了以前的工作，没有增加计算成本，通过$\sim6 \%$，在ImageNet分类上达到了开创性的$\sim 71\%$。代码将以$\href{https://www.adrianbulat.com/binary-networks}{here}$形式提供。
2021-03-30 cs.AI cs.CV cs.LG
A Critical Review of Information Bottleneck Theory and its Applications to Deep Learning
在过去的十年中，深度神经网络取得了前所未有的进步，并继续影响着当今社会的各个方面。随着高性能GPU的发展和大量数据的可用性，机器学习系统的学习能力已经飙升，从对图片中的数字进行分类到在游戏中击败世界冠军。然而，即使ML模型继续取得新的前沿，但由于缺乏对其内部工作原理的深入理论理解，它们的实际成功受到了阻碍。幸运的是，一种称为信息瓶颈理论的已知信息理论方法已经成为一种有前途的方法，可以更好地理解神经网络的学习动力学。原则上，IB理论将学习建模为数据压缩和信息保留之间的权衡。本调查的目的是提供一个全面的审查IB理论，涵盖其信息理论的根源和最近提出的应用程序来理解深度学习模型。
2021-05-11 cs.AI cs.LG
Eliminating Information Leakage in Hard Concept Bottleneck Models with Supervised, Hierarchical Concept Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对概念瓶颈模型的信息泄漏问题，提出SupCBM，通过标签监督和分层概念集，利用干预矩阵实现标签预测，显著减少信息泄漏并提升性能。
2024-02-03 cs.AI cs.LG
Perturbation Theory for the Information Bottleneck
The Graduate Center, CUNY（纽约市立大学研究生中心）
从数据中提取相关信息对于所有形式的学习都至关重要。信息瓶颈（IB）的方法正式这一点，提供了一个数学上精确和概念上有吸引力的框架来理解学习现象。然而，IB问题的非线性使得它的计算昂贵和分析困难的一般。在这里，我们推导出一个扰动理论的IB方法和报告的第一个完整的表征的学习开始，从数据中提取的每比特的最大相关信息的限制。我们测试我们的合成概率分布的结果，发现良好的协议与精确的数值解附近的学习开始。我们探索的差异和微妙之处，在我们的推导和以前的尝试，推导出一个扰动理论的学习开始和属性的差异，一个有缺陷的假设。我们的工作也提供了一个新的角度之间的密切关系的IB方法和强数据处理不等式。
2021-10-26 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Learnability for the Information Bottleneck
MIT（麻省理工学院）；Google Research（谷歌研究院）
信息瓶颈（IB）方法（\cite{tishby2000information}）为平衡表示学习的压缩和预测提供了一种有见地和有原则的方法。IB目标$I(X;Z)-βI(Y;Z)$采用拉格朗日乘数$β$来调整该权衡。然而，在实践中，不仅$β$是在没有理论指导的情况下根据经验选择的，而且在$β$、可学习性、数据集的内在性质和模型容量之间也缺乏理论理解。在本文中，我们表明，如果$β$选择不当，学习不能发生-平凡的表示$P(Z|X)=P(Z)$成为全球最低的IB目标。我们展示了如何可以避免这一点，通过确定一个尖锐的相变之间的不可学习和可学习的$β$是不同的。这个阶段的转变定义了IB-Learnability的概念。证明了IB-Learnability的几个充分条件，为选择好的$β$提供了理论指导。我们进一步表明，IB-learnability是由最大的信心，典型的，和不平衡的子集的例子（显着的子集），并讨论其与模型容量的关系。我们给出了实用的算法来估计最小的$β$为一个给定的数据集。我们还通过对合成数据集、MNIST和CIFAR 10的分析，从经验上证明了我们的理论条件。
2019-07-17 cs.IT cs.LG math.IT
Interpretable Prototype-based Graph Information Bottleneck
KAIST（韩国科学技术院）
本文提出PGIB框架，首次将原型学习与信息瓶颈结合，从输入图中识别对预测关键的子图作为原型，在提升GNN预测性能的同时增强可解释性。
2024-02-20 cs.AI cs.LG
Projection Head is Secretly an Information Bottleneck
College of Engineering, Peking University（北京大学工学院）；School of EECS, Peking University（北京大学电子工程与计算机科学学院）；State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从信息论角度揭示对比学习中 projection head 充当信息瓶颈的机制，并基于理论引入训练与结构正则化修改，在多个数据集上实现下游性能的持续提升。
2025-03-04 cs.IT cs.LG math.IT
Towards Understanding, Analyzing, and Optimizing Agentic AI Execution: A CPU-Centric Perspective
Georgia Institute of Technology（佐治亚理工学院）
本文从CPU角度分析代理AI工作负载的瓶颈，提出两种优化方法，降低CPU-GPU资源分配偏差，提升执行效率。
2026-04-16 cs.AI cs.LG cs.MA
PAC-Bayes Information Bottleneck
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Tencent（腾讯）
理解神经网络优越的泛化能力的来源仍然是ML研究中最重要的问题之一。已经有一系列的理论工作，试图推导出非空界的神经网络。近年来，基于PAC-Bayes定理的神经网络推广中，权值信息压缩（IIW）被证明起着关键作用。然而，目前还没有IIW的解决方案，这为进一步研究IIW的性质及其在实际深度学习中的潜力建立了障碍。在本文中，我们提出了一个算法的有效逼近IIW。然后，我们建立了一个基于IIW的信息瓶颈之间的权衡精度和信息复杂性的神经网络，即PIB。从PIB中，我们可以经验地识别出在神经网络的训练过程中压缩相变的拟合以及IIW压缩与泛化之间的具体联系。此外，我们验证了IIW能够在广泛的情况下解释NN，例如，不同的批量大小、过度参数化和嘈杂的标签。此外，我们提出了一种基于MCMC的算法，从PIB特征的最佳权重后验进行采样，这在实践中实现了IIW在增强NN方面的潜力。
2022-03-04 cs.AI cs.LG
Training-Free Hashing-Based Attention via Binary Principal Components
针对长上下文LLMs自注意力的解码效率瓶颈，提出无训练的BinaryPC方法，通过数据二元主成分构建哈希码，在保持精度的同时将解码吞吐量提升3.56倍。
2026-08-06 cs.AI cs.CL cs.LG
LAB: Learnable Activation Binarizer for Binary Neural Networks
TU Delft（代尔夫特理工大学）；Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）
二进制神经网络（BNN）因将耗电量大的深度学习引入边缘设备而受到极大关注。这个领域的传统智慧是使用sign（）来二进制化特征图。我们论证并说明了sign（）是一个唯一性瓶颈，限制了整个网络的信息传播。为了缓解这个问题，我们建议取消sign（），用一个可学习的激活二进制化器（LAB）代替它，允许网络每层学习一个细粒度的二进制化内核-而不是全局阈值。LAB是一种新型通用模块，可以无缝集成到现有架构中。为了证实这一点，我们将其插入到四个开创性的BNN中，并以可容忍的延迟和复杂性增加为代价，显示出相当大的性能提升。最后，我们围绕LAB构建了一个端到端的BNN（称为LAB-BNN），并证明它在ImageNet上实现了与最先进水平相当的竞争性能。
2022-10-25 cs.AI cs.CV cs.LG
A Generalized Information Bottleneck Theory of Deep Learning
Department of Computer Science, University College London（计算机科学系，伦敦大学学院）；Centre for Artificial Intelligence, University College London（人工智能中心，伦敦大学学院）；University of Bologna（博洛尼亚大学）
本文提出广义信息瓶颈理论，通过协同性视角改进传统信息瓶颈理论，提升深度学习模型的泛化能力和对抗鲁棒性。
2026-01-30 cs.IT cs.LG math.IT
Characterizing and Understanding HGNN Training on GPUs
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本研究针对 HGNN 训练耗时成本高的问题，对单 GPU 与多 GPU 分布式两种主流训练场景做深入量化分析，揭示性能瓶颈及成因，从软硬件层面给出优化指导，助力提升 HGNN 训练效率。
2024-10-29 cs.AI cs.AR cs.LG
The information bottleneck method
我们将信号$x\in X$中的相关信息定义为该信号提供的关于另一信号$y\in \Y$的信息。例子包括面部图像提供的关于所描绘的人的名字的信息，或者语音提供的关于所说的话的信息。理解信号$x$不仅需要预测$y$，还需要指定$\X$的哪些特征在预测中起作用。我们将这个问题形式化为找到一个保留有关$\Y$的最大信息的$\X$的短代码。也就是说，我们通过由有限的码字集$\tX$形成的“瓶颈”挤压$\X$提供的关于$\Y$的信息。该约束优化问题可以被看作是率失真理论的推广，其中失真度量$d(x,\x)$从$\X$和$\Y$的联合统计中出现。这种方法产生一组精确的自洽方程的编码规则$X \to \tX$和$\tX \to \Y$。这些方程的解可以通过将Blahut-Arimoto算法推广的收敛重新估计方法来找到。我们的变分原理为讨论信号处理和学习中的各种问题提供了令人惊讶的丰富框架，正如将在其他地方详细描述的那样。
2000-04-24 cond-mat.dis-nn cs.LG nlin.AO
Generalized Information Bottleneck for Gaussian Variables
The Graduate Center, CUNY（纽约市立大学研究生中心）
针对信息瓶颈（IB）计算难处理问题，提出基于Renyi和Jeffreys散度的广义IB方法，推导了高斯变量的精确解析解，发现其结构相变临界点与原始IB一致且表现良好，为原始IB问题提供了近似求解策略。
2023-03-31 cond-mat.stat-mech cs.IT cs.LG
