Variational Predictive Information Bottleneck
Google Research（谷歌研究院）
在经典论文中，Zellner证明了贝叶斯推理可以作为信息论泛函的解决方案。下面我们推导出这个泛函的广义形式作为预测信息瓶颈目标的变分下界。这种广义的功能包括最现代的推理程序，并建议新的。
2019-10-23 cs.IT cs.LG math.IT
Information Bottleneck for an Oblivious Relay with Channel State Information: the Vector Case
研究了瑞利衰落多输入多输出（MIMO）信道的信息瓶颈问题。由于瓶颈约束，不经意中继不可能在每个信道实现中都向目的节点通知完美的信道状态信息（CSI）。为了评估瓶颈率，我们提供了一个上限，假设目的节点可以得到完美的CSI在没有成本和两个可实现的方案，简单的符号的中继处理和压缩。数值结果表明，所提出的可实现的计划得到的下限可以接近上界的相关系统参数的范围很广。
2021-05-07 cs.IT math.IT
Machine Learning using the Variational Predictive Information Bottleneck with a Validation Set
CableLabs（电缆实验室）
Zellner（1988）根据信息处理对统计推断进行了建模，并假设了信息处理块的输入和输出之间的信息守恒原理（ICP），表明这产生了贝叶斯推断作为最佳信息处理规则。最近，Alemi（2019）在机器学习的背景下回顾了Zellner的工作，并表明ICP可以被视为更一般的最佳信息处理标准的特例，即预测信息瓶颈目标。然而，Alemi将机器学习中的模型训练步骤建模为仅使用训练和测试数据集，并且没有考虑在训练期间使用验证数据集。本说明是一种尝试，以延长Alemi的信息处理制定的机器学习，和预测信息瓶颈目标模型训练，广泛使用的情况下，训练利用不仅是一个训练，但也验证数据集。
2019-12-11 cs.IT cs.LG math.IT
Hyper-VIB: A Hypernetwork-Enhanced Information Bottleneck Approach for Task-Oriented Communications
针对6G协作智能系统的任务导向通信需求，本文提出超网络增强的Hyper-VIB方法，通过变分近似与单阶段超网络参数生成，实现精度与通信开销的最优权衡，性能优于传统VIB方法。
2025-11-19 cs.IT math.IT
Distributed Information Bottleneck Method for Discrete and Gaussian Sources
我们研究分布式信息瓶颈的问题，其中多个编码器分别压缩他们的意见的方式，这样，集体，压缩的信号保留尽可能多的信息关于另一个信号。该模型将Tishby的集中式信息瓶颈方法推广到多个分布式编码器的设置。我们建立了这个问题的信息率区域的单字母特征，i）一类离散无记忆源和ii）无记忆矢量高斯源。此外，假设对速率或复杂性的总和约束，对于这两种模型，我们开发Blahut-Arimoto型迭代算法，该算法允许通过迭代一组自洽方程来计算最佳信息速率权衡。
2017-10-03 cs.IT math.IT
An Information-Theoretic Approach to Collaborative Integrated Sensing and Communication for Two-Transmitter Systems
本文研究多址信道与D2D通信下通感一体化的信息论模型，提出终端间协同传输状态信息的感知方案，提升了率-失真权衡性能，并为D2D设计了压缩与编码分离及混合编码两种方案。
2023-04-04 cs.IT math.IT
Learning Optimal Representations with the Decodable Information Bottleneck
Facebook AI Research（脸书人工智能研究院）；CUNY Graduate Center（纽约市立大学研究生中心）
我们解决的问题，表征和寻找最佳的表示监督学习。传统上，这个问题已经使用信息瓶颈来解决，它以解码器不可知的方式压缩输入，同时保留有关目标的信息。然而，在机器学习中，我们的目标不是压缩，而是泛化，这与预测家族或感兴趣的解码器（例如线性分类器）密切相关。我们提出了可解码的信息瓶颈（DIB），认为信息保留和压缩的角度来看，所需的预测家庭。因此，DIB产生的表示是最佳的预期测试性能，可以估计与保证。经验上，我们表明，该框架可以用来执行一个小的泛化差距下游分类器和预测的泛化能力的神经网络。
2021-07-16 cs.IT cs.LG math.IT
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Deep Variational Information Bottleneck
Google Research（谷歌研究院）
我们提出了一个变分近似的Tishby等人（1999）的信息瓶颈。这种变分方法允许我们使用神经网络参数化信息瓶颈模型，并利用重新参数化技巧进行有效的训练。我们称这种方法为“深度变分信息瓶颈”，或深度VIB。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用VIB目标训练的模型优于用其他形式的正则化训练的模型。
2019-10-23 cs.IT cs.LG math.IT
Nonlinear Information Bottleneck
Santa Fe Institute（圣塔菲研究所）；Massachusetts Institute of Technology（麻省理工学院）；Complexity Science Hub（复杂性科学中心）；Arizona State University（亚利桑那州立大学）
信息瓶颈（IB）是一种用于提取一个随机变量$X$中与预测另一个随机变量$Y$相关的信息的技术。IB通过将$X$编码在压缩的“瓶颈”随机变量$M$中来工作，从中可以准确地解码$Y$。然而，找到最佳的瓶颈变量涉及到一个困难的优化问题，直到最近才被认为是只有两个有限的情况下：离散的$X$和$Y$与小的状态空间，和连续的$X$和$Y$与高斯联合分布（在这种情况下，最佳的编码和解码映射是线性的）。我们提出了一种方法，用于执行IB上任意分布的离散和/或连续的$X$和$Y$，同时允许非线性编码和解码映射。我们的方法依赖于一个新的非参数上界的互信息。我们描述了如何使用神经网络实现我们的方法。然后，我们表明，它实现了更好的性能比最近提出的“变分IB”的方法在几个真实世界的数据集。
2019-11-30 cs.IT cs.LG math.IT
On the Information Bottleneck for Stable Variables
American University of Beirut（贝鲁特美国大学）；CentraleSupelec, CNRS, University of Paris-Saclay（巴黎萨克雷大学中央苏佩雷克理工学院、法国国家科学研究中心）
本文将高斯信息瓶颈推广至稳定变量，提出线性稳定信息瓶颈的闭式解，证明非高斯情形下线性编码器严格次优但大压缩率下渐近最优。
2026-10-20 cs.IT math.IT
Distributed Information Bottleneck for a Primitive Gaussian Diamond Channel with Rayleigh Fading
研究了瑞利衰落下具有两个中继的原始高斯菱形信道的分布式信息瓶颈问题。由于瓶颈约束，它是不可能的中继通知目的节点的完美的信道状态信息（CSI）在每个实现。为了评估瓶颈速率，我们提供了一个上限，假设目的节点知道CSI和中继可以相互合作，也有三个可实现的方案，简单的符号中继处理和压缩。数值结果表明，所提出的可实现的计划得到的下限可以接近上界的相关系统参数的范围很广。
2022-06-29 cs.IT math.IT
An Information Bottleneck Problem with Rényi's Entropy
本文考虑了一个信息瓶颈问题，其目标是在Rényi熵复杂性约束下获得隐藏特征的最具信息量的表示。定义了相关性（通过Shannon的互信息测量）和Rényi熵代价之间的最佳瓶颈权衡，并提供了一种寻找近似解的迭代算法。我们还得到了一个操作特性的最佳权衡证明，最佳的雷尼熵相关性权衡是可以实现的一个简单的分时标量编码方案，没有编码方案可以提供更好的性能。进一步给出了两个例子，其中最佳的香农熵相关性权衡可以准确地确定。
2021-01-29 cs.IT math.IT
Extracting robust and accurate features via a robust information bottleneck
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
我们提出了一种新的策略提取特征的监督学习，可用于构建一个分类器，这是更强大的输入空间中的小扰动。我们的方法建立在信息瓶颈的想法，通过引入一个额外的惩罚项，鼓励Fisher信息的提取特征是小的，当参数化的输入。通过调整正则化参数，我们可以显式地在构造分类器时权衡鲁棒性和准确性的对立需求。当输入和输出是联合高斯时，我们推导出鲁棒信息瓶颈的最优解，证明了最优鲁棒特征也是联合高斯的。此外，我们提出了一种方法，用于优化的变分约束的强大的信息瓶颈目标，在一般设置使用随机梯度下降，这可能是有效地实现在神经网络。我们的合成和真实数据集的实验结果表明，所提出的特征提取方法确实产生的分类器具有更强的鲁棒性扰动。
2019-10-15 cs.IT cs.LG math.IT
The Multi-layer Information Bottleneck Problem
Imperial College London（伦敦帝国学院）；CentraleSupélec-CNRS-Université Paris-Sud（中央理工-高等电力学院-法国国家科学研究中心-巴黎南大学）
多层信息瓶颈（IB）的问题，其中信息传播（或连续细化）从层到层，被认为是。基于前一层转发的信息，网络的每个阶段都需要保持与特定隐藏变量的一定程度的相关性，并通过互信息量化。隐变量和源可以任意相关。相关率和压缩率（或复杂度）之间的最佳权衡是通过单字母表征获得的，称为速率相关区域。给出了连续可加细的条件。证明了BSC隐变量的二元信源和BSC/BEC混合隐变量的二元信源都是逐次可加细的。我们进一步将结果推广到高斯模型。还提供了连续可加细性的一个反例。
2017-11-14 cs.IT cs.LG math.IT
Informational Bottlenecks in Two-Unicast Wireless Networks with Delayed CSIT
我们研究了具有分层拓扑结构和任意连通性的双单播无线网络中发送端延迟信道状态信息（CSIT）的影响。我们引入了一种技术，通过新的图论概念的瓶颈节点，以获得外部边界的自由度（DoF）区域。这些节点仅在延迟CSIT的假设下充当信息瓶颈，并且意味着$mD_1 + D_2 \leq m$形式的非对称DoF界限。结合这种外边界技术与新的可扩展性计划，我们描述了一类两个单播无线网络，这表明，与瞬时CSIT的情况下，两个单播网络延迟CSIT的自由度的总和自由度可以采取一组无限的值。
2015-10-03 cs.IT math.IT
A Class of Nonbinary Symmetric Information Bottleneck Problems
我们研究了信息处理的两种对偶设置。设$ \mathsf{Y} \rightarrow \mathsf{X} \rightarrow \mathsf{W} $是具有固定联合概率质量函数$ \mathsf{P}_{\mathsf{X}\mathsf{Y}} $和对$ (\mathsf{W},\mathsf{X}) $的互信息约束的马尔可夫链。对于第一个问题（称为信息瓶颈），我们的目标是最大化随机变量$ \mathsf{Y} $和$ \mathsf{W} $之间的互信息，而对于第二个问题（称为隐私漏斗），我们的目标是最小化它。特别是，我们分析了$ \mathsf{X} $是输入的场景，并且$ \mathsf{Y} $是模加性噪声通道的输出。我们提供了最优信息率和实现分布的分析表征。
2021-10-03 cs.IT math.IT
On Information Bottleneck for Gaussian Processes
研究了联合平稳高斯信源的信息瓶颈问题。根据其信噪比谱给出了IB速率的注水方案，其速率通过频域测试信道实现获得。一个时域实现的IB率，基于线性预测，也提出了一个有效的实现相应的远程信源编码问题。一个复合版本的问题得到解决，其中的联合分布的源不精确指定，而是在一个下界的保证互信息。它被证明是一个白色的SNR频谱是最佳的这种设置。
2022-08-22 cs.IT math.IT
Broadcast Approach for the Information Bottleneck Channel
这项工作考虑了一种分层编码方法，用于在无线块衰落信道上有效传输数据，而无需发送器信道状态信息（CSI），该信道连接到有限容量的可靠链路，称为瓶颈信道。两个主要的方法被认为是，第一个是一个不经意的方法，其中采样的噪声观测压缩和传输的瓶颈信道，而没有任何知识的原始信息码本。第二种方法是一个非不经意的解码转发（DF）中继，其中采样的噪声数据进行解码，无论是成功解码的瓶颈信道上可靠地传输。从中继到目的地的瓶颈信道具有固定容量C。我们还检查的情况下，信道容量可以动态地改变由于回程链路上的可变负载。广播的方法进行了分析的情况下，只有中继知道下一个块的可用容量，和的情况下，既不源也不中继知道每个块的容量，只有它的容量分布。幸运的是，它是可能的解析描述在封闭形式的表达式，最佳连续分层功率分布，最大化的平均可实现的速率。数值结果表明，可实现的广播速率。
2020-04-29 cs.IT math.IT
A Generalized Information Bottleneck Method: A Decision-Theoretic Perspective
Shonan Institute of Technology（湘南工科大学）；Nihon University（日本大学）
本文从决策理论视角出发，提出一种基于H-互信息的泛化信息瓶颈方法，通过交替优化算法实现压缩与效用的权衡。
2026-02-20 cs.IT math.IT
Information Bottleneck on General Alphabets
我们严格证明了一个信源编码定理，可能被认为是民间传说，一个推广到任意字母表的问题的信息瓶颈方法的动机。对于一般的随机变量$(Y, X)$，我们基本上表明，对于一些$n \in \mathbb{N}$，一个功能$f$的速率限制$\log|f| \le nR$和$I(Y^n; f(X^n)) \ge nS$存在当且仅当有一个随机变量$U$，使马尔可夫链$Y - X - U$举行，$I(U; X) \le R$和$I(U; Y) \ge S$。证明依赖于既定的离散情况下，并展示了一种技术，提升离散编码定理，以任意字母。
2018-05-01 cs.IT math.IT
Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
引入基于矩阵的Renyi的$α$ -序熵泛函，利用神经网络对Tishby等的信息瓶颈原理进行参数化.我们称我们的方法为深度确定性信息瓶颈（DIB），因为它避免了变分推理和分布假设。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用DIB训练的深度神经网络优于变分目标对应物和用其他形式的正则化训练的深度神经网络。https://github.com/yuxi120407/DIB
2021-01-31 cs.IT cs.LG math.IT
How Does Information Bottleneck Help Deep Learning?
NUS（新加坡国立大学）；Columbia University（哥伦比亚大学）；Mila（米拉人工智能研究所）；University of Pennsylvania（宾夕法尼亚大学）
本文首次建立严格学习理论，将信息瓶颈与泛化误差数学关联，证明控制信息瓶颈可控制深度学习泛化误差，并通过实验验证其有效性。
2023-05-30 cs.AI cs.CL cs.CV
The Variational Deficiency Bottleneck
我们引入了一种基于信息不足的瓶颈方法来学习数据表示，而不是更传统的信息充足。变分上界使我们能够有效地实现这种方法。约束本身是有界的变分信息瓶颈的目标，这两种方法在单次蒙特卡罗近似的制度相吻合。亏度的概念提供了一种用相对简单的通道来近似复杂通道的原则性方法。我们表明，一个通道相对于另一个的不足之处有一个操作的解释，在决策问题的最佳风险差距，捕捉分类作为一个特例。实验表明，不足瓶颈可以提供的信息瓶颈曲线测量的最小充分性方面的优势，同时保持强大的测试性能的分类任务。
2020-11-04 cs.IT cs.LG math.IT
The Dual Information Bottleneck
Racah Institute of Physics（拉卡物理研究所）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；School of Computer Science（计算机科学学院）
信息瓶颈（IB）框架是使用平衡准确性和复杂性的原则方法获得的最佳表示的一般特征。在这里，我们提出了一个新的框架，双重信息瓶颈（dualIB），它解决了一些已知的IB的缺点。我们提供了一个理论分析的dualIB框架;（i）解决其解决方案的结构（ii）解开它的优势，优化平均预测误差指数和（iii）证明它的能力，以保持指数形式的原始分布。为了解决大规模问题，我们提出了一种新的变分形式的dualIB的深度神经网络。在几个数据集上的实验中，我们将其与IB的变分形式进行比较。这暴露了dualIB的优越信息平面特性及其在改善错误方面的潜力。
2020-06-08 cs.IT cs.LG math.IT
Disentangled Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
信息瓶颈（IB）方法是用于从源随机变量提取与预测目标随机变量相关的信息的技术，其通常通过优化平衡压缩项和预测项的IB拉格朗日来实现。然而，IB拉格朗日函数很难优化，并且需要多次尝试调整拉格朗日乘子的值。此外，我们表明，预测性能严格降低，因为压缩变得更强，在优化IB拉格朗日。在本文中，我们实现了IB方法的监督解开的角度。具体来说，我们引入了解纠缠信息瓶颈（DisenIB），它在最大限度地压缩源而不损失目标预测性能（最大压缩）上是一致的。理论和实验结果表明，该方法在最大压缩率上具有一致性，在泛化能力、对抗攻击鲁棒性、分布外检测和监督解缠等方面表现良好.
2020-12-22 cs.IT cs.LG math.IT
Information-Bottleneck Approach to Salient Region Discovery
Google Inc.（谷歌公司）
本文提出了一种基于信息瓶颈原理的半监督图像注意力模板学习方法。提供了一组标记图像，掩模生成模型最小化输入和掩模图像之间的互信息，同时最大化同一掩模图像和图像标签之间的互信息。与其他方法相比，我们的注意力模型产生一个布尔而不是一个连续的掩码，完全隐藏在屏蔽像素的信息。使用一组基于MNIST和CIFAR10和SVHN数据集的合成数据集，我们证明了我们的方法可以成功地处理已知的定义图像类的特征。
2020-02-14 cs.CV cs.IT cs.LG
Information-Bottleneck-Based Behavior Representation Learning for Multi-agent Reinforcement learning
Tsinghua University（清华大学）；Louisiana State University（路易斯安那州立大学）
在多智能体深度强化学习中，提取其他智能体的足够且紧凑的信息对于实现算法的高效收敛和可扩展性至关重要。在规范框架中，这些信息的提取通常以隐式和不可解释的方式完成，或者显式地使用无法反映信息压缩和表示中的效用之间的关系的成本函数。本文提出了基于信息瓶颈的其他智能体行为表征学习的多智能体强化学习（IBORM）方法，以显式地寻找低维映射编码器，通过该编码器建立与其他智能体行为相关的紧凑且信息丰富的表征。IBORM利用信息瓶颈原理对观测信息进行压缩，同时保留足够的与其他Agent行为相关的信息用于合作决策。实验结果表明，与隐式行为表示学习和未显式考虑信息压缩和效用的显式行为表示学习相比，IBORM具有最快的收敛速度和最好的学习性能.
2021-09-29 cs.IT cs.LG cs.MA
Improving Channel Resilience for Task-Oriented Semantic Communications: A Unified Information Bottleneck Approach
针对动态信道下语义敏感特征易受破坏的问题，本文提出基于信息瓶颈的统一信道韧性TSC框架，通过控制信息流实现特征级语义鲁棒性，并在实时子信道分配实验中验证其有效性。
2024-04-30 cs.IT eess.SP math.IT
Characterizing information loss in a chaotic double pendulum with the Information Bottleneck
The Santa Fe Institute（圣塔菲研究所）
混沌动力学的一个标志是信息随时间的损失。虽然信息损失通常通过与李雅普诺夫指数的联系来表示-在关于系统状态的高信息的限制下有效-但这幅图错过了不同粒度级别的信息衰减的丰富频谱。在这里，我们将展示机器学习如何为混沌动力学中的信息丢失研究提供新的机会，并以双摆作为模型系统。我们使用信息瓶颈作为神经网络的训练目标，从系统的状态中提取信息，这些信息是在规定的时间范围后对未来状态的最佳预测。然后，我们分解的最佳预测信息分配的瓶颈，每个状态变量，恢复的相对重要性的变量在确定未来的演变。我们开发的框架广泛适用于混沌系统，并且实用，利用数据和机器学习来监控可预测性的极限并绘制出信息的丢失。
2022-10-25 cs.IT cs.LG math.IT
Information Bottleneck in Control Tasks with Recurrent Spiking Neural Networks
神经系统将来自环境的连续信息以离散尖峰的形式编码，然后解码这些信息以产生平滑的运动动作。了解尖峰信号如何整合、表示和处理信息以产生行为是神经科学中最大的挑战之一。信息论有潜力帮助我们应对这一挑战。对解决静态输入-输出任务的深度和前馈人工神经网络的信息分析导致了\emph{Information Bottleneck}原理的提出，该原理指出，更深层编码关于输入的更多相关但最少的信息。对具有周期性、尖峰脉冲和执行控制任务的网络的这种分析相对较少。在这里，我们提出了一个经常性的脉冲神经网络，演变为执行经典的极点平衡任务的互信息分析的结果。我们的研究结果表明，这些网络偏离\emph{Information Bottleneck}原则规定的前馈网络。
2017-06-06 cs.IT cs.NE math.IT
Mixture of Balanced Information Bottlenecks for Long-Tailed Visual Recognition
Huazhong University of Science and Technology（华中科技大学）
针对真实视觉数据长尾分布带来的训练部署难题，提出整合损失重平衡与自蒸馏的平衡信息瓶颈BIB，进一步构建多层知识融合的MBIB混合结构，在多个长尾数据集上实现SOTA性能。
2025-09-01 cs.CV cs.IT math.IT
Disentangled Variational Information Bottleneck for Multiview Representation Learning
University of California, San Francisco（加利福尼亚大学旧金山分校）
多视图数据包含来自多个模态的信息，并且有潜力为不同的机器学习任务提供更全面的特征。多视图分析中的一个基本问题是附加视图带来的附加信息是什么，并能够定量地识别这些附加信息。在这项工作中，我们试图通过将纠缠的多视图特征分解为共享的潜在表示来应对这一挑战，这些表示在所有视图中都是共同的，而私有表示则是特定于每个视图的。在信息瓶颈的框架下，提出了解纠缠变分信息瓶颈（DVIB）。DVIB使用来自互信息的约束来显式地定义共享和私有表示的属性。通过推导互信息项的变分上下界，有效地优化了表示。我们证明了DVIB学习的共享和私有表示很好地保留了两个视图之间共享的公共标签和对应于每个视图的唯一标签。DVIB也显示出相当的性能在分类任务的图像与腐败。DVIB实现可在https://github.com/feng-bao-ucsf/DVIB上获得。
2021-05-17 cs.CV cs.IT cs.LG
Data efficiency, dimensionality reduction, and the generalized symmetric information bottleneck
Emory University（埃默里大学）
本文提出广义对称信息瓶颈（GSIB），扩展对称信息瓶颈以探索同时压缩的成本形式，并证明同时压缩在数据效率上优于独立压缩，所需数据量更少。
2024-02-02 cond-mat.stat-mech cs.IT cs.LG
Communication-Efficient Collaborative Perception via Information Filling with Codebook
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体创新中心）；Multi-Agent Governance & Intelligence Crew (MAGIC)（多智能体治理与智能团队（MAGIC））；Beihang University（北京航空航天大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出 CodeFilling 协同感知系统，通过码本整数码表示与信息填充驱动的消息选择，在同构和异构场景下以极低通信量超越 Where2comm。
2024-05-08 cs.CV cs.IT cs.MA
Bottleneck Problems: Information and Estimation-Theoretic View
Harvard University（哈佛大学）
信息瓶颈（IB）和隐私漏斗（PF）是两个密切相关的优化问题，它们已经在机器学习、隐私算法的设计、容量问题（例如，格伯夫人引理），强数据处理不等式，等等。在这项工作中，我们首先调查IB和PF的功能特性，通过一个统一的理论框架。然后，我们将它们连接到三个信息理论的编码问题，即假设检验对独立性，噪声信源编码和依赖稀释。利用这些连接，我们证明了一个新的基数界的辅助变量在IB，使其计算更易于处理的离散随机变量。在第二部分中，我们介绍了一个一般的家庭的优化问题，称为\textit{bottleneck problems}，取代互信息在IB和PF与其他概念的互信息，即$f$ -信息和Arimoto的互信息。然后，我们认为，不像IB和PF，这些问题导致容易解释的保证在各种推理任务的准确性和隐私的统计约束。虽然基本的优化问题是非凸的，我们开发了一种技术来评估瓶颈问题的封闭形式，等价地表示它们在某些功能的下凸或上凹包络。通过将这种技术应用到二元情况下，我们得到了几个瓶颈问题的封闭形式的表达式。
2020-11-12 cs.IT cs.LG math.IT
