Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information
Rutgers University（罗格斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了学习离散结构化表示从未标记的数据最大化之间的互信息的结构化的潜在变量和目标变量。在这种情况下，计算互信息是困难的。我们的关键技术贡献是一个对抗性的目标，可用于可追踪地估计互信息，假设只有交叉熵计算的可行性。我们开发了一个具体的实现，这个一般配方与马尔可夫分布的二进制编码。我们报告的关键和意想不到的结果，如变分先验的选择的目标的实际方面。我们将我们的模型应用于文档散列，并表明它优于基于离散和矢量量化变分自编码器的当前最佳基线。它还产生高度压缩的可解释表示。
2020-07-15 cs.IT cs.LG math.IT
Estimating Mutual Information for Discrete-Continuous Mixtures
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
从观察到的样本估计互信息是一个基本的原语，在几个机器学习任务中很有用，包括相关性挖掘，信息瓶颈聚类，学习Chow-Liu树和（因果）图形模型中的条件独立性测试。虽然互信息在一般概率空间中是一个定义良好的量，但现有的估计只能处理两种特殊情况：纯离散或纯连续的随机变量对。主要的挑战是，这些方法首先估计X、Y和对（X;Y）的（微分）熵，并将它们与适当的符号相加以获得互信息的估计。这些3 H-估计不能应用于一般的混合空间，其中熵没有很好的定义。在本文中，我们设计了一个新的估计的互信息的离散-连续混合。我们证明了所提出的估计是一致的。我们提供的数值实验表明所提出的估计相比，其他approxistics的小连续噪声添加到所有的样本和应用标准估计量为纯连续变量，量化的样本和应用标准估计量为纯离散变量的优越性。这显著地拓宽了互信息估计在真实世界应用中的适用性，其中一些变量是离散的，一些是连续的，并且其他是连续和离散分量之间的混合。
2018-10-09 cs.IT cs.LG math.IT
VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors
KAIST（韩国科学技术院）
变分自编码器是一种用于学习复杂数据的潜在变量模型的可扩展方法。它采用了一个明确的目标，可以很容易地优化。然而，它并没有明确衡量学习表征的质量。我们提出了一个变分互信息最大化框架VAE来解决这个问题。它提供了一个目标，最大限度地提高潜在代码和观测之间的互信息。该目标作为一个正则化，迫使VAE不忽略潜在的代码，并允许一个选择它的特定组件是最翔实的观察。最重要的是，所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。
2020-05-28 cs.IT cs.LG math.IT
Minimal-Action Discrete Schrödinger Bridge Matching for Peptide Sequence Design
Duke University（杜克大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出MadSBM框架，通过最小作用离散薛定谔桥匹配方法，实现肽序列设计的高效生成与优化。
2026-01-29 cs.LG q-bio.BM
Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces
University of Edinburgh（爱丁堡大学）；CIFAR Fellow（卡尔·弗里德里希·列文森研究员）
提出离策略训练技术改进离散扩散采样器性能，并首次引入离散域的数据到能量薛定谔桥训练，应用于图像生成模型的离散潜在空间中的无数据后验采样。
2026-05-28 cs.LG stat.ML
Discrete Diffusion Schrödinger Bridge Matching for Graph Transformation
KAIST（韩国科学技术院）
提出离散扩散薛定谔桥匹配框架，通过连续时间马尔可夫链求解高维离散状态空间的薛定谔桥问题，并应用于分子优化，实现以最小图变换优化目标性质。
2025-02-28 cs.AI cs.LG
Mutual Information Optimal Control of Discrete-Time Linear Systems
Graduate School of Informatics, Kyoto University（信息学研究科，京都大学）
本文研究离散时间线性系统的互信息最优控制问题，通过同时优化策略与先验并利用高斯分布下的解析结果，提出了一种交替最小化算法。
2025-07-07 cs.LG cs.SY eess.SY
Bayesian Treatment of Incomplete Discrete Data applied to Mutual Information and Feature Selection
给定一对随机变量的联合机会，可以计算感兴趣的量，如互信息。未知机会的贝叶斯处理涉及从二阶先验分布和数据似然计算机会的后验分布。不完全数据的一种常见处理方法是假设可重复性并通过期望最大化（EM）算法确定机会。上述两种不同的方法是公认的，但通常是分开的。本文在Dirichlet先验的情况下将这两种方法结合起来，导出了机会和互信息的均值、众数和（协）方差的有效近似。此外，我们证明了单峰的后验分布，从而EM收敛到全局最大值的重要性质，在选定的框架。这些结果适用于增量学习和朴素贝叶斯分类的特征选择问题。基于互信息分布的快速滤波器被证明优于基于经验互信息的传统滤波器。
2003-06-24 cs.AI cs.LG math.PR
Discrete Markov Bridge
Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；NLCo Lab, Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院NLCo实验室）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；Department of Automation, Tsinghua University（清华大学自动化系）；University of California, Los Angeles（美国加州大学洛杉矶分校）
本文提出离散马尔可夫桥框架，通过矩阵学习和分数学习解决离散扩散中固定转移矩阵的限制，在Text8上取得ELBO 1.38，并在CIFAR-10上表现与图像专用方法相当。
2025-05-26 cs.AI cs.CL cs.LG
Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors
Korea Advanced Institute of Science and Technology（韩国科学技术院）
学习数据的可解释和解纠缠表示是机器学习研究中的一个关键主题。变分自编码器（Variational Autoencoder，VAE）是一种学习复杂数据的有向隐变量模型的可扩展方法。它采用了一个清晰和可解释的目标，可以很容易地优化。然而，这个目标并没有提供一个明确的措施，潜在的变量表示的质量，这可能会导致他们的质量差。我们提出了变分互信息最大化框架VAE来解决这个问题。与其他方法相比，它提供了一个明确的目标，最大限度地降低潜在代码和观察之间的互信息。该目标作为一个正则化，迫使VAE不忽略潜在变量，并允许一个选择它的特定组件是最翔实的观察。最重要的是，所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。我们已经进行了我们的实验VAE模型与高斯和联合高斯和离散的潜变量。我们的结果表明，所提出的方法加强了潜在代码和观察之间的关系，并改进了学习的表示。
2020-06-02 cs.IT cs.LG math.IT
Maximum entropy optimal density control of discrete-time linear systems and Schrödinger bridges
Tokyo Institute of Technology（东京工业大学）；Kyoto University（京都大学）
本文针对离散时间线性系统提出带高斯密度约束的最大熵最优密度控制方法，推导其显式形式，并将相关状态过程刻画为pinned过程，揭示其与薛定谔桥的等价关系。
2023-08-13 cs.LG cs.SY eess.SY
Adversarial Schrödinger Bridge Matching
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Artificial Intelligence Research Institute（人工智能研究院）；Skoltech（斯科尔科沃科学技术学院）；AIRI（人工智能研究院）
针对薛定谔桥问题中迭代马尔可夫拟合法推理时间过长的问题，提出离散时间IMF过程，利用去噪扩散GAN实现仅需几步生成即可达到同等质量的域翻译。
2024-11-05 cs.LG
Estimating Mutual Information between Time Series and Temporal Event Sequences Across Diverse Analysis Tasks
University of Minnesota - Twin Cities（明尼苏达大学-双城分校）；University of Pittsburgh（匹兹堡大学）；Inha University（Inha大学）
提出一种非参数互信息估计器，直接度量连续时间序列与离散事件序列之间的依赖关系，无需数据转换或离散化，通过处理量化伪影和事件冗余实现鲁棒统一框架。
2026-06-23 cs.AI cs.IT cs.LG
Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models
University of California, Berkeley, CA, USA（加州大学伯克利分校）
本文提出了一种神经框架，直接从预训练的遮蔽扩散模型（MDMs）的隐藏状态中估计成对条件互信息（MI），利用模型自身条件分布计算的地面真实MI进行监督，从而捕捉模型内部对依赖结构的信念，并在单次前向传递中预测完整的MI矩阵，实现MI引导的并行解码。
2026-01-27 cs.AI cs.IT cs.LG
Improving Discrete Latent Representations With Differentiable Approximation Bridges
University of Geneva（日内瓦大学）；University of Applied Sciences（应用科学大学）；Apple Inc.（苹果公司）
现代神经网络训练依赖于分段（次）可微函数，以便使用反向传播来更新模型参数。在这项工作中，我们介绍了一种新的方法，允许简单的不可微功能在中间层的深度神经网络。我们这样做的训练与微分逼近桥（DAB）神经网络，它近似的不可微的前向函数，并提供梯度更新过程中反向传播。我们提出了强有力的经验结果（执行超过600个实验）在四个不同的领域：无监督（图像）表示学习，变分（图像）密度估计，图像分类，和序列排序，以证明我们提出的方法提高了最先进的性能。我们证明，与Gumbel-Softmax松弛估计器[37，26]相比，使用DAB辅助离散不可微函数的训练将图像重建质量和后验线性可分性提高了10%，并且与最先进的RELAX [16]离散估计器相比，测试变分下限提高了9%。我们还观察到神经序列排序的准确性提高了77%，并且在图像分类设置中与直通估计器相比提高了25%。DAB网络不用于推理，并扩展了神经网络中可用的函数类。
2019-10-26 cs.AI cs.CV cs.LG
Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis
Huazhong University of Science and Technology（华中科技大学）
多模态情感分析（MSA）是一个基础性的复杂研究问题，这是由于不同模态之间的异质性和人类情感表达的模糊性造成的。虽然已经有许多成功的尝试来构建多模态表示的MSA，仍然有两个挑战需要解决：1）一个更强大的多模态表示需要构建，以弥合异质性的差距，并应付复杂的多模态交互，和2）上下文动态必须有效地建模整个信息流。在这项工作中，我们提出了一个多模态表示模型的基础上互信息最大化和最小化和身份嵌入（MMMIE）。我们结合模态对之间的互信息最大化和输入数据与相应特征之间的互信息最小化来挖掘模态不变和任务相关的信息。此外，身份嵌入被提出来促使下游网络感知上下文信息。在两个公开数据集上的实验结果证明了该模型的有效性。
2022-07-04 cs.CL cs.CV cs.LG
Let us Build Bridges: Understanding and Extending Diffusion Generative Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于扩散的生成模型最近取得了可喜的成果，但提出了一系列的开放性问题，在概念理解，理论分析，算法改进和扩展到离散的，结构化的，非欧几里德域。这项工作试图重新检查的整体框架，以获得更好的理论理解和开发算法扩展的数据从任意域。通过将扩散模型看作是具有不可观测扩散轨迹的隐变量模型，并应用隐轨迹由辅助分布估算的极大似然估计（MLE），我们证明了无论是模型的构造还是隐轨迹的估算，都相当于构造了在终点具有确定性值和约束的扩散桥过程，并为此提供了系统的研究和一套工具.利用我们的框架，我们提出了1）学习扩散生成模型的第一个理论误差分析，以及2）一个简单而统一的方法来学习来自不同离散和约束域的数据。实验表明，我们的方法在生成图像，语义段和三维点云上表现出色。
2022-08-31 cs.CV cs.LG
Dequantified Diffusion-Schr{ö}dinger Bridge for Density Ratio Estimation
The School of Mathematics, South China University of Technology, Guangzhou 510006, China（华南理工大学数学学院）；The School of Electronic and Information Engineering, South China University of Technology, Guangzhou 510006, China（华南理工大学电子与信息工程学院）；The Department of Electrical Engineering, Columbia University, New York, NY 10027, USA（哥伦比亚大学电气工程系）
针对分布差异显著或支撑集重叠不足导致密度比估计失效及不稳定的问题，提出D3RE统一框架，通过DDBI和DSBI结合扩散桥、高斯去量化与最优传输，实现鲁棒稳定的密度比估计，理论一致逼近且实证优于基线。
2025-11-01 cs.LG stat.ML
Towards Better Understanding of Disentangled Representations via Mutual Information
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Microsoft（微软）
现有的大多数关于非纠缠表示学习的研究都是建立在边缘独立性假设之上的：非纠缠表征中的所有因素都应该是统计独立的。这一假设是必要的，但肯定是不够的，在建模过程中没有额外的归纳偏差，这是在理论上表明，在最近的研究中，解开表示。我们认为，在这项工作中，解纠缠表示的特点是它们与可观察到的数据的关系。特别是，我们制定这样的关系，通过互信息的概念：之间的互信息的解纠缠表示和数据的每个因素应该是不变的其他因素的值的条件。连同广泛接受的独立性假设，我们进一步桥接它与有条件的独立性的因素表示条件的数据。此外，我们注意到，由于在编码器中人为选择了因子分解的近似后验$q(\rvz|\rvx)$，大多数VAE类型模型和InfoGAN都被施加了潜变量的条件独立性。这种编码器的安排为解纠缠表示引入了关键的归纳偏差。为了证明我们提出的假设和相关的归纳偏差的重要性，我们在实验中表明，违反假设导致下降的因素之间的解纠缠的学习表示。
2020-07-01 cs.LG stat.ML
varrank: an R package for variable ranking based on mutual information with applications to observed systemic datasets
University of Zurich（苏黎世大学）
这篇文章介绍了R包varrank。它有一个灵活的启发式方法，执行变量排序的基础上互信息的实现。该软件包特别适合于探索需要整体分析的多变量数据集。核心功能是最小冗余最大相关性（mRMRe）模型的一般实现。这种方法是基于信息理论度量。它与使用大量可能规则进行离散化的离散和连续数据兼容。该软件包可以解决的两个主要问题是选择最具代表性的变量，用于对感兴趣的变量集合进行建模，即，降维和关于一组感兴趣的变量的变量排序。
2018-04-19 cs.LG stat.ML
Robust Feature Selection by Mutual Information Distributions
互信息广泛应用于人工智能中，以描述的方式度量离散随机变量的随机依赖性。为了解决诸如经验值的可靠性之类的问题，必须考虑样本到人口的推理方法。本文讨论了互信息的分布，在贝叶斯框架下获得的二阶Dirichlet先验分布。的平均值和方差的分析近似的精确解析表达式的报告。提出了分布的渐近近似。结果被施加到问题的选择功能的增量学习和分类的朴素贝叶斯分类器。结果表明，一种快速、新定义的方法优于基于大量真实数据集的经验互信息的传统方法。最后，一个理论的发展报告，允许一个有效地扩展上述方法不完整的样本中一个简单而有效的方式。
2002-06-03 cs.AI cs.LG
Shuffle and Learn: Minimizing Mutual Information for Unsupervised Hashing
University of British Columbia（不列颠哥伦比亚大学）
无监督二进制表示允许快速数据检索而无需任何注释，从而实现快速人员重新识别和多媒体检索等实际应用。有人认为，二进制空间中的冲突是高性能无监督哈希的主要障碍之一，因为目前的方法未能捕捉到精确的代码冲突在整个域。提出了一种新的松弛方法Shuffle and Learn来解决无监督哈希中的代码冲突。联合概率的近似导数和二进制层的梯度被引入以桥接从散列到输入的更新。给出了$ε$ --联合概率逼近导数收敛性的证明，保证了互信息更新的精确性。所提出的算法进行迭代全局更新，以最小化互信息，发散代码之前，定期无监督优化。实验表明，所提出的方法可以放松局部最优的代码优化，并有助于生成更有区别性和信息量的二进制表示，没有任何注释。在三个开放数据集上进行了无监督二进制代码图像检索的性能基准测试，并且该模型在所有这些数据集上的图像检索任务上都达到了最先进的精度。提供了数据集和可复制的代码。
2020-11-20 cs.CV cs.IR cs.LG
