Variational Collaborative Learning for User Probabilistic Representation
Cooperative Madianet Innovation Center（媒体网络协同创新中心）；Shanghai Jiao Tong University（上海交通大学）
协同过滤（CF）已成功地应用于许多现代推荐系统。传统的基于CF的方法使用用户-项目交互数据作为向用户推荐项目的唯一信息源。然而，基于CF的方法已知遭受冷启动问题和数据稀疏问题。在交互数据之上利用辅助信息的混合模型越来越受到关注。最近提出了一些基于“协作学习”的模型，通过相互正则化将两个异构学习者紧密地连接起来，用于混合推荐。然而，现有方法中的“协作”实际上是异步的，这是由于两个学习器的交替优化。利用变分自编码器~（VAE）的最新进展，本文提出了一种由两个相互关联的VAE流组成的模型，称为变分协作模型（VCM）。与以前的作品中使用的两个学习者异步优化的相互正则化不同，VCM实现了同步协作学习机制。此外，两个流VAE设置允许VCM在协作学习中充分利用贝叶斯概率表示。在三个真实数据集上的大量实验表明，VCM优于几种最先进的方法。
2018-09-22 cs.LG stat.ML
Discovering Influential Factors in Variational Autoencoders
Xi'an Jiaotong University（西安交通大学）；Brunel University London（布鲁内尔大学伦敦分校）；State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出通过互信息指标在变分自编码器中识别影响因素，通过实验验证其在数据重建和分类任务中的有效性。
2025-12-09 cs.LG stat.ML
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Data Augmentation with Variational Autoencoders and Manifold Sampling
Université de Paris（巴黎大学）；INRIA（法国国家信息与自动化研究所）；Centre de recherche des Cordeliers（科德利埃研究中心）；INSERM（法国国家健康与医学研究院）；Sorbonne Université（索邦大学）
我们提出了一种新的有效的方法来采样从可变自动编码器在具有挑战性的低样本量设置。这种方法特别适合在这样一个低数据制度进行数据增强，并在各种标准和现实生活中的数据集进行验证。特别是，该方案可以大大提高OASIS数据库上的分类结果，其中平衡准确度从使用原始数据训练的分类器的80.7%跃升至仅使用我们的方法生成的合成数据训练时的88.6%。在3个标准数据集和其他分类器上也观察到这样的结果。代码可在https://github.com/clementchadebec/Data_Augmentation_with_VAE-DALI上获得。
2021-09-28 cs.LG stat.ML
Mutual Exclusivity Loss for Semi-Supervised Deep Learning
University of Utah（犹他大学）
在本文中，我们考虑使用深度卷积神经网络（ConvNets）进行半监督学习的问题。半监督学习的动机是观察到未标记的数据是廉价的，可以用来提高分类器的准确性。在本文中，我们提出了一个无监督的正则化项，明确地迫使分类器的预测多个类是互斥的，并有效地引导决策边界躺在低密度空间之间的流形对应于不同类别的数据。我们提出的方法是通用的，可以与任何基于反向传播的学习方法一起使用。我们通过不同的实验表明，我们的方法可以提高使用未标记数据的ConvNets的对象识别性能。
2016-06-09 cs.CV cs.LG stat.ML
Class-Distinct and Class-Mutual Image Generation with GANs
生成对抗网络（GANs）的类条件扩展，例如辅助分类器GAN（AC-GAN）和条件GAN（cGAN），由于它们能够将表示分解为类标签和其他因素并提高训练稳定性，因此受到了关注。然而，一个局限性是，他们假设每个类是可分离的，忽略了类之间的关系，即使类重叠经常发生在现实世界的情况下，数据收集的基础上不同或模糊的标准。为了克服这一限制，我们解决了一个新的问题，称为类独特的和类相互的图像生成，其中的目标是构建一个生成器，可以捕获类间的关系，并生成一个图像选择性的类特异性的条件。为了解决这个问题，没有额外的监督，我们提出了分类器的后验GAN（CP-GAN），其中我们重新设计的生成器输入和AC-GAN的目标函数的类重叠的数据。准确地说，我们将分类器的后验融入到生成器的输入中，并优化生成器，使生成数据的分类器后验与真实数据的后验相对应。我们证明了CP-GAN的有效性，使用控制和现实世界的类重叠数据与模型配置分析和比较研究。我们的代码可在https://github.com/takuhirok/CP-GAN/上获得。
2019-07-24 cs.CV cs.LG stat.ML
Mutual Information Constraints for Monte-Carlo Objectives
DeepMind（深度思维）；University College London（伦敦大学学院）；Oxford University（牛津大学）
作为变分自编码器训练的密度模型的一个常见故障模式是在不依赖于其潜变量的情况下对数据进行建模，从而使这些变量变得无用。文献中分别研究了两个影响因素，模型的欠规格和变分下限的松散性。我们编织这两股的研究在一起，特别是更严格的限制蒙特卡罗目标和约束的可观察变量和潜变量之间的互信息。将互信息估计为容易获得的变分后验$q(z|x)$和先验之间的平均库尔贝克-莱布勒散度，对于蒙特卡罗目标不起作用，因为$q(z|x)$不再是模型的真实后验$p(z|x)$的直接近似。因此，我们通过回收目标中使用的样本，构建了真实后验的库尔贝克-莱布勒散度的估计量，用它我们训练了连续和离散潜伏期模型，大大改善了率失真，没有后验崩溃。虽然减轻，建模数据和使用的潜在之间的权衡仍然存在，我们敦促评估推理方法在一系列的互信息值。
2022-05-09 cs.CL cs.LG stat.ML
VRoC: Variational Autoencoder-aided Multi-task Rumor Classifier Based on Text
University of Southern California（南加州大学）
社交媒体变得流行起来，几乎影响了我们日常生活的方方面面。虽然网上发帖对个人用户来说非常方便，但它也助长了各种谣言的快速传播。谣言的迅速和广泛传播会造成持续的不利或有害影响。因此，研究者们在减少谣言的负面影响方面投入了大量的精力。为此，谣言分类系统旨在检测，跟踪和验证社交媒体中的谣言。这样的系统通常包括四个组件：（i）谣言检测器，（ii）谣言跟踪器，（iii）立场分类器，以及（iv）真实性分类器。为了提高谣言检测、跟踪和验证的最新水平，我们提出了一种基于推特级变分自编码器的谣言分类系统VRoC。VRoC由一个协同训练引擎组成，该引擎训练变分自编码器（VAE）和谣言分类组件。协同训练引擎帮助VAE调整它们的潜在表示，使其对分类器友好。我们还表明，VRoC能够以高精度对看不见的谣言进行分类。对于PHEME数据集，VRoC在宏观F1评分方面，在观察到的和未观察到的谣言上，始终优于几种最先进的技术，最高可达26.9%。
2021-01-28 cs.CL cs.LG
Style Feature Extraction Using Contrastive Conditioned Variational Autoencoders with Mutual Information Constraints
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星际舰队学院）
本文提出一种仅用未标注数据提取风格特征的方法，通过对比学习获取风格无关特征作为条件，并结合互信息约束训练条件变分自编码器，在MNIST、Google Fonts及自然图像数据集上验证了其有效性。
2023-03-16 cs.CV cs.LG stat.ML
Branched Variational Autoencoder Classifiers
University of Waterloo（滑铁卢大学）
本文提出一种带额外神经网络分支的改进型变分自编码器（BVAE），通过在总损失中加入分类组件将类别信息引入潜在表示，分离并排序潜在空间分布，在MNIST数据集上显著提升了分类精度及多种输出分布下的性能。
2024-01-04 cs.CV cs.LG
Improve variational autoEncoder with auxiliary softmax multiclassifier
Institute of Big Data Fudan University（复旦大学大数据学院）
VAE作为一种通用的生成模型体系结构，在图像和自然语言处理领域得到了广泛的应用。VAE通过无监督学习将高维样本数据映射为连续潜变量。VAE在特征的隐变量空间中进行采样，可以构造新的图像或文本数据。作为一种通用的生成模型，VAE不能很好地适应不同的数据集和不同结构的神经网络。由于需要在训练过程中平衡重建的准确性和潜变量采样的方便性，VAE经常存在被称为“后验崩溃”的问题。通过VAE重建的图像也经常模糊。本文分析了产生这些问题的主要原因，即在训练过程中样本变量与潜在特征变量之间缺乏互信息。为了在模型训练中保持互信息，我们提出使用辅助softmax多分类网络结构来提高VAE的训练效果，称为VAE-AS。我们使用MNIST和Omniglot数据集来测试VAE-AS模型。实验结果表明，VAE-AS在互信息调整和解决后验崩溃问题方面具有明显的效果。
2019-11-03 cs.LG stat.ML
Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information
Rutgers University（罗格斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了学习离散结构化表示从未标记的数据最大化之间的互信息的结构化的潜在变量和目标变量。在这种情况下，计算互信息是困难的。我们的关键技术贡献是一个对抗性的目标，可用于可追踪地估计互信息，假设只有交叉熵计算的可行性。我们开发了一个具体的实现，这个一般配方与马尔可夫分布的二进制编码。我们报告的关键和意想不到的结果，如变分先验的选择的目标的实际方面。我们将我们的模型应用于文档散列，并表明它优于基于离散和矢量量化变分自编码器的当前最佳基线。它还产生高度压缩的可解释表示。
2020-07-15 cs.IT cs.LG math.IT
ACVAE-VC: Non-parallel many-to-many voice conversion with auxiliary classifier variational autoencoder
NTT Communication Science Laboratories, NTT Corporation（NTT株式会社NTT通信科学实验室）
本文提出了一种非并行的多对多语音转换（VC）方法，使用的条件变分自动编码器（VAE）的变体称为辅助分类器VAE（ACVAE）。所提出的方法有三个关键特征。首先，它采用全卷积架构来构建编码器和解码器网络，以便网络可以学习转换规则，这些规则捕获源和目标语音的声学特征序列中的时间依赖性。其次，它使用信息论正则化的模型训练，以确保属性类标签中的信息不会在转换过程中丢失。对于常规CVAE，编码器和解码器可以自由地忽略属性类标签输入。这可能是有问题的，因为在这种情况下，属性类标签在测试时对控制输入语音的话音特性几乎没有影响。这种情况可以通过引入辅助分类器并训练编码器和解码器来避免，使得解码器输出的属性类被分类器正确地预测。第三，它通过简单地将输入语音的频谱细节移植到其转换后的版本中，避免了在测试时产生嗡嗡声。主观评价实验表明，这种简单的方法在非并行多对多说话人身份转换任务中效果相当好。
2020-10-10 cs.LG cs.SD eess.AS
Semi-supervised Learning of Galaxy Morphology using Equivariant Transformer Variational Autoencoders
University of Oxford（牛津大学）
星系图像数量的增长速度远远快于人类标记这些星系的速度。然而，通过利用不断增长的未标记图像中的信息，半监督学习可能是减少所需标记和提高分类准确性的有效方法。我们开发了一个变分自动编码器（VAE）的等变Transformer层与分类器网络从潜在的空间。我们表明，这种新的架构导致精度的提高时，用于星系形态分类任务的银河动物园数据集。此外，我们还表明，与现有方法相比，使用未标记的数据对分类器网络进行预训练作为VAE的一部分，可以使用更少的标签获得更高的准确性。这种新的VAE具有自动化星系形态分类的潜力，减少了人类的标记工作。
2020-11-17 cs.LG stat.ML
Contrastively Disentangled Sequential Variational Autoencoder
Cornell University（康奈尔大学）；Google（谷歌）
自监督解纠缠表示学习是序列建模中的一个关键任务。学习的表示有助于更好的模型可解释性以及数据生成，并提高下游任务的样本效率。我们提出了一种新的序列表示学习方法，命名为对比解纠缠序列变分自编码器（C-DSVAE），提取和分离的静态（时不变）和动态（时变）的因素在潜在的空间。与以往的序列变分自编码器方法不同，本文提出了一种新的证据下界，该证据下界最大化了输入和潜在因子之间的互信息，同时惩罚了静态和动态因子之间的互信息.我们利用训练中的互信息项的对比估计，以及简单而有效的增强技术，引入额外的归纳偏差。我们的实验表明，C-DSVAE显着优于以前的国家的最先进的方法在多个指标。
2021-10-22 cs.AI cs.LG
Unbiased Auxiliary Classifier GANs with MINE
Rutgers University（罗格斯大学）
辅助分类器GANs（AC-GANs）是广泛使用的条件生成模型，并且能够生成高质量的图像。以前的工作已经指出，AC-GAN学习有偏的分布。为了解决这个问题，Twin Auxiliary Classifier GAN（TAC-GAN）将一个孪生分类器引入到最小-最大博弈中。然而，据报道，使用双辅助分类器可能会导致训练不稳定。为此，我们提出了一种无偏辅助GANs（UAC-GAN），它利用互信息神经估计（MINE）来估计生成的数据分布和标签之间的互信息。为了进一步提高性能，我们还提出了一种新的基于投影的统计网络结构的MINE。在混合高斯（MoG）、MNIST和CIFAR 10数据集上的实验结果表明，UAC-GAN的性能优于AC-GAN和TAC-GAN。代码可以在项目网站上找到。
2020-06-13 cs.CV cs.LG
Information-Theoretic GAN Compression with Variational Energy-based Model
Seoul National University（首尔国立大学）；Samsung Advanced Institute of Technology（三星综合技术院）
我们提出了一种信息理论知识蒸馏方法用于压缩生成对抗网络，其目的是通过基于能量模型的变分优化来最大化教师和学生网络之间的互信息。由于直接计算连续域中的互信息是棘手的，我们的方法交替优化学生网络的最大化的变分下界的互信息。为了实现严格的下限，我们引入了一个基于能量的模型，该模型依赖于一个深度神经网络来表示一个灵活的变分分布，该分布可以有效地处理高维图像并考虑像素之间的空间依赖关系。由于所提出的方法是一种通用的优化算法，因此它可以方便地并入任意生成对抗网络甚至密集预测网络，例如，图像增强模型我们证明了该算法在与几个现有模型相结合时，在生成对抗网络的模型压缩方面取得了出色的性能。
2023-03-28 cs.CV cs.LG
Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization
Virginia Tech（弗吉尼亚理工大学）；Duke University（杜克大学）；KAUST（阿卜杜拉国王科技大学）；Amazon（亚马逊）
InfoNCE及其变体的成功应用推广了对比变分互信息（MI）估计在机器学习中的应用。虽然具有优越的稳定性，但这些估计器严重依赖于昂贵的大批量训练，并且为了减少方差而牺牲了边界的紧密性。为了克服这些局限性，我们重新审视流行的变分MI边界的数学从镜头的非规范化的统计建模和凸优化。我们的调查不仅产生了一个新的统一的理论框架，包括流行的变分MI界限，但也导致了一种新的，简单的，强大的对比MI估计命名为FLO。理论上，我们证明了FLO估计是紧的，并且在随机梯度下降下可证明收敛。从经验上讲，我们的FLO估计器克服了前人的局限性，学习效率更高。FLO的效用是使用一组广泛的基准测试，这也揭示了在实际MI估计的权衡验证。
2022-10-24 cs.AI cs.IT cs.LG
Open-Set Recognition with Gaussian Mixture Variational Autoencoders
Northwestern University（西北大学）
在推理中，开集分类是将样本分类到训练中的已知类或将其拒绝为未知类。现有的深度开集分类器训练显式闭集分类器，在某些情况下，分离地利用重建，我们发现稀释了潜在的表示的能力，以区分未知的类。相比之下，我们训练我们的模型来合作学习重建，并在潜在空间中执行基于类的聚类。有了这个，我们的高斯混合变分自编码器（GMVAE）实现了更准确和更强大的开集分类结果，平均F1提高了29.5%，通过大量的实验分析结果的帮助。
2020-06-03 cs.CV cs.LG cs.NE
Ansatz-Independent Variational Quantum Classifier
本文提出与拟设无关的酉核方法（UKM）及变分电路实现（VCR），通过将变分量子分类器统一到核方法框架中直接优化酉演化算符，并构建高性能量子电路，在多数据集上验证了其优越性。
2021-02-02 cond-mat.stat-mech quant-ph stat.ML
VaB-AL: Incorporating Class Imbalance and Difficulty with Variational Bayes for Active Learning
Chung-Ang University（中央大学）；University of British Columbia（不列颠哥伦比亚大学）；Samsung SDS（三星SDS）；University of Birmingham（伯明翰大学）
判别模型的主动学习在很大程度上是集中在单个样本上研究的，而不太强调类是如何分布的，或者哪些类是难以处理的。在这项工作中，我们表明这是有害的。我们提出了一种基于贝叶斯规则的方法，可以自然地将类不平衡纳入主动学习框架。我们得出，在估计分类器对给定样本犯错误的概率时，应同时考虑三个术语：i）错误标记类的概率，ii）给定预测类的数据的可能性，以及iii）预测类丰度的先验概率。实现这些条款需要一个生成模型和一个棘手的似然估计。因此，我们为此目的训练了变分自动编码器（VAE）。为了进一步将VAE与分类器联系起来并促进VAE训练，我们使用分类器的深度特征表示作为VAE的输入。通过考虑所有三种概率，特别是其中的数据不平衡，我们可以在有限的数据预算下大大提高现有方法的潜力。我们表明，我们的方法可以应用于多个不同数据集的分类任务-包括一个具有严重数据不平衡的真实世界数据集-显着优于最先进的技术。
2020-12-03 cs.CV cs.LG stat.ML
Multi-fidelity Batch Active Learning for Gaussian Process Classifiers
Mechanical Engineering, Stanford University（斯坦福大学机械工程系）；University College London（伦敦大学学院）
本文提出BPMI算法，利用一阶泰勒展开近似互信息，实现多保真高斯过程分类器的批量主动学习，在合成与真实案例中均以固定预算获得更高预测精度。
2025-10-09 cs.CE cs.LG physics.comp-ph
Neural Network Classifier as Mutual Information Evaluator
School of Computing, Australian National University（澳大利亚国立大学计算学院）；GSAI, POSTECH, Korea（韩国浦项科技大学人工智能研究生院）
交叉熵损失和softmax输出是训练神经网络分类器的标准选择。我们给出了一个新的观点，神经网络分类器与softmax和交叉熵的互信息评估。我们表明，当数据集是平衡的，训练一个神经网络与交叉熵最大化输入和标签之间的互信息通过变分形式的互信息。因此，我们开发了一种新形式的softmax，它也将分类器转换为互信息评估器，当数据集不平衡时。实验结果表明，新的形式导致更好的分类精度，特别是对不平衡的数据集。
2021-08-14 cs.LG stat.ML
Resisting Adversarial Attacks using Gaussian Mixture Variational Autoencoders
Max Planck Institute of Intelligent Systems（马克斯·普朗克智能系统研究所）；IBM Research AI（IBM研究院人工智能部门）
深度神经网络对对抗攻击的敏感性构成了一个重大的理论和实践挑战。所有强化分类器以抵御此类攻击的努力都取得了有限的成功。深度网络容易受到的两种不同类型的样本，“对抗样本”和“欺骗样本”，由于一起考虑时所带来的困难，到目前为止已经分别处理。在这项工作中，我们将展示如何在一个统一的框架下解决这两个问题。我们将一个判别模型与一个生成模型联系起来，使对抗性目标产生冲突。我们的模型具有变分自编码器的形式，在潜在向量上具有高斯混合先验。先验分布的每个混合分量对应于数据中的一个类。这使我们能够执行选择性分类，从而拒绝对抗样本而不是错误分类。我们的方法本质上也提供了一种在半监督场景中学习选择性分类器的方法，该方法可以抵抗对抗攻击。我们还展示了如何重新分类被拒绝的对抗样本。
2018-12-10 cs.CR cs.LG stat.ML
FMMI: Flow Matching Mutual Information Estimation
Applied AI Institute（应用人工智能研究所）；Institute of Numerical Mathematics, RAS（俄罗斯科学院数值数学研究所）；National Research Nuclear University MEPhI（国立研究型核大学MEPhI（莫斯科工程物理学院））
FMMI通过学习归一化流来估计互信息，提供了一种高效且精确的MI估计方法，适用于高维数据和广泛的真实MI值范围。
2026-02-09 cs.IT cs.LG math.IT
Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization
University of Virginia（弗吉尼亚大学）
训练对对抗性输入具有鲁棒性的机器学习模型带来了看似不可逾越的挑战。为了更好地理解对抗鲁棒性，我们考虑学习鲁棒表示的基本问题。我们开发了一个概念的表示脆弱性，捕获的最大变化的互信息之间的输入和输出分布，在最坏的情况下输入扰动。然后，我们证明了一个定理，该定理建立了一个最小对抗风险的下限，该下限可以根据其表示漏洞为任何下游分类器实现。我们提出了一种无监督学习方法，通过最大化输入和输出分布之间的最坏情况下的互信息来获得本质上鲁棒的表示。对下游分类任务的实验支持使用无监督学习和我们的训练原则发现的表示的鲁棒性。
2020-07-05 cs.CR cs.IT cs.LG
Provable concept learning for interpretable predictions using variational autoencoders
ETH Zürich（苏黎世联邦理工学院）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在安全关键应用中，当没有可解释的解释时，从业者不愿意信任神经网络。许多提供这种解释的尝试围绕基于像素的属性或使用先前已知的概念。在本文中，我们的目的是提供可证明的识别\emph{high-level, previously unknown ground-truth concepts}的解释。为此，我们提出了一个概率建模框架，以获得（C）概念（L）收入和（P）预测（CLAP）-一个基于VAE的分类器，使用视觉上可解释的概念作为预测一个简单的分类器。假设地面实况概念的生成模型，我们证明CLAP能够识别它们，同时达到最佳的分类精度。我们在合成数据集上的实验验证了CLAP在合成数据集上识别出不同的地面实况概念，并在医学胸部X射线数据集上产生了有希望的结果。
2022-07-22 cs.LG stat.ME
Conditional Variational Capsule Network for Open Set Recognition
University of Padova（帕多瓦大学）；National University of Defense Technology（国防科技大学）
在开集识别中，分类器必须检测在训练时未知的未知类。为了识别新的类别，分类器必须将已知类别的输入样本投影到特征空间的非常紧凑和分离的区域中，以区分未知类别的样本。最近提出的胶囊网络在许多领域都表现出优于替代品的性能，特别是在图像识别方面，但它们尚未完全应用于开集识别。在胶囊网络中，标量神经元被胶囊向量或矩阵取代，其条目代表对象的不同属性。在我们的建议中，在训练期间，鼓励相同已知类别的胶囊特征匹配预定义的高斯，每个类别一个。为此，我们使用变分自编码器框架，与一组高斯先验作为后验分布的近似。通过这种方式，我们能够控制高斯中心周围同类特征的紧密性，从而控制分类器检测未知类样本的能力。我们对我们的模型进行了几次实验和消融，在开集识别和未知检测任务中的不同数据集上获得了最先进的结果。
2021-08-17 cs.AI cs.CV cs.LG
Adversarial Images for Variational Autoencoders
University of Campinas (Unicamp)（坎皮纳斯州立大学）
我们研究自动编码器的对抗攻击。我们提出了一个程序，扭曲的输入图像误导自动编码器重建一个完全不同的目标图像。我们攻击内部潜在表征，试图使敌对输入产生与目标尽可能相似的内部表征。我们发现，自编码器比分类器更强大的攻击：虽然有些例子有可容忍的小输入失真，和合理的相似性的目标图像，有一个准线性的权衡这些目标。我们报告了MNIST和SVHN数据集的结果，并测试了常规的确定性自动编码器，在所有情况下都得出了类似的结论。最后，我们表明，通常的对抗攻击的分类器，而更容易，也提出了一个直接的比例失真的输入，和误导的输出。然而，这种比例性被输出的归一化所隐藏，它将线性层映射为非线性概率。
2016-12-01 cs.CV cs.LG cs.NE
DoS and DDoS Mitigation Using Variational Autoencoders
Oslo Metropolitan University（奥斯陆城市大学）；University of Oslo（奥斯陆大学）；University of Granada（格拉纳达大学）
在过去十年中，DoS和DDoS攻击的规模和数量一直在增长，现有的解决方案通常效率低下。与其他类型的恶意网络攻击相比，DoS和DDoS攻击更具挑战性。由于它们能够将自己伪装成合法流量，因此开发在数据包或流级别检测这些类型的攻击的方法已被证明是一项艰巨的任务。在本文中，我们探讨了变分自编码器作为区分正常和恶意流量的智能安全解决方案中的一个组件的潜力。提出了两种基于变分自编码器从网络业务流中学习潜在表示的方法。第一种方法采用基于从流量跟踪中学习的变分自编码器获得的潜在编码的分类器。第二种方法是一种异常检测方法，其中使用变分自编码器来学习唯一合法流量的抽象特征表示。然后，通过依赖于变分自编码器的重构损失来滤除异常。这两种方法都在具有相似特征空间的两个独立数据集上进行了彻底的测试。结果表明，这两种方法都是有前途的，与基于异常的方法相比，基于分类器的方法略有优势。%，第一种方法能够在训练和验证数据上以高精度成功地检测各个业务流，在测试数据上稍微不太成功。对于第二种方法，变分自编码器将需要进一步的调整，以便能够从网络业务流中充分滤除异常。
2021-05-14 cs.CR cs.LG cs.NI
On Variational Bounds of Mutual Information
Google Brain（谷歌大脑）；MILA（蒙特利尔学习算法研究所）；DeepMind（深度思维）
在机器学习中，估计和优化互信息（MI）是许多问题的核心;然而，在高维中界定MI是具有挑战性的。为了建立易于处理和可扩展的目标，最近的工作已经转向由神经网络参数化的变分界限，但这些界限之间的关系和权衡仍然不清楚。在这项工作中，我们将这些最近的发展统一在一个单一的框架。我们发现，现有的变分下界退化时，MI是大的，表现出高偏差或高方差。为了解决这个问题，我们引入了一个连续的下限，包括以前的界限和灵活的权衡偏差和方差。在高维的，受控的问题，我们凭经验的特点的偏差和方差的界限和它们的梯度，并证明了我们的估计和表示学习的新界限的有效性。
2019-05-16 cs.LG stat.ML
SAFE Quantum Machine Learning with Variational Quantum Classifiers
National University of Singapore（新加坡国立大学）；University of Pavia（帕维亚大学）
本文提出一种基于幅度编码的变分量子分类器，结合归一化幅度嵌入与有界量子可观测量，构建了结构化且平滑的假设空间，通过SAFE-AI指标评估模型可靠性，实验证明其在预测性能和噪声鲁棒性方面优于经典基线。
2026-05-15 cs.LG stat.ML
DEMI: Discriminative Estimator of Mutual Information
Massachusetts Institute of Technology（麻省理工学院）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）
连续随机变量之间的互信息估计对于高维数据来说通常是棘手的并且极具挑战性。最近的进展是利用神经网络来优化互信息的变分下界。尽管变分方法在解决这一难题方面有着广阔的前景，但理论和经验证明，变分方法具有严重的统计局限性：1）当潜在的互信息很低或很高时，许多方法难以产生准确的估计值; 2）所得的估计值可能会受到高方差的影响。我们的方法是基于训练一个分类器，该分类器提供了数据样本对是从联合分布而不是从其边缘分布的乘积中提取的概率。此外，我们建立了一个直接的连接之间的互信息和平均对数的几率估计产生的分类器上的测试集，导致一个简单而准确的估计互信息。我们从理论上表明，我们的方法和其他变分方法是等价的，当他们达到最佳，而我们的方法回避变分的约束。实证结果表明，我们的方法的高精度和我们的估计的优势，在表示学习的背景下。我们的演示可在https://github.com/RayRuizhiLiao/demi_mi_estimator上获得。
2020-11-30 cs.LG stat.ML
Rethinking Softmax with Cross-Entropy: Neural Network Classifier as Mutual Information Estimator
Australian National University（澳大利亚国立大学）；Pohang University of Science and Technology（浦项科技大学）
互信息被广泛应用于学习观测值的潜在表示，而其在分类神经网络中的含义仍有待更好地解释。我们表明，优化分类神经网络的参数与softmax交叉熵是等价的最大化输入和标签之间的互信息的平衡数据假设。通过在人工数据集和真实数据集上的实验，我们表明softmax交叉熵可以近似地估计互信息。当应用于图像分类时，这种关系有助于近似输入图像和标签之间的逐点互信息，而无需修改网络结构。为此，我们提出了infoCAM，信息类激活图，突出显示区域的输入图像是最相关的一个给定的标签的基础上的差异信息。激活图有助于定位输入图像中的目标对象。通过两个真实世界数据集的半监督对象定位任务的实验，我们评估了我们的信息理论方法的有效性。
2020-09-17 cs.CV cs.LG stat.ML
Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems
Hologic（豪洛捷）
据报道，深度学习系统在许多应用中实现了最先进的性能，关键是在基准数据集上存在经过良好训练的分类器。作为一种主流的损失函数，交叉熵可以很容易地引导我们找到表现出严重过拟合行为的模型。在本文中，我们表明，现有的交叉熵损失最小化问题本质上是学习数据集的底层数据分布的标签条件熵（CE）。然而，以这种方式学习的CE不能很好地表征由标签和输入共享的信息。在本文中，我们提出了一个互信息学习框架，通过学习标签和输入之间的互信息来训练深度神经网络分类器。从理论上给出了基于互信息的种群分类误差下界。此外，我们推导出$\mathbb{R}^n$中具体的二进制分类数据模型的互信息下限和上限，以及在这种情况下的错误概率下限。从经验上讲，我们在几个基准数据集上进行了大量的实验来支持我们的理论。互信息学习分类器（MILC）比条件熵学习分类器（CELC）具有更好的泛化性能，其测试精度可提高10%以上.
2022-09-21 cs.CV cs.IT cs.LG
Variational Information Maximization for Feature Selection
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
特征选择是机器学习中最基本的问题之一。信息理论特征选择的基础是最大化特征子集和类标签之间的互信息，这是一个广泛的工作机构。由于难以估计互信息，实际方法被迫依赖于近似。我们表明，现有方法的近似是基于不切实际的假设。我们制定了一个更灵活和一般类的假设变分分布的基础上，并使用它们来生成易处理的互信息的下界。这些界限定义了一个新的信息理论框架的特征选择，我们证明是最佳的树图形模型与适当的选择变分分布。我们的实验表明，该方法大大优于现有的信息理论特征选择方法。
2016-06-09 cs.LG stat.ML
Theoretical Evaluation of Feature Selection Methods based on Mutual Information
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）
特征选择方法通常通过在评估过程中包装特定的分类器和数据集来评估，这通常会导致方法之间的不公平比较。在这项工作中，我们开发了一个理论框架，允许获得基于互信息的二维顺序向前特征选择方法的真实特征排序，该方法独立于熵或互信息估计方法，分类器或数据集，并导致方法的有效比较。此外，理论框架揭示了一些方法固有的问题，否则难以检测，即在用于选择候选特征的目标函数的构造中的不一致性，这是由于各种类型的不确定性和连续随机变量的熵取零值和负值的可能性。
2016-10-07 cs.LG stat.ML
High Mutual Information in Representation Learning with Symmetric Variational Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们介绍了互信息机（MIM），一种新的表示学习的制定，使用联合分布的意见和潜在的状态在编码器/解码器框架。我们的关键原则是对称性和互信息，其中对称性鼓励编码器和解码器学习相同底层分布的不同因子分解，互信息鼓励学习下游任务的有用表示。我们的出发点是编码和解码联合分布之间的对称Jensen-Shannon散度，加上一个相互信息鼓励正则化。我们表明，这可以是有界的一个听话的交叉熵损失函数之间的真实模型和参数化的近似，并与此相关的极大似然框架。我们还将MIM与变分自编码器（VAE）联系起来，并证明MIM能够学习对称因子分解，具有高互信息，避免了后验崩溃。
2019-10-04 cs.IT cs.LG math.IT
Understanding the Limitations of Variational Mutual Information Estimators
Stanford University（斯坦福大学）
基于神经网络的变分方法在估计高维变量之间的互信息（MI）方面显示出了良好的前景。然而，由于对偏差/方差权衡的理解不足，它们在实践中可能难以使用。我们从理论上表明，在某些条件下，估计，如MINE表现出的方差，可以指数增长的真实金额的基础MI。我们还实证表明，现有的估计无法满足MI的基本自洽性质，如数据处理和独立下的可加性。基于变分方法的统一观点，我们开发了一个新的估计，侧重于方差减少。标准基准测试任务的实证结果表明，我们提出的估计具有改进的偏差方差权衡标准基准测试任务。
2020-03-24 cs.IT cs.LG math.IT
Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
Your Fantastic Institute（优范研究院）；Their Fantastic Institute（泽范研究院）
互信息是一个核心统计量，在机器学习的所有领域都有应用，无论是在多个数据模态上训练密度模型，最大化噪声传输信道的效率，还是在学习人工智能体探索的行为策略时。大多数涉及互信息优化的学习算法依赖于Blahut-Arimoto算法-一种具有指数复杂度的枚举算法，不适合现代机器学习应用。本文通过融合变分推断和深度学习的技术，为互信息的可扩展优化提供了一种新方法。我们通过关注内在动机学习的问题来开发我们的方法，其中互信息形成了一个众所周知的内部驱动的定义，称为授权。使用互信息的变分下界，结合处理视觉输入流的卷积网络，我们开发了一种随机优化算法，该算法允许直接从像素到动作的可扩展信息最大化和基于授权的推理。
2015-09-29 cs.AI cs.LG stat.ML
A Variational Approach for Learning from Positive and Unlabeled Data
Tongji University（同济大学）；Cloudwalk Inc.（云从科技）
仅从阳性和未标记（PU）数据学习二进制分类器在许多现实世界的应用中是一项重要且具有挑战性的任务，包括Web文本分类，疾病基因识别和欺诈检测，其中阴性样本很难通过实验验证。最近的PU学习方法都是基于传统的监督学习类型的误分类风险，它们需要通过近似负数据分布或类先验来解决棘手的风险估计问题。在本文中，我们介绍了PU学习的变分原理，使我们能够定量评估贝叶斯分类器的建模误差直接从给定的数据。这导致了一个损失函数，它可以有效地计算，没有任何中间步骤或模型，变分学习方法，然后可以采用在一般条件下优化分类器。此外，通过引入裕度最大化损失函数，可以进一步提高变分PU学习方法的判别性能和数值稳定性。我们说明了建议的变分方法的有效性，一些基准的例子。
2020-11-29 cs.LG stat.ML
$β$-Variational Classifiers Under Attack
University of Padova（帕多瓦大学）
近年来，由于在计算机视觉领域取得的突破，深度神经网络得到了广泛的关注。然而，尽管它们很受欢迎，但已经表明它们在预测中提供的鲁棒性有限。特别是，可以合成小的对抗性扰动，这些扰动在不知不觉中修改了正确分类的输入数据，使网络自信地错误分类它。这导致了大量不同的方法来尝试提高鲁棒性或检测这些扰动的存在。在本文中，我们进行分析的$β$ -变分分类器，一类特殊的方法，不仅解决了一个特定的分类任务，但也提供了一个生成组件，能够生成新的样本从输入分布。更详细地说，我们研究了它们的鲁棒性和检测能力，以及对模型生成部分的一些新见解。
2020-08-20 cs.CV cs.LG stat.ML
CCMI : Classifier based Conditional Mutual Information Estimation
University of Washington（华盛顿大学）
条件互信息（CMI）是在给定另一个随机变量Z的情况下，随机变量X和Y之间的条件相关性的度量。它可以用来量化许多数据驱动的推理问题，如图形模型，因果学习，特征选择和时间序列分析变量之间的条件依赖。虽然基于k-最近邻（kNN）的估计以及基于核的方法已被广泛用于CMI估计，他们遭受严重的维数灾难。在本文中，我们利用分类器和生成模型的进步来设计CMI估计方法。具体来说，我们引入了一个估计KL-分歧的似然比的基础上，通过训练一个分类器，以区分所观察到的联合分布的产品分布。然后，我们将展示如何构建几个CMI估计使用这个基本的分歧估计从条件生成模型的想法。我们证明了我们提出的方法的估计不会随着维数的增加而降低性能，并且比广泛使用的KSG估计量有显着的改善。最后，作为准确的CMI估计的应用，我们使用我们最好的估计器进行条件独立性测试，并在模拟和真实数据集上实现了比最先进的测试器更优越的性能。
2019-06-05 cs.IT cs.LG math.IT
Mutual-energy inner product optimization method for constructing feature coordinates and image classification in Machine Learning
University of California, Berkeley（加州大学伯克利分校）
本文提出互能内积优化方法构建特征坐标系，通过增强低频特征抑制噪声，结合有限元算法求解，在MINST数据集上训练高斯分类器获得良好预测结果。
2024-11-09 cs.LG stat.ML
On Information Plane Analyses of Neural Network Classifiers -- A Review
Know-Center GmbH（Know-Center有限公司）
我们回顾了当前文献中有关神经网络分类器的信息平面分析。虽然潜在的信息瓶颈理论和信息理论压缩与泛化有因果关系的说法似乎是合理的，但发现经验证据既支持又相互矛盾。我们回顾了这些证据，并详细分析了各自的信息量是如何估计的。我们的调查表明，压缩可视化的信息平面不一定是信息理论，但往往是兼容的几何压缩的潜在表示。这种洞察力给了信息平面一个新的理由。除此之外，我们揭示了在确定性神经网络中估计互信息的问题及其后果。具体来说，我们认为，即使在前馈神经网络的数据处理不平等需要保持互信息的估计。类似地，虽然其中潜在表示与目标之间的互信息增加的拟合阶段对于良好的分类性能是必要的（但不是充分的），但是取决于互信息估计的细节，这样的拟合阶段不需要在信息平面中可见。
2021-06-10 cs.CV cs.IT cs.LG
Invariant Information Bottleneck for Domain Generalization
Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不变风险最小化（Invariant Risk Minimization，简称Risk Minimization）是近年来兴起的一种领域泛化方法。然而，损失函数是难以优化的非线性分类器和原始的优化目标可能会失败时，伪不变特征和几何倾斜存在。受信息瓶颈的启发，本文提出了一种新的领域泛化公式，称为不变信息瓶颈（IIB）。IIB的目标是最大限度地减少非线性分类器的不变风险，同时减轻伪不变特征和几何倾斜的影响。具体来说，我们首先提出了一种新的公式不变的因果预测通过互信息。然后，我们采用变分形式的互信息开发一个易于处理的损失函数的非线性分类器。为了克服的故障模式，我们建议，以最小化之间的互信息的输入和相应的表示。IIB显着优于合成数据集，其中伪不变特征和几何偏斜发生，显示出所提出的配方在克服故障模式的并行计算的有效性。此外，DomainBed上的实验表明，IIB在$7$真实数据集上的平均性能优于$13$基线$0.9\%$。
2022-03-21 cs.LG stat.ML
Hierarchical mixture of discriminative Generalized Dirichlet classifiers
Université de Sherbrooke（谢布鲁克大学）
本文提出基于广义狄利克雷后验分布的判别式分类器及其层次混合模型，并首次推导变分上界用于参数学习，在垃圾邮件检测和颜色空间识别中验证了效果。
2024-05-02 cs.LG stat.ML
Formal Limitations on the Measurement of Mutual Information
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Rutgers University（罗格斯大学）
从有限的数据中测量互信息是困难的。最近的工作考虑变分方法最大化的下限。在本文中，我们证明了严重的统计局限性是固有的任何方法来衡量互信息。更具体地说，我们证明了任何分布自由的高置信下限互信息估计从N个样本不能大于O（ln N）。
2020-05-20 cs.IT cs.LG math.IT
Factoring Multidimensional Data to Create a Sophisticated Bayes Classifier
University of Chicago（芝加哥大学）；California Institute of Technology（加州理工学院）
在本文中，我们推导出一个明确的公式计算边际似然的一个给定的因子分解的分类数据集。由于边际似然与因子分解的后验概率成比例，因此这些似然可以用于对所有可能的因子分解进行排序，并选择“最佳”方式来因子化数据集所绘制的总体分布。最好的因子分解可以用来构建贝叶斯分类器，它可以从分解出相互独立的变量集中获益。
2021-05-18 cs.LG physics.data-an stat.ML
Efficient Approximate Solutions to Mutual Information Based Global Feature Selection
Arizona State University（亚利桑那州立大学）；Bosch Research and Technology Center（博世研究与技术中心）；University of Michigan（密歇根大学）
互信息（MI）在开发分类器模型时经常用于特征选择。估计MI的一个子集的功能往往是棘手的。我们证明，在条件独立的假设下，一个子集的功能之间的MI可以表示为条件互信息（CMI）对功能之间。但是选择具有最高CMI的特征被证明是一个很难的组合问题。在这项工作中，我们采用了两个独特的全球方法，截断功率方法（TPower）和低秩双线性近似（LowRank），解决特征选择问题。这些算法提供了很好的近似NP-难CMI的特征选择问题。我们通过实验证明了这些程序在多个数据集上的有效性，并将其与现有的基于MI的全局和迭代特征选择程序进行了比较。
2017-06-23 cs.LG stat.ML
Variationally Inferred Sampling Through a Refined Bound for Probabilistic Programs
Institute of Mathematical Sciences (ICMAT)（数学科学研究所（ICMAT））；SAMSI, Duke University（杜克大学SAMSI）
通过在变分后验近似中嵌入采样器，提出了一种提高概率规划中贝叶斯推理效率的框架。我们称之为精细变分近似。它的优点在于易于实施和自动调整采样器参数，以加快混合时间使用自动微分。介绍了几种近似\emph{evidence lower bound}（ELBO）计算的策略。其有效性能的实验证据显示解决的影响图在高维空间中使用条件变分自编码器（cVAE）作为深度贝叶斯分类器;无条件VAE密度估计任务;和状态空间模型的时间序列数据。
2020-02-22 cs.LG stat.ML
Class-Conditional Compression and Disentanglement: Bridging the Gap between Neural Networks and Naive Bayes Classifiers
在这篇报告正在进行的工作的草稿中，我们1）通过用类条件压缩替换压缩项来适应信息瓶颈泛函，2）使用与类条件解纠缠相关的变分界限来放松该泛函，3）将该泛函视为随机神经网络的训练目标，以及4）示出了潜在表示被学习，使得它们可以用于朴素贝叶斯分类器。我们继续建议沿着非线性信息瓶颈线进行一系列实验[Kolchinsky等人，2018年]，深度变分信息瓶颈[Alemi等人，2017年]，和信息辍学[Alberle和Soatto，2018年]。此外，我们提出了一个神经网络的解码器架构是一个参数化的朴素贝叶斯解码器。
2019-06-06 cs.IT cs.LG math.IT
Adversarial Mutual Information for Text Generation
Zhejiang University（浙江大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Alibaba Group（阿里巴巴集团）
最大化源和目标之间的互信息（MI）的最新进展已经证明了它在文本生成中的有效性。然而，以前的工作很少关注MI的后向网络建模（即，从目标到源的依赖性），这对于变分信息最大化下限的紧密性是至关重要的。在本文中，我们提出了对抗性互信息（AMI）：一个文本生成框架，形成了一个新的鞍点（最小-最大）优化，旨在确定联合之间的源和目标的相互作用。在此框架内，前向和后向网络能够通过比较真实和合成数据分布来迭代地提升或降级彼此生成的实例。我们还开发了一个潜在的噪声采样策略，利用随机变化的高层次语义空间，以提高长期的依赖性，在生成过程中。基于不同文本生成任务的大量实验表明，所提出的AMI框架可以显着优于几个强基线，我们还表明，AMI有可能导致一个更严格的下限的最大互信息的变分信息最大化问题。
2020-06-30 cs.CL cs.LG stat.ML
Derivation of Information-Theoretically Optimal Adversarial Attacks with Applications to Robust Machine Learning
University of Iowa（爱荷华大学）
我们考虑的理论问题，设计一个最佳的对抗攻击的决策系统，最大限度地降低了系统的可实现的性能，作为衡量退化的信号和标签之间的互信息的兴趣。这个问题是由机器学习分类器的对抗性示例的存在引起的。通过采用信息论的观点，我们试图确定对抗脆弱性是不可避免的条件，即即使是最佳设计的分类器也容易受到小的对抗扰动。我们提出了离散和连续信号的最佳对抗攻击的推导，即，找到最佳扰动分布以最小化所述退化信号与遵循连续或离散分布的信号之间的互信息。此外，我们表明，这是很难实现对抗攻击最小化互信息时，输入信号的多个冗余副本可用。这为最近提出的"特征压缩”假设提供了额外的支持，该假设解释了深度学习分类器的对抗性脆弱性。我们还报告了计算实验的结果来说明我们的理论结果。
2020-07-28 cs.IT cs.LG math.IT
