Learning Disentangled Representation with Mutual Information Maximization for Real-Time UAV Tracking
Guilin University of Technology（桂林理工大学）
针对无人机跟踪中高压缩率下精度不足的问题，提出基于互信息最大化的解耦表征学习方法，仅保留身份无关特征以提升效率与精度，在四个基准上超越现有最优方法。
2023-08-20 cs.AI cs.CV
InfoSeg: Unsupervised Semantic Image Segmentation with Mutual Information Maximization
Institute of Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形学与视觉研究所）；Graz University of Technology（格拉茨技术大学）
提出了一种基于局部和全局高级图像特征间互信息最大化的无监督语义图像分割新方法。我们工作的核心思想是利用自监督图像表示学习的最新进展。表示学习方法计算捕获整个图像的单个高级特征。相比之下，我们计算多个高级特征，每个特征捕获一个特定语义类的图像片段。为此，我们提出了一种新的两步学习过程，包括分割和互信息最大化步骤。在第一步中，我们根据局部和全局特征分割图像。在第二步中，我们最大化的局部特征和各自的类的高层特征之间的互信息。对于训练，我们只提供未标记的图像，并从随机网络初始化开始。对于定量和定性评估，我们使用既定的基准，和COCO的人，我们介绍了后者在本文中作为一个具有挑战性的新基准。InfoSeg显著优于当前最先进的技术，例如，我们在COCO-Stuff数据集上的像素精度指标上实现了26%的相对增加。
2021-10-07 cs.CV
Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis
Huazhong University of Science and Technology（华中科技大学）
多模态情感分析（MSA）是一个基础性的复杂研究问题，这是由于不同模态之间的异质性和人类情感表达的模糊性造成的。虽然已经有许多成功的尝试来构建多模态表示的MSA，仍然有两个挑战需要解决：1）一个更强大的多模态表示需要构建，以弥合异质性的差距，并应付复杂的多模态交互，和2）上下文动态必须有效地建模整个信息流。在这项工作中，我们提出了一个多模态表示模型的基础上互信息最大化和最小化和身份嵌入（MMMIE）。我们结合模态对之间的互信息最大化和输入数据与相应特征之间的互信息最小化来挖掘模态不变和任务相关的信息。此外，身份嵌入被提出来促使下游网络感知上下文信息。在两个公开数据集上的实验结果证明了该模型的有效性。
2022-07-04 cs.CL cs.CV cs.LG
Hypothesis Disparity Regularized Mutual Information Maximization
Imagia
我们提出了一个假设差异正则化的互信息最大化~（HDMI）的方法来解决无监督的假设转移-作为统一的假设迁移学习（HTL）和无监督的领域自适应（UDA）的努力-其中来自源域的知识是通过假设转移，并适应目标域在无监督的方式。与通常使用单个假设的流行HTL和UDA方法相比，HDMI采用多个假设来利用源和目标假设的潜在分布。为了更好地利用不同假设之间的关键关系-而不是独立地对每个假设进行无约束优化-同时通过互信息最大化来适应未标记的目标域，HDMI结合了一个假设差异正则化，该正则化协调目标假设，共同学习更好的目标表示，同时保留更多可转移的源知识，并具有更好的校准预测不确定性。HDMI在HTL环境下对UDA基准数据集实现了最先进的适配性能，而无需在适配期间访问源数据。
2020-12-15 cs.CV cs.LG
Long-Tailed Recognition by Mutual Information Maximization between Latent Features and Ground-Truth Labels
Seoul National University（首尔国立大学）
本文将长尾识别重新定义为潜在特征与真实标签之间的互信息最大化，无缝整合对比学习与logit调整，提出新损失函数，在长尾识别基准上达到最先进性能，并验证了其在图像分割中的通用性。
2023-08-08 cs.CV cs.LG
Multimodal Representation Learning via Maximization of Local Mutual Information
CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Beth Israel Deaconess Medical Center, Harvard Medical School（哈佛医学院贝斯以色列女执事医疗中心）
我们提出并证明了一种表示学习方法，通过最大化图像和文本的局部特征之间的互信息。这种方法的目标是通过利用描述图像中发现的自由文本中包含的丰富信息来学习有用的图像表示。我们的方法通过鼓励产生的表示来训练图像和文本编码器，以显示高的局部互信息。我们利用神经网络鉴别器在互信息估计方面的最新进展。我们认为，当地的互信息的总和通常是一个下界的全球互信息。我们在下游图像分类任务中的实验结果证明了使用局部特征进行图像-文本表示学习的优势。
2021-12-15 cs.CV eess.IV
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University（浙江大学）；Kwai Inc.（快手公司）
多模态图像到图像翻译（I2 IT）旨在学习一种条件分布，该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络（cGAN）来对这种条件分布进行建模。然而，cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布，这也被称为GANs的模式坍塌问题。为了解决这个问题，我们提出了一种简单而有效的方法，该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性，这防止了生成器忽略潜在代码，并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角，而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
Info3D: Representation Learning on 3D Objects using Mutual Information Maximization and Contrastive Learning
Autodesk AI Lab（Autodesk AI 实验室）
计算机视觉的一个主要任务是从三维数据中表示、理解和提取结构。为了实现这一目标，无监督学习是一个强大而必要的工具。目前用于3D形状分析的大多数无监督方法使用对齐的数据集，需要重建对象，并且在下游任务上性能恶化。为了解决这些问题，我们建议扩展InfoMax和3D形状的对比学习原则。我们表明，我们可以最大限度地提高3D对象和他们的“块”之间的互信息，以改善对齐数据集的表示。此外，我们可以通过最大化3D对象与其几何变换版本之间的互信息来实现SO ${(3)}$群中的旋转不变性。最后，我们进行了聚类、迁移学习、形状检索等实验，取得了较好的效果。
2020-08-22 cs.CV cs.LG eess.IV
Explicit Mutual Information Maximization for Self-Supervised Learning
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Advanced Computing and Storage Laboratory, Huawei Technologies Co., Ltd.（华为技术有限公司先进计算与存储实验室）
针对自监督学习中直接应用互信息最大化的难题，本研究基于互信息不变性与通用分布假设，推导仅用二阶统计量的损失函数，经实验验证有效，为自监督学习提供显式互信息最大化的可行方案。
2024-09-12 cs.CV cs.LG
Unsupervised Image Segmentation by Mutual Information Maximization and Adversarial Regularization
AmirKabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）；Monash University（莫纳什大学）
语义分割是自主智能体场景理解的基本任务之一。监督机器学习和神经网络的最新发展在增强用于该任务的最先进技术的性能方面取得了巨大成功。然而，它们的卓越性能高度依赖于大规模注释数据集的可用性。在本文中，我们提出了一种新的完全无监督的语义分割方法，所谓的信息最大化和对抗正则化分割（InMARS）。受人类感知的启发，将场景解析为感知组，而不是单独分析每个像素，我们提出的方法首先将输入图像划分为有意义的区域（也称为超像素）。接下来，它利用互信息最大化，然后采用对抗训练策略将这些区域聚类为语义上有意义的类。为了针对该问题定制对抗性训练方案，我们将对抗性像素噪声与空间扰动结合起来，以在深度神经网络上施加光度和几何不变性。我们的实验表明，我们的方法达到了最先进的性能上两个常用的无监督语义分割数据集，COCO-Stuff，波茨坦。
2021-07-01 cs.CV
Mutual Information Maximization on Disentangled Representations for Differential Morph Detection
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种新的差分形态检测框架，利用地标和外观解纠缠。在我们的框架中，人脸图像表示在嵌入域中使用两个解开，但互补的表示。该网络由三张人脸图像训练，其中中间图像继承了一张图像的地标和另一张图像的外观。使用对比表示为每个数据集进一步训练这个初始训练的网络。我们证明，通过采用外观和地标解纠缠，所提出的框架可以提供最先进的差分形态检测性能。此功能是通过在界标、外观和ID域中使用距离来实现的。所提出的框架的性能进行评估，使用不同的方法生成的三个变形数据集。
2020-12-02 cs.CV
Preserving Domain Private Representation via Mutual Information Maximization
The University of British Columbia（不列颠哥伦比亚大学）；Shenzhen Polytechnic（深圳职业技术大学）
无监督领域自适应的最新进展表明，通过提取领域不变表示来减轻领域分歧可以显着提高模型到未标记数据域的泛化能力。然而，现有的方法不能有效地保持私人的标签缺失域的表示，这可能会产生不利影响的推广。在本文中，我们提出了一种方法来保持这样的表示，使潜在的分布的未标记域可以表示域不变的功能和个人的特性，是私有的未标记域。特别是，我们证明，最大限度地提高互信息之间的未标记的域和它的潜在空间，同时减轻域的分歧，可以实现这样的保护。我们还从理论和经验上验证了保留未标记域的私有表示对于跨领域泛化是重要的和必要的。我们的方法在几个公共数据集上的性能优于最先进的方法。
2022-01-09 cs.CV cs.LG
Learning View-Disentangled Human Pose Representation by Contrastive Cross-View Mutual Information Maximization
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；Caltech（加州理工学院）；University of Delaware（特拉华大学）
我们引入了一种新的表示学习方法，从2D人体姿势中分离出姿势相关和视角相关的因素。该方法使用交叉视图互信息最大化（CV-MIM）来训练网络，该交叉视图互信息最大化（CV-MIM）以对比学习方式最大化从不同视点执行的相同姿态的互信息。我们还提出了两个正则化项，以确保学习表示的解纠缠和平滑。所得到的姿势表示可以用于跨视图动作识别。为了评估所学习的表示的能力，除了传统的全监督动作识别设置之外，我们还引入了一种称为单镜头交叉视图动作识别的新任务。该任务仅从一个视点训练模型的动作，而从所有可能的视点捕获的姿势对模型进行评估。我们评估了标准基准动作识别的学习表示，并表明：（i）CV-MIM执行竞争力相比，国家的最先进的模型在全监督的情况下;（ii）CV-MIM优于其他竞争方法的大幅度在单镜头交叉视图设置;（iii）并且当减少监督训练数据的量时，所学习的表示可以显著提高性能。我们的代码可在https://github.com/google-research/google-research/tree/master/poem上公开获取
2021-03-26 cs.CV
EnfoMax: Domain Entropy and Mutual Information Maximization for Domain Generalized Face Anti-spoofing
Shanghai Jiao Tong University（上海交通大学）
本文提出 EnfoMax 框架，从信息论角度定义域泛化人脸防伪目标，通过最大化源域活体样本的域熵与互信息，在无对抗学习下提升跨域稳定性与性能。
2023-06-04 cs.CV
Mutual Information Maximization for Effective Lip Reading
Zhejiang University of Technology（浙江工业大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于深度学习的快速发展及其广泛的潜在应用，唇读近年来受到越来越多的研究兴趣。唇读算法能否获得良好的性能，很大程度上取决于唇读算法能否有效地捕捉唇动信息，同时又能有效地抵抗由姿态变化、光照条件、说话人外貌等因素引起的噪声。我们建议在局部特征和全局序列两个层次上引入互信息约束，以增强特征与演讲内容一方面，我们约束在每个时间步生成的功能，使他们进行强有力的关系，通过施加本地互信息最大化约束（LMIM）的语音内容，导致改进模型的能力，发现细粒度的嘴唇运动和细粒度的差异，如“”花“和”“花”的发音相似的话。另一方面，我们在全局序列水平（GMIM）上引入了互信息最大化约束，使模型能够更加关注与语音内容相关的关键帧的判别，而较少考虑说话过程中出现的各种噪声。通过将这两个优点结合在一起，所提出的方法预计是有效的唇读的歧视性和鲁棒性。为了验证这种方法，我们评估了两个大规模的基准。本文从LMIM和GMIM与基准测试的比较、学习结果的可视化等方面进行了详细的分析和比较，结果不仅证明了所提方法的有效性，而且在两个基准测试上都取得了新的性能。
2020-03-13 cs.CV
Learning Representations by Maximizing Mutual Information in Variational Autoencoders
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
变分自编码器（VAE）开创了复杂分布无监督学习方法的新时代。虽然这些技术在方法上很优雅，但它们通常对表示学习没有用处。在这项工作中，我们提出了一个简单而强大的VAE类，同时导致有意义的学习表示。我们的解决方案是将传统的VAE与互信息最大化相结合，目标是利用信息论技术增强VAE中的摊销推理。我们称这种方法为InfoMax-VAE，这种方法可以显着提高学习的高级表示的质量。我们实现这一点，通过显式最大化的信息措施与代表。通过对不同数据集和设置的广泛实验，我们表明InfoMax-VAE优于当代流行的方法，包括Info-VAE和$β$ -VAE。
2020-01-07 cs.CV cs.LG stat.ML
RCoNet: Deformable Mutual Information Maximization and High-order Uncertainty-aware Learning for Robust COVID-19 Detection
新型2019冠状病毒（COVID-19）感染已在全球广泛传播，目前是全球面临的重大医疗挑战。胸部计算机断层扫描（CT）和X射线图像已被公认为是临床COVID-19疾病诊断的两种有效技术。由于成像时间更快，成本比CT低得多，因此在胸部X射线（CXR）图像中检测COVID-19是有效诊断，评估和治疗的首选。然而，考虑到COVID-19和肺炎之间的相似性，具有分布在类别边界附近的深层特征的CXR样本很容易被从有限的训练数据中学习到的超平面错误分类。此外，大多数现有的COVID-19检测方法都专注于预测的准确性，而忽略了不确定性估计，这在处理噪声数据集时尤为重要。为了缓解这些担忧，我们提出了一种名为{ \em RCoNet $^k_s$ }的新型深度网络，用于稳健的COVID-19检测，该网络采用{ \em可变形交互信息最大化}（DeIM），{ \em混合高阶矩特征}（MHMF）和{ \em多专家不确定性感知学习}（MUL）。借助DeIM，可以很好地估计和最大化输入数据和相应的潜在表示之间的互信息（MI），以捕获紧凑和解纠缠的表示特征。同时，MHMF可以充分利用高阶统计量的优势，提取医学图像中复杂分布的鉴别特征。最后，MUL为每个CXR图像创建多个并行dropout网络，以评估不确定性，从而防止数据中的噪声导致的性能下降。
2021-02-22 cs.CV eess.IV
Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing
Singapore University of Technology and Design（新加坡科技设计大学）；Monash University（蒙纳士大学）；University of Dayton（代顿大学）
在本文中，我们采用最大化的互信息（MI）的方法来解决问题的无监督学习的二进制哈希码的有效跨模态检索。我们提出了一种新的方法，称为跨模态信息最大哈希（CMIMH）。首先，学习信息表示，可以保持内和模态间的相似性，我们利用最近的进展，估计变分下限MI最大限度地提高MI之间的二进制表示和输入功能和二进制表示不同的方式。通过联合最大化这些MI的假设下，二进制表示是由多变量伯努利分布建模，我们可以学习二进制表示，它可以保持内部和内部模式的相似性，有效地在一个小批量的方式与梯度下降。此外，我们发现，试图通过从不同模态中学习相同实例的相似二进制表示来最小化模态间隙可能会导致信息量较少的表示。因此，在减少模态间隔和丢失模态私有信息之间取得平衡对于跨模态检索任务是重要的。标准基准数据集上的定量评估表明，该方法始终优于其他国家的最先进的跨模态检索方法。
2021-12-13 cs.CV
What Makes Good Collaborative Views? Contrastive Mutual Information Maximization for Multi-Agent Perception
Shanghai Jiao Tong University（上海交通大学）；Central South University（中南大学）；Huazhong University of Science of Technology（华中科技大学）
针对多智能体感知中的中间协作，提出CMiMC框架，通过最大化协作前后特征的互信息保留个体判别信息，并最小化下游损失，在V2X-Sim上提升SOTA精度3.08%/4.44%，通信量降至1/32。
2024-03-15 cs.CV cs.MA
MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization
USC Information Sciences Institute（南加州大学信息科学研究所）；Alexandria University（亚历山大大学）
深度神经网络是强大的、大规模参数化的机器学习模型，已被证明在监督学习任务中表现良好。然而，通常需要非常大量的标记数据来训练深度神经网络。已经提出了几种半监督学习方法来使用少量的标记数据和大量的未标记数据来训练神经网络。这些半监督方法的性能显着降低标记数据的大小减少。我们介绍了基于互信息的无监督和半监督并行学习（MUSCLE），一种混合学习方法，使用互信息结合无监督和半监督学习。MUSCLE可以用作神经网络的独立训练方案，也可以并入其他学习方法。我们表明，所提出的混合模型优于几个标准的基准，包括CIFAR-10，CIFAR-100和Mini-Imagenet的最先进的。此外，性能增益始终随着标记数据量的减少以及存在偏差而增加。我们还表明，MUSCLE有可能提高分类性能时，用于微调阶段的模型预训练只在未标记的数据。
2020-11-30 cs.CV cs.LG
VISTA: Enhancing Vision-Text Alignment in MLLMs via Cross-Modal Mutual Information Maximization
Tencent（腾讯）
针对多模态大语言模型存在的文本偏向、跨模态对齐随文本长度下降的问题，提出无需额外模块和数据的VISTA方法，通过最大化跨模态互信息增强视觉-文本对齐，在十余个基准上显著优于基线。
2025-05-19 cs.CV
Self-MI: Efficient Multimodal Fusion via Self-Supervised Multi-Task Learning with Auxiliary Mutual Information Maximization
VNU - University of Engineering and Technology, Hanoi, Vietnam（越南国立大学-工程技术大学）
针对现有多模态表示学习难以利用各模态独特特性的问题，提出自监督的Self-MI方法，借助CPC最大化互信息并设计自监督标签生成模块，经三个基准数据集验证有效提升了多模态融合效果。
2023-11-07 cs.CV cs.MM
Revisiting Mutual Information Maximization for Generalized Category Discovery
Xi’an-Jiaotong Liverpool University（西交利物浦大学）；Liverpool University（利物浦大学）；Duke Kunshan University（昆山杜克大学）
针对广义类别发现，提出正则化参数化InfoMax（RPIM）方法，通过伪标签监督与正则化确保已知与未知类独立性，并引入语义偏置变换优化特征，在六个数据集上使未知类性能平均提升3.5%。
2024-05-31 cs.CV
Unsupervised Domain Adaptation for Cardiac Segmentation: Towards Structure Mutual Information Maximization
College of Science and Technology, Wenzhou-Kean University（温州肯恩大学理工学院）
本文提出无监督域自适应框架 UDA-VAE++，通过结构互信息估计模块和顺序重参数化方案提升心脏分割在不同成像模态上的泛化能力，并在基准数据集上取得优于现有方法的性能。
2026-10-14 cs.CV eess.IV
Zero-shot Skeleton-based Action Recognition via Mutual Information Estimation and Maximization
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；Stanford University（斯坦福大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出一种基于互信息估计与最大化的零样本骨架动作识别方法，通过最大化视觉与语义空间互信息实现分布对齐，并利用时间信息提升互信息估计，在三个大规模数据集上验证了有效性。
2023-08-07 cs.CV cs.MM
Self-Supervised Learning with Kernel Dependence Maximization
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；DeepMind；UCL（伦敦大学学院）；UBC（英属哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
我们从统计依赖的角度来研究图像表示的自监督学习，提出了基于希尔伯特-施密特独立准则的自监督学习（SSL-HSIC）。SSL-HSIC最大化图像变换的表示与图像身份之间的依赖性，同时最小化这些表示的核化方差。这个框架产生了一个新的理解InfoNCE，不同的转换之间的互信息（MI）的变分下界。虽然MI本身是已知的病理学，可以导致学习无意义的表示，它的界限是更好的表现：我们表明，它隐式近似SSL-HSIC（与略有不同的正则化）。我们的方法还让我们深入了解BYOL，一种无负SSL方法，因为SSL-HSIC类似地学习样本的局部邻域。SSL-HSIC允许我们直接优化批量大小中时间线性的统计相关性，而无需限制性数据假设或间接互信息估计。无论是否使用目标网络进行训练，SSL-HSIC都可以匹配ImageNet上的标准线性评估、半监督学习以及转移到其他分类和视觉任务（如语义分割、深度估计和对象识别）的最新技术水平。代码可在https://github.com/deepmind/ssl_hsic上获得。
2021-12-02 cs.AI cs.CV cs.LG
Temporal Feature Alignment and Mutual Information Maximization for Video-Based Human Pose Estimation
Zhejiang University（浙江大学）；Zhejiang Gongshang University（浙江工商大学）；Jilin University（吉林大学）；National University of Singapore（新加坡国立大学）；Black Sesame Technologies（黑芝麻科技）
多帧人体姿态估计一直是计算机视觉中一个引人注目的基本问题。由于视频中经常发生快速运动和姿势遮挡，因此该任务具有挑战性。现有技术的方法努力结合来自相邻帧（支持帧）的附加视觉证据以促进当前帧（关键帧）的姿态估计。到目前为止，已经消除的一个方面是当前方法直接跨帧聚合未对齐的上下文的事实。当前帧和相邻帧的姿态特征之间的空间未对准可能导致不令人满意的结果。更重要的是，现有的方法建立在简单的姿态估计损失的基础上，不幸的是，这不能限制网络充分利用来自相邻帧的有用信息。为了解决这些问题，我们提出了一种新的分层对齐框架，该框架利用粗到细的变形来逐步更新相邻帧，以在特征级别上与当前帧对齐。我们还建议明确监督从相邻帧中提取的知识，保证提取有用的互补线索。为了实现这一目标，我们从理论上分析了帧之间的互信息，并得出了最大化任务相关的互信息的损失。这些使我们能够在基准数据集PoseTrack 2017的多帧人物姿势估计挑战中排名第一，并在基准Sub-JHMDB和Pose-Track 2018上获得最先进的性能。我们的代码在https：//github上发布。com/Pose-Group/FAMI-Pose，希望对社区有用。
2022-04-03 cs.CV
Transductive Information Maximization For Few-Shot Learning
ÉTS Montreal（蒙特利尔工程技术学院）；CentraleSupélec-CNRS（中央理工-高等电力学院-法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
我们引入了用于少样本学习的Transductive信息最大化（TIM）。我们的方法最大限度地提高了查询功能之间的互信息和他们的标签预测为一个给定的Few-Shot任务，结合基于支持集的监督损失。此外，我们提出了一个新的交替方向求解器，我们的互信息损失，这大大加快了基于梯度的优化的转导推理收敛，同时产生类似的精度。TIM推理是模块化的：它可以在任何基础训练特征提取器之上使用。在标准的转换Few-Shot设置之后，我们的综合实验表明，TIM在各种数据集和网络上的性能显着优于最先进的方法，同时在基类上使用简单的交叉熵训练的固定特征提取器上使用，而无需采用复杂的元学习方案。与性能最佳的方法相比，它始终带来2%到5%的准确性提高，不仅在所有完善的Few-Shot基准测试中，而且在更具有挑战性的场景中，具有域偏移和更大数量的类。
2020-10-23 cs.CV cs.LG stat.ML
Information Maximization for Extreme Pose Face Recognition
在本文中，我们试图在一个抽象的嵌入空间中绘制正面和侧面人脸图像之间的连接。我们利用这种连接使用耦合编码器网络投影正面/侧面人脸图像到一个共同的潜在嵌入空间。该模型通过最大化人脸两个视图之间的互信息来强制嵌入空间中表示的相似性。建议耦合编码器的好处，从三个贡献匹配极端的姿态差异的脸。首先，我们利用我们的姿态感知对比学习，以最大限度地提高身份的正面和侧面表示之间的互信息。第二，将由过去迭代中积累的潜在表示组成的内存缓冲区集成到模型中，因此它可以引用比小批量大小相对更多的实例。第三，一种新的姿态感知对抗领域自适应方法迫使模型学习从侧面到正面表示的非对称映射。在我们的框架中，耦合编码器学习扩大真实和冒名顶替者面部分布之间的差距，这导致同一身份的不同视图之间的高互信息。通过对四个基准数据集进行广泛的实验、评估和消融研究，并与最先进的算法进行比较，研究了该模型的有效性。
2022-09-07 cs.CV
Action Recognition with Multi-stream Motion Modeling and Mutual Information Maximization
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Zhejiang Lab（之江实验室）；School of Cyber Science and Technology, Zhejiang University（浙江大学网络空间安全学院）；Public Computer Education and Research Center, Jilin University（吉林大学公共计算机教育与研究中心）；Black Sesame Technologies（黑芝麻科技）
本文提出Stream-GCN网络，通过引入加速度表示显式建模运动高阶变化，结合多流组件与通道注意力，并利用互信息损失进行特征级监督，在三个基准数据集上实现了动作识别的新最优性能。
2023-06-13 cs.CV
InfoVAEGAN : learning joint interpretable representations by information maximization and maximum likelihood
University of York（约克大学）
学习解纠缠和可解释的表示是在流形上实现全面数据表示的重要一步。在本文中，我们提出了一种新的表示学习算法，它结合了变分自编码器（VAE）的推理能力和生成对抗网络（GAN）的泛化能力。所提出的模型称为InfoVAEGAN，由三个网络组成：编码器，生成器和鉴别器。InfoVAEGAN旨在通过使用两个不同的无数据对数似然函数对从生成器分布中采样的变量进行无监督地联合学习离散和连续可解释表示。我们提出了一个两阶段的算法，分别从发电机训练优化推理网络。此外，我们通过最大化现有潜变量与通过生成和推理过程创建的潜变量之间的互信息来加强可解释表示的学习。
2021-07-09 cs.AI cs.CV cs.LG
Parametric Information Maximization for Generalized Category Discovery
ÉTS Montreal（蒙特利尔高等技术学院）；Thales cortAIx（泰雷兹cortAIx）；INRS（国立科学研究所）
针对广义类别发现任务，提出参数化信息最大化模型PIM，通过双层优化与加权互信息缓解类别平衡偏差，并在六个数据集上达到新的最先进性能。
2023-07-14 cs.CV
Video Infringement Detection via Feature Disentanglement and Mutual Information Maximization
Zhejiang University（浙江大学）；Zhejiang Gongshang University（浙江工商大学）；Massey University（梅西大学）；Ant Group（蚂蚁集团）；National University of Singapore（新加坡国立大学）
本文提出一种基于特征解耦和互信息最大化的视频侵权检测方法，通过将高维特征解耦为低维子特征并学习辅助特征，在SVD和VCSL数据集上达到最先进水平。
2023-09-13 cs.CV cs.MM
Cross-modal Image Retrieval with Deep Mutual Information Maximization
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Institute of Marine Sensing and Networking, Zhejiang University（浙江大学海洋感知与网络研究所）；Key Laboratory of Ocean Observation-Imaging Testbed of Zhejiang Province, Zhejiang University（浙江省海洋观测-成像试验重点实验室）
在本文中，我们研究了跨模态图像检索，输入包含一个源图像加上一些文本，描述了某些修改，这个图像和所需的图像。现有的工作通常使用三个阶段的策略来解决这个任务：1）提取输入的特征; 2）融合源图像及其修改文本的特征以获得融合特征; 3）通过使用深度度量学习来学习期望图像与源图像+修改文本之间的相似性度量。由于经典的图像/文本编码器可以学习有用的表示，并且距离度量学习的常见基于对的损失函数足以用于跨模态检索，因此人们通常通过设计新的融合网络来提高检索准确率。然而，这些方法不能成功地处理由不同模态的特征的不一致的分布和表示所引起的模态间隙，这极大地影响了特征融合和相似性学习。为了缓解这个问题，我们采用了对比自监督学习方法Deep InforMax（DIM），通过增强文本，图像及其融合之间的依赖性来弥合这一差距。具体来说，我们的方法缩小了文本模态和图像模态之间的模态差距，最大化的互信息之间的语义不完全相同的表示。此外，我们寻求一个有效的公共子空间的语义相同的融合特征和所需的图像的特征之间的图像编码器的低级层和高级层的融合网络，利用Deep InforMax。在三个大规模基准数据集上的实验表明，我们已经弥合了不同模态之间的模态差距，并实现了最先进的检索性能。
2021-03-10 cs.CV cs.MM
Boundary-aware Information Maximization for Self-supervised Medical Image Segmentation
ETS Montreal（蒙特利尔高等技术学院）
无监督预训练已被证明是一种有效的方法，可以在有限的标记数据下提高各种下游任务。在各种方法中，对比学习通过构建正负对来学习区分性表示。然而，以无监督的方式为分割任务构建合理的对并不是微不足道的。在这项工作中，我们提出了一种新的无监督预训练框架，避免了对比学习的缺点。我们的框架由两个原则组成：无监督过分割作为预训练任务，使用互信息最大化和边界感知保持学习。两个基准的医学分割数据集上的实验结果表明，我们的方法在提高分割性能的有效性时，很少有注释的图像。
2022-02-16 cs.CV eess.IV
Cross-Modal Information Maximization for Medical Imaging: CMIM
Imagia Cybernetics（Imagia Cybernetics 公司）；Microsoft Research（微软研究院）
针对医院数据多模态但测试时易出现模态缺失的问题，提出基于互信息最大化的CMIM框架，学习鲁棒多模态表征，在医学图像分类与分割任务上优于现有基线，且显著提升弱模态推理性能。
2021-02-01 cs.AI cs.CV
Constrained Multiview Representation for Self-supervised Contrastive Learning
University of Pittsburgh（匹兹堡大学）；University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校）
提出基于表示距离的互信息最大化方法，结合频域多视图与MI重排序，以优化自监督对比学习中的视图选择与表示解缠，提升医学图像分割性能。
2024-02-05 cs.CV
Mutual-Information Based Few-Shot Classification
ÉTS Montreal（蒙特利尔高等技术学院）；CentraleSupélec（巴黎中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；Université Paris Saclay（巴黎萨克雷大学）；Laboratoire des Signaux et Systèmes（信号与系统实验室）
我们引入了用于少样本学习的Transductive信息最大化（TIM）。我们的方法最大限度地提高了查询功能之间的互信息和他们的标签预测为一个给定的Few-Shot任务，结合基于支持集的监督损失。我们通过推导分类精度和互信息最大化之间的正式关系来激励我们的转导损失。此外，我们提出了一个新的交替方向求解器，大大加快了基于梯度的优化的转导推理，同时产生有竞争力的准确性。我们还提供了一个收敛性分析我们的求解器的基础上Zangwill的理论和边界优化参数。TIM推理是模块化的：它可以在任何基础训练特征提取器之上使用。在标准的转换Few-Shot设置之后，我们的综合实验表明，TIM在各种数据集和网络上的性能显着优于最先进的方法，同时在基类上使用简单的交叉熵训练的固定特征提取器上使用，而无需采用复杂的元学习方案。它始终带来2%和5%之间的准确性提高最好的执行方法，不仅在所有完善的Few-Shot基准，但也在更具有挑战性的情况下，随机任务，域转移和大量的类，如在最近推出的元数据集。我们的代码可在https://github.com/mboudiaf/TIM上公开获取。我们还在https://github.com/mboudiaf/pytorch-meta-dataset上公开发布了META-DATASET的独立PyTorch实现，以及其他基准测试结果。
2021-06-23 cs.CV
Mutual Information guided Visual Contrastive Learning
Antiquus S. Hippocampus, Natalia Cerebro & Amelie P. Amygdale Department of Computer Science Cranberry-Lemon University Pittsburgh, PA 15213, USA（计算机科学系，Cranberry-Lemon大学）；Ji Q. Ren & Yevgeny LeNet Department of Computational Neuroscience University of the Witwatersrand Joburg, South Africa（计算神经科学系，乌特雷赫大学）
本文提出一种基于真实世界分布计算的互信息指导的数据增强方法，将自然扰动下高互信息的图像块作为对比学习正样本，在多个基准和框架上验证了其提升特征泛化能力的有效性。
2025-10-26 cs.AI cs.CV
InfoMax-GAN: Improved Adversarial Image Generation via Information Maximization and Contrastive Learning
University of Cambridge（剑桥大学）；Snap Inc.（Snap公司）；Singapore University of Technology and Design（新加坡科技设计大学）
虽然生成对抗网络（GANs）是许多生成建模应用的基础，但它们存在许多问题。在这项工作中，我们提出了一个原则性的框架，以同时减轻GANs中的两个基本问题：灾难性遗忘的发生器和模式坍塌。我们通过为GANs采用对比学习和互信息最大化方法来实现这一点，并进行广泛的分析以了解改进的来源。我们的方法显着稳定了GAN训练，并提高了GAN在相同的训练和评估条件下对最先进的作品进行图像合成的性能。特别是，与最先进的SSGAN相比，我们的方法不会在人脸等图像域上表现较差，反而显著提高了性能。我们的方法实现简单且实用：它只涉及一个辅助目标，计算成本低，并且在广泛的训练设置和数据集上表现稳健，无需任何超参数调整。为了重现性，我们的代码可以在Mimicry中找到：https://github.com/kwotsin/mimicry。
2020-11-22 cs.CV cs.LG stat.ML
Unsupervised Visual Representation Learning via Mutual Information Regularized Assignment
KAIST（韩国科学技术院）；LG AI Research（LG人工智能研究院）
本文提出了互信息正则化分配（MIRA），一个伪标记算法的无监督表示学习的启发信息最大化。我们制定在线伪标签作为一个优化问题，以找到伪标签，最大限度地提高标签和数据之间的互信息，同时接近一个给定的模型概率。我们推导出一个不动点迭代法，并证明其收敛到最优解。与基线相比，MIRA与伪标签预测相结合，可以实现简单而有效的基于聚类的表示学习，而无需引入额外的训练技术或人为约束，如采样策略，均分约束等。通过相对较小的训练时间，MIRA学习的表示在各种下游任务上实现了最先进的性能，包括线性/k-NN评估和迁移学习。特别是，仅用400个epoch，我们的方法应用于ResNet-50架构的ImageNet数据集，实现了75.6%的线性评估准确率。
2022-11-04 cs.CV
Information Maximization Clustering via Multi-View Self-Labelling
University of Surrey（萨里大学）；National Physical Laboratory（国家物理实验室）
本文提出一种单阶段图像聚类方法，通过分类器网络将离散表示集成到自监督学习中，并在多裁剪视图上最大化互信息，在CIFAR-10和CIFAR-100/20上分别取得89.1%和49.0%的平均准确率，超越现有技术且对参数设置具有鲁棒性。
2021-10-18 cs.CV
Racial Faces in-the-Wild: Reducing Racial Bias by Information Maximization Adaptation Network
Beijing University of Posts and Telecommunications（北京邮电大学）；Canon Information Technology (Beijing) Co., Ltd（佳能信息技术（北京）有限公司）
种族偏见是生物识别中的一个重要问题，但在深度人脸识别中尚未得到深入研究。在本文中，我们首先贡献了一个名为Racial Faces in the Wild（RFW）数据库的专用数据集，在此数据库上，我们坚定地验证了四种商业API和四种最先进（SOTA）算法的种族偏见。然后，我们进一步提出了使用深度无监督领域自适应的解决方案，并提出了一个深度信息最大化自适应网络（IMAN），以减轻这种偏见，使用高加索人作为源域和其他种族作为目标域。这种无监督的方法同时调整全局分布，以减少种族差距在域级别，并学习的歧视性目标表示在集群级别。提出了一种新的互信息损失，以进一步提高网络输出的区分能力，没有标签信息。在RFW、GBU和IJB-A数据库上进行的大量实验表明，IMAN成功地学习了在不同种族和不同数据库中推广的特征。
2019-07-27 cs.CV
Information-theoretic Dictionary Learning for Image Classification
University of Maryland（马里兰大学）
我们提出了一个两阶段的方法学习字典的对象分类任务的基础上的原则，信息最大化。所提出的方法寻求一个字典，是紧凑的，歧视性的，和生成。在第一阶段，字典原子选择从一个初始的字典通过最大化的互信息措施字典紧凑性，歧视和重建。在第二阶段中，使用关于互信息的简单梯度上升算法更新所选择的字典原子以用于改进的重构和区分能力。使用真实数据集的实验表明，我们的方法的有效性图像分类任务。
2012-08-17 cs.CV cs.IT math.IT
Fast computation of mutual information in the frequency domain with applications to global multimodal image alignment
Uppsala University（乌普萨拉大学）
多模态图像配准是指在不同成像技术或不同条件下形成的图像之间寻找空间对应关系，以便于异构数据融合和相关分析的过程。互信息（MI）的信息理论概念被广泛用作相似性度量来指导多模态对齐过程，其中大多数工作都集中在MI的局部最大化上，该MI通常仅适用于小位移;这表明需要全局最大化MI，由于现有算法的高运行时复杂度，这在计算上是不可行的。我们提出了一个有效的算法计算MI的所有离散位移（形式化的交叉互信息函数（CMIF）），这是基于在频域中计算的互相关。我们表明，该算法是等效的一个直接的方法，而渐近优越的运行时间。此外，我们提出了一种方法，多模态图像对齐的变换模型与几个自由度（如刚性）的基础上提出的CMIF算法。我们在三个不同的基准数据集上评估了所提出的方法的有效性，包括航空图像，细胞学图像和组织学图像，并且我们观察到了出色的成功率（在恢复已知的刚性变换方面），总体上优于其他方法，包括MI的局部优化以及最近的几种基于深度学习的方法。我们还评估了所提出的算法的GPU实现的运行时间，并观察到速度从100到超过10,000倍的现实图像大小相比，GPU实现的直接方法。代码在\url{github.com/MIDA-group/globalign}上作为开源共享。
2021-06-28 cs.CV eess.IV
Self-Supervised Learning with an Information Maximization Criterion
Koc University（科奇大学）；Google Cloud AI Research（谷歌云人工智能研究部）
自监督学习允许AI系统使用不需要昂贵标签的任务从大量数据中学习有效的表示。模式坍塌，即，为所有输入产生相同表示的模型是许多自监督学习方法的中心问题，使得诸如匹配输入的失真变体的自监督任务无效。在这篇文章中，我们认为，一个简单的应用程序的信息最大化之间的替代潜在表示相同的输入自然解决了崩溃的问题，并取得了竞争力的实证结果。我们提出了一种自监督学习方法，CorInfoMax，它使用了二阶基于几何的互信息措施，反映了其参数之间的相关性水平。最大化相同输入的替代表示之间的这种相关信息度量有两个目的：（1）通过生成具有非退化协方差的特征向量来避免崩溃问题;（2）通过增加替代表示之间的线性相关性来建立替代表示之间的相关性。建议的信息最大化目标的近似简化为一个基于欧氏距离的目标函数正则化的特征协方差矩阵的对数行列式。正则化项充当防止特征空间退化的天然屏障。因此，除了避免完整的输出崩溃到一个单一的点，所提出的方法还通过鼓励信息在整个特征空间中的传播来防止维度崩溃。数值实验表明，CorInfoMax实现更好的或有竞争力的性能结果相对于国家的最先进的SSL方法。
2022-09-16 cs.AI cs.CV cs.IT
MaNi: Maximizing Mutual Information for Nuclei Cross-Domain Unsupervised Segmentation
University of Virginia（弗吉尼亚大学）
在这项工作中，我们提出了一种基于互信息（MI）的无监督领域自适应（UDA）方法的跨域细胞核分割。不同癌症类型的细胞核在结构和外观上有很大差异，导致深度学习模型在一种癌症类型上训练并在另一种癌症类型上测试时性能下降。这种域转移变得更加关键，因为细胞核的准确分割和量化是患者诊断/预后的基本组织病理学任务，并且在像素水平上注释新癌症类型的细胞核需要医学专家的大量努力。为了解决这个问题，我们最大化标记的源癌症类型数据和未标记的目标癌症类型数据之间的MI，用于跨域传输细胞核分割知识。我们使用Jensen-Shanon发散界限，MI最大化只需要一个负对每个正对。我们评估了我们为多个建模框架和不同数据集（包括20多个癌症类型的域转移）建立的模型，并展示了具有竞争力的性能。所有最近提出的方法包括多个组件，用于改善领域自适应，而我们提出的模块是轻的，可以很容易地纳入其他方法（实现：https://github.com/YashSharma/MaNi）。
2022-06-29 cs.CV
Multimodal Classification via Total Correlation Maximization
Nanjing University of Science and Technology（南京理工大学）
本文提出TCMax方法，通过最大化多模态特征与标签间的总相关性，缓解模态竞争并提升多模态分类性能。
2026-03-10 cs.CV
Information Maximization for Long-Tailed Semi-Supervised Domain Generalization
Université Paris-Saclay, CentraleSupélec, Gustave Roussy, INSERM, CDSU, IHU PRISM（巴黎-萨克雷大学、中央超导学院、Gustave Roussy、INSERM、CDSU、IHU PRISM）
本文提出IMaX方法，通过最大化特征与潜在标签的互信息，缓解长尾分布对半监督领域泛化性能的负面影响，提升模型在不同领域上的泛化能力。
2026-03-09 cs.CV
Estimating and Maximizing Mutual Information for Knowledge Distillation
University of Virginia（弗吉尼亚大学）；Rice University（莱斯大学）
提出MIMKD方法，通过对比目标估计并最大化师生网络间互信息下界，实现知识蒸馏，提升低容量模型性能，在CIFAR100和ImageNet上取得显著准确率提升。
2023-05-11 cs.CV cs.IT math.IT
Representation Learning with Information Theory for COVID-19 Detection
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Interuniversity Microelectronics Centre (IMEC)（校际微电子中心（IMEC））
成功的数据表示是基于机器学习的医学成像分析的基本因素。深度学习（DL）在鲁棒的表示学习中发挥了重要作用。然而，深度模型无法推广到看不见的数据，可能会很快过度拟合复杂的模式。因此，我们可以方便地实施策略来帮助深度模型从数据中发现有用的先验知识，以学习它们的内在属性。我们的模型，我们称之为双角色网络（DRN），使用依赖最大化的方法基于最小二乘互信息（LSMI）。LSMI利用依赖性度量来确保表示不变性和局部平滑性。虽然先前的工作已经使用了信息论的措施，如互信息，已知是计算昂贵的，由于密度估计的步骤，我们的LSMI公式阐明了棘手的互信息估计的问题，并可以用来近似it. CT基于COVID-19检测和COVID-19严重性检测基准的实验证明了我们的方法的有效性。
2022-07-04 cs.CV eess.IV
Enhanced Multimodal Representation Learning with Cross-modal KD
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对跨模态KD中互信息最大化导致的弱教师捷径问题，提出新增教师与辅助模态模型互信息项、最小化教师条件熵的方法，结合对比与对抗训练，在三个多模态基准的三类任务上超越现有SOTA。
2023-06-13 cs.CV cs.MM
