MaNi: Maximizing Mutual Information for Nuclei Cross-Domain Unsupervised Segmentation
University of Virginia（弗吉尼亚大学）
在这项工作中，我们提出了一种基于互信息（MI）的无监督领域自适应（UDA）方法的跨域细胞核分割。不同癌症类型的细胞核在结构和外观上有很大差异，导致深度学习模型在一种癌症类型上训练并在另一种癌症类型上测试时性能下降。这种域转移变得更加关键，因为细胞核的准确分割和量化是患者诊断/预后的基本组织病理学任务，并且在像素水平上注释新癌症类型的细胞核需要医学专家的大量努力。为了解决这个问题，我们最大化标记的源癌症类型数据和未标记的目标癌症类型数据之间的MI，用于跨域传输细胞核分割知识。我们使用Jensen-Shanon发散界限，MI最大化只需要一个负对每个正对。我们评估了我们为多个建模框架和不同数据集（包括20多个癌症类型的域转移）建立的模型，并展示了具有竞争力的性能。所有最近提出的方法包括多个组件，用于改善领域自适应，而我们提出的模块是轻的，可以很容易地纳入其他方法（实现：https://github.com/YashSharma/MaNi）。
2022-06-29 cs.CV
Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing
Singapore University of Technology and Design（新加坡科技设计大学）；Monash University（蒙纳士大学）；University of Dayton（代顿大学）
在本文中，我们采用最大化的互信息（MI）的方法来解决问题的无监督学习的二进制哈希码的有效跨模态检索。我们提出了一种新的方法，称为跨模态信息最大哈希（CMIMH）。首先，学习信息表示，可以保持内和模态间的相似性，我们利用最近的进展，估计变分下限MI最大限度地提高MI之间的二进制表示和输入功能和二进制表示不同的方式。通过联合最大化这些MI的假设下，二进制表示是由多变量伯努利分布建模，我们可以学习二进制表示，它可以保持内部和内部模式的相似性，有效地在一个小批量的方式与梯度下降。此外，我们发现，试图通过从不同模态中学习相同实例的相似二进制表示来最小化模态间隙可能会导致信息量较少的表示。因此，在减少模态间隔和丢失模态私有信息之间取得平衡对于跨模态检索任务是重要的。标准基准数据集上的定量评估表明，该方法始终优于其他国家的最先进的跨模态检索方法。
2021-12-13 cs.CV
Unsupervised Domain Adaptation for Cardiac Segmentation: Towards Structure Mutual Information Maximization
College of Science and Technology, Wenzhou-Kean University（温州肯恩大学理工学院）
本文提出无监督域自适应框架 UDA-VAE++，通过结构互信息估计模块和顺序重参数化方案提升心脏分割在不同成像模态上的泛化能力，并在基准数据集上取得优于现有方法的性能。
2026-10-14 cs.CV eess.IV
Hypothesis Disparity Regularized Mutual Information Maximization
Imagia
我们提出了一个假设差异正则化的互信息最大化~（HDMI）的方法来解决无监督的假设转移-作为统一的假设迁移学习（HTL）和无监督的领域自适应（UDA）的努力-其中来自源域的知识是通过假设转移，并适应目标域在无监督的方式。与通常使用单个假设的流行HTL和UDA方法相比，HDMI采用多个假设来利用源和目标假设的潜在分布。为了更好地利用不同假设之间的关键关系-而不是独立地对每个假设进行无约束优化-同时通过互信息最大化来适应未标记的目标域，HDMI结合了一个假设差异正则化，该正则化协调目标假设，共同学习更好的目标表示，同时保留更多可转移的源知识，并具有更好的校准预测不确定性。HDMI在HTL环境下对UDA基准数据集实现了最先进的适配性能，而无需在适配期间访问源数据。
2020-12-15 cs.CV cs.LG
Towards Unsupervised Crowd Counting via Regression-Detection Bi-knowledge Transfer
Sichuan University（四川大学）；National Institute of Informatics（国立情报学研究所）；King’s College London（伦敦国王学院）
无监督的人群计数是一项具有挑战性但尚未进行大量探索的任务。在本文中，我们探索它在迁移学习设置，我们学习检测和计数的人在未标记的目标集，通过转移双知识学习回归和检测为基础的模型在标记的源集。这两个模型的双源知识是异质的和互补的，因为它们捕捉不同的人群分布模式。我们制定回归和检测为基础的模型的输出之间的相互转换为两个场景不可知的Transformers，使两个模型之间的知识蒸馏。给定基于回归和检测的模型及其在源中学习的相互Transformers，我们引入了一个迭代的自监督学习方案，在目标中具有回归检测双知识转移。在标准人群计数基准、ShanghaiTech、UCF\_CC\_50和UCF\_QNRF上的大量实验表明，我们的方法在迁移学习环境中比其他最先进的方法有了实质性的改进。
2020-09-27 cs.CV
MonoTAKD: Teaching Assistant Knowledge Distillation for Monocular 3D Object Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）；Cisco Systems, Inc.（思科系统公司）；Taijitu AI, Inc.（太极图人工智能公司）；National Taiwan Normal University（国立台湾师范大学）；National Taiwan University（国立台湾大学）
针对单目3D检测中深度模糊导致的知识蒸馏性能下降，提出MonoTAKD方法，引入相机助教模型和残差3D空间线索，在KITTI3D上达到最优，并验证了泛化性。
2025-03-26 cs.CV
Towards Trustworthy Unsupervised Domain Adaptation: A Representation Learning Perspective for Enhancing Robustness, Discrimination, and Generalization
College of Computer Science and Big Data, Fuzhou University（福州大学计算机与大数据学院）
针对现有鲁棒无监督域适应方法仅关注生成更强对抗样本、忽略从样本中有效学习的问题，本文从表示学习视角出发，基于互信息理论提出MIRoUDA算法及双模型框架，兼具鲁棒性、判别性与泛化性，实验效果大幅超越现有最优水平。
2024-06-19 cs.CV
SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping
Robotics at Google（谷歌机器人技术部）；Waymo（韦莫）
我们提出了SMURF，一种用于光流的无监督学习的方法，该方法通过$36\%$到$40\%$（超过先前的最佳方法UFlow）在所有基准上提高了最先进的水平，甚至优于几种有监督的方法，如PWC-Net和FlowNet 2。我们的方法集成了监督光流，即RAFT模型的架构改进，无监督学习的新思想，包括序列感知的自我监督损失，处理帧外运动的技术，以及从多帧视频数据中有效学习的方法，同时仍然只需要两个帧进行推理。
2021-05-14 cs.CV
Textual Knowledge Matters: Cross-Modality Co-Teaching for Generalized Visual Class Discovery
University of Trento（特伦托大学）；Hefei University of Technology（合肥工业大学）；University of Nottingham（诺丁汉大学）
针对广义类别发现仅依赖视觉线索的局限，本文提出两阶段TextGCD框架，通过检索式文本生成与跨模态协同教学融合视觉-语言知识，并在八个数据集上显著超越现有方法。
2024-12-05 cs.CV
Dual Clustering Co-teaching with Consistent Sample Mining for Unsupervised Person Re-Identification
Xi’an Jiaotong University（西安交通大学）；Chang’an University（长安大学）；Peking University（北京大学）
在无监督人Re-ID中，利用两个网络促进训练的同伴教学策略已被证明是处理伪标签噪声的有效方法。然而，用一组有噪声的伪标签训练两个网络降低了两个网络的互补性，并导致标签噪声积累。为了解决这个问题，本文提出了一种新的双聚类协同教学（DCCT）方法。DCCT主要利用两个网络提取的特征，通过不同参数的聚类分别生成两组伪标签。每个网络都使用其对等网络生成的伪标签进行训练，可以增加两个网络的互补性，减少噪音的影响。此外，我们提出了双聚类与动态参数（DCDP），使网络的自适应性和鲁棒性动态变化的聚类参数。此外，一致性样本挖掘（CSM）被提出来寻找在训练过程中伪标签不变的样本，以去除潜在的噪声样本。大量的实验表明，该方法的有效性，它优于国家的最先进的无监督的人的Re-ID方法的相当大的利润，并超过大多数方法利用相机信息。
2022-10-07 cs.CV
Spectral Unsupervised Domain Adaptation for Visual Recognition
S-lab（S实验室）；Nanyang Technological University（南洋理工大学）
尽管无监督领域自适应（UDA）近年来取得了令人瞩目的进展，但由于目标标注的缺失以及源和目标分布之间的差异，UDA仍然是一个巨大的挑战。我们提出了光谱UDA（SUDA），一个有效的和高效的UDA技术，工作在光谱空间，可以概括不同的视觉识别任务。SUDA从两个角度解决了UDA的挑战。首先，它引入了一个频谱Transformer（ST），减轻域间的差异，通过增强域不变的频谱，同时抑制源和目标样本的域变化的频谱。其次，它引入了多视图光谱学习，通过最大化每个目标样本的多个ST生成的光谱视图之间的互信息来学习有用的无监督表示。大量的实验表明，SUDA在目标检测、语义分割和图像分类等不同的视觉任务中都能保持较高的精度。此外，SUDA还与基于变压器的网络一起工作，并在目标检测方面实现了最先进的性能。
2022-06-05 cs.CV
Learning Cycle-Consistent Cooperative Networks via Alternating MCMC Teaching for Unsupervised Cross-Domain Translation
Cognitive Computing Lab, Baidu Research（百度研究院认知计算实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；Massachusetts Institute of Technology（麻省理工学院）；Tsinghua University（清华大学）；Peking University（北京大学）
本文提出了一种生成式框架来研究无监督跨域翻译问题。在该框架中，每个域的概率分布由一个生成式合作网络来表示，该网络由一个基于能量的模型和一个隐变量模型组成。生成式协作网络的使用使领域模型的最大似然学习通过MCMC教学，其中基于能量的模型试图拟合领域的数据分布，并通过MCMC提取其知识到潜变量模型。具体地，在MCMC教导过程中，由编码器-解码器参数化的潜变量模型将示例从源域映射到目标域，而基于能量的模型通过Langevin修正进一步细化映射结果，使得修正结果在统计特性方面与目标域中的示例匹配，所述统计特性由学习的能量函数定义。为了建立两个不成对域之间的对应关系，该框架同时学习一对具有循环一致性的合作网络，通过交替MCMC教学来解释两个域之间的双向翻译。实验结果表明，该框架对于无监督的图像到图像的翻译和不成对的图像序列的翻译是有用的。
2021-03-07 cs.CV
Dual Prototype Attention for Unsupervised Video Object Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院(KIST)）
本文提出两种基于原型的注意力机制IMA和IFA，通过跨模态和跨帧的密集传播结合外观与运动信息及帧间时序融合，在无监督视频目标分割任务上以显著优势超越现有方法。
2024-03-26 cs.CV
Adversarial Learning and Self-Teaching Techniques for Domain Adaptation in Semantic Segmentation
University of Padova（帕多瓦大学）
深度学习技术已经广泛应用于自动驾驶系统中，用于城市场景的语义理解。然而，它们需要大量的标记数据进行训练，这是困难和昂贵的。最近提出的解决方案是使用合成数据来训练深度网络，但现实世界和合成表示之间的域转移限制了性能。在这项工作中，一种新的无监督领域自适应（UDA）策略被引入到解决这个问题。所提出的学习策略由三个部分驱动：标记合成数据上的标准监督学习损失;利用标记合成数据和未标记真实数据的对抗学习模块;最后，应用于未标记数据的自学策略。最后一个部分利用了一个区域增长框架的分割信心的指导下。此外，我们根据类别频率对该组件进行加权，以提高对不太常见类别的性能。实验结果证明了所提出的策略的有效性，在适应分割网络训练的合成数据集，如GTA 5和SYNTHIA，现实世界的数据集，如城市景观和Mapillary。
2020-03-02 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation for Monocular 3D Object Detection via Self-Training
Harbin Institute of Technology（哈尔滨工业大学）；University of Science and Technology of China（中国科学技术大学）；SenseTime Research（商汤科技研究院）
随着深度学习技术和新兴的大规模自动驾驶数据集的出现，单目3D目标检测（Mono 3D）取得了前所未有的成功。然而，由于目标域上缺乏标签，跨域部署的性能急剧下降仍然是一个尚未得到充分研究的挑战。在本文中，我们首先全面调查的领域差距在Mono 3D，其中的关键观察是由域的几何错位引起的深度移位问题的重要潜在因素。然后，我们提出了STMono 3D，一个新的自教学框架，用于Mono 3D上的无监督领域自适应。为了减轻深度偏移，我们引入了几何对齐的多尺度训练策略来解开相机参数，并保证域的几何一致性。在此基础上，我们开发了一个教师-学生范式，以产生自适应伪标签的目标域。受益于端到端框架提供了更丰富的伪标签信息，我们提出了质量感知的监督策略，以考虑实例级伪置信度，提高目标域训练过程的有效性。此外，提出了正聚焦训练策略和动态阈值，以处理大量的FN和FP伪样本。STMono 3D在所有评估数据集上都取得了卓越的性能，甚至超过了KITTI 3D目标检测数据集上的完全监督结果。据我们所知，这是第一个探索Mono 3D有效UDA方法的研究。
2022-04-27 cs.CV
Co-Teaching: An Ark to Unsupervised Stereo Matching
Tongji University（同济大学）
立体匹配是自动驾驶感知的关键组成部分。最近的无监督立体匹配方法由于其不需要视差地面实况的优点而受到足够的关注。然而，这些方法在闭塞附近表现不佳。为了克服这个缺点，在本文中，我们提出了CoT-Stereo，一种新的无监督立体匹配方法。具体来说，我们采用了一个协同教学框架，其中两个网络以无监督的方式交互式地相互学习遮挡，这大大提高了无监督立体匹配的鲁棒性。在KITTI Stereo基准上进行的大量实验表明，CoT-Stereo在准确性和速度方面优于所有其他最先进的无监督立体匹配方法。我们的项目网页是https://sites.google.com/view/cot-stereo。
2021-07-17 cs.CV cs.RO
Unsupervised Image Segmentation using Mutual Mean-Teaching
CUHK（香港中文大学）；Xiamen University（厦门大学）；Yunnan University（云南大学）
无监督图像分割的目的是将具有相似特征的像素不加标注地分配到同一个类中，是计算机视觉的一项重要任务。由于缺乏先验知识，大多数现有的模型通常需要多次训练才能获得合适的结果。为了解决这个问题，我们提出了一个无监督的图像分割模型的基础上的相互意义教学（MMT）框架，以产生更稳定的结果。此外，由于两个模型像素的标签不匹配，提出了一种基于匈牙利算法的标签对齐算法来匹配聚类标签。实验结果表明，该模型能够分割各种类型的图像，并取得了更好的性能比现有的方法。
2020-12-16 cs.AI cs.CV
"Teaching Independent Parts Separately" (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation
我们提出了TIPSy-GAN，这是一种新的方法，可以提高无监督对抗2D到3D人体姿态估计的准确性和稳定性。在我们的工作中，我们证明了人类运动骨架不应该被假设为一个单一的空间相关结构;事实上，我们认为当在训练过程中提供完整的2D姿势时，会有一个固有的偏差，其中关键点的3D坐标在空间上依赖于所有其他关键点的2D坐标。为了研究我们的假设，我们遵循以前的对抗方法，但训练两个发电机上的空间独立的部分的运动骨架，躯干和腿。我们发现，提高自我一致性周期是降低评估误差的关键，因此在训练过程中引入了新的一致性约束。通过从这些生成器中进行知识蒸馏来生成TIPSy模型，该TIPSy模型可以预测整个2D姿态的3D坐标，并具有改进的结果。此外，我们解决了一个悬而未决的问题，在以前的工作多久训练在一个真正的无人监督的情况下。我们发现，两个独立的发电机训练adversarially有改善的稳定性比一个单独的发电机崩溃。与基线单独发生器在Human3.6M数据集上的平均误差相比，TIPSy将平均误差降低了17%。TIPSy改进了其他无监督方法，同时在评估Human3.6M和MPI-INF-3DHP数据集时，对监督和弱监督方法也表现出色。
2022-09-01 cs.CV
CoT-AMFlow: Adaptive Modulation Network with Co-Teaching Strategy for Unsupervised Optical Flow Estimation
HKUST（香港科技大学）；UC San Diego（加州大学圣迭戈分校）
自我运动和场景变化的解释是移动机器人的一项基本任务。可以采用光流信息来估计周围环境中的运动。近年来，无监督的光流估计已成为一个研究热点。然而，无监督的方法往往是不可靠的部分闭塞或纹理较少的地区。为了解决这个问题，本文提出了CoT-AMFlow，一种无监督的光流估计方法。在网络架构方面，我们开发了一种自适应调制网络，该网络采用两种新型模块类型，流量调制模块（FRENT）和成本容量调制模块（CMM），以消除具有挑战性的区域中的离群值。至于训练范式，我们采用了一种合作教学策略，即两个网络同时相互教授具有挑战性的区域，以进一步提高准确性。在MPI Sintel、KITTI Flow和Middlebury Flow基准测试上的实验结果表明，我们的CoT-AMFlow优于所有其他最先进的无监督方法，同时仍能实时的运行。我们的项目页面可以在https://sites.google.com/view/cot-amflow上找到。
2020-11-04 cs.CV cs.RO
Cross-head mutual Mean-Teaching for semi-supervised medical image segmentation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学）
提出跨头互平均教师网络（CMMT-Net），结合强弱数据增强、互虚拟对抗训练和跨集CutMix，同时实现数据、特征和网络扰动，在半监督医学图像分割中显著优于现有方法。
2023-10-16 cs.CV
Asymmetric Co-Teaching for Unsupervised Cross Domain Person Re-Identification
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）
由于身份样本和成像条件的高差异性，人员重新识别（re-ID）是一项具有挑战性的任务。尽管深度学习的最新进展在固定场景中实现了显著的准确性，即，源域，很少有作品能很好地推广上看不见的目标域。一种流行的解决方案是通过聚类为未标记的目标图像分配伪标签，然后重新训练模型。然而，聚类方法往往会引入噪声标签并丢弃低置信度样本作为离群值，这可能会阻碍再训练过程，从而限制泛化能力。在这项研究中，我们认为，通过显式地添加一个样本过滤过程后的聚类，挖掘的例子可以更有效地使用。为此，我们设计了一个非对称的协同教学框架，它通过合作两个模型来选择彼此可能具有干净标签的数据来抵抗噪声标签。同时，其中一个模型接收尽可能纯净的样本，而另一个模型接收尽可能多样化的样本。这个过程鼓励选择的训练样本可以是干净的和混杂的，并且两个模型可以迭代地相互促进。大量的实验表明，该框架可以始终受益于大多数基于聚类的方法，并提高最先进的适应精度。我们的代码可在https://github.com/FlyingRoastDuck/ACT_AAAI20上获得。
2019-12-03 cs.CV
Mutual Teaching for Graph Convolutional Networks
School of Information Science & Engineering, Lanzhou University（兰州大学信息科学与工程学院）
图卷积网络由于其转导标签传播而产生对未标记样本的良好预测。由于样本具有不同的预测置信度，我们将高置信度的预测作为伪标签来扩展标签集，以便选择更多的样本来更新模型。我们提出了一种新的培训方法，称为交互式教学，即，我们训练双模，每批互相教。首先，每个网络前馈所有样本，并选择具有高置信度预测的样本。其次，每个模型都由其对等网络选择的样本更新。我们将高置信度的预测视为有用的知识，并且一个网络的有用知识在每个批次中通过模型更新来教导对等网络。在互教中，网络的伪标签集来自其对等网络。由于我们使用新的网络训练策略，性能显着提高。大量的实验结果表明，我们的方法在非常低的标签率下实现了优越的性能。
2020-09-02 cs.CV cs.LG stat.ML
Maximizing Conditional Independence for Unsupervised Domain Adaptation
Sun Yat-Sen University（中山大学）
无监督领域自适应研究如何将学习器从一个有标记的源域迁移到一个具有不同分布的未标记目标域。现有的方法主要集中在匹配源域和目标域的边缘分布，这可能会导致来自同一类但不同域的样本不对齐。在本文中，我们处理这种错位，从一个新的角度实现类条件转移。我们的目标是在再生核Hilbert空间中最大化给定类的特征和域的条件独立性。条件独立性度量的优化可以看作是最小化特征和域之间的某种互信息的替代。一个可解释的经验估计的条件依赖推导和连接的无条件的情况下。此外，我们还考虑了类条件分布，给出了目标误差的上界，这为大多数类条件转移方法提供了一个新的理论视角。除了无监督的领域自适应，我们将我们的方法扩展到多源的情况下，在一个自然和优雅的方式。在四个基准上的大量实验验证了所提出的模型在无监督领域自适应和多源领域自适应中的有效性。
2022-03-07 cs.CV cs.LG
Graph Consistency Based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification
Peking University（北京大学）
最近的工作表明，平均教学是一个有效的框架，无监督域自适应的人重新识别。然而，现有的方法对教师网络和学生网络之间的样本进行对比学习，对伪标签中的噪声敏感，忽略了大多数样本之间的关系。此外，这些方法在不同教师网络的合作中并不有效。为了解决这些问题，本文提出了一种基于图一致性的均值教学（GCMT）方法，在教师和学生网络之间构建图一致性约束（GCC）。具体而言，给定未标记的训练图像，我们应用教师网络提取相应的特征，并进一步为每个教师网络构建教师图来描述训练图像之间的相似性关系。为了提高表示学习的效率，融合不同的教师图，为优化学生网络提供监督信号。GCMT融合了不同教师网络预测的相似关系作为监督，并有效地优化了学生网络，涉及更多的样本关系。在三个数据集上的实验，即，Market-1501、DukeMTMCreID和MSMT 17表明，提出的GCMT明显优于最先进的方法。特别是，GCMT甚至优于以前使用更深主干的方法。实验结果还表明，GCMT可以有效地提高多教师和学生网络的性能。我们的代码可在https://github.com/liu-xb/GCMT上获得。
2021-05-31 cs.AI cs.CV
Robust Mutual Learning for Semi-supervised Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
最近的半监督学习（SSL）方法通常是基于伪标记。由于SSL的性能很大程度上受到伪标签质量的影响，因此提出了相互学习的方法来有效地抑制伪监督中的噪声。在这项工作中，我们提出了强大的相互学习，在两个方面改进了先前的方法。首先，普通的相互学习者遭受耦合问题，模型可能会收敛到学习同质的知识。我们通过引入平均教师产生相互监督，使两个学生之间没有直接的互动来解决这个问题。我们还表明，强大的数据增强，模型噪声和异构网络架构是必不可少的，以减轻模型耦合。其次，我们注意到相互学习无法利用网络自身的伪标签细化能力。因此，我们引入了自我纠正，利用内部知识，并明确纠正伪标签之前的相互教学。这种自校正和相互教导协作地提高了整个学习过程中的伪标签准确性。所提出的鲁棒的相互学习展示了在低数据状态下的语义分割的最先进的性能。
2021-12-27 cs.CV
Real-Time Online Unsupervised Domain Adaptation for Real-World Person Re-identification
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出R²OUDA真实世界实时在线域适应设置及R²MMT多摄像头行人重识别系统，在严格实时约束下达到接近传统OUDA方法的精度。
2023-06-06 cs.AI cs.CV cs.LG
Unsupervised Learning of 3D Semantic Keypoints with Mutual Reconstruction
Northwestern Polytechnical University（西北工业大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
语义3D关键点是3D对象上的类别级语义一致点。检测3D语义关键点是许多3D视觉任务的基础，但由于语义信息的模糊性，特别是当对象由无序的3D点云表示时，仍然具有挑战性。现有的无监督方法倾向于以隐式方式生成类别级关键点，这使得难以提取高级信息，例如语义标签和拓扑。从一个新的相互重建的角度来看，我们提出了一个无监督的方法来生成一致的语义关键点从点云显式。为了实现这一点，所提出的模型预测关键点，不仅重建对象本身，而且重建同一类别中的其他实例。据我们所知，所提出的方法是第一个挖掘三维语义一致的关键点，从相互重建视图。各种评价指标下的实验以及与最先进的比较表明，我们的新解决方案挖掘语义一致的关键点与相互重建的有效性。
2022-03-19 cs.CV
HSIC-InfoGAN: Learning Unsupervised Disentangled Representations by Maximising Approximated Mutual Information
University of Edinburgh（爱丁堡大学）；Canon Medical Research Europe Ltd.（佳能医疗研究欧洲有限公司）；AC Codewheel Ltd（AC Codewheel有限公司）；The Alan Turing Institute（艾伦·图灵研究所）
学习解开表征需要监督或引入特定的模型设计和学习约束作为偏见。InfoGAN是一个流行的解纠缠框架，它通过最大化潜在表示及其相应的生成图像之间的互信息来学习无监督的解纠缠表示。互信息的最大化是通过引入一个辅助网络和训练与潜在的回归损失。在这篇简短的探索性论文中，我们研究了使用希尔伯特-施密特独立准则（HSIC）来近似潜在表示和图像之间的互信息，称为HSIC-InfoGAN。直接优化HSIC损耗避免了对附加辅助网络的需要。我们定性地比较了每个模型中的解纠缠水平，提出了一种调整HSIC-InfoGAN超参数的策略，并讨论了HSIC-InfoGAN在医学应用中的潜力。
2022-08-06 cs.CV
Unsupervised Visual Representation Learning via Mutual Information Regularized Assignment
KAIST（韩国科学技术院）；LG AI Research（LG人工智能研究院）
本文提出了互信息正则化分配（MIRA），一个伪标记算法的无监督表示学习的启发信息最大化。我们制定在线伪标签作为一个优化问题，以找到伪标签，最大限度地提高标签和数据之间的互信息，同时接近一个给定的模型概率。我们推导出一个不动点迭代法，并证明其收敛到最优解。与基线相比，MIRA与伪标签预测相结合，可以实现简单而有效的基于聚类的表示学习，而无需引入额外的训练技术或人为约束，如采样策略，均分约束等。通过相对较小的训练时间，MIRA学习的表示在各种下游任务上实现了最先进的性能，包括线性/k-NN评估和迁移学习。特别是，仅用400个epoch，我们的方法应用于ResNet-50架构的ImageNet数据集，实现了75.6%的线性评估准确率。
2022-11-04 cs.CV
InfoSeg: Unsupervised Semantic Image Segmentation with Mutual Information Maximization
Institute of Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形学与视觉研究所）；Graz University of Technology（格拉茨技术大学）
提出了一种基于局部和全局高级图像特征间互信息最大化的无监督语义图像分割新方法。我们工作的核心思想是利用自监督图像表示学习的最新进展。表示学习方法计算捕获整个图像的单个高级特征。相比之下，我们计算多个高级特征，每个特征捕获一个特定语义类的图像片段。为此，我们提出了一种新的两步学习过程，包括分割和互信息最大化步骤。在第一步中，我们根据局部和全局特征分割图像。在第二步中，我们最大化的局部特征和各自的类的高层特征之间的互信息。对于训练，我们只提供未标记的图像，并从随机网络初始化开始。对于定量和定性评估，我们使用既定的基准，和COCO的人，我们介绍了后者在本文中作为一个具有挑战性的新基准。InfoSeg显著优于当前最先进的技术，例如，我们在COCO-Stuff数据集上的像素精度指标上实现了26%的相对增加。
2021-10-07 cs.CV
Learnable Patchmatch and Self-Teaching for Multi-Frame Depth Estimation in Monocular Endoscopy
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
针对内窥镜无监督单目深度估计中时间相关性利用受限问题，提出集成可学习Patchmatch模块与交叉/自教学一致性的多帧模型，提升低纹理、亮度波动场景性能，在多数据集上超越SOTA。
2025-02-15 cs.CV
Unsupervised Image Segmentation by Mutual Information Maximization and Adversarial Regularization
AmirKabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）；Monash University（莫纳什大学）
语义分割是自主智能体场景理解的基本任务之一。监督机器学习和神经网络的最新发展在增强用于该任务的最先进技术的性能方面取得了巨大成功。然而，它们的卓越性能高度依赖于大规模注释数据集的可用性。在本文中，我们提出了一种新的完全无监督的语义分割方法，所谓的信息最大化和对抗正则化分割（InMARS）。受人类感知的启发，将场景解析为感知组，而不是单独分析每个像素，我们提出的方法首先将输入图像划分为有意义的区域（也称为超像素）。接下来，它利用互信息最大化，然后采用对抗训练策略将这些区域聚类为语义上有意义的类。为了针对该问题定制对抗性训练方案，我们将对抗性像素噪声与空间扰动结合起来，以在深度神经网络上施加光度和几何不变性。我们的实验表明，我们的方法达到了最先进的性能上两个常用的无监督语义分割数据集，COCO-Stuff，波茨坦。
2021-07-01 cs.CV
S$^2$ME: Spatial-Spectral Mutual Teaching and Ensemble Learning for Scribble-supervised Polyp Segmentation
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；Hubei University of Technology（湖北工业大学）；University College London（伦敦大学学院）
针对涂鸦监督息肉分割中标签稀缺及模型泛化、鲁棒性不足的问题，提出S²ME框架，通过空间-光谱双分支互教和熵引导伪标签融合提升性能。
2023-06-01 cs.CV eess.IV
Unsupervised Image Fusion Method based on Feature Mutual Mapping
Jiangnan University（江南大学）；University of Surrey（萨里大学）
基于深度学习的图像融合方法近年来得到了广泛的关注，在视觉感知方面取得了很好的性能。然而，当前基于深度学习的方法中的融合模块受到两个限制，即\textit{i.e.}、手动设计的融合函数和独立于输入的网络学习。针对上述问题，本文提出了一种无监督自适应图像融合方法.提出了特征互映射融合模块和双分支多尺度自编码器。更具体地说，我们构建了一个全局映射来测量输入源图像之间的像素连接。找到的映射关系指导图像融合。此外，我们设计了一个双分支多尺度网络，通过采样变换来提取区分图像特征。在解码过程中，我们通过特征聚合进一步丰富了不同尺度的特征表示。最后，我们提出了一个修正的损失函数，训练网络具有有效的收敛性能。通过对红外和可见光图像数据集的充分训练，该方法在多聚焦和医学图像融合中也表现出了良好的推广性能。我们的方法在视觉感知和客观评价方面都取得了优异的性能。实验证明，我们提出的方法在各种图像融合任务的性能优于其他国家的最先进的方法，证明了我们的方法的有效性和通用性。
2022-01-29 cs.CV
Mutual-GAN: Towards Unsupervised Cross-Weather Adaptation with Mutual Information Constraint
Tencent Jarvis Lab（腾讯Jarvis实验室）
卷积神经网络（CNN）已经证明了其在语义分割方面的成功，这是自动驾驶等新兴工业应用的核心任务。然而，城市场景的语义分割的大多数进展是在标准场景上报告的，即，具有良好照明条件的白天场景。在实际应用中，室外天气和光照是变化的，多云和夜间，这导致仅用白天数据训练的CNN的语义分割准确性显著下降。在本文中，我们提出了一种新的生成对抗网络（即Mutual-GAN），以缓解白天训练的神经网络应用于恶劣天气条件下捕获的视频时的准确性下降。所提出的Mutual-GAN采用互信息约束来在跨天气适应期间保留图像对象，这是大多数无监督图像到图像转换方法（例如，CycleGAN）。所提出的Mutual-GAN在两个公开可用的驾驶视频数据集（即，CamVid和SYNTHIA）。实验结果表明，我们的Mutual-GAN可以产生视觉上合理的翻译图像，并显着提高白天训练的深度学习网络的语义分割准确性，同时在具有挑战性的天气下处理视频。
2021-06-30 cs.AI cs.CV
Attentive WaveBlock: Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-identification and Beyond
Beihang University（北京航空航天大学）；University of Technology Sydney（悉尼科技大学）；IIAI（起源人工智能研究院）；Tencent AI Lab（腾讯人工智能实验室）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
由于源域和目标域之间存在巨大的差异，无监督领域自适应（UDA）的身份重新识别具有挑战性。一种典型的自训练方法是使用聚类算法生成的伪标签来迭代优化目标域上的模型。然而，这样做的缺点是，嘈杂的伪标签通常会在学习中造成麻烦。为了解决这个问题，已经开发了一种通过双网络的相互学习方法来产生可靠的软标签。然而，随着两个神经网络逐渐收敛，它们的互补性被削弱，它们可能会偏向于同一种噪声。本文提出了一种新的轻量级模块--Attentive WaveBlock（AWB），它可以集成到互学习的双网络中，以增强互补性，进一步抑制伪标签中的噪声。具体来说，我们首先引入一个无参数模块WaveBlock，它通过不同地挥动特征图块来创建两个网络学习到的特征之间的差异。然后，利用注意力机制来扩大所创建的差异并发现更多的互补特征。在此基础上，探讨了两种组合策略，即前注意和后注意。实验表明，该方法实现了国家的最先进的性能与多个UDA的人重识别任务的显着改善。我们还证明了所提出的方法的通用性，将其应用到车辆重新识别和图像分类任务。我们的代码和型号可在www.example.com上获得。
2021-12-26 cs.CV
Mutual Information Guided Optimal Transport for Unsupervised Visible-Infrared Person Re-identification
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Informatics, Xiamen University（厦门大学信息学院）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出一种基于互信息推导的最优传输方法，通过锐度、公平性和适应性原则，实现无监督可见光-红外行人重识别，在SYSU-MM01和RegDB上分别达到60.6%和90.3%的Rank-1准确率。
2024-07-17 cs.CV
Learning from Self-Discrepancy via Multiple Co-teaching for Cross-Domain Person Re-Identification
School of Electronic Information and Electrical Engineering（电子信息与电气工程学院）；Shanghai Jiao Tong University（上海交通大学）
采用聚类策略为未标记的目标图像分配伪标记已成为领域自适应中人物再识别算法的发展趋势。这些基于聚类的方法的潜在限制是它们总是倾向于引入噪声标签，这无疑会妨碍我们的re-ID系统的性能。为了处理这个限制，一个直观的解决方案是利用协作训练来净化伪标签质量。然而，存在的挑战是，两个网络，这不可避免地共享一个高相似性的互补性逐渐减弱，随着训练过程的进行，更糟糕的是，这些方法通常忽略了考虑类内关系的自我差异。为了解决这个问题，本文提出了一个多个协同教学框架的领域自适应的人重新ID，开辟了一个很有前途的方向在无监督条件下的自我差异问题。在此基础上，利用了一种手段教学机制，以扩大差异，并发现更多的互补特征。在几个大规模数据集上进行的综合实验表明，与现有技术相比，我们的方法具有竞争力的性能。
2021-09-07 cs.CV
Shuffle and Learn: Minimizing Mutual Information for Unsupervised Hashing
University of British Columbia（不列颠哥伦比亚大学）
无监督二进制表示允许快速数据检索而无需任何注释，从而实现快速人员重新识别和多媒体检索等实际应用。有人认为，二进制空间中的冲突是高性能无监督哈希的主要障碍之一，因为目前的方法未能捕捉到精确的代码冲突在整个域。提出了一种新的松弛方法Shuffle and Learn来解决无监督哈希中的代码冲突。联合概率的近似导数和二进制层的梯度被引入以桥接从散列到输入的更新。给出了$ε$ --联合概率逼近导数收敛性的证明，保证了互信息更新的精确性。所提出的算法进行迭代全局更新，以最小化互信息，发散代码之前，定期无监督优化。实验表明，所提出的方法可以放松局部最优的代码优化，并有助于生成更有区别性和信息量的二进制表示，没有任何注释。在三个开放数据集上进行了无监督二进制代码图像检索的性能基准测试，并且该模型在所有这些数据集上的图像检索任务上都达到了最先进的精度。提供了数据集和可复制的代码。
2020-11-20 cs.CV cs.IR cs.LG
MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization
USC Information Sciences Institute（南加州大学信息科学研究所）；Alexandria University（亚历山大大学）
深度神经网络是强大的、大规模参数化的机器学习模型，已被证明在监督学习任务中表现良好。然而，通常需要非常大量的标记数据来训练深度神经网络。已经提出了几种半监督学习方法来使用少量的标记数据和大量的未标记数据来训练神经网络。这些半监督方法的性能显着降低标记数据的大小减少。我们介绍了基于互信息的无监督和半监督并行学习（MUSCLE），一种混合学习方法，使用互信息结合无监督和半监督学习。MUSCLE可以用作神经网络的独立训练方案，也可以并入其他学习方法。我们表明，所提出的混合模型优于几个标准的基准，包括CIFAR-10，CIFAR-100和Mini-Imagenet的最先进的。此外，性能增益始终随着标记数据量的减少以及存在偏差而增加。我们还表明，MUSCLE有可能提高分类性能时，用于微调阶段的模型预训练只在未标记的数据。
2020-11-30 cs.CV cs.LG
DeepMI: A Mutual Information Based Framework For Unsupervised Deep Learning of Tasks
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
在这项工作中，我们提出了一个基于信息论的框架DeepMI，使用互信息（MI）来训练深度神经网络（DNN）。DeepMI框架特别针对但不限于以无监督的方式学习现实世界的任务。这项工作背后的主要动机是传统的损失函数的局限性无监督学习的一个给定的任务。由于多元智能的无限超越性，直接将其用于培训目的是一个很大的挑战。因此，我们开发了一个替代的线性表示MI的框架的一部分。本文的贡献有三个方面：i）MI对训练深度神经网络的研究，ii）新的损失函数LLMI，以及iii）基于模糊逻辑的端到端可微管道，将DeepMI集成到深度学习框架中。由于没有标准的基准测试，我们精心设计了实验分析，并选择了三个不同的任务进行实验研究。我们表明，L LMI单独提供更好的梯度，以实现神经网络更好的性能超过流行的损失函数，也在多个损失函数用于给定任务的情况下。
2022-03-04 cs.CV cs.RO
Autoregressive Unsupervised Image Segmentation
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
在这项工作中，我们提出了一种新的无监督图像分割方法的基础上互信息最大化之间的不同构造的意见的输入。从自回归生成模型中获得灵感，该模型以掩码卷积创建的光栅扫描排序从过去的像素预测当前像素，我们建议使用各种形式的掩码卷积对输入使用不同的排序来构建数据的不同视图。对于给定的输入，该模型产生一对具有两个有效排序的预测，然后进行训练以最大化两个输出之间的互信息。这些输出可以是用于表示学习的低维特征，也可以是与用于聚类的语义标签相对应的输出聚类。虽然在训练过程中使用了掩蔽卷积，但在推理中，没有应用掩蔽，我们回到标准卷积，模型可以访问完整的输入。所提出的方法优于当前国家的最先进的无监督图像分割。它简单且易于实现，可以扩展到其他视觉任务，并无缝集成到需要不同数据视图的现有无监督学习方法中。
2020-07-16 cs.CV
Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification
在无监督的领域自适应人员再识别（ReID）任务中，基于预处理的方法被证明是有效的。然而，现有的工作沿着这种方法仍然遭受噪声的伪标签和不可靠的泛化能力在整个训练过程中。为了解决这些问题，本文提出了一种新的方法来学习的特征表示具有更好的泛化能力，通过限制噪声伪标签。首先，我们提出了一个样本丢弃（SD）的方法，以防止模型的训练陷入恶性循环所造成的样本，经常被分配有噪声的伪标签。此外，在经典的互教结构下，提出了一种全新的特征多样性学习方法（FDL），可以显著提高特征表示在目标域上的泛化能力。实验结果表明，我们提出的FDL-SD实现了国家的最先进的性能在多个基准数据集。
2022-01-25 cs.CV
Mutual Information Based Method for Unsupervised Disentanglement of Video Representation
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
视频预测是一项有趣且具有挑战性的任务，即从属于视频序列的给定上下文帧集合中预测未来帧。视频预测模型在机动规划、医疗保健、自主导航和仿真等领域有着广阔的应用前景。未来帧生成的主要挑战之一是由于视觉数据的高维性质。在这项工作中，我们提出了互信息预测自动编码器（MIPAE）的框架，减少了预测高维视频帧的任务分解成内容和低维构成的潜在变量，很容易预测的视频表示。使用标准LSTM网络来预测这些低维姿态表示。内容和预测的姿态表示被解码以生成未来帧。我们的方法利用视频的潜在生成因素的时间结构和一种新的互信息损失来学习解纠缠的视频表示。我们还提出了一个度量的基础上互信息差距（间隙）定量访问的有效性解纠缠的DSPrites和MPI三维真实数据集。MIPAE预测的帧的视觉优势，证实了视觉上的优势。我们还定量地比较了我们的方法的评价指标LPIPS，SSIM和PSNR。
2020-11-17 cs.CV cs.LG
Unsupervised Mutual Transformer Learning for Multi-Gigapixel Whole Slide Image Classification
Khalifa University of Science and Technology（哈利法科学技术大学）；ITU（信息技术大学（巴基斯坦拉合尔））；the University of Warwick（华威大学）
针对全切片图像分类依赖人工标注的问题，提出基于互Transformer学习的无监督算法，通过伪标签生成与清理模块互训及判别式学习实现分类，在四个公开数据集上性能优于现有最优方法。
2023-05-03 cs.CV cs.LG
Unsupervised Style and Content Separation by Minimizing Mutual Information for Speech Synthesis
Apple（苹果公司）
我们提出了一种从输入文本和以无监督方式从参考语音信号中提取的风格向量生成语音的方法，即，不需要诸如说话者信息之类的样式注释。现有的无监督方法在训练期间通过从相应的地面真实样本计算风格来生成语音，并使用解码器将风格向量与输入文本相结合。以这种方式训练模型会将内容信息泄漏到样式向量中。解码器可以使用泄漏的内容并忽略一些输入文本以最小化重建损失。在推断时，当参考语音与内容输入不匹配时，输出可能不包含输入文本的所有内容。我们将这个问题称为“内容泄漏”，我们通过对抗训练公式明确估计和最小化风格和内容之间的互信息来解决这个问题。我们称我们的方法MIST -基于互信息的风格内容分离。该方法的主要目标是保留输入内容的合成语音信号，我们衡量的字错误率（WER），并表现出显着的改进，在国家的最先进的无监督语音合成方法。
2020-03-09 cs.CV cs.IT cs.LG
Agreement or Disagreement in Noise-tolerant Mutual Learning?
Beijing University of Chemical Technology（北京化工大学）
深度学习在许多领域取得了令人瞩目的成就，但在数据集中受到噪声标签的困扰。最新的带噪标签学习方法Co-teaching和Co-teaching+利用双网络间的互信息对抗带噪标签。然而，双网络总是趋于收敛，这将削弱双网络机制抵抗噪声标签。在本文中，我们提出了一个噪声容忍框架命名为MLC在端到端的方式。通过发散正则化对双网络进行调整，保证了机制的有效性。此外，我们根据双网之间的协议，纠正标签分布。该方法可以利用噪声数据，以提高网络的准确性，泛化能力和鲁棒性。我们在模拟噪声数据集MNIST，CIFAR-10和真实世界的噪声数据集Clothing 1 M上测试了所提出的方法。实验结果表明，我们的方法优于以前的国家的最先进的方法。此外，我们的方法是无网络的，因此它适用于许多任务。我们的代码可以在https://github.com/JiarunLiu/MLC上找到。
2022-08-14 cs.AI cs.CV cs.LG
Unsupervised and Unregistered Hyperspectral Image Super-Resolution with Mutual Dirichlet-Net
University of Tennessee（田纳西大学）；Applied Research LLC（应用研究有限责任公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
高光谱图像（HSI）提供了丰富的光谱信息，有助于许多计算机视觉任务的成功性能提高。然而，这只能以牺牲图像的空间分辨率为代价。高光谱图像超分辨率（HSI-SR）通过融合低分辨率（LR）HSI和具有更高空间分辨率（HR）的多光谱图像（MSI）来解决这个问题。所有现有的HSI-SR方法都要求LR HSI和HR MSI被很好地配准，并且HR HSI的重建精度在很大程度上依赖于不同模态的配准精度。本文利用未知的问题域的HSI-SR没有多模态配准的要求。考虑到未注册的LR HSI和HR MSI具有重叠区域，我们设计了一个独特的无监督学习结构，通过将它们通过相同的编码器投影到相同的统计空间来连接这两个未注册的模态。进一步采用互信息（MI）来捕获来自两个模态（携带空间信息）的表示与它们的原始输入之间的非线性统计依赖性。通过最大化MI，可以很好地表征不同模态之间的空间相关性，以进一步减少频谱失真。采用协作的$l_{2,1}$范数而不是更常见的$l_2$范数作为重建误差，使得可以尽可能准确地恢复各个像素。通过这种设计，网络允许从未注册的图像中提取相关的光谱和空间信息，从而更好地保留光谱信息。所提出的方法被称为未注册和无监督的相互狄利克雷网（$u^2$ -MDN）。使用基准HSI数据集的大量实验结果表明，与现有技术相比，$u^2$ -MDN具有优异的性能。
2021-08-02 cs.CV eess.IV
DRMIME: Differentiable Mutual Information and Matrix Exponential for Multi-Resolution Image Registration
University of Alberta（阿尔伯塔大学）；Hospital Aleman（阿勒曼医院）
在这项工作中，我们提出了一种新的无监督图像配准算法。它是端到端可区分的，可用于多模态和单模态配准。这是使用互信息（MI）作为度量来完成的。这里的新颖之处在于，我们不是使用传统的近似MI的方法，而是使用一种名为MINE的神经估计器，并使用矩阵指数对其进行补充以进行变换矩阵计算。与现有技术的图像配准工具箱中的标准算法相比，这导致了改进的结果。
2020-01-27 cs.CV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021: Team M3EM Technical Report
Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）
在本报告中，我们描述了我们提交2021年EPIC-KITCHENS-100无监督领域自适应行动识别挑战赛的技术细节。利用多模态已被证明有利于无监督领域自适应（UDA）任务。在这项工作中，我们提出了多模态相互增强模块（M3 EM），这是一个深度模块，用于联合考虑来自多个模态的信息，以找到跨域最可转移的表示。我们通过实施两个子模块来实现这一点，用于使用其他模式的上下文来增强每种模式。第一子模块通过语义空间跨模态交换信息，而第二子模块基于所有模态的共识找到最可转移的空间区域。
2021-07-01 cs.CV
Mutual information neural estimation for unsupervised multi-modal registration of brain images
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；South Australian Health and Medical Research Institute（南澳大利亚健康与医学研究所）
图像引导手术和治疗中的许多应用需要快速且可靠的非线性、多模态图像配准。最近提出的基于无监督深度学习的配准方法与迭代方法相比，在很短的时间内就表现出了卓越的性能。大多数基于学习的方法都集中在单模态图像配准上。多模态配准的扩展依赖于使用适当的相似性函数，如互信息（MI）。我们建议通过端到端可训练网络中图像对之间的MI估计来指导基于深度学习的配准方法的训练。我们的研究结果表明，一个小的，2层网络产生竞争力的结果，在单模态和多模态注册，与次秒运行时间。与迭代和基于深度学习的方法的比较表明，我们基于MI的方法在拓扑和定性上都具有优越的结果，并且非同构变换的速率极低。实时临床应用将受益于解剖结构的更好视觉匹配和更少的配准失败/离群值。
2022-10-06 cs.CV cs.LG eess.IV
MCMI: Multi-Cycle Image Translation with Mutual Information Constraints
Simon Fraser University（西蒙菲莎大学）
我们提出了一个基于互信息的无监督图像到图像的翻译框架。我们的MCMI方法将单周期图像翻译模型视为可以在多周期翻译设置中循环使用的模块，其中翻译过程受输入和输出图像之间的互信息约束的约束。所提出的互信息约束可以通过优化出在图像翻译期间不满足马尔可夫性质的翻译函数来改善跨域映射。我们发现，与最先进的图像翻译方法相比，使用MCMI训练的模型可以生成更高质量的图像，并学习更多语义相关的映射。MCMI框架可以应用于现有的不成对的图像到图像的翻译模型与最小的修改。定性实验和感知研究证明了图像质量的改善和我们的方法使用几个骨干模型和各种图像数据集的通用性。
2020-07-06 cs.CV
Unsupervised Image Semantic Segmentation through Superpixels and Graph Neural Networks
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
无监督图像分割是一个重要的任务，在许多现实世界的情况下，标记的数据是稀缺的。在本文中，我们提出了一种新的方法，利用最新的进展，在无监督学习中使用的组合的互信息最大化（MIM），神经超像素分割和图神经网络（GNNs）在一个端到端的方式，一种方法，尚未探索。我们利用超像素的紧凑表示，并将其与GNN相结合，以学习强大且语义有意义的图像表示。具体来说，我们证明了我们基于GNN的方法允许对图像中遥远像素之间的相互作用进行建模，并作为现有CNN的强先验，以提高准确性。我们的实验揭示了我们的方法相比，目前的最先进的方法在四个流行的数据集的定性和定量优势。
2022-10-21 cs.CV
Unsupervised Deraining: Where Contrastive Learning Meets Self-similarity
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；University of Electronic Science and Technology of China（电子科技大学）
图像去噪是一种典型的低层图像复原任务，其目的是将雨天图像分解为两个可区分的层：干净图像层和雨天图像层。现有的大多数基于学习的去训练方法都是在合成的rainy-clean对上进行监督训练的。人工降雨和真实降雨之间的域差距使得它们不能推广到不同的真实降雨场景。而且，现有的方法主要是单独利用两层的性质，很少考虑两层之间的互斥关系。在这项工作中，我们提出了一种新的非局部对比学习（NLCL）方法的无监督图像去水印。因此，我们不仅利用样本内部的内在自相似性，而且还利用两层之间的互斥性，以便更好地区分雨层和干净的图像。具体地，作为阳性的非局部自相似性图像层块被拉在一起，并且作为阴性的类似的雨层块被推开。因此，在原始空间中接近的相似的正/负样本有利于我们丰富更具鉴别力的表示。除了自相似采样策略，我们分析了如何选择合适的特征编码器在NLCL。在不同的真实降雨数据集上进行的大量实验表明，该方法在真实去噪方面具有最佳的性能。
2022-03-22 cs.CV
