Temporal Continuity Based Unsupervised Learning for Person Re-Identification
Shanghai Jiao Tong University（上海交通大学）
人物重新识别（re-id）旨在从多个摄像头拍摄的图像中匹配同一个人。大多数现有的人的re-id方法通常需要大量的身份标记的数据作为表示学习的判别准则。人工采集身份标注数据的难度导致实际场景适应性差。为了克服这个问题，我们提出了一种无监督的基于中心的聚类方法，能够逐步学习和利用相机内的时间连续性的基本re-id判别信息。我们称我们的框架为基于时间连续性的无监督学习（TCUL）。具体而言，TCUL同时进行未标记（目标）数据集的基于中心的聚类，并微调在不相关的标记（源）数据集上预训练的卷积神经网络（CNN），以增强CNN对目标数据集的区分能力。此外，它利用相机内图像的时间连续性与相机间特征图的空间相似性来生成可靠的伪标签，用于训练重新识别模型。随着训练的进行，可靠样本的数量不断自适应地增长，这反过来又增强了CNN的表示能力。在三个大规模的person re-id基准数据集上进行了大量的实验，将我们的框架与最先进的技术进行了比较，证明了TCUL比现有方法的优越性。
2020-09-01 cs.CV
Unsupervised Attention Based Instance Discriminative Learning for Person Re-Identification
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
人的重新识别的最新进展已经证明了增强的辨别力，特别是监督学习或迁移学习。然而，由于数据要求--包括数据整理的程度--变得越来越复杂和费力，因此迫切需要对大的类内变化（例如视角、照明、关节运动、分辨率等的变化）具有鲁棒性的无监督方法。我们提出了一种用于人员重新识别的无监督框架，该框架以端到端的方式进行训练，而无需任何预训练。我们提出的框架利用了一种新的注意力机制，该机制结合了组卷积，以（1）在多个尺度上增强空间注意力，（2）将可训练参数的数量减少59.6%。此外，我们的框架通过凝聚聚类和实例学习来联合优化网络，以处理硬样本。我们使用Market 1501和DukeMTMC-reID数据集进行了广泛的分析，以证明我们的方法始终优于最先进的方法（有和没有预先训练的权重）。
2020-11-03 cs.CV
Dynamic Clustering and Cluster Contrastive Learning for Unsupervised Person Re-identification
Beijing University of Posts and Telecommunications（北京邮电大学）
无监督Re-ID方法旨在从未标记数据中学习鲁棒性和区分性特征。然而，现有的方法往往忽略了Re-ID框架的模块参数与特征分布之间的关系，这可能会导致特征错位，影响模型的性能。为了解决这个问题，我们提出了一个动态聚类和聚类对比学习（DCCC）方法。具体来说，我们首先设计了一个动态的聚类参数调度器（DCPS），调整聚类的超参数，以适应类内和类间距离的变化。然后，设计了一种动态聚类对比学习（DyCL）方法，将聚类表示向量的权值与局部特征关联度相匹配。最后，构建了一种标签平滑软对比损失算法（$L_{ss}$），以保持聚类对比学习和自监督学习之间的平衡，同时降低计算量，提高计算效率。在几个广泛使用的公共数据集上的实验验证了我们提出的DCCC的有效性，它通过实现最佳性能而优于以前的最先进的方法。
2023-03-13 cs.CV
Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object Re-identification
CUHK-SenseTime Joint Laboratory（港中大-商汤联合实验室）；The Chinese University of Hong Kong（香港中文大学）；SIAT-SenseTime Joint Lab（深圳先进院-商汤联合实验室）；Shanghai AI Laboratory（上海人工智能实验室）；Xidian University（西安电子科技大学）
无监督的对象重新识别的目标是在没有任何注释的情况下学习用于对象检索的区分性表示。基于训练的方法使用生成的伪标签进行训练，目前主导着这一研究方向。然而，它们仍然遭受伪标签噪声的问题。为了应对这一挑战，我们建议使用聚类共识正确估计连续训练代之间的伪标签相似性，并使用时间传播和集成的伪标签来改进伪标签。据我们所知，这是第一次尝试利用时间集成的精神，以提高分类与动态变化的类代。所提出的伪标签精炼策略简单有效，可以无缝集成到现有的基于聚类的无监督重识别方法中。通过我们提出的方法，最先进的方法可以进一步提升，在具有挑战性的MSMT17数据集上的mAP改进高达8.8%。
2021-08-23 cs.CV
Discriminative Transformation Learning for Fuzzy Sparse Subspace Clustering
本文提出了一种新的迭代框架子空间聚类学习判别特征域。该框架由模糊稀疏子空间聚类和判别变换学习两个模块组成。在第一个模块中，包含判别信息的模糊潜在标签和捕获子空间结构的潜在表示将同时在特征域中进行评估。然后，在第二模块中，相对于特征域的线性变换算子将被连续更新，具有更高的区分度、子空间结构保持和对离群点的鲁棒性的优点。这两个模块将交替进行，理论分析和实证评价将证明其有效性和优越性。特别是，在三个基准数据库的子空间聚类的实验结果清楚地表明，所提出的框架可以实现显着的改进，比其他国家的最先进的方法在聚类精度方面。
2017-07-18 cs.CV
Uncertainty-aware Clustering for Unsupervised Domain Adaptive Object Re-identification
South China University of Technology（华南理工大学）；University of Melbourne（墨尔本大学）；JD Explore Academy（京东探索研究院）
无监督域自适应（UDA）对象重识别（Re-ID）旨在使在标记源域上训练的模型适应未标记目标域。最先进的对象Re-ID方法采用聚类算法来为未标记的目标域生成伪标签。然而，不可避免的标签噪声所造成的聚类过程显着降低了区分力的Re-ID模型。为了解决这个问题，我们提出了一个不确定性感知聚类框架（UCF）的UDA任务。首先，提出了一种新的层次聚类方案，以提高聚类质量。其次，引入了一种不确定性感知的协同实例选择方法，用于选择具有可靠标签的图像进行模型训练。结合这两种技术可以有效地减少噪声标签的影响。此外，我们引入了一个强大的基线，具有紧凑的对比损失。我们的UCF方法在对象Re-ID的多个UDA任务中始终实现了最先进的性能，并显着减少了无监督和监督Re-ID性能之间的差距。特别是，我们的无监督UCF方法在MSMT 17 $\to$ Market 1501任务中的性能优于Market 1501上的完全监督设置。UCF代码可在https://github.com/Wang-pengfei/UCF上获取。
2021-08-22 cs.CV
Fisher Discriminative Least Squares Regression for Image Classification
Jiangnan University（江南大学）；University of Surrey（萨里大学）
判别最小二乘回归（DLSR）已被证明在多类图像分类任务中取得了有前途的性能。它的核心思想是通过联合使用$ε$ -dragoning技术和Fisher准则，迫使不同类别的回归标签向相反的方向移动，从而产生具有更宽边缘的判别回归模型。$ε$ -拖拽技术忽略了一个重要的问题：其非负松弛矩阵在优化中动态更新，这意味着拖拽值也可能导致来自同一类的标签不相关。为了学习更强大的判别投影以及回归标签，我们提出了一个Fisher正则化DLSR（FDLSR）框架，通过使用Fisher准则约束松弛标签。一方面，Fisher准则改善了松弛学习过程中松弛标签的类内紧性。另一方面，期望进一步增强$ε$ -dragetry技术的类间可分性。FDLSR首次尝试将Fisher判别准则和$ε$ -投影技术整合到一个统一的模型中，因为它们在判别投影的学习中是完全互补的。在各种数据集上的大量实验表明，所提出的FDLSR方法的性能优于其他国家的最先进的分类方法。本文的Matlab代码可在https://github.com/chenzhe207/FDLSR上获得。
2020-08-04 cs.CV
Learning from Video and Text via Large-Scale Discriminative Clustering
École Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）；CIIRC（捷克信息学、机器人与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
判别聚类已经成功地应用于许多弱监督学习任务。这些应用包括视频和图像中的人物和动作识别、文本到视频对齐、对象共分割和共定位。然而，判别聚类的一个缺点是其有限的可扩展性。针对这一问题，提出了一种基于块坐标Frank-Wolfe算法的在线优化算法。我们将所提出的方法的问题，弱监督学习的行动和演员从电影连同相应的电影剧本。将学习问题扩展到66个特征长度的电影使我们能够显着提高弱监督动作识别。
2017-07-27 cs.CV
Unsupervised Domain Adaptation via Distilled Discriminative Clustering
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）
无监督领域自适应解决了在未标记的目标域中对数据进行分类的问题，给定共享公共标签空间但遵循不同分布的标记源域数据。最近的大多数方法采取显式对齐两个域之间的特征分布的方法。相应地，出于对域适应性的基本假设的动机，我们将领域自适应问题重新转换为目标数据的判别聚类，给出了密切相关的标记源数据提供的强特权信息。从技术上讲，我们使用的聚类目标的基础上的一个强大的变化的熵最小化，自适应过滤目标数据，一个软的费舍尔标准，以及通过质心分类的聚类排序。为了提取用于目标聚类的有区别的源信息，我们建议使用并行的监督学习目标在标记的源数据上联合训练网络。我们将我们的用于领域自适应的蒸馏判别聚类方法称为离散DA。我们还给出了几何直观，说明了如何组成目标的DisperterDA帮助学习类明智的纯，紧凑的特征分布。我们对五个流行的基准数据集进行了仔细的消融研究和广泛的实验，其中包括多源领域自适应。基于常用的骨干网络，DispersterDA优于现有的方法在这些基准。同样有趣的是，在我们的DisponterDA框架中，添加一个额外的损失项，显式地学习跨域对齐类级别的特征分布，这会损害自适应性能，尽管在不同的算法框架中需要进行更仔细的研究。
2023-02-23 cs.CV
Towards Discriminative Representation Learning for Unsupervised Person Re-identification
Xilinx Inc.（赛灵思公司）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
在这项工作中，我们解决的问题，无监督的领域自适应的人重新ID注释可用于源域，但不为目标。以前的方法通常遵循两阶段优化管道，其中网络首先在源上进行预训练，然后使用特征聚类创建的伪标签在目标上进行微调。这种方法存在两个主要局限性。(1)标签噪声可能会阻碍用于识别目标类别的区分性特征的学习。(2)领域差距可能会阻碍知识从源到目标的转移。我们提出了三种技术方案来缓解这些问题。首先，我们提出了一个集群明智的对比学习算法（CCL）的特征学习和集群精炼的迭代优化学习噪声容忍表示在无监督的方式。其次，我们采用了渐进的领域自适应（PDA）策略，以逐步减轻源数据和目标数据之间的领域差距。第三，我们提出了傅立叶增强（FA），通过在傅立叶空间中施加额外的约束，进一步最大限度地提高类分离的re-ID模型。我们观察到，这些建议的计划是能够促进歧视性特征表示的学习。实验表明，我们的方法在多个基准测试中始终比最先进的无监督re-ID方法取得了显着的改进，例如，在Market-to-Duke、Duke-to-Market、Market-to-MSMT和Duke-to-MSMT任务上，分别以8.1%、9.9%、11.4%和11.1%的mAP大大超过MMT。
2021-08-16 cs.AI cs.CV
Deep Discriminative Clustering Analysis
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Intel Labs China（英特尔中国研究院）
传统的聚类方法往往用低级的无差别表示进行聚类，忽略了模式之间的关系，导致在深度学习时代收效甚微。为了解决这个问题，我们开发了深度判别聚类（DDC），它通过使用深度神经网络调查模式之间的关系来建模聚类任务。在技术上，引入全局约束以自适应地估计关系，并开发局部约束以赋予网络学习高级判别表示的能力。通过迭代地训练网络并以小批量方式估计关系，DDC理论上收敛，并且训练的网络能够生成一组可以被视为直接聚类的聚类中心的判别表示。大量的实验表明，DDC优于目前的方法在8个图像，文本和音频数据集同时。
2019-05-05 cs.CV cs.LG stat.ML
Cross-label Suppression: A Discriminative and Fast Dictionary Learning with Group Regularization
Tsinghua University（清华大学）
本文通过有效地学习一个紧凑的和有区别的字典来解决图像分类问题。给定一个结构化字典，每个原子（字典矩阵中的列）与一些标签相关，我们提出了交叉标签抑制约束，以扩大不同类别的表示之间的差异。同时，我们引入群正则化来强制表示以保持原始样本的标签属性，这意味着鼓励同一类的表示是相似的。在交叉标记抑制时，我们不求助于常用的$\ell_0$ -范数或$\ell_1$ -范数进行编码，并且在不损失分类的区分能力的情况下获得计算效率。此外，两个简单的分类方案也开发，以充分利用学习字典。在人脸识别、物体分类、场景分类、纹理识别和运动动作分类等6个数据集上进行了大量的实验，结果表明，该方法在识别精度和计算效率上均优于目前提出的许多字典算法。
2017-05-08 cs.CV cs.LG stat.ML
Features in Concert: Discriminative Feature Selection meets Unsupervised Clustering
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Faculty of Automatic Control and Computer Science, University Politehnica of Bucharest（布加勒斯特理工大学自动控制与计算机科学学院）；Google Research（谷歌研究院）
特征选择是计算机视觉中的一个基本问题，对于类别学习和识别具有重要意义。随着各种视觉特征和分类器的快速发展，人们越来越需要有效的特征选择和组合方法，以构建功能强大的分类器，用于更复杂和更高级别的识别任务。我们提出了一种算法，有效地发现稀疏，紧凑的表示输入功能或分类器，从一个巨大的海洋的候选人，具有重要的最优性，低计算成本和良好的精度在实践中。与boosting不同，我们从鼓励稀疏解决方案的判别线性分类公式开始。然后，我们得到一个等价的无监督聚类问题，共同发现不同的功能合奏。它们独立地有价值，但当它们联合在一组分类器中时，它们甚至更强大。我们评估我们的方法在视频中的大规模识别的任务，并表明，它显着优于经典的选择方法，如AdaBoost和贪婪的前向-后向选择，和强大的分类器，如支持向量机，在训练速度和性能，特别是在有限的训练数据的情况下。
2014-11-27 cs.CV
Self-Supervised Discriminative Feature Learning for Deep Multi-View Clustering
School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科技大学）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（信息与通信工程学院，电子科技大学）；Department of Computer Science, University of Illinois at Chicago（计算机科学系，伊利诺伊大学芝加哥分校）；Department of Computer Science and Engineering, Lehigh University（计算机科学与工程系，莱斯大学）
SDMVC通过自监督判别特征学习提升多视图聚类性能，利用深度自编码器和统一目标分布实现特征学习与聚类一致性。
2025-11-20 cs.CV cs.LG
Deep clustering: On the link between discriminative models and K-means
Ultra Electronics-TCS（超电子-TCS）；ETS Montreal（蒙特利尔高等技术学院）；INRS（加拿大国家科学研究院）
在最近的深度聚类研究的背景下，判别模型在文献中占主导地位，并报告了最具竞争力的性能。这些模型学习深度判别神经网络分类器，其中标签是潜在的。通常，它们使用多项式逻辑回归后验和参数正则化，这在监督学习中非常常见。一般认为，区分性目标函数（例如，基于互信息或KL发散的方法）比生成方法（例如，K-means），因为它们对数据分布的假设较少，并且通常会产生更好的无监督深度学习结果。从表面上看，最近的几个判别模型似乎与K均值无关。这项研究表明，这些模型实际上是等价的K-均值在温和的条件下，常见的后验模型和参数正则化。我们证明，对于常用的逻辑回归后验，通过近似交替方向法（ADM）最大化$L_2$正则化互信息相当于软正则化K均值损失。我们的理论分析不仅将最近几种最先进的判别模型直接连接到K-means，而且还导致了一种新的软正则化深度K-means算法，该算法在几个图像聚类基准上具有竞争力的性能。
2019-12-15 cs.CV cs.LG stat.ML
Discriminative Entropy Clustering and its Relation to K-means and SVM
University of Waterloo（滑铁卢大学）
本文研究基于熵的无监督聚类，澄清其与K-means的差异并证明其与SVM的间隔最大化联系，提出带鲁棒反向交叉熵的自标注熵聚类方法，在多个深度聚类基准上取得最优性能。
2024-09-29 cs.CV cs.LG
Unsupervised Learning of Local Discriminative Representation for Medical Images
Xi’an Jiaotong University（西安交通大学）；Shanghai Tenth People’s Hospital, Tongji University（同济大学附属第十人民医院）
在许多医学图像分析任务中，例如识别病变的子类型或分割解剖结构的详细成分，需要局部判别表示。然而，通常应用的有监督表示学习方法需要大量的注释数据，而无监督判别式表示学习通过学习全局特征来区分不同的图像，这两种方法都不适合局部医学图像分析任务。为了避免这两种方法的局限性，我们在这项工作中将局部判别引入无监督的表示学习。该模型包含两个分支：一个是嵌入分支，学习嵌入函数将不同的像素分散在低维超球面上;另一个是聚类分支，学习聚类函数将相似的像素分类到同一个聚类中。这两个分支同时训练在一个互利的模式，学习的局部判别表示能够很好地衡量局部图像区域的相似性。这些表示可以被转移以增强各种下游任务。同时，它们也可以应用于聚类的解剖结构从未标记的医学图像的拓扑先验的指导下，从模拟或具有相似的拓扑特征的其他结构。通过增强各种下游任务和聚类视网膜图像和胸部X射线图像中的解剖结构，证明了所提出的方法的有效性和实用性。
2021-03-24 cs.CV
Unsupervised Spike Sorting Based on Discriminative Subspace Learning
National University of Singapore（新加坡国立大学）
锋电位排序是许多依赖于锋电位序列分析的神经科学研究的基本预处理步骤。本文提出了两种基于判别子空间学习的无监督锋电位分类算法。第一种算法同时学习判别特征子空间和执行聚类。它使用最具区分力的投影中的特征直方图来检测神经元的数量。第二种算法进行分层分裂聚类，学习一个有区别的1维子空间，在每个层次的聚类，直到实现几乎单峰分布的子空间。合成和体内数据的算法进行了测试，并对两个广泛使用的穗排序方法进行了比较。比较结果表明，我们的尖峰排序方法可以实现更高的精度在低维的特征空间，他们是非常强大的噪声。此外，他们提供了显着更好的聚类分离的学习子空间比在子空间中获得的主成分分析或小波变换。
2014-08-22 cs.CV physics.med-ph
Discriminative Neural Clustering for Speaker Diarisation
Cambridge University（剑桥大学）
在本文中，我们提出了判别神经聚类（DNC），制定了数据聚类的最大数量的集群作为一个监督序列到序列的学习问题。与传统的无监督聚类算法相比，DNC从训练数据中学习聚类模式，而不需要显式定义相似性度量。基于Transformer架构的DNC实现被证明是有效的扬声器diarisation任务，使用具有挑战性的AMI数据集。由于AMI仅包含147个完整的会议作为单独的输入序列，因此数据稀缺是训练DNC的Transformer模型的重要问题。因此，本文提出了三种数据增强方案：子序列随机化，输入向量随机化，和Diaconis增强，它通过旋转整个输入序列的L2归一化扬声器嵌入生成新的数据样本。AMI上的实验结果表明，相对于谱聚类，DNC实现了29.4%的说话人错误率（SER）的降低。
2020-11-23 cs.CL cs.CV cs.LG
Deep Discriminative Latent Space for Clustering
Huawei Tel Aviv Research Center（华为特拉维夫研究中心）
聚类是数据分析和机器学习中最基本的任务之一。它是许多数据驱动应用程序的核心，这些应用程序旨在将数据分成具有相似模式的组。此外，聚类是一个复杂的过程，受数据表示方法的选择的影响很大。最近的研究表明，通过有效地学习这些表示，聚类结果令人鼓舞。在大多数这些工作中，深度自动编码器最初被预训练以最小化重建损失，然后与聚类质心联合优化以提高聚类目标。这些工作主要集中在程序的聚类阶段，而没有利用初始阶段的潜在好处。在本文中，我们提出了优化自动编码器相对于一个判别成对的损失函数在自动编码器的预训练阶段。我们证明了所提出的方法所获得的高精度及其快速收敛性（例如，在预训练阶段，在不到50个历元的时间内，MNIST的精度达到92%以上），即使是小网络。
2018-05-28 cs.AI cs.CV cs.LG
Deep Comprehensive Correlation Mining for Image Clustering
SenseTime Research（商汤科技研究院）；Peking University（北京大学）；Shandong University（山东大学）
最近开发的深度无监督方法允许我们联合学习表示和聚类未标记的数据。这些深度聚类方法主要关注样本之间的相关性，例如，选择高精度对以逐渐调整特征表示，这忽略了其他有用的相关性。本文提出了一种新的聚类框架--深度综合关联挖掘（DCCM），从三个方面探索和充分利用未标记数据背后的各种关联：1）提出伪标签监督来调查类别信息和学习区分特征，而不是只使用成对信息。2)充分挖掘了特征对输入空间图像变换的鲁棒性，有利于网络学习，显著提高了网络性能。3)针对聚类问题，提出了特征间的三元组互信息，将最近发现的实例级深度互信息提升到三元组层次，进一步帮助学习更具鉴别力的特征。在几个具有挑战性的数据集上进行的大量实验表明，我们的方法具有良好的性能，例如，在CIFAR-10上达到$62.3\%$聚类准确度，其比现有技术的结果高$10.1\%$。
2019-08-12 cs.CV
Learning Embeddings for Image Clustering: An Empirical Study of Triplet Loss Approaches
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Mannheim（曼海姆大学）；Offenburg University（奥芬堡大学）
在这项工作中，我们评估两个不同的图像聚类目标，k-均值聚类和相关聚类，在三重损失引起的特征空间嵌入的背景下。具体来说，我们训练一个卷积神经网络，通过优化两个流行版本的三重损失来学习判别特征，以便在噪声标签的假设下研究它们的聚类特性。此外，我们提出了一个新的，简单的三重损失制定，它显示出理想的性能方面的正式聚类目标，并优于现有的方法。我们评估所有三个三重损失公式的K均值和相关聚类CIFAR-10图像分类数据集。
2020-07-06 cs.CV
Exploiting Discriminative Codebook Prior for Autoregressive Image Generation
Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（计算机科学与工程系，香港科技大学）；Tongyi Lab, Alibaba Group（阿里云实验室）；Department of Biomedical Engineering, Duke University（生物医学工程系，杜克大学）
本文提出判别性码本先验提取器（DCPE），通过基于实例的距离和凝聚合并技术替代k-means聚类，有效挖掘码本中的token相似性，加速自回归模型训练42%并提升生成性能。
2025-08-14 cs.CV
Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering
South China University of Technology（华南理工大学）；Wushan Road, Tianhe District, Guangzhou, Guangdong, China（中国广东省广州市天河区五山路381号（注：此地址为机构具体位置，按要求仅提取到大学级别，此处原机构名称应为华南理工大学，该地址为华南理工大学地址，故仅保留华南理工大学））
无监督领域自适应（UDA）是指当源域上的标记数据与目标域上的标记数据发生分布偏移时，对目标域上的未标记数据进行预测。主流UDA方法学习两个域之间的对齐特征，使得在源特征上训练的分类器可以容易地应用于目标特征。然而，这样的转移策略具有破坏目标数据的内在区分的潜在风险。为了减轻这种风险，我们的动机是由结构域相似性的假设，并建议直接揭示内在的目标歧视通过歧视性聚类的目标数据。我们使用结构源正则化来约束聚类解决方案，该正则化取决于我们假设的结构域相似性。在技术上，我们使用基于深度网络的判别聚类的灵活框架，该框架最小化网络的预测标签分布与引入的辅助标签分布之间的KL分歧;将辅助分布替换为由源数据的地面真实标签形成的辅助分布，通过联合网络训练的简单策略实现结构源正则化。我们将我们提出的方法称为结构正则化深度聚类（SRDC），其中我们还通过中间网络特征的聚类来增强目标区分，并通过对分歧较小的源示例的软选择来增强结构正则化。仔细的消融研究显示了我们提出的SRDC的有效性。值得注意的是，没有显式的域对齐，SRDC在三个UDA基准测试中优于所有现有的方法。
2020-03-19 cs.CV
Deep Attention-guided Graph Clustering with Dual Self-supervision
City University of Hong Kong（香港城市大学）；Caritas Institute of Higher Education（明爱专上学院）；Southeast University（东南大学）
现有的深度嵌入聚类工作仅考虑最深层来学习特征嵌入，因此无法很好地利用来自聚类分配的可用区分信息，导致性能限制。为此，我们提出了一种新的方法，即具有双重自监督的深度注意力引导图聚类（DAGC）。具体地说，DAGC首先利用异质性融合模块来自适应地整合每层中的自动编码器和图卷积网络的特征，然后使用尺度融合模块来动态地连接不同层中的多尺度特征。这样的模块能够通过基于注意力的机制来学习区分性特征嵌入。此外，我们设计了一个分布式融合模块，利用聚类分配直接获得聚类结果。为了更好地探索从集群分配的判别信息，我们开发了一个双重的自我监督解决方案，包括一个软自我监督策略与三重Kullback-Leibler发散损失和一个硬自我监督策略与伪监督损失。大量的实验验证了我们的方法在六个基准数据集上的性能始终优于最先进的方法。特别是，我们的方法提高了ARI超过18.14%的最佳基线。
2022-12-26 cs.AI cs.CV
Unsupervised Discovery of Mid-Level Discriminative Patches
Carnegie Mellon University（卡内基梅隆大学）
本文的目标是发现一组有区别的补丁，可以作为一个完全无监督的中级视觉表示。所需的补丁需要满足两个要求：1）具有代表性，它们需要在视觉世界中出现足够频繁; 2）具有区分性，它们需要与视觉世界的其他部分足够不同。补丁可以对应于部件、对象、“视觉短语”等，但不限于它们中的任何一个。我们把这作为一个无监督的判别聚类问题的图像补丁的一个巨大的数据集。我们使用一个迭代过程，在聚类和训练判别分类器之间交替进行，同时在每一步都应用仔细的交叉验证来防止过拟合。本文通过实验证明了判别补丁作为无监督的中级视觉表示的有效性，这表明它可以用于代替视觉词的许多任务。此外，判别补丁也可以用于监督机制，如场景分类，其中它们在MIT Indoor-67数据集上展示了最先进的性能。
2012-08-18 cs.AI cs.CV cs.LG
Deep Spectral Clustering using Dual Autoencoder Network
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
聚类方法最近在学习和视觉领域受到越来越多的关注。深度聚类将嵌入和聚类结合在一起，以获得最佳嵌入子空间进行聚类，与传统的聚类方法相比，它可以更有效。在本文中，我们提出了一个联合学习框架的判别嵌入和谱聚类。我们首先设计了一个双自动编码器网络，它强制执行潜在表示及其噪声版本的重建约束，将输入嵌入到潜在空间中进行聚类。因此，学习的潜在表示可以对噪声更鲁棒。然后，利用互信息估计来提供来自输入的更多辨别性信息。此外，一个深谱聚类方法被应用到嵌入到特征空间的潜在表示，并随后聚类它们，它可以充分利用输入之间的关系，以达到最佳的聚类结果。基准数据集上的实验结果表明，我们的方法可以显着优于国家的最先进的聚类方法。
2019-04-30 cs.CV cs.LG stat.ML
Improved Dual Correlation Reduction Network
National University of Defense Technology（国防科技大学）
深度图聚类旨在揭示底层图结构并将节点划分为不同的聚类而无需人工注释，是一项基本但具有挑战性的任务。然而，我们观察到，现有的方法遭受表示坍塌的问题，很容易倾向于编码不同类别的样本到相同的潜在嵌入。因此，节点的区分能力是有限的，导致次优的聚类性能。为了解决这个问题，我们提出了一种新的深度图聚类算法，称为改进的双重相关减少网络（IDCRN），通过提高样本的区分能力。具体地说，通过近似的跨视图特征相关矩阵的单位矩阵，我们减少了不同维度的功能之间的冗余，从而显式地提高潜在空间的区分能力。同时，交叉视图样本相关矩阵被强制逼近设计的聚类细化邻接矩阵，以指导学习的潜在表示即使在跨视图中也能恢复亲和矩阵，从而隐式地增强特征的区分能力。此外，通过引入传播正则化项，避免了图卷积网络（GCN）中由于过度平滑而导致的表示崩溃，使IDCRN能够以浅层网络结构捕获长距离信息.六个基准测试的广泛实验结果证明了IDCRN与现有最先进的深度图聚类算法相比的有效性和效率。
2022-02-25 cs.AI cs.CV cs.LG
Unsupervised Transfer Learning with Self-Supervised Remedy
Queen Mary University of London（伦敦玛丽女王大学）
将深度网络推广到没有手动标签的新领域对深度学习来说是一个挑战。这个问题本质上是困难的，由于不可预测的变化性质的图像数据分布在新的领域。如果不对所学领域和新领域做出强有力的假设，预先学习的知识就不能很好地转移。基于不同的假设，已经研究了不同的方法来解决潜在的问题，例如，从领域自适应到zero-shot和少样本学习。在这项工作中，我们解决这个问题的转移聚类，旨在学习一个新的域中的未标记的目标数据的歧视性的潜在空间的知识转移，从标记的相关领域。具体来说，我们希望利用相对（成对）图像信息，这是免费提供的和固有的目标域，模型的目标域图像分布特性，以及从相关的标记域的先验知识，使更多的歧视性聚类未标记的目标数据。我们的方法减轻了不可转让的先验知识的自我监督，受益于转让和自监督学习。在四个图像聚类任务的数据集上进行的大量实验表明，我们的模型优于最先进的传输聚类技术。我们进一步证明了其竞争力的可移植性上四个零样本学习基准。
2020-06-08 cs.CV
Deep Decision Trees for Discriminative Dictionary Learning with Adversarial Multi-Agent Trajectories
Queensland University of Technology (QUT)（昆士兰科技大学）
随着现代体育运动中时空跟踪数据可用性的爆炸式增长，在对抗性群体环境中更好地分析、学习和预测重要事件有着巨大的机会。在本文中，我们提出了一个深度决策树架构，用于从对抗性多智能体轨迹中进行判别字典学习。我们首先建立了一个层次结构的树结构，通过添加每一层，并执行特征权重为基础的聚类在向前通过。然后，我们使用反向传播来微调玩家角色权重。层次结构保证了群表示的可解释性和完整性。由此产生的架构是一个决策树，与叶节点捕获的多代理组交互的字典。由于有大量的数据可用，我们专注于足球跟踪数据，尽管我们的方法可以用于任何对抗性多智能体领域。我们提出的方法模拟足球比赛以及评估和量化团队策略的应用。
2018-05-14 cs.CV
Pseudo-Labeling Curriculum for Unsupervised Domain Adaptation
为了学习目标区分表示，使用伪标签是一种简单而有效的无监督领域自适应方法。然而，虚假伪标签的存在，这可能会对学习目标表示产生不利影响，仍然是一个重大挑战。为了克服这个问题，我们提出了一个伪标签课程的基础上，基于密度的聚类算法。由于具有高密度值的样本更有可能具有正确的伪标签，因此我们在早期阶段利用这些子集来训练我们的目标网络，并在后期阶段利用具有低密度值的数据子集。我们可以逐步提高网络生成伪标签的能力，因此这些带有伪标签的目标样本对于训练我们的模型是有效的。此外，我们提出了一个聚类约束，以提高学习的目标特征的区分能力。我们的方法在三个基准测试中实现了最先进的性能：Office-31，imageCLEF-DA和MPEG-Home。
2019-08-01 cs.CV
GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning
KU Leuven（鲁汶大学）
自监督学习是利用大量未标记数据的一种流行而强大的方法，文献中已经提出了各种各样的训练目标。在这项研究中，我们进行了贝叶斯分析的国家的最先进的自监督学习目标，并提出了一个统一的制定基于似然学习。我们的分析提出了一种将自监督学习与生成模型相结合的简单方法，允许这两种看似不同的方法进行联合训练。我们将这种组合框架称为GEDI，它代表GEnerative和DIscriminative培训。此外，我们展示了一个实例的GEDI框架集成基于能量的模型与基于集群的自监督学习模型。通过对合成数据和真实数据（包括SVHN、CIFAR10和CIFAR100）的实验，我们表明GEDI在聚类性能方面远远优于现有的自监督学习策略。我们还证明了GEDI可以集成到一个神经符号框架中，以解决小数据制度中的任务，在那里它可以使用逻辑约束，以进一步提高聚类和分类性能。
2023-02-07 cs.AI cs.CV cs.LG
Image Clustering Algorithm Based on Self-Supervised Pretrained Models and Latent Feature Distribution Optimization
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
针对现有深度聚类算法精度偏低的问题，提出结合自监督预训练模型微调、k近邻距离压缩与聚类质心距离优化的图像聚类算法，在多数据集上取得SOTA结果，小类别数据集上精度接近监督方法。
2024-08-10 cs.CV cs.LG
Learning a Discriminative Feature Network for Semantic Segmentation
Key Laboratory of Ministry of Education for Image Processing and Intelligent ControlSchool of Automation, Huazhong University of Science and Technology（华中科技大学自动化学院图像处理与智能控制教育部重点实验室）；Key Laboratory of Machine Perception, Peking University（北京大学机器感知重点实验室）；Megvii Inc. (Face++)（旷视科技（Face++））
现有的大多数语义分割方法仍然受到两个方面的挑战：类内不一致和类间模糊。为了解决这两个问题，我们提出了一个判别特征网络（DFN），它包含两个子网络：平滑网络和边界网络。具体来说，为了处理类内不一致问题，我们专门设计了一个带有通道注意块和全局平均池的平滑网络来选择更具鉴别力的特征。此外，我们提出了一个边界网络，使边界的双边特征可区分的深层语义边界监督。基于我们提出的DFN，我们在PASCAL VOC 2012上实现了86.2%的平均IOU，在Cityscapes数据集上实现了80.3%的平均IOU。
2018-04-25 cs.CV
Self-Supervised Convolutional Subspace Clustering Network
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Berkeley（加州大学伯克利分校）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Peking University（北京大学）
基于数据自表达的子空间聚类方法已经成为非常流行的学习数据，位于一个低维线性子空间的联合。然而，子空间聚类的适用性受到限制，因为原始形式的实际视觉数据不一定位于这样的线性子空间中。另一方面，虽然卷积神经网络（ConvNet）已被证明是一个强大的工具，用于从视觉数据中提取判别特征，训练这样的ConvNet通常需要大量的标记数据，这是不可用的子空间聚类应用。为了同时实现特征学习和子空间聚类，我们提出了一个端到端的可训练框架，称为自监督卷积子空间聚类网络（S $^2$ ConvSCN），它将ConvNet模块（用于特征学习），自表达模块（用于子空间聚类）和谱聚类模块（用于自监督）组合成一个联合优化框架。特别是，我们引入了一个双重自我监督，利用谱聚类的输出来监督特征学习模块（通过分类损失）和自我表达模块（通过谱聚类损失）的训练。我们在四个基准数据集上的实验表明了双重自我监督的有效性，并展示了我们所提出的方法的优越性能。
2019-05-01 cs.CV
Unsupervised Spatio-temporal Latent Feature Clustering for Multiple-object Tracking and Segmentation
Marquette University（马凯特大学）
视频序列中多个运动对象的时间标识符的一致性是一个具有挑战性的问题。这个问题的解决方案将直接影响多个对象跟踪和分割问题。我们提出了一种策略，将时间识别任务作为一个时空聚类问题。我们提出了一种无监督学习方法，使用卷积和完全连接的自动编码器，我们称之为深度异构自动编码器，从分割掩码和检测边界框中学习判别特征。我们从预训练的实例分割网络中提取掩码及其相应的边界框，并使用任务相关的不确定性权重联合训练自编码器以生成共同的潜在特征。然后，我们构建约束图，鼓励满足一组已知的时间条件的对象之间的关联。然后将特征向量和约束图提供给kmeans聚类算法以分离潜在空间中的相应数据点。我们使用具有挑战性的合成和真实世界的多对象视频数据集来评估我们的方法的性能。我们的研究结果表明，我们的技术优于几个国家的最先进的方法。
2021-11-05 cs.CV
SCE: A manifold regularized set-covering method for data partitioning
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
聚类分析在数据分析中起着非常重要的作用。近年来，聚类集成作为一种聚类分析工具，因其稳健性、稳定性和准确性而受到广泛关注。人们已经做了很多努力，将不同的初始聚类结果组合成一个具有更好性能的聚类解决方案。然而，他们忽略了在执行聚类集成的原始数据的结构信息。在本文中，我们提出了一个结构集群包围（SCE）算法的数据划分制定为一个集覆盖问题。特别地，我们构造了一个拉普拉斯正则化的目标函数来捕获聚类之间的结构信息。此外，考虑到在初始聚类结果的歧视性信息的重要性，我们添加了歧视性的约束到我们提出的目标函数。最后，我们验证了SCE算法在合成和真实数据集上的性能。实验结果表明了SCE算法的有效性。
2019-04-17 cs.CV cs.MM
Federated Momentum Contrastive Clustering
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们提出了联邦动量对比聚类（FedMCC），一个学习框架，不仅可以在分布式本地数据中提取判别表示，而且还可以进行数据聚类。在FedMCC中，转换后的数据对同时通过在线和目标网络，从而产生四种表示，通过这些表示来确定损失。FedMCC生成的高质量表示可以优于几种现有的线性评估和半监督学习任务的自监督学习方法。FedMCC可以很容易地适应普通的集中式集群，通过我们所谓的动量对比集群（MCC）。我们证明了MCC在STL-10和ImageNet-10等特定数据集中实现了最先进的聚类精度结果。我们还提出了一种方法来减少我们的聚类方案的内存占用。
2022-06-10 cs.CV cs.LG stat.ML
Context-Aware Hypergraph Construction for Robust Spectral Clustering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The University of Adelaide（阿德莱德大学）；State University of New York, Binghamton（纽约州立大学宾汉姆顿分校）
谱聚类是无监督数据分析的有力工具。在本文中，我们提出了一个上下文感知的超图相似性度量（CAHSM），这导致了强大的谱聚类的情况下，噪声数据。我们构造了三种超图-成对超图、k-最近邻超图和高阶过聚类超图。成对超图捕获数据点的成对相似性; kNN超图捕获每个点的邻域;聚类超图编码数据集中的高阶上下文。通过结合这三个超图的亲和度信息，CAHSM算法能够探索数据集的内在拓扑信息。因此，使用CAHSM的数据聚类往往更健壮。考虑到顶点的类内紧性和类间可分性，我们进一步设计了一个判别超图划分准则（DHPC）。利用CAHSM和DHPC，一个强大的谱聚类算法。理论分析和实验验证了该算法的有效性和鲁棒性。
2014-01-04 cs.CV cs.LG
Unsupervised Point Cloud Pre-Training via Contrasting and Clustering
本文提出ConClu框架，结合对比和聚类方法，提升点云预训练效果，在多个下游任务中优于现有方法。
2026-03-15 cs.AI cs.CV math.OC
Discriminative Training: Learning to Describe Video with Sentences, from Video Described with Sentences
Purdue University（普渡大学）
我们提出了一种从复杂和现实的视频片段中学习词义的方法，通过区分性地训练（DT）积极的语义标签对消极的，然后使用训练好的词模型来生成新视频的语义描述。这项新工作的灵感来自于最近的工作，该工作采用最大似然（ML）框架来解决仅使用正序标签的相同问题。与基于ML的方法一样，新方法能够自动确定句子中的哪些单词对应于视频中的哪些概念（即，以弱监督的方式将单词接地到含义）。虽然DT和ML在有足够的训练数据的情况下都能产生相当的结果，但DT在较小的训练集上明显优于ML，因为它可以利用负训练标签来更好地约束学习问题。
2013-06-21 cs.CL cs.CV
Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
为了从最能区分类别的高维数据中学习内在的低维结构，我们提出了最大编码率降低（$\text{MCR}^2$）的原则，这是一种信息理论措施，它最大化整个数据集与每个单独类别之和之间的编码率差异。阐明了它与交叉熵、信息瓶颈、信息增益、压缩学习和对比学习等现有框架的关系，为学习多样性和区分性特征提供了理论保证。编码速率可以从退化子空间类分布的有限样本中准确计算，并且可以以统一的方式在监督、自监督和无监督设置中学习内在表示。从经验上讲，单独使用这一原则学习的表示比使用交叉熵的表示对分类中的标记损坏更鲁棒，并且可以导致从自学的不变特征聚类混合数据的最新结果。
2020-06-15 cs.CV cs.IT cs.LG
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology（华中科技大学）
在领域自适应中，最大平均差异（MMD）被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD，其被计算为边缘分布差异和条件分布差异的（加权）和;然而，更自然的度量可以是它们的联合概率分布差异。此外，大多数度量仅旨在提高域之间的可转移性，而忽略了不同类别之间的可区分性，这可能导致分类性能不足。为了解决这些问题，本文提出了判别式联合概率MMD（DJP-MMD），以取代领域自适应中常用的联合MMD。它具有两个理想的性质：1）它为计算分布差异提供了一个新的理论基础，它更简单，更精确; 2）它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明，该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
TDEC: Deep Embedded Image Clustering with Transformer and Distribution Information
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
本文提出TDEC，通过结合Transformer和分布信息，改进图像聚类中的特征表示和维度偏好，提升聚类性能。
2026-03-23 cs.CV cs.LG
PQk-means: Billion-scale Clustering for Product-quantized Codes
National Institute of Informatics（国立信息学研究所）；DWANGO Co., Ltd.（DWANGO株式会社）；The University of Tokyo（东京大学）
数据聚类是数据分析中的一个基本操作。对于处理大规模数据，标准的k-means聚类方法不仅速度慢，而且内存效率低。我们提出了一种有效的聚类方法，十亿规模的特征向量，称为PQk-均值。通过首先将输入向量压缩成短的乘积量化（PQ）代码，PQk-均值实现了快速和内存高效的聚类，即使是高维向量。与k均值类似，PQk均值重复分配和更新步骤，这两个步骤都可以在PQ码域中执行。实验结果表明，即使是短长度（32位）的PQ码可以产生竞争力的结果相比，k-means。这一结果对于内存受限环境下的聚类具有实际意义。使用所提出的PQk-means方案，在14小时内实现了10亿个K = 10^5的128 D SIFT特征的聚类，在单台计算机上仅使用32 GB的内存消耗。
2017-09-12 cs.CV cs.MM
Implementation of Fuzzy C-Means and Possibilistic C-Means Clustering Algorithms, Cluster Tendency Analysis and Cluster Validation
International University of Business Agriculture and Technology（国际商业农业与技术大学）；Mississippi State University（密西西比州立大学）；Rajshahi College（拉杰沙希学院）
在本文中，几个二维聚类方案。在这些情况下，软分区聚类算法（模糊C均值（FCM）和可能性C均值（PCM））的应用。然后，使用VAT可视化地调查聚类趋势，然后按照检查聚类有效性的顺序，使用三种类型的指标（例如，PC、DI和DBI）。在观察聚类算法之后，很明显，它们中的每一个都有其局限性;然而，PCM比FCM对噪声更鲁棒，因为在FCM的情况下，噪声点必须被视为任何聚类的成员。
2019-05-12 cs.CV cs.LG
Hierarchical Semantic Alignment for Image Clustering
AAAI Press Staff（AAAI出版社员工）
CAE通过层次化语义对齐方法提升图像聚类性能，无训练即可实现4.2%的准确率提升。
2025-11-30 cs.CV cs.LG
Triplet Probabilistic Embedding for Face Verification and Clustering
University of Maryland（马里兰大学）
尽管在过去的二十五年中取得了重大进展，无约束的人脸验证仍然是一个具有挑战性的问题。本文提出了一种方法，将基于深度CNN的方法与使用三重概率约束学习的低维判别嵌入相结合，以解决无约束人脸验证问题。除了产生性能改进之外，这种嵌入在内存和后处理操作（如特定于主题的聚类）方面提供了显着的优势。在具有挑战性的IJB-A数据集上的实验表明，该算法在验证和识别指标方面优于现有方法，同时需要更少的训练数据和训练时间。所提出的方法在CFP数据集上的优异性能表明，我们的深度CNN学习的表示对极端姿势变化具有鲁棒性。此外，我们通过在IJB-A和LFW数据集上进行简单的聚类实验，证明了深度特征对年龄，姿势，模糊和杂乱等挑战的鲁棒性。
2017-01-18 cs.CV cs.LG stat.ML
Clustering with Similarity Preserving
University of Electronic Science and Technology of China（电子科技大学）；University of Pennsylvania（宾夕法尼亚大学）；Institute for Infocomm Research, A*Star（新加坡科技研究局资讯通信研究院）
基于图的聚类在许多任务中表现出良好的性能。基于图的方法的一个关键步骤是相似图的构造。一般来说，核空间中的学习图由于引入了非线性，可以提高聚类精度。然而，大多数现有的基于核的图学习机制不是相似性保持的，因此导致次优性能。为了克服这个缺点，我们提出了一个更具鉴别力的图学习方法，它可以保持样本之间的成对相似性，在自适应的方式为第一次。具体来说，我们要求学习的图接近核矩阵，这是原始数据相似性的度量。此外，该结构是自适应调整，使图的连接组件的数量是完全等于集群的数量。最后，我们的方法结合聚类和图学习，可以直接从图本身获得聚类指标，而无需执行进一步的聚类步骤。在几个数据集上的单个和多个内核学习场景中检查了这种方法的有效性。
2019-05-21 cs.AI cs.CV cs.LG
Clustering by Low-Rank Doubly Stochastic Matrix Decomposition
Aalto University（阿尔托大学）
提出一种超越矩阵分解的低秩学习方法，通过两步二分随机游走逼近聚类分配概率，利用KL散度最小化实现判别模型的最大似然估计，并采用松弛的MM算法优化，显著提升大规模流形数据的聚类纯度。
2012-06-18 cs.CV cs.LG cs.NA
The Mean Partition Theorem of Consensus Clustering
Technische Universität Berlin（柏林工业大学）
为了设计有效的解决方案来近似共识聚类中的平均划分，Dimitriadou等人。[3]提出了基于最小二乘距离的共识函数的最优性必要条件。我们表明，他们的结果是关键的共识聚类超越优化派生有趣的属性。为此，我们提出的最优性的必要条件，在一个稍微强的形式中的平均分割定理，并将其推广到期望分割定理。为了支持其多功能性，我们展示了三个应用平均分割定理的例子：（i）平均分割和最佳多重比对的等价性，（ii）配置文件和图案的构建，以及（iii）共识聚类和聚类稳定性之间的关系。
2016-04-26 cs.CV cs.LG stat.ML
