QClusformer: A Quantum Transformer-based Framework for Unsupervised Visual Clustering
University of Arkansas(阿肯色大学);Wells Fargo(富国银行);Mississippi State University(密西西比州立大学)
本文提出QClusformer,一种基于量子Transformer的无监督视觉聚类框架,通过量子化设计自注意力和Transformer块,在MS-Celeb-1M和DeepFashion等基准上超越经典方法。
2024-08-07 cs.CV
Unsupervised Decision Forest for Data Clustering and Density Estimation
提出了一种改进无监督决策森林聚类和密度估计性能参数的算法。具体地说,通过结合随机森林和高斯混合模型,引入一个对偶分配参数作为密度估计。随机森林方法已被专门应用于构建一个强大的亲和图,提供在聚类中使用的数据对象的底层结构的信息。该算法不同于常用的谱聚类方法,其中计算的距离度量用于找到数据点之间的相似性。使用五个数据集进行实验。与其他六个国家的最先进的方法的比较表明,我们的模型是优于现有的方法。所提出的模型的效率是在捕捉一组给定的数据点的底层结构。所提出的方法也是鲁棒的,并且可以区分不同聚类之间的数据点的复杂特征。
2015-07-15 cs.CV
Joint Color-Spatial-Directional clustering and Region Merging (JCSD-RM) for unsupervised RGB-D image segmentation
Laboratoire Hubert Curien, Université Jean Monnet(让·莫奈大学于贝尔·居里实验室)
深度成像传感器的最新进展提供了对与颜色同步的深度(称为RGB-D图像)的容易访问。本文提出了一种无监督的室内RGB-D图像分割和分析方法。我们考虑一个统计图像生成模型的基础上的颜色和几何的场景。我们的方法包括一个联合颜色空间方向聚类方法,然后统计平面区域合并方法。我们在纽约大学深度数据库上评估了我们的方法,并将其与现有的无监督RGB-D分割方法进行了比较。结果表明,该方法与现有方法相比,计算时间更短。此外,它打开了有趣的视角,以无监督的方式融合颜色和几何形状。
2015-09-06 cs.CV
Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering
Wuhan University(武汉大学);Peking University(北京大学)
在过去的几年里,电子漫画(电子日本式漫画)有了戏剧性的增长。面对漫画研究的需求和大量未标注的漫画数据,我们提出了一个新的课题,称为无监督漫画人物再识别。然而,漫画的艺术表现力和文体局限性给重新认同问题带来了诸多挑战。受一些与内容相关的特征可能有助于聚类的思想的启发,我们提出了一种面体时空关联聚类方法(FSAC)。在面体组合模块中,利用图像的完整性,构建面体图,解决艺术创作中的夸张、变形等问题。在时空关系校正模块中,我们分析了字符的外观特征,并设计了一个时空相关的三元组损失来微调聚类。在一个109卷的漫画书数据集上进行的大量实验验证了该方法在无监督漫画角色重识别中的优越性。
2022-04-10 cs.CV
Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object Re-identification
CUHK-SenseTime Joint Laboratory(港中大-商汤联合实验室);The Chinese University of Hong Kong(香港中文大学);SIAT-SenseTime Joint Lab(深圳先进院-商汤联合实验室);Shanghai AI Laboratory(上海人工智能实验室);Xidian University(西安电子科技大学)
无监督的对象重新识别的目标是在没有任何注释的情况下学习用于对象检索的区分性表示。基于训练的方法使用生成的伪标签进行训练,目前主导着这一研究方向。然而,它们仍然遭受伪标签噪声的问题。为了应对这一挑战,我们建议使用聚类共识正确估计连续训练代之间的伪标签相似性,并使用时间传播和集成的伪标签来改进伪标签。据我们所知,这是第一次尝试利用时间集成的精神,以提高分类与动态变化的类代。所提出的伪标签精炼策略简单有效,可以无缝集成到现有的基于聚类的无监督重识别方法中。通过我们提出的方法,最先进的方法可以进一步提升,在具有挑战性的MSMT17数据集上的mAP改进高达8.8%。
2021-08-23 cs.CV
Unsupervised Video Person Re-identification via Noise and Hard frame Aware Clustering
Wuhan University of Science and Technology(武汉科技大学);Research Institute for an Inclusive Society through Engineering (RIISE), The University of Tokyo(东京大学包容性社会工程研究所(RIISE));The University of Tokyo(东京大学)
无监督的基于视频的人物再识别(re-ID)方法从视频轨迹中提取比基于图像的更丰富的特征。最先进的方法利用聚类来获得伪标签并迭代地训练模型。然而,他们低估了两种类型的帧的影响:1)噪声帧造成的检测错误或严重的闭塞在轨迹中存在,这可能是分配不可靠的标签在聚类过程中; 2)轨迹也包含硬帧造成的姿势变化或部分闭塞,这是难以区分,但信息。提出了一种噪声和硬帧感知的聚类方法。NHAC由图裁剪模块和节点重采样模块组成。图修剪模块通过去除噪声帧节点来获得稳定的图,以提高聚类精度。节点重采样模块增强了硬帧节点的训练,以学习丰富的轨迹信息。在两个基于视频的数据集上进行的实验证明了所提出的NHAC在无监督re-ID设置下的有效性。
2021-06-10 cs.CV
Multi-Modal Deep Clustering: Unsupervised Partitioning of Images
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
对未标记的原始图像进行聚类是一项艰巨的任务,最近深度学习方法已经取得了一些成功。在这里,我们提出了一个无监督聚类框架,它以端到端的方式学习深度神经网络,提供图像的直接聚类分配,而无需额外的处理。多模态深度聚类(MMDC)训练深度网络,将其图像嵌入与从高斯混合模型分布中采样的目标点对齐。然后通过图像嵌入的混合分量关联来确定聚类分配。同时,训练相同的深度网络来解决预测图像旋转的额外自监督任务。这推动网络学习更有意义的图像表示,以促进更好的聚类。实验结果表明,MMDC达到或超过国家的最先进的性能在六个具有挑战性的基准。在自然图像数据集上,我们改进了以前的结果,具有高达20%的绝对精度点的显著余量,在CIFAR-10上的精度为82%,在CIFAR-100上为45%,在STL-10上为69%。
2020-12-15 cs.CV
Unsupervised Person Re-identification via Simultaneous Clustering and Consistency Learning
无监督的人再识别(re-ID)已成为一个重要的课题,由于其潜在的解决监督re-ID模型的可扩展性问题。然而,现有的方法简单地利用来自聚类的伪标签进行监督,因此尚未充分探索数据本身中的语义信息,这限制了学习模型的表示能力。为了解决这个问题,我们设计了一个无监督的re-ID的借口任务,通过学习静态图像的视觉一致性和训练过程中的时间一致性,使聚类网络可以自动将图像分成语义聚类。具体而言,借口任务通过最大化同一图像的两个编码视图之间的一致性,通过潜在空间中的一致性损失来学习语义上有意义的表示。同时,我们通过将两个编码视图分组到同一个簇中来优化模型,从而增强视图之间的视觉一致性。在Market-1501,DukeMTMC-reID和MSMT 17数据集上的实验表明,我们提出的方法比最先进的方法有很大的优势。
2021-04-01 cs.CV
Dual Clustering Co-teaching with Consistent Sample Mining for Unsupervised Person Re-Identification
Xi’an Jiaotong University(西安交通大学);Chang’an University(长安大学);Peking University(北京大学)
在无监督人Re-ID中,利用两个网络促进训练的同伴教学策略已被证明是处理伪标签噪声的有效方法。然而,用一组有噪声的伪标签训练两个网络降低了两个网络的互补性,并导致标签噪声积累。为了解决这个问题,本文提出了一种新的双聚类协同教学(DCCT)方法。DCCT主要利用两个网络提取的特征,通过不同参数的聚类分别生成两组伪标签。每个网络都使用其对等网络生成的伪标签进行训练,可以增加两个网络的互补性,减少噪音的影响。此外,我们提出了双聚类与动态参数(DCDP),使网络的自适应性和鲁棒性动态变化的聚类参数。此外,一致性样本挖掘(CSM)被提出来寻找在训练过程中伪标签不变的样本,以去除潜在的噪声样本。大量的实验表明,该方法的有效性,它优于国家的最先进的无监督的人的Re-ID方法的相当大的利润,并超过大多数方法利用相机信息。
2022-10-07 cs.CV
A Transfer Learning based Feature-Weak-Relevant Method for Image Clustering
Dalian Maritime University(大连海事大学)
图像聚类是指将一组图像按照同一类中的图像比其他类中的图像更相似的方式分组到不相交的类中,这是一个无监督或半监督学习的过程。它是机器学习和计算机视觉中一个重要而具有挑战性的任务。现有的图像聚类方法的性能与用于聚类的特征有着密切的关系,即使基于无监督编码的方法在性能上有了很大的提高。为了减少聚类特征的影响,我们提出了一种特征弱相关的图像聚类方法。该方法将无监督聚类过程转化为无监督学习和迁移学习的交替迭代过程。聚类过程首先从基于手工特征的图像聚类开始,为每幅图像估计初始标签,然后使用建议的采样策略选择具有可靠标签的图像,以馈送传递学习模型来学习可用于下一轮无监督学习的代表性特征。以这种方式,迭代地优化图像聚类。此外,手工特征用于启动聚类过程,对最终性能的影响很小,因此,该方法是特征弱相关的。在六种公开数据集上的实验结果表明,该方法在性能上优于现有方法,同时对所用特征的依赖性更小。
2018-08-14 cs.CV
Dynamic Clustering and Cluster Contrastive Learning for Unsupervised Person Re-identification
Beijing University of Posts and Telecommunications(北京邮电大学)
无监督Re-ID方法旨在从未标记数据中学习鲁棒性和区分性特征。然而,现有的方法往往忽略了Re-ID框架的模块参数与特征分布之间的关系,这可能会导致特征错位,影响模型的性能。为了解决这个问题,我们提出了一个动态聚类和聚类对比学习(DCCC)方法。具体来说,我们首先设计了一个动态的聚类参数调度器(DCPS),调整聚类的超参数,以适应类内和类间距离的变化。然后,设计了一种动态聚类对比学习(DyCL)方法,将聚类表示向量的权值与局部特征关联度相匹配。最后,构建了一种标签平滑软对比损失算法($L_{ss}$),以保持聚类对比学习和自监督学习之间的平衡,同时降低计算量,提高计算效率。在几个广泛使用的公共数据集上的实验验证了我们提出的DCCC的有效性,它通过实现最佳性能而优于以前的最先进的方法。
2023-03-13 cs.CV
Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering
Beijing Institute of Technology(北京理工大学);Tencent AI Lab(腾讯AI实验室);Hulu LLC.(Hulu有限责任公司)
聚类是计算机视觉和机器学习中最基本的任务之一。在本文中,我们提出了变分深度嵌入(VaDE),变分自动编码器(VAE)的框架内的一种新的无监督生成聚类方法。具体而言,VaDE使用高斯混合模型(GMM)和深度神经网络(DNN)对数据生成过程进行建模:1)GMM挑选聚类; 2)从中生成潜在嵌入; 3)然后DNN将潜在嵌入解码为可观察量。VaDE中的推理是以变分的方式进行的:不同的DNN用于将可观察量编码为潜在嵌入,因此可以使用随机梯度变分贝叶斯(SGVB)估计器和重新参数化技巧来优化证据下限(ELBO)。本文包括与强基线的定量比较,实验结果表明,VaDE显着优于国家的最先进的聚类方法的4个基准从各种形式。此外,通过VaDE的生成性质,我们展示了其为任何指定的聚类生成高度真实的样本的能力,而无需在训练过程中使用监督信息。最后,VaDE是一个灵活和可扩展的无监督生成聚类框架,比GMM更通用的混合模型可以很容易地插入。
2017-06-28 cs.CV
Unsupervised Person Re-Identification with Multi-Label Learning Guided Self-Paced Clustering
School of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程学院);College of Big Data and Internet, Shenzhen Technology University(深圳技术大学大数据与互联网学院)
虽然无监督的人重新识别(Re-ID)最近引起了越来越多的研究关注,但在不相交的摄像机视图中学习没有注释的区分特征仍然具有挑战性。在本文中,我们解决了无监督的人的Re-ID的概念新颖而简单的框架,称为多标签学习引导的自步调聚类(MLC)。MLC主要通过三个关键模块来学习区分性特征,即多尺度网络、多标签学习模块和自定进度聚类模块。具体地,多尺度网络在全局和局部视图中生成多粒度的人特征。多标签学习模块利用记忆特征库,并基于图像和特征库之间的相似性为每个图像分配多标签向量。在多个时期的多标签训练之后,自定步调的聚类加入训练并为每个图像分配伪标签。我们的MLC的好处来自三个方面:i)多尺度的人的特征,以更好的相似性测量,ii)基于整个数据集的多标签分配,确保每个图像都可以训练,iii)自定进度的聚类去除一些噪声样本,以更好地进行特征学习。在三个流行的大规模Re-ID基准测试上的大量实验表明,我们的MLC优于以前的最先进的方法,并显着提高了无监督的人Re-ID的性能。
2021-03-08 cs.CV
A Lightweight Clustering Framework for Unsupervised Semantic Segmentation
The University of Hong Kong(香港大学)
提出轻量级聚类框架,利用自监督ViT注意力特征区分前景背景,通过多级聚类生成伪掩码,在PASCAL VOC和MS COCO上达到最先进性能。
2023-12-29 cs.CV
Recognizing Handwriting Styles in a Historical Scanned Document Using Unsupervised Fuzzy Clustering
City College of San Francisco(旧金山城市学院);Santa Clara University(圣克拉拉大学)
本研究针对历史扫描文档中多位抄写员手写风格归属的高维挑战,提出结合线性主成分分析与模糊软聚类的无监督方法,成功检测手写转换,为历史文档书写者归属和法医分析提供了新途径。
2023-06-28 cs.CV
Unsupervised Action Segmentation by Joint Representation Learning and Online Clustering
Retrocausal, Inc.(Retrocausal公司)
提出联合表征学习与在线聚类的无监督动作分割方法,通过时间最优传输保留活动顺序并降低内存占用,在四个数据集上达到相当或更优性能。
2023-08-17 cs.CV
Unsupervised Domain Adaptation with Dynamic Clustering and Contrastive Refinement for Gait Recognition
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院);School of Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院)
提出GaitDCCR模型,通过动态聚类参数与权重质心优化聚类,并结合基于置信度的伪标签精炼与对比教师模块减少噪声伪标签影响,显著提升无监督步态识别性能。
2025-04-06 cs.CV
Unsupervised Person Re-identification: Clustering and Fine-tuning
University of Technology Sydney(悉尼科技大学)
最近的文献中已经报道了深入学习的行人表示的优越性的人重新识别(重新ID)。在本文中,我们考虑了更实用的问题,即学习没有标签或只有几个标签的深度特征。我们提出了一种渐进式无监督学习(PUL)方法,将预训练的深度表示转移到看不见的领域。我们的方法易于实现,可以被视为无监督re-ID特征学习的有效基线。具体来说,PUL在1)行人聚类和2)卷积神经网络(CNN)的微调之间迭代,以改进在不相关的标记数据集上训练的原始模型。由于聚类结果可能非常嘈杂,我们在聚类和微调之间添加了选择操作。在开始时,当模型较弱时,CNN在少量可靠的样本上进行微调,这些样本位于特征空间中的聚类质心附近。随着模型在后续迭代中变得更强,更多的图像被自适应地选择为CNN训练样本。逐步地,行人聚类和CNN模型同时改进,直到算法收敛。这一过程自然被表述为自定进度的学习。然后,我们指出有希望的方向,可能会导致进一步的改进。在三个大规模re-ID数据集上的大量实验表明,PUL输出的判别特征提高了re-ID的准确性。
2017-06-29 cs.CV
Deep Fiber Clustering: Anatomically Informed Unsupervised Deep Learning for Fast and Effective White Matter Parcellation
Harvard Medical School(哈佛医学院);The University of Sydney(悉尼大学);The University of New South Wales(新南威尔士大学)
白质纤维聚类(WMFC)能够将白质纤维束成像分割成小块,用于疾病分类和解剖束分割等应用。然而,缺乏地面实况和光纤数据的模糊性(沿着光纤的点可以等效地以正序或逆序表示)对这项任务提出了挑战。我们提出了一种新的WMFC框架的基础上无监督的深度学习。我们解决了无监督聚类问题作为一个自监督学习任务。具体来说,我们使用卷积神经网络来学习输入纤维的嵌入,使用成对纤维距离作为伪注释。这使得WMFC对光纤点排序不敏感。此外,通过结合脑解剖分割数据来改善纤维簇的解剖相干性。该框架通过拒绝具有低聚类分配概率的纤维,以自然的方式去除离群值。我们使用来自人类连接组项目的200个数据集对我们的方法进行训练和评估。结果表明,所提出的方法具有优越的性能和效率。
2021-07-11 cs.CV
Domain Camera Adaptation and Collaborative Multiple Feature Clustering for Unsupervised Person Re-ID
Tongji University(同济大学)
针对无监督行人重识别中跨域泛化、多粒度信息不足及确认偏差问题,提出结合域相机自适应、协同伪重标注与CMFC多特征聚类的方法,并在两个基准上取得有竞争力的结果。
2024-06-17 cs.CV
Unsupervised Clustering and Active Learning of Hyperspectral Images with Nonlinear Diffusion
Tufts University(塔夫茨大学);Johns Hopkins University(约翰斯·霍普金斯大学)
高光谱图像的无监督学习和分割问题是遥感领域的一个重大挑战。高光谱数据的高维性、大量噪声的存在以及类间的重叠等都给高光谱图像的自动聚类和分割带来了困难。我们提出了一种无监督学习技术,称为频谱空间扩散学习(DLSS),它结合了类模式的几何估计与扩散启发的标签,结合了频谱和空间信息。模式估计通过使用扩散距离来促进从每个类学习唯一模式,从而并入高光谱数据的几何形状。这些类模式,然后使用一个联合频谱空间非线性扩散过程标记所有的点。还讨论了DLSS的一个相关变体,它通过为非常少量的精心选择的像素请求标签来实现主动学习,从而大大提高了整体聚类结果。大量的实验分析表明,所提出的方法对基准和国家的最先进的高光谱分析技术的各种真实数据集,其鲁棒性的参数选择,其低计算复杂性的有效性。
2018-10-15 cs.CV
Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised Approach for Feature Embedding
AIOZ;University of Liverpool(利物浦大学);University of Adelaide(阿德莱德大学)
无监督深度距离度量学习(UDML)旨在从未标记的数据集中学习嵌入空间中的样本相似性。传统的UDML方法通常使用三重损失或成对损失,这需要挖掘正样本和负样本w.r.t.锚数据点。然而,这在无监督设置中具有挑战性,因为标签信息不可用。在本文中,我们提出了一种新的UDML方法,克服了这一挑战。特别地,我们建议使用深度聚类损失来学习质心,即,伪标签,表示语义类。在学习过程中,这些质心也用于重建输入样本。因此,它确保了质心的代表性-每个质心代表视觉上相似的样本。因此,质心给出了关于阳性(视觉上相似)和阴性(视觉上不相似)样品的信息。基于伪标签,我们提出了一种新的无监督度量损失,它强制执行嵌入空间中样本的正集中和负分离。基准数据集上的实验结果表明,该方法优于其他UDML方法。
2020-09-09 cs.CV
Unsupervised Visual Representation Learning by Online Constrained K-Means
Alibaba Group(阿里巴巴集团);School of Engineering and Technology, University of Washington(华盛顿大学工程与技术学院)
聚类判别是无监督表示学习的一个有效前提任务,它通常由聚类和判别两个阶段组成。聚类是为每个实例分配一个伪标签,用于学习歧视中的表示。主要的挑战在于聚类,因为流行的聚类方法(例如,k-means)必须以批处理模式运行。此外,可能存在由支配簇组成的平凡解。为了解决这些挑战,我们首先研究基于聚类的表示学习的目标。在此基础上,我们提出了一种新的基于聚类的借口任务与在线\textbf{Co}约束\textbf{K} -m \textbf{e} ans(\textbf{CoKe})。与每个簇大小完全相同的平衡聚类相比,我们只限制每个簇的最小大小,以灵活地捕捉固有的数据结构。更重要的是,我们的在线分配方法有接近全局最优的理论保证。通过解耦聚类和区分,CoKe可以在每个实例中仅使用单个视图进行优化时实现有竞争力的性能。在ImageNet和其他基准数据集上进行的大量实验验证了我们的建议的有效性和效率。代码可在\url{https://github.com/idstcv/CoKe}上获得。
2022-03-28 cs.CV
Towards better Validity: Dispersion based Clustering for Unsupervised Person Re-identification
Nanjing University of Science and Technology(南京理工大学);Australian National University(澳大利亚国立大学);University of Technology Sydney(悉尼科技大学)
人员重新识别旨在建立通过非重叠多摄像机装置移动的人员的正确身份对应。基于此任务的深度学习模型的最新进展主要集中在监督学习场景,其中假设每个设置都有准确的注释。注释大规模数据集的人重新识别是苛刻和繁重的,这使得部署这样的监督方法,以现实世界的应用是不可行的。因此,有必要在没有明确监督的情况下,以自主的方式对模型进行训练。在本文中,我们提出了一个优雅的和实用的聚类方法,无监督的人重新识别的聚类有效性的基础上考虑。具体地说,我们探讨了统计学中的一个基本概念,即\emph{dispersion},以实现一个强大的聚类标准。分散度反映了集群内部的紧密性,揭示了集群间的分离。有了这个洞察力,我们设计了一种新的基于分散的聚类(DBC)方法,可以发现数据中的潜在模式。这种方法考虑了样本级成对关系的更广泛背景,以实现鲁棒的聚类亲和力评估,该评估处理由于普遍的不平衡数据分布而可能出现的并发症。此外,我们的解决方案可以自动对独立数据点进行优先级排序,并防止劣质聚类。我们对图像和视频重新识别基准的广泛实验分析表明,我们的方法明显优于最先进的无监督方法。代码可在https://github.com/gddingcs/Dispersion-based-Clustering.git上获得。
2019-06-04 cs.CV
Unsupervised Classification in Hyperspectral Imagery with Nonlocal Total Variation and Primal-Dual Hybrid Gradient Algorithm
University of California, Los Angeles(加州大学洛杉矶分校);Bard College(巴德学院);Grenoble Institute of Technology(格勒诺布尔理工学院);University of California, San Diego(加州大学圣地亚哥分校)
提出了一种基于图的非局部全变分方法(NLTV)用于高光谱图像的无监督分类。变分问题求解的原始-对偶混合梯度(PDHG)算法。通过平方标记函数和使用稳定的单纯形聚类例程,可以实现具有随机初始化的无监督聚类方法。该算法的有效性说明合成和现实世界的HSI,数值结果表明,该算法优于其他标准的无监督聚类方法,如球形K-均值,非负矩阵分解(NMF),和基于图的Merriman-Bence-Osher(MBO)计划。
2017-02-13 cs.CV
Meta Clustering Learning for Large-scale Unsupervised Person Re-identification
Eastern Institute for Advanced Study(东方理工高等研究院);Alibaba Group(阿里巴巴集团);The University of Sydney(悉尼大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
与基于现代聚类算法的全监督ReID方法相比,具有伪标签的无监督人员重新识别(U-ReID)最近达到了具有竞争力的性能。然而,这种基于聚类的方案对于大规模数据集在计算上变得过高。如何有效地利用有限的计算资源来获得更好的U-ReID,这一点尚未得到充分探讨。在本文中,我们首次尝试大规模的U-ReID,并提出了一个“小数据的大任务”的范式称为Meta聚类学习(MCL)。MCL仅通过聚类对整个未标记数据的子集进行伪标记,以节省第一阶段训练的计算。在此之后,学习的聚类中心,在我们的MCL中称为元原型,被视为一个代理注释器,以软注释其余未标记的数据,以进一步抛光模型。为了减轻抛光阶段潜在的噪声标记问题,我们实施了两个精心设计的损失约束,以保证身份内的一致性和身份间的强相关性。对于多个广泛使用的U-ReID基准测试,我们的方法显着节省了计算成本,同时实现了与以前的作品相比相当甚至更好的性能。
2022-08-06 cs.CV
Unsupervised Spatio-temporal Latent Feature Clustering for Multiple-object Tracking and Segmentation
Marquette University(马凯特大学)
视频序列中多个运动对象的时间标识符的一致性是一个具有挑战性的问题。这个问题的解决方案将直接影响多个对象跟踪和分割问题。我们提出了一种策略,将时间识别任务作为一个时空聚类问题。我们提出了一种无监督学习方法,使用卷积和完全连接的自动编码器,我们称之为深度异构自动编码器,从分割掩码和检测边界框中学习判别特征。我们从预训练的实例分割网络中提取掩码及其相应的边界框,并使用任务相关的不确定性权重联合训练自编码器以生成共同的潜在特征。然后,我们构建约束图,鼓励满足一组已知的时间条件的对象之间的关联。然后将特征向量和约束图提供给kmeans聚类算法以分离潜在空间中的相应数据点。我们使用具有挑战性的合成和真实世界的多对象视频数据集来评估我们的方法的性能。我们的研究结果表明,我们的技术优于几个国家的最先进的方法。
2021-11-05 cs.CV
Hybrid Contrastive Learning with Cluster Ensemble for Unsupervised Person Re-identification
Beijing University of Posts and Telecommunications(北京邮电大学)
无监督人再识别(ReID)的目的是将行人的查询图像与图库集中没有监督标签的图像进行匹配。解决无监督人ReID的最流行方法通常是首先执行聚类算法以产生伪标签,然后利用伪标签来训练深度神经网络。然而,在聚类算法中,伪标签是噪声和敏感的超参数(S)。在本文中,我们提出了一种混合对比学习(HCL)的方法,无监督的人ReID,这是基于实例级和集群级对比损失函数之间的混合。提出了一种基于多粒度聚类集成的混合对比学习(MGCE-HCL)方法,该方法采用多粒度聚类集成策略挖掘伪正样本对之间的优先级信息,并定义了优先级加权的混合对比损失,以更好地容忍伪正样本中的噪声。我们在两个基准数据集Market-1501和DukeMTMC-reID上进行了广泛的实验。实验结果验证了我们的建议的有效性。
2022-04-14 cs.CV
Adversarial Unsupervised Domain Adaptation Guided with Deep Clustering for Face Presentation Attack Detection
Ain Shams University(艾因夏姆斯大学);The American University in Cairo(开罗美国大学)
人脸呈现攻击检测(PAD)是人脸识别系统安全的重要手段。已经提出了传统的面部反欺骗方法,假设测试来自用于训练的相同域,因此不能很好地概括看不见的攻击场景。经过训练的模型往往过拟合到训练数据中可用的捕获传感器和攻击类型。鉴于此,我们提出了一个基于领域自适应(DA)的端到端学习框架,以提高PAD的泛化能力。标记的源域样本用于通过交叉熵损失训练特征提取器和分类器,而来自目标域的无监督数据用于对抗DA方法,使模型学习域不变特征。在面对PAD中单独使用DA不能很好地适应目标域,目标域是在与源域不同的设备和攻击类型的不同条件下获得的。因此,为了保持目标域的固有属性,执行目标样本的深度聚类。训练和深度聚类是端到端进行的,在几个公共基准数据集上进行的实验验证了我们提出的深度聚类引导的无监督领域自适应(DCDA)与目标领域的最新分类错误相比,可以学习更多的广义信息。
2021-02-13 cs.CV
Unsupervised Feature Clustering Improves Contrastive Representation Learning for Medical Image Segmentation
University of Notre Dame(圣母大学)
自我监督的实例判别是一种有效的对比借口任务,以学习特征表示和解决有限的医学图像注释。这个想法是使相同图像的变换版本的特征相似,同时迫使所有其他增强图像的表示形成对比。然而,这种基于实例的对比学习无法最大化具有相似内容的图像之间的特征亲和力,同时适得其反地将它们的表示分开,从而使性能下降。最近对这一范例的改进(例如,利用多模态数据、纵向研究中的不同图像、空间对应关系)要么依赖于额外的视图,要么对数据属性作出严格的假设,这可能会牺牲普遍性和适用性。为了解决这一挑战,我们提出了一种新的自监督对比学习方法,该方法使用无监督特征聚类来更好地选择正面和负像样本。更具体地说,我们产生的伪类分层聚类的自动编码器在无监督的方式获得的功能,并防止破坏性的干扰,在对比学习,避免选择否定从相同的伪类。二维皮肤皮肤镜图像分割和三维多类全心脏CT分割的实验表明,我们的方法优于国家的最先进的自监督对比技术在这些任务。
2022-11-15 cs.CV
Face Detection from still and Video Images using Unsupervised Cellular Automata with K means clustering algorithm
S.R.K.I.T;Acharya Nagarjuna University(阿查里亚龙树大学)
模式识别问题依赖于图像模式中固有的特征。人脸检测与识别是计算机视觉领域中具有挑战性的研究方向之一。在本文中,我们提出了一种方法来识别皮肤像素从静止和视频图像使用肤色。从该皮肤像素区域识别面部区域。然后定位面部特征,如眼睛、鼻子和嘴。使用基于径向基函数的神经网络从彩色图像中识别人脸。采用无监督元胞自动机K均值聚类算法定位不同的人脸元素。用眼睛来纠正方向。计算像眼间距离、鼻子长度、嘴位置、离散余弦变换(DCT)系数等的参数,并将其用于基于径向基函数(RBF)的神经网络。该方法对于具有头部、表情等方向的人脸序列具有可靠的效果。
2013-12-15 cs.CV
Unsupervised Image Classification for Deep Representation Learning
Hikvision Research Institute(海康威视研究院);South China University of Technology(华南理工大学)
针对自监督学习的深度聚类是无监督视觉表示学习的一个非常重要和有前途的方向,因为它需要很少的领域知识来设计借口任务。然而,嵌入聚类的关键部分,限制了它的扩展到超大规模的数据集,由于其先决条件,以保存整个数据集的全局潜在嵌入。在这项工作中,我们的目标是使这个框架更加简单和优雅的性能下降。我们提出了一个不使用嵌入聚类的无监督图像分类框架,这与标准的监督训练方式非常相似。为了详细解释,我们进一步分析了它与深度聚类和对比学习的关系。在ImageNet数据集上进行了大量的实验,以证明我们的方法的有效性。此外,在迁移学习基准上的实验也验证了该算法在多标签图像分类、目标检测、语义分割和Few-Shot图像分类等后续任务中的推广性。
2020-08-20 cs.CV
Unsupervised Person Re-identification with Stochastic Training Strategy
Wuhan University(武汉大学)
无监督身份再识别(re-ID)由于其可扩展性和现实应用的可能性而吸引了越来越多的研究兴趣。最先进的无监督re-ID方法通常遵循基于聚类的策略,该策略通过聚类生成伪标签,并维护存储器以存储实例特征并表示用于对比学习的聚类的质心。这种方法存在两个问题。首先,由无监督学习生成的质心可能不是完美的原型。强迫图像更接近质心强调了聚类的结果,这可能在迭代过程中积累聚类误差。其次,以前的方法利用在不同的训练迭代中获得的特征来表示一个质心,这与当前的训练样本不一致,因为特征不直接可比。为此,我们提出了一个无监督的重新ID方法与随机学习策略。具体来说,我们采用了一个随机更新的记忆,其中一个随机的实例从一个集群被用来更新集群级的记忆对比学习。通过这种方式,学习随机选择的图像对之间的关系,以避免不可靠的伪标签造成的训练偏差。随机记忆也总是最新的分类保持一致性。此外,为了解决摄像机方差的问题,在聚类过程中提出了一种统一的距离矩阵,减少了不同摄像机域的距离偏差,强调了身份的方差。
2022-07-07 cs.CV
Iterative Knowledge Exchange Between Deep Learning and Space-Time Spectral Clustering for Unsupervised Segmentation in Videos
University Politehnica of Bucharest(布加勒斯特理工大学);Bitdefender(比特梵德);Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所)
我们提出了一个用于视频中无监督对象分割的双系统,它将两个具有互补特性的模块结合在一起:一个发现视频中对象的时空图和一个学习强大对象特征的深度网络。该系统使用迭代知识交换策略。图上的一种新的谱时空聚类过程产生无监督的分割掩码,作为伪标签传递给网络。网络学习在单帧中分割图在视频中发现的内容,并将强图像级特征传递回图,这些特征在下一次迭代中改善了其节点级特征。知识交换了几个周期,直到收敛。图中每个视频像素有一个节点,但对象发现速度很快。该算法采用一种新的幂迭代算法,在不计算运动矩阵的情况下,计算主时空簇作为特殊运动矩阵的主特征向量。通过实验分析验证了理论分析的正确性,证明了循环知识交换的有效性。我们还在监督场景上进行了实验,并结合了人工监督预训练的特征。我们在四个具有挑战性的数据集上实现了最先进的无监督和监督场景:DAVIS,SegTrack,YouTube-Objects和DAVSOD。
2020-12-13 cs.CV
Rough Clustering Based Unsupervised Image Change Detection
University of Kalyani(卡利亚尼大学)
本文介绍了一种无监督的技术,在同一参考平面上的粗糙聚类的帮助下检测多时相图像的变化区域。该技术是一种软计算方法,基于粗糙集的概念,粗糙聚类和Pawlak的准确性。它是较少的噪音,并避免了预先确定的知识的变化和不变的区域的分布。为了显示的有效性,所提出的技术与其他一些方法进行了比较。
2014-04-24 cs.AI cs.CV
Unsupervised Deep Embedding for Clustering Analysis
University of Washington(华盛顿大学);Facebook AI Research (FAIR)(脸书人工智能研究院)
聚类是许多数据驱动应用领域的核心,并且在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习表示聚类。在本文中,我们提出了深度嵌入式聚类(DEC),这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射,并在其中迭代优化聚类目标。我们对图像和文本语料库的实验评估表明,国家的最先进的方法显着改善。
2016-05-24 cs.CV cs.LG
Consensus Clustering With Unsupervised Representation Learning
The Ohio State University(俄亥俄州立大学);Microsoft(微软)
深度聚类和无监督表示学习的最新进展是基于这样的想法,即输入图像的不同视图(通过数据增强技术生成)必须在表示空间中更接近,或者具有相似的聚类分配。Bootstrap Your Own Latent(BYOL)就是这样一种表示学习算法,它在线性评估协议下的ImageNet自监督图像分类中取得了最先进的结果。然而,没有探索BYOL的学习功能来执行聚类的效用。在这项工作中,我们研究了BYOL的聚类能力,并观察到使用BYOL学习的特征可能不是聚类的最佳选择。我们提出了一种新的基于一致性聚类的损失函数,并以端到端的方式使用所提出的损失进行训练BYOL,从而提高了聚类能力,并在一些流行的计算机视觉数据集上优于基于相似聚类的方法。
2021-07-08 cs.CV cs.LG
Mind Your Clever Neighbours: Unsupervised Person Re-identification via Adaptive Clustering Relationship Modeling
无监督人再识别(Re-ID)由于其解决有监督Re-ID模型可扩展性问题的潜力而受到越来越多的关注。大多数现有的无监督方法采用迭代聚类机制,其中网络基于无监督聚类生成的伪标签进行训练。然而,聚类错误是不可避免的。为了生成高质量的伪标签并减轻聚类错误的影响,我们提出了一种新的无监督人Re-ID聚类关系建模框架。具体来说,在聚类之前,基于图相关学习(GCL)模块探索未标记图像之间的关系,然后将改进的特征用于聚类以生成高质量的伪标签。因此,GCL自适应地挖掘小批量样本之间的关系,以减少训练时异常聚类的影响。为了更有效地训练网络,我们进一步提出了一种选择性对比学习(SCL)方法与选择性存储体更新政策。大量的实验表明,我们的方法在Market 1501,DukeMTMC-reID和MSMT 17数据集上显示出比大多数最先进的无监督方法更好的结果。我们将发布模型复制的代码。
2021-12-08 cs.AI cs.CV cs.IR
Convolutional Clustering for Unsupervised Learning
Purdue University(普渡大学)
为训练深度神经网络标记数据的任务是艰巨而繁琐的,需要数百万个标签才能实现当前最先进的结果。这种对大量标记数据的依赖可以通过利用经由无监督学习技术的分层特征来放松。在这项工作中,我们提出了训练一个基于增强版k-means聚类算法的深度卷积网络,它减少了类似过滤器形式的相关参数的数量,从而提高了测试分类的准确性。我们称我们的算法为卷积k均值聚类。我们进一步表明,学习深度卷积神经网络层之间的连接可以提高其在少量标记数据上训练的能力。我们的实验表明,该算法优于其他技术,学习过滤器无监督。具体来说,我们在STL-10上获得了74.1%的测试准确度,在MNIST上获得了0.5%的测试误差。
2016-02-16 cs.CV cs.LG
Unsupervised Clustering Active Learning for Person Re-identification
监督人重新识别(re-id)方法需要大量的成对手动标记数据,这在大多数真实场景中不适用于re-id部署。另一方面,无监督的re-id方法依赖于未标记的数据来训练模型,但与有监督的re-id方法相比表现不佳。在这项工作中,我们的目标是将无监督的re-id学习与少量的人类注释相结合,以实现有竞争力的性能。为了实现这一目标,我们提出了一种无监督聚类主动学习(UCAL)re-id深度学习方法。它能够增量式地发现具有代表性的质心对,并要求人工注释它们。这些少量的标记代表性成对数据可以改善无监督表示学习模型与其他大量的未标记数据。更重要的是,由于选择了具有代表性的质心对进行注释,因此UCAL可以以非常低的人力成本工作。大量的实验表明,该模型的优越性,国家的最先进的主动学习方法在三个re-id基准数据集。
2021-12-26 cs.AI cs.CV
Invariant Information Clustering for Unsupervised Image Classification and Segmentation
University of Oxford(牛津大学)
我们提出了一种新的聚类目标,从头开始学习神经网络分类器,只给未标记的数据样本。该模型发现了准确匹配语义类的聚类,在跨越图像分类和分割的八个无监督聚类基准中实现了最先进的结果。其中包括ImageNet的无监督变体STL 10和CIFAR 10,我们分别以6.6和9.5个绝对百分点的准确率击败了最接近的竞争对手。该方法不专门用于计算机视觉,并对任何配对的数据集样本进行操作;在我们的实验中,我们使用随机变换从每个图像中获得一对。经过训练的网络直接输出语义标签,而不是需要外部处理才能用于语义聚类的高维表示。其目的只是为了最大限度地提高每一对的类分配之间的互信息。它很容易实现,并且严格基于信息论,这意味着我们可以毫不费力地避免其他聚类方法容易受到的退化解决方案。除了完全无监督模式外,我们还测试了两种半监督设置。第一个在STL 10分类上实现了88.8%的准确率,在所有现有方法(无论是监督,半监督还是无监督)中设置了新的全球最先进的方法。第二个显示了标签覆盖率减少90%的鲁棒性,与希望使用少量标签的应用程序相关。github.com/xu-ji/IIC
2019-08-22 cs.CV cs.LG
Deep adaptive fuzzy clustering for evolutionary unsupervised representation learning
East China University of Science and Technology(华东理工大学);McMaster University(麦克马斯特大学);Tongji University(同济大学)
大型复杂图像的聚类分配是模式识别和计算机视觉中一项重要而又具有挑战性的任务。在这项研究中,我们探讨了在深层神经网络框架中采用模糊聚类的可能性。因此,我们提出了一种新的进化无监督学习表示模型与迭代优化。它实现了深度自适应模糊聚类(DAFC)策略,该策略仅从给定的未标记数据样本中学习卷积神经网络分类器。DAFC由深度特征质量验证模型和模糊聚类模型组成,实现了深度特征表示学习损失函数和基于加权自适应熵的嵌入式模糊聚类。我们将模糊聚类与深度重建模型结合起来,其中模糊隶属度用于表示深度聚类分配的清晰结构,并联合优化深度表示学习和聚类。此外,联合模型通过检查来自估计瓶颈空间的重新采样数据是否具有一致的聚类属性来评估当前聚类性能,以逐步改进深度聚类模型。在各种数据集上的综合实验表明,与其他最先进的深度聚类方法相比,所提出的方法在重建和聚类质量方面都获得了更好的性能,正如广泛实验中的深入分析所证明的那样。
2021-03-31 cs.AI cs.CV
Meta-Unsupervised-Learning: A supervised approach to unsupervised learning
我们引入了一种新的范式来研究无监督学习,将无监督学习归结为监督学习。具体来说,我们通过利用从先前的、可能是异构的监督学习任务中获得的知识来减轻无监督决策中的主观性。我们通过对几个无监督问题的全面阐述和详细实验来展示我们框架的多功能性,这些问题包括(a)聚类,(b)离群点检测和(c)在元无监督学习的共同保护伞下的相似性预测。我们还提供了严格的PAC不可知的界限,建立我们的框架的理论基础,并表明我们的框架的元聚类规避克莱因伯格的不可能定理聚类。
2017-01-03 cs.AI cs.CV cs.LG
Online Deep Clustering for Unsupervised Representation Learning
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);A*STAR(新加坡科技研究局)
联合聚类和特征学习方法在无监督表示学习中表现出了显著的性能。然而,在特征聚类和网络参数更新之间交替的训练时间表导致视觉表示的不稳定学习。为了克服这一挑战,我们提出了在线深度聚类(ODC),它同时执行聚类和网络更新,而不是交替执行。我们的关键见解是,聚类中心应该稳步发展,保持分类器稳定更新。具体来说,我们设计并维护了两个动态存储模块,即,用于存储样本标签和特征的样本存储器,以及用于质心演化的质心存储器。我们将突然的全局聚类分解为稳定的内存更新和批量标签重新分配。该过程被集成到网络更新迭代中。通过这种方式,标签和网络并肩而不是交替发展。大量的实验表明,ODC稳定了训练过程,有效地提高了性能。代码:https://github.com/open-mmlab/OpenSelfSup.
2020-06-18 cs.CV cs.LG
Explaining Deep Neural Networks using Unsupervised Clustering
Google Cloud(谷歌云)
我们提出了一种新的方法来解释训练过的深度神经网络(DNN),通过使用无监督聚类将其提取为代理模型。我们的方法可以灵活地应用于DNN架构的任何层子集,并且可以合并低级和高级信息。在给定预训练DNN的图像数据集上,我们展示了我们的方法在寻找相似训练样本方面的优势,并阐明了DNN基于其决策的概念。通过用户研究,我们表明我们的模型可以提高用户对模型预测的信任度。
2020-07-16 cs.AI cs.CV cs.LG
Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
无监督语义分割的目的是发现图像内和图像间的分组,这些分组在没有外部监督的情况下捕获类别的对象和视图不变性。自然地,分割具有不同的粒度级别,在无监督分割中产生了歧义。现有的方法避免了这种模糊性,并将其视为建模之外的一个因素,而我们拥抱它,并希望无监督分割的分层分组一致性。我们将无监督分割作为一个逐像素的特征学习问题。我们的想法是,一个好的表示不仅应该揭示特定的分组级别,而且应该以一致和可预测的方式揭示任何分组级别。我们通过同一图像的多个视图之间的共同分割来执行分组和引导特征学习的空间一致性,并通过粗粒度和细粒度特征之间的聚类Transformers来执行分组层次结构的语义一致性。我们提供了第一个数据驱动的无监督分层语义分割方法,称为分层分割(HSG)。通过捕获视觉相似性和统计共现,HSG在五个主要的以对象和场景为中心的基准测试中也大大优于现有的无监督分割方法。我们的代码可在https://github.com/twke18/HSG上公开获取。
2022-04-25 cs.CV cs.LG
Self-Supervised Learning for Large-Scale Unsupervised Image Clustering
Technion – Israel Institute of Technology(以色列理工学院)
无监督学习一直吸引着机器学习研究人员和从业者,使他们能够避免昂贵而复杂的数据标记过程。然而,复杂数据的无监督学习具有挑战性,即使是最好的方法也比有监督的方法表现出更弱的性能。自监督深度学习已经成为计算机视觉中表示学习的强大工具。然而,这些方法尚未在完全无监督的环境中进行评估。在本文中,我们提出了一个简单的计划,基于自监督表示的无监督分类。我们使用几种最近的自监督方法对所提出的方法进行了评估,结果表明它在ImageNet分类方面取得了有竞争力的结果(ImageNet上1000个聚类的准确率为39%,过聚类的准确率为46%)。我们建议将无监督评估添加到自监督学习的标准基准中。代码可在https://github.com/Randl/kmeans_selfsuper上获得
2020-11-09 cs.CV cs.LG
SiamMM: A Mixture Model Perspective on Deep Unsupervised Learning
Meta AI
本文从经典混合模型视角统一无监督聚类方法,提出 SiamMM 模型,在多个自监督学习基准上取得最先进性能,并能揭示数据中的潜在误标注。
2025-11-07 cs.CV cs.LG
Unsupervised deep clustering for predictive texture pattern discovery in medical images
Computational Imaging Research Lab (CIR)(计算成像研究实验室(CIR));Department of Biomedical Imaging and Image-guided Therapy(生物医学成像与影像引导治疗系);Medical University of Vienna(维也纳医科大学)
成像数据中的预测标记模式是量化疾病和进展的一种手段,但如果对潜在的生物学知之甚少,则其识别具有挑战性。在这里,我们提出了一种方法来识别预测的医学图像中的纹理模式,在无监督的方式。基于深度聚类网络,我们在低维潜在空间中同时编码和聚类医学图像块。由此产生的聚类作为疾病分期的特征,将它们与潜在疾病联系起来。我们对70例不同阶段肝脂肪变性患者的T1加权磁共振图像进行了评估。深度聚类方法能够找到具有稳定排名的预测聚类,区分F1评分为0.78的低脂肪变性和高脂肪变性。
2020-01-31 cs.CV cs.LG
Unsupervised deep clustering and reinforcement learning can accurately segment MRI brain tumors with very small training sets
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
目的:医学成像中的病变分割是评价治疗反应的关键。我们最近表明,强化学习可以应用于放射图像的病变定位。此外,我们证明了强化学习解决了监督式深度学习的重要局限性;即,它可以消除对大量带注释的训练数据的需求,并且可以提供监督式方法中缺乏的有价值的直觉。然而,我们没有解决病变/感兴趣结构分割的基本任务。在这里,我们介绍一种结合无监督深度学习聚类和强化学习的方法来分割MRI上的脑部病变。材料与方法:我们最初使用无监督深度学习聚类对图像进行聚类,以生成每个MRI图像的候选病变掩模。然后,用户为10个训练图像中的每一个选择最佳掩模。然后,我们训练了一个强化学习算法来选择掩码。我们在10张图像的单独测试集上测试了相应的训练后的深度Q网络。为了进行比较,我们还在同一组训练/测试图像上训练和测试了U-net监督深度学习网络。结果如下:虽然监督方法很快过拟合训练数据,并且在测试集上表现不佳(平均Dice得分为16%),但无监督深度聚类和强化学习的平均Dice得分为83%。结论:我们已经证明了无监督深度聚类和强化学习在分割脑肿瘤方面的原理证明应用。该方法代表了人类联盟的AI,需要放射科医生的最小输入,而不需要手动跟踪注释。
2021-03-19 cs.AI cs.CV
Unsupervised detection of ash dieback disease (Hymenoscyphus fraxineus) using diffusion-based hyperspectral image clustering
Tufts University(塔夫茨大学);University of Cambridge(剑桥大学);City University of Hong Kong(香港城市大学);Wake Forest University(维克森林大学)
灰枯梢病(Hymenoscyphus fraxineus)是一种引入的真菌疾病,导致欧洲各地的灰树普遍死亡。遥感高光谱图像编码丰富的结构,已被用于检测灰树枯死疾病,使用监督机器学习技术。然而,要了解森林规模的森林健康状况,需要准确的无监督方法。本文探讨了使用无监督扩散和VCA辅助图像分割(D-VIS)聚类算法检测灰枯梢病在英国剑桥附近的森林网站。在这项工作中提出的无监督聚类与该场景上以前工作的监督分类有很高的重叠(总体准确率= 71%)。因此,无监督学习可用于灰枯梢病的远程检测,而不需要专家标记。
2022-04-19 cs.CV cs.LG stat.AP
Unsupervised clustering of Roman pottery profiles from their SSAE representation
Centre for Mathematical Sciences(数学科学中心);Faculty of Classics(古典学系)
本文介绍了罗马陶器数据库(ROCOPOT),它包括2000多个黑白图像轮廓的陶器形状提取自11个罗马目录和相关的不同的挖掘地点。在这个新的数据库中,形状片段的随机性和手工方差使得它们的无监督聚类成为一个非常具有挑战性的问题:因此,通过在堆叠稀疏自动编码器(SSAE)网络的潜在表示空间中学习的非线性特征的分层聚类来探索轮廓相似性,从而揭示新的轮廓匹配。从数学和考古学的角度对结果进行了评论,以解锁各自社区的新研究方向。
2020-06-04 cs.CV cs.DB cs.LG
Improving Unsupervised Image Clustering With Robust Learning
KAIST(韩国科学技术院);Institute for Basic Science(基础科学研究院)
无监督图像聚类方法通常引入替代目标来间接训练模型,并且容易受到错误预测和过度自信结果的影响。为了克服这些挑战,目前的研究提出了一个创新的模型RUC,鲁棒学习的启发。RUC的新颖之处在于利用现有图像聚类模型的伪标签作为可能包括错误分类样本的噪声数据集。它的再训练过程可以修正不一致的知识,减轻预测中的过度自信问题。该模型的灵活结构使其可以用作其他聚类方法的附加模块,并帮助它们在多个数据集上实现更好的性能。大量的实验表明,该模型可以调整模型的信心,更好的校准,并获得额外的鲁棒性对抗性噪声。
2021-03-29 cs.AI cs.CV cs.LG
Orchestra: Unsupervised Federated Learning via Globally Consistent Clustering
University of Michigan(密歇根大学);University of Cambridge(剑桥大学);Nokia Bell Labs(诺基亚贝尔实验室)
联邦学习通常用在标签容易获得的任务中(例如,下一个单词预测)。放松这一约束需要设计无监督学习技术,这些技术可以支持联邦训练的理想属性:对统计/系统异质性的鲁棒性,参与者数量的可扩展性和通信效率。关于这个主题的先前工作集中于直接扩展集中式自监督学习技术,其未被设计为具有上面列出的属性。为了解决这种情况,我们提出了一种新的无监督的联邦学习技术,利用联邦的层次结构来编排分布式聚类任务,并强制执行客户端的数据到可辨别的集群的全局一致的分区。我们展示了Orchestra中的算法管道在线性探测下保证了良好的泛化性能,使其在广泛的条件下优于替代技术,包括异质性,客户端数量,参与率和局部时代的变化。
2022-06-11 cs.CV cs.LG