Semantic Clustering for Robust Fine-Grained Scene Recognition
ETH Zurich（苏黎世联邦理工学院）；UCSD（加州大学圣迭戈分校）
在领域泛化中，从一个或多个源领域学习的知识被转移到一个看不见的目标领域。在这项工作中，我们提出了一种新的领域泛化方法细粒度的场景识别。我们首先提出了一个语义场景描述符，共同捕捉细粒度的场景之间的细微差别，同时是强大的不同的对象配置跨域。我们对场景中对象的出现模式进行建模，捕获每个场景中每个对象的信息量和可辨别性。然后，我们将这种情况转化为场景概率为每个场景图像。其次，我们认为，场景图像属于隐藏的语义主题，可以通过聚类我们的语义描述符发现。为了评估所提出的方法，我们提出了一个新的细粒度的场景数据集在跨域设置。在所提出的数据集和三个基准场景数据集上进行的大量实验表明，所提出的方法在细粒度场景转换方面的有效性，优于最先进的场景识别和领域泛化方法.
2016-07-26 cs.CV
Enhancing Martian Terrain Recognition with Deep Constrained Clustering
University of Massachusetts（马萨诸塞大学）
针对火星探测车图像中地形受亮度、尺度等变化影响难以精准分类的问题，提出融合多类约束的DCCML深度约束聚类算法，在好奇号数据集上有效提升了聚类同质性、检索准确率等指标，助力火星地貌分析。
2025-03-22 cs.CV
Local-Adaptive Face Recognition via Graph-based Meta-Clustering and Regularized Adaptation
Microsoft AI R&D Center（微软人工智能研发中心）；Microsoft Cloud and AI（微软云与人工智能）
由于对数据隐私的日益关注，可以合理地假设本地客户端数据不能传输到集中式服务器，也不能提供相关的身份标签。为了支持持续学习并填补最后一英里的质量差距，我们引入了一个新的问题设置，称为局部自适应人脸识别（LaFR）。在部署初始全局模型后，利用特定于环境的本地数据，LaFR旨在通过自动和非监督地训练本地适应模型来获得最佳性能，而不是固定其初始全局模型。我们通过一个新提出的基于图卷积网络（GCN）的嵌入聚类模型来实现这一点，该模型通过元优化过程进行训练。与以前的工作相比，我们的元聚类模型可以推广到看不见的本地环境。利用聚类结果中的伪身份标签，我们进一步引入新的正则化技术来提高模型自适应性能。种族和内部传感器适应的广泛实验表明，我们提出的解决方案是更有效的适应在每个特定的环境中的人脸识别模型。同时，我们表明，LaFR可以进一步改善全球模型通过一个简单的联邦聚合更新的本地模型。
2022-03-27 cs.CV
Improving Face Recognition by Clustering Unlabeled Faces in the Wild
Amazon（亚马逊）；NEC Labs America（NEC美国实验室）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Google（谷歌）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
虽然深度人脸识别从大规模标记数据中受益匪浅，但目前的研究重点是利用未标记数据进一步提高性能，降低人工注释的成本。以前的工作主要是在受控环境中进行的，其中标记和未标记的数据集在构造上没有重叠的身份。这在大规模人脸识别中是不现实的，在大规模人脸识别中，人们必须应对这种重叠，其频率随着数据量的增加而增加。忽略身份重叠会导致显著的标签噪声，因为来自同一身份的数据被分成多个聚类。为了解决这个问题，我们提出了一种新的基于极值理论的身份分离方法。该算法是一种分布外检测算法，极大地减少了标识标签噪声引起的问题。将聚类分配视为伪标签，我们还必须克服来自聚类错误的标签噪声。我们提出了一种调制的余弦损失，其中调制权重对应于聚类不确定性的估计。在受控和真实设置上的广泛实验证明了我们的方法在监督基线上的一致改进，例如，IJB-A验证改进11.6%。
2020-07-15 cs.CV
Class Anchor Clustering: a Loss for Distance-based Open Set Recognition
Queensland University of Technology（昆士兰科技大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
在开集识别中，深度神经网络遇到在训练期间未知的对象类。现有的开集分类器通过测量网络的logit空间中的距离来区分已知类和未知类，假设已知类比未知类聚类更接近训练数据。然而，这种方法是事后应用于用交叉熵损失训练的网络，这并不能保证这种聚类行为。为了克服这个限制，我们引入了类锚聚类（CAC）损失。CAC是一种基于距离的损失，它明确地训练已知的类在logit空间中锚定的类依赖中心周围形成紧密的集群。我们表明，CAC训练在所有六个标准基准数据集上实现了基于距离的开集分类器的最新性能，在具有挑战性的TinyImageNet上AUROC增加了15.2%，而不会牺牲分类精度。我们还表明，我们的锚定类中心比学习类中心实现了更高的开集性能，特别是在基于对象的数据集和大量的训练类。
2021-03-02 cs.CV
FaceNet: A Unified Embedding for Face Recognition and Clustering
Google Inc.（谷歌公司）
尽管最近在人脸识别领域取得了重大进展，但大规模有效地实现人脸验证和识别对当前方法提出了严峻的挑战。在本文中，我们提出了一个系统，称为FaceNet，直接学习从人脸图像映射到一个紧凑的欧几里德空间，距离直接对应于人脸相似性的度量。一旦生成了这个空间，就可以使用标准技术轻松实现人脸识别、验证和聚类等任务，并将FaceNet嵌入作为特征向量。我们的方法使用经过训练的深度卷积网络来直接优化嵌入本身，而不是像以前的深度学习方法那样使用中间瓶颈层。为了进行训练，我们使用了一种新的在线三元组挖掘方法生成的粗略对齐的匹配/非匹配人脸补丁的三元组。我们的方法的好处是更大的代表性效率：我们实现了最先进的人脸识别性能，每张脸只使用128字节。在广泛使用的Labeled Faces in the Wild（LFW）数据集上，我们的系统实现了99.63%的新记录准确率。在YouTube Faces DB上，它达到了95.12%。我们的系统在两个数据集上都将出错率与最佳公布结果相比降低了30%。我们还介绍了谐波嵌入的概念，以及谐波三重态损失，它描述了不同版本的人脸嵌入（由不同的网络产生），这些嵌入彼此兼容，并允许彼此之间进行直接比较。
2015-06-17 cs.CV
Semantic Clustering based Deduction Learning for Image Recognition and Classification
The University of Kansas（堪萨斯大学）；Ryerson University（瑞尔森大学）
本文模仿人脑的学习和思维过程，提出了一种基于语义聚类的推理学习方法。人类可以根据经验和认知做出判断，因此，没有人会将一种未知的动物识别为汽车。受此观察的启发，我们提出使用聚类先验来训练深度学习模型，该聚类先验可以引导模型学习具有从分类属性进行语义推导和总结的能力，例如猫属于动物，而汽车属于车辆。具体来说，如果图像被标记为猫，则模型被训练以学习“该图像完全不是任何作为动物离群值的随机类”。该方法实现了语义空间的高层聚类，使模型能够在学习过程中推断出各类之间的关系。此外，本文引入了一种基于语义先验的随机搜索的相反的标签，以确保平滑分布的聚类和分类器的鲁棒性。所提出的方法是支持理论和经验，通过广泛的实验。我们在流行的基准测试中比较了最先进的分类器的性能，并通过向数据集添加噪声标记来验证泛化能力。实验结果证明了该方法的优越性。
2021-12-25 cs.CV
ClusVPR: Efficient Visual Place Recognition with Clustering-based Weighted Transformer
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）；School of Communication and Electrical Engineering, East China Normal University（华东师范大学通信与电子工程学院）
ClusVPR提出基于聚类的加权Transformer网络（CWTNet）和优化VLAD层，结合金字塔自监督策略，解决视觉地点识别中重复区域和小物体问题，在四个数据集上以更低复杂度实现更优性能。
2023-10-12 cs.CV
Prototype Instance-semantic Disentanglement with Low-rank Regularized Subspace Clustering for WSIs Explainable Recognition
Columbia University（哥伦比亚大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出PID-LRSC框架，通过低秩正则化子空间聚类和增强对比学习解决WSI中实例与语义耦合问题，提升模型可解释性和诊断可靠性。
2026-02-16 cs.CV
ClusterFace: Joint Clustering and Classification for Set-Based Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）
深度学习技术已经能够在高质量图像可用的情况下成功地对复杂的面部特征进行建模。尽管如此，在真实世界场景中“野外”或恶劣条件下的人脸的准确建模和识别仍然是一个悬而未决的问题。当不受约束的面被映射到深度特征时，诸如照明、姿势、遮挡等的变化，可能会在结果特征空间中产生不一致。因此，基于直接关联得出结论可能导致性能下降。这就要求在人脸识别之前进行基本的特征空间分析。本文设计了一种联合聚类和分类方案，以简单到困难的方式学习深层人脸关联。我们的方法是基于层次聚类的早期迭代往往保持高可靠性。我们的方法的基本原理是，一个可靠的聚类结果可以提供对特征空间分布的见解，这可以指导随后的分类。三个任务，人脸验证，人脸识别和排名顺序搜索的实验评价，表现出更好的或有竞争力的性能相比，国家的最先进的，在所有三个实验。
2020-11-26 cs.CV cs.LG
Subspace Clustering for Action Recognition with Covariance Representations and Temporal Pruning
Istituto Italiano di Tecnologia（意大利技术研究院）
本文处理的问题，人类的行动识别，定义为分类的行动是显示在一个修剪序列，从骨架数据。尽管为该应用设计的最先进的方法都是有监督的，但在本文中，我们追求一个更具挑战性的方向：用无监督学习解决问题。为此，我们提出了一种新的子空间聚类方法，它利用协方差矩阵，以提高行动的可辨别性和时间戳修剪方法，使我们能够更好地处理时间维度的数据。通过广泛的实验验证，我们表明，我们的计算管道超过现有的无监督方法，但也可以产生良好的性能相比，监督方法。
2020-06-21 cs.CV cs.LG
CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Meta AI
Zero-shot动作识别是指在没有视觉实例的情况下，仅通过语义嵌入将看不见的动作类与可见的动作类联系起来，来识别动作类的任务。这个问题可以看作是学习一个函数，它可以很好地推广到看不见的类的实例，而不会丢失类之间的区分。神经网络可以模拟视觉类之间的复杂边界，这解释了它们作为监督模型的成功。然而，在零次学习中，这些高度专业化的类边界可能无法很好地从可见的类转移到不可见的类。在本文中，我们提出了一种基于质心的表示，聚类视觉和语义表示，考虑所有的训练样本一次，并以这种方式推广到来自不可见类的实例。我们使用强化学习来优化聚类，这对我们的方法的工作至关重要。我们称之为CLASTER，并观察到它在所有标准数据集上，包括UCF 101，HMDB 51和Olympic Sports;无论是在标准zero-shot评估还是广义zero-shot学习中，都始终表现出最先进的水平。此外，我们表明，我们的模型在图像域中也表现出竞争力，在许多设置中优于最先进的。
2022-07-24 cs.CV
A Rapid Pattern-Recognition Method for Driving Types Using Clustering-Based Support Vector Machines
Beijing Institute of Technology（北京理工大学）；UC Berkeley（加州大学伯克利分校）
提出了一种快速模式识别方法来表征驾驶员曲线通过行为。为了缩短识别时间，提高驾驶风格的识别率，提出了一种基于k均值聚类的支持向量机（kMC-SVM）方法，并将其用于驾驶员的驾驶风格分类。首先将车速和节气门开度作为反映驾驶风格的特征参数。其次，为了区分驾驶员曲线通过行为，减少支持向量的数量，采用k-均值聚类方法对两类驾驶数据进行提取和聚类，缩短识别时间。然后，基于聚类结果，利用支持向量机方法生成超平面，用于判断和预测人类驾驶员属于哪种类型。最后，为了验证kMC-SVM方法的有效性，设计并进行了交叉验证实验。研究结果表明，与SVM方法相比，$ k $ MC-SVM方法是一种有效的驾驶风格分类方法，分类时间短。
2016-05-22 cs.CV cs.LG stat.ML
Learning from Video and Text via Large-Scale Discriminative Clustering
École Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）；CIIRC（捷克信息学、机器人与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
判别聚类已经成功地应用于许多弱监督学习任务。这些应用包括视频和图像中的人物和动作识别、文本到视频对齐、对象共分割和共定位。然而，判别聚类的一个缺点是其有限的可扩展性。针对这一问题，提出了一种基于块坐标Frank-Wolfe算法的在线优化算法。我们将所提出的方法的问题，弱监督学习的行动和演员从电影连同相应的电影剧本。将学习问题扩展到66个特征长度的电影使我们能够显着提高弱监督动作识别。
2017-07-27 cs.CV
Unsupervised Deep Learning-based clustering for Human Activity Recognition
University of Milano - Bicocca（米兰比可卡大学）
针对惯性传感器人类活动识别缺乏标注数据的问题，提出DISC无监督深度学习聚类架构，结合循环自编码器与聚类准则自动标注信号，在三个公开数据集上优于四种深度聚类方法。
2022-11-10 cs.CV cs.LG
TCFormer: Visual Recognition via Token Clustering Transformer
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）；Centre for Perceptual and Interactive Intelligence Limited（感知与交互智能中心有限公司）
针对固定令牌分布忽略图像语义的问题，提出基于语义生成动态令牌的TCFormer，通过聚类相似区域并细化细节区域，在多项视觉任务中验证了有效性。
2024-07-16 cs.CV
Recyclable Waste Identification Using CNN Image Recognition and Gaussian Clustering
University of Toronto（多伦多大学）
废物回收是生产过程中节约能源和材料的重要途径。在一般情况下，可回收物品与不可回收物品混在一起，这就需要进行识别和分类。本文提出了一种卷积神经网络（CNN）模型来完成这两项任务。该模型使用来自预训练的Resnet-50 CNN的迁移学习来完成特征提取。随后用于分类的全连接层在增强的TrashNet数据集上训练[1]。在预分类阶段，采用滑动窗口进行图像分割。在后分类阶段，标记的样本点结合高斯聚类来定位目标。仿真结果表明，该模型的总体检测率为48.4%，最终分类准确率为92.4%。
2020-11-02 cs.AI cs.CV
Learning the Precise Feature for Cluster Assignment
Ocean University of China（中国海洋大学）；University of Leicester（莱斯特大学）
聚类是计算机视觉和模式识别的基本任务之一。最近，深度聚类方法（基于深度学习的算法）以其令人印象深刻的性能引起了广泛关注。这些算法大多将深度无监督表示学习和标准聚类结合在一起。然而，表示学习和聚类的分离将导致次优解决方案，因为两阶段策略阻止了表示学习适应后续任务（例如，根据特定线索聚类）。为了克服这个问题，已经在表示和聚类分配的动态适应中做出了努力，而当前最先进的方法遭受具有交替优化的表示和聚类分配的启发式构造的目标。为了进一步规范聚类问题，我们大胆地将聚类的目标制定为找到一个精确的特征作为聚类分配的线索。在此基础上，我们提出了一个通用的深度聚类框架，从根本上集成表示学习和聚类到一个单一的管道首次。该框架利用了最近开发的生成模型学习内在特征的强大能力，并通过专用的变分算法对聚类分配的分布进行熵最小化。实验结果表明，该方法在手写数字识别、时尚识别、人脸识别和物体识别等基准数据集上的性能优于或至少与现有方法相当。
2021-06-11 cs.CV cs.LG
Cluster images with AntClust: a clustering algorithm based on the chemical recognition system of ants
Georg August University of Goettingen（哥廷根大学）
本文实现并应用基于蚂蚁化学识别机制的 AntClust 聚类汽车图像，定义图像相似性函数，并与 DBSCAN、HDBSCAN、OPTICS 比较性能，同时提供可灵活重定义规则集的 GitLab 实现。
2023-12-08 cs.CV cs.DC
Features in Concert: Discriminative Feature Selection meets Unsupervised Clustering
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Faculty of Automatic Control and Computer Science, University Politehnica of Bucharest（布加勒斯特理工大学自动控制与计算机科学学院）；Google Research（谷歌研究院）
特征选择是计算机视觉中的一个基本问题，对于类别学习和识别具有重要意义。随着各种视觉特征和分类器的快速发展，人们越来越需要有效的特征选择和组合方法，以构建功能强大的分类器，用于更复杂和更高级别的识别任务。我们提出了一种算法，有效地发现稀疏，紧凑的表示输入功能或分类器，从一个巨大的海洋的候选人，具有重要的最优性，低计算成本和良好的精度在实践中。与boosting不同，我们从鼓励稀疏解决方案的判别线性分类公式开始。然后，我们得到一个等价的无监督聚类问题，共同发现不同的功能合奏。它们独立地有价值，但当它们联合在一组分类器中时，它们甚至更强大。我们评估我们的方法在视频中的大规模识别的任务，并表明，它显着优于经典的选择方法，如AdaBoost和贪婪的前向-后向选择，和强大的分类器，如支持向量机，在训练速度和性能，特别是在有限的训练数据的情况下。
2014-11-27 cs.CV
LCD -- Line Clustering and Description for Place Recognition
ETH Zurich（苏黎世联邦理工学院）；Gideon Brothers（吉迪恩兄弟公司）
目前视觉场所识别的研究主要集中在将图像的局部视觉特征聚合成单个矢量表示。因此，诸如特征的几何布置的高级信息通常丢失。在本文中，我们介绍了一种新的基于学习的方法来识别地点，使用RGB-D相机和线簇作为视觉和几何特征。我们国家的地方识别问题作为一个问题，而不是个别补丁，识别集群的线，从而保持结构信息。在我们的工作中，线簇被定义为构成单个对象的线，因此我们的位置识别方法可以被理解为对象识别。使用最先进的技术在RGB-D图像中检测3D线段。我们提出了一种基于注意力机制的神经网络结构，用于逐帧线性聚类。一个类似的神经网络用于描述这些聚类，其中紧凑嵌入了128个浮点数，在从InteriorNet数据集获得的训练数据上进行了三重丢失训练。我们展示了大量的室内场景的实验，并比较我们的方法与使用SIFT和SuperPoint特征和全局描述符NetVLAD的词袋图像检索方法。仅在合成数据上训练，我们的方法可以很好地推广到Kinect传感器捕获的真实数据，同时还提供了有关实例几何排列的信息。
2020-10-21 cs.CV cs.RO
Rotational Subgroup Voting and Pose Clustering for Robust 3D Object Recognition
University of Southern Denmark（南丹麦大学）
只要局部表面方向（法向量）在每个表面点处可用，就可以在两个3D形状之间关联相对6 DoF姿势的高度约束子集。局部形状特征可以用于找到模型之间的假定点对应，因为它们能够处理噪声和不完整的数据。然而，在实际情况下，该对应集通常被离群值污染，这导致了许多基于鲁棒检测器（诸如Hough变换或RANSAC）的过去贡献。我们工作的关键见解是，两个模型上的定向点之间的单个对应关系被约束为在整个姿势组的1 DoF旋转子组中投票，SE（3）。核密度估计允许有效地组合投票集以确定模型之间的完整6 DoF候选姿势。这种具有最高密度的模态姿态在具有挑战性的条件下是稳定的，例如噪声，杂波和遮挡，并提供了我们方法的输出估计。我们首先分析了我们的方法在噪声方面的鲁棒性，并表明它处理高离群值率比RANSAC更好的6自由度姿态估计任务。然后，我们将我们的方法应用到四个最先进的数据集的3D对象识别，包含闭塞和混乱的场景。我们的方法在两个LIDAR数据集上实现了完美的召回，并在两个RGB-D数据集上优于竞争方法，从而为使用点云数据的一般3D对象识别设定了新标准。
2017-09-07 cs.CV
Unsupervised Learning of Video Representations via Dense Trajectory Clustering
Carnegie Mellon University（卡内基梅隆大学）；Inria（法国国家信息与自动化研究所）
本文讨论了无监督学习的任务表示在视频中的动作识别。以前的工作提出了利用未来的预测，或其他特定领域的目标，训练网络，但只取得了有限的成功。相比之下，在图像表示学习的相关领域，更简单的，基于判别的方法最近弥合了差距，完全监督的性能。我们首先建议将这类中的两个顶级性能目标-实例识别和本地聚合-适应于视频域。特别地，后一种方法在网络的特征空间中对视频进行聚类和更新以尊重具有非参数分类损失的聚类之间迭代。我们观察到有希望的性能，但定性分析表明，学习的表示未能捕获运动模式，根据外观对视频进行分组。为了缓解这个问题，我们转向基于运动的IDT描述符，它是手动设计的，用于对视频中的运动模式进行编码。我们在IDT空间中形成集群，使用这些描述符作为迭代局部聚合算法中的无监督先验。我们的实验表明，这种方法优于UCF 101和HMDB 51动作识别基准的先前工作。我们还定性分析了学习的表示，并表明他们成功地捕捉视频动态。
2020-06-28 cs.CV
Video Face Matching using Subset Selection and Clustering of Probabilistic Multi-Region Histograms
NICTA；The University of Queensland（昆士兰大学）
平衡计算效率和识别精度是基于视频的真实世界人脸识别的主要挑战之一。任何这样的系统的一个重要的设计决策是是否处理和使用在视频帧上检测到的所有可能的面部，或者是否仅选择几个“最佳”面部。本文提出了一种基于概率多区域直方图的视频人脸识别系统，以消除性能权衡：（i）选择一个子集的脸相比，使用所有的脸，和（ii）通过聚类组合来自所有的脸的信息。三个人脸选择指标进行评估，选择一个子集：人脸检测的信心，随机子集，和顺序选择。在最近引入的MOBIO数据集上的实验表明，通过聚类使用所有人脸的效果总是优于只选择人脸的子集。实验还表明，基于人脸检测置信度的人脸选择度量通常比随机或顺序采样提供更好的识别性能。此外，最佳的人脸数量在选择度量和MOBIO子集之间变化很大。考虑到计算量、识别精度和鲁棒性之间的权衡，建议人脸特征聚类在批处理中最有利（特别是对于基于视频的监视列表），而人脸选择方法应限于具有显著计算限制的应用。
2013-03-26 cs.CV cs.IR
Two-stage quality adaptive fingerprint image enhancement using Fuzzy c-means clustering based fingerprint quality analysis
Indian Institute of Technology Indore（印度理工学院印多尔分校）
指纹识别技术在很大程度上依赖于指纹图像的质量。为了提高低质量图像识别算法的性能，需要设计一种有效的增强算法。如果增强过程是自适应的指纹质量（湿，干或正常）的识别算法的性能提高更多。本文提出了一种质量自适应的指纹增强算法。该算法利用模糊c均值聚类技术对指纹图像进行聚类，将指纹图像分为干、湿、正常干、正常湿和良好质量5类。该算法综合考虑均值、湿度、方差、均匀度、对比度、脊谷面积均匀度和脊谷均匀度等7个特征，将指纹图像聚类到合适的质量类别。每个质量等级的指纹图像都经过两阶段的指纹质量增强过程。该方法首先采用质量自适应预处理方法对指纹图像进行预处理，然后采用基于Gabor、短时傅立叶变换和方向扩散滤波的增强技术对指纹图像进行增强。实验结果表明，在FVC 2004数据集的验证结果的改善。与当前最先进的增强技术相比，使用基于质量自适应预处理的方法时，观察到相等出错率的显著改善。
2018-05-19 cs.CV
Improved Face Representation via Joint Label Classification and Supervised Contrastive Clustering
Tencent（腾讯）
针对人脸识别中聚类知识利用不足的问题，本文提出标签分类与监督对比聚类联合优化框架，通过聚类引导角度间隔和聚类中心对齐提升人脸表征性能。
2023-12-07 cs.AI cs.CV
Negative Selection by Clustering for Contrastive Learning in Human Activity Recognition
University of South China（南华大学）；Ulster University（阿尔斯特大学）；University of Science and Technology Beijing（北京科技大学）
对比学习由于其能够在大量未标记数据和少量标记数据的情况下实现与监督学习相当的性能，已经被应用于基于传感器数据的人类活动识别（HAR）。对比学习的预训练任务一般是实例判别，它指定每个实例属于单个类，但这会将同一类样本视为反例。这样的预训练任务不利于人类活动识别任务，人类活动识别任务主要是分类任务。为了解决这个问题，我们跟随Simplified提出了一个新的对比学习框架，在HAR中通过聚类进行否定选择，称为ChronterCLHAR。与Simplified相比，该算法通过无监督聚类方法重新定义对比损失函数中的负样本对，生成软标签屏蔽同一类中的其他样本，避免将其视为负样本。我们在三个基准数据集USC-HAD，MotionSense和UCI-HAR上使用平均F1分数作为评估指标来评估ClaterCLHAR。实验结果表明，该方法在自监督学习和半监督学习中的性能优于现有的HAR方法。
2022-03-23 cs.AI cs.CV cs.HC
Boosting Deep Open World Recognition by Clustering
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）；Sapienza University of Rome（罗马大学）；University of Tübingen（图宾根大学）；Mapillary；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
虽然卷积神经网络在机器人视觉方面取得了重大进展，但它们的能力通常限于封闭世界场景，其中要识别的语义概念的数量由可用的训练集确定。由于实际上不可能在单个训练集中捕获现实世界中存在的所有可能的语义概念，因此我们需要打破封闭世界的假设，使我们的机器人具有在开放世界中行动的能力。为了提供这种能力，机器人视觉系统应该能够（i）识别实例是否不属于已知类别的集合（即开集识别），以及（ii）扩展其知识以随着时间学习新的类别（即增量学习）。在这项工作中，我们展示了如何通过一种新的损失公式来提高深度开放世界识别算法的性能，该公式强制执行类特定特征的全局到局部聚类。特别是，第一个损失项，即全局聚类，迫使网络将样本映射到更靠近它们所属的类质心的位置，而第二个损失项，即局部聚类，以这样一种方式塑造表示空间，即同一类的样本在表示空间中变得更接近，同时推开属于其他类的邻居。此外，我们提出了一种策略来学习类特定的拒绝阈值，而不是像以前的作品中那样精确地估计一个全局阈值。在RGB-D Object和Core 50数据集上的实验表明了该方法的有效性。
2020-11-30 cs.CV cs.RO
TeLCoS: OnDevice Text Localization with Clustering of Script
OnDevice AI Samsung R\& D Institute Bangalore, India
最近在资源受限环境中的文本本地化领域的研究已经广泛使用了深度神经网络。低内存移动设备上的场景文本定位和识别具有广泛的应用，包括内容提取、图像分类和基于关键字的图像搜索。对于多语言本地化文本的文本识别，OCR系统需要每个文本实例的脚本的先验知识。这导致文字识别成为文本识别的重要步骤。大多数现有的方法将文本定位，脚本识别和文本识别作为三个独立的任务。这使得脚本识别成为识别管道中的开销。为了减少这种开销，我们提出了TeLCoS：带有脚本集群的设备上文本本地化，这是一个多任务双分支轻量级CNN网络，可以同时在设备上执行实时文本本地化和高级脚本集群。该网络通过在本地化网络上的单个前馈传递对一些主要使用的脚本进行分组和识别，从而大大减少了对单独的脚本识别模块的调用数量。我们还引入了一种新的基于结构相似性的通道修剪机制，以建立一个有效的网络，只有1.15 M的参数。在基准数据集上的实验表明，我们的方法达到了最先进的性能，在Exynos 990芯片组设备上整个流水线的执行延迟为60 ms。
2021-04-21 cs.AI cs.CV
ClusterTabNet: Supervised clustering method for table detection and table structure recognition
SAP Business AI（SAP商业人工智能部门）
提出ClusterTabNet，利用Transformer编码器预测单词间关系图，实现表格检测与结构识别，在多个数据集上以更小模型达到或超越现有方法。
2024-05-23 cs.CV cs.LG
Face Detection from still and Video Images using Unsupervised Cellular Automata with K means clustering algorithm
S.R.K.I.T；Acharya Nagarjuna University（阿查里亚龙树大学）
模式识别问题依赖于图像模式中固有的特征。人脸检测与识别是计算机视觉领域中具有挑战性的研究方向之一。在本文中，我们提出了一种方法来识别皮肤像素从静止和视频图像使用肤色。从该皮肤像素区域识别面部区域。然后定位面部特征，如眼睛、鼻子和嘴。使用基于径向基函数的神经网络从彩色图像中识别人脸。采用无监督元胞自动机K均值聚类算法定位不同的人脸元素。用眼睛来纠正方向。计算像眼间距离、鼻子长度、嘴位置、离散余弦变换（DCT）系数等的参数，并将其用于基于径向基函数（RBF）的神经网络。该方法对于具有头部、表情等方向的人脸序列具有可靠的效果。
2013-12-15 cs.CV
Towards Robust Evaluation of Visual Activity Recognition: Resolving Verb Ambiguity with Sense Clustering
University of Cincinnati（辛辛那提大学）
本文提出基于语义聚类的视觉活动识别评估方法，通过解决动词歧义问题提升评估的鲁棒性。
2026-01-25 cs.AI cs.CL cs.CV
Automatic clustering of Celtic coins based on 3D point cloud pattern analysis
Mines Paristech, PSL University（巴黎矿业学院，巴黎文理研究大学）；ENS Ulm, PSL University（巴黎高等师范学院，巴黎文理研究大学）
对同一模具击打的硬币进行识别和聚类对于考古研究来说是很有意义的。现在，这项工作只能由专家来完成，而且非常繁琐。在本文中，我们提出了一种方法来自动集群模具，基于3D扫描的硬币。它基于三个步骤：注册，比较和基于图形的聚类。对来自公元前二至一世纪凯尔特国库的90枚硬币的实验结果表明，聚类质量与专家的工作相当。
2020-05-12 cs.CV
Quantifying the Extent to Which Race and Gender Features Determine Identity in Commercial Face Recognition Algorithms
The U.S. Department of Homeland Security, The Maryland Test Facility Science and Technology Directorate（美国国土安全部、马里兰州测试设施科技总监办公室）
人脸特征可用于确定个人身份以及性别和种族等人口统计信息。然而，尽管政府和行业的部署越来越多，但人们对黑匣子商业人脸识别算法（CFRA）使用性别和种族特征来确定身份的程度知之甚少。在这项研究中，我们量化了性别和种族特征影响不同人之间的人脸识别相似性得分的程度，即非交配得分。我们使用五种不同的CFRA和333个不同的测试对象进行了这项研究。作为对照，我们将这些非配对分布的行为与商业虹膜识别算法（CIRA）进行了比较。与之前的工作相同，所有CFRA对相同性别和种族的人产生了更高的相似性分数，这种效应被称为“广泛同质性”。CIRA没有观察到这种影响。接下来，我们将主成分分析（PCA）应用于相似性得分矩阵。我们发现，CFRA的一些主成分（PC）按性别和种族聚类的人，但大多数没有。PC中的人口统计学聚集仅占CFRA评分总方差的10%。CIRA未观察到聚类。这表明，虽然CFRA使用一些性别和种族特征来建立身份，但当前CFRA使用的大多数特征与性别和种族无关，类似于CIRA使用的虹膜纹理模式。最后，重建的相似性得分矩阵，只使用PC，没有人口统计学聚类减少了广泛的同质性效应，但也减少了交配和非交配得分之间的分离。这表明CFRA有可能对与性别和种族无关的特征进行操作，尽管识别准确率稍低，但这不是当前的商业实践。
2020-10-15 cs.CV
Hand Tracking based on Hierarchical Clustering of Range Data
Faculty of Science and Technology（科学技术学院）；Institute for Vision and Graphics (IVG)（视觉与图形研究所）；Computer Graphics and Multimedia Systems（计算机图形与多媒体系统）
快速、鲁棒的手部分割和跟踪是手势识别的重要基础，也是非接触式人机交互（HCI）的重要组成部分。基于2D视频数据的手势识别已经被广泛研究。然而，在实际场景中，纯粹基于强度的方法遭受不可控的环境条件，如杂乱的背景颜色。在本文中，我们提出了一个实时的手分割和跟踪算法，使用飞行时间（ToF）范围相机和强度数据。强度和范围信息被融合到一个像素值中，表示其组合的强度-深度均匀性。该场景是分层聚类使用基于GPU的并行合并算法，允许一个强大的识别双手，即使是不均匀的背景。检测后，双手都在CPU上进行跟踪。我们的跟踪算法可以应付的情况下，一只手暂时被另一只手。
2011-10-25 cs.CV
Face Identification and Clustering
Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））
在这篇论文中，我们研究了两个基于聚类算法的问题。在第一个问题中，我们研究的视觉属性的作用，使用凝聚聚类算法削减搜索区域的类的数量是高的，以提高聚类的性能。我们观察到，随着我们添加更多的属性，聚类性能总体上会提高。在第二个问题中，我们研究了聚类在1：N开集协议中聚合模板的作用，使用多镜头视频作为探针。我们观察到，通过增加集群的数量，性能相对于基线增加，并达到峰值，之后增加集群的数量会导致性能下降。使用最近推出的无约束IARPA Janus IJB-A，CS2和CS3人脸识别数据集进行实验。
2017-04-26 cs.CV
Efficient Information Theoretic Clustering on Discrete Lattices
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
我们考虑的问题，居住在离散的，低维格的聚类数据。在图像分割和关键点提取中可以找到这种设置的典型示例。我们的解决方案是基于最近的信息理论聚类方法，聚类结果从一个迭代过程，最大限度地减少了分歧的措施。我们用卷积代替了原始算法中昂贵的处理步骤。这些允许高效的实现，从而显著减少运行时间。因此，本文弥合了机器学习和信号处理之间的差距。
2013-10-26 cs.CV
Arabic Handwritten Character Recognition based on Convolution Neural Networks and Support Vector Machine
阿拉伯字符识别是自然语言处理和计算机视觉领域的重要课题。必须对手写的阿拉伯字母和字符进行识别和分类。本文提出了一种基于深度卷积神经网络（DCNN）和支持向量机（SVM）的阿拉伯字母和字符识别算法。针对阿拉伯手写体字符的识别问题，提出了一种基于全连接DCNN和dropout SVM的阿拉伯手写体字符识别方法。此外，本文确定了正确的分类率（CRR）取决于正确的分类模板的准确性，识别的手写体阿拉伯字符。此外，我们确定错误分类率（ECR）。这项工作的实验结果表明，所提出的算法识别，识别和验证输入的手写阿拉伯字符的能力。此外，该系统确定相似的阿拉伯字符使用聚类算法的基础上的K-均值聚类方法来处理的问题，在阿拉伯字符的多笔划。与现有技术相比，系统的准确度达到了95.07%CRR和4.93%ECR。
2020-09-28 cs.CV
Innovative Texture Database Collecting Approach and Feature Extraction Method based on Combination of Gray Tone Difference Matrixes, Local Binary Patterns,and K-means Clustering
Shiraz University（设拉子大学）
纹理分析与分类是80年代后期以来图像处理科学家们十分关注的问题之一。如果纹理分析的准确性得到保证，它可以应用于目标跟踪、视觉模式识别、人脸识别等领域，目前已经有很多方法可以解决这一问题。针对他们的技术差异，所有人都使用相同的流行数据库来评估他们的性能，如Brodatz或Outex，这可能使他们的性能偏向于这些数据库。本文提出了一种方法来收集更有效的纹理图像数据库。所提出的方法包括两个阶段。第一种是基于灰度差矩阵和局部二值模式特征的特征表示方法，第二种是基于K-均值聚类的特征提取算法。为了评估所提出的方法的性能，纹理数据库的收集和费舍尔率计算收集的一个和众所周知的数据库。此外，纹理分类评价的基础上提供的特征提取和准确性进行了比较，一些国家的最先进的纹理分类方法。
2018-03-12 cs.CV
What's in a Name? Beyond Class Indices for Image Recognition
The University of Hong Kong（香港大学）；Google Research（谷歌研究院）；University of Oxford（牛津大学）
本文重新审视图像识别问题，赋予视觉-语言模型仅以大型类别词汇表为先验为图像分配类别名称的任务，通过迭代聚类和投票机制自动缩小候选名称池，并结合 CLIP 编码器检索外部文本增强聚类，在无监督和部分监督设置下于 ImageNet 取得约 50% 的显著提升。
2024-07-27 cs.CV
Local Adaptive Clustering Based Image Matching for Automatic Visual Identification
Beijing University of Chemical Technology（北京化工大学）
本文提出一种视觉辅助识别系统，通过ORB和GMS算法进行图像特征提取与误匹配剔除，并建立局部自适应聚类（LAC）方法优化标签定位，有效减少了标签漂移。
2024-01-03 cs.CV
Pose Recognition in the Wild: Animal pose estimation using Agglomerative Clustering and Contrastive Learning
Jadavpur University（贾达普大学）
动物姿态估计由于其在生物学、动物学和水产养殖业中的应用而受到关注。深度学习方法已经有效地应用于人体姿态估计。然而，这些方法应用于动物姿态估计的主要瓶颈是没有足够数量的标记数据。虽然有大量的未标记的数据公开可用，但为每种动物标记大量数据在经济上是不切实际的。此外，由于动物王国中各种各样的身体形状，跨领域的知识转移是无效的。鉴于人类大脑能够在不需要大量标记数据的情况下识别动物姿势的事实，我们利用无监督学习来解决从可用的未标记数据中识别动物姿势的问题是合理的。在本文中，我们介绍了一种新的架构，能够识别的姿势，多个动物fromunlabeled数据。我们这样做是通过（1）从每个图像中去除背景信息，并采用边缘检测算法的动物的身体，（2）跟踪边缘像素的运动，并执行凝聚聚类分割身体部位，（3）采用对比学习，以阻止遥远的身体部位分组在一起。因此，我们能够区分动物的身体部位，基于它们的视觉行为，而不是潜在的解剖结构。因此，我们能够实现比人类标记的数据更有效的数据分类。我们在TigDog和WLD（WildLife Documentary）数据集上测试了我们的模型，在这些数据集上，我们的表现明显优于最先进的方法。我们还研究了我们的模型在其他公共数据上的性能，以证明我们的模型的泛化能力。
2021-11-16 cs.AI cs.CV
Discriminative k-means clustering
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
k-means算法是一种分区聚类方法。超过60年的历史，它已经成功地用于各种问题。k-means的流行在很大程度上是其简单性和效率的结果。在本文中，我们的灵感来自于这些吸引人的属性的k-均值聚类算法的发展，它接受的概念，“积极”和“消极”的标记数据。我们的目标是发现集群结构的积极和消极的数据的方式，允许两个集之间的歧视。这个想法的实用性实际上是在人脸识别的问题上证明的，在人脸识别中，学习一个人的外表范围的任务应该以一种允许这张脸与其他人区分开的方式来完成。
2013-06-10 cs.CV
The Impact of Racial Distribution in Training Data on Face Recognition Bias: A Closer Look
HyperVerge Inc.（HyperVerge公司）
人脸识别算法在现实世界中使用时可能非常有用，但当它们偏向某些人口统计数据时也可能是危险的。因此，有必要了解这些算法是如何训练的，以及哪些因素会影响它们的准确性和公平性，以构建更好的算法。在这项研究中，我们揭示了种族分布的影响，在训练数据的人脸识别模型的性能。我们在训练数据中使用不同种族分布的面孔进行了16次不同的实验。我们使用准确性指标、聚类指标、UMAP投影、人脸质量和决策阈值来分析这些训练模型。我们表明，训练数据集中种族的均匀分布并不能保证无偏见的人脸识别算法，以及人脸图像质量等因素如何发挥关键作用。我们还研究了聚类度量和偏差之间的相关性，以了解聚类是否是偏差的良好指标。最后，我们引入了一个称为种族等级的度量来研究面部特征的种族间和种族内相关性以及它们如何影响人脸识别模型的学习能力。通过这项研究，我们试图更多地了解人脸识别训练的一个基本要素，即数据。更好地理解训练数据对人脸识别算法偏差的影响将有助于创建更好的数据集，进而创建更好的人脸识别系统。
2022-11-26 cs.CV cs.CY cs.LG
CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering
University of Toronto（多伦多大学）
针对联邦人体活动识别中数据非独立同分布导致收敛慢、性能差及隐私问题，提出CDFL框架，利用对比学习和深度聚类选择代表性隐私保护图像，并优化客户端选择，在三个数据集上验证了其性能、收敛速度和带宽优势。
2024-07-17 cs.CV cs.LG
Detection and Recognition of Malaysian Special License Plate Based On SIFT Features
Universiti Tunku Abdul Rahman (UTAR)（拉曼大学）；MIMOS Berhad
汽车牌照自动识别系统的开发和应用是为了方便监视，执法，访问控制和智能交通监控，最少的人为干预。针对马来西亚特殊车牌识别问题，提出了一种基于SIFT特征点聚类和匹配的识别算法。这些特殊的车牌不遵循标准车牌的格式，因为它们可能包含斜体，草书，连接和小写字母。对150幅不同环境下的马来西亚车牌图像进行了实验，实验结果表明该算法具有较好的鲁棒性。
2015-04-27 cs.CV
Weakly Contrastive Learning via Batch Instance Discrimination and Feature Clustering for Small Sample SAR ATR
Wuyi University（五邑大学）；Beihang University（北京航空航天大学）
针对小样本SAR自动目标识别中标注数据不足的问题，本文提出BIDFC框架，通过批实例判别、可调节嵌入距离的弱对比学习及动态加权方差损失进行特征聚类，在MSTAR等数据集上仅用少量训练数据即取得高识别准确率。
2024-08-07 cs.CV
Unsupervised Learning for Subterranean Junction Recognition Based on 2D Point Cloud
Luleå University of Technology（吕勒奥理工大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；California Institute of Technology（加州理工学院）
本文提出了一种新的无监督学习框架，用于基于采集的二维点云检测地下环境中隧道连接点的数量。该框架的实现为高级别任务规划者在未知区域导航空中平台或机器人寻的任务提供了有价值的信息。该框架利用谱聚类，这是能够发现隐藏的结构，从连接的数据点躺在非线性流形。谱聚类算法通过利用从这些点的成对相似性导出的矩阵的特征分解来计算原始2D点云的谱嵌入。我们使用多个数据集，从多个现实的模拟，以及从真实的飞行在地下环境中收集的验证开发的框架，展示了所提出的方法的性能和优点。
2020-06-07 cs.CV cs.RO
Self-Calibrated Dual Contrasting for Annotation-Efficient Bacteria Raman Spectroscopy Clustering and Classification
Tsinghua University（清华大学）
本文提出自校准双对比（SCDC）方法，通过嵌入与类别双视角对比学习和自校准机制，在极少或无标注条件下实现稳健的细菌拉曼光谱聚类与分类。
2024-12-28 cs.CV cs.LG eess.SP
KohonAnts: A Self-Organizing Ant Algorithm for Clustering and Pattern Classification
University of Lisbon（里斯本大学）；University of Granada（格拉纳达大学）
在本文中，我们介绍了一种新的基于蚂蚁的方法，利用蚁群系统的合作自组织创建一个自然启发聚类和模式识别方法。该方法将每个数据项视为一只蚂蚁，它在网格内移动，改变它所经过的单元格，类似于Kohonen的自组织地图。由此产生的算法是概念上更简单，需要更少的自由参数比其他蚂蚁为基础的聚类算法，并经过一些参数调整，在一些基准问题产生非常好的结果。
2008-03-18 cs.CV cs.NE
Adaptive Multi-Agent Continuous Learning System
Shanghai Institute of Microsystem and Information Technology（上海微系统与信息技术研究所）；ShanghaiTech University（上海科技大学）；NeuHelium Co., Ltd.（NeuHelium有限公司）
提出一种基于时间序列持续学习机制的自监督多智能体聚类识别系统，通过不同功能智能体协作与输入预测提升适应性，视频行为聚类实验验证了其应对动态环境的可行性。
2023-04-04 cs.CV cs.MA
A Short Survey on Data Clustering Algorithms
City University of Hong Kong（香港城市大学）
随着数据的快速增长，聚类算法是现代研究中数据分析的重要工具。它们已经成功地应用于广泛的领域;例如，生物信息学、语音识别和金融分析。从形式上讲，给定一组数据实例，聚类算法预期将数据实例集划分为最大化子集内相似性和子集间相异性的子集，其中预先定义相似性度量。在这项工作中，国家的最先进的聚类算法从设计概念到方法进行了审查，不同的聚类范式进行了讨论。先进的聚类算法进行了讨论。在此基础上，对现有的聚类评价指标进行了综述。最后提供了一个总结和未来的见解。
2015-11-25 cs.CV cs.DS cs.LG
Deep Structure and Attention Aware Subspace Clustering
School of Mathematics and Statistics, Xidian University（西安电子科技大学数学与统计学院）
提出DSASC方法，结合视觉变换器提取内容与结构特征，用于子空间聚类，显著优于现有方法。
2023-12-25 cs.AI cs.CV
Building pattern recognition applications with the SPARE library
Ryerson University（瑞尔森大学）；SAPIENZA University of Rome（罗马大学）
本文介绍了SPARE C++库，一个开源软件工具，旨在建立模式识别和软计算系统。该库遵循通用性的要求：大多数实现的算法都能够透明地处理用户定义的输入数据类型，如标记的图形和对象序列，以及标准的数值向量。在这里，我们提出了一个高层次的图片的SPARE库的特点，而不是专注于具体的实际可能性，为不同的输入数据类型构建模式识别系统。特别是，作为概念的证明，我们讨论了两个应用实例，涉及实值多维序列的聚类和标记图的分类。
2015-02-20 cs.CV cs.MS
