Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher
Beijing University of Posts and Telecommunications（北京邮电大学）
在本文中，我们的目标是提高在野外人脸表情识别（FER）的性能，通过利用半监督学习。大规模标记数据和深度学习方法极大地提高了图像识别的性能。然而，由于缺乏训练数据和不正确的注释（例如，标签噪声）。在现有的野外FER数据集中，可靠的数据集包含的数据不足以训练鲁棒的深度模型，而大规模的数据集则以较低的质量进行注释。为了解决这个问题，我们提出了一个半监督学习算法名为渐进式教师（PT），利用可靠的FER数据集以及大规模的未标记的表情图像进行有效的训练。一方面，PT引入了半监督学习的方法来缓解FER中数据不足的问题。另一方面，它自动和渐进地选择有用的标记训练样本，以减轻标签噪声。PT使用选定的干净标记数据来计算监督分类损失，使用未标记数据来计算无监督一致性损失。在广泛使用的数据库RAF-DB和FERPlus上的实验验证了该方法的有效性，在RAF-DB上取得了89.57%的准确率。此外，当合成噪声率甚至达到30%时，我们的PT算法的性能仅下降了4.37%。
2022-05-28 cs.CV
Unsupervised Clustering Active Learning for Person Re-identification
监督人重新识别（re-id）方法需要大量的成对手动标记数据，这在大多数真实场景中不适用于re-id部署。另一方面，无监督的re-id方法依赖于未标记的数据来训练模型，但与有监督的re-id方法相比表现不佳。在这项工作中，我们的目标是将无监督的re-id学习与少量的人类注释相结合，以实现有竞争力的性能。为了实现这一目标，我们提出了一种无监督聚类主动学习（UCAL）re-id深度学习方法。它能够增量式地发现具有代表性的质心对，并要求人工注释它们。这些少量的标记代表性成对数据可以改善无监督表示学习模型与其他大量的未标记数据。更重要的是，由于选择了具有代表性的质心对进行注释，因此UCAL可以以非常低的人力成本工作。大量的实验表明，该模型的优越性，国家的最先进的主动学习方法在三个re-id基准数据集。
2021-12-26 cs.AI cs.CV
Cross-Media Similarity Evaluation for Web Image Retrieval in the Wild
Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）
为了通过文本查询检索未标记图像，跨媒体相似性计算是一个关键组成部分。虽然新的方法不断推出，已经做了一些评估这些方法与大规模的查询日志分析。因此，这些方法在回答真实用户查询方面给我们带来了多大的帮助尚不清楚。鉴于使用相对简单的文本/图像匹配计算跨媒体相似性的基线方法，高级模型取得了多大进展也不清楚。本文从语用学的角度对这两个问题进行了探讨。根据所提出的查询可视性度量，将查询自动分类，然后将其连接到三个测试集上的多个跨媒体相似性模型的评估。这样的连接表明，国家的最先进的成功主要是由于他们的良好性能的面向视觉的查询，而这些查询只占一小部分的真实用户查询。为了量化目前的进展，我们提出了一个简单的text 2 image方法，表示一个新的测试查询的一组图像从大规模的查询日志中选择。因此，计算测试查询和给定图像之间的跨媒体相似性归结为比较给定图像和所选图像之间的视觉相似性。在具有挑战性的Clickture数据集上进行的图像检索实验表明，所提出的text 2 image与最近基于深度学习的替代方案相比毫不逊色。
2018-01-06 cs.CV
Interpretable Text-Guided Image Clustering via Iterative Search
University of Edinburgh（爱丁堡大学）
提出ITGC方法，通过迭代搜索和无监督聚类目标生成可解释视觉概念，解决文本引导图像聚类中的模糊性，在多个基准上优于现有方法。
2025-09-09 cs.CV
Max-Margin Invariant Features from Transformed Unlabeled Data
Carnegie Mellon University（卡内基梅隆大学）
研究对数据的常见变换不变的表示对于学习是重要的。大多数技术都集中在昂贵的优化框架内实现的局部近似不变性，缺乏明确的理论保证。在本文中，我们研究内核是不变的酉群，同时有理论保证，在解决重要的实际问题的不可用的转换版本的标记数据。我们称之为无标记转换问题，它是半监督学习和一次性学习的一种特殊形式。我们提出了一个理论上的动机替代方法不变核SVM的基础上，我们提出最大利润不变特征（MMIF）来解决这个问题。作为一个例子，我们设计了一个人脸识别的框架，并在一个包含153，000张图像的大规模半合成数据集上展示了我们的方法的有效性，以及一个新的具有挑战性的野生标记人脸（LFW）协议，同时表现出强大的基线。
2017-10-24 cs.AI cs.CV cs.LG
Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering
Wuhan University（武汉大学）；Peking University（北京大学）
在过去的几年里，电子漫画（电子日本式漫画）有了戏剧性的增长。面对漫画研究的需求和大量未标注的漫画数据，我们提出了一个新的课题，称为无监督漫画人物再识别。然而，漫画的艺术表现力和文体局限性给重新认同问题带来了诸多挑战。受一些与内容相关的特征可能有助于聚类的思想的启发，我们提出了一种面体时空关联聚类方法（FSAC）。在面体组合模块中，利用图像的完整性，构建面体图，解决艺术创作中的夸张、变形等问题。在时空关系校正模块中，我们分析了字符的外观特征，并设计了一个时空相关的三元组损失来微调聚类。在一个109卷的漫画书数据集上进行的大量实验验证了该方法在无监督漫画角色重识别中的优越性。
2022-04-10 cs.CV
Dynamic Clustering and Cluster Contrastive Learning for Unsupervised Person Re-identification
Beijing University of Posts and Telecommunications（北京邮电大学）
无监督Re-ID方法旨在从未标记数据中学习鲁棒性和区分性特征。然而，现有的方法往往忽略了Re-ID框架的模块参数与特征分布之间的关系，这可能会导致特征错位，影响模型的性能。为了解决这个问题，我们提出了一个动态聚类和聚类对比学习（DCCC）方法。具体来说，我们首先设计了一个动态的聚类参数调度器（DCPS），调整聚类的超参数，以适应类内和类间距离的变化。然后，设计了一种动态聚类对比学习（DyCL）方法，将聚类表示向量的权值与局部特征关联度相匹配。最后，构建了一种标签平滑软对比损失算法（$L_{ss}$），以保持聚类对比学习和自监督学习之间的平衡，同时降低计算量，提高计算效率。在几个广泛使用的公共数据集上的实验验证了我们提出的DCCC的有效性，它通过实现最佳性能而优于以前的最先进的方法。
2023-03-13 cs.CV
Viewpoint-aware Progressive Clustering for Unsupervised Vehicle Re-identification
Anhui University（安徽大学）
车辆重新识别（Re-ID）在智慧城市大规模智能监控中具有重要意义，因此是一项活跃的任务。尽管近年来进展迅速，但大多数现有方法以监督的方式处理车辆Re-ID任务，这既耗时又费力，并且限制了它们在现实生活场景中的应用。最近，无监督的人的Re-ID方法取得了令人印象深刻的性能，探索域自适应或基于聚类的技术。然而，人们不能直接将这些方法推广到车辆Re-ID，因为车辆图像在不同的视角下呈现出巨大的外观变化。为了解决这个问题，我们提出了一种新的视角感知聚类算法的无监督车辆Re-ID。特别是，我们首先将整个特征空间划分为不同的子空间，根据预测的观点，然后执行渐进聚类挖掘样本之间的准确关系。在两个多视点基准数据集VeRi和VeRi-Wild上对最先进的方法进行了全面的实验，验证了所提出的方法在处理无监督车辆Re-ID时在有和没有域自适应场景下的良好性能。
2020-11-18 cs.CV
Unsupervised Image Classification with Adaptive Nearest Neighbor Selection and Cluster Ensembles
Department of Computer Engineering, Middle East Technical University（计算机工程系，中东部技术大学）；Helmholtz Munich（慕尼黑海德堡大学）
本文提出ICCE方法，通过自适应最近邻选择和聚类集合提升无监督图像分类性能，在多个数据集上取得领先准确率。
2025-11-20 cs.CV
Bridging Non Co-occurrence with Unlabeled In-the-wild Data for Incremental Object Detection
National University of Singapore（新加坡国立大学）；Harbin Institute of Technology（哈尔滨工业大学）
深度网络在目标检测任务中表现出了显著的效果。然而，当它们随后在没有来自最初用于训练模型的基类的任何样本的情况下在新类上训练时，它们的性能遭受严重下降。这种现象被称为灾难性遗忘。近年来，提出了几种增量学习方法来减轻目标检测中的灾难性遗忘。尽管有效，这些方法需要在新类的训练数据中的未标记的基本类的共现。这种要求在许多现实环境中是不切实际的，因为基类不一定与新类共存。鉴于这一限制，我们考虑了一个更实际的设置完全没有同现的基础和新的类的目标检测任务。我们建议使用未标记的野生数据来桥接在训练额外的新类期间由缺失的基类引起的非共现。为此，我们引入了一种盲采样策略，该策略基于基类模型和预训练的新类模型的响应，从大型野外数据集中选择较小的相关数据集进行增量学习。然后，我们设计了一个双教师蒸馏框架，使用采样的野外数据将从基础和新课程教师模型中提取的知识转移到学生模型中。在PASCAL VOC和MS COCO数据集上的实验结果表明，当训练过程中基本类和新类之间没有共现时，我们提出的方法显着优于其他最先进的类增量目标检测方法。
2021-10-28 cs.CV
Switch-a-View: View Selection Learned from Unlabeled In-the-wild Videos
UT Austin（德克萨斯大学奥斯汀分校）；University of Utah（犹他大学）
提出SWITCH-A-VIEW模型，通过伪标签前置任务从无标注教学视频学习视角选择规律，应用于多视角视频编排，并在HowTo100M和Ego-Exo4D上验证优势。
2025-04-22 cs.CV
Overcoming Catastrophic Forgetting with Unlabeled Data in the Wild
University of Michigan（密歇根大学）；KAIST（韩国科学技术院）
众所周知，使用深度神经网络进行终身学习会遭受灾难性遗忘：当学习新任务时，先前任务的性能会急剧下降。为了减轻这种影响，我们建议利用大量的未标记的数据流很容易在野外获得。特别是，我们设计了一个新的类增量学习方案（a）一个新的蒸馏损失，称为全局蒸馏，（b）一个学习策略，以避免过拟合到最近的任务，和（c）一个基于置信度的采样方法，以有效地利用未标记的外部数据。我们在包括CIFAR和ImageNet在内的各种数据集上的实验结果证明了所提出的方法优于现有方法，特别是当可访问未标记数据流时：与最先进的方法相比，我们的方法显示出高达15.8%的准确率和46.5%的遗忘率。该代码可在https://github.com/kibok90/iccv2019-inc上获得。
2019-10-26 cs.CV cs.LG stat.ML
Vid-Morp: Video Moment Retrieval Pretraining from Unlabeled Videos in the Wild
Nanyang Technological University（南洋理工大学）
针对视频时刻检索依赖昂贵标注的问题，本文构建含5万余野外视频和20万伪标注的 Vid-Morp，并提出 ReCorrect 通过语义细化与记忆共识校正噪声伪标签，实现接近全监督的零样本与无监督性能。
2024-12-01 cs.CV
HOpenCls: Training Hyperspectral Image Open-Set Classifiers in Their Living Environments
Wuhan University（武汉大学）；Stanford University（斯坦福大学）
针对现有高光谱图像开集分类依赖可分性强、标注成本高的辅助未知类数据的问题，提出HOpenCls框架，将无标注野生数据的开集分类转化为PU学习问题，通过多标签策略和梯度收缩扩张模块求解，显著提升真实场景分类性能。
2025-02-21 cs.CV
Mind Your Clever Neighbours: Unsupervised Person Re-identification via Adaptive Clustering Relationship Modeling
无监督人再识别（Re-ID）由于其解决有监督Re-ID模型可扩展性问题的潜力而受到越来越多的关注。大多数现有的无监督方法采用迭代聚类机制，其中网络基于无监督聚类生成的伪标签进行训练。然而，聚类错误是不可避免的。为了生成高质量的伪标签并减轻聚类错误的影响，我们提出了一种新的无监督人Re-ID聚类关系建模框架。具体来说，在聚类之前，基于图相关学习（GCL）模块探索未标记图像之间的关系，然后将改进的特征用于聚类以生成高质量的伪标签。因此，GCL自适应地挖掘小批量样本之间的关系，以减少训练时异常聚类的影响。为了更有效地训练网络，我们进一步提出了一种选择性对比学习（SCL）方法与选择性存储体更新政策。大量的实验表明，我们的方法在Market 1501，DukeMTMC-reID和MSMT 17数据集上显示出比大多数最先进的无监督方法更好的结果。我们将发布模型复制的代码。
2021-12-08 cs.AI cs.CV cs.IR
Chaotic-to-Fine Clustering for Unlabeled Plant Disease Images
Deakin-SWU Joint Research Centre on Big Data（迪肯大学-西南大学大数据联合研究中心）；Deakin University（迪肯大学）
目前植物病害图像的标注主要依靠农业专家的人工分类和手工特征提取，费时费力。在本文中，我们提出了一个自监督聚类框架的基础上的脆弱性核K-均值植物病害图像分组。其主要思想是建立一个基于核K均值的交叉迭代下聚类算法，产生伪标记的训练集和混沌聚类，由深度学习模块进一步分类。为了验证我们提出的框架的有效性，我们进行了广泛的实验，在三个不同的植物病害数据集与5种植物和17种植物病害。实验结果表明，我们的方法做基于图像的植物病害分类在平衡和不平衡的数据集的高优越性，通过比较与五个国家的最先进的现有作品在不同的指标。
2021-01-18 cs.CV
Generalized Category Discovery with Clustering Assignment Consistency
University of Electronic Science and Technology of China（电子科技大学）；Hong Kong Baptist University（香港浸会大学）；The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文针对广义类别发现中未知类别数的问题，提出一种基于协同训练与聚类一致性表示学习的框架，通过弱强增强视图、特征-原型相似性与聚类分配一致性约束及社区检测，在多个基准上取得领先性能。
2023-10-30 cs.CV
Extending the WILDS Benchmark for Unsupervised Adaptation
INRAE（法国国家农业、食品与环境研究院）
部署在野外的机器学习系统通常在源分布上训练，但部署在不同的目标分布上。未标记的数据可以是缓解这些分布偏移的有力杠杆点，因为它通常比标记的数据更可用，并且通常也可以从源分布之外的分布中获得。然而，现有的分布偏移基准与未标记的数据并不反映在现实世界中出现的应用程序的场景的广度。在这项工作中，我们提出了WILDS 2.0更新，它扩展了WILDS分布偏移基准测试中10个数据集中的8个，以包括在部署中实际可获得的策划的未标记数据。这些数据集涵盖了广泛的应用（从组织学到野生动物保护），任务（分类，回归和检测）和模式（照片，卫星图像，显微镜载玻片，文本，分子图）。该更新通过使用相同的标记训练，验证和测试集以及评估指标来保持与原始WILDS基准的一致性。在这些数据集上，我们系统地对利用未标记数据的最先进方法进行了基准测试，包括域不变，自训练和自监督方法，并表明它们在WILDS上的成功是有限的。为了方便方法的开发和评估，我们提供了一个开源包，它可以自动加载数据，并包含本文中使用的所有模型架构和方法。代码和排行榜可在https://wilds.stanford.edu上获得。
2022-04-24 cs.AI cs.CV cs.LG
Semantic-Anchored, Class Variance-Optimized Clustering for Robust Semi-Supervised Few-Shot Learning
Indian Institute of Technology Jodhpur（印度理工学院贾姆pur分校）
本文提出一种结合类方差优化聚类和语义信息注入的半监督少样本学习方法，通过提升聚类效果和伪标签生成，显著提升模型性能。
2025-12-15 cs.CV
OmniGaze: Reward-inspired Generalizable Gaze Estimation In The Wild
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）；Nanjing Forestry University（南京林业大学）
OmniGaze提出半监督框架，利用大规模未标注数据和奖励模型评估伪标签可靠性，实现野外3D视线估计的域泛化，在多个数据集上达到最先进性能并具备零样本泛化能力。
2025-10-16 cs.CV
Cross-Domain Adaptive Clustering for Semi-Supervised Domain Adaptation
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Deepwise AI Lab（深睿医疗人工智能实验室）
在半监督领域自适应中，目标域中每个类的一些标记样本引导剩余目标样本的特征聚集在它们周围。然而，由于训练数据由来自源域的标记样本支配，因此训练模型不能产生目标域的高度区分的特征表示。这可能导致标记的和未标记的目标样本之间的断开以及未标记的目标样本和源域之间的未对准。在本文中，我们提出了一种新的方法，称为跨域自适应聚类来解决这个问题。为了同时实现域间和领域自适应，我们首先引入了一个对抗性的自适应聚类损失组的未标记的目标数据的特征到集群，并执行跨源和目标域的集群明智的特征对齐。我们进一步将伪标签应用于目标域中的未标记样本，并以高置信度保留伪标签。伪标记扩展了目标域中每个类中的“标记”样本的数量，从而为每个类产生更健壮和更强大的聚类核心，以促进对抗学习。在DomainNet、P2P-Home和Office等基准数据集上的实验表明，该方法在半监督领域自适应方面达到了最先进的性能.
2021-04-19 cs.CV
Gotta Adapt 'Em All: Joint Pixel and Feature-Level Domain Adaptation for Recognition in the Wild
Michigan State University（密歇根州立大学）；NEC Labs America（NEC美国实验室）；UC San Diego（加州大学圣迭戈分校）
深度领域自适应的最新发展已经允许在中间特征或输入像素的级别上从标记的源域到未标记的目标域的知识转移。我们建议，优势可以通过将它们结合起来，以不同的见解的形式，导致一个新的设计和互补的性能，导致更好的性能。在特征层次上，受半监督学习的启发，我们提出了一个分类感知领域对抗神经网络，将目标样本带入源域的更多可分类区域。接下来，我们认为计算机视觉的见解更适合在像素级注入。特别是，我们使用基于广义外观流的3D几何和图像合成来保持姿势变换的身份，同时使用属性条件CycleGAN将单个源转换为在较低级别属性（如照明）中不同的多个目标图像。除了标准的UDA基准，我们验证了一个新的和适当的问题，汽车识别未标记的监控图像使用标记的图像从网络上，处理明确指定的，命名的变化因素，通过像素级和隐式，未指定的因素，通过特征级的适应。
2019-05-28 cs.CV
Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos
Columbia University（哥伦比亚大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Central Florida（中佛罗里达大学）；Goethe University Frankfurt（法兰克福大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research AI（IBM研究院人工智能部门）；UT Austin（德克萨斯大学奥斯汀分校）；NYU（纽约大学）
多模态自监督学习正受到越来越多的关注，因为它不仅允许在没有人类监督的情况下训练大型网络，而且还可以跨各种模态搜索和检索数据。在这种情况下，本文提出了一个自我监督的训练框架，学习一个共同的多模态嵌入空间，除了在不同的模态共享表示，强制执行一组语义相似的实例。为此，我们扩展了实例级对比学习的概念，在训练管道中使用多模态聚类步骤来捕获模态之间的语义相似性。由此产生的嵌入空间可以在所有模态中检索样本，甚至可以从看不见的数据集和不同的域中检索。为了评估我们的方法，我们在HowTo100 M数据集上训练我们的模型，并在两个具有挑战性的领域评估其zero-shot检索能力，即文本到视频检索和时间动作定位，在四个不同的数据集上显示最先进的结果。
2021-09-03 cs.CV
PURE: Refining Feed-forward 3D Reconstruction with Unlabeled Post-training
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）；Pengcheng Laboratory（鹏城实验室）
针对前馈三维重建模型在真实动态视频中泛化差的问题，提出无需标注的PURE框架，通过提炼二维先验知识优化几何预测，在多基准上提升性能并缓解域偏移。
2026-10-21 cs.CV
Prior-Free Continual Learning with Unlabeled Data in the Wild
Shandong Artificial Intelligence Institute, Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）山东人工智能研究院）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
提出无先验持续学习（PFCL）方法，利用辅助无标签数据和可靠样本选择策略，在无任务标识和旧数据条件下，有效缓解遗忘，达到与重放方法相当的准确率。
2023-10-16 cs.CV cs.LG
SfSNet: Learning Shape, Reflectance and Illuminance of Faces in the Wild
University of Maryland, College Park（马里兰大学帕克分校）；University of California, Berkeley（加州大学伯克利分校）
我们提出了SfSNet，一个端到端的学习框架，用于将不受约束的人脸图像准确分解为形状，反射率和照度。SfSNet旨在反映物理朗伯渲染模型。SfSNet从标记的合成图像和未标记的真实世界图像的混合中学习。这允许网络通过光度重建损失从真实图像的合成和高频细节捕获低频变化。SfSNet由一个新的分解架构和残差块组成，它可以学习完全分离正常和非正常。这与原始图像一起用于预测照明。SfSNet产生显着更好的定量和定性结果比国家的最先进的方法，逆渲染和独立的正常和照明估计。
2018-04-19 cs.CV
Component Adaptive Clustering for Generalized Category Discovery
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
本文提出 AdaGCD 框架，通过引入自适应槽注意力 AdaSlot 动态确定最优槽数量，在无需预定义类别数的条件下实现未标注图像的已知与新类别发现，并在多个数据集上验证了其有效性。
2025-07-02 cs.CV
CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the Wild
Leibniz University Hannover（汉诺威莱布尼茨大学）；UBC Vancouver（不列颠哥伦比亚大学温哥华校区）
从单幅图像中估计人体姿态是计算机视觉中的一个具有挑战性的问题，它需要大量的带标签的训练数据来精确求解。不幸的是，对于许多人类活动（\eg户外运动），这样的训练数据并不存在，并且很难或者甚至不可能用传统的运动捕捉系统来获取。我们提出了一种自监督的方法，学习一个单一的图像3D姿态估计从未标记的多视图数据。为此，我们利用多视图的一致性约束，解开观察到的2D姿态到底层的3D姿态和相机旋转。与大多数现有方法相比，我们不需要校准相机，因此可以从移动相机中学习。然而，在静态相机设置的情况下，我们提出了一个可选的扩展，将多个视图上的恒定相对相机旋转纳入我们的框架。成功的关键是新的，无偏见的重建目标，混合跨视图和训练样本的信息。该方法在两个基准数据集（Human3.6M和MPII-INF-3DHP）和野外SkiPose数据集上进行了评估。
2020-11-30 cs.CV
Adaptive Betweenness Clustering for Semi-Supervised Domain Adaptation
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Research Institute of Sun Yat-sen University in Shenzhen（中山大学深圳研究院）
本文提出G-ABC半监督域适应方法，通过异构图精化与自适应介数聚类传播跨域标签语义，并在三个基准上优于现有方法。
2024-01-21 cs.CV
An Adaptor for Triggering Semi-Supervised Learning to Out-of-Box Serve Deep Image Clustering
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
提出ASD适配器，无需预训练或聚类模型即可冷启动半监督学习器用于深度图像聚类，通过伪标签和类别转换追踪分配聚类标签，性能优越且差距极小。
2025-09-25 cs.CV cs.LG
Pose Recognition in the Wild: Animal pose estimation using Agglomerative Clustering and Contrastive Learning
Jadavpur University（贾达普大学）
动物姿态估计由于其在生物学、动物学和水产养殖业中的应用而受到关注。深度学习方法已经有效地应用于人体姿态估计。然而，这些方法应用于动物姿态估计的主要瓶颈是没有足够数量的标记数据。虽然有大量的未标记的数据公开可用，但为每种动物标记大量数据在经济上是不切实际的。此外，由于动物王国中各种各样的身体形状，跨领域的知识转移是无效的。鉴于人类大脑能够在不需要大量标记数据的情况下识别动物姿势的事实，我们利用无监督学习来解决从可用的未标记数据中识别动物姿势的问题是合理的。在本文中，我们介绍了一种新的架构，能够识别的姿势，多个动物fromunlabeled数据。我们这样做是通过（1）从每个图像中去除背景信息，并采用边缘检测算法的动物的身体，（2）跟踪边缘像素的运动，并执行凝聚聚类分割身体部位，（3）采用对比学习，以阻止遥远的身体部位分组在一起。因此，我们能够区分动物的身体部位，基于它们的视觉行为，而不是潜在的解剖结构。因此，我们能够实现比人类标记的数据更有效的数据分类。我们在TigDog和WLD（WildLife Documentary）数据集上测试了我们的模型，在这些数据集上，我们的表现明显优于最先进的方法。我们还研究了我们的模型在其他公共数据上的性能，以证明我们的模型的泛化能力。
2021-11-16 cs.AI cs.CV
Category-Level 6D Object Pose Estimation in the Wild: A Semi-Supervised Learning Approach and A New Dataset
UC San Diego（加州大学圣地亚哥分校）
目标的6维位姿估计是计算机视觉和机器人研究中的基本问题之一。虽然最近已经在将姿态估计推广到同一类别内的新对象实例（即类别级6D姿态估计）方面做出了很多努力，但是在给定有限数量的注释数据的约束环境中，它仍然受到限制。在本文中，我们收集了Wild6D，一个新的未标记的RGBD对象视频数据集，具有不同的实例和背景。我们利用这些数据来推广类别级的6D对象姿态估计在野外与半监督学习。我们提出了一个名为Rendering for Pose estimation网络RePoNet的新模型，该模型使用自由地面实况与合成数据以及真实世界数据上的轮廓匹配目标函数进行联合训练。在不对真实数据使用任何3D注释的情况下，我们的方法在以前的数据集和我们的Wild6D测试集（带有手动注释进行评估）上的性能大大优于最先进的方法。Wild6D数据的项目页面：https://oasisyang.github.io/semi-pose。
2022-06-30 cs.CV cs.RO
XCon: Learning with Experts for Fine-grained Category Discovery
Tongji University（同济大学）；University of Edinburgh（爱丁堡大学）；LunarAI
本文研究了广义类别发现（GCD）问题，即利用可见类集合中的信息对未标记图像进行聚类，其中未标记图像既包含可见类，也包含未标记类。可见的类可以被看作是类的隐式标准，这使得这种设置不同于无监督聚类，其中聚类标准可能是模糊的。我们主要关注的问题，发现细粒度的数据集内的类别，因为它是类别发现的最直接的应用之一，即帮助专家发现新的概念，在未标记的数据集内使用所看到的类所提出的隐式标准。现有的广义类别发现方法利用对比学习来学习表示，但是大的类间相似性和类内方差对方法提出了挑战，因为反例可能包含用于识别类别的不相关线索，因此算法可能收敛到局部最小值。我们提出了一种新的方法，称为专家对比学习（XCon），以帮助该模型挖掘有用的信息，从图像的数据集划分为子数据集使用k均值聚类，然后执行对比学习的每个子数据集学习细粒度的判别功能。在细粒度数据集上的实验表明，与以往的最佳方法相比，该方法的性能有了明显的提高，表明了该方法的有效性。
2022-08-03 cs.CV
Semi-Supervised Clustering with Neural Networks
IIIT-Delhi（德里英德拉普拉斯塔信息技术学院）
最近，使用神经网络的聚类在机器学习和计算机视觉应用中表现出有前途的性能。然而，现有方法的性能受到无监督学习或依赖于大量标记数据样本的限制。在本文中，我们提出了一种新的聚类方法，它使用来自很少的标记数据样本（<总数据的5%）的成对语义约束，并利用大量的未标记数据来驱动聚类方法。我们定义了一个新的损失函数，它使用对象之间的成对语义相似性结合约束k均值聚类，有效地利用标记和未标记的数据在同一个框架。所提出的网络使用卷积自动编码器来学习将数据分组为k个指定聚类的潜在表示，同时还学习聚类中心。我们评估和比较了几个数据集和最先进的深度聚类方法的性能。
2018-07-10 cs.CV cs.LG stat.ML
Image to Pseudo-Episode: Boosting Few-Shot Segmentation by Unlabeled Data
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Intelligent Computing Technology, CAS（中国科学院智能计算技术研究所）；Microsoft Research Asia（微软亚洲研究院）
针对小样本分割中新类别标注数据不足导致泛化能力差的问题，提出IPE方法，通过谱聚类生成伪标签、数据增强生成伪片段来利用无标注数据，在多个基准上取得SOTA性能。
2024-05-14 cs.CV
Task-Adaptive Clustering for Semi-Supervised Few-Shot Classification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）
少样本学习旨在仅使用少量新的训练数据来处理以前看不见的任务。然而，在准备（或元训练）一个Few-Shot学习器时，需要大量的标记数据。不幸的是，在现实世界中，标记数据是昂贵和/或稀缺的。在这项工作中，我们提出了一个Few-Shot学习器，可以很好地工作在半监督设置下，大部分的训练数据是未标记的。我们的方法采用明确的任务条件，其中未标记的样本聚类为当前任务发生在一个新的投影空间不同的嵌入特征空间。线性构造条件聚类空间，以便快速缩小当前任务的类质心与跨任务元训练的独立每类参考向量之间的差距。在更一般的设置中，我们的方法引入了控制元学习任务调节程度的概念：任务调节的量随着聚类空间的重复更新次数而变化。基于miniImageNet和tieredImageNet数据集的大量仿真结果显示了所提出方法的最先进的半监督Few-Shot分类性能。仿真结果还表明，所提出的任务自适应聚类显示出随着分心物样本数量的增加而适度退化，即，未标记的样本图像来自候选类别之外。
2020-03-18 cs.CV cs.LG stat.ML
Learning to Detect and Retrieve Objects from Unlabeled Videos
IBM Research AI（IBM研究AI）；Technion（以色列理工学院）
学习对象检测器或检索需要具有手动注释的大型数据集。创建这样的数据集既昂贵又耗时，因此难以大规模获得。在这项工作中，我们建议利用叙述中的自然相关性和视频中对象的视觉存在，学习对象检测器和检索，而无需任何手动标记。我们提出的问题，弱监督学习与噪声标签，并提出了一种新的目标检测范式下，这些限制。我们通过使用对比样本来处理背景拒绝，并使用新的聚类得分来应对高水平的标签噪声。我们的评估是基于一组超过5000帧的11个手动注释对象。我们将弱监督方法作为基线进行比较，并提供了一个强标记的上限。
2019-10-19 cs.CV
Dimensionality's Blessing: Clustering Images by Underlying Distribution
Advanced Digital Sciences Center（高级数字科学中心）；Sun Yat-Sen University（中山大学）；Institute of Infocomm Research（信息通信研究院）；Osaka University（大阪大学）
许多高维向量距离趋于常数。这通常被认为是一种负面的“对比度损失”现象，会阻碍聚类和其他机器学习技术。我们将“对比度损失”重新解释为一种祝福。使用大数定律重新推导“对比度损失”，我们表明它导致分布的实例集中在薄的“超壳”上。空心意味着表面上混乱的重叠分布实际上是内在可分的。我们使用它来开发分布聚类，这是一种优雅的算法，用于根据数据点的（未知的）潜在分布对数据点进行分组。分布聚类，从原始未标记数据中创建明显干净的聚类，估计自身的聚类数量，并且对形成自己的聚类的“离群值”具有固有的鲁棒性。这使得能够在无组织的数据中搜索模式，并且可能是实现机器智能的关键。
2018-04-08 cs.CV
OpenMix: Reviving Known Knowledge for Discovering Novel Visual Categories in An Open World
Xiamen University（厦门大学）；University of Technology Sydney（悉尼科技大学）；University of Trento（特伦托大学）
在本文中，我们解决的问题，发现新的类在未标记的视觉数据标记的数据从不相交的类。现有的方法通常首先用标记数据预训练模型，然后通过无监督聚类在未标记数据中识别新的类。然而，在第二步中，提供基本知识的标记数据往往未被充分利用。挑战在于标记和未标记的示例来自非重叠的类，这使得很难在它们之间建立学习关系。在这项工作中，我们引入OpenMix来混合来自开放集合的未标记示例和来自已知类的标记示例，其中它们的非重叠标签和伪标签同时混合到联合标签分布中。OpenMix以两种方式动态地组合示例。首先，我们通过将标记的示例与未标记的示例相结合来生成混合训练图像。由于新类发现中的先验知识是唯一的，因此生成的伪标签比原始的未标记预测更可信。因此，OpenMix有助于防止模型在未标记的样本上过度拟合，这些样本可能被分配了错误的伪标签。第二，第一种方法鼓励具有高类概率的未标记示例具有相当的准确性。我们将这些例子作为可靠的锚点引入，并将它们与未标记的样本进一步整合。这使我们能够在未标记的示例中生成更多的组合，并利用新类之间更精细的对象关系。在三个分类数据集上的实验证明了所提出的OpenMix的有效性，这是优于国家的最先进的方法，在新的类发现。
2020-04-12 cs.CV
Visual Pre-Training on Unlabeled Images using Reinforcement Learning
该研究将无标注图像视觉预训练建模为强化学习问题，通过智能体变换图像训练价值函数，可借助奖励函数利用精选图像或弱标注字幕优化特征学习，在多类真实无标注数据上实现了更好的图像表征。
2025-06-13 cs.CV cs.LG
Exploration and Exploitation of Unlabeled Data for Open-Set Semi-Supervised Learning
Sun Yat-sen University（中山大学）；Cardiff University（卡迪夫大学）；MeituanDianping group（美团点评集团）；The University of Hong Kong（香港大学）
本文研究开放集半监督学习，提出基于原型的聚类识别算法和基于重要性的采样方法，同时利用分布内和分布外无标签样本，在多个基准上达到SOTA。
2023-06-30 cs.CV
RigAnyFace: Scaling Neural Facial Mesh Auto-Rigging with Unlabeled Data
Penn State University（宾夕法尼亚州立大学）；Roblox
RigAnyFace通过基于未标注数据的2D监督策略，实现了对不同拓扑结构面部网格的高效自动rigging，支持多不连通组件，提升准确性和泛化能力。
2025-11-23 cs.CV
Contrast and Clustering: Learning Neighborhood Pair Representation for Source-free Domain Adaptation
Jiaxing University（嘉兴学院）；Zhejiang Normal University（浙江师范大学）；Zhejiang Sci-Tech University（浙江理工大学）
针对无源域数据的无监督域适应场景，本文从对比学习视角出发，通过最近邻聚类、扩展邻域构造难负样本对、结合噪声对比估计的方法学习域不变特征，在三个基准数据集上取得了优于现有最优方法的效果。
2023-12-13 cs.CV cs.LG
Efficient Semi-Supervised Adversarial Training via Latent Clustering-Based Data Reduction
CISPA Helmholtz Center for Information Security（CISPA信息安全赫尔姆霍兹中心）
本文提出基于潜在聚类的数据减少方法，有效降低半监督对抗训练的数据和计算需求，同时保持鲁棒性优势。
2026-03-07 cs.AI cs.CR cs.CV
Advanced Clustering Framework for Semiconductor Image Analytics Integrating Deep TDA with Self-Supervised and Transfer Learning Techniques
Intel Corporation（英特尔公司）；DataRefiner
本文提出一种融合深度拓扑数据分析、自监督学习与迁移学习的高级聚类框架，用于半导体图像的无监督缺陷识别与过程监控，并在合成及开源数据集上验证了其有效性。
2025-05-05 cs.AI cs.CV cs.ET
Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
最近，半监督学习（SSL）在利用未标记的数据，同时提供很少的标签方面表现出了很大的希望。在本文中，我们证明了在训练过程中间歇性地忽略整个时期的标签可以显着提高小样本区域的性能。更具体地说，我们建议就两项任务联合训练一个网络。主要分类任务暴露于未标记和几乎没有注释的数据，而次要任务则试图对没有任何标签的数据进行聚类。与在自我监督中经常使用的手工制作的借口任务相反，我们的聚类阶段使用相同的分类网络和头部，试图放松主要任务并从标签中传播信息，而不会过度拟合它们。最重要的是，在无监督学习阶段引入了对图像旋转进行分类的自监督技术，以稳定训练。我们证明了我们的方法在提升几种最先进的SSL算法方面的有效性，显着改善了它们的结果，并减少了各种标准半监督基准测试的运行时间，包括CIFAR-10的92.6%准确率和SVHN的96.9%，每个任务中每个类只使用4个标签。我们还显着改善了每个类1，2和3个标签的极端情况下的结果，并表明我们的模型学习的特征对分离数据更有意义。
2020-12-01 cs.CV cs.LG
Semi-Supervised Learning via Compact Latent Space Clustering
Microsoft Research Cambridge（微软研究院剑桥）；Imperial College London（帝国理工学院）；University College London（伦敦大学学院）
我们提出了一种新的成本函数的半监督学习的神经网络，鼓励紧凑聚类的潜在空间，以促进分离。其核心思想是在一批训练样本的标记和未标记样本的嵌入上动态创建一个图，以捕获特征空间中的底层结构，并使用标签传播来估计其高密度和低密度区域。然后，我们设计了一个基于图上的马尔可夫链的成本函数，该函数对潜在空间进行正则化，以形成每个类的单个紧凑集群，同时避免在优化过程中干扰现有集群。我们在三个基准上评估我们的方法，并与最先进的方法进行比较，结果令人鼓舞。我们的方法结合了基于图的正则化与高效的归纳推理的优点，不需要修改网络架构，因此可以很容易地应用于现有的网络，以有效地使用未标记的数据。
2018-07-29 cs.CV cs.LG cs.NE
Deep Active Learning with Contrastive Learning Under Realistic Data Pool Assumptions
Seoul National University of Science and Technology（首尔科学技术大学）
主动学习的目标是从未标记的数据池中识别出信息量最大的数据，使模型能够快速达到所需的准确性。这尤其有利于深度神经网络，其通常需要大量的标记样本来实现高性能。大多数现有的主动学习方法都是在理想环境中进行评估的，在理想环境中只有与目标任务相关的样本，即，分布内样本存在于未标记的数据池中。然而，从野外收集的数据池很可能包括与目标任务完全不相关的样本和/或过于模糊而无法分配单个类标签的样本，即使是对于oracle。我们认为，假设一个未标记的数据池组成的样本来自不同的分布是更现实的。在这项工作中，我们引入了新的主动学习基准，包括模糊的，任务无关的分布以及分布样本。我们还提出了一个主动学习方法，旨在获得信息的分布中的样本优先。所提出的方法利用标记和未标记的数据池，并通过对比学习构建的特征空间上的聚类选择样本。实验结果表明，所提出的方法需要更低的注释预算比现有的主动学习方法，以达到相同的准确率水平。
2023-03-25 cs.CV cs.LG
Deep Clustering Using the Soft Silhouette Score: Towards Compact and Well-Separated Clusters
University of Ioannina（约阿尼纳大学）
针对深度聚类的簇结构优化问题，提出轮廓系数的概率化形式软轮廓，搭配适配的自编码器架构优化目标，在多基准数据集上取得优于现有方法的聚类效果。
2024-02-01 cs.CV cs.LG
DECOR: Deep Embedding Clustering with Orientation Robustness
Micron Technology（micron技术公司）
DECOR通过引入方向鲁棒性，实现了在复杂、不平衡的晶圆数据中可靠且高效的聚类，提升自动化视觉检测系统的性能。
2026-01-22 cs.CV cs.LG
Open-World Semi-Supervised Learning
Stanford University（斯坦福大学）
在现实世界中应用半监督学习的一个基本限制是假设未标记的测试数据只包含以前在标记的训练数据中遇到的类。然而，这种假设很少适用于野外数据，其中属于新类的实例可能会在测试时出现。在这里，我们介绍了一种新的开放世界的半监督学习设置，形式化的概念，新的类可能会出现在未标记的测试数据。在这种新颖的设置中，目标是解决标记数据和未标记数据之间的类分布不匹配，在测试时，每个输入实例都需要被分类到现有的类中，或者需要初始化一个新的不可见的类。为了解决这个具有挑战性的问题，我们提出了ORCA，一种端到端的深度学习方法，该方法引入了不确定性自适应余量机制，以避免由于学习可见类的判别特征而导致的对可见类的偏见。通过这种方式，ORCA减少了所见的类内方差与新类之间的差距。在图像分类数据集和单细胞注释数据集上的实验表明，ORCA始终优于替代基线，在ImageNet数据集的可见类上实现了25%的改进，在新类上实现了96%的改进。
2022-01-25 cs.CV cs.LG
Understanding Contrastive Representation Learning from Positive Unlabeled (PU) Data
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；OpenAI；Meta
本文针对正无标记数据上的对比表示学习，提出puCL和puNCE两种无偏对比目标，并结合PU感知聚类伪标签算法，在低监督场景下显著优于现有方法。
2025-04-10 cs.AI cs.CV cs.LG
Neighborhood Contrastive Learning for Novel Class Discovery
University of Trento（特伦托大学）；Xiamen University（厦门大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
在本文中，我们解决了新的类发现（NCD），在一组未标记的样本中发现新的类的任务，给定一个带有已知类的标记数据集。我们利用NCD的特点，建立一个新的框架，命名为邻域对比学习（NCL），学习判别表示，是重要的聚类性能。我们的贡献是双重的。首先，我们发现在标记集上训练的特征提取器生成表示，其中通用查询样本及其邻居可能共享同一个类。我们利用这一观察结果来检索和聚合伪正对与对比学习，从而鼓励模型学习更多的歧视性表示。其次，我们注意到大多数实例很容易被网络区分，对对比损失的贡献较小。为了克服这个问题，我们建议通过在特征空间中混合标记和未标记的样本来生成硬底片。我们的实验证明，这两个成分显着有助于聚类性能，并导致我们的模型以较大幅度优于最先进的方法（例如，CIFAR-100上的聚类准确率为+13%，ImageNet上为+8%）。
2021-06-20 cs.AI cs.CV cs.LG
AutoEmbedder: A semi-supervised DNN embedding system for clustering
Bangladesh University of Business & Technology（孟加拉国商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
聚类是处理无标记数据的无监督学习方法中广泛使用的一种。深度集群已成为一个流行的研究领域，它将集群与深度神经网络（DNN）架构联系起来。深度聚类方法对高维数据进行下采样，这也可能与聚类损失有关。深度聚类也被引入到半监督学习（SSL）中。大多数SSL方法依赖于成对约束信息，这是一个矩阵，包含数据对是否可以在同一个集群中的知识。本文介绍了一种新的嵌入系统AutoEmbedder，下采样高维数据的聚类嵌入点。据我们所知，这是第一个与传统分类器DNN架构相关的研究工作，具有成对损失减少技术。训练过程是半监督的，并使用Siamese网络架构来计算特征学习阶段的成对约束损失。AutoEmbedder优于大多数现有的基于DNN的半监督方法，这些方法在著名的数据集上进行了测试。
2020-07-11 cs.CV cs.LG stat.ML
