BP-Triplet Net for Unsupervised Domain Adaptation: A Bayesian Perspective
Anhui University(安徽大学);Chongqing University(重庆大学);Alibaba Group(阿里巴巴集团)
三重丢失是深度度量学习(DML)方法之一,用于学习来自同一类的样本比来自不同类的样本更接近的嵌入。受DML的启发,我们从贝叶斯学习的角度提出了一种有效的用于无监督域自适应(UDA)的BP-Triplet Loss模型,并将其命名为BP-Triplet Net。在以往的基于度量学习的UDA方法中,对不同领域的样本对进行了平等的处理,由于领域偏差,这是不合适的。在我们的工作中,考虑到两个特征学习和领域对齐的成对样本的不同重要性,我们推导出我们的BP三重损失有效的UDA从贝叶斯学习的角度。我们的BP三重损失调整域内和域间成对样本的权重。特别地,它可以自关注硬对(包括硬正对和硬负对)。与域对齐常用的对抗性损失一起,目标伪标签的质量逐步提高。我们的方法实现了理想源和目标假设的低联合误差。然后,期望目标误差可以遵循本-大卫定理上界。在手写体数字、ImageCLEF-DA、ImageCLEF-Home和VisDA-2017五个基准数据集上的综合评估证明了所提出的UDA方法的有效性。
2022-02-19 cs.CV
Leveraging large language models for efficient representation learning for entity resolution
University of Arkansas, Little Rock(阿肯色大学小石城分校)
本文提出TriBERTa实体解析系统,利用预训练SBERT模型和三元组损失函数的对比学习生成微调向量表示,在实体匹配任务中比未微调SBERT和TF-IDF提升3-19%,并展现更强鲁棒性。
2024-11-15 cs.AI cs.CL
Advanced Computing and Related Applications Leveraging Brain-inspired Spiking Neural Networks
本文综述了脉冲神经网络在脑启发人工智能中的核心计算与应用,系统分析了五种神经元模型、五种网络拓扑结构及多类学习算法,并重点回顾了国内外类脑神经形态芯片的研究进展,为该领域新手提供学习概念与研究方向。
2023-09-08 cs.AI cs.NE
Triplet Contrastive Representation Learning for Unsupervised Vehicle Re-identification
Nanjing University of Science and Technology(南京理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
零件特征学习是车辆再识别中细粒度语义理解的关键。然而,现有的方法直接模型的部分功能和全球功能,这很容易导致严重的梯度消失问题,由于其不平等的特征信息和不可靠的伪标签的无监督车辆重新识别。为了解决这个问题,在本文中,我们提出了一个简单的三元组对比表示学习(TCRL)框架,利用聚类特征来桥接部分特征和全局特征,用于无监督的车辆重新识别。具体而言,TCRL设计了三个存储体来存储实例/聚类特征,并提出了一种代理对比损失(PCL)机制,在相邻的存储体之间进行对比学习,从而将局部特征与全局特征之间的关联表示为局部-聚类和聚类-全局关联的过渡。由于集群存储体处理所有的车辆特征,它可以总结成一个有区别的特征表示。为了深入利用实例/集群信息,TCRL提出了两个额外的损失函数。对于实例级特征,混合对比损失(HCL)通过接近正实例特征并将所有负实例特征推开来重新定义样本相关性。对于聚类级特征,加权正则化聚类对比损失(WRCCL)通过根据实例相似性惩罚错误标记的图像来细化伪标签。大量的实验表明,TCRL优于许多国家的最先进的无监督车辆重新识别方法。
2023-03-16 cs.CV
Tiny Descriptors for Image Retrieval with Unsupervised Triplet Hashing
Institute for Infocomm Research(资讯通信研究院);Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学);CentraleSupélec(巴黎中央理工-高等电力学院)
一个典型的图像检索流水线开始于比较来自大型数据库的全局描述符,以找到候选匹配的短列表。一个好的图像描述符是检索管道的关键,应该协调两个矛盾的要求:提供尽可能高的召回率和尽可能紧凑的快速匹配。随着深度卷积神经网络(DCNN)在大规模图像分类中的成功应用,越来越多地使用从DCNN中提取的描述符来代替传统的手工描述符,如具有更好检索性能的Fisher向量(FV)。然而,典型的DCNN描述符的维度-从视觉特征金字塔或完全连接的层中提取-在数千个标量值处仍然相当高。在本文中,我们提出了无监督三重哈希(UTH),一种完全无监督的方法来计算非常紧凑的二进制哈希-在32-256位范围内-从高维全局描述符。UTH由两个连续的深度学习步骤组成。首先,堆叠限制玻尔兹曼机(SRBM),一种无监督的深度神经网络,用于学习二进制嵌入函数,能够将描述符大小降低到所需的比特率。SRBM通常能够以丢失原始DCNN描述符空间的一些期望度量属性为代价来确保非常高的压缩率。然后,三元组网络,基于权重共享网络的秩学习方案被用来微调二进制嵌入函数,以尽可能多地保留原始空间的有用度量属性。使用DCNN描述符对多个公开可用的数据集进行的全面实证评估表明,我们的方法能够在目标比特范围内显着优于最先进的无监督方案。
2015-11-10 cs.CV cs.IR cs.LG
AdaTriplet-RA: Domain Matching via Adaptive Triplet and Reinforced Attention for Unsupervised Domain Adaptation
Nanjing University of Information Science and Technology(南京信息工程大学);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);Zenith Ai;East China Normal University(华东师范大学)
无监督域自适应(UDA)是一种迁移学习任务,其中源域的数据和注释可用,但在训练期间只能访问未标记的目标数据。大多数先前的方法试图通过在源域和目标域之间执行分布对齐来最小化域间隙,这具有显著的限制,即,在域级别上操作,但忽略样本级别的差异。为了减轻这一弱点,我们提出了改进无监督领域自适应任务与域间样本匹配计划。我们采用广泛使用的和强大的三重损失匹配域间样本。为了减少训练过程中产生的不准确伪标签的灾难性影响,我们提出了一种新的不确定性测量方法来自动选择可靠的伪标签并逐步对其进行改进。我们采用先进的离散松弛Gumbel Softmax技术来实现自适应Topk方案,以实现功能。此外,为了实现域匹配的一个批次内的全局排名优化,整个模型通过一种新的加强注意力机制进行优化,并使用平均精度(AP)作为奖励,该机制具有来自策略梯度算法的监督。我们的模型(称为\textbf{\textit{AdaTriplet-RA}})在几个公共基准数据集上获得了最先进的结果,其有效性通过全面的消融研究得到了验证。我们的方法在VisDa数据集上将基线的准确性提高了9.7%(ResNet-101)和6.2%(ResNet-50),在Domainnet数据集上提高了4.22%(ResNet-50)。{The源代码可在\textit{https://github.com/shuxy0120/AdaTriplet-RA}上…
2022-11-16 cs.CV
Leveraging Unsupervised Learning for Cost-Effective Visual Anomaly Detection
Department of Engineering, University of Cambridge(剑桥大学工程系)
本研究提出一种低成本视觉异常检测系统,通过预训练模型和低成本硬件,利用少量数据实现高准确率的异常检测,适用于中小型企业。
2026-05-17 cs.AI cs.CV
UIP2P: Unsupervised Instruction-based Image Editing via Edit Reversibility Constraint
ETH Zürich - DALAB(苏黎世联邦理工学院- DALAB);Technical University of Munich(慕尼黑技术大学);Google Switzerland(瑞士谷歌)
本文提出UIP2P,一种无需真实编辑图像的无监督指令图像编辑方法,通过编辑可逆性约束(ERC)实现前向与反向编辑对齐,在真实数据上训练,提升编辑保真度与泛化能力。
2025-09-26 cs.CV
Mutual Mean-Teaching: Pseudo Label Refinery for Unsupervised Domain Adaptation on Person Re-identification
The Chinese University of Hong Kong(香港中文大学)
人物再识别(re-ID)的目的是在不同的相机识别相同的人的图像。然而,不同数据集之间的域差异对在一个数据集上训练的re-ID模型适应另一个数据集提出了明显的挑战。最先进的无监督领域自适应方法的人重新识别转移学习的知识,从源域通过优化与伪标签创建的聚类算法在目标域。虽然他们取得了国家的最先进的性能,不可避免的标签噪声所造成的聚类过程被忽略。这种噪声伪标签大大阻碍了模型进一步改进目标域上的特征表示的能力。为了减轻噪声伪标签的影响,我们建议通过提出一个无监督的框架,相互意义教学(MMT),通过离线精炼的硬伪标签和在线精炼的软伪标签,以替代的训练方式从目标域学习更好的特征,从而软精炼目标域中的伪标签。此外,通常的做法是同时采用分类损失和三重损失来实现人的re-ID模型的最佳性能。然而,传统的三重丢失不能与软精炼标签一起工作。为了解决这个问题,提出了一种新的软softmax-triplet loss,以支持软伪三元组标签的学习,以实现最佳的领域自适应性能。提出的MMT框架实现了14.4%,18.2%,13.1%和16.4%的市场到公爵,公爵到市场,市场到MSMT和公爵到MSMT无监督领域自适应任务的mAP的显着改善。代码可在https://github.com/yxgeee/MMT上获得。
2020-01-30 cs.CV
Hierarchical Clustering with Hard-batch Triplet Loss for Person Re-identification
National University of Defense Technology(国防科技大学)
对于大多数无监督的身份再识别,人们通常采用无监督的领域自适应(UDA)方法。UDA通常在标记的源数据集上进行训练,并在目标数据集上进行评估,这通常侧重于学习源数据集和目标数据集之间的差异,以提高模型的泛化能力。在此基础上,我们探索了如何利用样本的相似性来进行一种完全无监督的方法,该方法只在未标记的目标数据集上进行训练。具体而言,我们提出了一个层次聚类指导的重新ID(HCR)方法。我们使用层次聚类来生成伪标签,并使用这些伪标签作为监视器来进行训练。为了排除困难样本,促进模型的收敛,我们在每次迭代中使用PK采样,即从每个聚类中随机选择固定数量的样本进行训练。我们在Market-1501,DukeMTMC-reID和MSMT 17上评估我们的模型。结果表明,HCR达到了最先进的水平,在Market-1501上达到55.3%的mAP,在DukeMTMC-reID上达到46.8%的mAP。我们的代码将很快发布。
2020-04-22 cs.CV
Leveraging Predicate and Triplet Learning for Scene Graph Generation
Beihang University(北京航空航天大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出双粒度关系建模(DRM)网络和双粒度知识转移(DKT)策略,利用谓词与三元组线索生成紧凑表示并缓解长尾问题,在多个数据集上取得最先进性能。
2024-06-04 cs.CV
Dual-Triplet Metric Learning for Unsupervised Domain Adaptation in Video-Based Face Recognition
École de technologie supérieure(高等技术学院);Nuvoola Inc.(努沃拉公司)
深度学习模型的可扩展性和复杂性仍然是许多视觉识别应用中的关键问题,例如,视频监控,其中需要对来自每个新摄像机的标记图像数据进行微调以减少从源域捕获的视频之间的域偏移,例如,实验室环境和目标领域,即操作环境。在许多视频监控应用中,如人脸识别(FR)和人员重新识别,成对匹配器用于将使用摄像机捕获的查询图像分配给图库中的对应参考图像。摄像机的不同配置和操作条件可能会在成对距离分布中引入显著的偏移,从而导致新摄像机的识别性能下降。本文提出了一种新的深度领域自适应(DA)方法,使用新的摄像机捕获的未标记的轨迹来适应Siamese网络的CNN嵌入。为此,引入双三元组损失用于度量学习,其中两个三元组使用来自源相机和新目标相机的视频数据来构造。为了构成双三元组,引入了相互监督学习方法,其中源相机充当老师,为目标相机提供初始嵌入。然后,学生依赖于教师来迭代地标记在例如,初始相机校准。源嵌入和目标嵌入继续同时学习,使得它们的成对距离分布变得对齐。为了验证,所提出的度量学习技术用于在不同的训练场景下训练深度暹罗网络,并与COX-S2 V和基于私有视频的FR数据集上的静态到视频FR的最新技术进行比较。
2020-02-11 cs.CV eess.IV
Deep Unsupervised Similarity Learning using Partially Ordered Sets
Heidelberg Collaboratory for Image Processing(海德堡图像处理联合实验室);Heidelberg University(海德堡大学)
视觉相似性的无监督学习对于计算机视觉来说至关重要,特别是由于缺乏用于细粒度相似性的训练数据。相似性的深度学习通常基于样本对或样本三元组之间的关系。这些关系中的许多是不可靠的和相互矛盾的,这意味着在没有将不同的元组或三元组相互关联的监督信息的情况下训练时不一致。为了克服这个问题,我们使用本地估计的可靠(不)相似性,最初分组样本到紧凑的代理类,并使用本地偏序的样本类链接类彼此。相似性学习,然后制定为一个偏序任务与软对应的所有样本的类。采用自我监督的策略,训练CNN以在更新类的同时以相互一致的方式最佳地表示样本。相似性学习和分组过程集成在一个单一的模型和优化联合。所提出的无监督方法在详细的姿态估计和对象分类上显示出有竞争力的性能。
2017-04-11 cs.CV
Leveraging Multi-view Image Sets for Unsupervised Intrinsic Image Decomposition and Highlight Separation
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
我们提出了一种无监督的方法,用于将对象外观分解为高光,阴影和阴影层,并通过多视图真实图像进行训练。为此,我们通过在线收集大量客户产品照片来构建多视图数据集,这些照片具有较大的照明变化,使其适合于反射分离的训练,并可以促进对象级分解。我们的方法的主要贡献是建议的图像表示基于局部颜色分布,允许训练是不敏感的多视图图像的局部错位。此外,我们提出了一个新的无监督训练的指导线索,利用突出分离和内在图像分解之间的协同作用。在广泛的对象范围内,我们的技术被证明可以为这两项任务产生最先进的结果。
2019-11-17 cs.CV
Self-training with progressive augmentation for unsupervised cross-domain person re-identification
Tongji University(同济大学);The University of Adelaide(阿德莱德大学)
人员再识别(Re-ID)通过深度学习和大量带标签的训练数据取得了很大的进步。然而,将在标记数据的源域中训练的模型适应于仅可用的未标记数据的目标域仍然是一项具有挑战性的任务。在这项工作中,我们开发了一种具有渐进增强框架(PAST)的自训练方法,以逐步提高目标数据集上的模型性能。特别是,我们的PAST框架包括两个阶段,即保守阶段和促进阶段。保守阶段利用基于三元组的损失函数捕获目标域数据点的局部结构,从而改进特征表示。提升阶段通过在模型的最后一层添加一个可变的分类层来不断优化网络,从而能够使用有关数据分布的全局信息。重要的是,我们提出了一种新的自我训练策略,通过交替采用保守和促进阶段来逐步增强模型的能力。此外,为了提高所选三重样本的可靠性,我们在保守阶段引入了基于排序的三重损失,这是一个基于数据对之间的相似性的无标签目标函数。实验表明,该方法在无监督跨域环境下达到了最佳的人物身份识别效果。代码可在:https://tinyurl.com/PASTReID
2019-07-31 cs.CV
Unsupervised Deep Metric Learning via Orthogonality based Probabilistic Loss
度量学习是机器学习中的一个重要问题。它旨在将类似的例子组合在一起。现有的最先进的度量学习方法需要类标签来学习度量。由于在所有应用中获取类标签是不可行的,我们提出了一种无监督的方法,在不使用类标签的情况下学习度量。类标签的缺乏通过使用基于图的聚类方法获得数据的伪标签来补偿。伪标签被用来形成三元组的例子,指导度量学习。我们提出了一个概率损失,最大限度地减少每个三重违反角度约束的机会。权函数和正交约束的目标加快收敛速度,避免模型崩溃。我们还提供了一个随机制定我们的方法,以扩大到大规模的数据集。我们的研究证明了我们的方法对最先进的方法的竞争力。我们还深入研究了我们的方法的不同组成部分的效果。
2020-08-22 cs.CV
Mask as Supervision: Leveraging Unified Mask Information for Unsupervised 3D Pose Estimation
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出以无监督分割掩码作为监督的统一3D人体姿态估计框架,通过骨骼与体格表示实现由粗到细推理,并在多个基准上达到先进性能。
2024-07-08 cs.CV
Trip-ROMA: Self-Supervised Learning with Triplets and Random Mappings
Nanjing University(南京大学);University of Wollongong(伍伦贡大学);University of Rochester(罗切斯特大学)
针对小数据场景下自监督学习负样本不足或无负样本易过拟合的问题,提出仅需单负样本的三元组损失结合即插即用随机映射的Trip-ROMA方法,在多个数据集上验证了其有效性及对其他SSL方法的提升作用。
2023-08-24 cs.CV
Leveraging Virtual and Real Person for Unsupervised Person Re-identification
Xiamen University(厦门大学)
人员重新识别(re-ID)是一个具有挑战性的问题,特别是当没有标签可用于训练时。虽然近年来的深度re-ID方法已经取得了很大的进步,但在训练数据中优化没有注释的深度re-ID模型仍然是困难的。为了解决这个问题,本研究引入了一种新的方法,通过利用虚拟和真实数据进行无监督的人重新识别。我们的方法包括两个部分:虚拟人生成和深度re-ID模型的训练。对于虚拟人生成,我们学习了一个人的生成模型和相机风格转移模型使用未标记的真实数据生成具有不同姿势和相机风格的虚拟人。虚拟数据被形成为标记的训练数据,使得随后能够在监管中训练深度re-ID模型。对于深度re-ID模型的训练,我们将其分为三个步骤:1)通过使用虚拟数据预训练粗re-ID模型; 2)从真实数据中挖掘基于协同过滤的正对; 3)通过利用挖掘的正对和虚拟数据对粗re-ID模型进行微调。最终的re-ID模型通过在步骤2和步骤3之间迭代直到收敛来实现。在两个大规模数据集Market-1501和DukeMTMC-reID上的实验结果表明了该方法的有效性,并表明在无监督的人re-ID中达到了最先进的水平。
2018-11-05 cs.CV
Classifier-guided CLIP Distillation for Unsupervised Multi-label Classification
Samsung Electronics(三星电子);KAIST(韩国科学技术院)
针对CLIP用于无监督多标签分类时存在的视图依赖预测和固有偏差问题,提出分类器引导的CLIP蒸馏方法CCD,借助分类器CAM选择目标附近多视图并对CLIP伪标签去偏,在多数据集上取得优于现有方法的效果。
2025-03-21 cs.AI cs.CV
Progressive Unsupervised Person Re-identification by Tracklet Association with Spatio-Temporal Regularization
University of Science and Technology of China(中国科学技术大学);Huawei Cloud EI Product Department(华为云EI产品部);Huawei Noah’s Ark Laboratory(华为诺亚方舟实验室)
现有的人重新识别(Re-ID)方法大多基于监督学习,其需要跨所有相机视图的大量手动标记的样本用于训练。这样的范例遭受可扩展性问题,因为在现实世界的Re-ID应用中,很难在多个不相交的相机视图上详尽地标记丰富的身份。为此,我们提出了一种渐进式深度学习方法,用于通过时空正则化跟踪关联(TASTR)在野外进行无监督的人Re-ID。在我们的方法中,我们首先通过自动人员检测和跟踪在每个摄像头内收集tracklet数据。然后,基于用于人表示学习的摄像机内三元组构造来训练初始Re-ID模型。在此基础上,基于人的视觉特征和时空约束,我们关联跨摄像机的tracklets生成跨摄像机三元组和更新的Re-ID模型。最后,利用改进的Re-ID模型,提取出更好的人的视觉特征,进一步促进了跨摄像机轨迹的关联。最后两个步骤重复多次以逐步升级Re-ID模型。
2019-10-25 cs.CV
FASR-Net: Unsupervised Shadow Removal Leveraging Inherent Frequency Priors
Faculty of Information Engineering and Automation, Kunming University of Science and Technology(昆明理工大学信息工程与自动化学院);College of Mechatronics and Control Engineering, Shenzhen University(深圳大学机电与控制工程学院)
本文提出无监督频率感知阴影去除网络FASR-Net,利用小波注意力下采样模块和多种新损失函数提升阴影去除效果,在AISTD和SRD数据集上取得优越性能。
2025-04-08 cs.CV
Leveraging in-domain supervision for unsupervised image-to-image translation tasks via multi-stream generators
Tel-Aviv University(特拉维夫大学)
图像到图像翻译(I2I)任务的监督很难实现,但对结果质量有重要影响。在本文中,我们观察到,对于许多无监督I2I(UI2I)场景,一个域比另一个更熟悉,并提供域内先验知识,如语义分割。我们认为,对于复杂的场景,弄清楚的语义结构的域是很难的,特别是没有监督,但一个成功的I2I操作的重要组成部分。因此,我们介绍了两种技术,将这一宝贵的领域内的先验知识的翻译质量的好处:通过一个新的多流生成器架构,并通过一个语义分割为基础的正则化损失项。从本质上讲,我们建议根据语义掩码分割输入数据,明确引导网络对图像的不同区域采取不同的行为。此外,我们建议在翻译任务中训练一个语义分割网络,并利用此输出作为损失项,以提高鲁棒性。我们在城市数据上验证了我们的方法,在将白天图像转换为夜间图像的具有挑战性的UI2I任务中展示了卓越的质量。此外,我们还演示了如何用我们的增强图像增强目标数据集,以改进下游任务的训练,例如经典的检测任务。
2021-12-30 cs.AI cs.CV cs.LG
CAE-LO: LiDAR Odometry Leveraging Fully Unsupervised Convolutional Auto-Encoder for Interest Point Detection and Feature Description
Wuhan University(武汉大学);Finnish Geospatial Research Institute(芬兰地理空间研究所);Hubei University of Technology(湖北工业大学)
LiDAR测距作为3D测绘、自动驾驶和机器人导航中的重要技术,仍然是一项具有挑战性的任务。适当的数据结构和无监督的深度学习是实现易于调整的高性能LiDAR测距解决方案的关键。利用紧凑的2D结构球环投影模型和保持输入数据原始形状的体素模型,提出了一种完全无监督的基于卷积自动编码器的LiDAR测距方法(CAE-LO),该方法利用2D CAE从球环数据中检测兴趣点,利用3D CAE从多分辨率体素模型中提取特征。本文的主要贡献有:1)基于KITTI数据集的实验表明,本文的兴趣点能够捕捉到更多的局部细节,提高了非结构化场景下的匹配成功率,在匹配内点比率方面,本文的特征比现有的特征高出50%以上; 2)提出了一种基于匹配对转移的关键帧选择方法,基于来自球面环的扩展兴趣点的用于关键帧的里程计细化方法,以及后向姿态更新方法。里程计精化实验验证了所提思想的可行性和有效性。
2020-10-31 cs.CV
Deep metric learning using Triplet network
Technion Israel Institute of Technology(以色列理工学院)
深度学习已经证明自己是一组成功的模型,用于学习有用的数据语义表示。然而,这些大多是作为分类任务的一部分而隐性学习的。在本文中,我们提出了三重网络模型,其目的是通过距离比较来学习有用的表示。Wang et al.(2014)定义了一个类似的模型,专门用于学习图像信息检索的排名。在这里,我们使用各种数据集证明,我们的模型比其直接竞争对手Siamese网络学习到更好的表示。我们还讨论了未来可能使用的无监督学习的框架。
2018-12-04 cs.CV cs.LG stat.ML
Leveraging Synthetic Adult Datasets for Unsupervised Infant Pose Estimation
University of California, Riverside(加利福尼亚大学河滨分校)
本文提出 SHIFT 方法,利用合成成人数据集和 Mean-Teacher 伪标签框架,结合婴儿流形姿态先验与可见性一致性模块,在无监督条件下显著提升婴儿姿态估计性能,超越现有 UDA 和有监督方法。
2025-04-08 cs.CV
ExMap: Leveraging Explainability Heatmaps for Unsupervised Group Robustness to Spurious Correlations
UiT The Arctic University of Norway(挪威北极大学)
针对深度学习模型因伪相关产生偏差的问题,提出无监督两阶段机制ExMap,利用可解释性热力图聚类生成伪标签替代真实标签进行训练,有效提升群体鲁棒性并缓解多重捷径问题。
2024-03-20 cs.CV cs.LG
When Unsupervised Domain Adaptation meets One-class Anomaly Detection: Addressing the Two-fold Unsupervised Curse by Leveraging Anomaly Scarcity
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(安全、可靠性与信任跨学科研究中心(SnT),卢森堡大学);Cristal Laboratory, National School of Computer Sciences, University of Manouba(晶体实验室,国家计算机科学学校,曼努巴大学)
本文提出了一种基于异常稀有性的无监督领域自适应框架,用于解决无监督异常检测中的双重无监督诅咒问题。
2025-12-26 cs.CV cs.LG
H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry
The Hamlyn Centre for Robotic Surgery, Imperial College London(伦敦帝国理工学院哈姆林机器人手术中心);The Kennedy Institute of Rheumatology, University of Oxford(牛津大学肯尼迪风湿病学研究所)
立体图像对的深度估计已经成为计算机视觉中最受关注的应用之一,其中大多数先前的方法依赖于完全监督学习设置。然而,由于难以获得准确和可扩展的地面实况数据,完全监督方法的训练具有挑战性。作为替代方案,自我监督方法越来越受欢迎,以减轻这一挑战。在本文中,我们介绍了H-Net,这是一种用于无监督立体深度估计的深度学习框架,它利用对极几何来改进立体匹配。第一次,暹罗自动编码器架构用于深度估计,其允许提取校正立体图像之间的互信息。为了加强对极线的约束,设计了相互对极线注意力机制,在学习输入立体声对之间的互信息的同时,更加强调位于同一对极线上的特征的对应性。通过将语义信息结合到所提出的注意力机制中来进一步增强立体对应。更具体地说,最优传输算法用于抑制注意力并消除两个相机中不可见的区域中的离群值。在KITTI 2015和Cityscapes上的大量实验表明,我们的方法优于最先进的无监督立体深度估计方法,同时缩小了与全监督方法的差距。
2021-04-22 cs.CV
Leveraging Hidden Positives for Unsupervised Semantic Segmentation
Sungkyunkwan University(成均馆大学)
对标记像素级注释的人力的巨大需求引发了无监督语义分割的出现。虽然最近的工作,采用视觉Transformer(ViT)骨干表现出卓越的性能,仍然缺乏考虑特定于任务的训练指导和本地语义一致性。为了解决这些问题,我们利用对比学习,通过挖掘隐藏的积极因素来学习丰富的语义关系,并确保局部区域的语义一致性。具体来说,我们首先发现两种类型的全局隐藏的积极的,任务不可知的和特定于任务的每个锚点的特征相似性定义的一个固定的预先训练的骨干和一个分段头在训练中,分别。后者的贡献逐渐增加,导致模型捕捉特定于任务的语义特征。此外,我们引入了一个梯度传播策略来学习相邻补丁之间的语义一致性,在固有的前提下,附近的补丁很可能具有相同的语义。具体来说,我们添加的损失传播到本地隐藏的积极的,语义相似的附近补丁,预定义的相似性分数的比例。通过这些训练方案,我们提出的方法在COCO-stuff,Cityscapes和Potsdam-3数据集中实现了新的最先进(SOTA)结果。我们的代码可在https://github.com/hynnsk/HP上获得。
2023-03-27 cs.CV
Unsupervised Salient Object Detection with Spectral Cluster Voting
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们解决了具有挑战性的任务,无监督的显着目标检测(SOD),利用谱聚类自监督功能。我们做出了以下贡献:(i)我们重新审视谱聚类,并展示了其对显着对象的像素进行分组的潜力;(ii)从各种自监督模型计算的图像特征上的谱聚类的多个应用中给出了掩模建议,例如,MoCov 2,SwAV,DINO,我们提出了一个简单但有效的赢家通吃的投票机制,用于选择显着的面具,利用对象先验的框架和独特性的基础上;(iii)使用选定的对象分割伪地面实况面具,我们训练显着的对象检测器,称为SelfMask,它优于以前的方法在三个无监督的SOD基准。代码可在https://github.com/NoelShin/selfmask上公开获取。
2022-03-23 cs.CV
Leveraging Deep Stein's Unbiased Risk Estimator for Unsupervised X-ray Denoising
Information Technology University(信息技术大学);University of Toronto(多伦多大学)
在众多旨在抑制医学图像中噪声流行的技术中,基于深度学习的方法表现出最大的希望。然而,这些基于深度学习的去噪器的一个关键限制是需要高质量的无噪声地面实况图像,这在许多医学成像应用(例如X射线)中难以获得。为了规避这个问题,我们利用最近提出的方法[7],该方法结合了Stein的无偏风险估计(SURE)来训练深度卷积神经网络,而不需要去噪的地面真实X射线数据。我们的实验结果表明,基于SURE的方法去噪X射线图像的有效性。
2018-11-29 cs.CV cs.LG stat.ML
Metric-Learning-Assisted Domain Adaptation
Nanjing University of Posts and Telecommunications(南京邮电大学)
领域对齐在无监督领域自适应中得到了广泛的应用。许多现有的DA方法假设低源风险,以及源和目标的分布的对齐,意味着低目标风险。在本文中,我们表明,这并不总是举行。因此,我们提出了一种新的度量学习辅助领域自适应(MLA-DA)方法,它采用了一种新的三重损失,以帮助更好的特征对齐。我们探讨了目标样本预测的第二大概率与其到决策边界的距离之间的关系。基于这种关系,我们提出了一种新的机制,根据目标预测自适应地调整三重损失的余量。实验结果表明,使用建议的三重态损失可以取得明显更好的结果。我们还证明了MLA-DA在所有四个标准基准测试中的性能改进,与最先进的无监督领域自适应方法相比。此外,MLA-DA在鲁棒性实验中表现出稳定的性能。
2020-06-11 cs.CV cs.LG
Deep Clustering via Center-Oriented Margin Free-Triplet Loss for Skin Lesion Detection in Highly Imbalanced Datasets
Amasya University(阿马西亚大学);Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center, Bilkent University(比尔肯特大学国家磁共振研究中心);Sabuncu Brain Research Center, Bilkent University(比尔肯特大学萨本朱脑研究中心)
黑色素瘤是一种致命的皮肤癌,是可以治愈的,并且在早期诊断时具有显著增加的存活率。基于学习的方法对于从皮肤镜图像检测黑色素瘤具有重要的前景。然而,由于黑色素瘤是一种罕见的疾病,现有的皮肤病变数据库主要包含高度不平衡的良性与恶性样本的数量。反过来,由于大多数类别的统计优势,这种不平衡在分类模型中引入了实质性偏差。为了解决这个问题,我们引入了一种基于皮肤镜图像的潜在空间嵌入的深度聚类方法。聚类是使用一种新的面向中心的无边缘三重损失(COM-三重)来实现的,该算法对卷积神经网络主干的图像嵌入进行了强制执行。该方法的目标是形成最大分离的聚类中心,而不是最小化分类错误,因此它对类不平衡不太敏感。为了避免对标记数据的需要,我们进一步提出了基于高斯混合模型生成的伪标签来实现COM三元组。综合实验表明,COM-三重损失的深度聚类优于三重损失的聚类,以及监督和无监督设置中的竞争分类器。
2022-04-03 cs.AI cs.CV cs.LG
Leveraging 3D Information in Unsupervised Brain MRI Segmentation
Pixyl;Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);Inserm(法国国家健康与医学研究院);Grenoble Institut Neurosciences(格勒诺布尔神经科学研究所)
大脑异常的自动分割是具有挑战性的,因为它们从一种病理到另一种病理变化很大。目前的方法是有监督的,需要为每种病理学提供大量注释图像,这是一项艰巨的任务。为了解决解剖变异性,提出了无监督异常检测(UAD)方法,将异常检测为使用变分自动编码器(VAE)学习的健康模型的离群值。以前的UAD工作采用了2D方法,这意味着MRI被处理为独立切片的集合。然而,它没有充分利用MRI中包含的空间信息。在这里,我们建议以3D方式执行UAD并比较2D和3D VAE。作为一个侧面的贡献,我们提出了一个新的损失函数,证明了一个强大的训练。使用健康大脑MRI的多中心数据集进行学习,并对白质高强度和肿瘤病变进行分割性能估计。实验证明了3D方法的兴趣,优于他们的2D同行。
2021-01-26 cs.CV cs.LG eess.IV
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos
Institute for Applied Computational Science, Harvard University(哈佛大学应用计算科学研究所);Google Brain(谷歌大脑);University of Texas at Austin(德克萨斯大学奥斯汀分校)
学习从RGB输入预测场景深度对于室内和室外机器人导航都是一项具有挑战性的任务。在这项工作中,我们解决无监督学习的场景深度和机器人自我运动的监督是由单目视频,相机是最便宜的,最少的限制和最普遍的传感器机器人。以前在无监督图像到深度学习方面的工作已经在该领域建立了强大的基线。我们提出了一种新的方法,它产生更高质量的结果,能够模拟移动的对象,并显示跨数据域,例如,从室外到室内场景。主要思想是在学习过程中引入几何结构,通过对场景和单个对象进行建模;从单目视频中学习相机自我运动和对象运动作为输入。此外,一个在线的细化方法,以适应学习的飞行到未知的领域。所提出的方法优于所有最先进的方法,包括那些处理运动,例如通过学习流。我们的结果在质量上与使用立体声作为监督的结果相当,并且显着提高了对包含大量对象运动的场景和数据集的深度预测。该方法具有实际意义,因为它允许跨环境传输,通过将在城市场景中为机器人导航收集的数据训练的模型传输到室内导航设置。与本文相关的代码可以在www.example.com上找到。
2018-11-15 cs.CV
MS3D: Leveraging Multiple Detectors for Unsupervised Domain Adaptation in 3D Object Detection
Australian Centre for Field Robotics(澳大利亚野外机器人中心);University of Sydney(悉尼大学)
MS3D提出一种利用多源域预训练检测器及时间信息融合生成高质量伪标签的自训练流程,通过KDE框融合提升3D目标检测的域适应鲁棒性,并在多个数据集上达到最先进性能。
2023-05-09 cs.CV
FedSCAl: Leveraging Server and Client Alignment for Unsupervised Federated Source-Free Domain Adaptation
Indian Institute of Science(印度科学研究院)
FedSCAl通过引入服务器-客户端对齐机制,有效缓解联邦源域适应中的客户端漂移问题,提升伪标签准确性并优于现有方法。
2025-12-07 cs.CV
A Self-supervised GAN for Unsupervised Few-shot Object Recognition
Oregon State University(俄勒冈州立大学)
本文讨论了无监督的Few-Shot对象识别,其中所有的训练图像是未标记的,测试图像被划分为查询和一些标记的支持图像,每个对象类的兴趣。训练图像和测试图像不共享对象类。我们扩展了香草GAN与两个损失函数,都旨在自监督学习。第一个是重建损失,其强制所述解码器重建已用于生成“假”图像的概率采样的潜码。第二个是三重丢失,它强制编码器输出更相似图像的更接近的图像编码。在Few-Shot分类的背景下进行评价、比较和详细的消融研究。我们的方法在Mini-Imagenet和Tiered-Imagenet数据集上的表现明显优于最先进的方法。
2020-10-19 cs.CV
Leveraging the Mahalanobis Distance to enhance Unsupervised Brain MRI Anomaly Detection
Institute of Medical Technology and Intelligent Systems, Hamburg University of Technology(汉堡工业大学医学技术与智能系统研究所);Jung Diagnostics(荣格诊断公司)
本文提出利用概率扩散模型生成多个重建,并通过马氏距离分析其分布以识别脑MRI异常,显著提升多个数据集的异常分割性能。
2024-07-17 cs.CV cs.LG eess.IV
Leveraging Foundation models for Unsupervised Audio-Visual Segmentation
University of Surrey(萨里大学)
提出无监督视听分割方法CMSF,利用现成多模态基础模型设计免训练变体AT-GDINO-SAM和OWOD-BIND,在AVS-Bench数据集上性能媲美监督方法,且能准确分割重叠听觉对象。
2023-09-13 cs.CV cs.MM cs.SD
Harmonizing Flows: Leveraging normalizing flows for unsupervised and source-free MRI harmonization
LIVIA;ÉTS;ILLS;McGill(麦吉尔大学);Mila;CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupelec(中央理工学院);CHU Sainte-Justine(圣贾斯汀大学医疗中心);University of Montreal(蒙特利尔大学);Murdoch Children’s Research Institute(默多克儿童研究所);Monash University(莫纳什大学);The University of Melbourne(墨尔本大学);The Royal Women’s Hospital(皇家妇女医院)
针对MRI图像跨站点异质性影响深度学习泛化的问题,提出利用归一化流对齐图像分布的无监督无源谐波化框架,在成人和新生儿脑分割及脑龄估计任务中表现优于现有方法。
2024-07-22 cs.CV
Unsupervised Learning of Visual Representations using Videos
Carnegie Mellon University(卡内基梅隆大学)
强有力的监督对于学习一个好的视觉表现是必要的吗?我们真的需要数百万个语义标记的图像来训练卷积神经网络(CNN)吗?在本文中,我们提出了一种简单但功能强大的CNN无监督学习方法。具体来说,我们使用来自网络的数十万未标记的视频来学习视觉表示。我们的核心思想是,视觉跟踪提供监督。也就是说,由轨迹连接的两个补丁在深特征空间中应该具有相似的视觉表示,因为它们可能属于相同的对象或对象部分。我们设计了一个具有排名损失函数的Siamese-triplet网络来训练这个CNN表示。在不使用ImageNet中的单个图像的情况下,仅使用10万个未标记的视频和VOC 2012数据集,我们训练了一个无监督网络的集合,实现了52%的mAP(无限界框回归)。这一性能非常接近其ImageNet监督的同类产品,后者实现了54.4%的mAP。我们还表明,我们的无监督网络可以在其他任务中具有竞争力,例如表面法线估计。
2015-10-06 cs.CV
MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised Domain Adaptation in Semantic Segmentation
University of Michigan(密歇根大学);KAIST(韩国科学技术院);KENTECH(韩国科学技术院研究院(KENTECH))
针对目标域含未标注视频帧的无监督域自适应场景,提出运动引导的语义分割框架MoDA,通过物体发现与语义挖掘模块生成高质量伪标签用于自训练,效果优于光流引导且可与现有SOTA方法互补。
2024-04-15 cs.CV
Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering
Wuhan University(武汉大学);Peking University(北京大学)
在过去的几年里,电子漫画(电子日本式漫画)有了戏剧性的增长。面对漫画研究的需求和大量未标注的漫画数据,我们提出了一个新的课题,称为无监督漫画人物再识别。然而,漫画的艺术表现力和文体局限性给重新认同问题带来了诸多挑战。受一些与内容相关的特征可能有助于聚类的思想的启发,我们提出了一种面体时空关联聚类方法(FSAC)。在面体组合模块中,利用图像的完整性,构建面体图,解决艺术创作中的夸张、变形等问题。在时空关系校正模块中,我们分析了字符的外观特征,并设计了一个时空相关的三元组损失来微调聚类。在一个109卷的漫画书数据集上进行的大量实验验证了该方法在无监督漫画角色重识别中的优越性。
2022-04-10 cs.CV
Leveraging Convolutional and Graph Networks for an Unsupervised Remote Sensing Labelling Tool
UK Hydrographic Office(英国海图办公室)
本文提出一种基于卷积和图网络的无监督遥感标注方法,通过分割和特征编码提升标注的准确性和鲁棒性。
2026-01-27 cs.CV
CT-3DFlow : Leveraging 3D Normalizing Flows for Unsupervised Detection of Pathological Pulmonary CT scans
Claude Bernard University Lyon 1(里昂第一大学克劳德·贝尔纳分校);Philips Health Technology Innovation(飞利浦健康技术创新部门);Hospices Civils de Lyon(里昂公共医疗中心)
提出基于 3D Normalizing Flows 的 CT-3DFlow 模型,在健康肺部 CT 图块上无监督训练,通过聚合图块级对数似然偏差实现患者级病理检测,性能优于现有方法。
2024-03-27 cs.CV cs.LG eess.IV
Gazing Into Missteps: Leveraging Eye-Gaze for Unsupervised Mistake Detection in Egocentric Videos of Skilled Human Activities
University of Catania(卡塔尼亚大学);The University of Tokyo(东京大学)
本文提出一种利用眼动信号在第一人称视频中实现无监督错误检测的方法,通过眼动补全任务显式建模眼动与视觉标记的相关性,利用预测与观察的眼动轨迹不一致性识别错误,在多个数据集上取得显著相对增益并排名第一。
2025-07-16 cs.CV
Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised Person Re-Identification and Text Authorship Attribution
University of Campinas(坎皮纳斯大学);Institute of Computing, University of Campinas(坎皮纳斯大学计算学院);Center for Information Technology Renato Archer (CTI)(雷纳托·阿彻信息技术中心(CTI))
针对行人重识别和文本作者归属任务中类别语义相似导致通用自监督学习失效的问题,提出基于集成的聚类策略并结合CNN特征提取与距离优化,在完全无监督且无需人工干预的情况下显著提升了跨模态任务的性能并超越现有方法。
2023-06-30 cs.CV
Unsupervised Domain Adaptation with Implicit Pseudo Supervision for Semantic Segmentation
Wuhan University(武汉大学)
伪标记是语义分割的无监督领域自适应中的一种流行技术。然而,伪标签是嘈杂的,不可避免地有确认偏差,由于源和目标域和训练过程之间的差异。本文利用模型自身隐式产生的伪标签对模型进行训练,以学习目标领域的新的补充知识。具体来说,我们提出了一个三学习架构,其中每两个分支产生的伪标签训练第三个。我们根据每两个分支的概率分布的相似性来对齐伪标签。为了进一步隐式地利用伪标签,我们最大化不同类的特征距离,并通过三重丢失来最小化相同类的距离。对GTA5到Cityscapes和SYNTHIA到Cityscapes任务的大量实验表明,所提出的方法有相当大的改进。
2022-04-14 cs.CV
Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised Approach for Feature Embedding
AIOZ;University of Liverpool(利物浦大学);University of Adelaide(阿德莱德大学)
无监督深度距离度量学习(UDML)旨在从未标记的数据集中学习嵌入空间中的样本相似性。传统的UDML方法通常使用三重损失或成对损失,这需要挖掘正样本和负样本w.r.t.锚数据点。然而,这在无监督设置中具有挑战性,因为标签信息不可用。在本文中,我们提出了一种新的UDML方法,克服了这一挑战。特别地,我们建议使用深度聚类损失来学习质心,即,伪标签,表示语义类。在学习过程中,这些质心也用于重建输入样本。因此,它确保了质心的代表性-每个质心代表视觉上相似的样本。因此,质心给出了关于阳性(视觉上相似)和阴性(视觉上不相似)样品的信息。基于伪标签,我们提出了一种新的无监督度量损失,它强制执行嵌入空间中样本的正集中和负分离。基准数据集上的实验结果表明,该方法优于其他UDML方法。
2020-09-09 cs.CV
Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion
City University of Hong Kong(香港城市大学);Bio-Computing Research Center, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)生物计算研究中心);Shenzhen Key Laboratory of Visual Object Detection and Recognition(深圳市视觉目标检测与识别重点实验室)
针对点云补全需大量难采集的3D完整点云的问题,提出无监督方法Cross-PCC,仅用易获取的单视图2D图像,通过特征融合、轮廓约束与视图校准实现补全,性能优于现有无监督方法,甚至媲美部分有监督方法。
2023-12-06 cs.CV
3D Object Discovery and Modeling Using Single RGB-D Images Containing Multiple Object Instances
KU Leuven(鲁汶大学);Mitsubishi Electric Research Labs(三菱电机研究院);KTH Royal Institute of Technology(瑞典皇家理工学院);Mitsubishi Electric Corporation(三菱电机株式会社)
无监督对象建模在机器人技术中很重要,特别是在处理大量对象时。我们提出了一种无监督的3D对象发现,重建和定位的方法,利用多个实例中包含在一个单一的RGB-D图像的相同的对象。所提出的方法不依赖于分割,场景知识,或用户输入,因此很容易扩展。我们的方法旨在通过利用显著区域的外观和几何形状在单个RGB-D图像中找到复发模式。我们提取关键点,并根据它们的描述符配对。然后,我们使用几个几何标准来最大限度地减少错误匹配,以生成相互匹配的关键点的三元组。匹配的三元组的相对姿态被计算和聚类,以发现具有相似相对姿态的三元组对的集合。属于同一集合的三元组可能属于同一对象,并用于构造初始对象模型。使用RANSAC检测具有初始对象模型的剩余实例允许进一步扩展和细化模型。自动生成的对象模型是紧凑的和描述性的。我们展示了RGB-D图像的定量和定性结果,其中包括来自亚马逊采摘挑战赛的一些对象。我们还演示了使用我们的方法在一个对象拾取的情况下,与机器人手臂。
2017-10-17 cs.CV cs.RO
Triplet-Center Loss for Multi-View 3D Object Retrieval
Huazhong University of Science and Technology(华中科技大学)
大多数现有的3D对象识别算法专注于利用具有softmax损失的深度学习模型的强大区分能力来进行3D数据的分类,而使用深度度量学习来学习区分特征以进行3D对象检索或多或少被忽视。在这篇论文中,我们研究了3D对象检索的深度度量学习损失的变体,这些变体在这一领域没有得到足够的关注。首先,引入了两种代表性的损失,三重损失和中心损失,可以学习更多的区别性特征比传统的分类损失。然后,我们提出了一种新的损失命名为三重中心损失,它可以进一步提高的鉴别能力的功能。所提出的三重中心损失为每个类学习一个中心,并要求来自同一类的样本和中心之间的距离比来自不同类的样本和中心之间的距离更近。在两个流行的3D对象检索基准和两个广泛采用的基于草图的3D形状检索基准上的大量实验结果一致地证明了我们提出的损失的有效性,并且与最先进的方法相比已经取得了显着的改进。
2018-03-16 cs.CV