LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation
Yardi School of AI, IIT Delhi（德里印度理工学院亚迪人工智能学院）；Department of Computer Science and Engineering, IIT Delhi（德里印度理工学院计算机科学与工程系）
该研究针对从原始图像学习对象与属性解耦表示的问题，提出融入线性表示假设（LRH）的LinSlot架构，联合发现对象和属性表示，在多数据集上提升了DCI分数，还可用于图像编辑。
2026-10-12 cs.AI cs.CV
Unsupervised Discovery of Semantic Latent Directions in Diffusion Models
Seoul National University（首尔国立大学）；Yonsei University（延世大学）
尽管扩散模型（DM）取得了成功，但我们仍然缺乏对其潜在空间的透彻理解。虽然使用GANs的图像编辑建立在潜在空间上，但DM依赖于编辑文本提示等条件。我们提出了一个无监督的方法来发现可解释的编辑方向的潜变量$\mathbf{x}_t \in \mathcal{X}$的DM。我们的方法采用黎曼几何之间的$\mathcal{X}$和中间特征映射$\mathcal{H}$的U-网提供了一个深刻的理解的几何结构的$\mathcal{X}$。所发现的语义潜在方向大多产生分离的属性变化，并且它们在不同样本之间是全局一致的。此外，在较早的时间步中进行编辑会编辑粗略的属性，而在较晚的时间步中进行编辑则会关注高频细节。我们定义了样本之间线段的曲率，以表明$\mathcal{X}$是一个弯曲的流形。在不同基线和数据集上的实验证明了该方法在稳定扩散上的有效性。我们的源代码将公开提供给未来的研究人员。
2023-02-24 cs.CV
AGLLDiff: Guiding Diffusion Models Towards Unsupervised Training-free Real-world Low-light Image Enhancement
Xiamen University（厦门大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）；University of Washington（华盛顿大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对真实世界低光照图像增强中图像对获取难和退化建模复杂的挑战，提出免训练的属性引导扩散框架AGLLDiff，通过建模正常光照图像的曝光、结构和颜色属性来引导扩散采样，在多项基准上超越现有无监督方法。
2024-07-23 cs.CV
Cross-GAN Auditing: Unsupervised Identification of Attribute Level Similarities and Differences between Pretrained Generative Models
Oregon State University（俄勒冈州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对现有GAN审计工具仅支持粗粒度比较的局限，提出跨GAN审计（xGA）方法，可无监督识别预训练GAN间属性级的相似与差异，定量定性实验均验证其优于基线方法。
2023-05-02 cs.CV cs.LG
Describe What to Change: A Text-guided Unsupervised Image-to-Image Translation Approach
University of Trento（特伦托大学）；FBK（布鲁诺·凯斯勒基金会）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔罗讷-阿尔卑斯中心）；Huawei Research（华为研究院）
通过人类书写的文本来操纵图像的视觉属性是一项非常具有挑战性的任务。一方面，模型必须在没有所需输出的基础事实的情况下学习操作。另一方面，模型必须处理自然语言固有的模糊性。以往的研究通常要求用户描述所需图像的所有特征，或者使用注释丰富的图像描述数据集。在这项工作中，我们提出了一种新的无监督的方法，基于图像到图像的翻译，通过命令般的句子，如“改变头发颜色为黑色”，改变给定图像的属性。与最先进的方法不同，我们的模型不需要人工注释的数据集，也不需要对所需图像的所有属性进行文本描述，而只需要修改那些属性。我们提出的模型从视觉属性中分离出图像内容，并在从内容和修改后的属性表示生成新图像之前，使用文本描述学习修改后者。因为文本可能本质上是模糊的（金发可能指金发的不同阴影，例如金色，冰冷，沙质），我们的方法生成同一翻译的多个随机版本。实验结果表明，该模型在CelebA和CUB两个大规模公共数据集上取得了较好的性能.我们相信，我们的方法将铺平道路的新途径的研究相结合的文本和语音命令与视觉属性。
2020-08-10 cs.CL cs.CV
Unsupervised-learning-based method for chest MRI-CT transformation using structure constrained unsupervised generative attention networks
Kobe University Graduate School of Medicine（神户大学医学研究科）；GE Healthcare（GE医疗）
针对PET/MRI扫描中胸部CT生成以实现衰减校正的难题，提出加入MIND结构约束的U-GAT-IT无监督生成方法，无需人工标注即可合成结构保真的临床可用胸部CT，性能优于现有方法。
2022-08-05 cs.CV
Exploiting video sequences for unsupervised disentangling in generative adversarial networks
UNR-CONICET（国立罗萨里奥大学-阿根廷国家科学与技术研究理事会）
在这项工作中，我们提出了一种对抗性训练算法，该算法利用视频中的相关性来学习-没有监督-具有解开的潜在空间的图像生成器模型。所提出的方法只需要对生成对抗网络（GAN）的标准算法进行一些修改，并且涉及使用从短视频中获取的帧集进行训练。我们在两个以面部为中心的视频数据集上训练我们的模型，这些视频呈现不同的人说话或移动头部：VidTIMIT和YouTube Faces数据集。我们发现，我们的建议允许我们将生成器潜在空间分成两个子空间。其中一个控制内容属性，这些属性不会随着短视频序列而改变。对于所考虑的数据集，这是所生成的面部的身份。另一个子空间控制运动属性，这些属性被观察到沿着短视频变化。我们观察到，这些运动属性是面部表情，头部方向，嘴唇和眼睛的运动。所提出的实验提供了定量和定性的证据支持，所提出的方法诱导解开这两种属性的潜在空间。
2019-10-16 cs.CV cs.LG stat.ML
Unsupervised Learning for Cell-level Visual Representation in Histopathology Images with Generative Adversarial Networks
Beihang University（北京航空航天大学）；Zhejiang University（浙江大学）；Microsoft Research（微软研究院）
细胞的视觉属性，如核形态和染色质开放性，是组织病理学图像分析的关键。通过学习细胞级视觉表示，我们可以获得丰富的特征组合，这些特征可高度重用于各种任务，如细胞级分类、细胞核分割和细胞计数。在本文中，我们提出了一个统一的生成对抗网络架构，具有新的损失公式，可以在无监督的环境中进行鲁棒的细胞级视觉表示学习。我们的模型不仅是无标记的，易于训练，而且能够进行细胞水平的无监督分类，具有可解释的可视化，这在骨髓细胞成分的无监督分类中取得了可喜的成果。基于所提出的细胞级视觉表示学习，我们进一步开发了一个管道，利用各种细胞元素来执行组织病理学图像分类，其优点在骨髓数据集上得到了证明。
2018-07-07 cs.CV
Householder Projector for Unsupervised Latent Semantics Discovery
University of Trento（特伦托大学）；Beijing Jiaotong University（北京交通大学）
本文提出基于 Householder 变换的低秩正交 Householder Projector，用以参数化潜在代码到特征的投影矩阵，使预训练 StyleGAN2/StyleGAN3 能以极少微调发现更解耦、精确且不损失保真度的语义方向。
2023-07-16 cs.CV
Unsupervised Person Image Generation with Semantic Parsing Transformation
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；JD AI Research（京东人工智能研究院）
在本文中，我们解决了无监督的姿势引导的人的图像生成，这是已知的挑战，由于非刚性变形。不同于以往的方法学习一个坚如磐石的直接映射人体之间，我们提出了一种新的途径，分解成两个更容易访问的子任务，即，语义解析转换和外观生成的硬映射。首先，提出了一种语义生成网络来实现语义解析图之间的转换，以简化非刚性变形学习。其次，外观生成网络学习合成语义感知纹理。第三，我们证明了以端到端的方式训练我们的框架可以进一步细化语义图和最终结果。我们的方法是可推广到其他语义感知的人的图像生成任务，例如，服装纹理转移和控制图像处理。在DeepFashion和Market-1501数据集上的实验结果证明了该方法的优越性，特别是在保持服装属性和更好的体型方面。
2019-04-18 cs.CV
CycleGAN Face-off
Face-off是一个有趣的风格转移案例，其中一个人的面部表情和属性可以完全转换为另一张脸。我们对无监督训练过程感兴趣，该过程只需要来自每个人的两个未对齐视频帧序列，并学习自动提取哪些共享属性。在这个项目中，我们探索了对抗训练的各种改进（即CycleGAN[Zhu等人，2017]）来捕捉面部表情和头部姿势中的细节，从而生成具有更高一致性和稳定性的变换视频。
2018-07-04 cs.CV
ZstGAN: An Adversarial Approach for Unsupervised Zero-Shot Image-to-Image Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
图像到图像的翻译模型在不同领域之间的图像传输方面表现出了显著的能力。现有的大多数工作都遵循源域和目标域在训练和推理阶段保持相同的设置，这不能推广到将图像从一个看不见的域转换到另一个看不见的域的场景。在这项工作中，我们提出了无监督Zero-Shot图像到图像翻译（UZSIT）问题，其目的是学习一个模型，该模型可以从训练过程中未观察到的图像域中翻译样本。因此，我们提出了一个名为ZstGAN的框架：通过引入对抗性训练方案，ZstGAN学习使用在视觉和属性模态上语义一致的特定于领域的特征分布来对每个领域进行建模。然后，域不变的功能解开与共享的编码器的图像生成。我们在CUB和FLO数据集上进行了大量的实验，实验结果证明了该方法在UZSIT任务上的有效性。此外，ZstGAN在CUB和FLO上显示出比最先进的零样本学习方法显著的准确性改进。
2021-07-20 cs.CV
Unsupervised Region-Based Image Editing of Denoising Diffusion Models
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Pengcheng Laboratory（鹏城实验室）；University of Trento（特伦托大学）；Lanzhou Jiaotong University（兰州交通大学）
本文提出一种无需训练和标注的无监督方法，通过将目标语义区域的雅可比矩阵投影到与未掩码区域正交的低维子空间，实现扩散模型潜在空间中局部区域的精确语义编辑，性能达到最先进水平。
2024-12-17 cs.AI cs.CV
Attributes2Classname: A discriminative model for attribute-based unsupervised zero-shot learning
HAVELSAN Inc.（HAVELSAN 公司）；Bilkent University（比尔肯特大学）；Hacettepe University（哈杰特佩大学）
我们提出了一种新的方法，无监督的零样本学习（ZML）的类的基础上，他们的名字。大多数现有的无监督的CPDL方法旨在学习用于直接比较图像特征和类名的模型。然而，这被证明是一个困难的任务，由于非视觉语义的主导地位，在底层向量空间嵌入的类名。为了解决这个问题，我们有区别地学习一个单词表示，使得类和属性名称组合之间的相似性与视觉相似性一致。与传统的基于属性存在的零样本学习方法相反，我们的方法绕过了费力的属性-类关系注释。此外，我们提出的方法使纯文本训练成为可能，因此，可以在不需要收集额外图像数据的情况下增强训练。实验结果表明，我们的方法在三个基准数据集上获得了最先进的结果。
2017-08-05 cs.CV
Recovering the Missing Link: Predicting Class-Attribute Associations for Unsupervised Zero-Shot Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
收集所有视觉类别的训练图像不仅昂贵而且不切实际。零样本学习（Zero-shot learning，简称ZRL），特别是使用属性，为这个问题提供了一个实用的解决方案。然而，在测试时，大多数基于属性的方法需要对每个不可见类的属性关联进行完整描述。提供这些关联非常耗时，并且通常需要特定领域的知识。在这项工作中，我们的目标是进行基于属性的zero-shot分类在无监督的方式。我们提出了一种学习关系的方法，将类嵌入与其相应的属性相结合。只给出一个看不见的类的名称，学习的关系模型用于自动预测类-属性关联。此外，我们的模型有助于在数据集之间传输属性，而无需额外的努力。整合来自多个来源的知识会显著提高绩效。我们在两个公共数据集上进行评估：具有属性的动物和aPascal/aYahoo。我们的方法在预测类-属性关联和无监督的类关联方面都优于最先进的方法。
2016-10-15 cs.CV
Unsupervised Domain-Adaptive Person Re-identification Based on Attributes
Istituto Italiano di Tecnologia（意大利技术研究院）
行人属性，例如，头发长度、衣服类型和颜色局部地描述了人的语义外观。训练人重新识别（ReID）算法的监督下，这些属性已被证明是有效的，在提取本地功能，这是很重要的ReID。与个人身份不同，属性在不同的域（或数据集）中是一致的。然而，大多数ReID数据集缺乏属性注释。另一方面，对于行人属性识别的情况，有几个标记有足够属性的数据集。利用这些数据用于ReID目的可以是缓解ReID情况下属性注释不足的一种方法。在这项工作中，提出了一个无监督的域自适应ReID特征学习框架，以充分利用属性注释。我们建议将属性相关特征从其原始域转移到ReID域：为此，我们引入了一种对抗性判别领域自适应方法，以学习用于编码语义属性的域不变特征。在三个大规模数据集上的实验验证了所提出的ReID框架的有效性。
2019-08-27 cs.CV
Unsupervised Domain Attention Adaptation Network for Caricature Attribute Recognition
Nanjing University（南京大学）
漫画属性提供了独特的面部特征，以帮助心理学和神经科学的研究。然而，与具有大量注释图像的面部照片属性数据集不同，漫画属性的注释很少。为了方便漫画属性学习的研究，我们提出了一个漫画属性数据集，即WebCariA。此外，为了利用由人脸属性训练的模型，我们提出了一种新的无监督领域自适应框架，用于跨模态（即，照片到漫画）属性识别，具有集成的域间和域内一致性学习方案。具体地，域间一致性学习方案包括图像到图像翻译器，其通过生成中间图像样本来首先填充照片和漫画之间的域间隙，以及标签一致性学习模块，其对齐它们的语义信息。域内一致性学习方案将共同特征一致性学习模块与新颖的属性感知注意力一致性学习模块相结合，以实现更有效的对齐。我们做了广泛的消融研究，以显示所提出的方法的有效性。该方法也优于国家的最先进的方法的利润。所提出的方法的实现可在https://github.com/KeleiHe/DAAN上获得。
2020-07-18 cs.CV
Semi-supervised Image Attribute Editing using Generative Adversarial Networks
Ankara University（安卡拉大学）
图像属性编辑是一个具有挑战性的问题，最近已经被许多研究人员使用生成网络进行了研究。挑战在于在保留其他细节的同时操纵图像的选定属性。实现这一目标的方法是找到图像的准确的潜在向量表示和与属性对应的方向。文献中几乎所有的作品都在监督环境中使用标记数据集来实现这一目的。在这项研究中，我们引入了一种称为循环逆生成器（CRG）的架构，它允许通过利用循环成本最小化在无监督设置中通过编码器准确地学习生成器的逆函数。然后使用CRG模型进行属性编辑，以在潜在空间中找到所需的属性表示。在这项工作中，我们使用两个任意的参考图像，有和没有所需的属性，计算编辑的属性方向。我们表明，所提出的方法在图像重建方面的表现更好相比，现有的端到端生成模型的定量和定性。我们展示了CelebA数据集中真实图像和生成图像的最新结果。
2020-04-13 cs.CV eess.IV
Transferable Joint Attribute-Identity Deep Learning for Unsupervised Person Re-Identification
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Ltd（视觉语义有限公司）
大多数现有的人员重新识别（re-id）方法需要从每个相机对的单独的大量成对标记的训练数据中进行监督模型学习。这大大限制了它们在现实世界的大规模部署中的可扩展性和可用性，需要在许多相机视图中执行re-id。为了解决这个可扩展性问题，我们开发了一种新的深度学习方法，用于将现有数据集的标记信息转移到一个新的看不见的（未标记的）目标域，用于人员re-id，而无需在目标域中进行任何监督学习。具体来说，我们引入了可转移联合属性-身份深度学习（TJ-AIDL），用于同时学习属性语义和身份判别特征表示空间，该空间可转移到任何新的（看不见的）目标域，用于重新识别任务，而不需要从目标域收集新的标记训练数据（即目标域中的无监督学习）。广泛的比较评估验证了这种新的TJ-AIDL模型在VIPeR，PRID，Market-1501和DukeMTMC-ReID等四个具有挑战性的基准上的无监督人员re-id的优越性。
2018-03-26 cs.CV
Exploring Diffusion Time-steps for Unsupervised Representation Learning
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出利用扩散时间步与属性丢失尺度的对应关系，学习各时间步专属特征以无监督解耦模块化属性，并在多个人脸与卧室数据集上提升属性分类和反事实生成。
2024-01-21 cs.CV
Unsupervised Discovery, Control, and Disentanglement of Semantic Attributes with Applications to Anomaly Detection
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；Queens University（皇后大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们的工作重点是无监督和生成方法，以实现以下目标：（a）学习发现控制图像语义属性的潜在因素的无监督生成表示，（b）研究这种控制属性的能力如何形式上与潜在因素解纠缠的问题相关，澄清过去混淆的相关但不相似的概念，以及（c）开发利用在（a）中学习的表示的异常检测方法。对于（a），我们提出了一种网络架构，利用多尺度生成模型与互信息（MI）最大化的组合。对于（b），我们得到了一个分析结果（引理1），它使两个相关但不同的概念变得清晰：生成网络控制它们生成的图像的语义属性的能力，这是由MI最大化产生的，以及通过总相关性最小化获得的解开潜在空间表示的能力。更具体地说，我们证明，最大限度地提高语义属性控制鼓励解开潜在的因素。使用引理1，并采用MI在我们的损失函数，然后，我们凭经验表明，对于图像生成任务，所提出的方法表现出优越的性能，测量的质量和解纠缠贸易空间相比，其他国家的最先进的方法，质量评估通过弗雷歇初始距离（FID），并通过互信息间隙解纠缠。对于（c），我们利用（a）中学习的表示设计了几个异常检测系统，并与最先进的生成和判别算法相比展示了它们的性能优势。表示学习的上述贡献在解决计算机视觉中的其他重要问题方面具有潜在的应用，例如AI中的偏见和隐私。
2021-06-07 cs.CV
AKGNet: Attribute Knowledge-Guided Unsupervised Lung-Infected Area Segmentation
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
针对现有肺部感染区域分割方法依赖人工标注的问题，提出无监督框架AKGNet，通过属性知识学习、交叉注意力融合及伪标签自训练实现无掩码标注的精准分割，性能优于现有无监督分割技术。
2024-04-17 cs.AI cs.CV
U-Face: An Efficient and Generalizable Framework for Unsupervised Facial Attribute Editing via Subspace Learning
本文提出U-Face框架，通过子空间学习方法解决无监督面部属性编辑中的解耦难题，引入正交非负约束和属性边界向量提升控制能力，采用AIDC算法实现高效优化。
2026-03-14 cs.AI cs.CV
Improving Generalization of Image Captioning with Unsupervised Prompt Learning
Wuhan University（武汉大学）
本文提出无监督提示学习方法 GeneIC，通过 CLIP 对齐视觉与语言模态，从属性和语义一致性两方面优化领域特定提示向量，在不需标注数据的情况下提升图像描述模型的领域泛化能力。
2023-08-05 cs.CV
Cross-Domain Attribute Alignment with CLIP: A Rehearsal-Free Approach for Class-Incremental Unsupervised Domain Adaptation
School of Computer Science and Engineering（计算机科学与工程学院）；Nanjing University of Science and Technology（南京理工大学）；School of Automation Science and Electrical Engineering（自动化科学与电气工程学院）；Beihang University（北航）；School of Automation and Intelligent Sensing（自动化与智能感知学院）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种基于CLIP的无排练CI-UDA方法，通过提取域不变的“属性”并构建双域属性字典进行跨域对齐，有效缓解了灾难性遗忘与域偏移。
2025-09-14 cs.CV
Attribute-Prompted Kernel Hashing for Unsupervised Data-Efficient Cross-Modal Retrieval
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；VinUniversity
提出属性提示核哈希（APKH），利用视觉-语言基础模型的广义属性先验，通过上下文优化属性核映射和核平滑对比对齐，在数据受限场景下实现从可见到不可见类别的跨模态检索。
2026-07-02 cs.CV cs.IR
Unsupervised Enhancement of Soft-biometric Privacy with Negative Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
目前软生物特征识别技术的研究表明，可以从个体的生物特征模板中推断出隐私敏感信息。由于对于许多应用程序，这些模板预计将被用于识别的目的，这引起了重大的隐私问题。以前的工作集中在监督隐私增强的解决方案，需要隐私-敏感信息的个人和限制其应用程序的抑制单一和预定义的属性。因此，它们不会考虑训练中未考虑的属性。在这项工作中，我们提出了消极的人脸识别（NFR），一种新的人脸识别方法，通过在互补（负）域中表示人脸模板来增强模板级的软生物特征隐私。虽然普通模板表征了个体的面部特性，但负模板描述了该个体不存在的面部特性。这抑制了来自存储的模板的隐私敏感信息。实验进行了两个公开可用的数据集上捕获的受控和非受控的情况下，对三个隐私敏感的属性。实验表明，我们提出的方法达到更高的抑制率比以前的工作，同时保持较高的识别性能。与以前的作品不同，我们的方法不需要隐私敏感的标签，并提供了一个更全面的隐私保护不限于预定义的属性。
2020-02-21 cs.CV
Evaluation of Correctness in Unsupervised Many-to-Many Image Translation
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
给定来自源域的输入图像和来自目标域的引导图像，无监督的多对多图像到图像（UMMI2I）转换方法试图从目标域生成保留输入源图像的域不变信息并从引导图像继承域特定信息的合理示例。例如，当将女性面部转换为男性面部时，所生成的男性面部应当具有与输入女性图像相同的表情、姿势和头发颜色，以及与引导男性图像相同的面部发型和其他男性特定属性。当前最先进的UMMI 2I方法生成视觉上令人愉悦的图像，但是，由于对于大多数对真实数据集，我们不知道哪些属性是域特定的，哪些是域不变的，因此现有方法的语义正确性尚未进行定量评估。在本文中，我们提出了一套基准和度量这些方法的语义正确性的评估。我们提供了一个广泛的研究现有的最先进的UMMI 2I翻译方法，显示所有的方法，在不同程度上，无法推断哪些属性是特定领域的，哪些是域不变的数据，主要依赖于归纳偏见硬编码到他们的架构。
2021-08-19 cs.CV
Multi-task Mid-level Feature Alignment Network for Unsupervised Cross-Dataset Person Re-Identification
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）；Charles Sturt University（查尔斯史都华大学）
大多数现有的人重新识别（Re-ID）方法遵循监督学习框架，其中需要大量的标记匹配对进行训练。这种设置严重限制了它们在现实世界应用中的可扩展性，在现实世界中，在训练阶段没有标记的样本可用。为了克服这一限制，我们开发了一种新的无监督多任务中层特征对齐（MMFA）网络，用于无监督跨数据集的人员重新识别任务。假设源数据集和目标数据集共享同一组中级语义属性，我们提出的模型可以在人的身份分类和属性学习任务下使用跨数据集中级特征对齐正则化项进行联合优化。以这种方式，学习的特征表示可以从一个数据集更好地推广到另一个数据集，这进一步提高了人员重新识别的准确性。在四个基准数据集上的实验结果表明，我们提出的方法优于最先进的基线。
2018-07-11 cs.CV
CUDA-GHR: Controllable Unsupervised Domain Adaptation for Gaze and Head Redirection
University of California, Santa Cruz（加州大学圣克鲁兹分校）
凝视和头部姿态估计模型的鲁棒性高度依赖于标记数据的量。最近，生成式建模在生成照片级真实感图像方面表现出了出色的效果，这可以减轻对注释的需求。然而，采用这样的生成模型到新的域，同时保持它们的能力，以提供对不同的图像属性，\eg，凝视和头部姿势方向的细粒度控制，一直是一个具有挑战性的问题。本文提出了CUDA-GHR，一个无监督的领域自适应框架，使细粒度的控制目光和头部姿势的方向，同时保留外观相关的因素的人。我们的框架同时学习适应新的领域，并通过利用标签丰富的源域和未标记的目标域来解开视觉属性，如外观，凝视方向和头部方向。在基准数据集上的大量实验表明，该方法在定量和定性评估方面都优于最先进的技术。此外，我们还证明了在目标域中生成的图像标签对对于凝视和头部姿势估计的下游任务的预训练网络的有效性。源代码和预训练模型可在https://github.com/jswati31/cuda-ghr上获得。
2022-09-19 cs.CV
DisCont: Self-Supervised Visual Attribute Disentanglement using Context Vectors
IIIT Delhi（印度德里信息技术学院）
在没有事先监督的情况下解开图像中的潜在特征属性是一项具有挑战性的任务。能够很好地分解属性的模型提供了更好的可解释性和控制性。在本文中，我们提出了一个自我监督的框架DisCont解开多个属性，利用图像内的结构归纳偏见。受最近对比学习范式激增的启发，我们的模型弥合了自监督对比学习算法和无监督解缠之间的差距。我们在四个基准数据集上定性和定量地评估了我们的方法的有效性。
2020-06-29 cs.CV
UDIS: Unsupervised Discovery of Bias in Deep Visual Recognition Models
Georgia Institute of Technology（佐治亚理工学院）
深度学习模型已经被证明可以从数据中学习虚假的相关性，有时会导致某些亚群的系统性失败。先前的工作通常通过众包各种受保护属性的注释和测量性能来诊断这一点，这既昂贵又难以扩展。在这项工作中，我们提出了UDIS，一个无监督的算法，表面和分析这些故障模式。UDIS通过数据集嵌入的分层聚类来识别亚群，并通过可视化低性能聚类及其梯度加权类激活图来显示系统故障模式。我们证明了UDIS在识别CelebA和MSCOCO数据集上图像分类训练模型的故障模式方面的有效性。
2021-10-29 cs.CV
Addressing Feature Suppression in Unsupervised Visual Representations
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
对比学习是机器学习中发展最快的研究领域之一，因为它能够在没有标记数据的情况下学习有用的表示。然而，对比学习易受特征抑制的影响，即，它可以丢弃与感兴趣的任务相关的重要信息，并学习不相关的特征。过去的工作已经通过手工制作的数据增强来消除不相关的信息来解决这个限制。然而，这种方法并不适用于所有数据集和任务。此外，当一个属性可以抑制与其他属性相关的特征时，数据增强无法解决多属性分类中的特征抑制。本文分析了对比学习的目标函数，并形式化地证明了它易受特征抑制的影响。然后，我们提出了预测对比学习（PCL），一个框架，用于学习无监督的表示，是强大的功能抑制。关键思想是迫使学习的表示预测输入，从而防止它丢弃重要信息。大量的实验验证了PCL对特征抑制的鲁棒性，并且在各种数据集和任务上优于最先进的对比学习方法。
2021-11-27 cs.CV cs.LG
Attribute-Induced Bias Eliminating for Transductive Zero-Shot Learning
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；USTC（中国科学技术大学）
直推零样本学习（Transductive Zero-shot learning，简称ZML）通过在联合嵌入空间中对齐视觉和语义信息来识别不可见的类别。在直导型双线性模型中存在四种畴偏置，即，两个领域之间的视觉偏见和语义偏见以及两个可见领域和不可见领域的视觉语义偏见，但现有的研究只关注其中的一部分，这导致知识传递过程中存在严重的语义歧义。为了解决上述问题，我们提出了一种新的属性诱导偏差消除（AIBE）模块的transductive的可移植逻辑。具体而言，对于两个域之间的视觉偏差，首先利用均值-教师模块来桥接具有无监督学习和未标记图像的两个域之间的视觉表示差异。在此基础上，提出了一种基于注意力图的属性嵌入方法，该方法利用注意力图的操作来捕捉类别之间的语义关系，从而减少可见类别和不可见类别之间的语义偏差。此外，为了减少在所见域中的语义-视觉偏差，我们将每个类别的视觉中心而不是单个视觉数据点与相应的语义属性对齐，这进一步保留了嵌入空间中的语义关系。最后，针对视觉空间中存在的语义-视觉偏差，设计了一个视觉-语义对齐约束，以无监督的方式对齐视觉空间和语义空间。对几个基准的评估表明了所提出的方法的有效性，例如，对于CUB、AwA 2和SUN数据集，分别获得常规/广义CNOL设置的82.8%/75.5%、97.1%/82.5%和73.2%/52.1%。
2020-05-31 cs.CV
Learning the Latent "Look": Unsupervised Discovery of a Style-Coherent Embedding from Fashion Images
UT-Austin（德克萨斯大学奥斯汀分校）
什么定义了视觉风格？时尚风格是从人们如何组合服装中有机地产生的，这使得它们很难用计算模型来确定。低层次的视觉相似性可能过于具体，无法检测到风格相似的图像，而手工制作的风格类别可能过于抽象，无法捕捉细微的风格差异。我们提出了一种无监督的方法来学习风格一致的表示。我们的方法利用基于视觉属性的概率多语言主题模型来发现一组潜在的风格因素。给定一组未标记的时尚图像，我们的方法挖掘潜在的风格，然后通过他们如何混合这些风格来总结服装。我们的方法可以按风格组织服装画廊，而不需要任何风格标签。在超过10万张图像上的实验证明了它在检索、混合和总结时尚图像方面的潜力。
2017-08-03 cs.CV
Towards Predicting the Likeability of Fashion Images
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）
在本文中，我们提出了一种方法来排序的时尚图像，找到那些可能会被更多的人喜欢。我们从图像共享网站（Pinterest和Polyvore）收集了两个新的数据集。我们表示基于属性的时尚图像：语义属性和数据驱动的属性。为了从有限的训练数据中学习语义属性，我们使用多任务卷积神经网络算法来共享不同语义属性类别之间的视觉知识。为了发现数据驱动的属性不受监督，我们提出了一种算法，同时发现视觉集群和学习特定于时尚的特征表示。给定属性作为表示，我们建议学习一个排名SPN（和积网络）来对时尚图像进行排名。所提出的排序SPN可以捕获的高阶相关性的属性。我们在两个新收集的数据集上展示了我们方法的有效性。
2015-11-23 cs.CV
DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation
DGIST（大邱庆北科学技术院）；POSTECH（浦项科技大学）
在本文中，我们提出了DRANet，一个网络架构，解开图像表示和转移的视觉属性在一个潜在的空间，无监督的跨领域自适应。与现有的领域自适应方法，学习共享域的相关功能，DRANet保留了每个域的特性的独特性。我们的模型编码的内容（场景结构）和风格（艺术外观）从源和目标图像的个人表示。然后，它通过将传输的风格因子与为每个域指定的可学习权重一起合并到内容因子中来适应域。该学习框架允许利用单个编码器-解码器网络进行双向/多向领域自适应，并对齐它们的域移位。此外，我们提出了一个内容自适应域转移模块，有助于保留场景结构，同时转移风格。大量的实验表明，我们的模型成功地分离内容风格的因素，并合成视觉上令人愉快的域转移图像。所提出的方法在标准数字分类任务以及语义分割任务上展示了最先进的性能。
2021-03-28 cs.CV
Unsupervised Discovery of Object-Centric Neural Fields
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
本文提出 uOCF，通过分离对象内在属性与外在位姿，从单张真实图像无监督学习高保真3D对象中心表示，并实现对未见对象的零样本泛化。
2025-02-14 cs.CV
Unsupervised Discovery of Object Landmarks as Structural Representations
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Google Brain（谷歌大脑）
深度神经网络可以用丰富的潜在表征对图像进行建模，但它们不能以人类可感知的方式自然地概念化对象类别的结构。本文讨论了在没有监督的图像建模过程中学习对象结构的问题。我们提出了一个自动编码公式来发现地标作为显式的结构表示。编码模块输出地标坐标，其有效性由反映地标的必要属性的约束来确保。解码模块将地标作为端到端可微分框架中的可学习输入表示的一部分。我们发现的地标是语义上有意义的，更预测手动注释的地标比以前的方法发现的。地标的坐标也是预训练的深度神经网络表示在识别视觉属性时的补充特征。此外，所提出的方法自然地创建了一个无监督的，可感知的界面，以操纵对象的形状和解码具有可控结构的图像。该项目的网页是http://ytzhang.net/projects/lmdis-rep
2018-04-12 cs.CV
Unsupervised Primitive Discovery for Improved 3D Generative Modeling
Inception Institute of Artificial Intelligence（起点人工智能研究院）；National University of Defense Technology（国防科技大学）；Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；University of Canberra（堪培拉大学）；Data61, Commonwealth Scientific and Industrial Research Organization（联邦科学与工业研究组织Data61）
三维形状生成是一个具有挑战性的问题，由于高维的输出空间和复杂的部分配置的现实世界中的对象。因此，现有的算法在3D形状的精确生成建模中遇到困难。在这里，我们提出了一种新的因式分解生成模型的3D形状生成，依次从粗过渡到细尺度的形状生成。为此，我们引入了一个无监督的原始发现算法的基础上高阶条件随机场模型。在第一阶段中，使用形状的基本部分作为属性，对参数化的3D表示进行建模。在下一阶段，通过向形状添加精细比例细节来进一步细化该表示。我们的研究结果表明，改进的表示能力的生成模型和新生成的3D形状更好的质量样本。此外，我们的原语生成方法可以准确地解析到一个简化的表示常见的对象。
2019-06-09 cs.CV
Unsupervised Domain-Specific Deblurring via Disentangled Representations
University of Maryland, College Park（马里兰大学帕克分校）
图像去模糊的目的是从模糊图像中恢复出潜在的清晰图像。在本文中，我们提出了一种无监督的方法，特定领域的单图像去模糊的基础上解开表示。通过使用内容编码器和模糊编码器分离模糊图像中的内容和模糊特征来实现解纠缠。我们强制执行KL发散损失，以正则化提取的模糊属性的分布范围，使得包含的内容信息很少。同时，为了处理不成对的训练数据，增加了模糊分支和循环一致性损失，以保证去模糊结果的内容结构与原始图像相匹配。我们还在去模糊结果上添加对抗性损失以生成视觉逼真的图像，并添加感知损失以进一步减轻伪影。我们使用合成数据集和真实图像对人脸和文本去模糊的任务进行了广泛的实验，与最近最先进的去模糊方法相比，取得了更好的结果。
2019-08-05 cs.CV
Debiasify: Self-Distillation for Unsupervised Bias Mitigation
University of British Columbia（英属哥伦比亚大学）；University of Victoria（维多利亚大学）；Simon Fraser University（西蒙菲莎大学）
针对神经网络简单性偏差导致的泛化性差问题，该研究提出无需先验偏差知识的无监督自蒸馏方法Debiasify，通过层间知识蒸馏学习去偏差表征，在多个基准上性能优于现有无监督方法，比肩监督方法。
2024-11-01 cs.CV cs.LG
Unsupervised bias discovery in medical image segmentation
Research Institute for Signals, Systems and Computational Intelligence, sinc(i)（信号、系统与计算智能研究所sinc(i)）；CONICET（国家科学技术研究委员会）；Universidad Nacional del Litoral（国立滨海大学）
针对医学图像分割中缺乏真实标注时难以审计模型公平性的问题，提出一种利用反向分类准确性框架的无监督偏差发现方法，可在无真实标签下预测偏差，实验验证有效。
2023-09-01 cs.CV
PatchMorph: A Stochastic Deep Learning Approach for Unsupervised 3D Brain Image Registration with Small Patches
RIKEN Center for Brain Science（理化学研究所脑科学中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）；Central Institute for Experimental Animals（中央实验动物研究所）；Medical Center Freiburg, Faculty of Medicine, University of Freiburg（弗莱堡大学医学院弗莱堡医学中心）
提出随机深度学习算法PatchMorph，利用恒定小尺寸重叠图像块实现无监督3D脑部图像配准，兼顾全局变换与局部形变，并在人类MRI和狨猴图像上验证优越性能。
2023-12-12 cs.CV cs.LG
Neural Stain Normalization and Unsupervised Classification of Cell Nuclei in Histopathological Breast Cancer Images
在本文中，我们开发了一个完整的管道染色标准化，分割，并在苏木精和伊红（H&E）染色的乳腺癌组织病理学图像的细胞核分类。在第一步中，我们使用基于CNN的染色转移技术来归一化（H&E）图像的染色特征。然后，我们训练一个神经网络从H&E图像分割细胞核的图像。最后，我们训练一个信息最大化生成对抗网络（InfoGAN）来学习不同类型细胞核的视觉表示，并以完全无监督的方式对其进行分类。结果表明，我们提出的CNN染色归一化产生改进的视觉相似性和细胞分割性能相比，传统的基于SVD的染色归一化方法。在我们管道的最后一步，我们展示了基于形态和颜色属性对各种乳腺组织病理学细胞类型进行完全无监督聚类的能力。此外，我们还根据各种定量指标对我们基于神经网络的技术进行了定量评估，以验证我们管道的有效性。
2018-11-09 cs.CV q-bio.QM
Unsupervised Model Diagnosis
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Central Florida（中佛罗里达大学）
针对现有模型诊断方法依赖人工标注或用户输入、成本高且易有偏差的问题，提出无监督模型诊断UMO，通过生成模型潜空间优化找反事实方向并匹配文本属性，可无人工干预地发现模型虚假相关性与失效模式。
2024-10-08 cs.AI cs.CL cs.CV
Image Representations Learned With Unsupervised Pre-Training Contain Human-like Biases
Carnegie Mellon University（卡内基梅隆大学）；George Washington University（乔治华盛顿大学）
机器学习的最新进展利用来自网络的未标记图像的大量数据集来学习从图像分类到面部识别的任务的通用图像表示。但是，无监督的计算机视觉模型是否会自动学习隐含模式并嵌入可能产生有害下游影响的社会偏见？我们开发了一种新的方法来量化图像中的社会概念和属性的表示之间的偏见关联。我们发现，在ImageNet上训练的最先进的无监督模型，ImageNet是一个从互联网图像中策划的流行基准图像数据集，可以自动学习种族，性别和交叉偏见。我们从社会心理学中复制了8个先前记录的人类偏见，从无害的，如昆虫和鲜花，到潜在的有害的，如种族和性别。我们的结果与社会心理学关于交叉偏见的三个假设密切匹配。在无监督计算机视觉中，我们还首次量化了人类对体重、残疾和几个种族的隐性偏见。当与在线图像数据集中的统计模式进行比较时，我们的研究结果表明，机器学习模型可以自动从网络上刻板描绘的方式中学习偏见。
2021-01-27 cs.CV cs.CY
An unsupervised approach to Geographical Knowledge Discovery using street level and street network images
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
最近的研究表明，机器学习方法在地理和城市分析中的使用越来越多，主要是使用监督方法从空间和时间数据中提取特征和模式。将地理过程整合到机器学习模型中以及使用无监督方法对地理数据进行知识发现的研究一直很少。这项研究有助于阶梯，在那里我们展示了如何从城市图像的无监督学习方法中学习到的潜在变量可以用于地理知识发现。特别是，我们提出了一种简单的方法称为卷积PCA（ConvPCA），适用于街道水平和街道网络图像，以找到一组不相关和有序的视觉latentcomponents。该方法允许有意义的解释，使用地理和生成可视化的组合来探索潜在的空间，并显示如何学习表示可以用来预测城市特征，如街道质量和街道网络属性。研究还发现，与可解释性较低的降维技术相比，ConvPCA模型的视觉组件达到了相似的精度。
2019-10-11 cs.CV cs.CY cs.LG
Learning Robust Visual-Semantic Embeddings
Carnegie Mellon University（卡内基梅隆大学）
现有的许多用于学习图像和文本的联合嵌入的方法仅使用来自成对图像及其文本属性的监督信息。利用最近深度神经网络中无监督学习的成功，我们提出了一个端到端学习框架，该框架能够跨域提取更鲁棒的多模态表示。所提出的方法将表示学习模型（即，自动编码器）连同跨域学习准则（即，最大平均差异损失）来学习语义和视觉特征的联合嵌入。引入了一种新的无监督数据自适应推理技术，为标记和未标记数据构建更全面的嵌入。我们评估我们的方法上的属性和Caltech-UCSD鸟类200-2011数据集具有广泛的应用，包括零和Few-Shot图像识别和检索，从归纳到转导设置。从经验上讲，我们表明，我们的框架改善了许多考虑的任务上的当前最先进的技术。
2017-03-20 cs.CL cs.CV cs.LG
Speed Co-Augmentation for Unsupervised Audio-Visual Pre-training
The Chinese University of Hong Kong（香港中文大学）；University of Birmingham（伯明翰大学）；Fudan University（复旦大学）；Dyson Robot Learning Lab（戴森机器人学习实验室）；Tencent AI Lab（腾讯人工智能实验室）；The University of Hong Kong（香港大学）；UC Berkeley（加州大学伯克利分校）
本文提出速度协同增强方法，通过随机改变音视频播放速度并结合SoftInfoNCE损失建模增强对的部分关系，显著提升无监督音视频预训练表示质量。
2023-09-25 cs.CV cs.MM cs.SD
