DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning
Harbin Institute of Technology（哈尔滨工业大学）
针对NAS中神经预测器训练数据成本高、无监督方法易性能崩溃的问题，提出课程引导对比学习框架DCLP，通过难度排序的课程调度提升训练稳定性与效率，性能优于现有预测器。
2023-12-14 cs.LG
Learning to Match Unpaired Data with Minimum Entropy Coupling
Department of Data Science, EURECOM, France（数据科学系，EURECOM，法国）
提出DDMEC方法，利用生成扩散模型以协作方式解决连续数据的最小熵耦合问题，在单细胞多组学对齐和未配对图像翻译任务上优于专门方法。
2025-08-08 cs.LG
Unsupervised Cipher Cracking Using Discrete GANs
University of Toronto（多伦多大学）；Google Brain（谷歌大脑）
这项工作详细介绍了CipherGAN，这是一种受CycleGAN启发的架构，用于推断给定未配对密文和明文库的底层密码映射。我们证明了CipherGAN能够使用移位和Vigenere密码以高度的保真度和比以前实现的大得多的词汇量来破解语言数据enciptering。我们介绍了如何CycleGAN可以兼容离散数据和训练在一个稳定的方式。然后，我们证明了CipherGAN中使用的技术避免了与应用于离散数据的GANs相关的无信息歧视的常见问题。
2018-01-15 cs.LG
QS-ADN: Quasi-Supervised Artifact Disentanglement Network for Low-Dose CT Image Denoising by Local Similarity Among Unpaired Data
Northeastern University（东北大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Stevens Institute of Technology（史蒂文斯理工学院）
深度学习已成功应用于低剂量CT（LDCT）图像去噪，以降低潜在的辐射风险。然而，广泛报道的监督LDCT去噪网络需要成对图像的训练集，这是昂贵的获得，不能完美地模拟。无监督学习利用不成对的数据，并且非常适合LDCT去噪。例如，伪影消除网络（ADN）依赖于未配对的图像，避免了监督的需要，但伪影减少的结果不如通过监督学习的效果好。一个重要的观察是，可以利用的未配对数据之间通常存在隐藏的相似性。本文提出了一种新的学习模式--准监督学习，对每幅LDCT图像，首先从非配对的正常剂量CT（NDCT）数据集中找到最佳匹配图像，然后利用该模型对LDCT图像进行去噪。然后，利用匹配对和匹配度作为先验信息，构造并训练ADN型网络进行LDCT去噪，该方法不同于（但兼容）监督和半监督学习模式，可以通过修改现有网络实现。实验结果表明，该方法是竞争与国家的最先进的方法在噪声抑制和上下文保真度。代码和工作数据集可在https://github.com/ruanyuhui/ADN-QSDL.git上公开获得。
2023-02-08 cs.LG
Revisiting Unsupervised Learning for Defect Prediction
NC State（北卡罗来纳州立大学）
从软件项目中收集高质量的数据可能既耗时又昂贵。因此，一些研究人员探索了不需要标记数据的“无监督”质量预测方法。另一种技术是使用“监督”方法，从标有“有缺陷”或“无缺陷”的项目数据中学习模型。大多数研究人员使用这些监督模型，因为他们可以利用更多的项目知识。在FSE'16上，Yang等人报告了惊人的结果，其中无监督缺陷预测器在努力感知的即时缺陷预测方面优于有监督预测器。如果得到证实，这些结果将导致一个看似复杂的任务（数据采掘），在软件工程文献中广泛探讨戏剧性的简化。本文重复并反驳了这些结果如下。(1)Yang等人的预测器的有效性存在很大的差异，因此即使使用他们的方法，也需要一些监督数据来修剪较弱的预测器。（2）他们的研究结果按$N$项目分组。当我们在逐个项目的基础上重复他们的分析时，监督预测器被认为工作得更好。尽管本文拒绝了杨等人的具体结论，我们仍然赞同他们的总体目标。在我们的实验中，监督预测器在努力感知的即时缺陷预测方面并没有比无监督预测器表现得更好。因此，它们可能确实是无监督学习器的某种组合，以实现与有监督学习器相当的性能。因此，我们鼓励其他国家在这一有希望的领域开展工作。
2017-06-24 cs.LG cs.SE
Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study
Google Research（谷歌研究院）
大型生成语言模型（如GPT-2）以其生成文本的能力以及通过微调在监督下游任务中的实用性而闻名。我们的工作是双重的：首先，我们通过人工评估证明，被训练来区分人类和机器生成的文本的分类器作为“页面质量”的无监督预测器出现，能够在没有任何训练的情况下检测低质量内容。这使得能够在低资源设置中快速引导质量指示符。其次，为了了解低质量页面的普遍性和性质，我们对5亿多篇网络文章进行了广泛的定性和定量分析，使其成为有史以来最大规模的研究。
2020-08-17 cs.CL cs.LG stat.ML
Implicit Pairs for Boosting Unpaired Image-to-Image Translation
Tel Aviv University（特拉维夫大学）
在图像到图像转换中，目标是学习从一个图像域到另一个图像域的映射。在监督方法的情况下，映射是从配对样本中学习的。然而，收集大量的图像对通常要么过于昂贵，要么不可能。因此，近年来更多的注意力已经被给予的技术，学习的映射从不成对的集合。在我们的工作中，我们表明，将隐式对注入到未配对的集合中，加强了两个域之间的映射，提高了它们的分布的兼容性，并导致无监督技术的性能在几个测量中提高了14%以上。隐对的能力进一步显示与伪对的使用，即，配对样本，仅近似真实配对。我们展示了近似隐式样本对图像到图像的翻译问题的影响，其中这样的伪对可以在一个方向上合成，但不在其他方向上。我们进一步表明，伪对显着更有效的隐式对在未配对的设置，比直接使用它们明确在配对设置。
2020-12-03 cs.CV cs.LG
The Edge of Orthogonality: A Simple View of What Makes BYOL Tick
DeepMind（深度思维）
自我预测的无监督学习方法，如BYOL或SimSiam，已经显示出令人印象深刻的结果，并且与直觉相反，不会崩溃到琐碎的表示。在这项工作中，我们的目标是探索最简单的可能的数学论据，以解释自我预测无监督学习背后的潜在机制。我们首先观察到，这些方法主要依赖于预测网络（和停止梯度）的存在。通过简单的线性代数，我们证明了当使用线性预测器时，最佳预测器接近正交投影，并提出了一个基于正交归一化的一般框架，该框架能够解释并直观地解释BYOL工作的原因。此外，该框架还证明了指数移动平均和停止梯度算子在BYOL中作为一种有效的正交归一化机制的关键作用。我们使用这些见解，提出四个新的\emph{closed-form predictor}变体BYOL，以支持我们的分析。我们的封闭形式预测器在$100$和$300$时期（ImageNet上的顶级$1$线性准确度）优于标准线性可训练预测器BYOL。
2023-02-09 cs.LG
Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs
实际环境深度的实时估计是各种自主系统任务（如定位、障碍物检测和位姿估计）的重要模块。在机器学习的最后十年中，深度学习方法在计算机视觉任务中的广泛部署产生了从简单RGB模态中进行逼真深度合成的成功方法。虽然这些模型大多依赖于成对的深度数据或视频序列和立体图像的可用性，但缺乏以无监督方式进行单图像深度合成的方法。因此，在这项研究中，生成神经网络领域的最新进展被用于完全无监督的单图像深度合成。更确切地说，实现了两个用于RGB到深度和深度到RGB传输的周期一致性生成器，并使用Wasserstein-1距离同时优化。为了确保所提出的方法的可扩展性，我们将模型应用到一个自我采集的工业数据集以及著名的纽约大学深度v2数据集，它允许与现有的方法进行比较。在这项研究中观察到的成功表明，在现实世界的应用中，不成对的单图像深度估计的潜力很大。
2022-07-08 cs.CV cs.LG eess.IV
Style Equalization: Unsupervised Learning of Controllable Generative Sequence Models
Apple（苹果公司）；University of California, San Diego（加州大学圣地亚哥分校）
具有提取和复制特定示例风格的能力的可控生成序列模型可以实现许多应用，包括以不同声音讲述有声读物，自动完成和自动纠正手写，以及为下游识别任务生成缺失的训练样本。然而，在无监督风格设置下，用于可控序列生成模型的典型训练算法遭受训练-推理失配，其中在训练期间使用相同的样本作为内容和风格输入，但在推理期间给出不成对的样本。在本文中，我们解决了可控生成序列模型的无监督学习过程中遇到的训练-推理失配问题。所提出的方法是简单而有效的，其中我们使用一个风格转换模块，将目标风格信息转换成一个无关的风格输入。该方法使得能够使用未配对的内容和样式样本进行训练，从而减轻训练-推断不匹配。我们将风格均衡应用于三个数据集上的文本到语音和文本到手写的合成。我们进行全面的评估，包括定量和定性的用户研究。我们的研究结果表明，通过减轻训练推理与建议的风格均衡不匹配，我们实现了风格复制分数与我们的用户研究中的真实数据相当。
2022-06-30 cs.LG cs.SD eess.AS
Unsupervised anomaly localization using VAE and beta-VAE
University of Iowa（爱荷华大学）
变分自动编码器（VAE）在数据分布的无监督学习中显示出巨大的潜力。在正常图像上训练的VAE预计仅能够重建正常图像，允许通过操纵VAE ELBO损失内的信息来定位图像中的异常像素。ELBO由KL发散损失（图像方面）和重建损失（像素方面）组成。使用后者作为预测器是自然和直接的。然而，通常情况下，局部异常添加到一个正常的图像会恶化整个重建图像，导致分割只使用朴素像素错误不准确。提出了基于能量的投影方法，提高了正常区域/像素的重建精度，在简单自然图像上达到了最先进的定位精度。另一种可能的预测器是ELBO及其分量相对于每个像素的梯度。以前的工作声称KL梯度是一个强大的预测。在本文中，我们认为，基于能量的投影在医学成像是不一样有用的自然图像。此外，我们观察到KL梯度预测器的鲁棒性完全取决于VAE和数据集的设置。我们还探讨了在异常定位中β-VAE和预测器集合内KL损失的权重的影响。
2020-05-19 cs.CV cs.LG
Unsupervised Joint Image Transfer and Uncertainty Quantification Using Patch Invariant Networks
University of Innsbruck（因斯布鲁克大学）
在大量成对训练数据不丰富的应用中，无监督图像传输能够实现模态内和模态间图像转换。为了确保从输入到目标域的结构保持映射，用于不成对图像传输的现有方法通常基于循环一致性，由于逆映射的学习而导致额外的计算资源和不稳定性。本文提出了一种新的方法，不依赖于任何配对的训练数据的单向域映射。通过使用GAN结构和基于补丁不变性的新的发电机损耗来实现适当的转移。更具体地说，在不同的尺度上对发生器输出进行评估和比较，这也导致对高频细节的关注增加以及隐含的数据增强。这种新的补丁损失也提供了可能性，准确地预测任意的不确定性，通过建模的输入依赖的比例尺地图的补丁残差。所提出的方法进行了全面评估三个完善的医疗数据库。与四种最先进的方法相比，我们在这些数据集上观察到了更高的准确性，这表明所提出的方法在考虑不确定性的情况下用于未配对图像传输的巨大潜力。建议框架的实现在这里发布：\url{https://github.com/anger-man/unsupervised-image-transfer-and-uq}。
2022-09-02 cs.CV cs.LG eess.IV
Generative Adversarial Networks for Unpaired Voice Transformation on Impaired Speech
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
本文主要研究如何利用语音转换（VC）来提高切除部分发音器官的手术患者的语音清晰度。由于数据采集的困难，VC中没有并行数据是非常可取的。虽然已经开发了用于非并行VC的技术，例如CycleGAN，但它们通常专注于转换说话者身份，并直接将一个说话者的语音转换为另一个说话者的语音，因此不解决这里的任务。在本文中，我们提出了一种新的方法，非并行VC。该方法将受损语音转换为正常语音，同时保留语言内容和说话人特征。据我们所知，这是第一个应用于受损语音的端到端基于GAN的无监督VC模型。实验结果表明，该方法优于CycleGAN。
2019-08-22 cs.LG cs.SD eess.AS
Unsupervised Imaging Inverse Problems with Diffusion Distribution Matching
Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
针对图像复原逆问题中前向模型未知、配对数据难获取的痛点，提出基于条件流匹配和分布匹配损失的无监督方法，仅需小型非配对数据集，在多项任务上性能优异，可低成本实现镜头校准等真实应用。
2025-06-17 cs.CV cs.LG eess.IV
Structure-aware Unsupervised Tagged-to-Cine MRI Synthesis with Self Disentanglement
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland School of Dentistry（马里兰大学牙医学院）
循环重建正则化对抗训练-例如，CycleGAN、DiscoGAN和DualGAN --已被广泛用于不成对训练数据的图像风格转换。然而，最近的几项工作表明，当地的扭曲是频繁的，结构的一致性不能得到保证。针对这个问题，以前的工作通常依赖于额外的分割或特定于任务的一致特征提取步骤。为了解决这个问题，这项工作的目的是学习一个通用的附加结构特征提取器，通过显式地执行输入和其合成图像之间的结构对齐。具体来说，我们提出了一种新的输入输出图像补丁自我训练计划，以实现底层解剖结构和成像方式的解开。翻译器和结构编码器被更新，遵循交替的训练协议。此外，信息w.r.t.可以用不对称对抗游戏来消除成像模态。我们分别在来自20名健康受试者的1，768、416和1，560个未配对的标记和电影磁共振成像的独立于受试者的切片上对我们的网络进行了训练、验证和测试，表现出优于竞争方法的性能。
2022-02-25 cs.CV cs.LG eess.IV
Semi-supervised Sequence-to-sequence ASR using Unpaired Speech and Text
Brno University of Technology（布尔诺理工大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；MERL（三菱电机研究实验室）
序列到序列的自动语音识别（ASR）模型需要大量的数据来获得高性能。出于这个原因，最近对此类模型中的无监督和半监督训练的兴趣激增。这项工作建立在最近的结果显示显着改善半监督训练使用周期一致性和相关技术。这样的技术通过将ASR与文本到语音（TTS）模型组合来导出能够利用未配对的语音和/或文本数据的训练过程和损失。特别是，这项工作提出了一种新的半监督损失结合端到端可区分ASR $\rightarrow$ TTS损失与TTS $\rightarrow$ ASR损失。该方法能够充分利用未配对的语音和文本数据，在WER方面优于最近提出的相关技术。我们提供了大量的结果分析数据量和语音和文本模态的影响，并显示在华尔街日报和Librispeech语料库的一致收益。我们的代码在ESPnet中提供，以重现实验。
2019-08-20 cs.CL cs.IR cs.LG
Quantum Architecture Search with Unsupervised Representation Learning
Ludwig-Maximilians-University Munich（慕尼黑路易斯-马克西米利安大学）
本研究提出一种无监督表示学习的量子架构搜索方法，通过解耦表示学习与搜索过程，提高搜索效率并减少对大规模标记数据的依赖。
2026-01-25 cs.LG quant-ph
Bridged Clustering: Semi-Supervised Sparse Bridging
Bridged Clustering是一种半监督方法，通过稀疏桥梁连接输入和输出聚类，实现高效且可解释的预测。
2026-02-13 cs.LG
AdaFlow: Domain-Adaptive Density Estimator with Application to Anomaly Detection and Unpaired Cross-Domain Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Media Intelligence Laboratories（NTT媒体情报实验室）
我们解决了无监督异常检测（UAD），这是一个检测与正常数据显著不同的数据的问题。UAD通常通过使用密度估计来求解。最近，基于深度神经网络（DNN）的密度估计器（例如Normalizing Flows）引起了人们的关注。然而，它们的缺点之一是难以使它们适应正态数据分布的变化。为了解决这个困难，我们提出了AdaFlow，这是一种新的基于DNN的密度估计器，可以很容易地适应分布的变化。AdaFlow是规范化流和自适应批量规范化的统一模型，该模块使DNN能够适应新的分布。AdaFlow可以通过每个样本只进行一次前向传播来适应新的分布;因此，它可以在计算资源有限的设备上使用。我们已经证实了所提出的模型的有效性，通过异常检测在一个健全的任务。我们还提出了一种将AdaFlow应用于非配对跨域翻译问题的方法，其中必须训练仅使用非配对样本的跨域翻译模型。我们已经证实，我们的模型可以用于跨域的翻译问题，通过对图像数据集的实验。
2019-03-13 cs.LG cs.SD eess.AS
Synthesis of COVID-19 Chest X-rays using Unpaired Image-to-Image Translation
Concordia Institute for Information Systems Engineering（康考迪亚大学信息系统工程研究所）；Concordia University（康考迪亚大学）
由于缺乏2019冠状病毒病（COVID-19）阳性患者的胸部X光照片的公开数据集，我们通过利用类条件反射和对抗训练，使用无监督域自适应方法构建了首个高保真的COVID-19胸部X光合成图像的开放数据集。我们的贡献是双重的。首先，当使用合成图像作为额外的训练集时，我们使用各种深度学习架构对COVID-19检测进行了相当大的性能改进。其次，我们展示了我们的图像合成方法如何通过仅在合成数据上训练时实现可比的检测性能来作为数据匿名化工具。此外，所提出的数据生成框架为COVID-19检测以及一般的医学图像分类任务提供了可行的解决方案。我们公开的基准数据集由21，295张合成COVID-19胸部X射线图像组成。从该数据集中收集的见解可用于抗击COVID-19大流行的预防措施。
2020-10-20 cs.CV cs.LG eess.IV
A Simple yet Effective DDG Predictor is An Unsupervised Antibody Optimizer and Explainer
Westlake University（西湖大学）；DP Technology（第四范式科技）
针对蛋白质突变筛选效率低及突变偏好难解释的问题，提出轻量级DDG预测器Light-DDG，结合结构感知Transformer与知识蒸馏，构建大规模数据集预训练，还提出突变解释器学习偏好，实现无监督抗体优化与解释。
2025-02-13 cs.AI cs.LG q-bio.QM
Weakly Supervised Correspondence Learning
Stanford University（斯坦福大学）
对应学习是机器人学中的一个基本问题，其目的是学习不同动力学或实施例的智能体的状态、动作对之间的映射。然而，目前的对应学习方法要么利用严格配对的数据（通常难以收集），要么使用正则化技术（如循环一致性）以无监督的方式从未配对的数据中学习，这会导致严重的错位问题。我们提出了一种弱监督的对应学习方法，在严格配对数据的强监督和非配对数据的正则化的无监督学习之间进行权衡。我们的想法是利用两种类型的弱监督：i）状态和动作的时间排序，以减少复合错误，ii）配对的抽象，而不是配对的数据，以减轻错位问题，并学习更准确的对应关系。这两种类型的弱监督在现实世界的应用中很容易访问，同时降低了注释严格配对数据的高成本，并提高了学习的对应关系的质量。
2022-03-07 cs.AI cs.LG cs.RO
Unpaired MRI Super Resolution with Contrastive Learning
University Hospital Heidelberg（海德堡大学医院）；James Cook University（詹姆斯·库克大学）；Vitalent Consulting（Vitalent咨询公司）；Shenzhen People’s Hospital（深圳市人民医院）；Wuhan University（武汉大学）；Uppsala University（乌普萨拉大学）
针对非配对 MRI 超分辨率中高分辨率训练数据难以获取的问题，提出基于对比学习的方法，在有限高分辨率数据下显著提升了重建图像的峰值信噪比与结构相似性。
2024-02-16 cs.CV cs.LG eess.IV
Unsupervised Selective Rationalization with Noise Injection
Columbia University（哥伦比亚大学）
本文针对无监督选择性合理化中理由可能不合理的问题，提出在生成器与预测器之间注入噪声的训练方法，并构建电影评论新基准，在多个任务上显著提升理由合理性和准确率。
2023-05-27 cs.AI cs.CL cs.LG
Unsupervised Neural Machine Translation for Low-Resource Domains via Meta-Learning
NAVER；Korea University（高丽大学）；KAIST（韩国科学技术院）；Upstage AI Research（Upstage AI 研究院）
无监督机器翻译利用未配对的单语语料库作为训练数据，已经取得了与有监督机器翻译相当的性能。然而，它仍然受到数据稀缺领域的影响。为了解决这个问题，本文提出了一种新的Meta学习算法的无监督神经机器翻译（UNMT），训练模型，以适应另一个领域，通过只利用少量的训练数据。我们假设域一般知识是处理数据稀缺域的一个重要因素。因此，我们扩展了Meta学习算法，它利用从高资源域学习到的知识，以提高低资源UNMT的性能。我们的模型超过了基于迁移学习的方法高达2-4 BLEU分数。大量的实验结果表明，我们提出的算法适用于快速自适应，并且始终优于其他基线模型。
2021-05-07 cs.AI cs.CL cs.LG
Federated CycleGAN for Privacy-Preserving Image-to-Image Translation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
无监督的图像到图像转换方法，如CycleGAN，使用来自不同域的未配对训练数据集学习将图像从一个域转换到另一个域。不幸的是，这些方法仍然需要集中收集未配对的记录，这可能会违反隐私和安全问题。虽然最近的联邦学习（FL）允许在没有数据交换的情况下训练神经网络，但FL的基本假设是所有客户端都有来自类似域的自己的训练数据，这与我们的图像到图像翻译场景不同，在图像到图像翻译场景中，每个客户端都有来自其唯一域的图像，目标是在不访问目标域数据的情况下学习不同域之间的图像翻译。为了解决这个问题，我们提出了一种新的联邦CycleGAN架构，可以以无监督的方式学习图像翻译，同时保持数据隐私。具体来说，我们的方法源于一个新的观察，即CycleGAN损失可以分解为客户端特定的本地目标的总和，这些目标可以仅使用其数据进行评估。这种局部目标分解允许多个客户端参与联邦CycleGAN训练，而不会牺牲性能。此外，我们的方法采用了新的可切换的生成器和自适应实例归一化（AdaIN），显着降低了联邦学习的带宽要求的并行架构。我们在各种无监督图像翻译任务上的实验结果表明，与非联邦对应物相比，我们的联邦CycleGAN提供了相当的性能。
2021-06-17 cs.CV cs.LG stat.ML
Unsupervised Learning of KB Queries in Task-Oriented Dialogs
IBM Research（IBM研究院）；IIT Delhi（印度理工学院德里分校）；LimeChat
面向任务的对话（task oriented dialog，TOD）系统通常需要制定与用户意图相对应的知识库（knowledge base，KB）查询，并使用查询结果来生成系统响应。现有的方法需要对话数据集来显式地注释这些KB查询--这些注释可能很耗时，而且成本很高。作为回应，我们定义了新的问题，预测的KB查询和训练的对话代理，没有明确的KB查询注释。对于查询预测，我们提出了一个强化学习（RL）基线，它奖励那些查询的生成，其KB结果覆盖了后续对话中提到的实体。进一步的分析表明，在知识库中的查询属性之间的相关性可以显着混淆内存增强策略优化（MAPO），现有的最先进的RL代理。为了解决这个问题，我们通过简单但重要的修改来改进MAPO基线，以适合我们的任务。为了训练完整的TOD系统，我们提出了一种流水线方法：它独立地预测何时进行KB查询（查询位置预测器），然后在预测的位置预测KB查询（查询预测器），并在后续对话中使用预测查询的结果（下一个响应预测器）。总的来说，我们的工作提出了我们的新问题的第一个解决方案，我们的分析突出了在没有查询注释的情况下训练TOD系统的研究挑战。
2021-06-03 cs.CL cs.LG stat.ML
Unsupervised Severe Weather Detection Via Joint Representation Learning Over Textual and Weather Data
National Centre for Scientific Research “Demokritos”（国立科学研究中心“德谟克利特”）
当观察一个现象时，严重的情况或异常通常以偏离预期的数据分布为特征。然而，非偏离数据样本也可能隐含地导致严重的结果。在无监督的恶劣天气检测的情况下，这些数据样本可能会导致错误的预测，因为恶劣天气的预测因子通常不会直接作为特征被观察到。我们认为，结合外部或辅助信息，如外部任务或观察的结果，可以提高无监督检测算法的决策边界。在本文中，我们提高了有效性的聚类方法来检测恶劣天气的情况下，通过学习增强和线性可分离的潜在representations.We评估我们的解决方案对三个单独的情况下，恶劣天气，即风暴，洪水和龙卷风爆发。
2020-05-14 cs.LG stat.ML
Paired by the Teacher: Turning Unpaired Data into High-Fidelity Pairs for Low-Resource Text Generation
Center for Language and Speech Processing, Johns Hopkins University（语言与语音处理中心，约翰霍普金斯大学）
本文提出两阶段师生框架 PbT，利用教师 LLM 将非配对样本压缩为 IR，并训练学生重建输入以生成高保真配对数据，在多个低资源 NLG 任务上显著优于直接合成与无监督基线。
2025-09-29 cs.AI cs.CL cs.LG
Unsupervised ASR via Cross-Lingual Pseudo-Labeling
Apple（苹果公司）
提出跨语言伪标签方法，利用其他语言的字符级声学模型和目标语言模型约束，在无目标语言标注音频下实现高效无监督ASR。
2024-02-16 cs.CL cs.LG cs.SD
Conditional Random Field Autoencoders for Unsupervised Structured Prediction
Carnegie Mellon University（卡内基梅隆大学）
我们介绍了一个框架，无监督学习的结构化预测重叠，全球功能。每个输入的潜在表示是预测的可观察的数据使用一个功能丰富的条件随机场的条件。然后，重建的输入（重新）生成，条件的潜在结构，使用模型的最大似然估计具有封闭形式。我们的自动编码器公式可以实现有效的学习，而不会做出不切实际的独立性假设或限制可以使用的特征种类。我们说明了与传统自动编码器，后验正则化和多视图学习的深刻联系。我们展示了两个典型NLP任务的模型实例的竞争结果：词性归纳和双文本单词对齐，并表明训练我们的模型可以比类似的特征丰富的基线更有效。
2014-11-10 cs.CL cs.LG
Uncorrelated Semi-paired Subspace Learning
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Soochow University（苏州大学）；University of Shanghai for Science and Technology（上海理工大学）
在许多现实世界的应用中，多视图数据集越来越多地被收集，我们已经看到现有的多视图学习方法比单独应用于每个视图的传统单视图学习方法具有更好的学习性能。但是，大多数这些多视图学习方法都是建立在这样的假设之上的：在每个实例中没有视图丢失，并且来自所有视图的所有数据点必须完美配对。因此，它们不能处理未配对的数据，而是在学习过程中完全忽略它们。然而，在现实中，不成对的数据可能比成对的数据更丰富，简单地忽略所有不成对的数据会造成巨大的资源浪费。在本文中，我们专注于学习不相关的功能，半对子空间学习，动机是许多现有的作品，显示出巨大的成功学习不相关的功能。具体来说，我们提出了一个广义的不相关多视点子空间学习框架，它可以自然地集成许多已证明的学习标准的半配对数据。为了展示框架的灵活性，我们实例化了五个新的半成对模型，用于无监督和半监督学习。我们还设计了一个逐次交替逼近（SAA）的方法来解决由此产生的优化问题，该方法可以结合强大的Krylov子空间投影技术，如果需要的话。多视角特征提取和多模态分类的大量实验结果表明，我们提出的模型表现出竞争力或优于基线。
2020-11-22 cs.LG stat.ML
Unsupervised Neural Sensor Models for Synthetic LiDAR Data Augmentation
Valeo Egypt AI Research（法雷奥埃及人工智能研究院）；Cairo University（开罗大学）
数据稀缺是基于机器学习的感知模块的瓶颈，通常通过使用来自模拟器的合成数据来增强真实数据来解决。车辆感知传感器的现实模型很难以封闭的形式表达，同时，它们需要存在待学习的成对数据。在这项工作中，我们提出了两个无监督的神经传感器模型的基础上不成对的域转换与CycleGAN和神经风格转移技术。我们采用CARLA作为模拟环境来获得模拟的LiDAR点云，以及它们的注释用于数据增强，并且我们使用KITTI数据集作为真实的LiDAR数据集，从中我们学习现实的传感器模型映射。此外，我们提供了一个框架，用于数据增强和评估开发的传感器模型，通过外部对象检测任务评估使用YOLO网络适应于提供定向的边界框激光雷达鸟瞰投影点云。对来自KITTI数据集的看不见的真实LiDAR帧进行评估，使用两种方法进行了不同数量的模拟数据增强，显示出目标检测任务的6%mAP的改进，有利于增强LiDAR点云，该点云与原始模拟LiDAR相比采用了建议的神经传感器模型。
2019-11-24 cs.CV cs.LG eess.IV
Collaborative Unsupervised Visual Representation Learning from Decentralized Data
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
无监督表示学习利用互联网上的集中数据取得了出色的性能。然而，对隐私保护的日益增长的意识限制了在多方中爆炸性增长的分散的未标记图像数据的共享（例如，手机和相机）。因此，一个自然的问题是如何利用这些数据来学习下游任务的视觉表示，同时保护数据隐私。为了解决这个问题，我们提出了一个新的联邦无监督学习框架，FedU。在这个框架中，每一方都使用在线网络和目标网络的对比学习，独立地从未标记的数据中训练模型。然后，中央服务器聚合训练的模型，并用聚合的模型更新客户端的模型。它保护数据隐私，因为每一方只能访问其原始数据。多方之间的分散数据通常是非独立且同分布（非IID）的，从而导致性能下降。为了应对这一挑战，我们提出了两个简单但有效的方法：1）我们设计的通信协议，只上传在线网络的编码器的服务器聚合和更新他们的聚合编码器; 2）我们引入了一个新的模块，动态决定如何更新预测器的基础上，由非IID所造成的分歧。预测器是在线网络的另一个组成部分。大量的实验和消融证明了FedU的有效性和意义。在非IID数据的线性和半监督评估中，它比只有一方的训练方法高出5%以上，比其他方法高出14%以上。
2021-08-14 cs.AI cs.CV cs.DC
SCULPT: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
SCULPT提出一种无配对学习框架，结合3D扫描与2D图像，生成姿态相关、穿衣且有纹理的人体网格，并通过属性标签条件缓解姿态与服装的纠缠。
2024-05-06 cs.AI cs.CV cs.GR
On Unsupervised Image-to-image translation and GAN stability
The University of Georgia（佐治亚大学）
本研究分析CycleGAN的失败案例，提出其与GAN稳定性相关，并设计两个通用模型以缓解问题，同时确认该任务不适定性。
2023-10-18 cs.AI cs.CV cs.LG
