A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow
Boise State University（博伊西州立大学）；University of Delaware（特拉华大学）
最终用户AI在大型服务器群上使用从用户收集的数据进行训练。随着对IOT设备的需求不断增长，需要能够以节能方式（在边缘）实现的深度学习方法。在这项工作中，我们使用脉冲神经网络来实现这一点。利用二进制激活的尖峰时间依赖可塑性（STDP）的无监督学习技术，从尖峰输入数据中提取特征。梯度下降（反向传播）仅用于输出层，以执行分类训练。与其他方法相比，平衡EMNIST数据集获得的准确性毫不逊色。我们还探讨了随机梯度下降（SGD）近似对网络学习能力的影响。
2020-10-28 cs.LG cs.NE eess.IV
Syndrome-Enabled Unsupervised Learning for Neural Network-Based Polar Decoder and Jointly Optimized Blind Equalizer
MediaTek, Inc.（联发科股份有限公司）
最近，伴随式丢失已经被提出来实现基于神经网络的BCH/LDPC解码器的“无监督学习”。然而，该设计方法不能直接应用于极化码，并且尚未在变化的信道下进行评估。在这项工作中，我们提出了两个修改的综合征损失，以促进无监督学习的接收器。然后，我们首先将其应用于基于神经网络的置信传播（BP）极性解码器。在CRC启用的综合征丢失的帮助下，BP解码器甚至可以在误块率方面优于传统的监督学习方法。其次，我们提出了一种联合优化的综合征使能盲均衡器，它可以避免传输的训练序列，并达到全球最佳的1.3 dB增益比非盲最小均方误差（MMSE）均衡器。
2020-06-16 cs.LG eess.SP
Optimal Linear Signal: An Unsupervised Machine Learning Framework to Optimize PnL with Linear Signals
本文提出一种无监督机器学习框架，通过线性构造交易信号并最大化夏普比率来优化量化金融盈亏，并在美国国债ETF上验证了其有效性。
2023-11-22 cs.LG q-fin.ST
Unsupervised Deep Discriminant Analysis Based Clustering
Fuzhou University（福州大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
这项工作提出了一种无监督的深度判别分析聚类。该方法基于深度神经网络，旨在以无监督的方式最小化簇内差异并最大化簇间差异。该方法能够将数据投影到一个非线性的低维潜空间中，具有紧凑而清晰的分布模式，从而可以有效地识别数据簇。我们进一步提供了一个扩展的方法，使可用的图信息可以有效地利用，以提高聚类性能。大量的数值结果图像和非图像数据与图形信息的情况下，证明了所提出的方法的有效性。
2022-06-09 cs.LG
Unsupervised Few-shot Learning via Deep Laplacian Eigenmaps
University of Toronto（多伦多大学）
从少量示例中学习新任务仍然是机器学习中的一个公开挑战。尽管最近在少样本学习方面取得了进展，但大多数方法依赖于对标记的Meta训练数据的监督预训练或元学习，并且不能应用于预训练数据未标记的情况。在这项研究中，我们提出了一种无监督的少样本学习方法，通过深度拉普拉斯特征映射。我们的方法通过将相似的样本分组在一起来从未标记的数据中学习表示，并且可以通过在增强的训练数据上随机游走来直观地解释。我们分析了深度拉普拉斯特征映射如何避免无监督学习中的崩溃表示，而无需明确比较正负样本。所提出的方法显着关闭监督和无监督少样本学习之间的性能差距。我们的方法也达到了目前最先进的自监督学习方法下的线性评价协议的性能相当。
2022-10-07 cs.LG
DeConFuse : A Deep Convolutional Transform based Unsupervised Fusion Framework
Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）；TCS Research（塔塔咨询服务研究院）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（高等电力学院）；Inria（法国国家信息与自动化研究所）；LIGM（LIGM实验室）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；ESIEE Paris（巴黎高等电子工程师学院）
这项工作提出了一种基于深度卷积变换学习的无监督融合框架。卷积滤波器用于数据分析的强大学习能力是众所周知的。卷积特征的成功归功于卷积神经网络（CNN）。然而，CNN不能以无监督的方式执行学习任务。在最近的一项工作中，我们证明了这种缺点可以通过采用卷积变换学习（CTL）方法来解决，其中卷积滤波器以无监督的方式学习。本论文的目的是（i）提出一个深度版本的CTL;（ii）提出一个无监督的融合公式，利用所提出的深度CTL表示;（iii）开发一个数学上健全的优化策略来执行学习任务。我们应用所提出的技术，名为DeConclusion，股票预测和交易的问题。与最先进的方法（基于CNN和长短期记忆网络）的比较表明，我们的方法进行可靠的特征提取的优越性。
2020-11-09 cs.LG
Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations
Nokia Technologies（诺基亚技术）
聚类对于模式识别和计算机视觉中的许多任务都是必不可少的。随着深度学习的出现，人们对学习用于聚类分析的深度无监督表示越来越感兴趣。这个领域的许多作品依赖于自动编码器的变体，并使用编码器输出作为聚类的表示/特征。在本文中，我们证明了在自动编码器训练期间对这些表示的l2归一化约束，使得训练后的表示在欧几里得空间中更加可分离和紧凑。这大大提高了聚类的准确性时，k均值聚类的表示。我们还提出了一种基于聚类的无监督异常检测方法，使用l2归一化深度自动编码器表示。我们显示了l2归一化对异常检测精度的影响。我们进一步表明，所提出的异常检测方法大大提高了准确性相比，以前提出的深层方法，如基于重建误差的异常检测。
2018-02-01 cs.LG
Learning to Optimize with Unsupervised Learning: Training Deep Neural Networks for URLLC
School of Electronics and Information Engineering, Beihang University（北京航空航天大学电子信息工程学院）
学习作为环境参数的函数的最优解对于时间敏感应用的实时的数值优化是有效的。现有的学习优化训练带有标签的深度神经网络（DNN）的工作，学习到的解是不准确的，不能用来保证严格的服务质量。在本文中，我们提出了一个框架来学习潜函数与无监督的深度学习，其中最优解应该满足的属性被隐式地用作“监督信号”。该框架是适用于功能和变量的约束优化问题。以超可靠低延迟通信中的变量优化问题为例，证明了无监督标签的DNN可以支持超高可靠性。
2019-05-27 cs.LG eess.SP stat.ML
Unsupervised Deep One-Class Classification with Adaptive Threshold based on Training Dynamics
KAIST（韩国科学技术院）；Harvard University（哈佛大学）；King’s College London（伦敦国王学院）
单类分类已经成为一种流行的方法，在建立深度异常检测模型的假设下，由正常样本组成的数据集是可用的。然而，在实践中，异常样本经常混合在训练数据集中，并且它们会在精神上影响深度模型的训练，这限制了它们的适用性。对于深度实际模型的鲁棒正态性学习，我们提出了一种无监督的深度一类分类，它从伪标记的正态样本中学习正态性，即，单个集群场景中的离群值检测。为此，我们提出了一种伪标记方法，通过基于排名的训练动态选择自适应阈值。在10个异常检测基准上的实验表明，该方法有效地提高了异常检测的性能。
2023-02-13 cs.LG
Deep Least Squares Alignment for Unsupervised Domain Adaptation
Lehigh University（里海大学）
无监督领域自适应利用来自标记的源域的丰富信息来对未标记的目标域进行建模。现有的方法试图对齐跨域分布。然而，这两个域的对齐的统计表示没有得到很好的解决。在本文中，我们提出了深度最小二乘对齐（DLSA）估计的两个域的分布在一个潜在的空间参数化的线性模型。我们进一步开发了边缘和条件适应损失，以减少域的差异，通过最小化拟合线和截距之间的角度差异，并进一步学习域不变的功能。大量的实验表明，所提出的DLSA模型是有效的对齐域分布，并优于国家的最先进的方法。
2021-11-03 cs.LG
Cluster Naturalistic Driving Encounters Using Deep Unsupervised Learning
University of Michigan（密歇根大学）；Tsinghua University（清华大学）
从驾驶遭遇中学习知识可以帮助自动驾驶汽车在复杂的环境中驾驶时做出适当的决定，附近的车辆也在使用。本文开发了一种无监督分类器，通过将自动编码器与k-均值聚类（AE-kMC）相结合，将自然驾驶遇到的数据分组为可区分的聚类。AE-kMC的有效性进行了验证，使用的数据10,000自然驾驶遭遇，由密歇根大学，安娜堡在过去的五年中收集。实验结果表明，AE-kMC方法的聚类性能优于传统的k-means聚类方法，并与$k$ -means聚类方法进行了比较。
2018-06-06 cs.LG
Towards Accurate Model Selection in Deep Unsupervised Domain Adaptation
University of California, Berkeley（加州大学伯克利分校）；UC Berkeley（加州大学伯克利分校）
针对深度无监督域适应中缺乏准确模型选择方法的问题，提出Deep Embedded Validation (DEV)方法，通过嵌入适应特征表示到验证过程中，获得目标风险的无偏估计，并利用控制变量技术降低方差，理论和实验证明了其有效性。
2026-06-03 cs.LG
Unsupervised Representation Learning in Deep Reinforcement Learning: A Review
University of Twente（特温特大学）
本综述探讨了深度强化学习中从高维数据学习低维状态变量的无监督表示学习问题，系统阐述了相关深度学习方法、原理、基准评估及未来挑战，旨在提升数据效率、鲁棒性和可解释性。
2024-05-01 cs.LG
Convergence of End-to-End Training in Deep Unsupervised Contrastive Learning
University of International Business and Economics（对外经济贸易大学）
无监督对比学习在最新的研究中得到了越来越多的关注，并已被证明是一种从未标记数据中学习表示的强大方法。然而，很少有理论分析是已知的这一框架。本文研究深度无监督对比学习的优化问题。我们证明，通过应用端到端训练，同时更新两个深度过参数化神经网络，可以找到非凸对比损失的近似稳态解。这个结果本质上不同于监督设置中现有的过参数化分析，因为与学习特定目标函数相反，无监督对比学习试图将未标记的数据分布编码到神经网络中，其通常没有最优解。我们的分析为这些无监督预训练方法的实际成功提供了理论见解。
2021-05-30 cs.LG stat.ML
Unsupervised Contextual Anomaly Detection using Joint Deep Variational Generative Models
提出了一种用于无监督上下文异常检测的方法，该方法使用交叉链接的变分自动编码器对来为观察分配正态性分数。该方法能够将上下文属性与行为属性区分开，并且对于异常或新颖的上下文属性的存在是鲁棒的。该方法可以用包含异常的数据集进行训练，而无需任何特殊的预处理。
2019-04-01 cs.LG stat.ML
Unsupervised Domain Adaptation with Deep Neural-Network
MSIAM
该报告分析无监督域适应现有方法并提出新途径，展示了深度神经网络改进跨域视觉识别的潜力。
2023-07-10 cs.CV cs.LG
Unsupervised Abnormality Detection through Mixed Structure Regularization (MSR) in Deep Sparse Autoencoders
Philips Medical Systems Technologies Ltd.（飞利浦医疗系统科技有限公司）
除了显式稀疏正则化项和具有高斯噪声的输入数据的随机损坏之外，具有混合结构正则化（MSR）的深度稀疏自动编码器具有改进无监督异常检测的潜力。基于使用深度稀疏自动编码器识别离群值的无监督异常检测对于医学计算机辅助检测系统来说是非常有吸引力的方法，因为它只需要健康的数据进行训练，而不是专家注释的异常。在冠状动脉计算机断层扫描血管造影（CCTA）检测冠状动脉疾病的任务中，我们的研究结果表明，与深度稀疏和去噪自动编码器相比，MSR有可能将整体性能提高20-30%。
2019-02-28 cs.CV cs.LG
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
indico Research（indico研究公司）；Facebook AI Research（脸书人工智能研究院）
近年来，使用卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，使用CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合CNN在监督学习和无监督学习中的成功之间的差距。我们介绍了一类称为深度卷积生成对抗网络（DCGAN）的CNN，它们具有一定的架构约束，并证明它们是无监督学习的强有力候选者。在各种图像数据集上进行训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和生成器中学习了从对象部分到场景的表示层次。此外，我们将学习到的功能用于新的任务-证明它们作为一般图像表示的适用性。
2016-01-07 cs.CV cs.LG
Unsupervised Deep Learning Algorithm for PDE-based Forward and Inverse Problems
Tel-Aviv University（特拉维夫大学）
我们提出了一种基于神经网络的算法，用于以无监督的方式求解偏微分方程的正问题和反问题。该解决方案是近似的深度神经网络，这是成本函数的最小化，并满足PDE，边界条件，和额外的正则化。该方法是无网格的，可以很容易地应用到一个任意的规则域。本文主要研究二维二阶椭圆系统的变系数问题，并将其应用于电阻抗成像。
2019-04-10 cs.LG stat.ML
Multi-Perspective Content Delivery Networks Security Framework Using Optimized Unsupervised Anomaly Detection
Western University（韦仕敦大学）；Ericsson（爱立信）
内容分发网络（CDN）通过互联网提供高效的内容分发。CDN提高了全球通信的连通性和效率，但其缓存机制可能会被网络攻击者破坏。在安全机制中，有效的异常检测是CDN安全增强的重要组成部分。在这项工作中，我们提出了一个多角度的无监督学习框架的CDN异常检测。在该框架中，提出了一种多视角的特征工程方法、一种利用隔离森林和高斯混合模型的优化无监督异常检测模型以及一种多视角的验证方法，主要从客户端IP和节点的角度检测CDN中的异常行为，从而识别拒绝服务（DoS）和缓存污染攻击（CPA）模式。实验结果是基于一个主要的CDN运营商提供的八天的真实世界的CDN日志数据的分析。实验结果表明，该框架能够有效识别异常内容、入侵节点、恶意IP及其对应的攻击类型，并得到多位网络安全专家的验证。这表明了所提出的方法在应用于现实世界的CDN数据时的有效性。
2021-07-24 cs.AI cs.CR cs.LG
Unsupervised Deep Learning for IoT Time Series
Tongji University（同济大学）；Sichuan University（四川大学）；Fudan University（复旦大学）
物联网时间序列分析在从健康信息学到网络安全的各种领域都有许多应用。然而，物联网时间序列复杂的时空动态和高维性使得分析越来越具有挑战性。近年来，深度学习（DL）强大的特征提取和表示学习能力为物联网时间序列分析提供了有效手段。然而，很少有现有的调查时间序列系统地讨论了无监督DL为基础的方法。为了填补这一空白，我们研究了物联网时间序列的无监督深度学习，即，无监督的异常检测和聚类，在一个统一的框架。我们还讨论了该领域的应用场景，公共数据集，现有挑战和未来研究方向。
2023-02-21 cs.LG eess.SP
Deep Unsupervised Active Learning on Learnable Graphs
University of Electronic Science and Technology of China（电子科技大学）；Beijing Institute of Technology（北京理工大学）；Meituan（美团）
最近，深度学习已成功应用于无监督主动学习。然而，目前的方法试图通过自动编码器学习非线性变换，而忽略了样本关系，为无监督主动学习设计更有效的表示学习机制留下了巨大的空间。在本文中，我们提出了一种新的深度无监督主动学习模型通过可学习图，命名为ALLG。ALLG受益于学习最佳图结构以获得更好的样本表示并选择代表性样本。为了使学习的图结构更加稳定和有效，我们考虑$k$ -最近邻图作为先验，并学习关系传播图结构。我们还将不同层之间的快捷连接，这可以在一定程度上缓解众所周知的过度平滑问题。据我们所知，这是第一次尝试利用图结构学习进行无监督主动学习。在六个数据集上进行的大量实验证明了我们方法的有效性。
2021-11-08 cs.AI cs.LG
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
A Tour of Unsupervised Deep Learning for Medical Image Analysis
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰大学）
从高维和异构数据中解释用于诊断和治疗复杂疾病的医学图像仍然是医疗保健转型的关键挑战。在过去的几年里，监督和无监督深度学习在医学成像和图像分析领域都取得了可喜的成果。与监督学习不同，监督学习偏向于如何监督和手动为算法创建类标签，无监督学习直接从数据本身获得见解，对数据进行分组，并帮助做出数据驱动的决策，而没有任何外部偏见。本文系统地介绍了应用于医学图像分析的各种无监督模型，包括自动编码器及其几种变体，限制玻尔兹曼机，深度信念网络，深度玻尔兹曼机和生成对抗网络。最后讨论了无监督技术在医学图像分析中的应用前景和面临的挑战。
2018-12-19 cs.CV cs.LG eess.IV
Semi-unsupervised Learning of Human Activity using Deep Generative Models
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们引入了“半无监督学习”，这是一种与迁移学习和zero-shot学习相关的问题机制，在训练数据中，一些类是稀疏标记的，而另一些则完全没有标记。能够从这种类型的训练数据中学习的模型可能非常有用，因为许多真实世界的数据集都是这样的。在这里，我们展示了一个新的深度生成模型在这个政权的分类。我们的模型是一个高斯混合深度生成模型，在MNIST上展示了优于Kingma和Welling（2014）的M2模型的半无监督分类性能。我们将该模型应用于人体加速度计数据，在时间序列数据的窗口上进行活动分类和结构发现。
2018-12-11 cs.LG stat.ML
A Survey of Unsupervised Deep Domain Adaptation
Washington State University（华盛顿州立大学）
深度学习已经为各种任务产生了最先进的结果。虽然这种用于监督学习的方法表现良好，但它们假设训练和测试数据来自相同的分布，但情况并非总是如此。作为对这一挑战的补充，单源无监督领域自适应可以处理这样的情况，即在来自源域的标记数据和来自相关但不同的目标域的未标记数据上训练网络，目标是在目标域上的测试时表现良好。因此，已经开发了许多单源和通常同质的无监督深度领域自适应方法，将来自深度学习的强大的分层表示与领域自适应相结合，以减少对潜在昂贵的目标数据标签的依赖。本调查将通过检查替代方法，独特和共同的元素，结果和理论见解来比较这些方法。接下来，我们来看看应用领域和开放的研究方向。
2020-02-06 cs.LG stat.ML
Semi-Supervised Deep Learning Using Improved Unsupervised Discriminant Projection
Shanghai Jiao Tong University（上海交通大学）
深度学习需要大量标记良好的数据来训练网络参数。如何使用最少的标记数据来获得期望的分类精度具有重要的现实意义，因为对于许多现实应用（如医疗诊断）来说，很难获得如此多的标记样本。本文从降维的角度对无监督判别投影算法进行改进，并将其作为正则化项，提出了一种新的半监督深度学习算法，该算法能够利用大量未标记样本的局部和非局部分布来提高分类性能。实验表明，在给定几十个标记样本的情况下，该算法可以训练深度网络，取得满意的分类结果。
2019-12-19 cs.LG stat.ML
Unsupervised training of a deep clustering model for multichannel blind source separation
Paderborn University（帕德博恩大学）
我们提出了一种训练方案，当并行干净数据不可用时，从头开始训练基于神经网络的声源分离算法。特别是，我们证明了无监督的空间聚类算法足以指导深度聚类系统的训练。我们认为，以前的工作需要强有力的监督，并详细说明为什么这是一个限制。我们证明了（a）根据所提出的方案单独训练的单通道深度聚类系统能够在单词出错率方面实现与多通道教师类似的性能，以及（b）使用深度聚类结果初始化空间聚类方法，与无监督教师相比，相对单词出错率降低了26%。
2019-04-02 cs.LG eess.SP stat.ML
Optimize Deep Learning Models for Prediction of Gene Mutations Using Unsupervised Clustering
University of Science and Technology of China（中国科学技术大学）；The Fourth Affiliated Hospital of Anhui Medical University（安徽医科大学第四附属医院）；Genmab Inc.（Genmab公司）
深度学习已成为分析和解释全切片数字病理学图像（WSIs）的主流方法选择。通常假设肿瘤区域携带大多数预测信息。在本文中，我们提出了一种基于无监督聚类的多示例学习，并将我们的方法应用于开发深度学习模型，用于使用癌症基因组图谱（TCGA）研究（CRC，LUAD和HNSCC）中三种癌症类型的WSI预测基因突变。我们表明，图像块的无监督聚类可以帮助识别预测块，排除缺乏预测信息的块，从而改善对所有三种不同癌症类型的基因突变的预测，与基于WSI的方法相比，没有选择图像块和模型仅基于肿瘤区域。此外，我们提出的算法优于两个最近发表的基线算法，利用无监督聚类来帮助模型预测。用于突变预测的基于无监督聚类的方法允许通过解析的概率得分来识别与特定基因突变相关的空间区域，突出肿瘤微环境中预测基因型的异质性。最后，我们的研究还表明，选择WSI的肿瘤区域并不总是识别用于预测基因突变的补丁的最佳方式，肿瘤微环境中的其他组织类型可能比肿瘤组织提供更好的基因突变预测能力。
2022-04-24 cs.AI cs.CV cs.LG
Unsupervised Temperature Scaling: An Unsupervised Post-Processing Calibration Method of Deep Networks
Université Laval（拉瓦尔大学）；Petrobras（巴西石油公司）
深度学习的出色表现是不可否认的，在广泛的任务中取得了令人印象深刻的结果。然而，这些模型的输出置信度通常没有很好地校准，这对于决策的置信度对于提供信任和可靠性至关重要的应用来说可能是一个问题（例如，自动驾驶或医疗诊断）。对于在最后一层使用softmax的模型，温度缩放（TS）是一种最先进的校准方法，具有较低的时间和内存复杂性以及已证明的有效性。TS依赖于T参数来重新缩放和校准softmax层的值，其参数值是从标记的数据集计算的。我们提出了一种无监督温度缩放（UTS）方法，该方法不依赖于标记样本来校准模型，例如，允许使用测试样本的一部分来校准预训练模型，然后再进入推理模式。我们为UTS提供了理论依据，并评估了其在广泛的深度模型和数据集上的有效性。我们还展示了UTS对皮肤病变检测的校准结果，一个校准良好的输出可以为准确的决策发挥重要作用的问题。
2019-06-10 cs.CV cs.LG
Deep causal representation learning for unsupervised domain adaptation
Arizona State University（亚利桑那州立大学）；Army Research Lab（陆军研究实验室）
研究表明，深度神经网络学习的表示可以转移到其他领域的类似预测任务中，而我们没有足够的标记数据。然而，当我们过渡到模型中的更高层时，表示变得更加特定于任务，并且不那么可推广。最近关于深度领域自适应的研究提出通过迫使深度模型学习跨领域的更多可转移特征表示来缓解这个问题。这是通过将领域自适应方法合并到深度学习流水线中来实现的。大多数现有的模型学习与结果高度相关的可转移特征表示。然而，相关性并不总是可转移的。在本文中，我们提出了一种新的深度因果表示学习框架，用于无监督领域自适应，在该框架中，我们提出从源域学习输入的域不变因果表示。我们模拟一个虚拟的目标域使用重新加权的样本从源域和估计的因果关系的影响功能的结果。广泛的比较研究表明，所提出的模型的优势，无监督领域自适应通过因果关系表示。
2019-10-28 cs.LG stat.ML
Unsupervised Deep Embedding for Clustering Analysis
University of Washington（华盛顿大学）；Facebook AI Research (FAIR)（脸书人工智能研究院）
聚类是许多数据驱动应用领域的核心，并且在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习表示聚类。在本文中，我们提出了深度嵌入式聚类（DEC），这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射，并在其中迭代优化聚类目标。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2016-05-24 cs.CV cs.LG
Cloud Classification with Unsupervised Deep Learning
University of Chicago（芝加哥大学）；Argonne National Lab（阿贡国家实验室）；University of California, Berkeley（加州大学伯克利分校）
我们提出了一个利用现代无监督深度学习技术的云表征框架。虽然以前基于神经网络的云分类模型使用了监督学习方法，但无监督学习使我们能够避免将模型限制为基于历史云分类方案的人工类别，并能够发现新的，更详细的分类。我们的框架直接从NASA的中分辨率成像光谱仪（MODIS）卫星仪器产生的辐射数据中学习云特征，从数百万张图像中获得云特征，而无需在训练过程中依赖预定义的云类型。我们目前的初步结果表明，我们的方法提取的辐射数据的物理相关信息，并产生有意义的云类。
2022-09-30 cs.LG physics.ao-ph
Unsupervised Deep Hashing for Large-scale Visual Search
Northwestern Polytechnical University（西北工业大学）；University of Oulu（奥卢大学）
基于学习的哈希算法在大规模视觉搜索中起着关键作用。然而，大多数现有的散列算法倾向于学习不寻求代表性二进制代码的浅模型。在本文中，我们提出了一种基于无监督深度学习的哈希方法，将特征分层转换为哈希码。在异构深度哈希框架内，考虑具有特定约束的自动编码器层来建模特征和二进制代码之间的非线性映射。然后，一个限制玻尔兹曼机（RBM）层的约束被用来减少在汉明空间的维数。视觉搜索问题上的广泛实验证明了我们所提出的方法相比，国家的最先进的竞争力。
2016-01-31 cs.CV cs.LG
Deep Unsupervised Clustering with Clustered Generator Model
Shanghai Jiao Tong University（上海交通大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
无监督聚类是机器学习和人工智能领域最基本的问题之一。我们提出了聚类生成器模型的聚类，其中包含连续和离散的潜变量。离散潜变量对聚类标签进行建模，而连续潜变量对每个聚类内的变化进行建模。模型的学习在统一的概率框架中进行，并将无监督聚类作为内部步骤，而不需要像现有的基于变分的模型那样需要额外的推理模型。学习的潜变量既可以作为观察到的数据嵌入，也可以作为数据分布的潜在表示。实验结果表明，该模型可以达到有竞争力的无监督聚类精度，并可以学习解开潜在的表示，以产生现实的样本。此外，该模型可以自然地扩展到每像素无监督聚类，这在很大程度上尚未探索。
2019-11-19 cs.LG stat.ML
SiamMM: A Mixture Model Perspective on Deep Unsupervised Learning
Meta AI
本文从经典混合模型视角统一无监督聚类方法，提出 SiamMM 模型，在多个自监督学习基准上取得最先进性能，并能揭示数据中的潜在误标注。
2025-11-07 cs.CV cs.LG
Deep-Energy: Unsupervised Training of Deep Neural Networks
Technion Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
深度学习的成功在很大程度上要归功于大型注释数据集的可用性。因此，当前学习管道中的一个主要瓶颈是耗时的人工数据注释。在无法收集此类输入-输出对的情况下，通常使用模拟来代替，从而导致合成数据和真实数据之间的域转移。这项工作提供了一种无监督的替代方案，它依赖于特定任务的能量函数的可用性，取代了通用的监督损失。这样的能量函数被假定为导致期望的标签作为它们的最小值给定的输入。所提出的方法被称为“深度能量”，训练深度神经网络（DNN）来近似任何选定输入的最小化。一旦经过训练，一个简单而快速的前馈计算就可以提供推断的标签。这种方法允许我们只使用真实世界的输入来执行DNN的无监督训练，而不需要手动注释的标签，也不需要合成创建的数据。本文在三个不同的任务上展示了“深度能量”-种子分割，图像抠图和单个图像去雾-揭示了其通用性和广泛的适用性。我们的实验表明，由网络提供的解决方案往往比通过直接最小化能量函数获得的解决方案的质量要好得多，这表明在我们的方案中增加了正则化属性。
2019-08-20 cs.LG stat.ML
Interferometric Graph Transform: a Deep Unsupervised Graph Representation
CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机实验室）
我们提出了干涉图变换（IGT），这是一类新的用于构建图表示的深度无监督图卷积神经网络。我们的第一个贡献是提出了一个通用的，复值谱图架构从广义的欧几里德傅立叶变换。我们表明，我们的学习表示包括歧视性和不变的功能，由于一个新的贪婪凹目标。从我们的实验中，我们得出结论，我们的学习过程利用了谱域的拓扑结构，这通常是谱方法的一个缺陷，特别是我们的方法可以恢复视觉任务的分析算子。我们在各种具有挑战性的任务上测试了我们的算法，例如图像分类（MNIST，CIFAR-10），社区发现（作者身份，Facebook图）和3D骨架视频（SBU，NTU）的动作识别，展示了光谱图无监督设置的新的最先进技术。
2020-06-10 cs.LG stat.ML
Unsupervised Learning from Video with Deep Neural Embeddings
Stanford University（斯坦福大学）；MIT（麻省理工学院）
由于视频丰富的动态结构及其在日常生活中的普遍存在，视频数据可以作为一种强大的无监督学习信号，用于在深度神经网络中训练视觉表示，这是一个很自然的想法。然而，实例化这个想法，特别是在大规模上，仍然是人工智能的一个重大挑战。在这里，我们提出了视频实例嵌入（VIE）框架，该框架将最近用于学习深度非线性嵌入的强大无监督损失函数扩展到大规模视频数据集上的多流时间处理架构。我们表明，VIE-trained网络在视频数据流的无监督学习方面大大提高了最新技术水平，无论是Kinetics数据集中的动作识别，还是ImageNet数据集中的对象识别。我们表明，静态和动态处理途径的混合模型是最佳的两个转移任务，并提供分析表明如何不同的途径。从上下文来看，我们的研究结果表明，深度神经嵌入是一种很有前途的方法，可以在各种领域进行无监督视觉学习。
2020-03-10 cs.AI cs.CV cs.LG
A Deep Learning Approach to Unsupervised Ensemble Learning
Yale University（耶鲁大学）；Weizmann Institute（魏茨曼科学研究所）
我们展示了如何在众包和无监督集成学习的背景下应用深度学习方法。首先，我们证明了流行的模型的Dawid和Skene，它假设所有的分类器是有条件独立的，是{ \em等价}的限制玻尔兹曼机（RBM）与一个单一的隐藏节点。因此，在该模型下，真实标签的后验概率可以通过训练的RBM来估计。接下来，为了解决更一般的情况，即分类器可能强烈违反条件独立性假设，我们建议应用基于RBM的深度神经网络（DNN）。在各种模拟和真实数据集上的实验结果表明，我们提出的DNN方法优于其他最先进的方法，特别是当数据违反条件独立假设时。
2016-02-06 cs.LG stat.ML
Unsupervised Deep Haar Scattering on Graphs
Princeton University（普林斯顿大学）；École Normale Supérieure（巴黎高等师范学院）
当图的几何形状未知时，定义在图上的高维数据的分类特别困难。我们介绍了一个Haar散射变换图，计算不变的信号描述符。它是用加法、减法和绝对值的深度级联来实现的，迭代地计算正交Haar小波变换。未知图的多尺度邻域估计通过最小化平均总变差，与一对匹配算法的多项式复杂度。监督分类与降维的数据库上进行了测试，并在一个球体上的未知的不规则网格采样的信号。
2014-11-03 cs.CV cs.LG
Explaining Deep Neural Networks using Unsupervised Clustering
Google Cloud（谷歌云）
我们提出了一种新的方法来解释训练过的深度神经网络（DNN），通过使用无监督聚类将其提取为代理模型。我们的方法可以灵活地应用于DNN架构的任何层子集，并且可以合并低级和高级信息。在给定预训练DNN的图像数据集上，我们展示了我们的方法在寻找相似训练样本方面的优势，并阐明了DNN基于其决策的概念。通过用户研究，我们表明我们的模型可以提高用户对模型预测的信任度。
2020-07-16 cs.AI cs.CV cs.LG
Optimizing Wireless Systems Using Unsupervised and Reinforced-Unsupervised Deep Learning
University of Southampton（南安普顿大学）；Beihang University（北京航空航天大学）
无线网络中的资源分配和收发器通常通过求解服从特定约束的优化问题来设计，该优化问题可以被公式化为变量或函数优化。如果变量优化问题的目标函数和约束函数可以导出，则可以应用标准数值算法来寻找最优解，然而当变量的维数较高时，这会导致较高的计算成本。为了降低在线计算复杂性，通过深度神经网络（DNN）学习作为环境状态的函数的最优解是一种有效的方法。DNN可以在最优解的监督下进行训练，但不适用于没有模型的场景或难以获得最优解的功能优化。如果目标和约束函数不可用，则可以应用强化学习来找到函数优化问题的解，然而，这并不适合于无线网络中的优化问题。在这篇文章中，我们介绍了无监督和加强无监督学习框架，用于解决变量和函数优化问题，而无需监督最优解。当环境的数学模型是完全已知的，环境的状态分布是已知的或未知的，我们可以调用无监督学习算法。当环境的数学模型是不完整的，我们引入了加强-无监督学习算法，通过与环境的交互来学习模型。我们的模拟结果证实了这些学习框架的适用性，以用户关联问题为例。
2020-01-03 cs.LG stat.ML
DeepUSPS: Deep Robust Unsupervised Saliency Prediction With Self-Supervision
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Freiburg（弗莱堡大学）；Bosch Research, Bosch GmbH（博世研究院（博世有限公司））；Bosch Center for AI, Bosch GmbH（博世人工智能中心（博世有限公司））
基于高质量标签的图像中基于深度神经网络（DNN）的显著目标检测是昂贵的。替代的无监督方法依赖于仔细选择多个手工制作的显着性方法来生成嘈杂的伪地面真实标签。在这项工作中，我们提出了一个两阶段的机制，用于鲁棒的无监督对象显着性预测，其中第一阶段涉及从不同的手工方法生成的噪声伪标签的细化。每个手工制作的方法都被一个学习生成伪标签的深度网络所取代。这些标签通过我们提出的自我监督技术在多个迭代中逐步完善。在第二阶段中，从表示多个显著性方法的多个网络产生的细化标签被用于训练实际显著性检测网络。我们表明，这种自学习过程在不同的数据集上优于所有现有的无监督方法。结果甚至可以与完全监督的最先进方法相媲美。该代码可在www.example.com上获得。
2021-03-15 cs.CV cs.LG eess.IV
Metric Embedding Autoencoders for Unsupervised Cross-Dataset Transfer Learning
SingularityNET Foundation（SingularityNET基金会）；ITMO University（ITMO大学）；Novamente LLC（Novamente有限责任公司）；Cisco（思科）
跨数据集迁移学习是人再识别中的一个重要问题。不幸的是，对于实际Re-ID系统的现实设置，没有太多的深度转移Re-ID模型存在。我们提出了一个纯深度传输Re-ID模型，由深度卷积神经网络和自动编码器组成。潜码分为度量嵌入和滋扰变量。然后，我们使用一种无监督训练方法，该方法不依赖于与非深度模型的协同训练。我们的实验显示了对基线和竞争对手的迁移学习模型的改进。
2018-07-18 cs.CV cs.LG
Unsupervised Change Detection in Hyperspectral Images using Feature Fusion Deep Convolutional Autoencoders
双时共配准高光谱图像中的二值变化检测是一项具有挑战性的任务，由于大量的光谱波段中存在的数据。因此，研究人员试图通过减少维度来处理它。所提出的工作旨在建立一个新的特征提取系统，使用特征融合深度卷积自动编码器来检测一对这样的双时间共配准高光谱图像之间的变化。特征融合考虑了连续层次和多个感受野的特征，因此比现有的特征提取方法增加了竞争优势。所描述的变化检测技术是完全无监督的，并且比其他需要一些标签信息的监督或半监督方法更优雅。不同的方法已被应用到提取的特征，以找到在两个图像中的变化，它被发现，所提出的方法显然优于最先进的方法在所有的数据集的无监督变化检测。
2021-09-10 cs.CV cs.LG
Affect-Aware Deep Belief Network Representations for Multimodal Unsupervised Deception Detection
University of Southern California（南加州大学）
检测欺骗行为的自动化系统可以在医疗、社会工作和法律领域提高人类福祉。用于训练监督式欺骗检测模型的标记数据集很少能被收集用于现实世界的高风险背景。为了应对这一挑战，我们提出了第一个无监督的方法来检测真实世界中的高风险欺骗视频，而不需要标签。本文提出了一种新的方法，用于情感感知的无监督深度信念网络（DBN）学习欺骗性和真实性行为的区分表示。利用心理学理论，链接影响和欺骗，我们实验了单模态和多模态DBN为基础的方法，面部效价，面部唤醒，音频和视觉特征的培训。除了使用面部影响作为训练DBN模型的特征之外，我们还引入了一个DBN训练过程，该过程使用面部影响作为视听表示的对齐器。我们进行了无监督高斯混合模型聚类的分类实验，以评估我们的方法。我们最好的无监督方法（在面部效价和视觉特征上进行训练）实现了80%的AUC，超过了人类的能力，并表现出完全监督模型的性能。我们的研究结果激励了未来在无监督的，感知影响的计算方法上的工作，用于检测野外的欺骗和其他社会行为。
2021-11-08 cs.CV cs.LG
Unsupervised Learning of Global Factors in Deep Generative Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
我们提出了一种新的基于非独立同分布的深度生成模型。变分自编码器以完全无监督的方式捕获观测之间的全局依赖性。与最近在深度生成模型中进行全局建模的半监督替代方案相比，我们的方法结合了局部或数据依赖空间中的混合模型和全局高斯潜变量，这使我们获得了三个特定的见解。首先，诱导的潜在全局空间捕获可解释的解纠缠表示，在证据下限中没有用户定义的正则化（如$β$ -VAE及其推广）。其次，我们表明，该模型执行域对齐，以找到相关性和不同的数据库之间的插值。最后，我们研究了全局空间区分具有非平凡底层结构的观测组的能力，例如具有共享属性的人脸图像或定义的数字图像序列。
2020-12-16 cs.LG stat.ML
Unsupervised deep clustering for predictive texture pattern discovery in medical images
Computational Imaging Research Lab (CIR)（计算成像研究实验室（CIR））；Department of Biomedical Imaging and Image-guided Therapy（生物医学成像与影像引导治疗系）；Medical University of Vienna（维也纳医科大学）
成像数据中的预测标记模式是量化疾病和进展的一种手段，但如果对潜在的生物学知之甚少，则其识别具有挑战性。在这里，我们提出了一种方法来识别预测的医学图像中的纹理模式，在无监督的方式。基于深度聚类网络，我们在低维潜在空间中同时编码和聚类医学图像块。由此产生的聚类作为疾病分期的特征，将它们与潜在疾病联系起来。我们对70例不同阶段肝脂肪变性患者的T1加权磁共振图像进行了评估。深度聚类方法能够找到具有稳定排名的预测聚类，区分F1评分为0.78的低脂肪变性和高脂肪变性。
2020-01-31 cs.CV cs.LG
Unsupervised Anomaly Detection via Deep Metric Learning with End-to-End Optimization
Bilkent University（比尔肯特大学）；DataBoss A.S.（DataBoss公司）
我们研究了高维数据的无监督异常检测，并介绍了一个基于深度度量学习（DML）的框架。特别是，我们通过深度神经网络学习距离度量。通过这个度量，我们将数据投影到度量空间中，更好地将异常数据与正常数据分开，并减少高维数据的维数灾难的影响。我们提出了一种新的数据蒸馏方法，通过自我监督，以弥补传统的做法，假设所有的数据是正常的。我们还采用了硬挖掘技术，从DML文献。我们表明，这些组件提高了我们的模型的性能，并显着减少运行时间。通过对14个真实世界数据集的广泛实验，与最先进的无监督异常检测方法相比，我们的方法表现出显着的性能提升，例如，14个数据集的平均绝对改善率在4.44%和11.74%之间。此外，我们在Github上分享了我们的方法的源代码，以方便进一步的研究。
2020-05-12 cs.LG stat.ML
Deep Metric Learning for Unsupervised Remote Sensing Change Detection
Johns Hopkins University（约翰斯·霍普金斯大学）
遥感变化检测（RS-CD）旨在从多时相遥感图像（MT-RSIs）中检测相关变化，这有助于各种遥感应用，如土地覆盖，土地利用，人类发展分析和灾害应对。现有RS-CD方法的性能归因于在大型注释数据集上的训练。此外，这些模型中的大多数都不太可转移，因为当训练数据集和测试数据集之间存在域间隙时，训练模型的性能往往很差。本文提出了一种基于深度度量学习的无监督CD方法，可以处理这两个问题。给定MT-RSI，所提出的方法通过迭代优化无监督CD损失来生成相应的变化概率图，而无需在大数据集上对其进行训练。我们的无监督CD方法由两个互连的深度网络组成，即深度变化概率生成器（D-CPG）和深度特征提取器（D-FE）。D-CPG用于预测给定MT-RSI的变化和无变化概率图，而D-FE用于提取MT-RSI的深层特征，这些特征将进一步用于拟议的无监督CD损失。我们使用迁移学习能力来初始化D-FE的参数。我们迭代优化参数的D-CPG和D-FE为一个给定的MT-RSI通过最小化建议无监督的“相似性-相异性损失”。这种损失是由度量学习的原理引起的，在度量学习中，我们同时最大化变化成对像素之间的距离，同时最小化双时间图像域中的无变化成对像素与其深度特征域之间的距离。在三个CD数据集上进行的实验表明，我们的无监督CD方法比最先进的监督和无监督CD方法取得了显着的改进。代码可在https://github.com/wgc…
2023-03-16 cs.CV cs.LG eess.IV
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford（牛津大学计算机科学系）
在过去的十年中，监督式深度学习方法已被广泛用于视觉里程计（VO）应用中，这在标记数据不丰富的环境中是不可行的。另一方面，无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射，在VO研究中受到的关注相对较少。在这项研究中，我们提出了一个生成式无监督学习框架，该框架使用深度卷积生成对抗网络（GANs）从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估，结果表明，所提出的方法优于现有的传统和无监督深度VO方法，为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
Suppression of Correlated Noise with Similarity-based Unsupervised Deep Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算机断层扫描（CT）去噪可以在最小辐射剂量下优化诊断性能。有监督的深度去噪方法很受欢迎，但需要成对的干净或有噪声的样本，而这些样本在实践中通常是不可用的。受噪声独立性假设的限制，现有的无监督去噪方法无法处理CT图像中的相关噪声。在这里，我们提出了第一种基于相似性的无监督深度去噪方法，称为Noise2Sim，它以非局部和非线性的方式工作，不仅可以抑制独立噪声，还可以抑制相关噪声。从理论上讲，Noise2Sim在温和的条件下与监督学习方法是渐近等价的。在实验中，Nosie2Sim从噪声低剂量CT和光子计数CT图像中恢复固有特征，在视觉上，定量地和统计上与实际数据集上的监督学习方法一样有效，甚至更好。Noise2Sim是一种通用的无监督去噪方法，在各种应用中具有巨大的潜力。
2022-01-05 cs.CV cs.LG eess.IV
Unsupervised Adaptive Deep Learning Method For BCI Motor Imagery Decoding
IMT Atlantique（大西洋电信学院）；Lab-STICC（STICC实验室）；CNRS（法国国家科学研究中心）
提出一种无需监督的在线自适应深度学习方法，通过冻结模型并基于流式观测连续重新对齐输入与潜在空间数据，在跨被试运动想象脑电解码中达到离线性能水平。
2024-03-15 cs.LG eess.SP
