TLDR: Twin Learning for Dimensionality Reduction
NAVER LABS Europe（NAVER欧洲实验室）
简化方法是一种无监督的方法，它学习低维空间，其中保留了初始空间的一些属性，通常是“邻域”的概念。这种方法通常需要在大型k-NN图或复杂的优化求解器上进行传播。另一方面，自监督学习方法通常用于从头开始学习表示，依赖于简单且更具可扩展性的学习框架。在本文中，我们提出了TLDR，这是一种通用输入空间的降维方法，它将Zbontar等人（2021）最近的自监督学习框架移植到任意表示的降维特定任务中。我们建议使用最近的邻居来从训练集和冗余减少损失来学习编码器，该编码器在这些对中产生不变的表示。TLDR是一种简单、易于训练且具有广泛适用性的方法;它由可以高度近似的离线最近邻计算步骤和简单的学习过程组成。针对可扩展性，我们专注于改进线性降维，并在图像和文档检索任务上显示出一致的增益，例如在ROxford上为GeM-AP获得了超过PCA的+4%mAP，提高了DINO在ImageNet上的性能或保留了10倍压缩。
2022-06-15 cs.AI cs.CV cs.LG
Uncovering the Inner Workings of STEGO for Safe Unsupervised Semantic Segmentation
Merantix Momentum
本文深入剖析STEGO无监督语义分割方法的内部机制，通过复现实验、扩展验证和跨数据集迁移研究，揭示其本质是一种保持语义的降维技术，为其在安全关键应用中的使用提供依据。
2023-04-14 cs.AI cs.CV cs.LG
Shape Operator PCA: Curvature-Aware Projections for Geometric Machine Learning
Federal University of São Carlos（圣卡洛斯联邦大学）
本文提出SHOPCA，一种融入微分几何信息的无监督降维方法，通过混合系数α正则化协方差矩阵，基于谱特征间隙无监督选α，在50余个数据集上较PCA提升聚类质量，小样本场景优于UMAP。
2026-08-18 cs.AI cs.CV cs.LG
Unsupervised Reservoir Computing for Multivariate Denoising of Severely Contaminated Signals
Korea Institute for Advanced Study（韩国高等研究院）；Ulsan National Institute of Science and Technology（蔚山国家科学技术研究院）
本文扩展了一种基于机器学习的无监督储备池计算方法，通过将噪声的相互依赖性融入信号的相互依赖重建中，有效解决了多元严重污染信号的去噪问题，并在多种场景下优于现有方法。
2024-07-26 cs.LG nlin.CD
GNUMAP: A Parameter-Free Approach to Unsupervised Dimensionality Reduction via Graph Neural Networks
Data Science Institute（数据科学研究所）；University of Chicago（芝加哥大学）；Booth School of Business（布斯商学院）；Department of Statistics（统计系）
本文提出GNUMAP，一种结合UMAP与图神经网络的无参数无监督节点表示学习方法，通过全面基准测试证明其在合成几何数据、引文网络和生物医学数据上优于现有GNN嵌入方法，解决了现实场景中超参数选择困难的问题。
2024-07-30 cs.LG
Nonnegative Matrix Factorization for Semi-supervised Dimensionality Reduction
University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们展示了如何将来自标记示例的信息纳入非负矩阵分解（NMF），这是一种流行的无监督学习降维算法。除了将数据映射到一个较低维度的空间，我们的方法旨在保留数据的非负成分，这对分类很重要。我们确定这些组件的支持向量的大利润分类器，并获得迭代更新，以保持它们在一个半监督版本的NMF。这些更新具有简单的乘法形式，就像它们的无监督对应物一样;它们也保证在每次迭代时减少它们的损失函数--I-发散的加权和，它捕获了无监督学习和监督学习之间的权衡。我们评估这些更新降维时，他们被用作线性分类的先驱。在这个角色中，我们发现它们比无监督的同行产生更好的性能。我们还发现了我们的方法发现的低维表示的一个意想不到的好处：它们通常比在原始输入空间中训练的普通和转换SVM产生更准确的分类器。
2011-12-16 cs.LG
Combating Financial Crimes with Unsupervised Learning Techniques: Clustering and Dimensionality Reduction for Anti-Money Laundering
Al-Azhar University（爱资哈尔大学）；Obour Height Institute for Informatics（奥布尔高等信息学院）
针对反洗钱高维行为数据影响聚类效果的问题，本文比较凝聚层次聚类与ICA、KPCA、SVD、LPP四种降维方法的组合，发现KPCA在多数情形下表现最佳。
2024-02-14 cs.LG q-fin.ST
Unsupervised Acoustic Scene Mapping Based on Acoustic Features and Dimensionality Reduction
Bar-Ilan University（巴伊兰大学）
本文提出一种基于局部共形自编码器（LOCA）的无监督声学场景映射方法，利用数据自然结构学习与麦克风空间位置等距的表示，无需TDOA估计，且在混响下表现出较强鲁棒性。
2024-03-12 cs.LG cs.SD eess.AS
Exploiting Capacity of Sewer System Using Unsupervised Learning Algorithms Combined with Dimensionality Reduction
Norwegian University of Life Sciences（挪威生命科学大学）；Rosim Company（Rosim公司）
利用分散控制来开发排水系统的容量是一种经济有效的减少溢流的方法。考虑到实际下水道系统的规模，利用下水道管道中安装的所有控制结构可能具有挑战性。提出了一种基于无监督学习算法的分散控制方法。一个下水道系统首先被分成若干子集水区。然后收集一系列对下水道系统性能有影响的自然和建筑因素。聚类算法，然后应用到分组子流域相似的水力水文特性。在此基础上，运用主成分分析法分析了各子流域组的主要特征，并确定了优先控制点。基于水力模型，比较了不同控制方案下的过流情况。仿真结果表明，优先级控制应用于最合适的集群可以带来最有利的结果。
2018-11-09 cs.LG stat.ML
Nonlinear Dimensionality Reduction for Data Visualization: An Unsupervised Fuzzy Rule-based Approach
Indian Statistical Institute（印度统计研究所）
在这里，我们提出了一个无监督的模糊规则为基础的降维方法主要用于数据可视化。它考虑了以下重要问题相关的降维为基础的数据可视化：（i）保存的邻域关系，（ii）处理数据的非线性流形，（iii）预测新的测试数据点的能力，（iv）系统的可解释性，以及（v）拒绝测试点的能力，如果需要的话。为此，我们使用一阶Takagi-Sugeno型模型。我们使用输入数据中的聚类生成规则前因。在这方面，我们还提出了一个新的变种的测地线c-均值聚类算法。我们通过最小化误差函数来估计规则参数，该误差函数将点间测地线距离（流形上的距离）保持为投影空间上的欧氏距离。我们将所提出的方法应用于三个合成和三个真实世界的数据集，并与其他四个标准的数据可视化方法的结果进行了直观的比较。实验结果表明，该方法具有较好的性能，优于或可与其它方法相媲美。所提出的方法被认为是强大的初始条件。通过实验验证了该方法对测试点的预测性。我们还评估了我们的方法在应该拒绝输出点时拒绝输出点的能力。然后，我们扩展了这个概念，为学习具有不同目标函数的数据投影的无监督模糊模型提供了一个通用框架。据我们所知，这是第一次尝试使用无监督模糊建模进行流形学习。
2020-04-08 cs.HC cs.LG stat.ML
An unsupervised clustering analysis of breast cancer data derived from electronic health records enhanced through UMAP dimensionality reduction
Dipartimento di Informatica Sistemistica e Comunicazione, Università di Milano-Bicocca（信息系统与通信系，米兰比可卡大学）；Institute of Health Policy Management and Evaluation, University of Toronto（卫生政策管理与评估研究所，多伦多大学）
研究利用电子健康记录中的乳腺癌数据，先采用DBSCAN密度聚类法，又通过UMAP降维增强效果，用三个统计指标评估聚类结果，证实了UMAP与DBSCAN结合用于该数据聚类的有效性，为医学解读患者组提供了支持。
2026-07-22 cs.LG q-bio.QM
Deep Temporal Clustering : Fully Unsupervised Learning of Time-Domain Features
AVLab（AV实验室）；San Diego, USA（圣地亚哥，美国（注：此处按要求应为机构，但原文仅为城市和国家，可能为笔误，若严格按提取范围，此处不应视为机构，故仅保留明确的AVLab））
时间序列数据的无监督学习，也称为时间聚类，是机器学习中的一个具有挑战性的问题。在这里，我们提出了一种新的算法，深度时间聚类（DTC），自然地将降维和时间聚类集成到一个完全无监督的端到端学习框架中。该算法利用一个自动编码器的时间降维和一个新的时间聚类层的集群分配。然后对聚类目标和降维目标进行联合优化。基于需求和应用，时间聚类层可以定制任何时间相似性度量。几个相似性度量和国家的最先进的算法被认为是和比较。为了深入了解网络为其聚类所学习的时间特征，我们应用了一种可视化方法，该方法为时间序列生成感兴趣区域热图。该算法的可行性证明使用不同领域的时间序列数据，从地震到航天器传感器数据。在每种情况下，我们表明，该算法优于传统的方法。优越的性能归因于完全集成的时间降维和聚类标准。
2018-02-04 cs.LG stat.ML
Unsupervised low-rank representations for speech emotion recognition
National Technical University of Athens（雅典国家技术大学）；Behavioral Signal Technologies（行为信号技术公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究使用线性和非线性降维算法提取语音情感识别的低秩特征表示。使用两个特征集，一个基于低级描述符及其聚合（IS 10），一个基于语音的递归动态建模（RQA），以及它们的融合。我们报告语音情感识别（SER）的结果，学习表示两个数据库使用不同的分类方法。使用低维表示的分类在各种设置中产生性能改进。这表明，降维是一种有效的方式来对抗维数灾难的SER。可视化的功能在两个维度上提供了洞察减少的功能集的区分能力。
2021-04-14 cs.LG
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
Unsupervised Behaviour Discovery with Quality-Diversity Optimisation
Imperial College London（帝国理工学院）
质量多样性算法（Quality-Diversity Algorithms）是指一类进化算法，旨在为给定问题找到一组多样且高性能的解决方案。在机器人技术中，这种算法可以用于生成覆盖机器人大部分可能行为的控制器集合。为此，这些算法将行为描述符与这些行为中的每一个相关联。每个行为描述符用于估计一个行为与其他行为相比的新颖性。在大多数现有的算法中，行为描述符需要手工编码，因此需要有关任务的先验知识来解决。在本文中，我们介绍：自主机器人实现自己的能力，一种算法，使用降维技术，自动学习行为描述符的基础上，原始的感官数据。该算法的性能进行了评估，在模拟三个机器人任务。实验结果表明，它执行类似于传统的手工编码的方法，而不需要提供任何手工编码的行为描述符。在多样化和高性能解决方案的集合中，它还设法找到比其手工编码的基线更多功能的新颖行为。最后，我们介绍了一个变种的算法，这是强大的行为描述符空间的维数。
2022-02-16 cs.AI cs.LG cs.NE
Graph Regularized Autoencoder and its Application in Unsupervised Anomaly Detection
Texas A&M University（德克萨斯农工大学）；BAE Systems, Inc.（BAE系统公司）
对于包括异常检测和聚类在内的许多无监督学习任务来说，先验性降低是至关重要的第一步。自动编码器是一种流行的降维机制。为了对嵌入非线性低维流形的高维数据进行有效的降维，需要使用某种测地距离度量来区分数据样本。受测地线距离近似器（如ISOMAP）的成功启发，我们提出使用最小生成树（MST），一种基于图的算法，来近似局部邻域结构并生成数据点之间的结构保持距离。我们使用这种基于MST的距离度量来取代自编码器嵌入函数中的欧氏距离度量，并开发了一种新的图形正则化自编码器，该编码器在20个基准异常检测数据集上优于各种替代方法。我们进一步将MST正则化器纳入两个生成对抗网络，并发现使用MST正则化器大大提高了两个生成对抗网络的异常检测性能。我们还在聚类应用程序中的两个数据集上测试了我们的MST正则化自动编码器，并见证了其卓越的性能。
2021-03-11 cs.LG stat.ML
Cross-Temporal Spectrogram Autoencoder (CTSAE): Unsupervised Dimensionality Reduction for Clustering Gravitational Wave Glitches
Northwestern University（西北大学）
针对引力波故障难以获取标签的问题，提出无监督降维聚类方法 CTSAE，通过融合 CNN 和 ViT 的四分支自编码器及 CLS token 多分支融合机制，在 GravitySpy O3 数据集上超越了半监督方法的聚类性能。
2024-04-23 astro-ph.IM cs.CV cs.LG
Audio Word2Vec: Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Autoencoder
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
Word2Vec提供的固定维度的词（文本中）的向量表示在许多应用场景中非常有用，特别是由于它们携带的语义信息。本文提出了一个并行版本，音频Word2Vec。它为可变长度的音频段提供了固定维数的矢量表示。这些向量表示描述的顺序语音结构的音频段，以良好的程度，具有非常有吸引力的现实世界的应用，如查询的例子口语术语检测（STD）。在这个STD应用中，所提出的方法显着优于传统的动态时间规整（DTW）为基础的方法，在显着降低计算要求。我们提出了无监督学习的音频Word2Vec从音频数据没有人类注释使用序列到序列的Audoencoder（SA）。SA由两个配备有长短期记忆（LSTM）单元的RNN组成：第一个RNN（编码器）将输入音频序列映射到固定维度的向量表示，第二个RNN（解码器）将表示映射回输入音频序列。这两个RNN通过最小化重建误差来联合训练。进一步提出了去噪序列到序列自动编码器（DSA），提供更鲁棒的学习。
2016-06-11 cs.LG cs.SD
Unsupervised Discovery of Temporal Structure in Noisy Data with Dynamical Components Analysis
Columbia University（哥伦比亚大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
线性降维方法通常用于从高维数据中提取低维结构。然而，流行的方法忽略了时间结构，使得它们在应用于时间序列数据时容易提取噪声而不是有意义的动态。与此同时，许多成功的无监督学习方法的时间，顺序和空间数据提取的特征是预测他们的周围环境。结合这些方法，我们介绍了动态成分分析（DCA），一种线性降维方法，发现一个子空间的高维时间序列数据的最大预测信息，定义为互信息之间的过去和未来。我们测试DCA合成的例子，并证明其优越的能力，提取动态结构相比，常用的线性方法。我们还将DCA应用于几个真实世界的数据集，表明DCA提取的维度比其他方法提取的维度更有用，用于预测未来状态和解码辅助变量。总体而言，DCA鲁棒地提取噪声，高维数据中的动力学结构，同时保留线性降维方法的计算效率和几何可解释性。
2019-10-27 cs.IT cs.LG math.IT
AdaGraph: A Graph-Native Clustering Algorithm That Overcomes the Curse of Dimensionality and Enables Scientific Discovery
Independent Researcher（独立研究者）
AdaGraph是一种基于图的聚类算法，通过结构导向的计算方法克服维度诅咒，其在10个合成数据集上表现优异，且在基因表达、文本聚类和材料科学领域实现了科学发现。
2026-05-05 cs.AI cs.LG
SOM-CPC: Unsupervised Contrastive Learning with Self-Organizing Maps for Structured Representations of High-Rate Time Series
Eindhoven University of Technology（埃因霍温理工大学）；Onera Health（奥内拉健康公司）；Sleep Medicine Center Kempenhaeghe（肯彭黑格睡眠医学中心）
针对高速率时间序列的高维难解释问题，提出SOM-CPC模型，通过无监督对比学习与自组织映射在二维流形中保留高维信息，并在合成与真实数据上验证其优于多种基线方法。
2023-05-25 cs.LG cs.NE
A review of unsupervised learning in astronomy
University of Bristol（布里斯托尔大学）；School of Physics（物理学院）
本文综述了无监督学习方法及其在天文学中的应用，涵盖降维、聚类及自监督等新兴方法的发展。
2024-06-25 astro-ph.IM cs.LG
Remote sensing framework for geological mapping via stacked autoencoders and clustering
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；The University of Sydney（悉尼大学）；Curtin University（科廷大学）；University of New South Wales（新南威尔士大学）
针对遥感地质填图中标记数据稀缺问题，提出一种结合堆叠自编码器降维与k-means聚类的无监督框架，在多源遥感数据上表现出优异的岩石区分能力与填图精度。
2024-09-21 cs.AI cs.LG
Unsupervised Dimension Selection using a Blue Noise Spectrum
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
无监督的维度选择是一个重要的问题，它试图减少数据的维度，同时保留最有用的特征。虽然降维通常用于构造低维嵌入，但它们产生难以解释的特征空间。此外，在传感器设计等应用中，需要直接在输入域中进行约简，而不是构造变换空间。因此，维度选择（DS）的目的是解决识别顶部- $k$维度的组合问题，这是有效的实验设计所需的，减少数据，同时保持其可解释性，并设计更好的传感机制。在本文中，我们开发了一种新的方法DS的基础上图信号分析来衡量功能的影响。通过分析合成图信号与蓝噪声谱，我们表明，我们可以衡量每个维度的重要性。在监督学习和图像掩蔽实验中，我们证明了所提出的方法在捕获高维空间的关键特征方面优于现有技术，仅使用原始特征的一小部分。
2018-10-31 cs.LG stat.ML
Scalable semi-supervised dimensionality reduction with GPU-accelerated EmbedSOM
Faculty of Mathematics and Physics of Charles University（查理大学数学与物理学院）；Luxembourg Centre for Systems Biomedicine, University of Luxembourg（卢森堡大学卢森堡系统生物医学中心）；Institute of Haematology and Blood Transfusion（血液学与输血研究所）；Institute of Organic Chemistry and Biochemistry（有机化学与生物化学研究所）
简化方法作为可视化工具在不同的科学领域有着广泛的应用。虽然存在许多不同的方法，但它们的性能通常不足以提供对许多当代数据集的快速洞察，并且无监督的使用模式阻止用户利用这些方法进行数据集探索和微调细节以提高可视化质量。我们提出了一种高性能的半监督降维软件，用于对具有数百万个数据点的高维数据集进行交互式用户可操纵的可视化。RISTOSOM建立在嵌入式SOM算法的GPU加速实现基础上，并辅以几种基于地标的算法，用于将无监督模型学习算法与用户监督相结合。我们展示了在现实数据集上的CNOSOM应用，它有助于生成高质量的可视化，其中包含用户指定的布局并专注于某些功能。我们相信半监督降维将提高单细胞细胞计数等科学领域的数据可视化可能性，并为数据集探索和注释的新方向提供快速有效的基础方法。
2022-01-03 cs.DC cs.LG stat.ML
Local Explanation of Dimensionality Reduction
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
多维性约简（DR）是一种用于准备和分析高维数据的流行方法。简化的数据表示方式计算密集度更低，更易于管理和可视化，同时保留了相当大比例的原始信息。除了这些优点之外，这些简化的表示在大多数情况下可能难以或不可能解释，特别是当DR方法不提供关于原始空间的哪些特征导致其构造的进一步信息时。可解释机器学习解决了这个问题，它是可解释人工智能的一个子领域，解决了机器学习模型的不透明性。然而，目前对可解释机器学习的研究主要集中在有监督的任务上，而对无监督的任务（如简化）则没有进行探索。在本文中，我们介绍LXDR，一种能够提供本地的DR技术的输出解释的技术。实验结果和两个LXDR用例的例子来评估其有效性。
2022-04-29 cs.AI cs.IR cs.LG
Geodesic Learning via Unsupervised Decision Forests
Johns Hopkins University（约翰斯·霍普金斯大学）；Montana State University（蒙大拿州立大学）
测地距离是黎曼流形中两点之间的最短路径。流形学习算法（如Isomap）试图学习保持测地线距离的流形。然而，这样的方法在环境维度上操作，并且因此对于噪声维度是脆弱的。我们开发了一种无监督随机森林方法（URerF）来近似学习线性和非线性流形中的测地线距离。URerF对特征的低维稀疏线性组合进行操作，而不是完整的观察维度。为了以计算效率高的方式选择最佳分裂，我们开发了一种用于高斯混合模型的快速贝叶斯信息准则统计量。我们引入测地线精度召回曲线，量化性能相对于真正的潜在流形。模拟和真实数据的实验结果表明，URerF是强大的高维噪声，其他方法，如Isomap，UMAP和FLANN，在这样的设置，迅速恶化。特别是，URerF能够比其他方法更好地估计真实连接体数据集上的测地线距离。
2019-07-05 cs.IR cs.LG stat.ME
Metrics for quantifying isotropy in high dimensional unsupervised clustering tasks in a materials context
University of Liverpool（利物浦大学）；Leverhulme Research Centre for Functional Materials Design（莱弗胡尔姆功能材料设计研究中心）
本文针对高维无监督聚类提出并分析多种簇各向同性量化指标，扩展分数各向异性以评估簇集平均各向同性，并在材料数据库和MNIST嵌入上验证其有效性。
2023-05-25 cs.AI cs.LG physics.chem-ph
Unsupervised model compression for multilayer bootstrap networks
The Ohio State University（俄亥俄州立大学）
最近，多层引导网络（MBN）在无监督降维方面表现出了良好的性能。它可以学习标准数据集中的紧凑表示，即MNIST和RCV 1。然而，作为一种自举方法，MBN的预测复杂度很高。在本文中，我们提出了一个无监督的模型压缩框架的无监督引导方法的一般问题。该框架将一个大型的无监督引导模型压缩成一个小模型，将引导模型及其应用程序一起作为一个黑盒，并由一个有监督的学习器学习从引导模型的输入到应用程序的输出的映射函数。为了专门的框架，我们提出了一种新的技术，名为压缩MBN。它采用MBN作为无监督引导模型，深度神经网络（DNN）作为有监督学习器。我们在MNIST上的初步结果表明，压缩MBN不仅保持了MBN的高预测精度，而且在预测阶段比MBN快数千倍。我们的研究结果表明，新技术将MBN对无监督学习的有效性和DNN对监督学习的有效性和效率整合在一起，以实现压缩MBN对无监督学习的有效性和效率。
2015-03-22 cs.LG cs.NE stat.ML
Learning Deep Representations By Distributed Random Samplings
Tsinghua National Laboratory for Information Science and Technology, Tsinghua University（清华大学清华信息科学与技术国家实验室）
在本文中，我们提出了一个非常简单的无监督非线性降维的深度模型-深度分布随机采样，它的表现就像一堆无监督的自举聚合。首先，它的网络结构新颖：网络的每一层是一组相互独立的$k$ -中心聚类。其次，它的学习方法极其简单：每次聚类的$k$中心只是从训练数据中随机选取的$k$样本;对于小规模数据集，通过简单的循环移位运算进一步随机重构$k$中心。非线性降维实验结果表明，该方法不仅可以学习大规模和小规模问题的抽象表示，而且在大规模问题上比深度神经网络学习速度更快.
2013-12-16 cs.LG
Unsupervised Transfer Learning for Anomaly Detection: Application to Complementary Operating Condition Transfer
ETH Zürich（苏黎世联邦理工学院）
异常检测器在健康的操作条件数据上被训练，并且当测量的样本偏离训练数据分布时发出警报。这意味着用于训练模型的样本数量应足够，并能代表健康的操作条件。但是对于经受变化的操作条件的工业系统，获取这样全面的样本集需要长的收集周期，并且延迟了异常检测器可以被训练和投入操作的点。这个问题的解决方案是执行无监督迁移学习（UTL），以在不同单元之间传输互补数据。然而，在文献中，UTL的目的是找到数据集之间的共同结构，以执行聚类或降维。然而，传送和组合互补训练数据的任务尚未被研究。我们提出的框架旨在以完全无监督的方式在不同单元之间传输互补操作条件，以训练更强大的异常检测器。因此，它不同于其他无监督的迁移学习，因为它专注于一类分类问题。所提出的方法能够检测仅由其他单元经历的操作条件中的异常。所提出的端到端框架使用对抗性深度学习来确保不同单元分布的对齐。该框架引入了一种新的损失，灵感来自降维工具，以强制保护每个数据集的固有可变性，并使用最先进的一次类方法来检测异常。我们使用三个开源数据集证明了所提出的框架的好处。
2020-11-24 cs.LG stat.ML
Unsupervised Machine Learning for Exploratory Data Analysis of Exoplanet Transmission Spectra
University of Florida（佛罗里达大学）
凌日光谱学是一个强大的工具，解码太阳系外行星大气的化学成分。在本文中，我们专注于无监督技术分析光谱数据从过境系外行星。我们展示了i）清理和验证数据的方法，ii）基于汇总统计的初步探索性数据分析（位置和可变性的估计），iii）探索和量化数据中现有的相关性，iv）预处理数据并将其线性转换为其主成分，v）降维和流形学习，vi）聚类和异常检测，vii）数据的可视化和解释。为了说明所提出的无监督方法，我们使用一个众所周知的公共基准数据集的合成过境光谱。我们发现，有一个高度的相关性的光谱数据，这需要适当的低维表示。我们探索了一些不同的技术，这样的降维，并确定几个合适的选项，在汇总统计，主成分等方面，我们发现有趣的结构在主成分的基础上，即定义明确的分支对应于不同的化学制度的底层大气。我们证明，这些分支可以成功地恢复与K-均值聚类算法在完全无监督的方式。我们主张在前三个主成分方面对光谱数据进行三维表示，以揭示数据中的现有结构并快速表征行星的化学类别。
2022-01-07 astro-ph.EP cs.LG physics.data-an
Unsupervised learning with contrastive latent variable models
Center for Computational Health（计算健康中心）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
在无监督学习中，降维是数据探索和可视化的重要工具。由于这些目标通常是开放式的，因此将问题定义为寻找在一个数据集中相对于另一个数据集中丰富的模式可能是有用的。这些数据集对经常出现，例如感兴趣的群体与对照或信号与无信号记录。然而，与数据点或序列相反，很少有方法适用于数据集。在这里，我们提出了一个概率模型降维，发现信号是丰富的目标数据集相对于背景数据集。这些集合中的数据不需要在集合成员资格之外进行配对或分组。通过使用概率模型，其中一些结构在两个数据集之间共享，而一些结构对于目标数据集是唯一的，我们能够在目标数据集的潜在空间中恢复有趣的结构。该方法还具有概率模型的优点，即，它允许纳入先验信息，处理缺失数据，并可以推广到不同的分布假设。我们描述了几种可能的变化模型，并演示了应用该技术去噪，功能选择，和子群发现设置。
2018-11-14 cs.LG stat.ML
Deep Manifold Transformation for Nonlinear Dimensionality Reduction
Westlake University（西湖大学）
基于流形学习的编码器在数据挖掘的非线性降维（NLDR）中发挥着重要作用。然而，现有的方法通常不能保持数据的几何、拓扑和/或分布结构。在本文中，我们提出了一个深度流形学习框架，称为深度流形变换（DMT），用于无监督NLDR和嵌入学习。DMT通过使用跨层局部几何保持（LGP）约束来增强深度神经网络。LGP约束构成了深度流形学习的损失，并作为NLDR网络训练的几何正则化器。对合成数据和真实数据的大量实验表明，DMT网络在保留数据结构方面优于现有领先的基于流形的NLDR方法。
2021-05-03 cs.CV cs.HC cs.LG
Unsupervised K-Nearest Neighbor Regression
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
在许多科学学科中，必须找到高维数据的结构，例如，恒星光谱、基因组数据或人脸识别任务。在这项工作中，我们提出了一种新的方法来非线性降维。它基于将K-最近邻回归拟合到用于学习低维流形的无监督回归框架。与大多基于核方法的相关方法类似，无监督K-最近邻（UNN）回归优化了潜在变量w.r.t.采用K-最近邻启发式的数据空间重构误差。优化潜在邻域的问题很难解决，但UNN公式允许设计有效的策略，迭代地将潜在点嵌入到固定的邻域拓扑结构中。UNN非常适合于高维数据的排序。迭代变量进行了实验分析。
2011-09-26 cs.LG stat.ML
A survey of unsupervised learning methods for high-dimensional uncertainty quantification in black-box-type problems
Johns Hopkins University（约翰斯·霍普金斯大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Siemens AG（西门子股份公司）
在具有固有高维$\mathcal{O}(10^{\ge 2})$随机输入（例如，强迫项、边界条件、初始条件）提出了巨大的挑战。维数灾难可以用合适的无监督学习技术来解决，该技术用作预处理工具以将输入编码到低维子空间上，同时保留其结构信息和有意义的属性。在这项工作中，我们回顾和研究13个降维方法，包括线性和非线性，频谱，盲声源分离，凸和非凸的方法，并利用由此产生的嵌入构建一个映射到感兴趣的数量通过多项式混沌展开（PCE）。我们将一般提出的方法称为流形PCE（m-PCE），其中流形对应于任何研究的降维方法产生的潜在空间。为了研究这些方法的能力和局限性，我们进行数值测试三个基于物理的系统（视为黑盒子）具有不同复杂性的高维随机输入建模为高斯和非高斯随机场调查的内在维数的影响输入数据。我们展示了无监督学习方法的优点和局限性，我们得出结论，与文献中提出的替代算法相比，合适的m-PCE模型提供了一种具有成本效益的方法，包括最近提出的昂贵的基于深度神经网络的代理，并且可以很容易地应用于随机偏微分方程中的高维UQ。
2022-05-16 cs.LG stat.ML
Using Dimensionality Reduction to Optimize t-SNE
UC Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
t-SNE是一种用于将多维数据集嵌入到二维或三维中的流行工具。然而，它具有很大的计算成本，特别是当输入数据具有许多维度时。许多人使用t-SNE嵌入神经网络的输出，这通常比原始数据的维数低得多。这限制了t-SNE在无监督场景中的使用。我们建议使用\textit{random}投影将高维数据集嵌入到相对较少的维度中，然后使用t-SNE获得二维的嵌入。我们表明，随机投影保持所需的聚类实现的t-SNE，同时大大减少了运行时间的嵌入。
2019-12-02 cs.LG stat.ML
Unsupervised Anomaly and Change Detection with Multivariate Gaussianization
Universitat de València（瓦伦西亚大学）
异常检测是一个密集的研究领域。识别数据/图像中的低概率事件是一个具有挑战性的问题，因为数据是高维的，特别是当没有（或很少）关于异常的信息是先验的。虽然有很多方法可用，但其中绝大多数都不能很好地扩展到大型数据集，并且需要选择一些（通常是关键的）超参数。因此，无监督和计算效率高的检测方法变得非常必要。我们提出了一种无监督的方法，通过多变量高斯化方法，可以准确地估计多变量密度，一个长期存在的问题，统计和机器学习的遥感图像检测异常和变化。该方法将任意复杂的多元数据转换为多元高斯分布。由于变换是可微的，通过应用变量变化公式，可以估计原始域中任何一点的概率。假设很简单：具有低估计概率的像素被认为是异常。我们的方法可以描述任何多变量分布，有效地利用内存和计算资源，是无参数的。我们在实验中，涉及异常检测和变化检测在不同的遥感图像集的方法的效率。结果表明，我们的方法优于其他线性和非线性方法的检测能力在异常和变化检测的情况下，表现出鲁棒性和可扩展性的维度和样本大小。
2022-04-12 cs.CV cs.LG physics.comp-ph
A Flexible Framework for Anomaly Detection via Dimensionality Reduction
Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；University of Geneva（日内瓦大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；South African Radio Astronomy Observatory（南非射电天文台）；South African Astronomical Observatory（南非天文台）；University of Cape Town（开普敦大学）
异常检测具有挑战性，特别是对于高维的大型数据集。在这里，我们探讨了一个通用的异常检测框架的基础上降维和无监督聚类。我们发布了DRAMA，一个通用的Python包，它实现了具有广泛内置选项的通用框架。我们测试了各种各样的模拟和真实的数据集，在多达3000个维度的DRAMA，并发现它的鲁棒性和高度竞争力与常用的异常检测算法，特别是在高维度。DRAMA框架的灵活性允许在一些异常示例可用时进行显著优化，使其成为在线异常检测、主动学习和高度不平衡数据集的理想选择。
2019-09-09 astro-ph.IM cs.AI cs.LG
Dimensionality Reduction Meets Message Passing for Graph Node Embeddings
Intel（英特尔公司）；SigOpt（西格奥普特）
图神经网络（GNN）已经成为各种应用的流行方法，从社会网络分析到分子的化学性质建模。虽然GNN通常在公共数据集上表现出出色的性能，但由于过度平滑和过度挤压的趋势，它们很难学习数据中的长期依赖关系。为了缓解这一挑战，我们提出PCAPass，一种方法，它结合了主成分分析（PCA）和消息传递生成节点嵌入在一个无监督的方式，并利用梯度提升决策树的分类任务。我们的经验表明，这种方法提供了有竞争力的性能相比，流行的GNN的节点分类基准，同时收集信息，从较长的距离邻域。我们的研究表明，应用降维与消息传递和跳过连接是一个很有前途的机制，聚合图结构数据中的长距离依赖。
2022-02-02 cs.LG stat.ML
Is 'Unsupervised Learning' a Misconceived Term?
RETINA-AI Health, Inc.（RETINA-AI健康公司）
所有的机器学习都在某种程度上受到监督吗？机器学习领域传统上被归类为$supervised~vs~unsupervised~learning$ ;其中监督学习通常指的是从标记数据中学习，而无监督学习通常指的是从未标记数据中学习。在本文中，我们断言所有的机器学习实际上都在某种程度上受到监督，并且监督的范围必然与学习潜力的范围相称。特别是，我们认为，聚类算法，如k-means，和降维算法，如主成分分析，变分自编码器，和深度信念网络都是由数据本身内部监督，以学习其各自的特征表示。此外，这些算法不能进行外部推理，直到它们各自的输出（聚类、主成分或表示代码）被识别并在外部标记生效。因此，它们不足以作为无监督学习的例子。我们建议，分类“监督与无监督学习”被免除，而不是，学习算法被归类为$internally~or~externally~supervised$（或两者兼而有之）。我们相信这种观点的改变将产生对数据和学习算法的结构和特征的新的基本见解。
2019-04-05 cs.AI cs.CV cs.LG
Leveraging triplet loss and nonlinear dimensionality reduction for on-the-fly channel charting
Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；IETR - UMR 6164（雷恩电子与电信研究所（UMR 6164））
信道制图是一种无监督学习方法，旨在将无线信道映射到所谓的图表，尽可能多地保留空间邻域。本文提出了一种基于模型的深度学习方法来解决这个问题。它建立在一个物理动机的距离测量结构和初始化一个神经网络，随后使用三元组损失函数训练。所提出的结构具有少量的参数，并且巧妙的初始化导致快速训练。这两个特点使得所提出的方法适合于在飞行中的通道制图。该方法的经验评估现实的合成通道，产生令人鼓舞的结果。
2022-04-04 cs.LG cs.NI eess.SP
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Data Augmentation by AutoEncoders for Unsupervised Anomaly Detection
本文提出了一种自动编码器（AE），用于提高一次类分类器的性能，以检测异常。传统的一类分类器（OCC）在高维和稀疏等特定条件下表现不佳。此外，训练集的大小对单类分类器的性能起着重要的作用。自编码器已被广泛用于从高维数据集获取有用的潜在变量。在所提出的方法中，AE能够从高维数据集中获得有意义的特征，同时进行数据增强。增广的数据用于训练OCC算法。实验结果表明，该方法提高了OCC算法的性能，也优于其他知名的方法。
2019-12-21 cs.LG stat.ML
Mechanisms of dimensionality reduction and decorrelation in deep neural networks
Sun Yat-sen University（中山大学）；RIKEN Center for Brain Science（理化学研究所脑科学中心）
深度神经网络广泛应用于各个领域。然而，深度网络每一层的计算本质还远未被很好地理解。因此，提高深度神经网络的可解释性非常重要。在这里，我们构建了一个平均场框架，以了解如何跨层开发紧凑表示，不仅在具有随机权重的确定性深度网络中，而且在进行无监督学习的生成式深度网络中。我们的理论表明，深度计算实现了降维，同时保持神经元之间有限水平的弱相关性，以进行可能的特征提取。降维和去相关的机制统一在同一个框架中。这项工作可能为理解感觉层次结构如何工作铺平道路。
2018-11-27 cond-mat.stat-mech cs.LG stat.ML
Cancer Subtyping via Embedded Unsupervised Learning on Transcriptomics Data
Osaka University（大阪大学）
癌症是世界上最致命的疾病之一。肿瘤亚型的准确诊断和分类对于有效的临床治疗是必不可少的。随着各种深度学习方法的出现，最近发表了关于自动癌症亚型分型系统的有希望的结果。然而，这样的自动系统往往过拟合的数据，由于高维和稀缺性。在本文中，我们建议从无监督学习的角度直接构建底层数据分布本身，从而可以产生足够的数据，以减轻过拟合的问题，自动子类型。具体来说，我们绕过了强高斯假设，通常存在，但失败的无监督学习子分类文献，由于小尺寸的样本矢量量化。我们所提出的方法更好地捕捉潜在的空间特征，并在分子基础上对癌症亚型表现进行建模，如广泛的实验结果所示。
2022-04-02 cs.LG q-bio.GN
Local Intrinsic Dimensionality of Ground Motion Data for Early Detection of Catastrophic Slope Failure
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
提出时空局部内在维度（st-LID）无监督框架，通过运动增强、贝叶斯空间融合和时间建模，提高滑坡监测中破坏区域的早期检测精度和提前时间。
2026-06-03 cs.LG stat.AP
Dimensionality Reduction and Anomaly Detection for CPPS Data using Autoencoder
Institute Industrial IT（工业信息技术研究所）；Fraunhofer IOSB-INA（弗劳恩霍夫应用光学与精密工程研究所-INA）
无监督异常检测（AD）是信息物理生产系统（CPPS）领域的一个重要课题。一个密切相关的问题是降维（DR），它是：1）通常用作AD解决方案中的预处理步骤，2）一种AD，如果提供了对学习数据流形的观察一致性的测量。我们认为，这两个方面可以互补的CPPS异常检测解决方案。在这项工作中，我们专注于非线性自动编码器（AE）作为DR/AD方法。本文的贡献在于：1）研究了声发射重建误差作为CPPS数据中AD判定标准的适用性。2)我们分析了它与AE潜在空间中潜在的第二阶段AD方法的关系3）我们在三个真实世界数据集上评估了该方法的性能。此外，该方法优于最先进的技术，以及相对简单和直接的应用。
2020-10-28 cs.LG
Decomposing Representation Space into Interpretable Subspaces with Unsupervised Learning
Saarland University（萨尔兰大学）
本文通过无监督学习方法分解神经网络表示空间，发现不同输入方面在独立子空间中组织，揭示模型内部结构与可解释变量之间的联系。
2026-05-14 cs.AI cs.CL cs.LG
Application of Fuzzy Clustering for Text Data Dimensionality Reduction
College of Information and Communications University of South Carolina（南卡罗来纳大学信息与通信学院）；Arnold School of Public Health at the University of South Carolina（南卡罗来纳大学阿诺德公共卫生学院）
大型文本语料库通常由文档-术语频率矩阵表示，该矩阵的元素是术语的频率，然而，该矩阵存在两个问题：稀疏性和高维性。四个降维策略被用来解决这些问题。在这四种策略中，无监督特征变换（UFT）是一种流行且有效的策略，可以将术语映射到文档-术语频率矩阵中的新基础。虽然已经开发了几种基于UFT的方法，但模糊聚类尚未被考虑用于降维。本研究探讨模糊聚类作为一种新的UFT为基础的方法来创建一个低维表示的文件。模糊聚类与不使用全局加权方法的性能超过主成分分析和奇异值分解。本研究亦探讨应用不同模糊因子值对模糊聚类降维的影响。
2019-09-21 cs.CL cs.LG stat.AP
Unsupervised Representation Learning in Deep Reinforcement Learning: A Review
University of Twente（特温特大学）
本综述探讨了深度强化学习中从高维数据学习低维状态变量的无监督表示学习问题，系统阐述了相关深度学习方法、原理、基准评估及未来挑战，旨在提升数据效率、鲁棒性和可解释性。
2024-05-01 cs.LG
Unsupervised feature selection algorithm framework based on neighborhood interval disturbance fusion
Shanxi University（山西大学）；Anhui University（安徽大学）
本文提出基于邻域区间扰动融合的无监督特征选择算法NIDF，通过区间近似数据集并联合学习特征得分与数据区间，以提升算法稳定性，实验验证了其优越性。
2024-10-20 cs.LG
Multi-view Unsupervised Feature Selection by Cross-diffused Matrix Alignment
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在大数据时代，多视角的高维数据变得越来越普遍。特征选择是缓解多视图学习中维数灾难的有效方法。在本文中，我们研究了无监督特征选择的多视图数据，类标签通常是昂贵的获得。传统的特征选择方法大多是针对单视图数据设计的，不能充分利用多视图数据中的丰富信息。现有的多视图特征选择方法通常是基于噪声聚类标签，这可能无法从多视图数据中保留足够的信息。为了更好地利用多视图信息，我们提出了一种方法，CDMA-FS，通过交叉扩散矩阵上执行对齐来选择每个视图的特征。我们将其表述为一个约束优化问题，并使用基于拟牛顿的方法求解。在四个真实世界数据集上的实验结果表明，该方法在多视图环境下比现有方法更有效。
2017-05-02 cs.LG
ADEPT: Hierarchical Bayes Approach to Personalized Federated Unsupervised Learning
University of California, Los Angeles（加州大学洛杉矶分校）
针对联邦学习中客户端数据异质性，提出基于分层贝叶斯框架的自适应个性化无监督学习算法，覆盖降维与扩散模型，理论分析与实验验证协作可有效放大个性化任务样本。
2025-01-24 cs.LG
