Tuning-Free Structured Sparse PCA via Deep Unfolding Networks
School of Mechatronic Engineering and Automation, Shanghai University（上海大学机电工程与自动化学院）
本文提出一种基于深度展开网络的无调参结构化稀疏PCA方法，通过整合$\ell_1$和$\ell_{2,1}$范数并结合ADMM框架实现正则化参数自动学习，有效降低了计算成本与敏感性。
2025-04-04 cs.LG math.OC
Unveiling Gamer Archetypes through Multi modal feature Correlations and Unsupervised Learning
本研究提出一个整合心理测量、行为分析和机器学习的数据驱动框架，通过特征工程、关联网络与无监督聚类分析250名参与者的多模态数据，成功识别出四种玩家原型，为自适应游戏设计提供了可复现的分析流程。
2025-10-11 cs.AI cs.CY cs.HC
Unsupervised Learning on Neural Network Outputs: with Application in Zero-shot Learning
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）
经过训练的神经网络的输出包含的信息比一个独热分类器丰富得多。例如，一个神经网络可能会给一个狗的图像百万分之一的概率是一只猫，但它仍然比一辆汽车的概率大得多。为了揭示其中隐藏的结构，我们将两种无监督学习算法PCA和ICA应用于在1000类ImageNet上训练的深度卷积神经网络的输出。PCA/ICA嵌入的对象类揭示了它们的视觉相似性和PCA/ICA组件可以被解释为共同的视觉特征共享相似的对象类。在实际应用中，我们提出了一种新的零样本学习方法，该方法利用PCA/ICA学习的视觉特征。我们的零样本学习方法在ImageNet上实现了超过20000个类的最先进的结果。
2016-05-23 cs.LG
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo（滑铁卢大学）
这是一个详细的教程文件，其中解释了主成分分析（PCA），监督PCA（SPCA），内核PCA和内核SPCA。我们从投影开始，PCA与特征分解，PCA与一个和多个投影方向，投影矩阵的属性，重建误差最小化，我们连接到自动编码器。然后，PCA与奇异值分解，双PCA，核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法，然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后，在Frey和AT&T人脸数据集上进行了仿真，验证了理论的可行性。
2022-08-01 cs.LG stat.ML
Information-Geometric Decomposition of Generalization Error in Unsupervised Learning
Department of Physics and Astronomy, Seoul National University（首尔国立大学物理与天文学系）；Department of Statistics and Data Science, Yonsei University（延世大学统计与数据科学系）
本文通过信息几何方法将无监督学习的泛化误差分解为模型误差、数据偏差和方差三个非负成分，并通过ε-PCA验证了该分解的准确性与实用性。
2026-04-14 cond-mat.stat-mech cs.IT cs.LG
i-IF-Learn: Iterative Feature Selection and Unsupervised Learning for High-Dimensional Complex Data
SUSTech（华南理工大学）；NUS（国立大学）
本文提出i-IF-Learn框架，通过迭代特征选择与聚类，有效识别高维数据中的关键特征，提升聚类性能并增强下游模型表现。
2026-07-07 cs.LG stat.ME
Randomized PCA Forest for Unsupervised Outlier Detection
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（南丹麦大学）；Faculty of Information Technology and Communication Sciences（信息科技与通信科学学院）；Tampere University（塔尔库大学）
本文提出一种基于随机PCA的无监督异常检测方法，利用RPCA森林的内在特性生成异常评分，在多个数据集上优于经典和最新方法，展现出鲁棒性和高效性。
2026-05-08 cs.AI cs.LG stat.ML
Unsupervised Learning For Effective User Engagement on Social Media
在本文中，我们研究了无监督特征学习技术在预测社交媒体用户参与度方面的有效性。具体来说，我们比较了两种方法来预测反馈的数量（即，评论），博客文章可能会收到。我们将主成分分析（PCA）和稀疏自动编码器与基线方法进行了比较，其中数据仅在两种模型中的每一种上居中和缩放：线性回归和回归树。我们发现，无监督学习技术显着提高了两个模型的预测精度。对于线性回归模型，稀疏自动编码器实现了最佳结果，与基线方法相比，测试集上的均方根误差（RMSE）提高了42%。对于回归树模型，PCA实现了最佳结果，RMSE比基线提高了15%。
2016-11-11 cs.LG
Credit Card Fraud Detection in the Nigerian Financial Sector: A Comparison of Unsupervised TensorFlow-Based Anomaly Detection Techniques, Autoencoders and PCA Algorithm
Enugu State University of Science and Technology（埃努古州立科技大学）
针对尼日利亚金融业信用卡欺诈问题，对比基于TensorFlow的无监督自编码器与PCA算法的欺诈检测效果，验证自编码器降维性能更优，更适配复杂交易数据且错标率更低。
2024-03-08 cs.LG
Multidimensional Analysis of Specific Language Impairment Using Unsupervised Learning Through PCA and Clustering
Northeastern University（东北大学）
本研究利用PCA与聚类对1163名儿童的语言特征进行无监督分析，发现SLI主要体现为语言产出能力下降而非句法复杂度缺陷，并支持语言能力连续体模型，为改进诊断与干预提供依据。
2025-06-05 cs.CL cs.LG
From neural PCA to deep unsupervised learning
ZenRobotics Ltd.（ZenRobotics有限公司）
提出了一种支持深度无监督学习的网络。该网络是一个自动编码器，在层次结构的每个级别上具有从编码器到解码器的横向快捷连接。横向快捷连接允许层次结构的更高级别专注于抽象不变特征。虽然标准的自动编码器类似于具有单层随机变量的潜变量模型，但所提出的网络类似于分层潜变量模型。学习结合了去噪自动编码器和去噪源分离框架。网络的每一层都对成本函数有贡献，成本函数是衡量编码器和解码器产生的表示的距离的一项。由于训练信号来自网络的各个层次，因此即使在深度网络中，所有层也可以有效地学习。从更高层次的成本条款提供的加速和学习不变的功能的能力在实验中证明。
2015-02-02 cs.LG cs.NE stat.ML
LLMcap: Large Language Model for Unsupervised PCAP Failure Detection
B-Yond
针对电信 PCAP 故障检测中人工分析成本高、标注数据稀缺的问题，提出基于 LLM 和掩码语言建模的自监督 LLMcap，在无标注训练下实现高准确率。
2024-07-03 cs.AI cs.LG cs.NI
From Core to Detail: Unsupervised Disentanglement with Entropy-Ordered Flows
Heidelberg University（海德堡大学）
本文提出熵排序流方法，通过熵排序实现潜在变量的自适应解耦，提升高维数据的表示稳定性和去噪能力。
2026-10-01 cs.LG
Unsupervised Doppler Radar-Based Activity Recognition for e-Healthcare
Coventry University（考文垂大学）；University College London（伦敦大学学院）；Tampere University（坦佩雷大学）
无源射频（RF）传感和监测老人院中的人类日常活动是一个新兴的话题。微多普勒雷达是一种有吸引力的解决方案，考虑到它们的非侵入性，深穿透和远距离范围。使用多普勒雷达数据进行无监督的活动识别尚未得到重视，尽管在实际情况下，这种识别对于未标记或标记不佳的活动十分重要。本研究提出了两种无监督的特征提取方法，用于使用多普勒流进行人体活动监测。这些方法包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，卷积变分自编码器（CVAE）特征提取的新应用首次采用多普勒雷达数据。将这三种特征提取结构与传统的卷积自动编码器（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行了比较。使用K-Means和K-Medoids进行无监督聚类。结果表明，基于DCT的方法、基于熵的方法和CVAE特征的识别效果优于CAE、PCA和2DPCA，平均识别精度在5%~ 20%之间。在计算时间方面，这两种方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种流形学习技术。的方法进行比较的原始数据的投影，以及编码的CVAE功能。所有这三种方法显示出改进的可视化能力时，应用到编码的CVAE功能。
2021-11-02 cs.LG
Anchor PCA
ETH Zürich（苏黎世联邦理工学院）
针对多领域数据，提出Anchor PCA方法，通过修改目标矩阵进行主成分分析，在保留共享变异方向的同时权衡整体解释方差，实现鲁棒的降维。
2026-11-05 cs.LG stat.ME stat.ML
Data Dimension Reduction makes ML Algorithms efficient
Anhui University（安徽大学）；Northwestern Polytechnical University（西北工业大学）
数据降维（DDR）是将数据从高维映射到低维，DDR的各种技术正在用于图像降维，如随机投影，主成分分析（PCA），方差方法，LSA变换，组合和直接方法以及新随机方法。自动编码器（AE）用于学习端到端映射。在本文中，我们证明了预处理不仅加快了算法，而且提高了监督和无监督学习的准确性。在DDR的预处理中，首先使用基于PCA的DDR进行监督学习，然后探索基于AE的DDR进行无监督学习。在基于PCA的DDR中，我们首先比较了应用PCA之前和之后的监督学习算法的准确性和时间。同样，在基于AE的DDR中，我们比较了AE表示学习前后的无监督学习算法精度和时间。监督学习算法包括支持向量机（SVM）、具有GINI索引的决策树、具有熵的决策树和随机梯度下降分类器（SGDC）以及包括K均值聚类的无监督学习算法用于分类目的。我们使用了两个数据集MNIST和FashionMNIST我们的实验表明，在监督和无监督学习的预处理后，在准确性和时间减少方面都有很大的提高。
2022-11-17 cs.AI cs.CV cs.LG
A Convex Sparse PCA for Feature Analysis
The University of Queensland（昆士兰大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
主成分分析（PCA）已被广泛应用于工程、生物和社会科学等不同领域的数据降维和数据预处理。经典PCA及其变体寻求原始变量的线性投影，以获得具有最大方差的低维特征表示。一个局限性是很难解释PCA的结果。此外，经典的PCA是脆弱的某些噪声数据。本文提出了一种凸稀疏主成分分析算法，并将其应用于特征分析。首先，我们表明，PCA可以制定为一个低秩回归优化问题。在此基础上，将l2，1 -范数最小化引入目标函数，使回归系数稀疏，从而对异常值具有鲁棒性。此外，基于CSPCA中使用的稀疏模型，为每个原始特征分配最佳权重，从而为输出提供了良好的可解释性。通过CSPCA的输出，我们可以有效地分析PCA标准下每个特征的重要性。该算法的目标函数是凸的，我们提出了一种迭代算法来优化它，并将CSPCA算法应用于特征选择中，在六个不同的基准数据集上进行了大量的实验。实验结果表明，该算法优于最先进的无监督特征选择算法。
2014-11-23 cs.LG
On unsupervised projections and second order signals
German Center for Neurodegenerative Diseases（德国神经退行性疾病中心）；University of Cambridge（剑桥大学）
线性投影广泛应用于高维数据的分析。在数据隐藏潜在类别/聚类的无监督环境中，在投影下是否保留类别歧视信号的问题至关重要。在类之间的平均差异的情况下，这个问题已经得到了很好的研究。然而，在许多当代应用中，特别是在生物医学中，协方差或图形模型结构水平上的组差异很重要。出于这样的应用程序，在本文中，我们问线性投影是否可以保持潜在群体之间的二阶结构的差异。我们专注于无监督投影，它可以在不知道类标签的情况下计算。我们讨论了一个简单的理论框架来研究这种预测的行为，我们用它来通知通过准穷举枚举分析。这使我们能够考虑的性能，超过10万套的数据生成的人口参数，两个流行的预测，即随机预测（RP）和主成分分析（PCA）。在这一广泛的制度，PCA原来是更有效地保留二阶信号比RP，往往甚至与监督投影的竞争。我们补充这些结果与充分的实证实验显示0-1损失使用模拟和真实数据。我们还研究了投影尺寸的影响，提请注意在这方面的偏差方差权衡。我们的研究结果表明，PCA确实可以成为无监督分析的合适的第一步，包括差分协方差或图形模型结构感兴趣的情况。
2022-04-11 cs.LG stat.ML
Shape Operator PCA: Curvature-Aware Projections for Geometric Machine Learning
Federal University of São Carlos（圣卡洛斯联邦大学）
本文提出SHOPCA，一种融入微分几何信息的无监督降维方法，通过混合系数α正则化协方差矩阵，基于谱特征间隙无监督选α，在50余个数据集上较PCA提升聚类质量，小样本场景优于UMAP。
2026-08-18 cs.AI cs.CV cs.LG
Unsupervised Learning of Semantic Orientation from a Hundred-Billion-Word Corpus
一个词的评价性特征被称为它的语义指向。一个积极的语义取向意味着可取性（例如，“honest”，“intrepid”），而否定的语义取向意味着不受欢迎（例如，“令人不安的”，“多余的”）。本文介绍了一个简单的算法，无监督学习的语义倾向，从极大的语料库。该方法包括向Web搜索引擎发出查询，并使用逐点互信息来分析结果。该算法是使用大约1000亿个单词的训练语料库进行经验评估的--该语料库是由所选搜索引擎索引的Web子集。测试了3，596个单词（1，614个阳性和1，982个阴性），该算法达到了80%的准确率。3,596个测试单词包括形容词、副词、名词和动词。准确性与Hatzivassiloglou和McKeown（1997）的结果相当，使用复杂的四阶段监督学习算法，仅限于确定形容词的语义方向。
2002-12-08 cs.IR cs.LG
SO(3)-invariant PCA with application to molecular data
School of Mathematical Sciences, Tel Aviv University, Israel Department of Mathematics, UT Austin, USA School of Electrical；Computer Engineering, Tel Aviv University, Israel Yau Mathematical Sciences Center, Tsinghua University, China Program in Applied；Computational Mathematics\ Department of Mathematics, Princeton University, USA
针对任意取向三维分子数据应用PCA计算成本过高的问题，提出无需显式数据增强的SO(3)-不变PCA框架，利用代数结构将计算量降至协方差条目数的平方根级，在真实分子数据上验证有效，为大规模高维重建提供新可能。
2025-10-21 cs.LG eess.SP
Non-Greedy L21-Norm Maximization for Principal Component Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
主成分分析（PCA）是处理高维数据的最重要的无监督方法之一。然而，由于其特征分解解的高计算复杂性，使得PCA难以应用于大规模高维数据。同时，基于平方L2范数的目标使得它对数据离群值敏感。在最近的研究中，基于L1-范数最大化的PCA方法被提出，以提高计算效率和对离群点的鲁棒性。然而，这项工作使用了贪婪的策略来解决本征向量。此外，基于L1范数最大化的目标可能不是正确的鲁棒PCA公式，因为它失去了与数据重构误差最小化的理论联系，这是PCA最重要的直觉和目标之一。在本文中，我们提出了最大化的L21范数为基础的鲁棒PCA的目标，这是理论上连接到重建误差的最小化。更重要的是，我们提出了有效的非贪婪优化算法来解决我们的目标和更一般的L21-范数最大化问题，理论上保证收敛。在真实数据集上的实验结果表明了该方法的有效性。
2016-03-28 cs.LG
Schrödinger PCA: On the Duality between Principal Component Analysis and Schrödinger Equation
Massachusetts Institute of Technology（麻省理工学院）；Peking University（北京大学）；California Institute of Technology（加州理工学院）
主成分分析（PCA）通过识别特征之间的协方差相关性，在无监督学习中取得了巨大的成功。如果数据收集未能捕获协方差信息，则PCA将无法发现有意义的模式。特别地，PCA将在欠采样机制中使空间高斯过程（GP）模型失效，即相邻锚点（空间特征）的平均距离大于GP的相关长度。反直觉地，通过绘制PCA和薛定谔方程之间的联系，我们不仅可以解决欠采样的挑战，而且还可以使用所提出的称为薛定谔PCA的算法以高效和解耦的方式进行计算。该算法只需要特征方差和估计的相关长度作为输入，构造相应的薛定谔方程，求解该方程，得到与主成分相吻合的能量本征态。我们还将建立我们的算法在偏微分方程（PDE）社区的模型降阶技术的连接，其中稳态薛定谔算子被确定为协方差函数的二阶近似。数值实验验证了该算法的有效性和高效性，显示了其在一般图和流形上的无监督学习任务中的潜力。
2021-08-18 cond-mat.dis-nn cs.LG math.PR
Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews
本文提出了一种简单的无监督学习算法，用于将评论分类为推荐（竖起大拇指）或不推荐（竖起大拇指）。评论的分类是通过评论中包含形容词或副词的短语的平均语义取向来预测的。当一个短语具有良好的关联时，它具有积极的语义取向（例如，“微妙的细微差别”）以及当它具有不良关联时的负面语义取向（例如，“非常骑士”）。本文将短语的语义指向计算为给定短语与词“优”之间的互信息减去给定短语与词“差”之间的互信息。如果一个评论的短语的平均语义取向是积极的，则该评论被归类为推荐。该算法在Epperly的410条评论上进行评估时，平均准确率为74%，这些评论来自四个不同的领域（汽车，银行，电影和旅游目的地）。准确率从汽车评论的84%到电影评论的66%不等。
2002-12-11 cs.CL cs.IR cs.LG
Validation of nonlinear PCA
Edmund Mach Foundation – Research and Innovation Center（埃德蒙·马赫基金会——研究与创新中心）
利用人工神经网络可以将线性主成分分析（PCA）扩展为非线性主成分分析。但是，弯曲部件的好处需要仔细控制模型的复杂性。此外，用于模型选择的标准技术，包括交叉验证和更一般地使用独立测试集，在应用于非线性PCA时失败，因为其固有的无监督特性。本文提出了一种新的方法来验证非线性PCA模型的复杂性，通过使用缺失数据估计的误差作为模型选择的标准。它的动机是这样一个想法，即只有最佳复杂度的模型才能以最高的准确度预测缺失值。虽然标准测试集验证通常倾向于过拟合非线性PCA模型，但所提出的模型验证方法正确地选择了最佳模型复杂度。
2012-04-03 cs.AI cs.CV cs.LG
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Semi-Orthogonal Multilinear PCA with Relaxed Start
Hong Kong Baptist University（香港浸会大学）
主成分分析（PCA）是一种利用正交投影学习低维特征的无监督方法。多线性PCA方法通过张量到张量投影或张量到向量投影（TVP）扩展PCA以直接处理多维数据（张量）。然而，在TVP设置下，很难开发一个有效的多线性PCA方法与正交约束。本文提出了一种新的半正交多线性PCA（SO-MPCA）方法来解决这个问题。SO-MPCA通过TVP直接从张量中学习低维特征，只在一个模式中施加正交约束。该公式比完全正交性导致更多的捕获方差和更多的学习特征。为了更好的推广，我们进一步引入了一个宽松的开始（RS）策略，通过固定起始投影向量来获得SO-MPCA-RS，这增加了偏差，降低了学习模型的方差。在人脸（2D）和步态（3D）数据上的实验表明，SO-MPCA-RS算法的性能总体上优于其他竞争算法，并且松弛启动策略对于其他基于TVP的PCA方法也是有效的。
2015-05-07 cs.CV cs.LG stat.ML
Supervised Discriminative Sparse PCA for Com-Characteristic Gene Selection and Tumor Classification on Multiview Biological Data
Harbin Institute of Technology（哈尔滨工业大学）；Qufu Normal University（曲阜师范大学）；Anhui University（安徽大学）
主成分分析（PCA）已被用于研究疾病的发病机制。为了提高经典PCA的可解释性，迄今为止已经提出了各种改进的PCA方法。其中，一个典型的方法是所谓的稀疏PCA，其重点是寻求稀疏负载。然而，这些方法的性能仍然是远远不能令人满意的，由于其使用无监督学习方法的限制，而且，在样本内的类歧义是高的。为了克服这个问题，本研究开发了一种新的PCA方法，这是被命名为监督判别稀疏PCA（SDSPCA）。该方法的主要创新点是将判别信息和稀疏性引入到PCA模型中。具体而言，与传统的稀疏PCA相比，它对负载施加稀疏性，在这里，稀疏分量被获得以表示数据。此外，通过线性变换，稀疏分量近似给定的标签信息。一方面，稀疏分量提高了传统PCA的可解释性，而另一方面，它们具有适用于分类目的的区分能力。提出了一种简单的算法，并给出了收敛性证明。SDSPCA已被应用于多视角生物数据的共同特征基因（com-characteristic gene）选择和肿瘤分类。通过大量、合理、有效的实验，验证了SDSPCA的稀疏性和分类性能，实验结果表明SDSPCA优于其他现有方法。
2019-05-28 cs.LG stat.ML
A PCA-Based Convolutional Network
Ocean University of China（中国海洋大学）
在本文中，我们提出了一种新的无监督深度学习模型，称为基于PCA的卷积网络（PCN）。PCN的结构由几个特征提取阶段和一个非线性输出阶段组成。特别地，每个特征提取阶段包括两个层：卷积层和特征池化层。在卷积层中，滤波器组简单地通过PCA学习。在非线性输出阶段，应用二进制哈希。对于更高的卷积层，滤波器组是从前一阶段获得的特征图中学习的。为了测试PCN，我们对一些具有挑战性的任务进行了广泛的实验，包括手写数字识别，人脸识别和纹理分类。结果表明，PCN的性能与最先进的深度学习模型相当，甚至更好。更重要的是，由于监督微调没有反向传播，PCN比现有的深度网络更有效。
2015-05-14 cs.CV cs.LG cs.NE
Unsupervised Learning for Fault Detection of HVAC Systems: An OPTICS -based Approach for Terminal Air Handling Units
Toronto Metropolitan University（多伦多都会大学）
本研究提出一种基于PCA预处理和OPTICS聚类的无监督学习策略，用于HVAC终端空气处理单元故障检测，经多数据集验证其准确率优于k-means，同时指出了PCA在复杂故障场景下的信息丢失局限。
2023-12-18 cs.AI cs.LG cs.SY
An improved mixture of probabilistic PCA for nonlinear data-driven process monitoring
Quanzhou Institute of Equipment Manufacturing, Haixi Institutes, Chinese Academy of Sciences（中国科学院海西研究院泉州装备制造研究所）；University of Reading（雷丁大学）
本文提出了一种改进的混合概率主成分分析（PPCA）方法，用于非线性数据驱动的过程监控。为了实现这一目的，混合的概率主元分析技术被用来建立潜在的非线性过程的局部PPCA模型，其中一个新的复合监测统计量的基础上提出的改进的PPCA故障检测方法的两个监测统计量的整合。此外，上述监测统计的加权平均值用作检测潜在异常的指标。通过与几种无监督算法的比较，讨论了该算法的优点。最后，田纳西-伊士曼过程和自动悬架模型的应用进一步证明了所提出的方案的有效性。
2020-12-12 cs.LG stat.ME
Combination of PCA with SMOTE Resampling to Boost the Prediction Rate in Lung Cancer Dataset
分类算法无法在规模巨大的数据集上建立可靠的模型。这些数据集包含许多不相关和冗余的特征，这些特征会误导分类器。此外，许多大型数据集的类分布不平衡，导致分类过程中对多数类产生偏见。本文将无监督降维方法与重构方法相结合，并在肺癌数据集上进行了实验。在第一步中，PCA应用于肺癌数据集，以压缩数据集，并消除不相关的功能，并在第二步中进行SMOTE重新排序，以平衡类分布，增加样本域的多样性。最后，将朴素贝叶斯分类器应用于结果数据集，比较结果并计算评估指标。实验结果表明，该方法在总体准确率、误报率、精确率、召回率四个评价指标上都是有效的。
2014-03-08 cs.CE cs.LG
Unsupervised Multi-Clustering and Decision-Making Strategies for 4D-STEM Orientation Mapping
Laboratoire de Réactivité et Chimie des Solides (LRCS), CNRS UMR 7314, Université de Picardie Jules Verne（皮卡第儒勒-凡尔纳大学，法国国家科学研究中心，固体反应性与化学实验室）；Institut de Chimie de la Matière Condensée de Bordeaux (ICMCB)（波尔多凝聚态材料化学研究所）；Université Grenoble Alpes, CNRS, Grenoble INP, SIMAP（格勒诺布尔-阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔理工学院，材料与工艺科学与工程实验室）；NanoMegas company（NanoMegas公司）；ALISTORE-European Research Institute, CNRS FR 3104（ALISTORE欧洲研究院，法国国家科学研究中心）
本研究面向4D-STEM取向映射任务，提出融合NMF聚类、K-Component Loss、IQA指标及预处理的无监督分析框架，可确定最优分量数、平衡性能与复杂度，实现可靠的结构分析。
2025-03-09 cs.CV cs.LG eess.IV
Sampling Reveals Style: Unsupervised, Training-Free Discovery of Prompt-Conditional Stylistic Axes in LLM Activations
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
本文提出一种免训练方法，通过对单提示高温采样补全并对其隐藏激活做PCA，自动发现LLM中的风格轴，经人类标注验证有效，并揭示跨模型差异。
2026-09-21 cs.CL cs.LG
Learning to Select Features with Manifold Deep Unfolding PCA
Shanghai University（上海大学）；Sun Yat-sen University（中山大学）
无监督特征选择（UFS）在图像处理和模式识别中具有重要意义。然而，现有的基于模型的方法通常依赖手动调整的超参数，而基于深度学习的方法通常需要大量训练数据。为解决这些问题，本文提出一种高效的流形深度展开特征选择网络（MDUFS-Net）。从技术角度而言，我们首先将$\ell_{2,0}$范数融入经典主成分分析（PCA）框架，随后将基于交替方向乘子法（ADMM）的迭代算法展开为端到端可训练网络，从而实现自动参数学习。此外，我们开发了一种流形优化策略以提升数值鲁棒性。在此基础上，我们进一步引入$\ell_{0}$范数，将MDUFS-Net扩展为增强变体MDUFS-Net+，以获取更具判别力的特征表示。大量实验验证，所提出的MDUFS-Net和MDUFS-Net+在UFS任务中优于现有最优方法，且在聚类任务中表现出色。我们的代码可在https://github.com/xianchaoxiu/MDUFS获取。
2026-10-14 cs.CV cs.LG
Transfer Learning from an Auxiliary Discriminative Task for Unsupervised Anomaly Detection
Center for Urban Science and Progress（城市科学与进步中心）；New York University（纽约大学）；Institute Of Design And Urbanism（设计与城市主义研究所）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
从移动网络等高维数据中进行无监督异常检测是一项具有挑战性的任务。如何从这些高维数据中提取特征是该领域的研究热点。本研究的目的是探讨网络分类学习到的特征在无监督异常检测中的可移植性。我们建议使用一个辅助分类任务提取特征，从无标记的数据通过监督学习，可用于无监督的异常检测。我们通过设计实验来检测来自纽约和台北的移动网络数据中的异常来验证这种方法，并将结果与PCA和自动编码器的传统无监督特征学习方法进行比较。我们发现，我们的特征学习方法对两个数据集都产生了最佳的异常检测性能，优于其他研究方法。这建立了这种方法的实用功能工程，它可以应用于其他类似性质的问题。
2019-12-05 cs.LG physics.soc-ph stat.ML
A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization
Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL)（计算统计物理实验室，瑞士联邦理工学院（EPFL））
本文提出一个高维模型，展示非线性自编码器能学习线性方法如PCA无法捕捉的结构，尽管其测试损失与泛化性能不一致。
2026-08-11 cond-mat.dis-nn cs.LG stat.ML
Convex Formulations for Fair Principal Component Analysis
UC Berkeley（加州大学伯克利分校）
虽然有越来越多的文献对监督学习的公平性，将公平性纳入无监督学习的问题还没有得到很好的研究。本文研究的背景下，主成分分析（PCA）的公平性。我们首先给出了降维的公平性的定义，并且我们的定义可以被解释为说，如果关于受保护类的信息（例如，种族或性别）不能从降维的数据点推断。接下来，我们开发凸优化公式，可以提高PCA和核PCA的公平性（相对于我们的定义）。这些配方是半定程序（SDP的），我们证明了我们的配方使用几个数据集的有效性。最后，我们展示了我们的方法可以用来执行一个公平的（相对于年龄）聚类的健康数据，可用于设置健康保险费率。
2018-11-12 cs.LG math.OC stat.ML
Multivariate Analysis for Multiple Network Data via Semi-Symmetric Tensor PCA
University of Florida Informatics Institute（佛罗里达大学信息学研究所）；University of Florida（佛罗里达大学）
网络数据通常在各种应用中收集，表示感兴趣的特征之间的直接测量或统计推断的连接。在越来越多的领域中，这些网络是随着时间的推移而收集的，例如社交媒体平台的用户在不同日期之间的交互，或者跨多个主题的交互，例如在大脑连接的多主题研究中。在分析多个大型网络时，通常使用降维技术将网络嵌入到更易处理的低维空间中。为此，我们通过专门的张量分解开发了一个网络集合上的主成分分析（PCA）框架，我们称之为半对称张量PCA或SS-TPCA。我们推导出计算效率高的算法来计算我们提出的SS-TPCA分解，并建立一个标准的低秩信号加噪声模型下，我们的方法的统计效率。值得注意的是，我们表明，SS-TPCA达到了与经典矩阵PCA相同的估计精度，误差与网络中顶点数的平方根成比例，而不是与预期的边数成比例。我们的框架继承了经典PCA的许多优点，适用于广泛的无监督学习任务，包括识别主要网络，隔离有意义的变点或离群观测，以及表征最变化边缘的“变异网络”。最后，我们证明了我们的建议的有效性模拟数据和实证法律研究的一个例子。用于建立我们的主要一致性结果的技术令人惊讶地简单，并可能在各种其他网络分析问题中找到用途。
2022-09-02 cs.LG cs.SI stat.ME
Gram-Schmidt Methods for Unsupervised Feature Extraction and Selection
Department of Electrical and Systems Engineering, Washington University in St. Louis（电气与系统工程系，华盛顿大学圣路易斯分校）；Department of Computer Science and Engineering, Washington University in St. Louis（计算机科学与工程系，华盛顿大学圣路易斯分校）
本文提出在函数空间上使用Gram-Schmidt型正交化过程检测非线性依赖，构建协方差矩阵用于特征提取与选择，其线性方法性能优于现有线性算法且媲美非线性方法，并推广了现有机制且降低复杂度。
2025-07-15 cs.IT cs.LG math.IT
Federated PCA on Grassmann Manifold for IoT Anomaly Detection
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；University of Pennsylvania（宾夕法尼亚大学）；Kyung Hee University（庆熙大学）
针对传统入侵检测标注需求高、无监督方法部署难的问题，提出基于PCA和ADMM的联邦无监督异常检测框架FedPCA及两种算法，性能媲美非线性基线且通信内存效率更优，适用于资源受限的IoT网络安全防护。
2024-07-10 cs.AI cs.CR cs.DC
Nonlinear Multiple Response Regression and Learning of Latent Spaces
School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；The University of Hong Kong（香港大学）
本文提出一种统一方法，通过非线性多元响应回归和广义Stein引理，在无监督与有监督下学习潜在空间，兼具可解释性、低计算复杂度和理论保证。
2025-03-27 cs.LG stat.ML
A Self-Organizing Clustering System for Unsupervised Distribution Shift Detection
Technical University of Denmark（丹麦技术大学）；INRIA Rennes – Bretagne Atlantique（法国国家信息与自动化研究所雷恩-大西洋分部）
本文提出一种基于自组织映射和尺度不变映射潜在空间的持续学习框架，通过比较高斯信号实现快速鲁棒的无监督分布偏移检测，并在图像、化学传感器和臭氧数据上验证了其有效性。
2024-10-22 cs.AI cs.LG cs.NE
Optimal Average-Case Reductions to Sparse PCA: From Weak Assumptions to Strong Hardness
Massachusetts Institute of Technology（麻省理工学院）
在过去的十年中，稀疏主成分分析已经成为一个典型的问题，说明计算的权衡。这一趋势在很大程度上是由一系列研究驱动的，这些研究旨在通过从种植集团（PC）猜想的减少来表征稀疏PCA的平均情况复杂度-这表明没有多项式时间算法来检测$\mathcal{G}(N, \frac{1}{2})$中$K = o(N^{1/2})$大小的种植集团。所有以前的减少稀疏PCA要么没有显示出紧密的计算下限匹配现有的算法或显示出较低的界限，制定稀疏PCA以外的规范生成模型，尖峰协方差模型。而且，这些下界都随着PC猜想中的指数而迅速退化。具体地说，当仅给定PC猜想直到$K = o(N^α)$，其中$α< 1/2$时，不存在这些下界保持紧密的稀疏水平$k$。如果$α\le 1/3$，这些减少甚至不能显示在任何稀疏度$k$的计算-计算折衷的存在。我们从PC产生的第一个完整的表征的计算障碍的尖峰协方差模型，在所有的稀疏$k$提供严格的下限减少。我们还显示了令人惊讶的结果，较弱形式的PC猜想集团大小$K = o(N^α)$为任何给定的$α\in (0, 1/2]$意味着紧密的计算下界稀疏PCA稀疏$k = o(n^{α/3})$。这表明，即使是最知名的多项式时间稀疏PCA算法所需的信号强度的轻微改善也意味着PC的硬度阈值是次多项式。这是第一个次优硬度假设的例子，暗示了无监督学习中另一个问题的最优下限。
2019-02-20 cs.CC cs.LG math.PR
Unsupervised Outlier Detection in Audit Analytics: A Case Study Using USA Spending Data
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
本研究以美国卫生与公众服务部支出数据为案例，比较多种无监督异常检测算法，发现混合方法能提升审计中异常识别的稳健性与准确性。
2025-09-19 cs.AI cs.LG
An unsupervised approach to Geographical Knowledge Discovery using street level and street network images
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
最近的研究表明，机器学习方法在地理和城市分析中的使用越来越多，主要是使用监督方法从空间和时间数据中提取特征和模式。将地理过程整合到机器学习模型中以及使用无监督方法对地理数据进行知识发现的研究一直很少。这项研究有助于阶梯，在那里我们展示了如何从城市图像的无监督学习方法中学习到的潜在变量可以用于地理知识发现。特别是，我们提出了一种简单的方法称为卷积PCA（ConvPCA），适用于街道水平和街道网络图像，以找到一组不相关和有序的视觉latentcomponents。该方法允许有意义的解释，使用地理和生成可视化的组合来探索潜在的空间，并显示如何学习表示可以用来预测城市特征，如街道质量和街道网络属性。研究还发现，与可解释性较低的降维技术相比，ConvPCA模型的视觉组件达到了相似的精度。
2019-10-11 cs.CV cs.CY cs.LG
Unsupervised Learning: Comparative Analysis of Clustering Techniques on High-Dimensional Data
本研究针对高维数据聚类问题，提出结合多种降维技术与量化指标的评估框架，对比三类主流聚类算法，发现UMAP预处理可提升聚类质量，且不同算法各有适配场景，为高维数据聚类技术选型提供系统方法。
2025-07-30 cs.LG stat.ML
Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints
KU Leuven（鲁汶大学）
我们介绍了Constr-DRKM，一个深度内核方法的无监督学习解开数据表示。我们建议通过对潜在变量的正交约束来增强用于核PCA的原始深度限制核机公式，以促进解纠缠，并使其能够在不首先定义稳定目标的情况下进行优化。在说明了一个端到端的训练过程的基础上，二次惩罚优化算法与热启动，我们定量评估所提出的方法的有效性，在解开特征学习。我们证明了四个基准数据集，这种方法执行类似的整体$β$ -VAE的一些解纠缠指标时，很少的训练点是可用的，而不太敏感的随机性和超参数选择比$β$ -VAE。我们还提出了一个确定性的初始化Constr-DRKM的训练算法，显着提高了结果的再现性。最后，我们经验性地评估和讨论了所提出的方法中层数的作用，检查了每一层中每个主成分的影响，并表明较低层中的组件作为局部特征检测器捕获数据分布的广泛趋势，而更深层中的组件使用前一层学习的表示，更准确地再现更高级别的特征。
2020-11-25 cs.LG stat.ML
Regression-aware decompositions
Facebook Artificial Intelligence Research（脸书人工智能研究）
本文提出了一种回归感知的分解方法，通过结合线性最小二乘回归模型与插值分解，实现了对矩阵B的监督降维，从而揭示了B中与A回归相关的结构。
2018-02-12 cs.LG cs.NA math.NA
Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning
Arizona State University（亚利桑那州立大学）；University of Kansas（堪萨斯大学）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
针对无监督特征变换问题，提出度量-预训练-微调范式，结合图对比学习和生成模型，以捕获复杂特征交互并避免大搜索空间。
2024-05-27 cs.AI cs.LG
K-Nearest-Neighbors Induced Topological PCA for scRNA Sequence Data Analysis
Michigan State University（密歇根州立大学）
针对scRNA-seq数据稀疏且传统PCA无法捕捉多尺度几何结构的问题，提出结合持久拉普拉斯与L$_{2,1}$范数的kNN-tPCA降维方法，在11个基准数据集上显著优于UMAP、tSNE等无监督方法。
2023-10-23 cs.LG math.AT q-bio.QM
Deep Trans-layer Unsupervised Networks for Representation Learning
University of Chinese Academy of Sciences（中国科学院大学）
从大量未标记的数据中学习特征是许多机器学习应用程序中高级任务的一个广泛流行的话题。最近，越来越复杂的无监督学习方法和具有大量参数的深度学习模型在基准数据集上取得了很大的改进，通常需要许多繁琐的技巧和专业知识来调整。然而，通过这些复杂架构学习的过滤器在视觉上与标准手工制作的功能非常相似。在本文中，无监督学习的方法，如PCA或自动编码器，作为积木学习滤波器组在每一层。较低层的响应被传输到最后一层（trans-layer），以形成保留更多信息的更完整的表示。此外，一些有益的方法，如局部对比度归一化和白化，被添加到所提出的深度跨层网络，以进一步提高性能。跨层表示之后是具有二进制编码器模式的块直方图，以学习平移和旋转不变表示，这些表示用于执行识别和分类等高级任务。与传统的深度学习方法相比，该特征学习方法具有更少的参数，并在几个典型的实验中进行了验证，如MNIST和MNIST变体上的数字识别，Caltech 101数据集上的对象识别和LFW数据集上的人脸验证。深度跨层无监督学习在MNIST数据集上达到99.45%的准确率，在Caltech 101数据集上每类15个样本的准确率为67.11%，在LFW数据集上每类30个样本的准确率为75.98%。
2015-09-27 cs.CV cs.LG cs.NE
Unsupervised Domain Adaptation from Axial to Short-Axis Multi-Slice Cardiac MR Images by Incorporating Pretrained Task Networks
Heidelberg University Hospital（海德堡大学医院）；DZHK (German Centre for Cardiovascular Research)（德国心血管研究中心）；UT Southwestern Medical Center（德克萨斯大学西南医学中心）；German Competence Network for Congenital Heart Defects（德国先天性心脏病能力网络）
各向异性多层心脏磁共振（CMR）图像通常在患者特定的短轴（SAX）方向上采集。在影响右心室（RV）形态的特定心血管疾病中，由于治疗计划中RV体积测量的潜在优势，一些研究者首选标准轴向（AX）方向的采集。不幸的是，由于这些疾病的罕见发生，这方面的数据是稀缺的。最近基于深度学习的方法的研究主要集中在SAX CMR图像上，并且已经证明非常成功。在这项工作中，我们表明，AX和SAX图像之间有相当大的域转移，因此，直接应用现有的模型产生次优的结果AX样本。我们提出了一种新的无监督域自适应方法，该方法在注意力机制中使用任务相关的概率。除此之外，循环一致性被施加在学习的患者个体3D刚性变换上，以在将AX图像自动重新采样到SAX方向时提高稳定性。该网络在来自多中心患者队列的122个注册的3D AX-SAX CMR体积对上进行训练。可以获得左心室的平均3D Dice为$0.86\pm{0.06}$，心肌的平均3D Dice为$0.65\pm{0.08}$，右心室的平均3D Dice为$0.77\pm{0.10}$。与直接应用于轴向切片相比，这是RV Dice中$25\%$的改进。总而言之，我们的预训练任务模块既没有看到CMR图像，也没有看到目标域的标签，但能够在域间隙减小后对其进行分割。代码：https://github.com/Cardio-AI/3d-mri-domain-adaptation
2021-01-20 cs.CV cs.LG eess.IV
Equivariant Spherical Deconvolution: Learning Sparse Orientation Distribution Functions from Spherical Data
New York University（纽约大学）
我们提出了一个旋转等变无监督学习框架的非负标量场的单位球上定义的稀疏反卷积。具有多个峰值的球形信号自然出现在扩散MRI（dMRI）中，其中每个体素由对应于各向异性组织结构（诸如白质）的一个或多个信号源组成。由于空间和光谱部分体积化，临床上可行的dMRI难以解析交叉纤维白质配置，导致球面去卷积方法的广泛发展，以恢复潜在的纤维方向。然而，这些方法通常是线性的，并且难以进行小交叉角和部分体积分数估计。在这项工作中，我们通过无监督球形卷积网络非线性地估计纤维结构来改进当前的方法，并保证与球形旋转的等方差。在实验上，我们首先通过广泛的单壳和多壳合成基准来验证我们的主张，这些基准展示了与常见基准相比具有竞争力的性能。然后，我们在Tractometer基准数据集上显示了纤维追踪测量的下游性能改善。最后，我们展示了在人类受试者的多壳数据集上的纤维束成像和部分体积估计方面的下游改进。
2021-02-17 cs.CV cs.LG eess.IV
