Dimensionality reduction, regularization, and generalization in overparameterized regressions
Johns Hopkins University（约翰斯·霍普金斯大学）；Flatiron Institute（熨斗研究所）；New York University（纽约大学）
深度学习中的过度参数化非常强大：非常大的模型可以完美地拟合训练数据，但通常泛化效果很好。这一认识带回了对回归的线性模型的研究，包括普通最小二乘（OLS），它与深度学习一样，表现出“双下降”行为：（1）风险当参数$p$的数目接近样本数目$n$时，（预期样本外预测误差）可以任意增长，以及（2）对于$p>n$，风险随着$p$而降低，有时达到的值低于$p<n$的最低风险。正则化可以避免OLS风险的发散。在这项工作中，我们表明，对于某些数据模型，它也可以通过基于PCA的降维（PCA-OLS，也称为主成分回归）来避免。我们提供了非渐近界的PCA-OLS的风险，考虑人口和经验主成分的路线。我们表明，降维提高了鲁棒性，而OLS是任意容易受到对抗性攻击，特别是在overparameterized制度。我们比较PCA-OLS理论和经验与广泛的基于投影的方法，包括随机投影，偏最小二乘（PLS），和某些类的线性双层神经网络。这些比较是针对不同的数据生成模型进行的，以评估对信噪比的敏感性以及回归系数与特征的对齐。我们发现，投影依赖于训练数据的方法可以优于独立于训练数据选择投影的方法，即使是那些具有人口数量的预言知识的方法，这是另一个先前已经确定的看似矛盾的现象。这表明，过度参数化可能不是必要的良好的泛化。
2021-10-20 cs.LG stat.ML
CBMAP: Clustering-based manifold approximation and projection for dimensionality reduction
Inonu University（伊诺努大学）
针对现有降维方法难以兼顾全局与局部结构、依赖超参数的问题，提出基于聚类的CBMAP方法，实现低维空间聚类与高维空间高度相似，且速度快、可扩展性强、超参数依赖小，还支持测试数据投影。
2024-09-16 cs.LG
Manifold Elastic Net: A Unified Framework for Sparse Dimension Reduction
Nanyang Technological University（南洋理工大学）；University of Vermont（佛蒙特大学）
基于流形学习的降维算法很难找到最优稀疏解。基于套索或弹性网络惩罚流形学习的降维不是直接的套索惩罚最小二乘问题，因此不能应用稀疏学习中最流行的算法之一的最小角度回归（LARS）（Efron等人，\cite{LARS}）。因此，目前大多数方法采用间接的方式或具有严格的设置，这对于应用程序来说可能是不方便的。在本文中，我们提出了流形弹性网或简称MEN。MEN融合了基于流形学习的降维和基于稀疏学习的降维的优点。通过一系列的等价变换，我们证明了MEN等价于套索惩罚最小二乘问题，从而采用LARS来获得MEN的最优稀疏解。特别是，MEN对于后续分类具有以下优势：1）对于低维数据表示，样本的局部几何结构得到了很好的保持; 2）稀疏投影计算同时考虑了间隔最大化和分类误差最小化; 3）MEN的投影矩阵改善了计算中的简约性; 4）弹性网惩罚减少了过拟合问题，5）MEN的投射矩阵具有心理和生理的解释力。在各种流行数据集上进行人脸识别的实验证据表明，MEN优于顶级降维算法。
2010-07-27 cs.LG stat.ML
Dimensionality Reduction for Binary Data through the Projection of Natural Parameters
二进制数据的主成分分析（PCA），称为逻辑PCA，已经成为二进制数据降维的一种流行的替代方法。它的动机是通过矩阵分解，类似于奇异值分解，最大化伯努利对数似然的普通PCA的扩展。我们提出了一个新的制剂的逻辑PCA扩展皮尔逊的制定低维数据表示与最小误差的二进制数据。我们的公式不需要矩阵分解，因为以前的方法，而是寻找从饱和模型的自然参数的投影。由于这种差异，参数的数量不会随着观测值的数量而增加，并且可以通过简单的矩阵乘法来计算新数据的主成分得分。我们推导出特殊结构的数据矩阵的显式解决方案，并提供计算效率高的算法求解主成分负荷。通过模拟实验和对医疗诊断数据的分析，我们将我们的逻辑PCA公式与以前的公式以及普通PCA进行了比较，以证明其优点。
2015-10-21 stat.ME stat.ML
Nested Hyperbolic Spaces for Dimensionality Reduction and Hyperbolic NN Design
University of Florida（佛罗里达大学）；National Taiwan University（国立台湾大学）
双曲神经网络由于能够有效地表示分层数据集而在最近的过去一直很流行。开发这些网络的挑战在于嵌入空间的非线性，即双曲空间。双曲空间是洛伦兹群的齐次黎曼流形。大多数现有的方法（有一些例外）使用局部线性化来定义各种操作，这些操作与欧几里得空间中传统深度神经网络中使用的操作并行。在本文中，我们提出了一种新的全双曲神经网络，它使用的概念，投影（嵌入），其次是一个内在的聚合和非线性都在双曲空间。这里的新颖之处在于投影，其目的是将数据投影到低维嵌入的双曲空间上，从而导致独立地用于降维的嵌套双曲空间表示。主要的理论贡献是证明了所提出的嵌入在洛伦兹变换下是等距的和等变的。这种投影在计算上是高效的，因为它可以通过简单的线性运算来表达，并且由于上述等方差属性，它允许权重共享。嵌套双曲空间表示是我们网络的核心组成部分，因此，我们首先将这种嵌套双曲空间表示与其他降维方法进行比较，如切线PCA，主测地线分析（PGA）和HoroPCA。基于这种等变嵌入，我们开发了一种新的全双曲图卷积神经网络结构来学习投影的参数。最后，我们提出的实验证明我们的网络在几个公开的数据集上的比较性能。
2021-12-03 cs.AI cs.LG stat.ML
Optimal Projections for Discriminative Dictionary Learning using the JL-lemma
本文提出基于JL引理的构造方法，通过改进的监督PCA分析生成投影矩阵，提升特征-标签一致性并保持数据几何结构，实验表明在OCR和人脸识别数据集上具有更好的分类性能。
2024-10-03 cs.CV cs.ET cs.LG
Fuzzy Gene Selection and Cancer Classification Based on Deep Learning Model
The University of Northampton（北安普顿大学）；University of Babylon（巴比伦大学）
本研究提出模糊基因选择技术（FGS）结合深度学习，降低基因表达数据维度，在六个数据集上显著提升癌症分类性能。
2023-05-04 cs.LG q-bio.GN
Classification of Cervical Cancer Dataset
Binghamton University（宾汉姆顿大学）
宫颈癌是世界上最常见的妇科恶性肿瘤。本文介绍了不同的分类技术，并显示了特征选择方法的优势，以最好的预测宫颈癌的疾病。有32个属性，858个样本。此外，该数据遭受缺失值和不平衡数据。因此，使用了过采样、欠采样和嵌入式过采样和欠采样。此外，需要降维技术来提高分类器的准确性。因此，特征选择方法被分为两个不同的类别，过滤器和包装器进行了研究。结果表明，年龄，首次性交，怀孕次数，吸烟，激素避孕药和性病：生殖器疱疹是主要的预测特征，准确率为97.5%。决策树分类器在处理分类分配方面具有优越的性能。
2018-12-11 cs.CY cs.LG q-bio.QM
Improving statistical learning methods via features selection without replacement sampling and random projection
Instituto Politécnico Nacional（国家理工学院）
本研究提出整合无放回特征选择（FSWOR）和投影方法的机器学习框架，利用Kendall检验对脑癌微阵列数据集降维，结合LDA投影与朴素贝叶斯集成分类器，有效缓解过拟合，将分类准确率提升至96%。
2025-05-28 cs.AI cs.LG q-bio.QM
Information Preserving Component Analysis: Data Projections for Flow Cytometry Analysis
流式细胞术通常用于表征白血病和淋巴瘤患者中的恶性细胞，追踪到单个细胞的水平。通常，流式细胞术数据分析通过一系列到数据集的轴上的二维投影来执行。多年来，临床医生已经确定了不同荧光标记物的组合，这些标记物产生了白血病和淋巴瘤-造血系统癌症-特定亚型的相对已知的表达模式。通过仅查看一系列二维投影，很少利用数据的高维性质。在本文中，我们提出了一种方法来确定一个低维投影，保持不同的肿瘤数据集之间的高维关系（即信息）。通过使用机器学习技术，我们允许临床医生以所有可用标记的线性组合定义的低维度可视化数据，而不是一次仅2个。这为诊断类似形式的癌症提供了帮助，也为探索性流式细胞术研究中的变量选择提供了手段。我们将我们的方法称为信息保持成分分析（IPCA）。
2008-04-17 stat.ML
Projection Pursuit Density Ratio Estimation
Renmin University of China（中国人民大学）
本文提出基于投影寻踪近似的密度比估计方法，以缓解高维数据下的维度灾难并保持模型灵活性，同时证明其一致性与收敛速率，实验表明该方法在多种应用中优于现有方法。
2025-06-01 cs.LG stat.ME stat.ML
Multi-Objective Genetic Programming Projection Pursuit for Exploratory Data Modeling
对于分类问题，特征提取是一个关键的过程，其目的是找到一个合适的数据表示，提高机器学习算法的性能。根据维数灾难定理，分类任务所需的样本数量随着维度（变量，特征）数量的增加而呈指数级增加。另一方面，收集、存储和处理数据的成本很高。此外，不相关和冗余的特征可能会阻碍分类器的性能。在探索性分析设置中，高维度阻止用户可视化地探索数据。特征提取是一个两步过程：特征构造和特征选择。特征构造是在原始特征的基础上创建新的特征，而特征选择是选择最佳特征的过程，如过滤器、包装器和嵌入方法。在这项工作中，我们专注于功能的建设方法，旨在减少数据的可视化任务的维数。人们提出了各种线性（如主成分分析（PCA）、多判别分析（MDA）、探索性投影寻踪）和非线性（如多维尺度（MDS）、流形学习、核PCA/LDA、进化构造性归纳）技术来进行降维。我们的算法是一个自适应的特征提取方法，其中包括进化的建设性归纳的特征建设和混合过滤器/包装方法的特征选择。
2010-10-10 cs.LG cs.NE
Linear Dimensionality Reduction: Survey, Insights, and Generalizations
线性降维方法由于其简单的几何解释和典型的有吸引力的计算特性而成为分析高维数据的基石。这些方法捕获了许多感兴趣的数据特征，例如协方差、动态结构、数据集之间的相关性、输入输出关系和数据类之间的裕度。在许多领域中，方法已经被开发出各种各样的名称和动机，也许因此所有这些方法之间的联系没有被强调。在这里，我们调查的方法，从这个不同的文学作为优化程序矩阵流形。我们讨论主成分分析，因子分析，线性多维标度，Fisher线性判别分析，典型相关分析，最大自相关因子，慢特征分析，充分降维，不完全独立成分分析，线性回归，距离度量学习，等等。这个优化框架提供了洞察一些很少讨论的缺点，众所周知的方法，如某些特征向量的解决方案的次优。用于在矩阵流形上进行优化的现代技术使得通用线性降维求解器成为可能，该求解器接受作为输入数据和待优化的目标，并且返回作为输出的数据的最优低维投影。这个简单的优化框架，进一步允许简单的概括和新的变种的经典方法，我们在这里展示了通过创建一个正交投影典型相关分析。更广泛地说，这项调查和通用求解器表明，线性降维可以成为一个黑盒子，客观不可知的数值技术。
2016-03-18 stat.ML
Variable-Projection Sparse Functional Principal Component Analysis: Interpretable Functional Dimensionality Reduction with Applications to Raman Spectral Data
Institute of Mathematical Sciences, Faculty of Science, Universiti Malaya（马来亚大学理学院数学科学研究所）；Centre of Research for Statistical Modelling and Methodology, Faculty of Science, Universiti Malaya（马来亚大学理学院统计建模与方法研究中心）；School of Mathematics and Statistics, University of Glasgow（格拉斯哥大学数学与统计学院）；Univ. Lille, CNRS, UMR 8524 – Laboratoire Paul Painlevé, Inria-Datavers（里尔大学、法国国家科学研究中心UMR 8524保罗·潘勒瓦实验室、Inria-Datavers）
针对FPCA难以识别局部变异区域的问题，提出变量投影稀疏FPCA，通过稀疏权重函数实现可解释降维，在模拟和SERS数据中兼顾计算效率与重构精度。
2026-09-17 stat.ME
Randomized Dimensionality Reduction for k-means Clustering
Yahoo Labs（雅虎实验室）；IBM Zürich Research Lab（IBM苏黎世研究实验室）；UC Berkeley（加州大学伯克利分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究了$k$ -均值聚类的降维问题。简化包含两种方法的结合：\emph{feature selection}和\emph{feature extraction}。一种基于特征选择的$k$均值聚类算法选择输入特征的一个小子集，然后对所选特征应用$k$均值聚类。一种基于特征提取的$k$均值聚类算法构造了一个小的新的人工特征集，然后对构造的特征应用$k$均值聚类。尽管$k$均值聚类的重要性以及解决它的探试法的财富，可证明准确的特征选择方法$k$均值聚类是未知的。另一方面，在文献中已知两种可证明准确的$k$均值聚类特征提取方法;一种是基于随机投影，另一种是基于奇异值分解（SVD）。本文对$k$ -均值聚类的降维方法有了进一步的认识。也就是说，我们提出了第一个证明准确的特征选择方法$k$ -均值聚类，此外，我们提出了两个特征提取方法。第一种特征提取方法是基于随机投影的，它在时间复杂度和需要提取的特征数量方面改进了现有的结果。第二种特征提取方法是基于快速近似SVD分解，它也改善了现有的结果方面的时间复杂度。所提出的算法是随机的，并提供恒定的因素近似保证最佳的$k$ -手段的目标值。
2014-11-04 cs.DS cs.LG
Ovarian Cancer Detection based on Dimensionality Reduction Techniques and Genetic Algorithm
Helwan University（赫勒万大学）
在这项研究中，我们有两个血清SELDI（表面增强激光解吸和电离）质谱（MS）数据集，用于选择其中的功能，以确定蛋白质组癌血清从正常血清。特征选择技术已被应用，分类技术也已被应用。在特征选择技术中，我们选择了PCA（主成分分析）和GA（遗传算法）来评估性能，在分类技术中，我们选择了LDA（线性判别分析）和神经网络来评估所选特征在识别癌症模式中的能力。两种特征选择技术和分类技术的组合得到的结果，第一种是PCA+（t-检验）技术的特征选择和LDA的精度跟踪产生的准确率为93.0233%，另一种是遗传算法和神经网络产生的准确率为100%。因此，我们得出结论，遗传算法是更有效的特征选择，因此癌模式检测比PCA技术。
2021-05-04 cs.LG
Variable selection with FDR control for noisy data -- an application to screening metabolites that are associated with breast and colorectal cancer
本文提出一种在噪声数据中控制FDR的变量选择方法，用于筛选与乳腺癌和结直肠癌相关的代谢物，并在妇女健康倡议数据中验证了其有效性。
2023-10-10 stat.ME
Prediction of Cancer Microarray and DNA Methylation Data using Non-negative Matrix Factorization
Laurentian University（劳伦森大学）；Jaypee Institute of Information Technology（杰普信息技术学院）
在过去的几年里，微阵列技术在许多生物模式中得到了相当大的传播，特别是在那些与白血病、前列腺癌、结肠癌等癌症疾病有关的模式中。人们在正确理解这些数据集时遇到的主要瓶颈在于它们的维度，因此对于研究它们的高效和有效的方法，在很大程度上减小它们的尺寸被认为是必要的。这项研究是一个出价，建议不同的算法和方法，减少这种微阵列数据集的维数。这项研究利用了这种微阵列数据的矩阵状结构，并使用一种流行的技术，称为非负矩阵因子分解（NMF），以减少维数，主要是在生物学数据领域。然后比较这些算法的分类精度。该技术的准确率为98%。
2020-07-15 cs.LG q-bio.QM stat.ML
Stacked Autoencoder Based Multi-Omics Data Integration for Cancer Survival Prediction
Central South University（中南大学）
癌症生存预测对于开发个性化治疗和诱导致病机制非常重要。多组学数据集成正在癌症研究中引起广泛兴趣，为了解多个遗传水平的癌症进展提供信息。然而，由于多组学数据的高维性和异质性，许多工作受到限制。在本文中，我们提出了一种新的方法来整合多组学数据的癌症生存预测，称为堆叠AutoEncoder为基础的生存预测神经网络（SAEsurv-net）。在TCGA病例的癌症生存预测中，SAEsurv-net通过两阶段降维策略解决了维数灾难，并通过堆叠自动编码器模型处理多组学异质性。两阶段降维策略在计算复杂度和信息利用之间取得了平衡。堆叠的自动编码器模型去除了第一组自动编码器中的大多数异质性，例如数据的类型和大小，并在第二组自动编码器中集成多个组学数据。实验表明，SAEsurv-net优于基于单一类型数据的模型以及其他最先进的方法。
2022-07-08 cs.LG q-bio.GN stat.AP
Convexity-Driven Projection for Point Cloud Dimensionality Reduction
Big Data Analytics, Goa Institute of Management, Goa, India（大数据分析，果阿管理学院，果阿，印度）
本文提出凸性驱动投影（CDP），通过构建 k-NN 图并利用半正定非凸性结构矩阵的特征向量进行点云降维，以保留局部非凸性，并提供成对后验证证书和平均谱界来量化失真保证。
2025-09-26 cs.LG stat.ML
Dimensionality Reduction in Deep Learning for Chest X-Ray Analysis of Lung Cancer
Huizhou University（惠州学院）
通过深度学习方法评估了一些降维技术（如肺分割、骨影排除和用于排除离群值的t分布随机邻居嵌入（t-SNE））用于分析胸部X射线（CXR）2D图像的效率，以帮助放射科医生识别CXR中的肺癌标记。对开放JSRT数据集（数据集#01）、骨影排除后的JSRT- BSE-JSRT（数据集#02）、肺分割后的JSRT（数据集#03）、肺分割后的BSE-JSRT（数据集#04）和通过t-SNE方法排除离群值后的分割BSE-JSRT（数据集#05）进行简单卷积神经网络（CNN）的训练和验证。结果表明，与其他预处理数据集相比，在肺分割、骨影排除和通过t-SNE过滤出离群值之后获得的预处理数据集（数据集#05）表现出最高的训练率和最佳的准确性。
2018-01-19 cs.CY cs.LG
An unsupervised clustering analysis of breast cancer data derived from electronic health records enhanced through UMAP dimensionality reduction
Dipartimento di Informatica Sistemistica e Comunicazione, Università di Milano-Bicocca（信息系统与通信系，米兰比可卡大学）；Institute of Health Policy Management and Evaluation, University of Toronto（卫生政策管理与评估研究所，多伦多大学）
研究利用电子健康记录中的乳腺癌数据，先采用DBSCAN密度聚类法，又通过UMAP降维增强效果，用三个统计指标评估聚类结果，证实了UMAP与DBSCAN结合用于该数据聚类的有效性，为医学解读患者组提供了支持。
2026-07-22 cs.LG q-bio.QM
Anti-drift in electronic nose via dimensionality reduction: a discriminative subspace projection approach
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
传感器漂移是传感器和测量领域的一个众所周知的问题，并且多年来一直困扰着传感器社区。在本文中，我们提出了一种传感器漂移校正方法来处理传感器漂移问题。具体来说，我们提出了一个歧视性的子空间投影方法的传感器漂移减少电子鼻。该方法继承了子空间投影方法的优点，称为域正则化分量分析。此外，该方法考虑了源数据的标签信息，使得投影源样本的类内方差最小，同时类间方差最大.标签信息被用来避免子空间中具有不同标签的样本的重叠。两个传感器漂移数据集上的实验表明了该方法的有效性。
2018-12-14 cs.LG stat.ML
CCP: Correlated Clustering and Projection for Dimensionality Reduction
Michigan State University（密歇根州立大学）
大多数降维方法采用从矩阵对角化获得的频域表示，并且对于具有相对高的内在维度的大型数据集可能不是有效的。为了应对这一挑战，相关聚类和投影（CCP）提供了一种新的数据域策略，不需要求解任何矩阵。CCP将高维特征划分为相关的簇，然后基于样本相关性将每个簇中的相关特征投影到一维表示中。残差相似性（R-S）分数和指数，黎曼流形中的数据形状，以及基于代数拓扑的持久拉普拉斯算子被引入可视化和分析。所提出的方法与基准数据集与各种机器学习算法进行了验证。
2022-06-08 cs.CG cs.LG stat.ML
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo（滑铁卢大学）
有监督的降维策略已经引起了极大的兴趣。然而，当前的监督降维方法难以针对以大数据集为特征的情况进行缩放，因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战，但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战，在这项研究中，我们探索了一个新的方向，通过监督随机投影（SRP）的概念，以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是，而不是执行计算上禁止大规模数据的谱分解（或其近似），而是通过利用核近似理论和希尔伯特-施密特独立准则（HSIC）度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明，所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法（例如，SPCA和KSPCA），同时实现1-2个数量级更好的计算性能。因此，这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
Gene Expression based Survival Prediction for Cancer Patients: A Topic Modeling Approach
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
癌症是世界范围内的主要死亡原因之一。许多人认为，基因组数据将使我们能够更好地预测这些患者的生存时间，这将带来更好、更个性化的治疗选择和患者护理。由于标准的生存预测模型很难处理这样的基因表达（GE）数据的高维性，许多项目使用一些降维技术来克服这个障碍。我们引入了一种新的方法，灵感来自主题建模从自然语言域，从高维GE数据中获得表达功能。在那里，文档被表示为相对少量主题的混合物，其中每个主题对应于词的分布;在这里，为了适应患者癌症的异质性，我们将每个患者（~文档）表示为癌症主题的混合物，其中每个癌症主题是GE值（~词）的混合物。这需要对标准LDA模型进行一些扩展，例如：以适应“实值”表达式值-导致我们新的“离散化”潜在狄利克雷分配（dLDA）过程。我们首先关注METABRIC数据集，该数据集使用来自微阵列的r= 49，576 GE值描述乳腺癌患者。我们的研究结果表明，我们的方法提供的生存估计比标准模型更准确，在标准的一致性措施。然后，我们通过在泛肾脏（KIPAN）数据集上运行该方法来验证该方法，超过r= 15，529 GE值-这里使用mRNAseq模式-并发现它再次获得了优异的结果。在这两种情况下，我们还表明，所得到的模型是校准的，使用最近的“D校准”措施。在两种不同的癌症类型和表达模式中的这些成功证明了这种方法的普遍性和有效性。
2019-10-25 cs.LG stat.ML
Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一个教程和调查文件的非线性维数和特征提取方法的基础上，拉普拉斯的图形数据。首先介绍了邻接矩阵、拉普拉斯矩阵的定义以及拉普拉斯算子的解释。然后，我们覆盖了图的切割和谱聚类，它应用于数据的子空间中的聚类。解释了拉普拉斯特征映射及其样本外扩展的不同优化变体。之后，我们引入了保局投影及其核变体作为拉普拉斯特征映射的线性特例。图嵌入的版本，然后解释这是广义版本的拉普拉斯特征映射和局部保持投影。最后介绍了一种基于数据的拉普拉斯算子和数据图上的随机游动的扩散映射方法。
2022-08-06 cs.CV cs.LG stat.ML
Simultaneously Learning Neighborship and Projection Matrix for Supervised Dimensionality Reduction
Tianjin University（天津大学）；Northwestern Polytechnical University（西北工业大学）
无论是显式还是隐式的降维方法，大多数都需要确定哪些样本是相邻样本，以及相邻样本在原始高维空间中的相似性。然后在假设邻域信息（例如，相似性）是已知的并且在学习之前是固定的。然而，由于维数灾难的存在，高维空间中样本的内在相似性很难精确度量。因此，根据这种相似性选择的邻居可能以及根据这种相似性和邻居获得的投影矩阵在分类和泛化的意义上不是最佳的。为了克服这一缺点，本文提出将相似度和邻域作为变量，在低维空间中建模。通过最小化统一的目标函数得到最优相似度和投影矩阵。采用非负和和一的相似性约束。我们不是根据经验设置正则化参数，而是将其视为要优化的变量。有趣的是，最优正则化参数对低维空间的邻域具有自适应性，具有直观的意义。在YALE B、COIL-100和MNIST数据集上的实验结果表明了该方法的有效性。
2017-09-09 cs.CV cs.LG stat.ML
Shape-Preserving Dimensionality Reduction : An Algorithm and Measures of Topological Equivalence
Texas A&M University（德州农工大学）；University of Notre Dame（圣母大学）
我们引入了一个线性降维技术，通过持久的同源性保持拓扑特征。该方法的目的是寻找线性投影$L$保持持久的图表的点云$\mathbb{X}$通过模拟退火。投影$L$从$\mathbb{X}$的Rip（或Čech）滤子到$L\mathbb{X}$的Rip（或Čech）滤子导出一组正则单纯映射。除了持久图之间的距离之外，投影还导出了过滤之间的映射，称为过滤同态。利用滤子同态，可以直接比较单纯复形关于拟同构$μ_{\operatorname{quasi-iso}}$或强同伦等价$μ_{\operatorname{equiv}}$的性质，来度量两个滤子形状之间的差异.这些$μ_{\operatorname{quasi-iso}}$和$μ_{\operatorname{equiv}}$分别度量了相应单纯复形中有多少部分是拟同构的或同伦等价的。我们验证了我们的框架的有效性与简单的例子。
2021-06-13 cs.LG stat.ML
HoroPCA: Hyperbolic Dimensionality Reduction via Horospherical Projections
Stanford University（斯坦福大学）
本文研究了双曲空间中数据的主成分分析。给定方向，PCA依赖于：（1）由这些方向跨越的子空间的参数化，（2）在这些方向上保留信息的子空间上的投影方法，以及（3）优化目标，即投影解释的方差。我们推广这些概念的双曲空间，并提出HoroPCA，双曲型降维的方法。通过专注于提取主方向的核心问题，HoroPCA理论上更好地保留了原始数据中的信息，如距离，与以前的PCA概括相比。从经验上讲，我们验证了HoroPCA优于现有的降维方法，显着减少了距离保持的错误。作为一种数据白化方法，与不使用白化的方法相比，它将下游分类提高了3.9%。最后，我们证明了HoroPCA可以用于二维双曲数据的可视化。
2021-06-07 cs.LG
A survey of dimensionality reduction techniques based on random projection
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
在大数据分析中，模糊性约简技术起着重要的作用。传统的降维方法，如主成分分析（PCA）和线性判别分析（LDA），在过去的几十年中得到了广泛的研究。然而，随着数据维数的增加，传统降维方法的计算成本呈指数级增长，并且计算变得非常棘手。这些缺点引发了随机投影（RP）技术的发展，该技术将高维数据映射到低维子空间上，大大降低了时间成本。然而，RP变换矩阵的生成没有考虑原始数据的内在结构，并且通常导致相对较高的失真。因此，近年来，已经提出了基于RP的方法来解决这个问题。在本文中，我们总结了在不同情况下使用的方法，以帮助从业者采用适当的技术，为他们的具体应用。同时，我们列举了各种方法的优点和局限性，并提供进一步的参考研究人员开发新的RP为基础的方法。
2018-05-30 cs.LG
DumbleDR: Predicting User Preferences of Dimensionality Reduction Projection Quality
University of Stuttgart（斯图加特大学）；TU Wien（维也纳工业大学）；University of Namur（那慕尔大学）
在过去的几十年里，出现了大量的降维技术，给研究人员和分析人员提供了各种各样的选择来减少他们的数据，尤其是考虑到一些技术带有额外的参数化（例如t-SNE，UMAP等）。最近的研究表明，人们经常使用降维作为一个黑盒子，而不管方法本身保留的特定属性。因此，评估和比较2D投影通常是定性决定的，通过并排设置投影并让人类判断决定哪个投影是最好的。在这项工作中，我们提出了一种定量的方法来评估预测，但仍将人类的感知置于中心。我们进行了一项比较研究，我们要求人们在图像数据集的低级别投影散点图之间选择“好”和“误导”的视图，模拟人们通常选择投影的方式。我们使用研究数据作为一组质量指标的标签，其目的是发现和量化人们在决定预测时到底在寻找什么。有了这个人类判断的代理，我们用它来对新数据集上的投影进行排名，解释它们为什么相关，并量化所选投影的主观程度。
2021-05-19 cs.HC cs.LG
A Method to Facilitate Cancer Detection and Type Classification from Gene Expression Data using a Deep Autoencoder and Neural Network
University of Kentucky（肯塔基大学）；Miami University（迈阿密大学）
随着全基因组测序的可负担性和可用性的增加，大规模和高通量的基因表达被广泛用于表征疾病，包括癌症。然而，由于数据的高维度和复杂性，使用基因表达数据建立癌症诊断的特异性继续构成挑战。在这里，我们提出了深度学习（DL）模型，并将其应用于基因表达数据，以诊断和分类癌症。在这项研究中，我们已经开发了两个DL模型使用信使核糖核酸（mRNA）数据集可从基因组数据共享库。我们的模型在癌症检测中达到了98%的准确率，假阴性和假阳性率低于1.7%。在我们的研究结果中，我们证明了32种癌症分型分类中有18种的准确率超过90%。由于小样本量（少于50次观察）的限制，某些癌症在分型分类中无法达到更高的准确性，但对于癌症检测任务仍然达到了高准确性。为了验证我们的模型，我们将它们与传统的统计模型进行了比较。与传统癌症检测相比，我们的模型的主要优势是能够使用来自各种癌症类型的数据自动形成特征，以增强对特定癌症类型的检测和诊断。
2018-12-20 cs.LG stat.ML
Understanding Bias in Perceiving Dimensionality Reduction Projections
Seoul National University（首尔大学）；Inria（法国国家信息与自动化研究所）；University of Oklahoma（俄克拉荷马大学）；Boston College（波士顿学院）
本文通过用户研究验证并解释了从业者选择降维投影时偏好视觉趣味性而非结构忠实度的偏差，指出颜色编码标签和短曝光会强化该偏差，并提出缓解策略。
2025-07-28 cs.HC cs.LG
Using Dimensionality Reduction to Optimize t-SNE
UC Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
t-SNE是一种用于将多维数据集嵌入到二维或三维中的流行工具。然而，它具有很大的计算成本，特别是当输入数据具有许多维度时。许多人使用t-SNE嵌入神经网络的输出，这通常比原始数据的维数低得多。这限制了t-SNE在无监督场景中的使用。我们建议使用\textit{random}投影将高维数据集嵌入到相对较少的维度中，然后使用t-SNE获得二维的嵌入。我们表明，随机投影保持所需的聚类实现的t-SNE，同时大大减少了运行时间的嵌入。
2019-12-02 cs.LG stat.ML
Stable Sparse Subspace Embedding for Dimensionality Reduction
Zhengzhou University（郑州大学）；Xidian University（西安电子科技大学）
稀疏随机投影（RP）是一种流行的降维工具，表现出良好的性能与低计算复杂性。然而，在现有的稀疏RP矩阵中，非零元素的位置通常是随机选择的。虽然它们都采用了带替换的均匀抽样，但由于抽样方差较大，一次产生的投影矩阵的非零个数在各行之间不均匀，降维后可能丢失更多的数据信息。为了突破这一瓶颈，本文基于统计学中的随机抽样不替换原理，构造了一种稳定的稀疏子空间嵌入矩阵（S-SSE）。证明了S-SSE比已有的矩阵更稳定，降维后能很好地保持点间欧氏距离。我们的实证研究证实了我们的理论研究结果，并证明我们的方法确实可以取得令人满意的性能。
2020-02-07 cs.LG stat.ML
Experiments with Random Projection
AT&T Labs - Research（AT&T实验室-研究部）；University of California, Berkeley（加州大学伯克利分校）
最近的理论工作已经确定随机投影作为一个有前途的降维技术学习混合高斯。在这里，我们总结了这些结果，并说明了各种各样的实验合成和真实的数据。
2013-01-16 cs.LG stat.ML
Wasserstein Projection Pursuit of Non-Gaussian Signals
Technical University of Munich（慕尼黑工业大学）
我们认为一般的降维问题定位在高维数据云，一个$k$维非高斯子空间的有趣的功能。我们使用投影寻踪的方法-我们搜索相互正交的单位方向，最大限度地提高2-Wasserstein距离的经验分布的数据投影沿这些方向从一个标准的高斯。生成模型下，有一个潜在的（未知的）低维非高斯子空间，我们证明严格的统计保证近似这个未知的子空间的准确性，我们的投影寻踪方法发现的方向。我们的研究结果在该制度的数据维数是可比的样本量，从而补充了最近的文献上的不可行性，通过投影追踪定位感兴趣的方向在互补制度的数据维数是远远大于样本量。
2023-02-24 cs.LG math.ST stat.ML
Overparametrized linear dimensionality reductions: From projection pursuit to two-layer neural networks
Stanford University（斯坦福大学）
本文研究高维高斯点云低维投影的经验分布极限，给出其 Wasserstein 半径及信息论意义下的内外界，并应用于投影寻踪和两层神经网络插值阈值分析。
2025-05-05 cs.LG stat.ML
Mind the Gaps: Measuring Visual Artifacts in Dimensionality Reduction
Eindhoven University of Technology（埃因霍温理工大学）
针对现有降维投影质量度量未考虑视觉失真、易忽略误导性伪影的问题，提出基于点间空白区域保留假设的扭曲指数WI，用于度量二维降维投影的视觉质量。
2025-11-18 cs.LG
Precise expressions for random projections: Low-rank approximation and randomized Newton
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
通常希望通过将大型数据集投影到低维子空间来降低其维数。矩阵草图已经成为一种非常有效地执行这种降维的强大技术。尽管有大量关于草图绘制最差情况性能的文献，但现有保证通常与实践中观察到的非常不同。我们利用最近的事态发展，随机矩阵的谱分析开发新的技术，提供可证明的准确表达式通过草图获得的随机投影矩阵的期望值。这些表达式可用于表征各种常见机器学习任务中的降维性能，从低秩近似到迭代随机优化。我们的研究结果适用于几个流行的素描方法，包括高斯和Rademacher草图，他们使这些方法的光谱特性的数据进行精确的分析。实证结果表明，我们推导出的表达式反映了这些素描方法的实际性能，低至低阶的影响，甚至常数因子。
2022-06-13 cs.LG stat.ML
Feature Learning for Nonlinear Dimensionality Reduction toward Maximal Extraction of Hidden Patterns
University of California, Davis（加利福尼亚大学戴维斯分校）
在高维数据的可视化分析中，先验性约简（DR）起着至关重要的作用。DR的一个主要目的是揭示隐藏在内在低维流形上的模式。然而，当流形被某些有影响力的数据属性扭曲或掩盖时，DR经常忽略重要的模式。本文提出了一种特征学习框架FEALM，旨在为非线性DR生成一组优化的数据投影，以捕获隐藏流形中的重要模式。这些投影产生最大程度不同的最近邻图，从而得到的DR结果显著不同。为了实现这样的能力，我们设计了一个优化算法，以及引入一个新的图相异度的措施，命名为邻居形状相异度。此外，我们开发了交互式可视化，以帮助比较所获得的DR结果和每个DR结果的解释。我们证明FEALM的有效性，通过实验和案例研究，使用合成和真实世界的数据集。
2023-02-24 cs.LG stat.ML
Applying a random projection algorithm to optimize machine learning model for predicting peritoneal metastasis in gastric cancer patients using CT images
University of Oklahoma（俄克拉荷马大学）
背景和目的：在手术前非侵入性地预测癌症转移的风险在确定癌症患者（包括可以从新辅助化疗中受益的患者）的最佳治疗方法中起着至关重要的作用。尽管开发基于放射组学的机器学习（ML）模型已经为此目的吸引了广泛的研究兴趣，但它通常面临如何使用小且不平衡的图像数据集构建高性能且鲁棒的ML模型的挑战。方法：在这项研究中，我们探索了一种新的方法来构建最佳ML模型。收集了159例诊断为胃癌的患者的腹部计算机断层扫描（CT）图像。其中121例有腹膜转移，38例无腹膜转移。首先应用计算机辅助检测（CAD）方案来分割原发性胃肿瘤体积，并且最初计算315个图像特征。然后，两个梯度提升机（GBM）模型嵌入两种不同的特征降维方法，即主成分分析（PCA）和随机投影算法（RPA）和合成少数过采样技术，预测患者的PM的风险。所有GBM模型都使用留一例交叉验证方法进行训练和测试。结果：RPA包埋的GBM预测准确率（71.2%）显著高于PCA包埋的GBM预测准确率（65.2%）（p<0.05）。结论：研究表明，原发性胃肿瘤的CT图像包含判别信息来预测PM的风险，RPA是一种很有前途的方法来生成最佳特征向量，提高医学图像的ML模型的性能。
2020-09-01 cs.CV cs.LG eess.IV
Dimensionality Reduction via Diffusion Map Improved with Supervised Linear Projection
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在进行分类任务时，原始高维特征往往包含冗余信息，导致计算复杂度增加和过拟合。在本文中，我们假设数据样本位于一个单一的底层光滑流形，并定义类内和类间的相似性，使用成对的局部核距离。我们的目标是找到一个线性投影，以最大化类内相似性，并同时最小化类间相似性，使投影的低维数据具有基于标签信息的优化的成对距离，这更适合于扩散映射做进一步的降维。在几个基准数据集上的数值实验表明，我们提出的方法能够提取低维区分特征，可以帮助我们实现更高的分类精度。
2020-08-08 cs.CV cs.LG eess.IV
Interpretable Dimensionality Reduction by Feature Preserving Manifold Approximation and Projection
Frazer Institute（弗雷泽研究所）；University of Queensland（昆士兰大学）
本文提出可解释降维方法 featMAP，通过局部 SVD 逼近切空间并保持对齐嵌入低维空间，在保留局部相似性和原始密度的同时展示源特征及其重要性，成功用于解释数字分类、目标检测和 MNIST 对抗样本的误分类。
2024-04-02 cs.CV cs.LG
Measuring Distortion in the Empty Regions of Dimensionality Reduction Scatterplots with the Gap Index
Eindhoven University of Technology（埃因霍温理工大学）
本文提出Gap指数，一种度量降维散点图空白区域失真的质量指标，对高视觉影响的小结构变形敏感，计算快速且可解释。
2026-07-31 cs.LG
Does Dimensionality Reduction via Random Projections Preserve Landscape Features?
Leiden Institute of Advanced Computer Science, Leiden University（莱顿高级计算机科学研究所，莱顿大学）；RTWH Aachen University（亚琛工业大学）；Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（巴黎-罗quentourt研究所）；Rajiv Gandhi University（拉贾·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒研究实验室）
本文研究了通过随机高斯嵌入进行降维对探索性景观分析特征的鲁棒性，发现线性随机投影会改变与ELA相关的几何和拓扑结构，大多数特征对嵌入高度敏感。
2026-07-10 cs.LG cs.NE
Dimensionality Reduction with Subspace Structure Preservation
SUNY Buffalo（纽约州立大学布法罗分校）
将数据建模为从独立子空间的并集中采样已经广泛应用于许多现实世界的应用。然而，理论上保持这种独立性假设的降维方法还没有得到很好的研究。我们的主要贡献是表明，$2K$投影向量是足够的任何$K$类数据的独立保存从一个联盟的独立子空间。正是这种非平凡的观察，我们用来设计我们的降维技术。在本文中，我们提出了一种新的降维算法，理论上保留了给定数据集的这种结构。我们支持我们的理论分析与实证结果的合成和现实世界的数据实现\textit{state-of-the-art}结果相比，流行的降维技术。
2016-04-06 cs.LG stat.ML
Process monitoring based on orthogonal locality preserving projection with maximum likelihood estimation
Tsinghua University（清华大学）；University of Reading（雷丁大学）；Shandong University of Science and Technology（山东科技大学）
结合密度约简和本征维数估计两种有效的方法，提出了一种基于数据驱动的过程监控方法--正交局部保持投影-极大似然估计（OLPP-MLE）方法. OLPP用于降维，它提供了更好的局部保持能力比局部保持投影。然后，采用极大似然估计方法估计OLPP的本征维数。在建议的OLPP-MLE，两个新的静态故障检测措施$T_{\scriptscriptstyle {OLPP}}^2$和${\rm SPE}_{\scriptscriptstyle {OLPP}}$的定义。为了降低算法复杂度和忽略数据分布，采用核密度估计计算故障诊断阈值。三个案例研究证明了所提出的方法的有效性。
2020-12-13 cs.LG stat.ME
Spectral feature scaling method for supervised dimensionality reduction
University of Tsukuba（筑波大学）；JST/CREST（日本科学技术振兴机构/核心研究集群）
光谱降维方法能够在缩减的空间中对具有高维特征的复杂数据进行线性分离。然而，由于数据的不规则性或不确定性，这些方法并不总是给出期望的结果。因此，我们考虑积极地修改特征的尺度以获得所需的分类。利用部分样本标签上的先验知识来确定Fiedler向量，我们建立了特征向量具有特征尺度因子的线性矩阵束的特征值问题。由此产生的因素可以修改整个样本的特征，以形成集群在减少的空间中，根据已知的标签。在这项研究中，我们提出了新的降维方法监督使用的特征缩放与谱聚类。数值实验表明，所提出的方法优于成熟的监督方法的玩具问题，更多的样本比功能，更强大的聚类比现有的方法。此外，所提出的方法优于现有的方法分类的现实世界的问题，更多的功能比样本的基因表达谱的癌症疾病。此外，随着训练数据比例的增加，特征缩放倾向于提高现有无监督方法的聚类和分类精度。
2018-05-18 cs.LG stat.ML
A Multi-view Dimensionality Reduction Algorithm Based on Smooth Representation Model
在过去的几十年里，我们已经看到了一个大家族的算法，这些算法被设计为提供不同的解决方案的降维（DR）的问题。DR是从高维数据中挖掘重要信息的重要工具，它将数据映射到低维子空间。此外，由于各种高维数据的多样性，可以利用多视图特征来提高学习性能。然而，许多DR方法无法集成多个视图。虽然不同视图的特征提取方式不同，但它们都是用来描述同一样本的，这意味着它们是高度相关的。因此，如何利用多视点特征的一致性和互补性来学习高维特征的子空间是当前的重要课题。本文提出了一种有效的多视图降维算法--多视图平滑保持投影算法。首先，我们构造了一个单视图DR方法称为平滑保持投影平滑表示模型的基础上。该方法的目的是为高维数据找到一个子空间，在该子空间中尽可能多地保留光滑的重构权重。然后，我们将其扩展到多视图版本，其中我们利用希尔伯特-施密特独立准则来共同学习所有视图的一个公共子空间。在多视图数据集上的大量实验表明了该方法的良好性能。
2020-05-21 cs.LG stat.ML
Efficient Parametric Projection Pursuit Density Estimation
University of Toronto（多伦多大学）
低维专家的产品模型是避免维数灾难的一种有效方法。我们提出了“不完全专家产品”（UPoE），其中每个专家模型的数据的一维投影。UPoE是完全易处理的，并且可以被解释为用于投影追踪的参数概率模型。它的ML学习规则与以前提出的欠完备ICA的近似学习规则相同。我们还推导出一个有效的顺序学习算法，并讨论了它的关系，投影寻踪密度估计和特征归纳算法的加性随机场模型。
2012-10-19 cs.LG stat.ML
High-dimensional analysis of double descent for linear regression with random projections
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑线性回归问题与不同数量的随机投影，我们证明表现出一个固定的预测问题的双下降曲线，高维分析的基础上随机矩阵理论。我们首先考虑岭回归估计和审查早期的结果，使用经典的概念，从非参数统计，即自由度，也被称为有效维数。然后，我们计算渐近等价的泛化性能（在平方偏差和方差方面）的最小范数最小二乘拟合与随机投影，提供简单的表达式的双下降现象。
2023-03-14 cs.LG stat.ML
Cancer Subtyping via Embedded Unsupervised Learning on Transcriptomics Data
Osaka University（大阪大学）
癌症是世界上最致命的疾病之一。肿瘤亚型的准确诊断和分类对于有效的临床治疗是必不可少的。随着各种深度学习方法的出现，最近发表了关于自动癌症亚型分型系统的有希望的结果。然而，这样的自动系统往往过拟合的数据，由于高维和稀缺性。在本文中，我们建议从无监督学习的角度直接构建底层数据分布本身，从而可以产生足够的数据，以减轻过拟合的问题，自动子类型。具体来说，我们绕过了强高斯假设，通常存在，但失败的无监督学习子分类文献，由于小尺寸的样本矢量量化。我们所提出的方法更好地捕捉潜在的空间特征，并在分子基础上对癌症亚型表现进行建模，如广泛的实验结果所示。
2022-04-02 cs.LG q-bio.GN
