HoroPCA: Hyperbolic Dimensionality Reduction via Horospherical Projections
Stanford University（斯坦福大学）
本文研究了双曲空间中数据的主成分分析。给定方向，PCA依赖于：（1）由这些方向跨越的子空间的参数化，（2）在这些方向上保留信息的子空间上的投影方法，以及（3）优化目标，即投影解释的方差。我们推广这些概念的双曲空间，并提出HoroPCA，双曲型降维的方法。通过专注于提取主方向的核心问题，HoroPCA理论上更好地保留了原始数据中的信息，如距离，与以前的PCA概括相比。从经验上讲，我们验证了HoroPCA优于现有的降维方法，显着减少了距离保持的错误。作为一种数据白化方法，与不使用白化的方法相比，它将下游分类提高了3.9%。最后，我们证明了HoroPCA可以用于二维双曲数据的可视化。
2021-06-07 cs.LG
Nonnegative Matrix Factorization for Semi-supervised Dimensionality Reduction
University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们展示了如何将来自标记示例的信息纳入非负矩阵分解（NMF），这是一种流行的无监督学习降维算法。除了将数据映射到一个较低维度的空间，我们的方法旨在保留数据的非负成分，这对分类很重要。我们确定这些组件的支持向量的大利润分类器，并获得迭代更新，以保持它们在一个半监督版本的NMF。这些更新具有简单的乘法形式，就像它们的无监督对应物一样;它们也保证在每次迭代时减少它们的损失函数--I-发散的加权和，它捕获了无监督学习和监督学习之间的权衡。我们评估这些更新降维时，他们被用作线性分类的先驱。在这个角色中，我们发现它们比无监督的同行产生更好的性能。我们还发现了我们的方法发现的低维表示的一个意想不到的好处：它们通常比在原始输入空间中训练的普通和转换SVM产生更准确的分类器。
2011-12-16 cs.LG
Blockwise Principal Component Analysis for monotone missing data imputation and dimensionality reduction
Warsaw University of Technology（华沙理工大学）；Simula Metropolitan（西穆拉城市实验室）；AISIA Research Lab（AISIA研究实验室）
针对单调缺失数据插补与降维计算成本高的问题，提出BPI框架，通过对数据单调块观测部分进行PCA并合并主成分进行插补，显著提升速度并改善MICE收敛性。
2024-01-10 cs.LG
Interpretable non-linear dimensionality reduction using gaussian weighted linear transformation
本文提出一种结合线性可解释性与非线性表达能力的高斯加权线性变换降维方法，并提供解释工具，兼顾性能与透明性。
2025-04-24 cs.LG
A Visual Interaction Framework for Dimensionality Reduction Based Data Exploration
IBM Research（IBM研究院）
高维性约简是高维数据分析和可视化的常用方法。然而，动态地推理降维的结果是困难的。降维算法使用复杂的优化来减少数据集的维度数量，但这些新维度通常与初始数据维度缺乏明确的关系，因此难以解释。在这里，我们提出了一个可视化的交互框架，以提高降维为基础的探索性数据分析。我们介绍了两种互动技术，向前投影和向后投影，动态推理降维数据。我们还提供了两个可视化技术，脯氨酸和可行性地图，以促进有效地使用拟议的相互作用。我们将我们的框架应用于PCA和基于自动编码器的降维。通过数据探索的例子，我们展示了我们的视觉交互如何可以提高在探索性数据分析的降维的使用。
2018-11-28 cs.AI cs.HC cs.LG
Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic Optimization
George Washington University（乔治华盛顿大学）；Georgetown University（乔治城大学）
针对上游降维与下游随机优化不对齐的问题，提出Prescriptive PCA处方性降维框架，通过分布鲁棒优化及半定规划松弛最小化优化次优性，在两类问题的实验中性能显著优于PCA。
2023-06-04 cs.LG math.OC
Detecting covariate drift in text data using document embeddings and dimensionality reduction
本文研究TF-IDF、Doc2Vec和BERT等文档嵌入结合LSA、PCA降维及KS、MMD检测方法在文本协变量漂移检测中的效果，发现特定组合表现更优，为提升文本分析模型可靠性提供依据。
2023-09-17 cs.CL cs.LG
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Dimensionality reduction for prediction: Application to Bitcoin and Ethereum
Napoleon Group（拿破仑集团）；CREST Institut Polytechnique de Paris（巴黎综合理工学院CREST）
本文的目的是评估降维技术的性能，以建立加密货币之间的联系。我们的分析集中在两种交易量最大的加密货币上：比特币和以太坊。为了执行我们的分析，我们采用了log返回并添加了一些协变量来构建我们的数据集。我们首先引入了皮尔逊相关系数，以便对比特币和以太坊之间的联系进行初步评估。然后，我们减少了我们的数据集的典型相关分析和主成分分析的维度。在使用这两种统计技术分析了比特币和以太坊之间的联系之后，我们测量了它们在预测以太坊回报方面的表现。
2022-02-10 cs.LG q-fin.ST
A Survey on Design-space Dimensionality Reduction Methods for Shape Optimization
National Research Council（国家研究委员会）
本文综述了形状优化中设计空间降维方法，涵盖线性、非线性及物理信息方法，并展示其缓解维度灾难、提升复杂功能表面设计优化效率的作用。
2025-04-08 cs.LG math.OC
TLDR: Twin Learning for Dimensionality Reduction
NAVER LABS Europe（NAVER欧洲实验室）
简化方法是一种无监督的方法，它学习低维空间，其中保留了初始空间的一些属性，通常是“邻域”的概念。这种方法通常需要在大型k-NN图或复杂的优化求解器上进行传播。另一方面，自监督学习方法通常用于从头开始学习表示，依赖于简单且更具可扩展性的学习框架。在本文中，我们提出了TLDR，这是一种通用输入空间的降维方法，它将Zbontar等人（2021）最近的自监督学习框架移植到任意表示的降维特定任务中。我们建议使用最近的邻居来从训练集和冗余减少损失来学习编码器，该编码器在这些对中产生不变的表示。TLDR是一种简单、易于训练且具有广泛适用性的方法;它由可以高度近似的离线最近邻计算步骤和简单的学习过程组成。针对可扩展性，我们专注于改进线性降维，并在图像和文档检索任务上显示出一致的增益，例如在ROxford上为GeM-AP获得了超过PCA的+4%mAP，提高了DINO在ImageNet上的性能或保留了10倍压缩。
2022-06-15 cs.AI cs.CV cs.LG
Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
我们提出了一个新的概念，无比率自动编码器（RL-AE），使一个灵活的潜在的维度，它可以无缝地调整不同的失真和维度的要求。在建议的RL-AE，而不是一个确定性的瓶颈架构，我们使用一个过完备的表示，是随机正则化加权辍学，在一种类似于稀疏AE（SAE）的方式。与SAE不同，我们的RL-AE在潜在表示节点上采用单调增加的退出率，使得潜在变量按重要性排序，如主成分分析（PCA）。这是由传统PCA的无比率属性激发的，其中最不重要的主成分可以被丢弃以实现可变速率降维，从而优雅地降低失真。相比之下，由于传统AE的潜变量对于数据重建同样重要，因此在训练AE模型之后不能简单地丢弃它们以进一步降低维度。我们提出的随机瓶颈框架可以实现无缝的速率自适应，具有高重建性能，而不需要在训练时预先确定潜在的维度。我们的实验表明，建议RL-AE可以实现可变的降维，同时实现低失真相比，传统的AE。
2020-05-06 cs.CV cs.LG eess.IV
Dimensionality reduction methods for molecular simulations
Universitat Pompeu Fabra（庞培法布拉大学）；Acellera（Acellera公司）
分子模拟产生具有数百万个数据点的非常高维的数据集。由于分析方法通常无法处理如此多的维度，因此通常使用降维和聚类方法来实现数据的简化表示。然而，这些方法往往无法捕捉到马尔可夫模型的建设所需的最重要的功能。在这里，我们展示了两个模拟数据集，一个蛋白质折叠和另一个蛋白质-配体结合的各种降维方法的结果。测试的方法包括一个k-means聚类变量，非线性自动编码器，主成分分析和tICA。降维的数据，然后使用马尔可夫状态模型分析来估计隐含的时间尺度的最慢的过程，以评估质量的投影。从数据中学习到的投影维度被可视化，以展示各种方法选择哪些构象来表示分子过程。
2017-11-02 cs.LG q-bio.BM stat.ML
Application of Fuzzy Clustering for Text Data Dimensionality Reduction
College of Information and Communications University of South Carolina（南卡罗来纳大学信息与通信学院）；Arnold School of Public Health at the University of South Carolina（南卡罗来纳大学阿诺德公共卫生学院）
大型文本语料库通常由文档-术语频率矩阵表示，该矩阵的元素是术语的频率，然而，该矩阵存在两个问题：稀疏性和高维性。四个降维策略被用来解决这些问题。在这四种策略中，无监督特征变换（UFT）是一种流行且有效的策略，可以将术语映射到文档-术语频率矩阵中的新基础。虽然已经开发了几种基于UFT的方法，但模糊聚类尚未被考虑用于降维。本研究探讨模糊聚类作为一种新的UFT为基础的方法来创建一个低维表示的文件。模糊聚类与不使用全局加权方法的性能超过主成分分析和奇异值分解。本研究亦探讨应用不同模糊因子值对模糊聚类降维的影响。
2019-09-21 cs.CL cs.LG stat.AP
Extending classical surrogate modelling to high-dimensions through supervised dimensionality reduction: a data-driven approach
由于其多功能性，易于部署和高性能，代理模型已成为不确定性量化（UQ）武器库中的主要工具。从局部插值到全局谱分解，代理函数的特点是能够基于用于训练的一小组模型运行有效地模拟复杂的计算模型。许多代理模型的固有局限性是它们对维数灾难的敏感性，这传统上将它们的适用性限制在最大的$\mathcal{O}(10^2)$输入维度。我们提出了一种新的方法，在高维代理建模，是模型，降维和代理模型不可知（黑箱），并可以使高维（即高达$\mathcal{O}(10^4)$）问题的解决方案。在介绍了一般算法之后，我们结合Kriging和多项式混沌展开替代和核主成分分析来证明其性能。特别是，我们比较的泛化性能，所得到的代理实现的经典顺序应用程序的降维，然后通过代理建模的几个基准应用程序，包括一个分析功能和两个工程应用程序的维数和复杂性的增加。
2020-02-11 cs.LG stat.CO stat.ME
Deep Manifold Transformation for Nonlinear Dimensionality Reduction
Westlake University（西湖大学）
基于流形学习的编码器在数据挖掘的非线性降维（NLDR）中发挥着重要作用。然而，现有的方法通常不能保持数据的几何、拓扑和/或分布结构。在本文中，我们提出了一个深度流形学习框架，称为深度流形变换（DMT），用于无监督NLDR和嵌入学习。DMT通过使用跨层局部几何保持（LGP）约束来增强深度神经网络。LGP约束构成了深度流形学习的损失，并作为NLDR网络训练的几何正则化器。对合成数据和真实数据的大量实验表明，DMT网络在保留数据结构方面优于现有领先的基于流形的NLDR方法。
2021-05-03 cs.CV cs.HC cs.LG
Quantifying the Conceptual Error in Dimensionality Reduction
University of Kassel（卡塞尔大学）
数据集的降维是机器学习和知识推理领域的标准问题。它们影响数据维度的模式和依赖关系，并最终影响任何决策过程。因此，正在使用各种各样的裁减程序，每种程序都追求不同的目标。一个迄今尚未考虑的标准是归约映射的概念连续性，即，相对于原始数据集的概念结构的保存。基于形式概念分析中的尺度度量概念，本文提出了一种检测和量化数据尺度中概念错误的理论基础，并在11个数据集上对该方法进行了实验研究。
2021-06-12 cs.AI cs.IT cs.LG
Riemannian joint dimensionality reduction and dictionary learning on symmetric positive definite manifold
The University of Electro-Communications（电气通信大学）；Microsoft（微软）
字典学习（DL）和降维（DR）是分析高维噪声信号的有力工具。本文提出了一种新的黎曼联合降维和字典学习（R-JDRDL）对称正定（SPD）流形分类任务的建议。联合学习通过将降维和字典学习过程连接到一个统一的框架中来考虑它们之间的相互作用。我们利用黎曼优化框架来解决DL和DR问题。最后，我们证明了建议的R-JDRDL优于现有的国家的最先进的算法时，用于图像分类任务。
2019-02-11 cs.AI cs.CV cs.LG
DimenFix: A novel meta-dimensionality reduction method for feature preservation
Dalhousie University（达尔豪斯大学）；Eindhoven University of Technology (TU/e)（埃因霍温理工大学）
近年来，随着对高维数据集解释需求的快速增长，高维性约简已经成为一个重要的研究课题。已经有许多降维方法在将数据点映射到低维空间时保持数据点之间的整体关系方面具有良好的性能。然而，这些现有的方法未能纳入特征之间的重要性的差异。为了解决这个问题，我们提出了一种新的元方法，XNUMX Fix，它可以在任何涉及梯度下降过程的基本降维方法上操作。通过允许用户定义不同特征的重要性，这在降维中得到了考虑，CNOFFIX为可视化和理解给定数据集创造了新的可能性。同时，相对于所使用的基本降维，RSSFix不会增加时间成本或降低降维质量。
2022-11-30 cs.LG
Joint Dimensionality Reduction for Separable Embedding Estimation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nanyang Technological University（南洋理工大学）
针对不同数据源的低维嵌入在多模态机器学习、多媒体信息检索和生物信息学中起着关键作用。在本文中，我们提出了一种监督降维方法，学习线性嵌入联合两个特征向量表示数据的不同形式或数据从不同类型的实体。我们还提出了一个有效的特征选择方法，补充，并可以应用之前，我们的联合降维方法。假设这些特征存在真实的线性嵌入，我们对学习的线性嵌入中的误差的分析提供了理论保证，即当满足某些技术条件并且样本数量足够大时，降维方法可以准确地估计真实嵌入。衍生的样本复杂性的结果是呼应的数值实验。我们将所提出的降维方法应用于基因-疾病关联，并在降维后的特征向量上使用核回归来预测未知关联。我们的方法与其他降维方法以及最先进的双线性回归预测基因-疾病关联的方法相比毫不逊色。
2021-01-14 cs.LG
Exploring the Influence of Dimensionality Reduction on Anomaly Detection Performance in Multivariate Time Series
Istanbul Technical University（伊斯坦布尔技术大学）；Parton Big Data Analytics and Consulting（帕顿大数据分析与咨询公司）
本文通过在三个数据集上实验研究四种降维技术与两种无监督异常检测模型的结合，发现降维可提升检测性能并大幅缩短训练时间，为降维策略选择提供参考。
2024-03-07 cs.LG
Formation-Controlled Dimensionality Reduction
Yonsei University（延世大学）；Sungkyunkwan University（成均馆大学）
受移动智能体编队控制启发，提出一种结合邻点与远点控制、兼顾局部与全局结构的非线性降维动力系统，经数学分析与实验验证其合理性与有效性。
2025-01-16 cs.LG
A Meta-learning Formulation of the Autoencoder Problem for Non-linear Dimensionality Reduction
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
一个快速增长的研究领域是使用机器学习方法，如自动编码器，用于科学应用中的数据和模型的降维。我们表明，规范制定的自编码器遭受几个缺陷，可以阻碍他们的表现。使用元学习的方法，我们重新制定的自动编码器的问题作为一个双层优化过程，明确解决了降维任务。我们证明了新的配方纠正了规范的自动编码器的缺陷，提供了一个实用的方法来解决它，并展示了这个配方的强度与一个简单的数值说明。
2022-07-27 cs.LG
Representative period selection for power system planning using autoencoder-based dimensionality reduction
Massachusetts Institute of Technology（麻省理工学院）
用于研究未来低碳电网情景的电力部门容量扩展模型（CEM）必须包含电网运营的详细表示。通常，CEM被公式化以对使用聚类算法从原始输入数据采样的代表性时段上的网格操作进行建模。然而，这种代表性时段选择（RPS）方法受到聚类算法随着输入数据的维数增加而降低的功效的限制，并且不考虑输入数据变化对CEM结果的相对重要性。在这里，我们提出了一个RPS方法，解决了这些限制，通过将降维，通过基于神经网络的自编码器，聚类之前完成。这样的降维不仅提高了聚类算法的性能，而且还便于使用附加特征，诸如从针对输入数据中的每个不相交时段（例如，1周）的CEM的简化版本的并行解产生的估计输出。将降维作为RPS方法的一部分的影响通过相应的缩减空间CEM与全空间CEM的结果中的误差来量化。在各种网络和各种技术和政策场景中进行的大量数值实验确立了基于降维的RPS方法的优越性。
2022-04-28 cs.LG
Ensembles of Classifiers based on Dimensionality Reduction
Academic College of Tel Aviv-Yaffo（特拉维夫-雅法学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Interdisciplinary Center (IDC) Herzliya（赫兹利亚跨学科中心）
提出了一种基于降维的集成分类器构造方法。抽象性约简方法使用少量属性表示数据集，同时保留原始数据集传达的信息。基于训练集的降维版本来训练系综成员。这些版本是通过使用输入参数的不同值对原始训练集应用降维来获得的。这种结构满足多样性和准确性的标准，所需的构建集成分类器，其中前一个标准是通过各种输入参数值获得的，后者是由于降维的去相关和降噪特性而实现的。为了对测试样本进行分类，首先使用样本外扩展算法将测试样本嵌入到每个分类器的降维空间中。然后，每个分类器被应用于嵌入的样本，并且通过投票方案获得分类。我们提出了三种变化的方法的基础上随机投影，扩散映射和随机子空间降维算法。我们还提出了一个多策略集成，结合AdaBoost和扩散地图。与Bagging，AdaBoost，Rotation Forest集成分类器以及不包含降维的基本分类器进行了比较。我们的实验使用了来自UCI存储库的17个基准数据集。所提出的算法得到的结果是优于其他算法在许多情况下。
2013-05-19 cs.LG
Dimensionality Reduction: An Empirical Study on the Usability of IFE-CF (Independent Feature Elimination- by C-Correlation and F-Correlation) Measures
LBR College of Engineering（LBR工程学院）
近年来数据维数的增加对现有的降维方法的有效性提出了挑战。简化是机器学习应用中重要的预处理步骤之一，它可以有效地去除不合适的数据，提高学习的准确性和可理解性。特征冗余对分类过程的性能有很大的影响。为了获得更好的分类性能，本文讨论了截断高度相关和冗余属性的有用性。在这里，已经作出了努力，以验证降维的效用，通过应用LVQ（学习矢量量化）方法对两个基准数据集的“皮马印度糖尿病患者”和“肺癌患者”。
2010-02-05 cs.LG
Cost-informed dimensionality reduction for structural digital twin technologies
University of Sheffield（谢菲尔德大学）；The Alan Turing Institute（图灵研究所）
针对结构数字孪生分类模型的维度灾难问题，提出一种决策论降维方法，以误分类成本最小化为目标构建特征值问题，通过合成案例验证了有效性。
2024-09-17 cs.LG
Interpretable Linear Dimensionality Reduction based on Bias-Variance Analysis
Politecnico di Milano（米兰理工大学）
真实数据上的几个机器学习应用的中心问题之一是输入特征的选择。理想情况下，设计者应该只选择相关的、非冗余的特征，以保留原始数据集中包含的完整信息，特征之间的共线性很小，维度也更小。这个过程有助于缓解在处理高维问题时出现的过拟合和维数灾难等问题。另一方面，简单地丢弃一些特征是不可取的，因为它们可能仍然包含可以被利用来改进结果的信息。相反，降维技术被设计为通过将数据集投影到低维空间来限制数据集中的特征数量，可能会考虑所有原始特征。然而，降维技术的应用所产生的投影特征通常难以解释。在本文中，我们试图设计一个原则性的降维方法，保持所产生的功能的可解释性。具体来说，我们提出了一个线性模型的偏差方差分析，我们利用这些理论结果来设计一个算法，线性相关特征聚合（LinCFA），如果它们的相关性是“足够大”，它会聚合连续特征组的平均值。通过这种方式，考虑了所有的特征，降低了维度，并保持了可解释性。最后，我们提供了数值验证所提出的算法在合成数据集上，以确认理论结果和真实数据集上显示一些有前途的应用。
2023-03-26 cs.LG
Performance Analysis of Deep Autoencoder and NCA Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
International University of Business Agriculture and Technology（国际商业农业技术大学）；Islamic University of Technology（伊斯兰科技大学）
本文的主要目的是在Matlab中实现Deep Autoencoder和Neighborhood Components Analysis（NCA）降维方法，并观察这些算法在UCI机器学习库中9个不同数据集上的应用。这些数据集包括CNAE 9、Movement Libras、Pima Indians diabetes、Parkinsons、Knowledge、Segmentation、Seeds、Mammographic Masses和Ionosphere。首先，通过使用Deep Autoencoder和NCA降维技术选择和提取最相关和最合适的特征或属性，这些数据集的维度已经减少到原始维度的50%。然后，每个数据集分类应用K-最近邻（KNN），扩展最近邻（ENN）和支持向量机（SVM）分类算法。所有的分类算法都是在Matlab环境下开发的。在每个分类中，训练测试数据比率始终设置为90%：10%。在分类时，观察和分析精度之间的变化，以找到每个降维技术与每个分类器的兼容程度，并评估每个分类器在每个数据集上的性能。
2019-12-24 cs.LG
A Hardware-Friendly Algorithm for Scalable Training and Deployment of Dimensionality Reduction Models on FPGA
University of Southern California（南加州大学）
随着机器学习模型在诸如图像分类、语音识别和合成以及医疗保健等各种领域中的应用不断增加，为这些模型设计高效的硬件已经获得了很大的普及。虽然这一领域的大多数研究都集中在机器学习模型（也称为推理）的有效部署上，但这项工作集中在硬件中训练这些模型的挑战上。特别是，本文提出了一种高性能，可扩展的，可重构的解决方案，通过引入硬件友好的算法，在硬件中训练和部署不同的降维模型。与现有的算法相比，该算法及其硬件实现在不降低精度的前提下，减少了50%的资源消耗.
2018-01-19 cs.LG
Bridging Graph Drawing and Dimensionality Reduction with Stochastic Stress Optimization
Technical University of Munich（慕尼黑技术大学）
本文通过将图绘制中的随机梯度下降技术应用于向量数据嵌入，提出一种兼容scikit-learn的估计器，通过局部成对更新降低全局应力，实验显示其收敛速度优于SMACOF且应力更优。
2026-05-01 cs.LG
Spectral Overlap and a Comparison of Parameter-Free, Dimensionality Reduction Quality Metrics
Stanford University（斯坦福大学）
非线性降维方法是数据科学家和研究人员可视化复杂高维数据的常用工具。然而，虽然这些方法不断改进并在数量上增加，但由于多种因素，例如缺乏有关数据内在维度的信息以及许多评估指标需要额外调整，通常很难评估可视化的质量。在本文中，我们试图提供一个系统的比较降维质量指标使用的数据集，我们知道地面真流形。我们在用于可视化的流行降维方法中利用每个指标进行超参数优化，并提供定量指标来客观地将可视化与其原始流形进行比较。在我们的研究结果中，我们发现了一些似乎一直做得很好的方法，并提出了最好的表现作为评估基于降维的可视化的基准。
2019-09-03 cs.LG stat.ML
Dimensionality Reduction with Subspace Structure Preservation
SUNY Buffalo（纽约州立大学布法罗分校）
将数据建模为从独立子空间的并集中采样已经广泛应用于许多现实世界的应用。然而，理论上保持这种独立性假设的降维方法还没有得到很好的研究。我们的主要贡献是表明，$2K$投影向量是足够的任何$K$类数据的独立保存从一个联盟的独立子空间。正是这种非平凡的观察，我们用来设计我们的降维技术。在本文中，我们提出了一种新的降维算法，理论上保留了给定数据集的这种结构。我们支持我们的理论分析与实证结果的合成和现实世界的数据实现\textit{state-of-the-art}结果相比，流行的降维技术。
2016-04-06 cs.LG stat.ML
"Why Here and Not There?" -- Diverse Contrasting Explanations of Dimensionality Reduction
KIOS Research and Innovation Center of Excellence, University of Cyprus（塞浦路斯大学KIOS卓越研究与创新中心）；Bielefeld University（比勒费尔德大学）
模糊性约简是数据采掘中常用的预处理方法和工具。透明度，这通常是通过解释的方式来实现的，现在是一个广泛接受的和关键的要求，机器学习为基础的系统，如分类器和推荐系统。然而，降维和其他数据采掘工具的透明度还没有被深入考虑，理解它们的行为仍然是至关重要的--特别是从业者可能想知道为什么特定的样本被映射到特定的位置。为了（局部地）理解给定的降维方法的行为，我们引入了对降维的对比解释的抽象概念，并将此概念的实现应用于解释二维的数据可视化的具体应用。
2023-02-22 cs.AI cs.LG
Dimensionality Reduction for $k$-means Clustering
我们提出了一个研究如何有效地降低维度的$k$ -均值聚类问题，从而获得可证明准确的近似。四个算法，两个\textit{feature selection}和两个基于\textit{feature extraction}的算法，所有这些都是随机的。
2020-07-26 cs.LG stat.ML
Nonlinear Dimensionality Reduction on Graphs
University of Minnesota（明尼苏达大学）
在这个数据泛滥的时代，许多信号处理和机器学习任务都面临着高维数据集，包括图像、视频以及社交、商业和大脑网络交互产生的时间序列。它们的有效处理要求降维技术能够正确压缩数据，同时保留与任务相关的特征，超越成对的数据相关性。本文提出了一个非线性降维框架，占数据躺在已知的图形。新的框架包括大多数现有的降维方法，但它也能够捕捉和保留可能被线性方法忽略的非线性相关性。此外，它可以考虑来自多个图形的信息。所提出的算法进行了测试合成以及真实的数据集，以证实其有效性。
2018-03-29 cs.LG stat.ML
Improving Metric Dimensionality Reduction with Distributed Topology
Duke University（杜克大学）；Geometric Data Analytics（几何数据分析公司）
我们提出了一种新的方法来降维结合技术的度量几何和分布式持久的同源性，在一个基于梯度下降的方法称为DIPOLE的形式。DIPOLE是一个降维后处理步骤，它通过最小化具有局部度量项和全局拓扑项的损失泛函来校正初始嵌入。通过固定初始嵌入方法（我们使用Isomap），DIPOLE也可以被视为一个完整的降维管道。这个框架是基于强大的理论和计算特性的分布式持久同源性，并保证几乎必然收敛。我们观察到，DIPOLE在许多流行的数据集上，无论是在视觉上还是在精确的定量指标上，都优于UMAP、t-SNE和Isomap等流行的方法。
2021-09-03 cs.LG math.AT
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
University of Toyama（富山大学）；Institute of Natural Medicine, University of Toyama, Japan（富山大学自然医学研究所）
本文提出了一种新的降维算法-分支嵌入（BE）。它将树状图转换为二维散点图，并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高，因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明，该算法的输出适度地保持了原有的层次结构。
2018-05-06 cs.LG stat.ML
Randomized ICA and LDA Dimensionality Reduction Methods for Hyperspectral Image Classification
IRISA（法国国家信息与自动化研究所雷恩布列塔尼大西洋分校）
在高光谱图像处理中，降维是克服维数灾难问题的重要步骤。线性降维方法，如独立成分分析（ICA）和线性判别分析（LDA）通常用于降低HSI的维数。这些方法无法捕捉HSI数据中的非线性相关性，因为数据位于非线性流形中。为了解决这一问题，引入了基于核方法的非线性变换技术对HSI进行降维。然而，核方法在计算核矩阵时涉及三次计算复杂度，因此当像素（样本）的数量很大时，不能探索其潜力。在文献中，随机选择较少数量的像素来部分地克服这个问题，但是这种次优策略可能会忽略HSI中的重要信息。在本文中，我们提出了随机解决方案的ICA和LDA降维方法使用随机傅立叶特征，我们标记为RFFICA和RFFLDA。我们提出的方法克服了可扩展性问题，并更有效地处理数据中存在的非线性。两个真实世界的高光谱数据集进行的实验表明，我们提出的随机方法优于传统的内核ICA和内核LDA的整体，每类精度和计算时间。
2018-04-19 cs.LG stat.ML
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta（阿尔伯塔大学）
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示：正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用，我们恢复了一个因子化的角度，揭示了一些差距，在目前的文献。除了确定一个有用的新损失流形展开，一个关键的贡献是获得新的凸正则化，结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
Supervised Dimensionality Reduction via Distance Correlation Maximization
Rutgers University（罗格斯大学）
在我们的工作中，我们提出了一种新的配方监督降维的基础上的非线性依赖性标准，称为统计距离相关，Szekely等。其他人（2007年）。我们提出了一个目标，这是免费的回归变量和回归模型假设的分布假设。我们提出的公式是基于学习一个低维特征表示$\mathbf{z}$，它最大化的平方和之间的距离相关性低维特征$\mathbf{z}$和响应$y$，也之间的功能$\mathbf{z}$和协变量$\mathbf{x}$。我们提出了一种新的算法来优化我们提出的目标使用广义最小化最大化方法的\Parizi等。（2015）。我们在多个数据集上显示了优越的经验结果，证明了我们提出的方法比几种相关的最先进的监督降维方法的有效性。
2016-01-03 cs.LG stat.ML
SparCA: Sparse Compressed Agglomeration for Feature Extraction and Dimensionality Reduction
Mayo Clinic（梅奥诊所）
最有效的降维过程从原始输入空间产生可解释的特征，同时还为下游的监督学习任务提供良好的性能。对于许多方法，这需要为特定任务优化一个或多个超参数，这可能会限制泛化能力。在这项研究中，我们提出了稀疏压缩凝聚（SparCA），一种新的降维过程，涉及多步骤的层次特征分组，压缩，和特征选择过程。我们展示了SparCA方法在异质合成和真实世界数据集上的特性和性能，包括图像，自然语言和单细胞基因表达数据。我们的研究结果表明，SparCA适用于广泛的数据类型，产生高度可解释的功能，并在下游监督学习任务上显示出令人信服的性能，而无需超参数调整。
2023-01-26 cs.LG stat.AP
A Review, Framework and R toolkit for Exploring, Evaluating, and Comparing Visualizations
Bogazici University（博阿齐奇大学）；Mississippi State University（密西西比州立大学）
本文对降维技术的评价方法进行了综述和综合。特别注意的是排名顺序的邻域评价指标。一个框架，通过可视化探索降维质量。一个相关的工具包是用R实现的。该工具包包括散点图、热图、黄土平滑和性能提升图。总体原理是帮助研究人员比较降维技术，并使用视觉见解来帮助选择和改进技术。给出了流形的降维和应用于消费者调查数据集的降维的例子。
2019-02-22 cs.LG stat.ML
Dimensionality Reduction by Local Discriminative Gaussians
University of Washington（华盛顿大学）
我们提出了局部判别高斯（LDG）降维，监督降维分类技术。LDG目标函数是对局部二次判别分析分类器的留一法训练误差的近似，并且因此局部地作用于每个训练点，以便找到其中可以将相似数据与不相似数据区分开的映射。虽然其他最先进的线性降维方法需要梯度下降或迭代求解方法，但LDG是用单个特征分解求解的。因此，它可以更好地扩展具有大量特征维度或训练样本的数据集。我们还适应LDG的迁移学习设置，并表明，它实现了良好的性能时，测试数据的分布不同于训练数据。
2012-06-18 cs.CV cs.LG stat.ML
Topology-Preserving Dimensionality Reduction via Interleaving Optimization
University of Chicago（芝加哥大学）
嵌入性约简技术是数据预处理和可视化的有力工具，但通常很少保证嵌入的拓扑正确性。Vietoris-Rips过滤的持久同源性之间的交织距离可以用于识别嵌入和原始数据集中的拓扑特征（例如簇或孔）对应的尺度。我们展示了如何优化寻求最小化的交织距离可以纳入降维算法，并明确展示了它的使用，找到一个最佳的线性投影。我们证明了这个框架的数据可视化的实用程序。
2022-01-31 cs.CG cs.LG math.OC
A New Method for Performance Analysis in Nonlinear Dimensionality Reduction
University of Waterloo（滑铁卢大学）
在本文中，我们开发了一个局部秩相关性度量，量化的性能的降维方法。局部秩相关是容易解释的，并且对高维中最近邻分布的极端偏斜具有鲁棒性。一些基准数据集进行了研究。我们发现，当地的秩相关性密切对应于我们的视觉解释的输出质量。此外，我们还证明了局部秩相关在估计原始数据的内在维数和选择一些算法中使用的调谐参数的合适值方面是有用的。
2017-11-16 cs.LG stat.ME
Semi-Supervised Graph Learning Meets Dimensionality Reduction
University of Missouri（密苏里大学）
半监督学习（SSL）最近受到了机器学习研究人员越来越多的关注。通过在基于图的深度学习（GDL）算法中实现已知标签的有效传播，SSL有望在未来几年成为GDL中越来越多使用的技术。然而，目前很少有探索在基于图的SSL文献利用经典的降维技术，以改善标签传播。在这项工作中，我们研究了PCA，t-SNE和UMAP等降维技术的使用，以了解它们对用于节点标签半监督传播的图神经网络（GNNs）性能的影响。我们的研究利用基准半监督GDL数据集，如Cora和Citeseer数据集，以便在与降维技术配对时对每个算法学习的表示进行有意义的比较。我们全面的基准测试和聚类可视化定量和定性地证明，在一定条件下，分别对GNN输入和输出进行先验和后验降维，可以同时提高半监督节点标签传播和节点聚类的有效性。我们的源代码在GitHub上免费提供。
2022-03-23 cs.AI cs.LG
Deep Variational Sufficient Dimensionality Reduction
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们考虑充分降维（SDR）的问题，其中高维观测被转换到一个低维的子空间，在该子空间中，关于标签变量的观测信息被保留。我们提出了DVSDR，一个深度变分方法，充分降维。我们模型中的深层结构有一个瓶颈，代表数据的低维嵌入。我们使用图形模型解释SDR问题，并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明，这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中，我们表明，DVSDR在分类任务上具有竞争力，同时能够生成新的数据样本。
2018-12-18 cs.LG stat.ML
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen（图宾根大学）
本研究提出分层高斯混合模型HMoGs，将降维与聚类统一为单个概率模型，通过新型指数族参数化降低计算复杂度，在合成数据和MNIST上验证了联合优化的性能提升，兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
ENS de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；EPFL（洛桑联邦理工学院）；Univ. Lyon（里昂大学）；UCBL（里昂第一大学）；Inria（法国国家信息与自动化研究所）；École polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Université Bretagne Sud（南布列塔尼大学）
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架，可同时实现样本与特征降维，兼具经典降维与硬聚类能力，可用于图像数据集可视化，为真实数据摘要提供了融合降维和聚类的新途径。
2023-10-05 cs.LG stat.ML
TriMap: Large-scale Dimensionality Reduction Using Triplets
Google Research（谷歌研究院）
介绍了TriMap;一种基于三元组约束的降维技术，它比其他常用的方法（如t-SNE，LargeVis和UMAP）更好地保留了数据的全局结构。为了量化嵌入的全局准确性，我们引入了一个分数，该分数大致反映了聚类而不是单个点的相对位置。我们凭经验证明了TriMap在嵌入质量和运行时间方面在各种数据集上的出色性能。在我们的性能基准测试中，TriMap可以轻松扩展到数百万个点，而不会耗尽内存，并且在运行时间方面明显优于t-SNE，LargeVis和UMAP。
2022-03-26 cs.LG stat.ML
Multiclass spectral feature scaling method for dimensionality reduction
University of Tsukuba（筑波大学）
不规则的特征破坏了所需的分类。在本文中，我们考虑积极地修改尺度的功能在原始空间中的标签信息，以形成良好的分离在低维空间中的集群。所提出的方法利用谱聚类来获得用于修改功能的缩放因子。具体地说，我们将谱聚类的拉普拉斯特征值问题转化为特征向量具有尺度因子的线性矩阵束的特征值问题。数值实验表明，该方法在样本数大于特征数的玩具问题和特征数大于样本数的现实问题中的降维效果优于已有的监督降维方法.
2019-10-16 cs.LG stat.ML
Randomized Dimensionality Reduction for Euclidean Maximization and Diversity Measures
Rutgers University（罗格斯大学）；Hausdorff Center for Mathematics（豪斯多夫数学中心）；University of Bonn（波恩大学）；Weizmann Institute of Science（魏茨曼科学研究学院）；Aarhus University（奥胡斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了最大匹配、最大生成树等欧几里得最大化问题和多样性度量的随机降维，证明目标维度为O(λ_X)足以近似保留近最优解的值，并通过实验验证了降维后的解质量和加速效果。
2025-05-30 cs.DS cs.LG
