Application of Fuzzy Clustering for Text Data Dimensionality Reduction
College of Information and Communications University of South Carolina（南卡罗来纳大学信息与通信学院）；Arnold School of Public Health at the University of South Carolina（南卡罗来纳大学阿诺德公共卫生学院）
大型文本语料库通常由文档-术语频率矩阵表示，该矩阵的元素是术语的频率，然而，该矩阵存在两个问题：稀疏性和高维性。四个降维策略被用来解决这些问题。在这四种策略中，无监督特征变换（UFT）是一种流行且有效的策略，可以将术语映射到文档-术语频率矩阵中的新基础。虽然已经开发了几种基于UFT的方法，但模糊聚类尚未被考虑用于降维。本研究探讨模糊聚类作为一种新的UFT为基础的方法来创建一个低维表示的文件。模糊聚类与不使用全局加权方法的性能超过主成分分析和奇异值分解。本研究亦探讨应用不同模糊因子值对模糊聚类降维的影响。
2019-09-21 cs.CL cs.LG stat.AP
Dimensionality reduction methods for molecular simulations
Universitat Pompeu Fabra（庞培法布拉大学）；Acellera（Acellera公司）
分子模拟产生具有数百万个数据点的非常高维的数据集。由于分析方法通常无法处理如此多的维度，因此通常使用降维和聚类方法来实现数据的简化表示。然而，这些方法往往无法捕捉到马尔可夫模型的建设所需的最重要的功能。在这里，我们展示了两个模拟数据集，一个蛋白质折叠和另一个蛋白质-配体结合的各种降维方法的结果。测试的方法包括一个k-means聚类变量，非线性自动编码器，主成分分析和tICA。降维的数据，然后使用马尔可夫状态模型分析来估计隐含的时间尺度的最慢的过程，以评估质量的投影。从数据中学习到的投影维度被可视化，以展示各种方法选择哪些构象来表示分子过程。
2017-11-02 cs.LG q-bio.BM stat.ML
Extending classical surrogate modelling to high-dimensions through supervised dimensionality reduction: a data-driven approach
由于其多功能性，易于部署和高性能，代理模型已成为不确定性量化（UQ）武器库中的主要工具。从局部插值到全局谱分解，代理函数的特点是能够基于用于训练的一小组模型运行有效地模拟复杂的计算模型。许多代理模型的固有局限性是它们对维数灾难的敏感性，这传统上将它们的适用性限制在最大的$\mathcal{O}(10^2)$输入维度。我们提出了一种新的方法，在高维代理建模，是模型，降维和代理模型不可知（黑箱），并可以使高维（即高达$\mathcal{O}(10^4)$）问题的解决方案。在介绍了一般算法之后，我们结合Kriging和多项式混沌展开替代和核主成分分析来证明其性能。特别是，我们比较的泛化性能，所得到的代理实现的经典顺序应用程序的降维，然后通过代理建模的几个基准应用程序，包括一个分析功能和两个工程应用程序的维数和复杂性的增加。
2020-02-11 cs.LG stat.CO stat.ME
Rasch-based high-dimensionality data reduction and class prediction with applications to microarray gene expression data
Institute of Medical Genetics, University Medical Centre Ljubljana（卢布尔雅那大学医学中心医学遗传学研究所）
类别预测是微阵列基因表达数据分析的一个重要应用。微阵列数据的高维性，其中基因（变量）的数量与样本（观察）的数量相比非常大，使得许多预测技术（例如，逻辑回归，判别分析）困难。解决这一问题的一个有效途径是采用降维统计技术。Rasch模型（RM）为处理高维微阵列数据提供了一个有吸引力的框架，在心理学相关的应用中得到了越来越多的应用。在本文中，我们研究了基于RM的建模在二值化的微阵列基因表达数据的降维中的潜力，并使用线性判别分析在类预测的背景下研究其预测准确性。两个不同的公开可用的微阵列数据集被用来说明该方法的一般框架。所提出的方法的性能进行了评估，使用主成分分析（PCA）作为基准方法的重新随机化计划。我们的研究结果表明，基于RM的降维是有效的PCA的降维。该方法具有通用性，可应用于其他高维数据问题。
2010-06-05 cs.AI stat.AP stat.ME
Supervised dimensionality reduction for multiple imputation by chained equations
本文提出将监督降维与链式方程多重插补（MICE）相结合，利用待插补变量信息改进主成分估计，并通过模拟研究验证其优于经典无监督PCA的统计性能。
2023-10-31 stat.CO stat.ME
Dimensionality reduction for time series data
尽管它们不考虑数据的时间性质，但经典的降维技术，例如PCA，被广泛应用于时间序列数据。在本文中，我们介绍了一个特定的时间序列的贝叶斯多元自回归模型的基础上，从而避免了假设，数据点是相互独立的因子分解。关键是找到自回归矩阵的低秩估计。与其他因子模型的概率版本一样，这会导致原始数据的潜在低维表示。我们讨论了一些可能的概括和替代方案，最相关的是一种技术，同时平滑和降维。为了说明潜在的应用，我们将该模型应用于合成数据集和不同类型的神经成像数据（EEG和ECoG）。
2014-06-14 stat.ML
Classification Constrained Dimensionality Reduction
简化视知觉是最近的一个热门话题。在本文中，我们提出了分类约束降维（CCDR）算法来说明标签信息。该算法可以考虑多类以及半监督设置。我们提出了一个样本外的表达式标记和未标记的数据。对于未标记的数据，我们引入了一种嵌入新点作为分类器预处理的方法。对于标记数据，我们引入了一种方法，该方法使用样本外扩展在训练阶段改进嵌入。我们调查分类性能使用CCDR算法对高光谱卫星图像数据。我们证明了本地和全局分类器的性能增益，并证明了$k$-最近邻算法的性能提高了10%。我们提出了一个内在的尺寸估计和使用CCDR算法获得的最佳嵌入维数之间的连接。
2008-02-21 stat.ML
Non-linear dimensionality reduction: Riemannian metric estimation and the problem of geometric discovery
近年来，流形学习作为执行非线性降维的工具已经变得越来越流行。这导致了不同程度的复杂性，旨在恢复manifold几何使用本地或全球的数据特征的许多算法的发展。基于Laplacian Eigenmap和Diffusionmaps框架，我们提出了一个新的范式，在合理的假设下，它提供了一个保证，即任何manifold学习算法都将保持数据集的几何形状。我们的方法是基于用流形的Riemannian度量中体现的几何信息来增强嵌入算法的输出。我们提供了一个算法，估计黎曼度量的数据，并证明我们的方法在各种例子中可能的应用。
2013-05-30 stat.ML
Borel Isomorphic Dimensionality Reduction of Data and Supervised Learning
在这个项目中，我们进一步研究了使用Borel同构减少数据集维数的想法，目的是随后应用监督学习算法，正如我的导师V. Pestov最初建议的那样（在2011年Dagstuhl预印本中）。任何一致性学习算法，例如kNN，在应用Borel同构后保持普遍一致性。提供了一系列减少数据集中维数的Borel同构的具体示例，基于在应用降维Borel同构之前将数据乘以正交矩阵。我们在低维空间中使用各种数据集测试了所得分类器的准确性。工作音素语音识别数据集，维度256 5类（音素），我们表明，博雷尔同构减少到16维导致最小的准确性下降。最后，我们讨论了该方法的进一步前景。
2013-07-29 stat.ML
An Information Geometric Framework for Dimensionality Reduction
本文研究统计流形上的信息几何降维问题。虽然最近已经有相当多的工作提出了关于降维的学习任务，如分类，聚类和可视化的目的，这些方法主要集中在黎曼流形在欧几里得空间。虽然对于许多应用来说已经足够了，但有许多高维信号没有直接和有意义的欧几里得表示。在这些情况下，信号可以更适当地表示为位于统计流形或概率密度函数（PDF）流形上的某种分布的实现。我们提出了一个降维框架，使用信息几何的统计流形重建以及在数据域中的降维。
2008-09-29 stat.ME stat.ML
Dimensionality Reduction Ensembles
包围学习在监督学习中取得了许多成功，但在无监督学习和降维方面却很少。本研究探讨降维集成，使用主成分分析和流形学习技术，以捕捉线性，非线性，局部和全局功能的原始数据集。首先在模拟数据上测试简化集成，然后使用随机森林分类器在两个真实的医疗数据集上测试;结果表明这种方法的有效性，准确性接近完整数据集。局限性包括具有强性能的一些算法的计算成本，这可以通过分布式计算和开发这些算法的更有效版本来改善。
2017-10-11 stat.AP stat.ML
Spectral Overlap and a Comparison of Parameter-Free, Dimensionality Reduction Quality Metrics
Stanford University（斯坦福大学）
非线性降维方法是数据科学家和研究人员可视化复杂高维数据的常用工具。然而，虽然这些方法不断改进并在数量上增加，但由于多种因素，例如缺乏有关数据内在维度的信息以及许多评估指标需要额外调整，通常很难评估可视化的质量。在本文中，我们试图提供一个系统的比较降维质量指标使用的数据集，我们知道地面真流形。我们在用于可视化的流行降维方法中利用每个指标进行超参数优化，并提供定量指标来客观地将可视化与其原始流形进行比较。在我们的研究结果中，我们发现了一些似乎一直做得很好的方法，并提出了最好的表现作为评估基于降维的可视化的基准。
2019-09-03 cs.LG stat.ML
Dimensionality Reduction with Subspace Structure Preservation
SUNY Buffalo（纽约州立大学布法罗分校）
将数据建模为从独立子空间的并集中采样已经广泛应用于许多现实世界的应用。然而，理论上保持这种独立性假设的降维方法还没有得到很好的研究。我们的主要贡献是表明，$2K$投影向量是足够的任何$K$类数据的独立保存从一个联盟的独立子空间。正是这种非平凡的观察，我们用来设计我们的降维技术。在本文中，我们提出了一种新的降维算法，理论上保留了给定数据集的这种结构。我们支持我们的理论分析与实证结果的合成和现实世界的数据实现\textit{state-of-the-art}结果相比，流行的降维技术。
2016-04-06 cs.LG stat.ML
Dimensionality Reduction for $k$-means Clustering
我们提出了一个研究如何有效地降低维度的$k$ -均值聚类问题，从而获得可证明准确的近似。四个算法，两个\textit{feature selection}和两个基于\textit{feature extraction}的算法，所有这些都是随机的。
2020-07-26 cs.LG stat.ML
Nonlinear Dimensionality Reduction on Graphs
University of Minnesota（明尼苏达大学）
在这个数据泛滥的时代，许多信号处理和机器学习任务都面临着高维数据集，包括图像、视频以及社交、商业和大脑网络交互产生的时间序列。它们的有效处理要求降维技术能够正确压缩数据，同时保留与任务相关的特征，超越成对的数据相关性。本文提出了一个非线性降维框架，占数据躺在已知的图形。新的框架包括大多数现有的降维方法，但它也能够捕捉和保留可能被线性方法忽略的非线性相关性。此外，它可以考虑来自多个图形的信息。所提出的算法进行了测试合成以及真实的数据集，以证实其有效性。
2018-03-29 cs.LG stat.ML
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
University of Toyama（富山大学）；Institute of Natural Medicine, University of Toyama, Japan（富山大学自然医学研究所）
本文提出了一种新的降维算法-分支嵌入（BE）。它将树状图转换为二维散点图，并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高，因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明，该算法的输出适度地保持了原有的层次结构。
2018-05-06 cs.LG stat.ML
Bayesian Inference on Matrix Manifolds for Linear Dimensionality Reduction
我们将线性降维问题转化为矩阵流形上的贝叶斯推断问题。这种自然范式将贝叶斯框架扩展到更高维度的降维任务，具有更简单的模型和更快的速度。这里，正交基被视为流形上的单个点，并且与观测值变化最大的线性子空间相关联。在本文中，我们采用格拉斯曼和Stiefel流形的各种降维问题，探索两个流形之间的连接，并使用混合蒙特卡罗的后验抽样格拉斯曼第一次。我们描绘在哪些情况下，任何多方面应予以考虑。此外，矩阵流形模型被用来产生科学的洞察力，在认知神经科学的背景下，我们的结论是，我们的方法是适合于基本的推理，以及准确的预测。
2016-06-14 stat.CO stat.ML
Randomized ICA and LDA Dimensionality Reduction Methods for Hyperspectral Image Classification
IRISA（法国国家信息与自动化研究所雷恩布列塔尼大西洋分校）
在高光谱图像处理中，降维是克服维数灾难问题的重要步骤。线性降维方法，如独立成分分析（ICA）和线性判别分析（LDA）通常用于降低HSI的维数。这些方法无法捕捉HSI数据中的非线性相关性，因为数据位于非线性流形中。为了解决这一问题，引入了基于核方法的非线性变换技术对HSI进行降维。然而，核方法在计算核矩阵时涉及三次计算复杂度，因此当像素（样本）的数量很大时，不能探索其潜力。在文献中，随机选择较少数量的像素来部分地克服这个问题，但是这种次优策略可能会忽略HSI中的重要信息。在本文中，我们提出了随机解决方案的ICA和LDA降维方法使用随机傅立叶特征，我们标记为RFFICA和RFFLDA。我们提出的方法克服了可扩展性问题，并更有效地处理数据中存在的非线性。两个真实世界的高光谱数据集进行的实验表明，我们提出的随机方法优于传统的内核ICA和内核LDA的整体，每类精度和计算时间。
2018-04-19 cs.LG stat.ML
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta（阿尔伯塔大学）
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示：正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用，我们恢复了一个因子化的角度，揭示了一些差距，在目前的文献。除了确定一个有用的新损失流形展开，一个关键的贡献是获得新的凸正则化，结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
Supervised Dimensionality Reduction via Distance Correlation Maximization
Rutgers University（罗格斯大学）
在我们的工作中，我们提出了一种新的配方监督降维的基础上的非线性依赖性标准，称为统计距离相关，Szekely等。其他人（2007年）。我们提出了一个目标，这是免费的回归变量和回归模型假设的分布假设。我们提出的公式是基于学习一个低维特征表示$\mathbf{z}$，它最大化的平方和之间的距离相关性低维特征$\mathbf{z}$和响应$y$，也之间的功能$\mathbf{z}$和协变量$\mathbf{x}$。我们提出了一种新的算法来优化我们提出的目标使用广义最小化最大化方法的\Parizi等。（2015）。我们在多个数据集上显示了优越的经验结果，证明了我们提出的方法比几种相关的最先进的监督降维方法的有效性。
2016-01-03 cs.LG stat.ML
Dimensionality Reduction by Local Discriminative Gaussians
University of Washington（华盛顿大学）
我们提出了局部判别高斯（LDG）降维，监督降维分类技术。LDG目标函数是对局部二次判别分析分类器的留一法训练误差的近似，并且因此局部地作用于每个训练点，以便找到其中可以将相似数据与不相似数据区分开的映射。虽然其他最先进的线性降维方法需要梯度下降或迭代求解方法，但LDG是用单个特征分解求解的。因此，它可以更好地扩展具有大量特征维度或训练样本的数据集。我们还适应LDG的迁移学习设置，并表明，它实现了良好的性能时，测试数据的分布不同于训练数据。
2012-06-18 cs.CV cs.LG stat.ML
A Review, Framework and R toolkit for Exploring, Evaluating, and Comparing Visualizations
Bogazici University（博阿齐奇大学）；Mississippi State University（密西西比州立大学）
本文对降维技术的评价方法进行了综述和综合。特别注意的是排名顺序的邻域评价指标。一个框架，通过可视化探索降维质量。一个相关的工具包是用R实现的。该工具包包括散点图、热图、黄土平滑和性能提升图。总体原理是帮助研究人员比较降维技术，并使用视觉见解来帮助选择和改进技术。给出了流形的降维和应用于消费者调查数据集的降维的例子。
2019-02-22 cs.LG stat.ML
Dimensionality reduction can be used as a surrogate model for high-dimensional forward uncertainty quantification
Sejong University（世宗大学）；Rice University（莱斯大学）；University of California, Berkeley（加州大学伯克利分校）
该研究提出了一种基于降维结果构建随机替代模型的方法，用于高维正向不确定性量化，通过保留顺序方法的便利性并克服其限制，提升不确定性量化效率。
2025-10-31 stat.AP stat.ML
Deep Variational Sufficient Dimensionality Reduction
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们考虑充分降维（SDR）的问题，其中高维观测被转换到一个低维的子空间，在该子空间中，关于标签变量的观测信息被保留。我们提出了DVSDR，一个深度变分方法，充分降维。我们模型中的深层结构有一个瓶颈，代表数据的低维嵌入。我们使用图形模型解释SDR问题，并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明，这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中，我们表明，DVSDR在分类任务上具有竞争力，同时能够生成新的数据样本。
2018-12-18 cs.LG stat.ML
Feature Dimensionality Reduction for Video Affect Classification: A Comparative Study
Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）
情感计算已经成为人机交互领域的一个重要研究方向。然而，影响是主观的、微妙的和不确定的。因此，与我们可以提取的可能特征的数量相比，很难获得大量的标记训练样本。因此，降维在情感计算中至关重要。本文介绍了我们的初步研究降维的影响分类。介绍并比较了五种常用的降维方法。在DEAP数据集上的实验表明，没有一种方法可以普遍优于其他方法，直接使用原始特征进行分类可能并不总是一个坏的选择。
2018-08-08 cs.CV cs.HC cs.LG
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen（图宾根大学）
本研究提出分层高斯混合模型HMoGs，将降维与聚类统一为单个概率模型，通过新型指数族参数化降低计算复杂度，在合成数据和MNIST上验证了联合优化的性能提升，兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
ENS de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；EPFL（洛桑联邦理工学院）；Univ. Lyon（里昂大学）；UCBL（里昂第一大学）；Inria（法国国家信息与自动化研究所）；École polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Université Bretagne Sud（南布列塔尼大学）
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架，可同时实现样本与特征降维，兼具经典降维与硬聚类能力，可用于图像数据集可视化，为真实数据摘要提供了融合降维和聚类的新途径。
2023-10-05 cs.LG stat.ML
Riemannian joint dimensionality reduction and dictionary learning on symmetric positive definite manifold
The University of Electro-Communications（电气通信大学）；Microsoft（微软）
字典学习（DL）和降维（DR）是分析高维噪声信号的有力工具。本文提出了一种新的黎曼联合降维和字典学习（R-JDRDL）对称正定（SPD）流形分类任务的建议。联合学习通过将降维和字典学习过程连接到一个统一的框架中来考虑它们之间的相互作用。我们利用黎曼优化框架来解决DL和DR问题。最后，我们证明了建议的R-JDRDL优于现有的国家的最先进的算法时，用于图像分类任务。
2019-02-11 cs.AI cs.CV cs.LG
TriMap: Large-scale Dimensionality Reduction Using Triplets
Google Research（谷歌研究院）
介绍了TriMap;一种基于三元组约束的降维技术，它比其他常用的方法（如t-SNE，LargeVis和UMAP）更好地保留了数据的全局结构。为了量化嵌入的全局准确性，我们引入了一个分数，该分数大致反映了聚类而不是单个点的相对位置。我们凭经验证明了TriMap在嵌入质量和运行时间方面在各种数据集上的出色性能。在我们的性能基准测试中，TriMap可以轻松扩展到数百万个点，而不会耗尽内存，并且在运行时间方面明显优于t-SNE，LargeVis和UMAP。
2022-03-26 cs.LG stat.ML
Multiclass spectral feature scaling method for dimensionality reduction
University of Tsukuba（筑波大学）
不规则的特征破坏了所需的分类。在本文中，我们考虑积极地修改尺度的功能在原始空间中的标签信息，以形成良好的分离在低维空间中的集群。所提出的方法利用谱聚类来获得用于修改功能的缩放因子。具体地说，我们将谱聚类的拉普拉斯特征值问题转化为特征向量具有尺度因子的线性矩阵束的特征值问题。数值实验表明，该方法在样本数大于特征数的玩具问题和特征数大于样本数的现实问题中的降维效果优于已有的监督降维方法.
2019-10-16 cs.LG stat.ML
Dimensionality Reduction of Movement Primitives in Parameter Space
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
运动基元是现实世界机器人的重要策略类。然而，它们的参数化的高维性使得策略优化在样本和计算方面都是昂贵的。实现运动基元的有效表示有助于机器学习技术的应用，例如机器人技术上的强化。运动，特别是在高度冗余的运动学结构中，在位形空间中表现出高度的相关性。由于这些原因，以前的工作主要集中在应用降维技术的配置空间。在本文中，我们研究的应用降维的参数空间，识别主要的运动。由此产生的方法是丰富的概率处理的参数，继承所有属性的概率运动原语。我们测试所提出的技术都在一个真正的机器人任务和复杂的人类运动的数据库。实证分析表明，参数空间中的降维比配置空间中的降维更有效，因为它使运动的表示与参数的显着减少。
2020-02-26 cs.LG cs.RO stat.ML
Foundations of Coupled Nonlinear Dimensionality Reduction
Courant Institute（库朗研究所）；Google Research（谷歌研究院）
在本文中，我们介绍和分析了\emph{coupled nonlinear dimensionality reduction}的学习场景，它结合了机器学习管道的两个主要步骤：投影到流形上和随后的监督学习。首先，我们提出了新的泛化界，这种情况下，第二，我们引入了一个算法，从这些界限。泛化误差界是基于对相关假设集的经验拉德马赫复杂度的仔细分析。特别是，我们显示了一个上限的拉德马赫复杂度性是在$\widetilde O(\sqrt{Λ_{(r)}/m})$，其中$m$是样本量和$Λ_{(r)}$上界的Ky-Fan $r$ -范数的相关的内核矩阵。我们给出了Ky-Fan $r$ -范数的上下界保证，这有力地证明了我们假设集的定义。据我们所知，这些是耦合降维问题的第一个学习保证。我们的分析和学习保证进一步适用于几种特殊情况，例如使用固定内核进行监督降维，或者对内核进行无监督学习进行降维，然后使用监督学习算法。在理论分析的基础上，我们提出了一个结构风险最小化算法，该算法由低维流形和该流形上的分离函数的耦合拟合组成。
2015-11-25 cs.LG stat.ML
A dimensionality reduction technique based on the Gromov-Wasserstein distance
Instituto Federal de Educação, Ciência e Tecnologia do Ceará（塞阿拉联邦教育、科学与技术研究所）；Federal University of Ceara（塞阿拉联邦大学）；Université Paris-Saclay, CEA, List（巴黎-萨克雷大学，CEA，List）
本文提出一种基于最优传输理论和Gromov-Wasserstein距离的降维方法，以概率视角重新解释MDS与Isomap，并通过梯度下降实现高维数据的稳健低维嵌入。
2025-07-07 cs.LG stat.ML
Adaptive Metric Dimensionality Reduction
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在一般度量空间中，我们研究了监督学习背景下的自适应数据相关降维问题。我们的主要统计贡献是一个推广的Lipschitz函数在度量空间的两倍，或接近一倍。在算法方面，我们描述了一个类似的PCA度量空间：即一个有效的程序，近似数据的内在维度，这往往是远低于环境维度。因此，我们的方法利用了低维度的双重好处：（1）更有效的算法，例如，用于邻近搜索，以及（2）更乐观的泛化边界。
2015-03-25 cs.DS cs.LG stat.ML
Dimensionality reduction with subgaussian matrices: a unified theory
我们提出了一个理论，欧几里德降维与亚高斯矩阵，统一了几个限制等距属性和约翰逊-林登施特劳斯型的结果，以前获得的特定数据集。特别是，我们恢复，并在几种情况下，提高结果集的稀疏和结构稀疏向量，低秩矩阵和张量，光滑流形。此外，我们建立了一个新的Johnson-Lindenstrauss嵌入的数据集的形式的Hilbert空间的子空间的无限联盟。
2014-02-17 cs.DS cs.IT math.IT
Introducing user-prescribed constraints in Markov chains for nonlinear dimensionality reduction
Columbia University（哥伦比亚大学）
基于随机核的降维方法在过去十年中变得流行。许多这些方法的中心组成部分是一个对称的内核，量化的数据点对之间的邻近和内核诱导的马尔可夫链的数据。通常，马尔可夫链由内核通过行规范化完全指定。然而，在许多情况下，它是可取的施加用户指定的静态和动态约束的马尔可夫链。不幸的是，没有系统的框架来强加这种用户定义的限制。在这里，我们引入了一个基于路径熵最大化的方法来推导马尔可夫链的转移概率使用内核和额外的用户指定的约束。我们举例说明这些马尔可夫链的有用性。
2018-08-06 cs.LG stat.ML
Stable Sparse Subspace Embedding for Dimensionality Reduction
Zhengzhou University（郑州大学）；Xidian University（西安电子科技大学）
稀疏随机投影（RP）是一种流行的降维工具，表现出良好的性能与低计算复杂性。然而，在现有的稀疏RP矩阵中，非零元素的位置通常是随机选择的。虽然它们都采用了带替换的均匀抽样，但由于抽样方差较大，一次产生的投影矩阵的非零个数在各行之间不均匀，降维后可能丢失更多的数据信息。为了突破这一瓶颈，本文基于统计学中的随机抽样不替换原理，构造了一种稳定的稀疏子空间嵌入矩阵（S-SSE）。证明了S-SSE比已有的矩阵更稳定，降维后能很好地保持点间欧氏距离。我们的实证研究证实了我们的理论研究结果，并证明我们的方法确实可以取得令人满意的性能。
2020-02-07 cs.LG stat.ML
Detecting Adversarial Examples through Nonlinear Dimensionality Reduction
Universitá di Pisa（比萨大学）；Universitá degli Studi di Cagliari（卡利亚里大学）
深度神经网络容易受到对抗性示例的影响，即，精心干扰的输入旨在误导分类。本文提出了一种基于非线性降维和密度估计相结合的检测方法。我们的实证研究结果表明，所提出的方法能够有效地检测由非自适应攻击者制作的对抗性示例，即，而不是专门调谐以绕过检测方法。考虑到我们的结果，我们计划在未来的工作中将我们的分析扩展到自适应攻击者。
2019-05-01 cs.CR cs.LG stat.ML
Funnels: Exact maximum likelihood with dimensionality reduction
University of Geneva（日内瓦大学）
规范化流是使用模型的似然性训练的同构（通常是维保持）模型。我们使用SurVAE框架通过一个新的层（称为漏斗）来构建降维满射流。我们在各种数据集上证明了它的有效性，并表明它在降低潜在空间大小的同时提高或匹配现有流的性能。漏斗层可以从各种各样的转换中构建，包括限制卷积和前馈层。
2021-12-15 cs.LG stat.ML
IT-map: an Effective Nonlinear Dimensionality Reduction Method for Interactive Clustering
University of Electronic Science and Technology of China（电子科技大学）
降维是许多领域科学家的共同需求和基本需求：在低维空间中可视化海量多元数据的底层结构。然而，许多降维方法面临所谓的“拥挤问题”，即聚类在嵌入时往往相互重叠。以前，研究人员希望避免这个问题，并寻求在嵌入中最大限度地分离集群。然而，所提出的基于入树（IT）的方法，称为IT映射，允许嵌入中的聚类局部重叠，同时寻求通过一些小而关键的部分使它们可区分。IT-map为聚类保持映射提供了一种简单、有效、新颖的解决方案，使得对原始数据点进行交互式聚类成为可能，在科学和工程中具有普遍意义。
2015-03-18 cs.CV cs.LG stat.ML
Dimensionality reduction with missing values imputation
University of Tunis El Manar（突尼斯玛纳大学）；National Engineering School of Tunis（突尼斯国家工程学院）
在这项研究中，我们提出了一种新的统计方法，用于异构数据的高维约简，限制维数灾难和处理缺失值。为了处理后者，我们建议使用随机森林的插补方法。这里的主要目的是提取有用的信息，从而减少搜索空间以促进数据探索过程。还包括使用来自公开可用的机器学习存储库的数据的几个说明性数值示例。实验部分的研究表明，所提出的分析方法的效率。
2017-07-02 cs.DS cs.LG stat.ML
Neural active manifolds: nonlinear dimensionality reduction for uncertainty quantification
本研究提出一种基于自编码器的神经主动流形（NeurAM）非线性降维方法，无需梯度即可捕捉高成本模型输出变异性，可辅助科学计算多查询任务，经理论和数值验证能降低多保真度采样估计方差，性能优于现有方法。
2025-10-30 cs.NA math.NA stat.ML
A survey of dimensionality reduction techniques
Natl. Centre for Biotechnology (CSIC)（国家生物技术中心（CSIC））
近几十年来，生物学或化学等实验生命科学的实验数据激增。实验室仪器变得越来越复杂，并且在单个实验中报告数百或数千个测量结果，因此统计方法在处理此类高维数据时面临挑战性任务。然而，许多数据是高度冗余的，可以有效地减少到更少的变量，而不会丢失大量信息。使这种减少成为可能的数学过程被称为降维技术;它们已经被统计学或机器学习等领域广泛开发，并且是当前的热门研究课题。在这篇评论中，我们分类过多的降维技术，并给出背后的数学见解。
2014-03-12 cs.LG q-bio.QM stat.ML
Dimensionality reduction for acoustic vehicle classification with spectral embedding
Institute of Mathematical Sciences（数学科学研究所）；Claremont Graduate University（克莱蒙特研究生大学）
我们提出了一种识别移动车辆的方法，使用路边音频传感器的数据。这个问题的应用范围很广，从流量分析到监控。我们使用短时傅立叶变换从音频信号中提取频率特征，并将每个时间窗口视为要分类的单个数据点。通过应用谱嵌入，我们充分降低了数据的维数，使K-最近邻提供准确的车辆识别。
2018-02-17 cs.LG physics.data-an stat.ML
CCP: Correlated Clustering and Projection for Dimensionality Reduction
Michigan State University（密歇根州立大学）
大多数降维方法采用从矩阵对角化获得的频域表示，并且对于具有相对高的内在维度的大型数据集可能不是有效的。为了应对这一挑战，相关聚类和投影（CCP）提供了一种新的数据域策略，不需要求解任何矩阵。CCP将高维特征划分为相关的簇，然后基于样本相关性将每个簇中的相关特征投影到一维表示中。残差相似性（R-S）分数和指数，黎曼流形中的数据形状，以及基于代数拓扑的持久拉普拉斯算子被引入可视化和分析。所提出的方法与基准数据集与各种机器学习算法进行了验证。
2022-06-08 cs.CG cs.LG stat.ML
FibeRed: Fiberwise Dimensionality Reduction of Topologically Complex Data with Vector Bundles
Northeastern University（东北大学）
现有的降维算法很难将具有非平凡大规模拓扑结构的数据集嵌入到低维欧氏空间中。我们建议使用向量束对拓扑复杂的数据集进行建模，以这样一种方式，即基空间占大规模拓扑，而纤维占局部几何。这允许减少纤维的维数，同时保持大规模拓扑。我们形式化这一观点，并作为一个应用程序，我们描述了一种算法，它需要作为输入的数据集连同它在欧几里得空间的初始表示，假设恢复其大规模拓扑的一部分，并输出一个新的表示，集成本地表示，通过本地线性降维，沿初始的全球表示。我们证明了这种算法的例子来自动力系统和化学。在这些例子中，我们的算法能够学习拓扑上忠实的嵌入数据在较低的目标维度比各种众所周知的基于度量的降维算法。
2023-03-15 cs.CG cs.LG math.AT
Optimal Dimensionality Reduction of Complex Dynamics: The Chess Game as Diffusion on a Free Energy Landscape
在复杂动力学分析中，简化是普遍存在的问题.传统的降维技术，然而，专注于再现底层的配置空间，而不是动力学本身。构造的低维空间不能提供完整和准确的动力学描述。在这里，我描述了如何执行降维，同时保持动力学的基本属性。该方法通过分析国际象棋游戏-复杂动力学的原型来说明。一个变量，提供完整和准确的描述国际象棋的动态构造。获胜概率通过将游戏描述为与变量相关的自由能景观上的随机行走来预测。这种方法提出了一种可能的方法，获得一个简单而准确的描述许多重要的复杂现象。国际象棋博弈的分析表明，该方法可以定量描述人类决策发挥核心作用的过程的动态，例如，金融和社会动态。
2011-03-18 nlin.AO physics.chem-ph physics.data-an
Mechanisms of dimensionality reduction and decorrelation in deep neural networks
Sun Yat-sen University（中山大学）；RIKEN Center for Brain Science（理化学研究所脑科学中心）
深度神经网络广泛应用于各个领域。然而，深度网络每一层的计算本质还远未被很好地理解。因此，提高深度神经网络的可解释性非常重要。在这里，我们构建了一个平均场框架，以了解如何跨层开发紧凑表示，不仅在具有随机权重的确定性深度网络中，而且在进行无监督学习的生成式深度网络中。我们的理论表明，深度计算实现了降维，同时保持神经元之间有限水平的弱相关性，以进行可能的特征提取。降维和去相关的机制统一在同一个框架中。这项工作可能为理解感觉层次结构如何工作铺平道路。
2018-11-27 cond-mat.stat-mech cs.LG stat.ML
SqueezeFit: Label-aware dimensionality reduction by semidefinite programming
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）
给定高维向量空间中的标记点，我们寻找一个低维子空间，使得投影到这个子空间上保持不同标记点之间的某个指定距离。预期应用包括压缩分类。受大间隔最近邻分类法的启发，本文提出了一种半定松弛方法。不像它的前辈，这种放松是服从理论分析，使我们能够证明恢复种植投影算子的数据。
2018-12-06 cs.LG math.OC stat.ML
Dimensionality reduction for click-through rate prediction: Dense versus sparse representation
Adform ApS（Adform公司）；Technical University of Denmark（丹麦技术大学）
在在线广告中，展示广告越来越多地基于实时拍卖来投放，其中获胜的广告客户可以投放广告。这就是所谓的实时竞价（RTB）。在RTB中，拍卖有非常严格的时间限制，大约为100 ms。因此，用于智能出价的机制（诸如点击率预测）需要足够快。在这项工作中，我们建议使用降维的用户-网站交互图，以产生简化的功能，用户和网站，可用作预测的点击率。我们证明了无限关系模型（Infinite Relational Model，缩写为RRM）作为降维方法，提供了与传统降维方案相当的预测性能，同时实现了最经济的功能使用和运行时最快的计算。对于实时竞价等应用，快速的数据库I/O和少量的计算是成功的关键，因此我们建议使用基于特征的预测器来利用二分图的推荐效果。
2014-05-13 cs.LG stat.AP stat.ME
Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE
University of Cambridge（剑桥大学）
本文从概率视角将 UMAP 与 t-SNE 近似统一为 Ravuri 等模型下的 MAP 推断，并通过核与 GPLVM 建立理论联系。
2025-05-10 cs.AI cs.LG stat.ML
Tensor-Train Parameterization for Ultra Dimensionality Reduction
The University of Sydney（悉尼大学）；China University of Geosciences（中国地质大学）
局部保持投影（LPP）是一种经典的基于数据图信息的降维方法。然而，LPP仍然对极端离群值有反应。针对向量数据的LPP在应用于多维数据时可能会破坏数据的结构信息。此外，它假设数据的维数小于实例的数量，这是不适合高维数据。对于高维数据分析，张量-列车分解被证明是能够高效和有效地捕捉空间关系。因此，我们提出了一个张量列车参数化的超降维（TTPUDR），其中传统的LPP映射张量列车和LPP目标的Frobenius范数取代，以增加模型的鲁棒性。利用流形优化技术对新模型进行求解。TTPUDR的性能进行评估分类问题和TTPUDR显着优于过去的方法和几个国家的最先进的方法。
2019-08-14 cs.LG eess.IV stat.ML
Deep Manifold Transformation for Nonlinear Dimensionality Reduction
Westlake University（西湖大学）
基于流形学习的编码器在数据挖掘的非线性降维（NLDR）中发挥着重要作用。然而，现有的方法通常不能保持数据的几何、拓扑和/或分布结构。在本文中，我们提出了一个深度流形学习框架，称为深度流形变换（DMT），用于无监督NLDR和嵌入学习。DMT通过使用跨层局部几何保持（LGP）约束来增强深度神经网络。LGP约束构成了深度流形学习的损失，并作为NLDR网络训练的几何正则化器。对合成数据和真实数据的大量实验表明，DMT网络在保留数据结构方面优于现有领先的基于流形的NLDR方法。
2021-05-03 cs.CV cs.HC cs.LG
Scalable semi-supervised dimensionality reduction with GPU-accelerated EmbedSOM
Faculty of Mathematics and Physics of Charles University（查理大学数学与物理学院）；Luxembourg Centre for Systems Biomedicine, University of Luxembourg（卢森堡大学卢森堡系统生物医学中心）；Institute of Haematology and Blood Transfusion（血液学与输血研究所）；Institute of Organic Chemistry and Biochemistry（有机化学与生物化学研究所）
简化方法作为可视化工具在不同的科学领域有着广泛的应用。虽然存在许多不同的方法，但它们的性能通常不足以提供对许多当代数据集的快速洞察，并且无监督的使用模式阻止用户利用这些方法进行数据集探索和微调细节以提高可视化质量。我们提出了一种高性能的半监督降维软件，用于对具有数百万个数据点的高维数据集进行交互式用户可操纵的可视化。RISTOSOM建立在嵌入式SOM算法的GPU加速实现基础上，并辅以几种基于地标的算法，用于将无监督模型学习算法与用户监督相结合。我们展示了在现实数据集上的CNOSOM应用，它有助于生成高质量的可视化，其中包含用户指定的布局并专注于某些功能。我们相信半监督降维将提高单细胞细胞计数等科学领域的数据可视化可能性，并为数据集探索和注释的新方向提供快速有效的基础方法。
2022-01-03 cs.DC cs.LG stat.ML
