Feature Dimensionality Reduction for Video Affect Classification: A Comparative Study
Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）
情感计算已经成为人机交互领域的一个重要研究方向。然而，影响是主观的、微妙的和不确定的。因此，与我们可以提取的可能特征的数量相比，很难获得大量的标记训练样本。因此，降维在情感计算中至关重要。本文介绍了我们的初步研究降维的影响分类。介绍并比较了五种常用的降维方法。在DEAP数据集上的实验表明，没有一种方法可以普遍优于其他方法，直接使用原始特征进行分类可能并不总是一个坏的选择。
2018-08-08 cs.CV cs.HC cs.LG
Riemannian joint dimensionality reduction and dictionary learning on symmetric positive definite manifold
The University of Electro-Communications（电气通信大学）；Microsoft（微软）
字典学习（DL）和降维（DR）是分析高维噪声信号的有力工具。本文提出了一种新的黎曼联合降维和字典学习（R-JDRDL）对称正定（SPD）流形分类任务的建议。联合学习通过将降维和字典学习过程连接到一个统一的框架中来考虑它们之间的相互作用。我们利用黎曼优化框架来解决DL和DR问题。最后，我们证明了建议的R-JDRDL优于现有的国家的最先进的算法时，用于图像分类任务。
2019-02-11 cs.AI cs.CV cs.LG
Spectral Overlap and a Comparison of Parameter-Free, Dimensionality Reduction Quality Metrics
Stanford University（斯坦福大学）
非线性降维方法是数据科学家和研究人员可视化复杂高维数据的常用工具。然而，虽然这些方法不断改进并在数量上增加，但由于多种因素，例如缺乏有关数据内在维度的信息以及许多评估指标需要额外调整，通常很难评估可视化的质量。在本文中，我们试图提供一个系统的比较降维质量指标使用的数据集，我们知道地面真流形。我们在用于可视化的流行降维方法中利用每个指标进行超参数优化，并提供定量指标来客观地将可视化与其原始流形进行比较。在我们的研究结果中，我们发现了一些似乎一直做得很好的方法，并提出了最好的表现作为评估基于降维的可视化的基准。
2019-09-03 cs.LG stat.ML
Dimensionality Reduction with Subspace Structure Preservation
SUNY Buffalo（纽约州立大学布法罗分校）
将数据建模为从独立子空间的并集中采样已经广泛应用于许多现实世界的应用。然而，理论上保持这种独立性假设的降维方法还没有得到很好的研究。我们的主要贡献是表明，$2K$投影向量是足够的任何$K$类数据的独立保存从一个联盟的独立子空间。正是这种非平凡的观察，我们用来设计我们的降维技术。在本文中，我们提出了一种新的降维算法，理论上保留了给定数据集的这种结构。我们支持我们的理论分析与实证结果的合成和现实世界的数据实现\textit{state-of-the-art}结果相比，流行的降维技术。
2016-04-06 cs.LG stat.ML
A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将未标记的数据点划分为多个簇的问题，使得一个簇内的数据点近似位于低维线性子空间上。在许多实际应用中，由于测量、计算或隐私等方面的限制，待聚类数据点的维数被压缩。本文研究了一种流行的子空间聚类算法稀疏子空间聚类（SSC）的理论性质，建立了稀疏子空间聚类在降维数据上的形式化成功条件。我们的分析适用于最一般的完全确定性模型，其中每个子空间内的底层子空间和数据点都是确定性定位的，并且还适用于各种降维技术（例如，高斯随机投影，均匀子采样，草图），落入子空间嵌入框架（Meng & Mahoney，2013; Avron等人，2014年）。最后，我们将我们的分析应用于差分私有SSC算法，并建立了所提出的方法的隐私和效用保证。
2016-10-24 cs.LG stat.ML
IT-map: an Effective Nonlinear Dimensionality Reduction Method for Interactive Clustering
University of Electronic Science and Technology of China（电子科技大学）
降维是许多领域科学家的共同需求和基本需求：在低维空间中可视化海量多元数据的底层结构。然而，许多降维方法面临所谓的“拥挤问题”，即聚类在嵌入时往往相互重叠。以前，研究人员希望避免这个问题，并寻求在嵌入中最大限度地分离集群。然而，所提出的基于入树（IT）的方法，称为IT映射，允许嵌入中的聚类局部重叠，同时寻求通过一些小而关键的部分使它们可区分。IT-map为聚类保持映射提供了一种简单、有效、新颖的解决方案，使得对原始数据点进行交互式聚类成为可能，在科学和工程中具有普遍意义。
2015-03-18 cs.CV cs.LG stat.ML
Dimensionality Reduction for $k$-means Clustering
我们提出了一个研究如何有效地降低维度的$k$ -均值聚类问题，从而获得可证明准确的近似。四个算法，两个\textit{feature selection}和两个基于\textit{feature extraction}的算法，所有这些都是随机的。
2020-07-26 cs.LG stat.ML
CCP: Correlated Clustering and Projection for Dimensionality Reduction
Michigan State University（密歇根州立大学）
大多数降维方法采用从矩阵对角化获得的频域表示，并且对于具有相对高的内在维度的大型数据集可能不是有效的。为了应对这一挑战，相关聚类和投影（CCP）提供了一种新的数据域策略，不需要求解任何矩阵。CCP将高维特征划分为相关的簇，然后基于样本相关性将每个簇中的相关特征投影到一维表示中。残差相似性（R-S）分数和指数，黎曼流形中的数据形状，以及基于代数拓扑的持久拉普拉斯算子被引入可视化和分析。所提出的方法与基准数据集与各种机器学习算法进行了验证。
2022-06-08 cs.CG cs.LG stat.ML
Stochastic Bottleneck: Rateless Auto-Encoder for Flexible Dimensionality Reduction
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
我们提出了一个新的概念，无比率自动编码器（RL-AE），使一个灵活的潜在的维度，它可以无缝地调整不同的失真和维度的要求。在建议的RL-AE，而不是一个确定性的瓶颈架构，我们使用一个过完备的表示，是随机正则化加权辍学，在一种类似于稀疏AE（SAE）的方式。与SAE不同，我们的RL-AE在潜在表示节点上采用单调增加的退出率，使得潜在变量按重要性排序，如主成分分析（PCA）。这是由传统PCA的无比率属性激发的，其中最不重要的主成分可以被丢弃以实现可变速率降维，从而优雅地降低失真。相比之下，由于传统AE的潜变量对于数据重建同样重要，因此在训练AE模型之后不能简单地丢弃它们以进一步降低维度。我们提出的随机瓶颈框架可以实现无缝的速率自适应，具有高重建性能，而不需要在训练时预先确定潜在的维度。我们的实验表明，建议RL-AE可以实现可变的降维，同时实现低失真相比，传统的AE。
2020-05-06 cs.CV cs.LG eess.IV
FibeRed: Fiberwise Dimensionality Reduction of Topologically Complex Data with Vector Bundles
Northeastern University（东北大学）
现有的降维算法很难将具有非平凡大规模拓扑结构的数据集嵌入到低维欧氏空间中。我们建议使用向量束对拓扑复杂的数据集进行建模，以这样一种方式，即基空间占大规模拓扑，而纤维占局部几何。这允许减少纤维的维数，同时保持大规模拓扑。我们形式化这一观点，并作为一个应用程序，我们描述了一种算法，它需要作为输入的数据集连同它在欧几里得空间的初始表示，假设恢复其大规模拓扑的一部分，并输出一个新的表示，集成本地表示，通过本地线性降维，沿初始的全球表示。我们证明了这种算法的例子来自动力系统和化学。在这些例子中，我们的算法能够学习拓扑上忠实的嵌入数据在较低的目标维度比各种众所周知的基于度量的降维算法。
2023-03-15 cs.CG cs.LG math.AT
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
University of Toyama（富山大学）；Institute of Natural Medicine, University of Toyama, Japan（富山大学自然医学研究所）
本文提出了一种新的降维算法-分支嵌入（BE）。它将树状图转换为二维散点图，并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高，因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明，该算法的输出适度地保持了原有的层次结构。
2018-05-06 cs.LG stat.ML
Randomized ICA and LDA Dimensionality Reduction Methods for Hyperspectral Image Classification
IRISA（法国国家信息与自动化研究所雷恩布列塔尼大西洋分校）
在高光谱图像处理中，降维是克服维数灾难问题的重要步骤。线性降维方法，如独立成分分析（ICA）和线性判别分析（LDA）通常用于降低HSI的维数。这些方法无法捕捉HSI数据中的非线性相关性，因为数据位于非线性流形中。为了解决这一问题，引入了基于核方法的非线性变换技术对HSI进行降维。然而，核方法在计算核矩阵时涉及三次计算复杂度，因此当像素（样本）的数量很大时，不能探索其潜力。在文献中，随机选择较少数量的像素来部分地克服这个问题，但是这种次优策略可能会忽略HSI中的重要信息。在本文中，我们提出了随机解决方案的ICA和LDA降维方法使用随机傅立叶特征，我们标记为RFFICA和RFFLDA。我们提出的方法克服了可扩展性问题，并更有效地处理数据中存在的非线性。两个真实世界的高光谱数据集进行的实验表明，我们提出的随机方法优于传统的内核ICA和内核LDA的整体，每类精度和计算时间。
2018-04-19 cs.LG stat.ML
An Information Geometric Framework for Dimensionality Reduction
本文研究统计流形上的信息几何降维问题。虽然最近已经有相当多的工作提出了关于降维的学习任务，如分类，聚类和可视化的目的，这些方法主要集中在黎曼流形在欧几里得空间。虽然对于许多应用来说已经足够了，但有许多高维信号没有直接和有意义的欧几里得表示。在这些情况下，信号可以更适当地表示为位于统计流形或概率密度函数（PDF）流形上的某种分布的实现。我们提出了一个降维框架，使用信息几何的统计流形重建以及在数据域中的降维。
2008-09-29 stat.ME stat.ML
Deep Manifold Transformation for Nonlinear Dimensionality Reduction
Westlake University（西湖大学）
基于流形学习的编码器在数据挖掘的非线性降维（NLDR）中发挥着重要作用。然而，现有的方法通常不能保持数据的几何、拓扑和/或分布结构。在本文中，我们提出了一个深度流形学习框架，称为深度流形变换（DMT），用于无监督NLDR和嵌入学习。DMT通过使用跨层局部几何保持（LGP）约束来增强深度神经网络。LGP约束构成了深度流形学习的损失，并作为NLDR网络训练的几何正则化器。对合成数据和真实数据的大量实验表明，DMT网络在保留数据结构方面优于现有领先的基于流形的NLDR方法。
2021-05-03 cs.CV cs.HC cs.LG
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta（阿尔伯塔大学）
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示：正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用，我们恢复了一个因子化的角度，揭示了一些差距，在目前的文献。除了确定一个有用的新损失流形展开，一个关键的贡献是获得新的凸正则化，结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
Dimensionality Reduction of Movement Primitives in Parameter Space
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
运动基元是现实世界机器人的重要策略类。然而，它们的参数化的高维性使得策略优化在样本和计算方面都是昂贵的。实现运动基元的有效表示有助于机器学习技术的应用，例如机器人技术上的强化。运动，特别是在高度冗余的运动学结构中，在位形空间中表现出高度的相关性。由于这些原因，以前的工作主要集中在应用降维技术的配置空间。在本文中，我们研究的应用降维的参数空间，识别主要的运动。由此产生的方法是丰富的概率处理的参数，继承所有属性的概率运动原语。我们测试所提出的技术都在一个真正的机器人任务和复杂的人类运动的数据库。实证分析表明，参数空间中的降维比配置空间中的降维更有效，因为它使运动的表示与参数的显着减少。
2020-02-26 cs.LG cs.RO stat.ML
PCA-Based Out-of-Sample Extension for Dimensionality Reduction
在高维数据分析领域中，近似性约简方法是非常常见的。通常，用于降维的算法在计算上昂贵。因此，它们用于分析大量数据的应用是不切实际的。例如，由于累积的数据而导致的重复计算在计算上是禁止的。本文提出了一种样本外延拓方法，作为降维方法的补充。我们描述了一种算法，它执行一个新到达的数据点的样本外扩展。与Nyström算法等其他扩展算法不同，该算法利用数据的内在几何结构和属性进行降维映射。我们证明了所提出的算法的误差是有界的。除了样本外扩展之外，该算法还提供了任何新到达的数据点的异常程度。
2015-11-03 stat.ML
Supervised Dimensionality Reduction via Distance Correlation Maximization
Rutgers University（罗格斯大学）
在我们的工作中，我们提出了一种新的配方监督降维的基础上的非线性依赖性标准，称为统计距离相关，Szekely等。其他人（2007年）。我们提出了一个目标，这是免费的回归变量和回归模型假设的分布假设。我们提出的公式是基于学习一个低维特征表示$\mathbf{z}$，它最大化的平方和之间的距离相关性低维特征$\mathbf{z}$和响应$y$，也之间的功能$\mathbf{z}$和协变量$\mathbf{x}$。我们提出了一种新的算法来优化我们提出的目标使用广义最小化最大化方法的\Parizi等。（2015）。我们在多个数据集上显示了优越的经验结果，证明了我们提出的方法比几种相关的最先进的监督降维方法的有效性。
2016-01-03 cs.LG stat.ML
Dimensionality Reduction Ensembles
包围学习在监督学习中取得了许多成功，但在无监督学习和降维方面却很少。本研究探讨降维集成，使用主成分分析和流形学习技术，以捕捉线性，非线性，局部和全局功能的原始数据集。首先在模拟数据上测试简化集成，然后使用随机森林分类器在两个真实的医疗数据集上测试;结果表明这种方法的有效性，准确性接近完整数据集。局限性包括具有强性能的一些算法的计算成本，这可以通过分布式计算和开发这些算法的更有效版本来改善。
2017-10-11 stat.AP stat.ML
Adaptive Metric Dimensionality Reduction
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在一般度量空间中，我们研究了监督学习背景下的自适应数据相关降维问题。我们的主要统计贡献是一个推广的Lipschitz函数在度量空间的两倍，或接近一倍。在算法方面，我们描述了一个类似的PCA度量空间：即一个有效的程序，近似数据的内在维度，这往往是远低于环境维度。因此，我们的方法利用了低维度的双重好处：（1）更有效的算法，例如，用于邻近搜索，以及（2）更乐观的泛化边界。
2015-03-25 cs.DS cs.LG stat.ML
A Review, Framework and R toolkit for Exploring, Evaluating, and Comparing Visualizations
Bogazici University（博阿齐奇大学）；Mississippi State University（密西西比州立大学）
本文对降维技术的评价方法进行了综述和综合。特别注意的是排名顺序的邻域评价指标。一个框架，通过可视化探索降维质量。一个相关的工具包是用R实现的。该工具包包括散点图、热图、黄土平滑和性能提升图。总体原理是帮助研究人员比较降维技术，并使用视觉见解来帮助选择和改进技术。给出了流形的降维和应用于消费者调查数据集的降维的例子。
2019-02-22 cs.LG stat.ML
Deep Variational Sufficient Dimensionality Reduction
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们考虑充分降维（SDR）的问题，其中高维观测被转换到一个低维的子空间，在该子空间中，关于标签变量的观测信息被保留。我们提出了DVSDR，一个深度变分方法，充分降维。我们模型中的深层结构有一个瓶颈，代表数据的低维嵌入。我们使用图形模型解释SDR问题，并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明，这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中，我们表明，DVSDR在分类任务上具有竞争力，同时能够生成新的数据样本。
2018-12-18 cs.LG stat.ML
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen（图宾根大学）
本研究提出分层高斯混合模型HMoGs，将降维与聚类统一为单个概率模型，通过新型指数族参数化降低计算复杂度，在合成数据和MNIST上验证了联合优化的性能提升，兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
ENS de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；EPFL（洛桑联邦理工学院）；Univ. Lyon（里昂大学）；UCBL（里昂第一大学）；Inria（法国国家信息与自动化研究所）；École polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Université Bretagne Sud（南布列塔尼大学）
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架，可同时实现样本与特征降维，兼具经典降维与硬聚类能力，可用于图像数据集可视化，为真实数据摘要提供了融合降维和聚类的新途径。
2023-10-05 cs.LG stat.ML
TriMap: Large-scale Dimensionality Reduction Using Triplets
Google Research（谷歌研究院）
介绍了TriMap;一种基于三元组约束的降维技术，它比其他常用的方法（如t-SNE，LargeVis和UMAP）更好地保留了数据的全局结构。为了量化嵌入的全局准确性，我们引入了一个分数，该分数大致反映了聚类而不是单个点的相对位置。我们凭经验证明了TriMap在嵌入质量和运行时间方面在各种数据集上的出色性能。在我们的性能基准测试中，TriMap可以轻松扩展到数百万个点，而不会耗尽内存，并且在运行时间方面明显优于t-SNE，LargeVis和UMAP。
2022-03-26 cs.LG stat.ML
Multiclass spectral feature scaling method for dimensionality reduction
University of Tsukuba（筑波大学）
不规则的特征破坏了所需的分类。在本文中，我们考虑积极地修改尺度的功能在原始空间中的标签信息，以形成良好的分离在低维空间中的集群。所提出的方法利用谱聚类来获得用于修改功能的缩放因子。具体地说，我们将谱聚类的拉普拉斯特征值问题转化为特征向量具有尺度因子的线性矩阵束的特征值问题。数值实验表明，该方法在样本数大于特征数的玩具问题和特征数大于样本数的现实问题中的降维效果优于已有的监督降维方法.
2019-10-16 cs.LG stat.ML
A Nonlinear Dimensionality Reduction Framework Using Smooth Geodesics
Worcester Polytechnic Institute（伍斯特理工学院）；Clarkson University（克拉克森大学）
现有的降维方法善于揭示隐藏的底层流形所产生的高维数据，从而产生一个低维的表示。然而，由经典技术在稀疏和噪声数据上产生的流形的平滑性是不能保证的。事实上，使用这些数据生成的嵌入可能会扭曲流形的几何形状，从而产生不忠实的嵌入。在这里，我们提出了一个非线性降维的框架，生成一个流形上的光滑测地线，旨在处理问题，其中流形测量是稀疏的或被噪声破坏。我们的方法生成一个网络结构，给定的高维数据使用最近邻搜索，然后产生分段线性最短路径被定义为测地线。然后，我们拟合点在每个测地线光滑样条强调的光滑性。通过在合成数据集和真实数据集上实施该方法，证明了该方法对稀疏和噪声数据集的鲁棒性。
2018-07-13 cs.CV cs.LG math.DS
Noisy Data Visualization using Functional Data Analysis
Utah State University（犹他州立大学）；University of Montreal（蒙特利尔大学）
本文提出函数信息几何（FIG）可视化方法，将函数型数据分析引入经验内蕴几何框架以缓解维度灾难，并在结构捕捉、鲁棒性和速度上优于 EIG 变体，成功用于睡眠 EEG 数据可视化。
2024-06-05 cs.LG math.FA stat.ML
Detecting Adversarial Examples through Nonlinear Dimensionality Reduction
Universitá di Pisa（比萨大学）；Universitá degli Studi di Cagliari（卡利亚里大学）
深度神经网络容易受到对抗性示例的影响，即，精心干扰的输入旨在误导分类。本文提出了一种基于非线性降维和密度估计相结合的检测方法。我们的实证研究结果表明，所提出的方法能够有效地检测由非自适应攻击者制作的对抗性示例，即，而不是专门调谐以绕过检测方法。考虑到我们的结果，我们计划在未来的工作中将我们的分析扩展到自适应攻击者。
2019-05-01 cs.CR cs.LG stat.ML
Evaluating Graph Signal Processing for Neuroimaging Through Classification and Dimensionality Reduction
IMT Atlantique（IMT大西洋高等电信学校）
图形信号处理（GSP）是一个很有前途的框架来分析多维神经成像数据集，同时考虑到大脑信号之间的空间和功能依赖性。在目前的工作中，我们应用降维技术的基础上，图形表示的大脑解码大脑活动的真实和模拟的fMRI数据集。我们介绍了从a）几何结构和/或b）休息时大脑区域之间的功能连接获得的七个图，并在进行分类降维时对它们进行比较。我们表明，使用a）和b）的混合图提供了最好的性能。我们还表明，图采样方法比经典的降维，包括主成分分析（PCA）和独立成分分析（ICA）的表现更好。
2017-08-28 cs.CV q-bio.NC stat.ML
Foundations of Coupled Nonlinear Dimensionality Reduction
Courant Institute（库朗研究所）；Google Research（谷歌研究院）
在本文中，我们介绍和分析了\emph{coupled nonlinear dimensionality reduction}的学习场景，它结合了机器学习管道的两个主要步骤：投影到流形上和随后的监督学习。首先，我们提出了新的泛化界，这种情况下，第二，我们引入了一个算法，从这些界限。泛化误差界是基于对相关假设集的经验拉德马赫复杂度的仔细分析。特别是，我们显示了一个上限的拉德马赫复杂度性是在$\widetilde O(\sqrt{Λ_{(r)}/m})$，其中$m$是样本量和$Λ_{(r)}$上界的Ky-Fan $r$ -范数的相关的内核矩阵。我们给出了Ky-Fan $r$ -范数的上下界保证，这有力地证明了我们假设集的定义。据我们所知，这些是耦合降维问题的第一个学习保证。我们的分析和学习保证进一步适用于几种特殊情况，例如使用固定内核进行监督降维，或者对内核进行无监督学习进行降维，然后使用监督学习算法。在理论分析的基础上，我们提出了一个结构风险最小化算法，该算法由低维流形和该流形上的分离函数的耦合拟合组成。
2015-11-25 cs.LG stat.ML
A dimensionality reduction technique based on the Gromov-Wasserstein distance
Instituto Federal de Educação, Ciência e Tecnologia do Ceará（塞阿拉联邦教育、科学与技术研究所）；Federal University of Ceara（塞阿拉联邦大学）；Université Paris-Saclay, CEA, List（巴黎-萨克雷大学，CEA，List）
本文提出一种基于最优传输理论和Gromov-Wasserstein距离的降维方法，以概率视角重新解释MDS与Isomap，并通过梯度下降实现高维数据的稳健低维嵌入。
2025-07-07 cs.LG stat.ML
Dimensionality reduction with missing values imputation
University of Tunis El Manar（突尼斯玛纳大学）；National Engineering School of Tunis（突尼斯国家工程学院）
在这项研究中，我们提出了一种新的统计方法，用于异构数据的高维约简，限制维数灾难和处理缺失值。为了处理后者，我们建议使用随机森林的插补方法。这里的主要目的是提取有用的信息，从而减少搜索空间以促进数据探索过程。还包括使用来自公开可用的机器学习存储库的数据的几个说明性数值示例。实验部分的研究表明，所提出的分析方法的效率。
2017-07-02 cs.DS cs.LG stat.ML
Introducing user-prescribed constraints in Markov chains for nonlinear dimensionality reduction
Columbia University（哥伦比亚大学）
基于随机核的降维方法在过去十年中变得流行。许多这些方法的中心组成部分是一个对称的内核，量化的数据点对之间的邻近和内核诱导的马尔可夫链的数据。通常，马尔可夫链由内核通过行规范化完全指定。然而，在许多情况下，它是可取的施加用户指定的静态和动态约束的马尔可夫链。不幸的是，没有系统的框架来强加这种用户定义的限制。在这里，我们引入了一个基于路径熵最大化的方法来推导马尔可夫链的转移概率使用内核和额外的用户指定的约束。我们举例说明这些马尔可夫链的有用性。
2018-08-06 cs.LG stat.ML
Stable Sparse Subspace Embedding for Dimensionality Reduction
Zhengzhou University（郑州大学）；Xidian University（西安电子科技大学）
稀疏随机投影（RP）是一种流行的降维工具，表现出良好的性能与低计算复杂性。然而，在现有的稀疏RP矩阵中，非零元素的位置通常是随机选择的。虽然它们都采用了带替换的均匀抽样，但由于抽样方差较大，一次产生的投影矩阵的非零个数在各行之间不均匀，降维后可能丢失更多的数据信息。为了突破这一瓶颈，本文基于统计学中的随机抽样不替换原理，构造了一种稳定的稀疏子空间嵌入矩阵（S-SSE）。证明了S-SSE比已有的矩阵更稳定，降维后能很好地保持点间欧氏距离。我们的实证研究证实了我们的理论研究结果，并证明我们的方法确实可以取得令人满意的性能。
2020-02-07 cs.LG stat.ML
Dimensionality Reduction via Regression in Hyperspectral Imagery
Universitat de València（瓦伦西亚大学）
提出了一种新的无监督回归降维方法。该算法属于可逆变换家族，通过使用曲线而不是线性特征来推广主成分分析（PCA）。DRR通过多元回归识别非线性特征，以确保减少PCA系数之间的冗余，减少分数的方差，并减少重建误差。更重要的是，与其他非线性降维方法不同，可逆性，体积保持和直接的样本外扩展使得DRR具有可解释性和易于应用。DRR的性质使学习更广泛的一类数据流形比最近提出的非线性主成分分析（NLPCA）和主多项式分析（PPA）。我们说明了表现在减少遥感数据的维数。特别是，我们解决两个常见的问题：处理非常高维的光谱信息，如在高光谱图像探测数据，和处理多光谱图像的空间光谱图像补丁。这两种设置造成共线性和不确定性问题。的功能的表达能力的评价进行评估截断误差，估计大气变量，地表土地覆盖分类误差。结果表明，DRR优于线性PCA和最近提出的基于神经网络（NLPCA）和单变量回归（PPA）的可逆扩展。
2016-01-31 cs.CV stat.ML
A survey of dimensionality reduction techniques
Natl. Centre for Biotechnology (CSIC)（国家生物技术中心（CSIC））
近几十年来，生物学或化学等实验生命科学的实验数据激增。实验室仪器变得越来越复杂，并且在单个实验中报告数百或数千个测量结果，因此统计方法在处理此类高维数据时面临挑战性任务。然而，许多数据是高度冗余的，可以有效地减少到更少的变量，而不会丢失大量信息。使这种减少成为可能的数学过程被称为降维技术;它们已经被统计学或机器学习等领域广泛开发，并且是当前的热门研究课题。在这篇评论中，我们分类过多的降维技术，并给出背后的数学见解。
2014-03-12 cs.LG q-bio.QM stat.ML
Dimensionality reduction for acoustic vehicle classification with spectral embedding
Institute of Mathematical Sciences（数学科学研究所）；Claremont Graduate University（克莱蒙特研究生大学）
我们提出了一种识别移动车辆的方法，使用路边音频传感器的数据。这个问题的应用范围很广，从流量分析到监控。我们使用短时傅立叶变换从音频信号中提取频率特征，并将每个时间窗口视为要分类的单个数据点。通过应用谱嵌入，我们充分降低了数据的维数，使K-最近邻提供准确的车辆识别。
2018-02-17 cs.LG physics.data-an stat.ML
Application of Fuzzy Clustering for Text Data Dimensionality Reduction
College of Information and Communications University of South Carolina（南卡罗来纳大学信息与通信学院）；Arnold School of Public Health at the University of South Carolina（南卡罗来纳大学阿诺德公共卫生学院）
大型文本语料库通常由文档-术语频率矩阵表示，该矩阵的元素是术语的频率，然而，该矩阵存在两个问题：稀疏性和高维性。四个降维策略被用来解决这些问题。在这四种策略中，无监督特征变换（UFT）是一种流行且有效的策略，可以将术语映射到文档-术语频率矩阵中的新基础。虽然已经开发了几种基于UFT的方法，但模糊聚类尚未被考虑用于降维。本研究探讨模糊聚类作为一种新的UFT为基础的方法来创建一个低维表示的文件。模糊聚类与不使用全局加权方法的性能超过主成分分析和奇异值分解。本研究亦探讨应用不同模糊因子值对模糊聚类降维的影响。
2019-09-21 cs.CL cs.LG stat.AP
Dimensionality reduction with subgaussian matrices: a unified theory
我们提出了一个理论，欧几里德降维与亚高斯矩阵，统一了几个限制等距属性和约翰逊-林登施特劳斯型的结果，以前获得的特定数据集。特别是，我们恢复，并在几种情况下，提高结果集的稀疏和结构稀疏向量，低秩矩阵和张量，光滑流形。此外，我们建立了一个新的Johnson-Lindenstrauss嵌入的数据集的形式的Hilbert空间的子空间的无限联盟。
2014-02-17 cs.DS cs.IT math.IT
Mechanisms of dimensionality reduction and decorrelation in deep neural networks
Sun Yat-sen University（中山大学）；RIKEN Center for Brain Science（理化学研究所脑科学中心）
深度神经网络广泛应用于各个领域。然而，深度网络每一层的计算本质还远未被很好地理解。因此，提高深度神经网络的可解释性非常重要。在这里，我们构建了一个平均场框架，以了解如何跨层开发紧凑表示，不仅在具有随机权重的确定性深度网络中，而且在进行无监督学习的生成式深度网络中。我们的理论表明，深度计算实现了降维，同时保持神经元之间有限水平的弱相关性，以进行可能的特征提取。降维和去相关的机制统一在同一个框架中。这项工作可能为理解感觉层次结构如何工作铺平道路。
2018-11-27 cond-mat.stat-mech cs.LG stat.ML
Dimensionality reduction for click-through rate prediction: Dense versus sparse representation
Adform ApS（Adform公司）；Technical University of Denmark（丹麦技术大学）
在在线广告中，展示广告越来越多地基于实时拍卖来投放，其中获胜的广告客户可以投放广告。这就是所谓的实时竞价（RTB）。在RTB中，拍卖有非常严格的时间限制，大约为100 ms。因此，用于智能出价的机制（诸如点击率预测）需要足够快。在这项工作中，我们建议使用降维的用户-网站交互图，以产生简化的功能，用户和网站，可用作预测的点击率。我们证明了无限关系模型（Infinite Relational Model，缩写为RRM）作为降维方法，提供了与传统降维方案相当的预测性能，同时实现了最经济的功能使用和运行时最快的计算。对于实时竞价等应用，快速的数据库I/O和少量的计算是成功的关键，因此我们建议使用基于特征的预测器来利用二分图的推荐效果。
2014-05-13 cs.LG stat.AP stat.ME
Extending classical surrogate modelling to high-dimensions through supervised dimensionality reduction: a data-driven approach
由于其多功能性，易于部署和高性能，代理模型已成为不确定性量化（UQ）武器库中的主要工具。从局部插值到全局谱分解，代理函数的特点是能够基于用于训练的一小组模型运行有效地模拟复杂的计算模型。许多代理模型的固有局限性是它们对维数灾难的敏感性，这传统上将它们的适用性限制在最大的$\mathcal{O}(10^2)$输入维度。我们提出了一种新的方法，在高维代理建模，是模型，降维和代理模型不可知（黑箱），并可以使高维（即高达$\mathcal{O}(10^4)$）问题的解决方案。在介绍了一般算法之后，我们结合Kriging和多项式混沌展开替代和核主成分分析来证明其性能。特别是，我们比较的泛化性能，所得到的代理实现的经典顺序应用程序的降维，然后通过代理建模的几个基准应用程序，包括一个分析功能和两个工程应用程序的维数和复杂性的增加。
2020-02-11 cs.LG stat.CO stat.ME
Bayesian Inference on Matrix Manifolds for Linear Dimensionality Reduction
我们将线性降维问题转化为矩阵流形上的贝叶斯推断问题。这种自然范式将贝叶斯框架扩展到更高维度的降维任务，具有更简单的模型和更快的速度。这里，正交基被视为流形上的单个点，并且与观测值变化最大的线性子空间相关联。在本文中，我们采用格拉斯曼和Stiefel流形的各种降维问题，探索两个流形之间的连接，并使用混合蒙特卡罗的后验抽样格拉斯曼第一次。我们描绘在哪些情况下，任何多方面应予以考虑。此外，矩阵流形模型被用来产生科学的洞察力，在认知神经科学的背景下，我们的结论是，我们的方法是适合于基本的推理，以及准确的预测。
2016-06-14 stat.CO stat.ML
SqueezeFit: Label-aware dimensionality reduction by semidefinite programming
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）
给定高维向量空间中的标记点，我们寻找一个低维子空间，使得投影到这个子空间上保持不同标记点之间的某个指定距离。预期应用包括压缩分类。受大间隔最近邻分类法的启发，本文提出了一种半定松弛方法。不像它的前辈，这种放松是服从理论分析，使我们能够证明恢复种植投影算子的数据。
2018-12-06 cs.LG math.OC stat.ML
Dimensionality reduction methods for molecular simulations
Universitat Pompeu Fabra（庞培法布拉大学）；Acellera（Acellera公司）
分子模拟产生具有数百万个数据点的非常高维的数据集。由于分析方法通常无法处理如此多的维度，因此通常使用降维和聚类方法来实现数据的简化表示。然而，这些方法往往无法捕捉到马尔可夫模型的建设所需的最重要的功能。在这里，我们展示了两个模拟数据集，一个蛋白质折叠和另一个蛋白质-配体结合的各种降维方法的结果。测试的方法包括一个k-means聚类变量，非线性自动编码器，主成分分析和tICA。降维的数据，然后使用马尔可夫状态模型分析来估计隐含的时间尺度的最慢的过程，以评估质量的投影。从数据中学习到的投影维度被可视化，以展示各种方法选择哪些构象来表示分子过程。
2017-11-02 cs.LG q-bio.BM stat.ML
Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE
University of Cambridge（剑桥大学）
本文从概率视角将 UMAP 与 t-SNE 近似统一为 Ravuri 等模型下的 MAP 推断，并通过核与 GPLVM 建立理论联系。
2025-05-10 cs.AI cs.LG stat.ML
Tensor-Train Parameterization for Ultra Dimensionality Reduction
The University of Sydney（悉尼大学）；China University of Geosciences（中国地质大学）
局部保持投影（LPP）是一种经典的基于数据图信息的降维方法。然而，LPP仍然对极端离群值有反应。针对向量数据的LPP在应用于多维数据时可能会破坏数据的结构信息。此外，它假设数据的维数小于实例的数量，这是不适合高维数据。对于高维数据分析，张量-列车分解被证明是能够高效和有效地捕捉空间关系。因此，我们提出了一个张量列车参数化的超降维（TTPUDR），其中传统的LPP映射张量列车和LPP目标的Frobenius范数取代，以增加模型的鲁棒性。利用流形优化技术对新模型进行求解。TTPUDR的性能进行评估分类问题和TTPUDR显着优于过去的方法和几个国家的最先进的方法。
2019-08-14 cs.LG eess.IV stat.ML
Classification Constrained Dimensionality Reduction
简化视知觉是最近的一个热门话题。在本文中，我们提出了分类约束降维（CCDR）算法来说明标签信息。该算法可以考虑多类以及半监督设置。我们提出了一个样本外的表达式标记和未标记的数据。对于未标记的数据，我们引入了一种嵌入新点作为分类器预处理的方法。对于标记数据，我们引入了一种方法，该方法使用样本外扩展在训练阶段改进嵌入。我们调查分类性能使用CCDR算法对高光谱卫星图像数据。我们证明了本地和全局分类器的性能增益，并证明了$k$-最近邻算法的性能提高了10%。我们提出了一个内在的尺寸估计和使用CCDR算法获得的最佳嵌入维数之间的连接。
2008-02-21 stat.ML
Scalable semi-supervised dimensionality reduction with GPU-accelerated EmbedSOM
Faculty of Mathematics and Physics of Charles University（查理大学数学与物理学院）；Luxembourg Centre for Systems Biomedicine, University of Luxembourg（卢森堡大学卢森堡系统生物医学中心）；Institute of Haematology and Blood Transfusion（血液学与输血研究所）；Institute of Organic Chemistry and Biochemistry（有机化学与生物化学研究所）
简化方法作为可视化工具在不同的科学领域有着广泛的应用。虽然存在许多不同的方法，但它们的性能通常不足以提供对许多当代数据集的快速洞察，并且无监督的使用模式阻止用户利用这些方法进行数据集探索和微调细节以提高可视化质量。我们提出了一种高性能的半监督降维软件，用于对具有数百万个数据点的高维数据集进行交互式用户可操纵的可视化。RISTOSOM建立在嵌入式SOM算法的GPU加速实现基础上，并辅以几种基于地标的算法，用于将无监督模型学习算法与用户监督相结合。我们展示了在现实数据集上的CNOSOM应用，它有助于生成高质量的可视化，其中包含用户指定的布局并专注于某些功能。我们相信半监督降维将提高单细胞细胞计数等科学领域的数据可视化可能性，并为数据集探索和注释的新方向提供快速有效的基础方法。
2022-01-03 cs.DC cs.LG stat.ML
Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction
提出监督二次特征分析（SQFA），利用Fisher-Rao距离最大化类间差异，在高斯假设下学习线性特征，实验表明SQFA在分类精度上具有竞争力。
2026-06-29 cs.LG math.DG math.ST
Stochastic Mutual Information Gradient Estimation for Dimensionality Reduction Networks
Northeastern University（东北大学）；Graz University of Technology（格拉茨技术大学）；Silicon Austria Labs（硅谷奥地利实验室）
特征排序和选择是判别式机器学习中监督降维的各种应用中广泛使用的方法。然而，存在显着的证据特征排名和选择算法的基础上，任何标准导致潜在的次优解决方案的类可分性。在这方面，我们介绍了新兴的信息理论特征转换协议作为端到端的神经网络训练方法。我们提出了一个降维网络（MMINet）的训练过程的基础上随机估计的互信息梯度。该网络将高维特征投影到输出特征空间上，其中特征的低维表示携带与其相关联的类标签的最大互信息。此外，我们制定的训练目标，估计非参数，没有分布假设。我们实验评估我们的方法与应用程序的高维生物数据集，并将其与传统的特征选择算法，形成一个特殊的情况下，我们的方法。
2021-05-01 cs.IT cs.LG math.IT
Optimal Dimensionality Reduction of Complex Dynamics: The Chess Game as Diffusion on a Free Energy Landscape
在复杂动力学分析中，简化是普遍存在的问题.传统的降维技术，然而，专注于再现底层的配置空间，而不是动力学本身。构造的低维空间不能提供完整和准确的动力学描述。在这里，我描述了如何执行降维，同时保持动力学的基本属性。该方法通过分析国际象棋游戏-复杂动力学的原型来说明。一个变量，提供完整和准确的描述国际象棋的动态构造。获胜概率通过将游戏描述为与变量相关的自由能景观上的随机行走来预测。这种方法提出了一种可能的方法，获得一个简单而准确的描述许多重要的复杂现象。国际象棋博弈的分析表明，该方法可以定量描述人类决策发挥核心作用的过程的动态，例如，金融和社会动态。
2011-03-18 nlin.AO physics.chem-ph physics.data-an
