Neophytos Charalambides
We present a study on how to effectively reduce the dimensions of the $k$-means clustering problem, so that provably accurate approximations are obtained. Four algorithms are presented, two \textit{feature selection} and two \textit{feature extraction} based algorithms, all of which are randomized.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架，可同时实现样本与特征降维，兼具经典降维与硬聚类能力，可用于图像数据集可视化，为真实数据摘要提供了融合降维和聚类的新途径。
Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein
本文基于最优传输和Gromov-Wasserstein问题提出分布约简框架，将降维与聚类统一在单一优化问题中，并在图像与基因组数据上验证其识别多尺度低维原型的有效性。
Foundations of Coupled Nonlinear Dimensionality Reduction
在本文中，我们介绍和分析了\emph{coupled nonlinear dimensionality reduction}的学习场景，它结合了机器学习管道的两个主要步骤：投影到流形上和随后的监督学习。首先，我们提出了新的泛化界，这种情况下，第二，我们引入了一个算法，从这些界限。泛化误差界是基于对相关假设集的经验拉德马赫复杂度的仔细分析。特别是，我们显示了一个上限的拉德马赫复杂度性是在$\widetilde O(\sqrt{Λ_{(r)}/m})$，其中$m$是样本量和$Λ_{(r)}$上界的Ky-Fan $r$ -范数的相关的内核矩阵。我们给出了Ky-Fan $r$ -范数的上下界保证，这有力地证明了我们假设集的定义。据我们所知，这些是耦合降维问题的第一个学习保证。我们的分析和学习保证进一步适用于几种特殊情况，例如使用固定内核进行监督降维，或者对内核进行无监督学习进行降维，然后使用监督学习算法。在理论分析的基础上，我们提出了一个结构风险最小化算法，该算法由低维流形和该流形上的分离函数的耦合拟合组成。
A dimensionality reduction technique based on the Gromov-Wasserstein distance
本文提出一种基于最优传输理论和Gromov-Wasserstein距离的降维方法，以概率视角重新解释MDS与Isomap，并通过梯度下降实现高维数据的稳健低维嵌入。
Randomized Dimensionality Reduction for k-means Clustering
研究了$k$ -均值聚类的降维问题。简化包含两种方法的结合：\emph{feature selection}和\emph{feature extraction}。一种基于特征选择的$k$均值聚类算法选择输入特征的一个小子集，然后对所选特征应用$k$均值聚类。一种基于特征提取的$k$均值聚类算法构造了一个小的新的人工特征集，然后对构造的特征应用$k$均值聚类。尽管$k$均值聚类的重要性以及解决它的探试法的财富，可证明准确的特征选择方法$k$均值聚类是未知的。另一方面，在文献中已知两种可证明准确的$k$均值聚类特征提取方法;一种是基于随机投影，另一种是基于奇异值分解（SVD）。本文对$k$ -均值聚类的降维方法有了进一步的认识。也就是说，我们提出了第一个证明准确的特征选择方法$k$ -均值聚类，此外，我们提出了两个特征提取方法。第一种特征提取方法是基于随机投影的，它在时间复杂度和需要提取的特征数量方面改进了现有的结果。第二种特征提取方法是基于快速近似SVD分解，它也改善了现有的结果方面的时间复杂度。所提出的算法是随机的，并提供恒定的因素近似保证最佳的$k$ -手段的目标值。
Dimensionality reduction has become an important research topic as demand for interpreting high-dimensional datasets has been increasing rapidly in recent years. There have been many dimensionality reduction methods with good performance in preserving the overall relationship among data points when mapping them to a lower-dimensional space. However, these existing methods fail to incorporate the difference in importance among features. To address this problem, we propose a novel meta-method, DimenFix, which can be operated upon any base dimensionality reduction method that involves a gradient-…
Dimensionality Reduction by Local Discriminative Gaussians
我们提出了局部判别高斯（LDG）降维，监督降维分类技术。LDG目标函数是对局部二次判别分析分类器的留一法训练误差的近似，并且因此局部地作用于每个训练点，以便找到其中可以将相似数据与不相似数据区分开的映射。虽然其他最先进的线性降维方法需要梯度下降或迭代求解方法，但LDG是用单个特征分解求解的。因此，它可以更好地扩展具有大量特征维度或训练样本的数据集。我们还适应LDG的迁移学习设置，并表明，它实现了良好的性能时，测试数据的分布不同于训练数据。
Adaptive Metric Dimensionality Reduction
在一般度量空间中，我们研究了监督学习背景下的自适应数据相关降维问题。我们的主要统计贡献是一个推广的Lipschitz函数在度量空间的两倍，或接近一倍。在算法方面，我们描述了一个类似的PCA度量空间：即一个有效的程序，近似数据的内在维度，这往往是远低于环境维度。因此，我们的方法利用了低维度的双重好处：（1）更有效的算法，例如，用于邻近搜索，以及（2）更乐观的泛化边界。
Low-dimensional embeddings for data from disparate sources play critical roles in multi-modal machine learning, multimedia information retrieval, and bioinformatics. In this paper, we propose a supervised dimensionality reduction method that learns linear embeddings jointly for two feature vectors representing data of different modalities or data from distinct types of entities. We also propose an efficient feature selection method that complements, and can be applied prior to, our joint dimensionality reduction method. Assuming that there exist true linear embeddings for these features, our a…
CBMAP: Clustering-based manifold approximation and projection for dimensionality reduction
针对现有降维方法难以兼顾全局与局部结构、依赖超参数的问题，提出基于聚类的CBMAP方法，实现低维空间聚类与高维空间高度相似，且速度快、可扩展性强、超参数依赖小，还支持测试数据投影。
We propose a novel approach to dimensionality reduction combining techniques of metric geometry and distributed persistent homology, in the form of a gradient-descent based method called DIPOLE. DIPOLE is a dimensionality-reduction post-processing step that corrects an initial embedding by minimizing a loss functional with both a local, metric term and a global, topological term. By fixing an initial embedding method (we use Isomap), DIPOLE can also be viewed as a full dimensionality-reduction pipeline. This framework is based on the strong theoretical and computational properties of distribut…
Feature ranking and selection is a widely used approach in various applications of supervised dimensionality reduction in discriminative machine learning. Nevertheless there exists significant evidence on feature ranking and selection algorithms based on any criterion leading to potentially sub-optimal solutions for class separability. In that regard, we introduce emerging information theoretic feature transformation protocols as an end-to-end neural network training approach. We present a dimensionality reduction network (MMINet) training procedure based on the stochastic estimate of the mutu…
The most effective dimensionality reduction procedures produce interpretable features from the raw input space while also providing good performance for downstream supervised learning tasks. For many methods, this requires optimizing one or more hyperparameters for a specific task, which can limit generalizability. In this study we propose sparse compressed agglomeration (SparCA), a novel dimensionality reduction procedure that involves a multistep hierarchical feature grouping, compression, and feature selection process. We demonstrate the characteristics and performance of the SparCA method …
Dimensionality reduction and width of deep neural networks based on topological degree theory
本文基于拓扑度理论建立紧致空间嵌入链接与降维可分离性的数学框架，并借此为深度神经网络的分类与逼近问题提供新见解。
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
本文提出了一种新的降维算法-分支嵌入（BE）。它将树状图转换为二维散点图，并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高，因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明，该算法的输出适度地保持了原有的层次结构。
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
本研究提出分层高斯混合模型HMoGs，将降维与聚类统一为单个概率模型，通过新型指数族参数化降低计算复杂度，在合成数据和MNIST上验证了联合优化的性能提升，兼具统计严谨性与可解释性。
A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data
子空间聚类是将未标记的数据点划分为多个簇的问题，使得一个簇内的数据点近似位于低维线性子空间上。在许多实际应用中，由于测量、计算或隐私等方面的限制，待聚类数据点的维数被压缩。本文研究了一种流行的子空间聚类算法稀疏子空间聚类（SSC）的理论性质，建立了稀疏子空间聚类在降维数据上的形式化成功条件。我们的分析适用于最一般的完全确定性模型，其中每个子空间内的底层子空间和数据点都是确定性定位的，并且还适用于各种降维技术（例如，高斯随机投影，均匀子采样，草图），落入子空间嵌入框架（Meng & Mahoney，2013; Avron等人，2014年）。最后，我们将我们的分析应用于差分私有SSC算法，并建立了所提出的方法的隐私和效用保证。
Laplacian Matrix for Dimensionality Reduction and Clustering
机器学习中的许多问题可以通过图来表示，图中的节点表示训练样本，边表示样本之间在相似性、时间接近性或标签信息方面的关系。图可以反过来用矩阵表示。一个特殊的例子是拉普拉斯矩阵，它允许我们为每个节点分配一个值，该值在强连接节点之间变化很小，在远连接节点之间变化更大。这种分配可以用于提取有用的特征表示，在低维空间中找到数据的良好嵌入，或者对原始样本执行聚类。在这些课堂讲稿中，我们首先介绍拉普拉斯矩阵，然后介绍围绕它设计的一些算法。
Deep Temporal Clustering : Fully Unsupervised Learning of Time-Domain Features
时间序列数据的无监督学习，也称为时间聚类，是机器学习中的一个具有挑战性的问题。在这里，我们提出了一种新的算法，深度时间聚类（DTC），自然地将降维和时间聚类集成到一个完全无监督的端到端学习框架中。该算法利用一个自动编码器的时间降维和一个新的时间聚类层的集群分配。然后对聚类目标和降维目标进行联合优化。基于需求和应用，时间聚类层可以定制任何时间相似性度量。几个相似性度量和国家的最先进的算法被认为是和比较。为了深入了解网络为其聚类所学习的时间特征，我们应用了一种可视化方法，该方法为时间序列生成感兴趣区域热图。该算法的可行性证明使用不同领域的时间序列数据，从地震到航天器传感器数据。在每种情况下，我们表明，该算法优于传统的方法。优越的性能归因于完全集成的时间降维和聚类标准。
Assessing the impact of dimensionality reduction on clustering performance - a systematic study
本文系统研究了五种降维方法对四种聚类算法的影响，通过调整降维级别评估聚类质量，强调了选择合适降维技术和级别的重要性。
Most dimensionality reduction methods employ frequency domain representations obtained from matrix diagonalization and may not be efficient for large datasets with relatively high intrinsic dimensions. To address this challenge, Correlated Clustering and Projection (CCP) offers a novel data domain strategy that does not need to solve any matrix. CCP partitions high-dimensional features into correlated clusters and then projects correlated features in each cluster into a one-dimensional representation based on sample correlations. Residue-Similarity (R-S) scores and indexes, the shape of data i…
Spectral Overlap and a Comparison of Parameter-Free, Dimensionality Reduction Quality Metrics
非线性降维方法是数据科学家和研究人员可视化复杂高维数据的常用工具。然而，虽然这些方法不断改进并在数量上增加，但由于多种因素，例如缺乏有关数据内在维度的信息以及许多评估指标需要额外调整，通常很难评估可视化的质量。在本文中，我们试图提供一个系统的比较降维质量指标使用的数据集，我们知道地面真流形。我们在用于可视化的流行降维方法中利用每个指标进行超参数优化，并提供定量指标来客观地将可视化与其原始流形进行比较。在我们的研究结果中，我们发现了一些似乎一直做得很好的方法，并提出了最好的表现作为评估基于降维的可视化的基准。
Dimensionality Reduction with Subspace Structure Preservation
将数据建模为从独立子空间的并集中采样已经广泛应用于许多现实世界的应用。然而，理论上保持这种独立性假设的降维方法还没有得到很好的研究。我们的主要贡献是表明，$2K$投影向量是足够的任何$K$类数据的独立保存从一个联盟的独立子空间。正是这种非平凡的观察，我们用来设计我们的降维技术。在本文中，我们提出了一种新的降维算法，理论上保留了给定数据集的这种结构。我们支持我们的理论分析与实证结果的合成和现实世界的数据实现\textit{state-of-the-art}结果相比，流行的降维技术。
Sparse subspace clustering methods with sparsity induced by $\ell^{0}$-norm, such as $\ell^{0}$-Sparse Subspace Clustering ($\ell^{0}$-SSC)~\citep{YangFJYH16-L0SSC-ijcv}, are demonstrated to be more effective than its $\ell^{1}$ counterpart such as Sparse Subspace Clustering (SSC)~\citep{ElhamifarV13}. However, the theoretical analysis of $\ell^{0}$-SSC is restricted to clean data that lie exactly in subspaces. Real data often suffer from noise and they may lie close to subspaces. In this paper, we show that an optimal solution to the optimization problem of noisy $\ell^{0}$-SSC achieves subsp…
Our problem of interest is to cluster vertices of a graph by identifying underlying community structure. Among various vertex clustering approaches, spectral clustering is one of the most popular methods because it is easy to implement while often outperforming more traditional clustering algorithms. However, there are two inherent model selection problems in spectral clustering, namely estimating both the embedding dimension and number of clusters. This paper attempts to address the issue by establishing a novel model selection framework specifically for vertex clustering on graphs under a st…
Dimensionality-reduced subspace clustering
子空间聚类是指将未标记的高维数据点聚类到低维线性子空间的并集中，这些线性子空间的数量、方向和维度都是未知的。在实践中，人们可以仅访问数据的降维观测，从而产生例如，避免由于采集设备或机制的复杂性和速度限制而导致的欠采样。更恰当地说，即使高维数据集可用，通常也希望首先将数据点投影到低维空间中并在那里执行聚类;这降低了存储要求和计算成本。本文的目的是量化的影响，通过随机投影的子空间聚类算法的性能，所有这些都是基于稀疏信号恢复的原则，通过降维。具体来说，我们分析了基于阈值的子空间聚类（TSC）算法，稀疏子空间聚类（SSC）算法，和正交匹配追踪的变体（SSC-OMP）。我们发现，对于所有三种算法，降维到子空间维度的顺序是可能的，而不会导致显着的性能下降。此外，这些结果是有序的最优的意义上说，降低维数进一步导致从根本上不适定的聚类问题。我们的研究结果进行到嘈杂的情况下，通过分析结果所示的TSC和模拟SSC和SSC-OMP。合成和真实数据的广泛实验补充了我们的理论研究结果。
Nonlinear Dimensionality Reduction on Graphs
在这个数据泛滥的时代，许多信号处理和机器学习任务都面临着高维数据集，包括图像、视频以及社交、商业和大脑网络交互产生的时间序列。它们的有效处理要求降维技术能够正确压缩数据，同时保留与任务相关的特征，超越成对的数据相关性。本文提出了一个非线性降维框架，占数据躺在已知的图形。新的框架包括大多数现有的降维方法，但它也能够捕捉和保留可能被线性方法忽略的非线性相关性。此外，它可以考虑来自多个图形的信息。所提出的算法进行了测试合成以及真实的数据集，以证实其有效性。
Orthogonal Subspace Clustering: Enhancing High-Dimensional Data Analysis through Adaptive Dimensionality Reduction and Efficient Clustering
本文提出正交子空间聚类(OSC)，通过自适应降维和高效聚类解决高维数据中的维度灾难问题，提升聚类效率和准确性。
Application of Fuzzy Clustering for Text Data Dimensionality Reduction
大型文本语料库通常由文档-术语频率矩阵表示，该矩阵的元素是术语的频率，然而，该矩阵存在两个问题：稀疏性和高维性。四个降维策略被用来解决这些问题。在这四种策略中，无监督特征变换（UFT）是一种流行且有效的策略，可以将术语映射到文档-术语频率矩阵中的新基础。虽然已经开发了几种基于UFT的方法，但模糊聚类尚未被考虑用于降维。本研究探讨模糊聚类作为一种新的UFT为基础的方法来创建一个低维表示的文件。模糊聚类与不使用全局加权方法的性能超过主成分分析和奇异值分解。本研究亦探讨应用不同模糊因子值对模糊聚类降维的影响。
This is a tutorial and survey paper for nonlinear dimensionality and feature extraction methods which are based on the Laplacian of graph of data. We first introduce adjacency matrix, definition of Laplacian matrix, and the interpretation of Laplacian. Then, we cover the cuts of graph and spectral clustering which applies clustering in a subspace of data. Different optimization variants of Laplacian eigenmap and its out-of-sample extension are explained. Thereafter, we introduce the locality preserving projection and its kernel variant as linear special cases of Laplacian eigenmap. Versions of…
Randomized ICA and LDA Dimensionality Reduction Methods for Hyperspectral Image Classification
在高光谱图像处理中，降维是克服维数灾难问题的重要步骤。线性降维方法，如独立成分分析（ICA）和线性判别分析（LDA）通常用于降低HSI的维数。这些方法无法捕捉HSI数据中的非线性相关性，因为数据位于非线性流形中。为了解决这一问题，引入了基于核方法的非线性变换技术对HSI进行降维。然而，核方法在计算核矩阵时涉及三次计算复杂度，因此当像素（样本）的数量很大时，不能探索其潜力。在文献中，随机选择较少数量的像素来部分地克服这个问题，但是这种次优策略可能会忽略HSI中的重要信息。在本文中，我们提出了随机解决方案的ICA和LDA降维方法使用随机傅立叶特征，我们标记为RFFICA和RFFLDA。我们提出的方法克服了可扩展性问题，并更有效地处理数据中存在的非线性。两个真实世界的高光谱数据集进行的实验表明，我们提出的随机方法优于传统的内核ICA和内核LDA的整体，每类精度和计算时间。
IT-map: an Effective Nonlinear Dimensionality Reduction Method for Interactive Clustering
降维是许多领域科学家的共同需求和基本需求：在低维空间中可视化海量多元数据的底层结构。然而，许多降维方法面临所谓的“拥挤问题”，即聚类在嵌入时往往相互重叠。以前，研究人员希望避免这个问题，并寻求在嵌入中最大限度地分离集群。然而，所提出的基于入树（IT）的方法，称为IT映射，允许嵌入中的聚类局部重叠，同时寻求通过一些小而关键的部分使它们可区分。IT-map为聚类保持映射提供了一种简单、有效、新颖的解决方案，使得对原始数据点进行交互式聚类成为可能，在科学和工程中具有普遍意义。
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示：正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用，我们恢复了一个因子化的角度，揭示了一些差距，在目前的文献。除了确定一个有用的新损失流形展开，一个关键的贡献是获得新的凸正则化，结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
Supervised Dimensionality Reduction via Distance Correlation Maximization
在我们的工作中，我们提出了一种新的配方监督降维的基础上的非线性依赖性标准，称为统计距离相关，Szekely等。其他人（2007年）。我们提出了一个目标，这是免费的回归变量和回归模型假设的分布假设。我们提出的公式是基于学习一个低维特征表示$\mathbf{z}$，它最大化的平方和之间的距离相关性低维特征$\mathbf{z}$和响应$y$，也之间的功能$\mathbf{z}$和协变量$\mathbf{x}$。我们提出了一种新的算法来优化我们提出的目标使用广义最小化最大化方法的\Parizi等。（2015）。我们在多个数据集上显示了优越的经验结果，证明了我们提出的方法比几种相关的最先进的监督降维方法的有效性。
Multiclass spectral feature scaling method for dimensionality reduction
不规则的特征破坏了所需的分类。在本文中，我们考虑积极地修改尺度的功能在原始空间中的标签信息，以形成良好的分离在低维空间中的集群。所提出的方法利用谱聚类来获得用于修改功能的缩放因子。具体地说，我们将谱聚类的拉普拉斯特征值问题转化为特征向量具有尺度因子的线性矩阵束的特征值问题。数值实验表明，该方法在样本数大于特征数的玩具问题和特征数大于样本数的现实问题中的降维效果优于已有的监督降维方法.
A Review, Framework and R toolkit for Exploring, Evaluating, and Comparing Visualizations
本文对降维技术的评价方法进行了综述和综合。特别注意的是排名顺序的邻域评价指标。一个框架，通过可视化探索降维质量。一个相关的工具包是用R实现的。该工具包包括散点图、热图、黄土平滑和性能提升图。总体原理是帮助研究人员比较降维技术，并使用视觉见解来帮助选择和改进技术。给出了流形的降维和应用于消费者调查数据集的降维的例子。
ADRS-CNet: An adaptive dimensionality reduction selection and classification network for DNA storage clustering algorithms
本文提出ADRS-CNet，通过多层感知机对DNA序列特征分类并自适应选择降维方法，显著提升聚类效果，缓解维度灾难。
Deep Variational Sufficient Dimensionality Reduction
我们考虑充分降维（SDR）的问题，其中高维观测被转换到一个低维的子空间，在该子空间中，关于标签变量的观测信息被保留。我们提出了DVSDR，一个深度变分方法，充分降维。我们模型中的深层结构有一个瓶颈，代表数据的低维嵌入。我们使用图形模型解释SDR问题，并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明，这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中，我们表明，DVSDR在分类任务上具有竞争力，同时能够生成新的数据样本。
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
Combating Financial Crimes with Unsupervised Learning Techniques: Clustering and Dimensionality Reduction for Anti-Money Laundering
针对反洗钱高维行为数据影响聚类效果的问题，本文比较凝聚层次聚类与ICA、KPCA、SVD、LPP四种降维方法的组合，发现KPCA在多数情形下表现最佳。
We introduce "TriMap"; a dimensionality reduction technique based on triplet constraints, which preserves the global structure of the data better than the other commonly used methods such as t-SNE, LargeVis, and UMAP. To quantify the global accuracy of the embedding, we introduce a score that roughly reflects the relative placement of the clusters rather than the individual points. We empirically show the excellent performance of TriMap on a large variety of datasets in terms of the quality of the embedding as well as the runtime. On our performance benchmarks, TriMap easily scales to millions…
MNIST-Nd: a set of naturalistic datasets to benchmark clustering across dimensions
本文提出MNIST-Nd合成数据集，通过训练2至64维潜在空间的混合变分自编码器生成，用于分离维度对聚类的影响，并发现Leiden算法对维度增长最稳健。
Introducing user-prescribed constraints in Markov chains for nonlinear dimensionality reduction
基于随机核的降维方法在过去十年中变得流行。许多这些方法的中心组成部分是一个对称的内核，量化的数据点对之间的邻近和内核诱导的马尔可夫链的数据。通常，马尔可夫链由内核通过行规范化完全指定。然而，在许多情况下，它是可取的施加用户指定的静态和动态约束的马尔可夫链。不幸的是，没有系统的框架来强加这种用户定义的限制。在这里，我们引入了一个基于路径熵最大化的方法来推导马尔可夫链的转移概率使用内核和额外的用户指定的约束。我们举例说明这些马尔可夫链的有用性。
Stable Sparse Subspace Embedding for Dimensionality Reduction
稀疏随机投影（RP）是一种流行的降维工具，表现出良好的性能与低计算复杂性。然而，在现有的稀疏RP矩阵中，非零元素的位置通常是随机选择的。虽然它们都采用了带替换的均匀抽样，但由于抽样方差较大，一次产生的投影矩阵的非零个数在各行之间不均匀，降维后可能丢失更多的数据信息。为了突破这一瓶颈，本文基于统计学中的随机抽样不替换原理，构造了一种稳定的稀疏子空间嵌入矩阵（S-SSE）。证明了S-SSE比已有的矩阵更稳定，降维后能很好地保持点间欧氏距离。我们的实证研究证实了我们的理论研究结果，并证明我们的方法确实可以取得令人满意的性能。
Joint Representation Learning and Clustering via Gradient-Based Manifold Optimization
本文提出一种联合学习降维与聚类的流形学习框架，通过梯度流形优化同时学习降维参数和聚类结果，在模拟数据和MNIST数据集上验证了其优于传统聚类算法的性能。
Power sector capacity expansion models (CEMs) that are used for studying future low-carbon grid scenarios must incorporate detailed representation of grid operations. Often CEMs are formulated to model grid operations over representative periods that are sampled from the original input data using clustering algorithms. However, such representative period selection (RPS) methods are limited by the declining efficacy of the clustering algorithm with increasing dimensionality of the input data and do not consider the relative importance of input data variations on CEM outcomes. Here, we propose a…
Dimensionality Reduction of Movement Primitives in Parameter Space
运动基元是现实世界机器人的重要策略类。然而，它们的参数化的高维性使得策略优化在样本和计算方面都是昂贵的。实现运动基元的有效表示有助于机器学习技术的应用，例如机器人技术上的强化。运动，特别是在高度冗余的运动学结构中，在位形空间中表现出高度的相关性。由于这些原因，以前的工作主要集中在应用降维技术的配置空间。在本文中，我们研究的应用降维的参数空间，识别主要的运动。由此产生的方法是丰富的概率处理的参数，继承所有属性的概率运动原语。我们测试所提出的技术都在一个真正的机器人任务和复杂的人类运动的数据库。实证分析表明，参数空间中的降维比配置空间中的降维更有效，因为它使运动的表示与参数的显着减少。
Improving Clustering on Occupational Text Data through Dimensionality Reduction
本研究针对美国 O*NET 职业数据库提出一种最优聚类机制，通过结合多种基于 BERT 的技术、降维方法与专门的轮廓方法构建聚类流程，有效解决不同职业定义间的映射问题，助力职业转换。
Goal: We consider the problem of automatically grouping logs of runs that failed for the same underlying reasons, so that they can be treated more effectively, and investigate the following questions: (1) Does an approach developed to identify problems in system logs generalize to identifying problems in continuous deployment logs? (2) How does dimensionality reduction affect the quality of automated log clustering? (3) How does the criterion used for merging clusters in the clustering algorithm affect clustering quality? Method: We replicate and extend earlier work on clustering system log fi…
Feature Dimensionality Reduction for Video Affect Classification: A Comparative Study
情感计算已经成为人机交互领域的一个重要研究方向。然而，影响是主观的、微妙的和不确定的。因此，与我们可以提取的可能特征的数量相比，很难获得大量的标记训练样本。因此，降维在情感计算中至关重要。本文介绍了我们的初步研究降维的影响分类。介绍并比较了五种常用的降维方法。在DEAP数据集上的实验表明，没有一种方法可以普遍优于其他方法，直接使用原始特征进行分类可能并不总是一个坏的选择。
Recent studies increasingly adopt simulation-based machine learning (ML) models to analyze critical infrastructure system resilience. For realistic applications, these ML models consider the component-level characteristics that influence the network response during emergencies. However, such an approach could result in a large number of features and cause ML models to suffer from the `curse of dimensionality'. We present a clustering-based method that simultaneously minimizes the problem of high-dimensionality and improves the prediction accuracy of ML models developed for resilience analysis …
Detecting Adversarial Examples through Nonlinear Dimensionality Reduction
深度神经网络容易受到对抗性示例的影响，即，精心干扰的输入旨在误导分类。本文提出了一种基于非线性降维和密度估计相结合的检测方法。我们的实证研究结果表明，所提出的方法能够有效地检测由非自适应攻击者制作的对抗性示例，即，而不是专门调谐以绕过检测方法。考虑到我们的结果，我们计划在未来的工作中将我们的分析扩展到自适应攻击者。
Real-world data usually have high dimensionality and it is important to mitigate the curse of dimensionality. High-dimensional data are usually in a coherent structure and make the data in relatively small true degrees of freedom. There are global and local dimensionality reduction methods to alleviate the problem. Most of existing methods for local dimensionality reduction obtain an embedding with the eigenvalue or singular value decomposition, where the computational complexities are very high for a large amount of data. Here we propose a novel local nonlinear approach named Vec2vec for gene…
Random dimensionality reduction is a versatile tool for speeding up algorithms for high-dimensional problems. We study its application to two clustering problems: the facility location problem, and the single-linkage hierarchical clustering problem, which is equivalent to computing the minimum spanning tree. We show that if we project the input pointset $X$ onto a random $d = O(d_X)$-dimensional subspace (where $d_X$ is the doubling dimension of $X$), then the optimum facility location cost in the projected space approximates the original cost up to a constant factor. We show an analogous stat…
Exploring the Influence of Dimensionality Reduction on Anomaly Detection Performance in Multivariate Time Series
本文通过在三个数据集上实验研究四种降维技术与两种无监督异常检测模型的结合，发现降维可提升检测性能并大幅缩短训练时间，为降维策略选择提供参考。
Nonnegative Matrix Factorization in Dimensionality Reduction: A Survey
本文综述了非负矩阵分解（NMF）在降维中的特征提取与特征选择应用，提出降维分类框架，并探讨未来研究方向。
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
变分自动编码器（VAE）为非线性降维提供了一个灵活且可扩展的框架。然而，在应用领域，如基因组学的数据集通常是表格和高维的，黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程，但是，这将是可取的，以建立一个联合建模框架，同时降维和聚类的功能。在本文中，我们建议通过BasisVAE来实现这一点：VAE和概率聚类先验的组合，它让我们学习一个独热基函数表示作为解码器网络的一部分。此外，对于不是所有特征都对齐的情况，我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE，演示各种玩具的例子，以及单细胞基因表达数据。
Dimensionality reduction with missing values imputation
在这项研究中，我们提出了一种新的统计方法，用于异构数据的高维约简，限制维数灾难和处理缺失值。为了处理后者，我们建议使用随机森林的插补方法。这里的主要目的是提取有用的信息，从而减少搜索空间以促进数据探索过程。还包括使用来自公开可用的机器学习存储库的数据的几个说明性数值示例。实验部分的研究表明，所提出的分析方法的效率。
An unsupervised clustering analysis of breast cancer data derived from electronic health records enhanced through UMAP dimensionality reduction
研究利用电子健康记录中的乳腺癌数据，先采用DBSCAN密度聚类法，又通过UMAP降维增强效果，用三个统计指标评估聚类结果，证实了UMAP与DBSCAN结合用于该数据聚类的有效性，为医学解读患者组提供了支持。
Riemannian joint dimensionality reduction and dictionary learning on symmetric positive definite manifold
字典学习（DL）和降维（DR）是分析高维噪声信号的有力工具。本文提出了一种新的黎曼联合降维和字典学习（R-JDRDL）对称正定（SPD）流形分类任务的建议。联合学习通过将降维和字典学习过程连接到一个统一的框架中来考虑它们之间的相互作用。我们利用黎曼优化框架来解决DL和DR问题。最后，我们证明了建议的R-JDRDL优于现有的国家的最先进的算法时，用于图像分类任务。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。