Supervised Visualization for Data Exploration
Utah State University（犹他州立大学）；Université de Montréal（蒙特利尔大学）
简化通常被用作数据探索的初始步骤，无论是作为分类或回归的预处理，还是用于可视化。迄今为止，大多数降维技术都是无监督的;它们不考虑类别标签（例如，PCA、MDS、t-SNE、Isomap）。这样的方法需要大量的数据，并且通常对可能混淆数据中的重要模式的噪声敏感。在考虑辅助注释（例如，类标签）已经成功地实现了提高分类准确性或改进数据可视化的目标。这些监督技术中的许多技术以相似性或相异性矩阵的形式将标签并入损失函数中，从而在类别聚类之间创建过度强调的分离，这并不能真实地表示数据中的局部和全局关系。此外，这些方法往往是敏感的参数调整，这可能是难以配置没有明确的定量概念的视觉优势。在本文中，我们描述了一种新的监督可视化技术的基础上随机森林的接近和基于扩散的降维。我们定性和定量地展示了我们的方法在保留数据中的局部和全局结构方面的优势，同时强调了低维嵌入中的重要变量。重要的是，我们的方法对噪声和参数调整具有鲁棒性，因此使用简单，同时为数据探索提供可靠的可视化。
2020-06-15 cs.HC cs.LG stat.AP
Scalable semi-supervised dimensionality reduction with GPU-accelerated EmbedSOM
Faculty of Mathematics and Physics of Charles University（查理大学数学与物理学院）；Luxembourg Centre for Systems Biomedicine, University of Luxembourg（卢森堡大学卢森堡系统生物医学中心）；Institute of Haematology and Blood Transfusion（血液学与输血研究所）；Institute of Organic Chemistry and Biochemistry（有机化学与生物化学研究所）
简化方法作为可视化工具在不同的科学领域有着广泛的应用。虽然存在许多不同的方法，但它们的性能通常不足以提供对许多当代数据集的快速洞察，并且无监督的使用模式阻止用户利用这些方法进行数据集探索和微调细节以提高可视化质量。我们提出了一种高性能的半监督降维软件，用于对具有数百万个数据点的高维数据集进行交互式用户可操纵的可视化。RISTOSOM建立在嵌入式SOM算法的GPU加速实现基础上，并辅以几种基于地标的算法，用于将无监督模型学习算法与用户监督相结合。我们展示了在现实数据集上的CNOSOM应用，它有助于生成高质量的可视化，其中包含用户指定的布局并专注于某些功能。我们相信半监督降维将提高单细胞细胞计数等科学领域的数据可视化可能性，并为数据集探索和注释的新方向提供快速有效的基础方法。
2022-01-03 cs.DC cs.LG stat.ML
Noisy Data Visualization using Functional Data Analysis
Utah State University（犹他州立大学）；University of Montreal（蒙特利尔大学）
本文提出函数信息几何（FIG）可视化方法，将函数型数据分析引入经验内蕴几何框架以缓解维度灾难，并在结构捕捉、鲁棒性和速度上优于 EIG 变体，成功用于睡眠 EEG 数据可视化。
2024-06-05 cs.LG math.FA stat.ML
SMAP: A Joint Dimensionality Reduction Scheme for Secure Multi-Party Visualization
Central South University（中南大学）；Zhejiang University（浙江大学）；I4 data；Pennsylvania State University（宾夕法尼亚州立大学）；Facebook；Graz University of Technology（格拉茨技术大学）
如今，随着数据变得越来越复杂和分布式，数据分析通常涉及存储在不同服务器上的多个相关数据集，这些数据集可能由不同的利益相关者拥有。虽然有一个新兴的需要，提供这些利益相关者在全球范围内的数据的全貌，传统的可视化分析方法，如降维，可能会暴露数据隐私时，多方数据集融合到一个单一的网站，以建立点级的关系。在本文中，我们重新制定了传统的t-SNE方法从单站点模式到一个安全的分布式基础设施。我们提出了一个安全的多方联合t-SNE计算方案，它可以最大限度地减少数据泄漏的风险。聚合可视化可以可选地用于隐藏点级关系的公开。我们建立了一个原型系统的基础上，我们的方法，SMAP，支持组织，计算和探索的安全联合嵌入。我们证明了我们的方法的有效性与三个案例研究，其中之一是基于我们的系统在现实世界中的应用程序的部署。
2020-07-30 cs.CR cs.HC cs.LG
Supervised Dimensionality Reduction and Visualization using Centroid-encoder
Colorado State University（科罗拉多州立大学）
可视化高维数据是数据科学和机器学习中的一项重要任务。质心编码器（CE）方法类似于自动编码器，但包含标签信息，以保持类的对象在减少的可视化空间中靠近在一起。CE利用非线性和标签来编码低维的高方差，同时捕获数据的全局结构。我们提出了一个详细的分析，使用各种各样的数据集的方法，并将其与其他监督降维技术，包括NCA，非线性NCA，t-分布NCA，t-分布MCML，监督UMAP，监督PCA，彩色最大方差展开，监督Isomap，参数嵌入，监督邻居检索可视化，和多关系嵌入。我们的经验表明，质心编码器优于大多数这些技术。我们还表明，当数据方差分布在多个模态时，质心编码器从低维空间的数据中提取大量的信息。这个关键特性确立了它作为数据可视化工具的价值。
2020-02-28 cs.CV cs.LG stat.ML
CO-SNE: Dimensionality Reduction and Visualization for Hyperbolic Data
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
双曲空间可以自然地嵌入在现实世界的数据和语义中经常存在的层次结构。虽然高维双曲嵌入导致更好的表示，但由于高维双曲数据的非平凡优化和可视化，大多数双曲模型使用低维嵌入。我们提出了CO-SNE，它扩展了欧氏空间的可视化工具，t-SNE，双曲空间。与t-SNE类似，它将数据点之间的距离转换为联合概率，并试图最小化高维数据$X$和低维嵌入$Y$的联合概率之间的Kullback-Leibler发散。然而，与欧几里得空间不同，双曲空间是不齐次的：一个体积可以在远离原点的位置包含更多的点。因此，CO-SNE使用$X$的双曲正态分布和双曲\underline{C} auchy，而不是$Y$的t-SNE学生t分布，并且它还试图保留$X$到$Y$中\underline{O}原点的个体距离。我们将CO-SNE应用于自然双曲数据和监督学习的双曲特征。我们的研究结果表明，CO-SNE将高维双曲数据压缩到低维空间，而不会失去其双曲特性，显著优于流行的可视化工具，如PCA，t-SNE，UMAP和HoroPCA，这也是为双曲数据设计的。
2022-05-13 cs.LG
NCVis: Noise Contrastive Approach for Scalable Visualization
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
通过降维进行数据可视化的现代方法（如t-SNE）通常存在性能问题，无法应用于大量高维数据。在这项工作中，我们提出了NCVis -一个高性能的降维方法建立在一个健全的统计基础上的噪声对比估计。我们表明，NCVis在速度方面优于最先进的技术，同时保持其他方法的表示质量。特别是，所提出的方法成功地在几分钟内处理了超过100万条新闻标题的大型数据集，并以人类可读的方式呈现了底层结构。此外，它在手写数字图像等更简单的数据集上提供了与t-SNE等经典方法一致的结果。我们相信，更广泛地使用此类软件可以大大简化大规模数据分析，并降低该领域的准入门槛。
2020-01-30 cs.LG stat.ML
Non-Redundant Spectral Dimensionality Reduction
Technion–Israel Institute of Technology（以色列理工学院）
光谱降维算法广泛应用于许多领域，包括识别、分割、跟踪和可视化。然而，尽管它们的流行，这些算法遭受的主要限制被称为“重复的特征方向”的现象。也就是说，它们产生的许多嵌入坐标通常沿着数据流形捕获相同的方向。这会导致冗余和低效的表示，无法揭示数据的真实内在维度。在本文中，我们提出了一种通用的方法，以避免冗余的谱算法。我们的方法依赖于替换这些方法的不可预测性约束的正交性约束。具体来说，我们要求每个嵌入坐标与之前的所有嵌入坐标相比是不可预测的（在统计意义上）。我们证明，这些限制必然防止冗余，并提供了一个简单的技术，将它们纳入现有的方法。正如我们在具有挑战性的高维场景中所展示的那样，我们的方法产生了更多信息和紧凑的表示，从而提高了可视化和分类任务。
2017-04-20 cs.LG stat.ML
Uncovering Temporal Patterns in Visualizations of High-Dimensional Data
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Baylor College of Medicine（贝勒医学院）
针对高维时间序列数据降维可视化丢失时间模式的问题，提出引入两个时间损失项的降维扩展方法，在合成与真实数据上有效揭示时间模式并提升可解释性。
2024-12-14 cs.HC cs.LG
Topology-Preserving Dimensionality Reduction via Interleaving Optimization
University of Chicago（芝加哥大学）
嵌入性约简技术是数据预处理和可视化的有力工具，但通常很少保证嵌入的拓扑正确性。Vietoris-Rips过滤的持久同源性之间的交织距离可以用于识别嵌入和原始数据集中的拓扑特征（例如簇或孔）对应的尺度。我们展示了如何优化寻求最小化的交织距离可以纳入降维算法，并明确展示了它的使用，找到一个最佳的线性投影。我们证明了这个框架的数据可视化的实用程序。
2022-01-31 cs.CG cs.LG math.OC
Enhancing Supervised Visualization through Autoencoder and Random Forest Proximities for Out-of-Sample Extension
Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Utah State University（犹他州立大学）；Brigham Young University（杨百翰大学）
本文提出一种结合随机森林邻近性与自动编码器的样本外扩展方法，用于增强 RF-PHATE 监督降维的泛化能力，在保持质量的同时减少 40% 训练时间，并支持仅用 10% 训练数据的半监督场景。
2024-06-06 cs.LG stat.ML
Spatial Transcriptomics Dimensionality Reduction using Wavelet Bases
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
空间分辨转录组学（ST）测量基因表达以及测量的空间坐标。ST数据的分析涉及显著的计算复杂性。在这项工作中，我们提出了基因表达降维算法，保留空间结构。我们结合小波变换和矩阵分解来选择空间变异基因。我们提取这些基因的低维表示。我们考虑经验贝叶斯设置，通过因子基因的先验分布进行正则化。此外，我们提供了可视化提取的代表基因捕获的全球空间模式。我们通过空间结构恢复和基因表达重建来说明我们的方法的性能。在实际数据的实验中，我们的方法识别基因因子的空间结构，并优于常规分解的重建误差。我们发现基因模式的波动和小波技术之间的联系，提供更平滑的可视化。我们开发软件包并共享工作流程，生成可重现的定量结果和基因可视化。该软件包可在https://github.com/OliverXUZY/waveST上获得。
2022-05-19 cs.LG q-bio.GN stat.AP
MIK: Modified Isolation Kernel for Biological Sequence Visualization, Classification, and Clustering
Georgia State University（佐治亚州立大学）；Lahore University of Management Science（拉合尔管理科学大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出改进隔离核MIK，通过自适应密度估计替代t-SNE中的高斯核，以更好保留局部与全局结构，提升生物序列数据的可视化、分类与聚类效果。
2024-10-21 cs.HC cs.LG stat.ML
Laplacian-based Cluster-Contractive t-SNE for High Dimensional Data Visualization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
抽象性约简技术旨在将高维数据表示在低维空间中，以提取隐藏的有用信息或促进对数据的视觉理解和解释。然而，很少有人考虑到潜在的聚类信息隐含在高维数据。在本文中，我们提出了LaptSNE，一个新的图形布局非线性降维方法的基础上t-SNE，最好的技术之一，可视化高维数据的二维散点图。具体来说，LaptSNE利用图拉普拉斯算子的特征值信息，在学习从高维空间到低维空间保持局部和全局结构时，缩小低维嵌入中的潜在聚类。由于标准化对称拉普拉斯算子的特征值是决策变量的函数，因此求解该模型是不平凡的。我们提供了一个优化最小化算法的收敛保证，以解决LaptSNE的优化问题，并展示了如何计算梯度分析，这可能是广泛的兴趣时，考虑优化与拉普拉斯复合目标。我们通过与七个基准数据集上的最先进方法进行正式比较来评估我们的方法，包括视觉上和通过建立的定量测量。结果表明，我们的方法优于基线，如t-SNE和UMAP。我们还为LaptSNE提供了样本外扩展，大规模扩展和小批量扩展，以促进各种场景下的降维。
2022-10-24 cs.HC cs.LG
LEt-SNE: A Hybrid Approach To Data Embedding and Visualization of Hyperspectral Imagery
Mercedes-Benz Research and Development India Pvt. Ltd.（梅赛德斯-奔驰印度私人有限公司研发中心）；Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校资源工程研究中心）
从无人机或卫星捕获的高光谱图像（以及一般的遥感）由于其捕获的大空间范围和波长而具有非常大的体积。由于分析这些图像需要大量的计算时间和功率，各种降维技术已被用于特征约简。其中一些流行的技术摇摇欲坠时，应用于高光谱图像由于著名的灾难的维度。在本文中，我们提出了一种新的方法，LEt-SNE，它结合了基于图的算法，如t-SNE和拉普拉斯特征映射到一个模型参数化的浅前馈网络。我们引入了一个新的术语，压缩因子，使我们的方法能够对抗维数灾难。该算法适用于流形可视化和有标记或无标记数据的样本聚类。我们证明了我们的方法是有竞争力的，目前国家的最先进的方法在公共领域的高光谱遥感数据集。
2020-02-08 cs.CV cs.LG eess.IV
Self Organizing Nebulous Growths for Robust and Incremental Data Visualization
University of Melbourne（墨尔本大学）；Walter and Eliza Hall Institute for Medical Research（沃尔特与伊丽莎·霍尔医学研究所）
非参数降维技术，如t-SNE和UMAP，擅长为固定大小的数据集提供可视化。但是，它们不能增量地映射和插入新的数据点到已经提供的数据可视化中。我们提出了自组织模糊增长（SONG），一种支持增量数据可视化的参数非线性降维技术，即，增量添加新数据，同时保留现有可视化的结构。此外，SONG能够处理新的数据增量，无论它们与已经观察到的数据分布相似还是异构。我们在各种真实和模拟数据集上测试SONG。结果表明，在增量数据可视化方面，SONG优于参数化t-SNE、t-SNE和UMAP。具体而言，对于异构增量，SONG在Fashion MNIST数据集上比参数t-SNE提高了14.98%，在MNIST数据集上提高了49.73%，这是关于由调整后的互信息分数测量的聚类质量。在相同或相同的增量下，分别提高了8.36%和42.26%。此外，即使同时呈现上述数据集，SONG的表现也优于UMAP或与UMAP相当，并且优于t-SNE。我们还证明了算法的基础SONG使它更宽容的噪声相比，UMAP和t-SNE，从而提供更大的效用的数据具有高方差，高混合的集群，或噪声。
2020-10-02 cs.CV cs.HC cs.LG
Analysis of Word Embeddings Using Fuzzy Clustering
University of Alberta（阿尔伯塔大学）
在数据主导的系统和应用中，以数字格式表示单词的概念已经获得了很多关注。有几种方法用于生成这样的表示。应该考虑的一个有趣的问题是这种表示（称为嵌入）模仿单词之间基于人类的语义相似性的能力。在这项研究中，我们进行了一个基于模糊的分析矢量表示的话，即，词嵌入。我们使用两个流行的模糊聚类算法计数为基础的词嵌入，称为GloVe，不同的维度。WordSim-353中的单词被称为黄金标准，它们被表示为向量并进行聚类。结果表明，模糊聚类算法是非常敏感的高维数据，参数调整可以显着改变其性能。我们表明，通过调整模糊参数的值，模糊聚类可以成功地应用于高达一百维的向量。此外，我们说明，模糊聚类允许提供有趣的结果，关于成员的话，不同的集群。
2020-12-07 cs.CL cs.IR cs.LG
Taming Wild High Dimensional Text Data with a Fuzzy Lash
University of South Carolina（南卡罗来纳大学）
词袋（BOW）表示一个矩阵中的语料库，其元素是单词的频率。然而，矩阵中的每一行都是一个非常高维的稀疏向量。降维是解决稀疏性和高维性问题的一种常用方法。在开发DR方法的不同策略中，无监督特征变换（UFT）是一种流行的策略，可以在新的基础上映射所有单词来表示BOW。近年来文本数据的增长及其面临的挑战意味着DR领域仍然需要新的视角。虽然已经开发了各种各样的基于UFT策略的方法，但尚未考虑基于该策略的DR的模糊方法。本研究探讨应用模糊聚类作为DR方法的基础上的UFT策略折叠BOW矩阵，以提供一个低维表示的文件，而不是在语料库中的话。定量评估表明，模糊聚类产生优越的性能和功能的主成分分析（PCA）和奇异值分解（SVD），两个流行的DR方法的基础上UFT战略。
2017-12-16 cs.CL cs.IR cs.LG
t-SNE-CUDA: GPU-Accelerated t-SNE and its Applications to Modern Data
University of California, Berkeley（加州大学伯克利分校）
众所周知，现代数据集和模型由于其固有的高维性和大量样本而难以探索和分析。现有的可视化方法，采用降维到两个或三个维度往往是低效和/或无效的这些数据集。本文介绍了t-SNE-CUDA，这是一种GPU加速的t-分布式对称邻居嵌入（t-SNE）实现，用于可视化数据集和模型。t-SNE-CUDA在CIFAR-10和MNIST数据集上具有50- 700倍的加速比，明显优于当前的实现。这些加速第一次实现了整个ImageNet数据集上神经网络激活的可视化-这是一项以前在计算上难以实现的壮举。我们还通过可视化GloVe嵌入向量来展示NLP域中的可视化性能。从这些可视化中，我们可以得出关于在这些嵌入空间中使用L2度量的有趣结论。t-SNE-CUDA可通过以下网址公开获取：https：github.com/CannyLab/tsne-cuda
2018-07-31 cs.LG cs.PF stat.ML
Consistent Representation Learning for High Dimensional Data Analysis
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
用于探索和发现的高维数据分析包括三个基本任务：降维、聚类和可视化。当这三个相关联的任务被单独完成时，就像到目前为止通常的情况一样，在数据几何和其他方面，任务之间可能会出现不一致。这可能导致混淆或误导性的数据解释。在本文中，我们提出了一种新的神经网络为基础的方法，称为一致性表示学习（CRL），完成这三个相关的任务端到端，并提高了可扩展性。CRL网络由两个非线性降维（NLDR）变换组成：（1）一个是从输入数据空间到潜在特征空间进行聚类，（2）另一个是从聚类空间到最终的2D或3D空间进行可视化。重要的是，执行两个NLDR变换以最好地满足跨空间或网络层的局部几何保持（LGP）约束，以改善数据的并行性以及处理流程。此外，我们提出了一种新的度量，聚类可视化不一致（CVI），用于评估的不一致。大量的比较结果表明，提出的CRL神经网络方法优于流行的t-SNE和UMAP为基础的和其他当代聚类和可视化算法的评价指标和可视化。
2020-12-01 cs.AI cs.LG stat.ML
ShapeVis: High-dimensional Data Visualization at Scale
Adobe（奥多比）
我们提出了ShapeVis，一个可扩展的可视化技术的点云数据的启发，从拓扑数据分析。我们的方法捕获的基本几何和拓扑结构的数据在一个压缩的图形表示。数据可视化技术Mapper已经取得了很大的成功，它谨慎地近似了数据上过滤函数的Reeb图。然而，当使用标准的降维算法作为过滤函数时，Mapper遭受相当大的计算成本。这使得很难扩展到高维数据。我们所提出的技术依赖于沿着数据流形找到一个称为地标的点子集，在其上构建一个加权的拓扑图。该图捕获点云的结构特征，并使用有限马尔可夫链确定其权重。我们进一步压缩这个图应用标准社区发现算法的诱导地图。借用流形撕裂的技术，我们修剪和恢复边缘的诱导图的基础上，他们的模块总结数据的形状。我们经验证明我们的技术如何捕捉真实和合成数据集的结构特征。此外，我们使用t-SNE，UMAP，LargeVis等各种过滤函数将我们的方法与Mapper进行比较，并表明我们的算法可扩展到数百万个数据点，同时保持数据可视化的质量。
2020-01-21 cs.HC cs.LG stat.ML
Visualization of Emergency Department Clinical Data for Interpretable Patient Phenotyping
Texas A&M University（德克萨斯农工大学）；Yale School of Medicine（耶鲁医学院）
在电子健康记录（EHR）中包含的对收集的关于患者的临床数据的视觉总结可以在患者呈现给急诊科（ED）时实现精确且快速的分类。在适当分配资源和预测最终患者处置（通常是入院或出院）方面，分诊过程至关重要。EHR数据是高维和复杂的，但提供了发现和表征基础数据驱动的患者表型的机会。这些表型将使改善，个性化的治疗决策和解释。在这项工作中，我们专注于二维患者投影的挑战。低维嵌入提供了在高维中丢失的视觉可解释性。虽然线性降维技术，如主成分分析，经常用于实现这一目标，他们是不足以描述患者数据的方差。在这项工作中，我们采用了新描述的非线性嵌入技术，称为均匀流形近似和投影（UMAP）。UMAP试图在高维数据中捕获局部和全局结构。然后，我们使用高斯混合模型来识别嵌入数据中的聚类，并使用调整后的Rand指数（ARI）来建立这些聚类的发现的稳定性。这种技术被应用到五个常见的临床主要投诉从现实世界的ED EHR数据集，描述所发现的集群的紧急属性。我们观察临床相关的聚类属性，这表明使用非线性降维的EHR数据的视觉嵌入是一种很有前途的方法来揭示数据驱动的患者表型。在五个主要投诉中，我们发现2到6个聚类，随后的训练迭代之间的峰值平均成对ARI范围从0.35到0.74。
2019-07-05 cs.HC cs.LG stat.ML
A Visual Interaction Framework for Dimensionality Reduction Based Data Exploration
IBM Research（IBM研究院）
高维性约简是高维数据分析和可视化的常用方法。然而，动态地推理降维的结果是困难的。降维算法使用复杂的优化来减少数据集的维度数量，但这些新维度通常与初始数据维度缺乏明确的关系，因此难以解释。在这里，我们提出了一个可视化的交互框架，以提高降维为基础的探索性数据分析。我们介绍了两种互动技术，向前投影和向后投影，动态推理降维数据。我们还提供了两个可视化技术，脯氨酸和可行性地图，以促进有效地使用拟议的相互作用。我们将我们的框架应用于PCA和基于自动编码器的降维。通过数据探索的例子，我们展示了我们的视觉交互如何可以提高在探索性数据分析的降维的使用。
2018-11-28 cs.AI cs.HC cs.LG
CCP: Correlated Clustering and Projection for Dimensionality Reduction
Michigan State University（密歇根州立大学）
大多数降维方法采用从矩阵对角化获得的频域表示，并且对于具有相对高的内在维度的大型数据集可能不是有效的。为了应对这一挑战，相关聚类和投影（CCP）提供了一种新的数据域策略，不需要求解任何矩阵。CCP将高维特征划分为相关的簇，然后基于样本相关性将每个簇中的相关特征投影到一维表示中。残差相似性（R-S）分数和指数，黎曼流形中的数据形状，以及基于代数拓扑的持久拉普拉斯算子被引入可视化和分析。所提出的方法与基准数据集与各种机器学习算法进行了验证。
2022-06-08 cs.CG cs.LG stat.ML
Learning Fuzzy Controllers in Mobile Robotics with Embedded Preprocessing
Centro de Investigación en Tecnoloxías da Información (CITIUS)（信息技术研究中心（CITIUS））；Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）
移动机器人控制器的自动设计通常需要两个阶段。在第一阶段，感官数据被预处理或转换为通常根据专家知识定义的高水平且有意义的变量值。在第二阶段，应用机器学习技术来获得控制器，该控制器将这些高级变量映射到实际发送给机器人的控制命令。本文介绍了一种算法，它能够嵌入到learningstage的预处理阶段，以获得控制器直接从感官的原始数据，没有专家knowledgeinvolved。由于感官数据的高维性，该方法使用量化模糊规则（QFR），能够将低级别的输入变量转换为高级别的输入变量，通过总结降低维数。所提出的学习算法，称为迭代量化模糊规则学习（IQFRL），是基于遗传编程。IQFRL能够学习不同结构的规则，并能够管理多粒度的语言变量。该算法已被测试的墙壁以下的行为在几个现实的模拟环境中具有不同的复杂性和先锋3-AT机器人在两个真实的环境中的实施。实验结果表明，IQFRL算法具有更好的性能，并与几种著名的结合不同数据预处理技术的学习算法进行了比较。此外，三个现实世界中的应用，IQFRL发挥了核心作用，也提出了：路径和物体跟踪与静态和移动障碍物的避免。
2014-11-14 cs.AI cs.LG cs.RO
Semi-Supervised Federated Multi-Label Feature Selection with Fuzzy Information Measures
Department of Computer Science, University of Kentucky（计算机科学系，肯塔基大学）
本文提出SSFMLFS方法，通过模糊信息理论在联邦环境下实现半监督多标签特征选择，有效提升多标签学习模型性能。
2025-11-21 cs.LG stat.ML
A Novel Approach for Single Gene Selection Using Clustering and Dimensionality Reduction
Periyar University（佩里亚尔大学）；Bharthiyar University（巴拉蒂亚尔大学）
我们扩展了标准的基于粗糙集的方法来处理大量的数值属性与少量的可用对象。在这里，一种新的方法，聚类与降维;混合模糊C均值快速约简（FCMQR）算法提出了单基因选择。基因选择是选择信息量更大的基因的过程。它是知识发现的重要步骤之一。问题是，并非所有基因在基因表达数据中都很重要。一些基因可能是多余的，而另一些基因可能是不相关的和嘈杂的。在这项研究中，整个数据集被划分为适当的分组相似的基因，应用模糊C均值（FCM）算法。利用粗糙集理论的快速约简算法对聚类结果进行约简，根据聚类结果的依赖程度选择高等级的待鉴别基因。对高等级判别基因计算平均相关值（ACV）。具有ACV值a1的聚类被确定为显著聚类，当与整个数据集的准确度相比时，其分类准确度将相等或更高。所提出的算法进行评估，使用WEKA分类器和比较。最后，与白血病癌症数据相关的实验结果证实了我们的方法是非常有前途的，尽管它肯定需要进一步的研究。
2013-06-10 cs.CE cs.LG
Interactive Dimensionality Reduction for Comparative Analysis
University of California, Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
发现数据集组之间的相似性和差异性是一项基本的分析任务。对于高维数据，通常使用降维（DR）方法来发现各组的特征。然而，现有的DR方法为这种比较分析提供了有限的能力和灵活性，因为每种方法仅针对狭窄的分析目标而设计，例如识别最能区分群体的因素。本文提出了一种交互式DR框架，我们将我们的新DR方法，称为ULCA（统一线性比较分析），与交互式可视化界面。ULCA统一了两个DR方案，判别分析和对比学习，以支持各种比较分析任务。为了提供比较分析的灵活性，我们开发了一种优化算法，使分析师能够交互式地改进ULCA结果。此外，交互式可视化界面有助于解释和优化ULCA结果。我们评估ULCA和优化算法，以显示其效率，以及目前的多个案例研究，使用真实世界的数据集，以证明这个框架的有用性。
2021-10-27 cs.HC cs.LG stat.ML
Machine Learning for Scientific Visualization: Ensemble Data Analysis
本研究提出FLINT和HyperFLINT模型，通过深度学习方法提升时空科学数据的分析与可视化质量，实现高精度流估计和时间插值。
2025-11-28 cs.AI cs.CV cs.GR
A Fuzzy-Rough based Binary Shuffled Frog Leaping Algorithm for Feature Selection
Memorial University of Newfoundland（纽芬兰纪念大学）；University of Windsor（温莎大学）；Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；Gwangju Institute of Science and Technology（光州科学技术院）
特征选择和属性约简是机器学习、数据采掘和模式识别领域中的关键问题，并且被广泛使用的技术通过选择特征的子集或去除不相关的特征来克服众所周知的Curse of Precisionality现象。本文提出了一种新的特征选择方法，有效地进行属性约简，从而选择数据集的信息量最大的特征。它由两个部分组成：1）一个功能子集评估的措施，和2）一个搜索策略。对于评价指标，我们采用了模糊粗糙依赖度（FRFDD）在基于下近似的模糊粗糙特征选择（L-FRFS），由于其有效性在特征选择。在搜索策略方面，提出了一种新的二进制混合蛙跳算法（B-SFLA）。将B-SFLA与FRDD相结合，得到了一种新的特征选择方法。非参数统计测试进行比较所提出的方法与现有的几种方法超过22个数据集，包括9个高维和大型的，从UCI存储库。实验结果表明，B-SFLA方法显着优于其他元启发式方法的选择功能的数量和分类精度。
2018-07-31 cs.AI cs.LG stat.ML
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作，特别是在处理有噪声的高维数据时。然而，大多数现有的方法都保留了数据的全局或局部结构，但不能同时保留两者。只保留全局数据结构的方法，如主成分分析（PCA），通常对离群值敏感。仅保留局部数据结构的方法，例如局部保留投影，通常是无监督的（因此不能使用标签信息），并且使用固定的相似性图。我们提出了一种新的线性降维方法，监督判别稀疏PCA与自适应邻居（SDSPCAAN），集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此，全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Cluster and then Embed: A Modular Approach for Visualization
Department of Mathematics, University of California, San Diego（数学系，加州大学圣地亚哥分校）；Halıcıoğlu Data Science Institute, University of California, San Diego（Halıcıoğlu数据科学研究所，加州大学圣地亚哥分校）
研究针对t-SNE和UMAP在可视化时扭曲数据全局几何结构的问题，提出先聚类再嵌入的模块化方法，经多数据集实验验证，此方法在保持竞争力的同时更具透明度。
2026-07-13 cs.LG stat.ME stat.ML
Orthogonal Factor-Based Biclustering Algorithm (BCBOF) for High-Dimensional Data and Its Application in Stock Trend Prediction
School of Science, University of Science and Technology Liaoning（辽宁科技大学理学院）
针对高维数据双聚类的距离集中和局部结构破坏问题，提出基于正交因子的BCBOF算法，通过正交子空间坐标聚类缓解数据稀疏，并构建模糊推理系统用于股票趋势预测，实验证明其优于现有方法且能带来更高投资回报。
2025-04-30 cs.AI cs.LG
Efficient Learning of Fuzzy Logic Systems for Large-Scale Data Using Deep Learning
Istanbul Technical University（伊斯坦布尔理工大学）
针对大规模数据下模糊逻辑系统训练复杂度高、存在维度灾难的问题，本文提出嵌入深度学习框架的高效学习方法，借助小批量优化与自动微分降低训练耗时，并在基准数据集上验证了效率。
2024-04-19 cs.AI cs.LG
Hierarchical fuzzy neural networks with privacy preservation for heterogeneous big data
异构大数据给机器学习带来了许多挑战。其巨大的规模、高维度和固有的不确定性使得机器学习的几乎每个方面都很困难，从提供足够的处理能力到保持模型的准确性，再到保护隐私。然而，也许最令人担忧的问题是，大数据往往夹杂着敏感的个人数据。因此，我们提出了一个隐私保护层次模糊神经网络（PP-HFNN），以解决这些技术挑战，同时也减轻隐私问题。该网络的训练与两阶段的优化算法，并在层次结构的低级别的参数学习与计划的基础上，众所周知的交替方向的乘法器，它不会透露本地数据给其他代理。层次结构的高层协调由交替优化方法处理，该方法收敛非常快。整个训练过程是可扩展的，快速的，并且不会像基于反向传播的方法那样遭受梯度消失问题。在回归和分类任务上进行的综合仿真证明了所提出的模型的有效性。
2022-09-18 cs.AI cs.CR cs.LG
Two-Stage Hierarchical and Explainable Feature Selection Framework for Dimensionality Reduction in Sleep Staging
University of Pittsburgh（匹兹堡大学）
本文提出一种两阶段层次化可解释特征选择框架，通过引入拓扑特征弥补传统时频分析的结构信息损失，并比较PCA、t-SNE和UMAP三种降维算法在睡眠分期中的表现，验证了所提特征的有效性。
2024-08-31 cs.CV cs.LG eess.SP
"Why Here and Not There?" -- Diverse Contrasting Explanations of Dimensionality Reduction
KIOS Research and Innovation Center of Excellence, University of Cyprus（塞浦路斯大学KIOS卓越研究与创新中心）；Bielefeld University（比勒费尔德大学）
模糊性约简是数据采掘中常用的预处理方法和工具。透明度，这通常是通过解释的方式来实现的，现在是一个广泛接受的和关键的要求，机器学习为基础的系统，如分类器和推荐系统。然而，降维和其他数据采掘工具的透明度还没有被深入考虑，理解它们的行为仍然是至关重要的--特别是从业者可能想知道为什么特定的样本被映射到特定的位置。为了（局部地）理解给定的降维方法的行为，我们引入了对降维的对比解释的抽象概念，并将此概念的实现应用于解释二维的数据可视化的具体应用。
2023-02-22 cs.AI cs.LG
Feature Learning for Nonlinear Dimensionality Reduction toward Maximal Extraction of Hidden Patterns
University of California, Davis（加利福尼亚大学戴维斯分校）
在高维数据的可视化分析中，先验性约简（DR）起着至关重要的作用。DR的一个主要目的是揭示隐藏在内在低维流形上的模式。然而，当流形被某些有影响力的数据属性扭曲或掩盖时，DR经常忽略重要的模式。本文提出了一种特征学习框架FEALM，旨在为非线性DR生成一组优化的数据投影，以捕获隐藏流形中的重要模式。这些投影产生最大程度不同的最近邻图，从而得到的DR结果显著不同。为了实现这样的能力，我们设计了一个优化算法，以及引入一个新的图相异度的措施，命名为邻居形状相异度。此外，我们开发了交互式可视化，以帮助比较所获得的DR结果和每个DR结果的解释。我们证明FEALM的有效性，通过实验和案例研究，使用合成和真实世界的数据集。
2023-02-24 cs.LG stat.ML
Enhanced High-Dimensional Data Visualization through Adaptive Multi-Scale Manifold Embedding
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；National University of Singapore（新加坡国立大学）
针对高维流形嵌入的维数灾难与簇结构分离难题，提出自适应多尺度流形嵌入算法，通过序数距离、自适应邻域调整与两阶段嵌入框架提升可视化效果，并在生物数据中发现新神经元亚型。
2025-03-19 cs.LG
Probabilistic Dimensionality Reduction via Structure Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们提出了一种新的概率降维框架，可以自然地集成生成模型和数据的局部性信息。基于这个框架，我们提出了一个新的模型，它能够从高维噪声数据中学习低维空间中嵌入点的平滑骨架。新模型的公式化可以等价地解释为两个耦合的学习问题，即，结构学习和投影矩阵的学习。这种解释激发了对嵌入点的学习，这些嵌入点可以直接形成显式图结构。我们开发了一种新的方法来学习嵌入点，形成一个生成树，这是进一步扩展，以获得一个有区别的和紧凑的特征表示聚类问题。与传统的聚类方法不同，我们假设如果聚类中心在学习图中连接，则它们应该彼此靠近，而其他聚类中心应该远离。这可以极大地促进下游分析中的数据可视化和科学发现。大量的实验表明，所提出的框架是能够获得歧视性的特征表示，并正确地恢复各种现实世界的数据集的内在结构。
2016-10-16 cs.LG stat.ML
Navigating High-Dimensional Backstage: A Guide for Exploring Literature for the Reliable Use of Dimensionality Reduction
Seoul National University（首尔国立大学）；UNIST（全南大学）；University of California, Davis（加州大学戴维斯分校）；Newcastle University（新castle大学）；POSTECH；Linköping University（林肯大学）
针对降维可视化分析可靠性问题，提出一份基于文献分类的阅读指南，帮助实践者评估自身专业知识并定位提升理解的论文，经专家访谈验证其价值。
2025-06-10 cs.HC cs.LG
FSEVAL: Feature Selection Evaluation Toolbox and Dashboard
Department of Mathematics and Computer Science University of Southern Denmark（数学与计算机科学系索恩大学）
提出FSEVAL工具箱与可视化仪表盘，用于标准化、统一地评估和可视化特征选择算法。
2026-08-25 cs.LG
An Analysis of the t-SNE Algorithm for Data Visualization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
探索性数据分析的第一道防线是数据可视化，即，生成数据的二维表示，其使得相似点的聚类在视觉上可识别。标准的Johnson-Lindenstrauss降维不能产生数据可视化。vanderMaaten和Hinton提出的基于非凸优化的t-SNE启发式算法已经成为可视化的事实标准。这项工作提供了一个正式的框架，数据可视化的问题-找到一个二维嵌入的聚类数据，正确地分离个别集群，使他们在视觉上可识别。然后，我们给出了一个严格的分析的性能的t-SNE在一个自然的，确定性的条件下的“地面实况”集群（类似于在早期的聚类分析假设的条件）的基础数据。这些是t-SNE构建良好数据可视化的第一个可证明的保证。我们表明，我们的确定性条件是满足相当普遍的概率生成模型的可聚类数据，如混合物分离良好的日志凹分布。最后，我们给出了理论证据，t-SNE可证明成功地部分恢复集群结构，即使在上述确定性条件不满足。
2018-06-06 cs.LG
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo（滑铁卢大学）
有监督的降维策略已经引起了极大的兴趣。然而，当前的监督降维方法难以针对以大数据集为特征的情况进行缩放，因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战，但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战，在这项研究中，我们探索了一个新的方向，通过监督随机投影（SRP）的概念，以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是，而不是执行计算上禁止大规模数据的谱分解（或其近似），而是通过利用核近似理论和希尔伯特-施密特独立准则（HSIC）度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明，所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法（例如，SPCA和KSPCA），同时实现1-2个数量级更好的计算性能。因此，这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
When Dimensionality Reduction Meets Graph (Drawing) Theory: Introducing a Common Framework, Challenges and Opportunities
Eindhoven University of Technology (TU/e)（埃因霍温理工大学（TU/e））
本文提出统一框架弥合降维（DR）与图（绘制）理论的学科鸿沟，借助图论优化DR可视化全流程，拆解DR阶段并适配前沿技术，利用图分析方法改进DR的拓扑提取、嵌入生成与验证，同时指出实施挑战与未来研究方向。
2024-12-09 cs.LG
Transfer Representation Learning with TSK Fuzzy System
Jiangnan University（江南大学）
迁移学习可以利用来自不同但相关的源域的大量标记数据来解决目标域中未标记数据的学习任务。迁移学习的一个核心问题是学习一个共享的特征空间，在这个空间中来自两个域的数据的分布是匹配的。这种学习过程可以称为迁移表示学习（TRL）。特征变换方法是保证TRL成功的关键。TRL中最常用的特征变换方法是基于核的高维空间的非线性映射和线性降维。但核函数缺乏可解释性，难以选择。为此，本文将TSK模糊系统（TSK-FS）与迁移学习相结合，提出了一种更直观、更易于解释的建模方法--迁移表示学习与TSK-FS（TRL-TSK-FS）。具体来说，TRL-TSK-FS从两个方面实现了TRL。一方面，将源域和目标域中的数据转换到模糊特征空间中，使两个域之间的数据分布距离最小。另一方面，通过线性判别分析和主成分分析，保留了数据的判别信息和几何特征。此外，该方法的另一个优点是，通过构造模糊映射来实现非线性变换，而不是用TSK-FS的前件部分代替难以选择的核函数。在文本和图像数据集上进行了大量的实验。结果表明了该方法的优越性。
2019-01-09 cs.AI cs.LG
Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction
Aston University（阿斯顿大学）；University of Sussex（萨塞克斯大学）；University of Birmingham（伯明翰大学）；Massachusetts Institute of Technology（麻省理工学院）
无处不在的线性高斯探索工具，如主成分分析（PCA）和因子分析（FA），仍然被广泛用作探索性分析，预处理，数据可视化和相关任务的工具。然而，由于它们的刚性假设，包括高维数据的拥挤，它们在许多设置中已被更灵活且仍可解释的潜在特征模型所取代。特征分配通常使用离散潜变量建模，假设其遵循参数Beta-Bernoulli分布或贝叶斯非参数先验。在这项工作中，我们提出了一个简单易行的参数化特征分配模型，可以解决当前潜在特征分解技术的关键限制。新框架允许显式控制用于表达每个点的特征数量，并支持一组更灵活的分配分布，包括具有不同稀疏级别的特征分配。这种方法是用来推导出一种新的自适应因子分析（aFA），以及，自适应概率主成分分析（aPPCA）能够灵活的结构发现和降维的情况下，广泛的场景。我们推导出标准的吉布斯采样器，以及，期望最大化推理算法，收敛数量级更快的一个合理的点估计的解决方案。所提出的aPPCA模型的实用性证明了标准的PCA任务，如特征学习，数据可视化和数据白化。我们表明，aPPCA和aFA可以推断可解释的高级功能时，适用于原始MNIST和应用时，解释自动编码器功能。我们还展示了一个应用程序的aPPCA更强大的盲声源分离的功能磁共振成像（fMRI）。
2021-02-28 cs.LG math.ST stat.ML
Out-of-Core Dimensionality Reduction for Large Data via Out-of-Sample Extensions
University of Stuttgart（斯图加特大学）
本文提出利用样本外扩展实现大规模数据的核外降维，通过将数据迭代投影到小型参考投影中，评估了MDS、PCA、t-SNE、UMAP和自编码器的投影质量与运行时表现，并展示了十亿级流线实例的分析用例。
2024-08-07 cs.LG
Visualizing the PHATE of Neural Networks
Yale University（耶鲁大学）；Princeton University（普林斯顿大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
理解某些神经网络为什么以及如何优于其他网络是指导网络架构和优化方法未来发展的关键。为此，我们引入了一种新的可视化算法，揭示了这种网络的内部几何结构：Multislice PHATE（M-PHATE），这是第一种明确设计用于可视化神经网络隐藏的数据表示在整个训练过程中如何演变的方法。我们证明，我们的可视化提供了直观的，详细的总结学习动态超越简单的全球措施（即，验证损失和准确性），而无需访问验证数据。此外，与基于标准降维方法（例如，ISOMAP，t-SNE）。我们用两个小插曲来演示M-PHATE：持续学习和泛化。在前者中，M-PHATE可视化显示了“灾难性遗忘“的机制，这是任务切换背景下学习的一个主要挑战。在后者中，我们的可视化揭示了隐藏单元之间增加的异质性如何与提高的泛化性能相关。M-PHATE的一个实现，以及复制本文中的图形的脚本，可以在https://github.com/scottgigante/M-PHATE上找到。
2019-08-07 cs.LG cs.NE stat.ML
Dimensionality reduction for homological stability and global structure preservation
University of Austin（奥斯汀大学）；Temple University（Temple大学）
该研究提出力导向降维框架DiRe，结合初始嵌入与图优化，用多维度量评估，与UMAP、tSNE互补，可保留全局结构与同调特征，用于量化嵌入的大尺度几何。
2026-08-03 cs.AI cs.LG cs.MS
An Incremental Dimensionality Reduction Method for Visualizing Streaming Multidimensional Data
University of California, Davis（加州大学戴维斯分校）；Bosch Research North America（博世北美研究院）
多维性约简（DR）方法通常用于分析和可视化多维数据。然而，当数据是实时流馈送时，由于常规DR方法的计算复杂性并且不能保留在先前时间点的投影数据位置，因此不能直接使用常规DR方法。此外，当动态数据记录具有在现实世界应用中经常发现的不同数量的维度时，问题变得更具挑战性。本文提出了一种增量式灾难恢复解决方案。我们增强了现有的增量PCA方法在几个方面，以确保其可用性可视化流多维数据。首先，我们使用几何变换和动画的方法，以帮助保持观众的心理地图时，可视化的增量结果。其次，为了处理数据维度变量，我们使用优化方法来估计投影数据的位置，并在可视化中传达由此产生的不确定性。我们证明了我们的设计与两个案例研究使用真实世界的数据集的有效性。
2019-10-15 cs.GR cs.HC cs.LG
Explaining dimensionality reduction results using Shapley values
Faculty of Sciences and Technology, São Paulo State University (UNESP)（圣保罗州立大学科学与技术学院（UNESP））
多维性约简（DR）技术一直支持各种应用中的高维数据分析。除了这些技术所揭示的模式之外，基于每个特征对低维表示的贡献的DR结果的解释支持通过探索性分析的新发现。目前的文献方法，旨在解释DR技术没有解释功能的贡献，因为他们只关注低维表示或不考虑功能之间的关系。本文提出了一种新的Shapley算法来解决这些问题，使用Shapley值来生成降维技术的解释，并使用面向聚类的分析来解释这些算法。Shapley解释了集群的形成及其关系的含义，这对各个领域的探索性数据分析都很有用。我们提出了新的可视化技术，以指导解释功能的聚类形成的贡献，并验证我们的方法，通过公开的数据集的案例研究。结果表明，我们的方法的可解释性和分析能力，以产生关于病理和患者在不同条件下使用DR结果的见解。
2021-03-09 cs.GR cs.LG
Training Echo State Networks with Regularization through Dimensionality Reduction
University of Tromsø - The Arctic University of Norway（特罗姆瑟大学-挪威北极大学）
在本文中，我们介绍了一个新的框架训练回声状态网络预测实值时间序列。该方法包括在训练输出层学习目标任务之前，将网络内部层的输出投影到具有较低维度的空间上。值得注意的是，我们强制执行正则化约束，从而获得更好的泛化能力。我们评估我们的方法在几个基准测试的性能，使用不同的技术训练读出的网络，实现卓越的预测性能时，使用所提出的框架。最后，我们提供了一个洞察力的有效性，通过可视化的相空间中的轨迹，并依赖于非线性时间序列分析的方法。通过将我们的方法应用于众所周知的混沌系统，我们提供的证据表明，低维嵌入保留了底层系统的动力学特性比全维内部状态的网络。
2016-08-16 cs.LG cs.NE
A general framework for adaptive nonparametric dimensionality reduction
Seminar for Statistics, Department of Mathematics, ETH Zurich（苏黎世联邦理工学院统计研究所，数学系）；Faculty of Economics, Euler Institute, Università della Svizzera italiana（瑞士意大利大学经济学院，欧拉研究所）；Faculty of Informatics, Università della Svizzera italiana（瑞士意大利大学信息学院）；Department of Science and High Technology, University of Insubria（意大利因布里亚大学科学与高科技系）
本文提出了一种通用的自适应非参数维度约简框架，通过优化局部邻域结构来提升维度约简算法的性能。
2026-01-26 cs.AI cs.LG stat.ME
