LEt-SNE: A Hybrid Approach To Data Embedding and Visualization of Hyperspectral Imagery
Mercedes-Benz Research and Development India Pvt. Ltd.(梅赛德斯-奔驰印度私人有限公司研发中心);Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校资源工程研究中心)
从无人机或卫星捕获的高光谱图像(以及一般的遥感)由于其捕获的大空间范围和波长而具有非常大的体积。由于分析这些图像需要大量的计算时间和功率,各种降维技术已被用于特征约简。其中一些流行的技术摇摇欲坠时,应用于高光谱图像由于著名的灾难的维度。在本文中,我们提出了一种新的方法,LEt-SNE,它结合了基于图的算法,如t-SNE和拉普拉斯特征映射到一个模型参数化的浅前馈网络。我们引入了一个新的术语,压缩因子,使我们的方法能够对抗维数灾难。该算法适用于流形可视化和有标记或无标记数据的样本聚类。我们证明了我们的方法是有竞争力的,目前国家的最先进的方法在公共领域的高光谱遥感数据集。
2020-02-08 cs.CV cs.LG eess.IV
Visualization of Multi-Objective Switched Reluctance Machine Optimization at Multiple Operating Conditions with t-SNE
Georgia Institute of Technology(佐治亚理工学院);Northwestern University(西北大学);Ansys Inc.(Ansys公司);Temple University(天普大学)
在多个工作点优化电机对于需要频繁改变速度和负载的应用至关重要,例如电动汽车,以在整个驾驶周期中努力实现机器的最佳性能。然而,需要优化的目标的数量将随着优化中考虑的操作点的数量而显著增加,因此在当前使用的可视化技术方面存在潜在问题,例如在帕累托前沿的散点图、平行坐标和主成分分析(PCA)中,这抑制了他们向机器设计者提供所有设计候选者的直观且信息丰富的可视化的能力,以及他们挑选几个候选者用于进一步微调性能验证的能力。因此,本文提出了利用t分布随机邻居嵌入(t-SNE)可视化所有的优化目标的各种电机设计候选人与各种操作条件,这构成了一个高维的数据集,将躺在几个不同的,但相关的,低维流形。最后,开关磁阻电机(SRM)的两个案例研究,以说明的优越性,然后t-SNE相比,传统的可视化技术用于电机优化。
2019-11-04 cs.LG cs.SY eess.SY
GraphTSNE: A Visualization Technique for Graph-Structured Data
Nanyang Technological University(南洋理工大学);Loyola Marymount University(洛约拉马利蒙特大学)
我们提出了GraphTSNE,一种新的可视化技术的图形结构的数据的基础上t-SNE。对图形结构数据的兴趣日益增长,增加了通过可视化方式获得人类对此类数据集的洞察的重要性。在最流行的可视化技术中,经典的t-SNE不适合这样的数据集,因为它没有机制来利用来自图结构的信息。另一方面,在图形上操作的可视化技术,如Laplacian Eigenmaps和tsNET,没有利用节点特征信息的机制。我们提出的方法GraphTSNE产生的可视化图结构和节点功能。它是基于修改的t-SNE损失的图卷积网络的可扩展和无监督训练。通过组装一套评估指标,我们证明了我们的方法在三个基准数据集上产生了理想的可视化效果。
2019-04-23 cs.LG stat.ML
Laplacian-based Cluster-Contractive t-SNE for High Dimensional Data Visualization
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
抽象性约简技术旨在将高维数据表示在低维空间中,以提取隐藏的有用信息或促进对数据的视觉理解和解释。然而,很少有人考虑到潜在的聚类信息隐含在高维数据。在本文中,我们提出了LaptSNE,一个新的图形布局非线性降维方法的基础上t-SNE,最好的技术之一,可视化高维数据的二维散点图。具体来说,LaptSNE利用图拉普拉斯算子的特征值信息,在学习从高维空间到低维空间保持局部和全局结构时,缩小低维嵌入中的潜在聚类。由于标准化对称拉普拉斯算子的特征值是决策变量的函数,因此求解该模型是不平凡的。我们提供了一个优化最小化算法的收敛保证,以解决LaptSNE的优化问题,并展示了如何计算梯度分析,这可能是广泛的兴趣时,考虑优化与拉普拉斯复合目标。我们通过与七个基准数据集上的最先进方法进行正式比较来评估我们的方法,包括视觉上和通过建立的定量测量。结果表明,我们的方法优于基线,如t-SNE和UMAP。我们还为LaptSNE提供了样本外扩展,大规模扩展和小批量扩展,以促进各种场景下的降维。
2022-10-24 cs.HC cs.LG
Uncertainty-aware t-distributed Stochastic Neighbor Embedding for Single-cell RNA-seq Data
Central South University(中南大学);School of Mathematics and Statistics(数学与统计学院)
本文提出不确定性感知t-SNE(Ut-SNE),通过为每个样本建立概率表示,将单细胞RNA-seq数据中的转录组变异噪声纳入可视化,从而避免误导性展示,并可推广至其他高维数据分析领域。
2024-10-01 cs.LG q-bio.GN
Federated t-SNE and UMAP for Distributed Data Visualization
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出 Fed-tSNE 和 Fed-UMAP 等联邦学习算法,通过隐式学习数据分布并估计全局距离矩阵实现隐私保护的分布式高维数据可视化,并扩展至联邦谱聚类,理论与实验均证明其精度损失极小。
2024-12-18 cs.AI cs.LG
On the continuum limit of t-SNE for data visualization
School of Mathematics, University of Minnesota(明尼苏达大学数学学院);Department of Mathematics, University of Utah(犹他大学数学系);Department of Mathematics, North Carolina State University(北卡罗来纳州立大学数学系)
本文研究t-SNE可视化技术的连续极限,证明在数据点数趋于无穷时,KL散度一致,涉及非凸梯度正则项和概率密度函数惩罚项,揭示t-SNE吸引力与排斥力的连续极限。
2026-04-13 cs.LG math.AP math.ST
NeuroDAVIS: A neural network model for data visualization
Indian Statistical Institute(印度统计研究所);Tatras Data Services Pvt. Ltd.(Tatras数据服务私人有限公司)
提出无监督深度神经网络模型 NeuroDAVIS 用于高维数据降维与可视化,在不假设数据分布的前提下保持局部与全局结构,在多类数据集上优于或媲美 t-SNE、UMAP 等算法,且在下游任务中表现优异。
2023-04-01 cs.AI cs.HC cs.LG
Towards a comprehensive visualization of structure in data
Centre d’Estudis Avançats de Blanes (CEAB-CSIC)(布兰斯高等研究中心 (CEAB-CSIC));Centre de Recerca Ecològica i Aplicacions Forestals (CREAF)(生态研究与应用林学中心 (CREAF));Institució Catalana de Recerca i Estudis Avançats, ICREA(加泰罗尼亚研究与高级研究机构 (ICREA))
维度数据约简方法是探索和可视化大型数据集的基础。无监督数据探索的基本要求是简单性、灵活性和可扩展性。然而,目前的方法显示复杂的参数化和强大的计算限制时,探索跨尺度的大型数据结构。在这里,我们专注于t-SNE算法,并表明,一个简化的参数设置与一个单一的控制参数,即困惑,可以有效地平衡本地和全球数据结构可视化。我们还设计了一个chunk\&mix协议来有效地并行化t-SNE,并在比目前可用的更广泛的尺度上探索数据结构。我们的BH-tSNE的并行版本,即pt-SNE,收敛到良好的全局嵌入,可与最先进的解决方案相媲美,尽管chunk\&mix协议增加了很少的噪声,并降低了局部尺度的准确性。尽管如此,我们表明,简单的后处理可以有效地恢复局部规模的可视化,而不会在全球范围内的精度损失。我们希望相同的方法适用于BH-tSNE以外的更快的嵌入算法,如FIt-SNE或UMAP,从而扩展了最先进的技术,并导致更全面的数据结构可视化和分析。
2021-12-01 cs.LG q-bio.QM
Attraction-Repulsion Swarming: A Generalized Framework of t-SNE via Force Normalization and Tunable Interactions
School of Mathematics, University of Minnesota(明尼苏达大学数学学院)
提出基于吸引-排斥群集(ARS)的数据可视化方法,通过力归一化和可调交互核改进 t-SNE,支持数据规模无关的时间步长和簇间距控制,并在 MNIST 和 Cifar-10 上验证有效性。
2024-11-15 cs.AI cs.LG cs.NA
Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMAP, and PaCMAP for Data Visualization
Duke University(杜克大学);University of Rochester(罗切斯特大学)
降维(DR)技术,如t-SNE,UMAP和TriMAP在许多现实世界的数据集上表现出令人印象深刻的可视化性能。这些方法一直面临的一个紧张关系是保持全局结构和保持局部结构之间的权衡:这些方法可以处理其中一个,但不能同时处理两个。在这项工作中,我们的主要目标是了解DR方法的哪些方面对于保持局部和全局结构很重要:如果不真正理解我们在算法中所做的选择及其对它们产生的低维嵌入的经验影响,就很难设计出更好的方法。为了实现局部结构保持的目标,我们提供了几个有用的设计原则,DR损失函数的基础上,我们成功的DR方法背后的机制的新的理解。为了实现整体结构保存的目标,我们的分析说明,选择哪些组件保存是很重要的。我们利用这些见解,设计一个新的DR算法,称为成对控制流形近似投影(PaCMAP),它保留了本地和全球的结构。我们的工作提供了一些意想不到的见解,什么设计选择时,使和避免构建DR算法。
2021-08-24 cs.LG stat.ML
Navigating Perplexity: A linear relationship with the data set size in t-SNE embeddings
TU Delft(代尔夫特理工大学);Computer Graphics and Visualization(计算机图形与可视化)
本文揭示t-SNE嵌入中困惑度与数据集大小的线性关系,通过调整困惑度可保持嵌入结构一致性,实验验证该发现并指导用户选择困惑度,还概述了基于此关系的高维数据可视化应用。
2024-12-04 cs.AI cs.LG q-bio.QM
Probing neural networks with t-SNE, class-specific projections and a guided tour
Stanford University(斯坦福大学)
我们使用图形方法来探测分类图像的神经网络。网络中连续层的t-SNE输出图显示了数据点越来越有组织的排列。它们还可以揭示网络如何在数据通过层时减少甚至忘记类内结构。我们使用类特定的主成分类似物来可视化后续层如何分离类。这些使我们能够从给定的类中从最典型到最不典型(在数据中)对图像进行排序,并且它们也可以作为数据可视化的非常有用的投影坐标。我们发现它们在定义动画数据可视化的版本导览时特别有用。
2021-07-27 cs.AI cs.LG
Theoretical Foundations of t-SNE for Visualizing High-Dimensional Clustered Data
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
本文研究了t分布随机邻域嵌入(t-SNE)算法的理论基础,这是一种流行的非线性降维和数据可视化方法。提出了一种基于梯度下降法的t-SNE分析的新理论框架。对于t-SNE的早期夸张阶段,我们展示了它与基于底层图拉普拉斯的幂迭代的渐近等价性,描述了它的极限行为,并揭示了它与拉普拉斯谱聚类的深层联系,以及包括早期停止作为隐式正则化的基本原理。结果解释了这种计算策略的内在机制和经验优势。对于t-SNE的嵌入阶段,我们描述了整个迭代过程中低维映射的运动学特征,并确定了一个放大阶段,其特征是低维映射的簇间排斥和扩展行为,以及一个稳定阶段。一般理论解释了快速收敛速度和卓越的经验表现的t-SNE可视化聚类数据,带来了解释的t-SNE可视化,并提供理论指导,应用t-SNE和选择其调整参数在各种应用。
2022-11-01 cs.LG math.ST stat.ML
Visualizing Riemannian data with Rie-SNE
PayAnalytics;Technical University of Denmark(丹麦技术大学)
在生成数据的平面视图时,对流形上数据的忠实可视化必须考虑底层几何。本文将经典的随机邻域嵌入(SNE)算法推广到一般黎曼流形上。我们取代标准高斯假设与黎曼扩散对应,并提出了一个有效的近似,只需要访问计算黎曼距离和体积。我们证明,该方法还允许映射数据从一个流形到另一个,例如从一个高维球到一个低维的。
2022-03-17 cs.HC cs.LG
A unified view on Self-Organizing Maps (SOMs) and Stochastic Neighbor Embedding (SNE)
NeoInstinct S.A.(NeoInstinct股份有限公司)
我们提出了一个统一的观点,两个广泛使用的数据可视化技术:自组织映射(SOM)和随机邻居嵌入(SNE)。我们表明,它们都可以来自一个共同的数学框架。利用这个公式,我们建议比较SOM和SNE定量两个数据集,并讨论未来工作的可能途径,以利用这两种方法。
2022-05-03 cs.LG cs.NE stat.ML
Stochastic Cluster Embedding
Norwegian University of Science and Technology(挪威科技大学);Aalto University(阿尔托大学);Finnish Geospatial Research Institute(芬兰地理空间研究所);University of Oslo(奥斯陆大学);Wellcome Sanger Institute(威康桑格研究所);University of Helsinki(赫尔辛基大学)
邻域嵌入(NE)旨在保持数据项之间的成对相似性,并已被证明是数据可视化的有效原则。然而,即使是现有的最好的NE方法,如随机邻居嵌入(SNE),也可能隐藏大规模的模式,例如集群,尽管数据中存在强信号。为了解决这个问题,我们提出了一个新的集群可视化方法的基础上的邻居嵌入原则。首先,我们提出了一个家庭的邻居嵌入方法,通过使用非归一化的Kullback-Leibler散度与尺度参数,概括SNE。在这个系列中,更好的聚类可视化通常会出现与SNE对应的参数值不同的参数值。我们还开发了一个高效的软件,采用异步随机块坐标下降优化新的家庭的目标函数。我们的实验结果表明,该方法一致,并大大提高了可视化的数据集群相比,国家的最先进的NE方法。
2021-09-14 cs.LG
EmbedOR: Provable Cluster-Preserving Visualizations with Curvature-Based Stochastic Neighbor Embeddings
Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系);Department of Statistics & Data Science, Wu Tsai Institute, Yale University(耶鲁大学统计与数据科学系、吴氏研究所);Department of Machine Learning, University of Fribourg(弗里堡大学机器学习系);Department of Mathematics, Columbia University(哥伦比亚大学数学系);Irving Institute for Cancer Dynamics, Columbia University(哥伦比亚大学癌症动力学研究所)
EmbedOR是一种结合离散图曲率的SNE算法,通过增强的距离度量有效保持数据聚类结构,减少可视化碎片化,提升高维数据的几何保持能力。
2025-09-03 cs.LG
t-viSNE: Interactive Assessment and Interpretation of t-SNE Projections
Linnaeus University(林奈大学)
针对t-SNE投影难解释、可信度不足的问题,提出交互式可视化工具t-viSNE,通过多视图组件支持多维度分析,经场景验证和用户研究证实有效,可提升t-SNE结果的可理解性。
2024-04-18 cs.HC cs.LG stat.ML
NCVis: Noise Contrastive Approach for Scalable Visualization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
通过降维进行数据可视化的现代方法(如t-SNE)通常存在性能问题,无法应用于大量高维数据。在这项工作中,我们提出了NCVis -一个高性能的降维方法建立在一个健全的统计基础上的噪声对比估计。我们表明,NCVis在速度方面优于最先进的技术,同时保持其他方法的表示质量。特别是,所提出的方法成功地在几分钟内处理了超过100万条新闻标题的大型数据集,并以人类可读的方式呈现了底层结构。此外,它在手写数字图像等更简单的数据集上提供了与t-SNE等经典方法一致的结果。我们相信,更广泛地使用此类软件可以大大简化大规模数据分析,并降低该领域的准入门槛。
2020-01-30 cs.LG stat.ML
Deep Generative Neural Embeddings for High Dimensional Data Visualization
Siemens Medical Solutions USA(美国西门子医疗系统公司)
我们提出了一种可视化技术,利用神经网络嵌入和生成网络重建原始数据。该方法允许通过其非参数结构独立操作各个图像嵌入,比传统的自动编码器方法提供更大的灵活性。我们已经评估了这种技术在数据可视化中的有效性,并将其与t-SNE和VAE方法进行了比较。此外,我们还通过ImageNet数据集上的可视化展示了我们方法的可扩展性。我们的技术在人在环训练中具有潜在的应用,因为它允许独立编辑嵌入位置而不影响优化过程。
2023-01-25 cs.CV cs.HC cs.LG
Cluster and then Embed: A Modular Approach for Visualization
Department of Mathematics, University of California, San Diego(数学系,加州大学圣地亚哥分校);Halıcıoğlu Data Science Institute, University of California, San Diego(Halıcıoğlu数据科学研究所,加州大学圣地亚哥分校)
研究针对t-SNE和UMAP在可视化时扭曲数据全局几何结构的问题,提出先聚类再嵌入的模块化方法,经多数据集实验验证,此方法在保持竞争力的同时更具透明度。
2026-07-13 cs.LG stat.ME stat.ML
Parametric t-Distributed Stochastic Exemplar-centered Embedding
NEC Labs America(美国NEC实验室);National Research Council Canada(加拿大国家研究委员会);Duke University(杜克大学)
诸如参数t-SNE(pt-SNE)的参数嵌入方法已被广泛用于数据可视化和样本外数据嵌入,而无需进一步的计算上昂贵的优化或近似。然而,pt-SNE的性能是高度敏感的超参数批量大小,由于冲突的优化目标,并经常产生显着不同的嵌入与用户定义的困惑的不同选择。为了有效地解决这些问题,我们提出了参数t分布随机样本为中心的嵌入方法。我们的策略通过将给定的数据与预先计算的样本进行比较来学习嵌入参数,从而产生具有线性计算和内存复杂度的成本函数,并通过噪声对比样本进一步降低成本函数。此外,我们提出了一种具有高阶特征交互的浅嵌入网络用于数据可视化,该网络更容易调整,但与pt-SNE采用的深度神经网络相比,其性能相当。我们经验证明,使用几个基准数据集,我们提出的方法显着优于pt-SNE的鲁棒性,视觉效果和定量评估。
2018-04-20 cs.LG
Spaceland Embedding of Sparse Stochastic Graphs
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Duke University(杜克大学)
我们介绍了一种非线性方法,直接嵌入大型,稀疏,随机图到低维空间,而不需要顶点特征驻留在,或被转换成,度量空间。图形数据和模型在现实世界的应用中很普遍。除了图形可视化之外,直接图形嵌入是许多图形分析任务的基础。我们将这种新方法命名为SG-t-SNE,因为它受到t-SNE核心原理的启发并建立在t-SNE的基础上,t-SNE是一种广泛使用的非线性降维和数据可视化方法。我们还介绍了t-SNE- $Π$,一个高性能的软件,2D,3D嵌入大型稀疏图在个人电脑上具有优越的效率。它使SG-t-SNE具有现代计算技术,可以同时利用矩阵结构和存储器架构。我们提出了一个合成图和四个真实世界的网络上的嵌入结果。
2019-06-13 cs.LG stat.ML
Visualizing Data using GTSNE
Peking University(北京大学)
本文提出了一种新的方法GTSNE来显示二维的地图中的高维数据点。该技术是t-SNE的变体,通过捕获数据中的局部邻域结构和宏观结构来产生更好的可视化。这对于位于连续低维流形上的高维数据尤其重要。我们说明了GTSNE在各种数据集上的性能,并将其与最先进的方法(包括t-SNE和UMAP)进行比较。GTSNE产生的可视化效果优于其他技术产生的几乎所有的数据集上的宏观结构保存。
2021-08-03 cs.HC cs.LG math.OC
VMF-SNE: Embedding for Spherical Data
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
T-SNE是一种众所周知的嵌入高维数据的方法,并已广泛用于数据可视化。t-SNE的基本假设是数据在欧氏空间中是无约束的,并且局部邻近度可以用高斯分布来建模。该假设在实际应用中不适用于广泛的数据类型,例如球形数据,对于球形数据,局部接近度由von Mises-Fisher(vMF)分布而不是高斯分布更好地建模。本文提出了一种vMF-SNE嵌入算法来嵌入球形数据。一个迭代的过程中产生一个有效的嵌入。仿真数据集上的结果表明,vMF-SNE产生更好的嵌入比t-SNE的球形数据。
2015-07-30 cs.LG
SMAP: A Joint Dimensionality Reduction Scheme for Secure Multi-Party Visualization
Central South University(中南大学);Zhejiang University(浙江大学);I4 data;Pennsylvania State University(宾夕法尼亚州立大学);Facebook;Graz University of Technology(格拉茨技术大学)
如今,随着数据变得越来越复杂和分布式,数据分析通常涉及存储在不同服务器上的多个相关数据集,这些数据集可能由不同的利益相关者拥有。虽然有一个新兴的需要,提供这些利益相关者在全球范围内的数据的全貌,传统的可视化分析方法,如降维,可能会暴露数据隐私时,多方数据集融合到一个单一的网站,以建立点级的关系。在本文中,我们重新制定了传统的t-SNE方法从单站点模式到一个安全的分布式基础设施。我们提出了一个安全的多方联合t-SNE计算方案,它可以最大限度地减少数据泄漏的风险。聚合可视化可以可选地用于隐藏点级关系的公开。我们建立了一个原型系统的基础上,我们的方法,SMAP,支持组织,计算和探索的安全联合嵌入。我们证明了我们的方法的有效性与三个案例研究,其中之一是基于我们的系统在现实世界中的应用程序的部署。
2020-07-30 cs.CR cs.HC cs.LG
Barnes-Hut-SNE
Delft University of Technology(代尔夫特理工大学)
本文提出了一个O(N log N)的t-SNE实现-一种嵌入技术,通常用于散点图中高维数据的可视化,通常运行时间为O(N^2)。新的实现使用优势点树来计算输入数据对象之间的稀疏成对相似性,并使用Barnes-Hut算法的变体-天文学家用于执行N体模拟的算法-来近似嵌入中相应点之间的力。我们的实验表明,新算法,称为Barnes-Hut-SNE,导致大量的计算优势,超过标准的t-SNE,它使得学习嵌入数据集与数百万个对象。
2013-03-08 cs.CV cs.LG stat.ML
Doubly Stochastic Neighbor Embedding on Spheres
Aalto University(阿尔托大学);Australian National University(澳大利亚国立大学);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);Norwegian University of Science and Technology(挪威科技大学)
随机邻域嵌入(SNE)方法最小化了高维数据集的相似性矩阵与低维嵌入的相似性矩阵之间的差异,从而导致广泛应用的数据可视化工具。尽管他们的流行,目前SNE方法遇到拥挤的问题时,数据包括高度不平衡的相似性。这意味着具有更高总相似性的数据点倾向于在显示中心周围变得拥挤。为了解决这个问题,我们引入了一个快速的归一化方法,并规范化的相似性矩阵是双重随机的,使所有的数据点有相等的总相似度。此外,我们的经验和理论表明,双随机约束往往会导致嵌入近似球形。这意味着用球面代替平面空间作为嵌入空间。球面嵌入消除了可视化过程中中心和边缘的不一致性,有效地解决了拥挤问题。我们比较了所提出的方法(DOSNES)与最先进的SNE方法在三个真实世界的数据集,结果清楚地表明,我们的方法是更有利的可视化质量。
2018-09-11 cs.LG
T-SNE Is Not Optimized to Reveal Clusters in Data
Norwegian University of Science and Technology(挪威科技大学);Aalto University(阿尔托大学);Finnish Geospatial Research Institute(芬兰地理空间研究所);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);Wellcome Sanger Institute(桑格研究所)
聚类可视化是非线性降维作为数据分析工具的一项重要任务。通常认为,学生t分布随机邻居嵌入(t-SNE)可以显示聚类良好的可聚类数据的聚类,较小的Kullback-Leibler散度对应于更好的质量。甚至有理论上的证据来保证这一财产。然而,我们指出,这并不一定是这种情况- t-SNE可能会隐藏聚类模式,尽管数据中存在强烈的信号。大量的经验证据支持我们的主张。首先,几个现实世界的反例,其中t-SNE失败,即使输入邻域是很好的聚类。调整t-SNE中的超参数或使用更好的优化算法无助于解决这个问题,因为更好的t-SNE学习目标可能对应于更差的聚类嵌入。其次,我们检查了t-SNE的聚类保证中的假设,发现它们在现实世界的数据集上经常被违反。
2021-10-06 cs.HC cs.LG stat.ML
Boosting t-SNE Efficiency for Sequencing Data: Insights from Kernel Selection
本研究评估了九种核函数用于t-SNE处理分子序列,发现余弦相似性核在效率和低维空间距离保持方面表现最佳,适用于大规模生物序列分析。
2025-12-17 cs.LG
Parametric t-Stochastic Neighbor Embedding With Quantum Neural Network
Osaka University(大阪大学);JST, PRESTO(日本科学技术振兴机构先驱研究计划);RIKEN Center for Quantum Computing(理化学研究所量子计算中心)
t-Stochastic Neighbor Embedding(t-SNE)是经典机器学习中的一种非参数数据可视化方法。它将数据从高维空间映射到低维空间,尤其是二维平面,同时保持周围点之间的关系或相似性。在t-SNE中,低维数据的初始位置是随机确定的,并且通过移动低维数据以最小化成本函数来实现可视化。它的变体称为参数t-SNE,使用神经网络进行映射。在本文中,我们提出使用量子神经网络的参数t-SNE反映的特点,高维量子数据的低维数据。在计算高维数据的相似性时,我们使用基于相似性的度量来代替欧氏距离。我们可视化经典(虹膜数据集)和量子(依赖时间的哈密顿动力学)数据的分类任务。由于该方法允许我们用较低维度的量子数据集来表示高维希尔伯特空间中的量子数据集,同时保持它们的相似性,因此所提出的方法也可以用于压缩量子数据以进行进一步的量子机器学习。
2022-02-09 cs.LG quant-ph
Visualization of Extremely Sparse Contingency Table by Taxicab Correspondence Analysis: A Case Study of Textual Data
Université de Moncton(蒙克顿大学)
本文介绍出租车对应分析这一稳健方法,用于可视化590×8265的极稀疏神圣文本数据集,并与多种降维方法进行比较研究。
2023-08-06 cs.LG stat.ML
Uncovering Temporal Patterns in Visualizations of High-Dimensional Data
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Baylor College of Medicine(贝勒医学院)
针对高维时间序列数据降维可视化丢失时间模式的问题,提出引入两个时间损失项的降维扩展方法,在合成与真实数据上有效揭示时间模式并提升可解释性。
2024-12-14 cs.HC cs.LG
NOMAD Projection
Nomic AI
针对传统非结构化数据可视化方法难以适配大规模数据集的问题,提出可多GPU训练的NOMAD Projection非线性降维方法,理论上证明其为InfoNC-t-SNE损失的近似上界,实验验证其性能与速度更优,还生成了首份完整Multilingual Wikipedia数据图谱。
2025-05-21 cs.LG
Efficient Algorithms for t-distributed Stochastic Neighborhood Embedding
Yale University(耶鲁大学);Yale University School of Medicine(耶鲁大学医学院)
t分布随机邻域嵌入(t-SNE)是近年来广泛流行的一种降维和可视化方法。t-SNE的有效实现是可用的,但是它们对于具有数十万到数百万个高维数据点的数据集的扩展性很差。提出了基于快速傅立叶变换加速插值的t-SNE(FIt-SNE)算法,大大提高了t-SNE的计算速度。t-SNE最耗时的步骤是卷积,我们通过插值到等间距网格上并随后使用快速傅立叶变换来执行卷积来加速卷积。我们还使用多线程近似最近邻优化高维输入相似性的计算。我们进一步提出了一个修改t-SNE称为“后期夸张”,这使得更容易识别集群的t-SNE嵌入。最后,对于无法加载到内存中的数据集,我们提出了核外随机主成分分析(oocPCA),这样就可以在不完全加载矩阵的情况下计算数据集的顶部主成分,从而允许在资源有限的机器上计算大型数据集的t-SNE。
2017-12-25 cs.LG stat.ML
Supervised Visualization for Data Exploration
Utah State University(犹他州立大学);Université de Montréal(蒙特利尔大学)
简化通常被用作数据探索的初始步骤,无论是作为分类或回归的预处理,还是用于可视化。迄今为止,大多数降维技术都是无监督的;它们不考虑类别标签(例如,PCA、MDS、t-SNE、Isomap)。这样的方法需要大量的数据,并且通常对可能混淆数据中的重要模式的噪声敏感。在考虑辅助注释(例如,类标签)已经成功地实现了提高分类准确性或改进数据可视化的目标。这些监督技术中的许多技术以相似性或相异性矩阵的形式将标签并入损失函数中,从而在类别聚类之间创建过度强调的分离,这并不能真实地表示数据中的局部和全局关系。此外,这些方法往往是敏感的参数调整,这可能是难以配置没有明确的定量概念的视觉优势。在本文中,我们描述了一种新的监督可视化技术的基础上随机森林的接近和基于扩散的降维。我们定性和定量地展示了我们的方法在保留数据中的局部和全局结构方面的优势,同时强调了低维嵌入中的重要变量。重要的是,我们的方法对噪声和参数调整具有鲁棒性,因此使用简单,同时为数据探索提供可靠的可视化。
2020-06-15 cs.HC cs.LG stat.AP
bigMap: Big Data Mapping with Parallelized t-SNE
Centre d’Estudis Avançats de Blanes (CEAB-CSIC)(布拉内斯高等研究中心(CEAB-CSIC));Centre de Recerca Ecològica i Aplicacions Forestals (CREAF)(生态研究与林业应用中心(CREAF))
我们介绍了一种改进的无监督聚类协议,特别适合于大规模结构化数据。该协议遵循三个步骤:数据的降维,在低维表示的数据的密度估计,和密度景观的最终分割。对于降维步骤,我们引入了一个并行实现的著名的t-随机相邻嵌入(t-SNE)算法,显着消除了一些固有的局限性,同时提高其适用于大型数据集。我们还引入了一种新的自适应核密度估计,特别是与t-SNE框架相结合,以便从嵌入的数据中获得准确的密度估计,以及一种用于识别密度景观中的聚类的分水岭算法的变体。整个映射协议被包装在bigMap R包中,以及可视化和分析工具,以简化聚类的定性和定量评估。
2019-11-04 cs.LG q-bio.QM
Efficient and Robust Bayesian Selection of Hyperparameters in Dimension Reduction for Visualization
University of California, Irvine(加州大学欧文分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出结合代理模型、归一化与子采样的贝叶斯优化框架,以支持大规模降维算法在多目标指标下的高效超参数选择与敏感性分析。
2023-06-01 cs.HC cs.LG math.PR
Supervised Stochastic Neighbor Embedding Using Contrastive Learning
University of Geneva(日内瓦大学)
本研究将自监督对比学习扩展至全监督设置,提出一种有监督随机近邻嵌入方法,通过在低维空间中拉近同类样本、推开异类样本,有效利用标签信息以优化数据可视化。
2023-09-15 cs.LG
Informative Initialization and Kernel Selection Improves t-SNE for Biological Sequences
Georgia State University(佐治亚州立大学)
t分布随机邻域嵌入(t-SNE)是一种通过将每个点映射到低维(LD)空间(通常是二维)来解释高维(HD)数据的方法。它试图保留数据的结构。t-SNE算法的一个重要组成部分是初始化过程,该过程从LD向量的随机初始化开始。然后更新该初始向量中的点,以使用梯度下降迭代地最小化损失函数(KL发散)。这导致可比较的点相互吸引,同时将不同的点推开。我们相信,在默认情况下,这些算法应该采用某种形式的信息初始化。t-SNE的另一个重要组成部分是使用核矩阵,即包含序列之间的成对距离的相似性矩阵。对于基于t-SNE的可视化,在文献中默认采用高斯核。然而,我们表明,内核的选择也可以发挥至关重要的作用,在t-SNE的性能。在这项工作中,我们评估了t-SNE的性能与各种替代的初始化方法和内核,使用四个不同的集合,其中三个是生物序列(核苷酸,蛋白质等)。从各种来源获得的数据集,例如用于SARS-CoV-2病毒序列的众所周知的GISAID数据库。我们对这些替代方案进行主观和客观评估。我们使用得到的t-SNE图和k元邻域一致性(k-ANA)来评估和比较所提出的方法与基线。我们表明,通过使用不同的技术,如知情的初始化和内核矩阵的选择,t-SNE执行显着更好。此外,我们还表明,t-SNE也需要更少的迭代,更智能的初始化收敛速度更快。
2022-11-16 cs.LG
Compressive Embedding and Visualization using Graphs
EPFL, Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
几十年来,可视化高维数据一直是数据分析社区的焦点,这导致了许多算法的设计,其中一些现在被认为是参考(例如t-SNE)。在我们这个数据量巨大的时代,这种方法的可扩展性变得越来越重要。在这项工作中,我们提出了一种方法,它允许应用任何可视化或嵌入算法在非常大的数据集上,只考虑一小部分数据作为输入,然后使用图形编码其全局相似性将信息扩展到所有数据点。我们表明,在大多数情况下,仅使用$\mathcal{O}(\log(N))$样本就足以将信息扩散到所有$N$数据点。此外,我们还提出了量化方法来衡量嵌入的质量,并在合成和真实世界的数据集上证明了我们的技术的有效性。
2017-02-19 cs.LG stat.ML
Interpretable Visualizations with Differentiating Embedding Networks
Yale University(耶鲁大学)
我们提出了一种可视化算法的基础上,一种新的无监督连体神经网络的训练制度和损失函数,称为差分嵌入网络(DEN)。Siamese神经网络在数据集中的特定样本对之间找到差异或相似的特征,并使用这些特征将数据集嵌入到可以可视化的低维空间中。与现有的可视化算法(如UMAP或$t$ -SNE)不同,DEN是参数化的,这意味着它可以通过SHAP等技术进行解释。为了解释DEN,我们在可视化之上创建了一个端到端的参数聚类算法,然后利用SHAP分数来确定样本空间中的哪些特征对于基于发现的聚类来理解可视化中显示的结构是重要的。我们将DEN可视化与各种数据集上的现有技术进行了比较,包括图像和scRNA-seq数据。然后,我们表明,我们的聚类算法执行类似的最先进的,尽管没有事先知道的集群的数量,并设置一个新的国家的最先进的FashionMNIST。最后,我们演示了如何找到数据集的差异化特征。代码可在https://github.com/isaacrob/DEN获得
2020-06-11 cs.CV cs.LG stat.ML
Revised Conditional t-SNE: Looking Beyond the Nearest Neighbors
Ghent University(根特大学);VIB Center for Inflammation Research(VIB炎症研究中心)
本文针对条件 t-SNE 在标签聚类良好时失效的问题,提出在高维相似度上施加条件并分别存储标签内外最近邻的修正方法,在提升嵌入质量的同时改善了可扩展性。
2023-04-11 cs.LG stat.ML
ShapeVis: High-dimensional Data Visualization at Scale
Adobe(奥多比)
我们提出了ShapeVis,一个可扩展的可视化技术的点云数据的启发,从拓扑数据分析。我们的方法捕获的基本几何和拓扑结构的数据在一个压缩的图形表示。数据可视化技术Mapper已经取得了很大的成功,它谨慎地近似了数据上过滤函数的Reeb图。然而,当使用标准的降维算法作为过滤函数时,Mapper遭受相当大的计算成本。这使得很难扩展到高维数据。我们所提出的技术依赖于沿着数据流形找到一个称为地标的点子集,在其上构建一个加权的拓扑图。该图捕获点云的结构特征,并使用有限马尔可夫链确定其权重。我们进一步压缩这个图应用标准社区发现算法的诱导地图。借用流形撕裂的技术,我们修剪和恢复边缘的诱导图的基础上,他们的模块总结数据的形状。我们经验证明我们的技术如何捕捉真实和合成数据集的结构特征。此外,我们使用t-SNE,UMAP,LargeVis等各种过滤函数将我们的方法与Mapper进行比较,并表明我们的算法可扩展到数百万个数据点,同时保持数据可视化的质量。
2020-01-21 cs.HC cs.LG stat.ML
Analyzing scRNA-seq data by CCP-assisted UMAP and t-SNE
Michigan State University(密歇根州立大学)
本文提出利用相关聚类与投影(CCP)作为初始化工具来辅助UMAP和t-SNE分析scRNA-seq数据,在八个公开数据集上显著提升了可视化效果与准确性。
2023-06-23 cs.LG
Unsupervised visualization of image datasets using contrastive learning
University of Tübingen(蒂宾根大学)
提出一种名为 t-SimCNE 的新方法,结合对比学习与邻居嵌入,将高维像素空间参数化映射至二维,实现了与 SimCLR 相当的分类准确率,并生成了展示丰富聚类结构和异常值的图像数据集可视化。
2023-02-28 cs.CV cs.HC cs.LG
Deep Neural Maps
University of British Columbia(不列颠哥伦比亚大学)
我们介绍了一种新的无监督表示学习和可视化,使用深度卷积网络和自组织映射,称为深度神经映射(DNM)。DNM联合学习输入数据的嵌入和从嵌入空间到二维网格的映射。我们比较DNM的可视化与那些的t-SNE和LLE的MNIST和COIL-20数据集。实验结果表明,DNM可以学习到有效的输入数据表示,反映了每个类的特点。这通过将映射的神经元反向投影到数据空间上来显示。
2018-10-16 cs.LG cs.NE stat.ML
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad(伊斯兰堡科姆萨特大学);University of Poonch Rawalakot(拉瓦拉科特蓬奇大学)
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略,提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集,并将主成分分析应用于子集。最后,特征被水平地融合。使用t-分布的邻居嵌入(t-SNE)的情感识别的特征的应用程序之前,得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集:情绪语音数据集(EMO-DB)和瑞尔森视听数据库的情绪语音和歌曲(RAVDESS)的两种语言,德语和英语,分别。与基线研究相比,我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益,对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Consistent Representation Learning for High Dimensional Data Analysis
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
用于探索和发现的高维数据分析包括三个基本任务:降维、聚类和可视化。当这三个相关联的任务被单独完成时,就像到目前为止通常的情况一样,在数据几何和其他方面,任务之间可能会出现不一致。这可能导致混淆或误导性的数据解释。在本文中,我们提出了一种新的神经网络为基础的方法,称为一致性表示学习(CRL),完成这三个相关的任务端到端,并提高了可扩展性。CRL网络由两个非线性降维(NLDR)变换组成:(1)一个是从输入数据空间到潜在特征空间进行聚类,(2)另一个是从聚类空间到最终的2D或3D空间进行可视化。重要的是,执行两个NLDR变换以最好地满足跨空间或网络层的局部几何保持(LGP)约束,以改善数据的并行性以及处理流程。此外,我们提出了一种新的度量,聚类可视化不一致(CVI),用于评估的不一致。大量的比较结果表明,提出的CRL神经网络方法优于流行的t-SNE和UMAP为基础的和其他当代聚类和可视化算法的评价指标和可视化。
2020-12-01 cs.AI cs.LG stat.ML
Accelerating hyperbolic t-SNE
TU Delft(代尔夫特理工大学)
针对双曲 t-SNE 计算成本随数据量二次增长的问题,本文提出基于极坐标四叉树的首个双曲嵌入加速结构,可在保持嵌入质量相近的同时显著缩短运行时间。
2024-01-23 cs.AI cs.HC cs.LG
Your Contrastive Learning Is Secretly Doing Stochastic Neighbor Embedding
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong University of Science and Technology(香港科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院)
本文揭示自监督对比学习等价于由数据增强定义输入相似性的随机邻域嵌入,并据此分析其特征性质,且将 $t$-SNE 改进引入 SSCL 以提升泛化能力。
2023-06-02 cs.AI cs.CV cs.LG
Visualizing the PHATE of Neural Networks
Yale University(耶鲁大学);Princeton University(普林斯顿大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
理解某些神经网络为什么以及如何优于其他网络是指导网络架构和优化方法未来发展的关键。为此,我们引入了一种新的可视化算法,揭示了这种网络的内部几何结构:Multislice PHATE(M-PHATE),这是第一种明确设计用于可视化神经网络隐藏的数据表示在整个训练过程中如何演变的方法。我们证明,我们的可视化提供了直观的,详细的总结学习动态超越简单的全球措施(即,验证损失和准确性),而无需访问验证数据。此外,与基于标准降维方法(例如,ISOMAP,t-SNE)。我们用两个小插曲来演示M-PHATE:持续学习和泛化。在前者中,M-PHATE可视化显示了“灾难性遗忘“的机制,这是任务切换背景下学习的一个主要挑战。在后者中,我们的可视化揭示了隐藏单元之间增加的异质性如何与提高的泛化性能相关。M-PHATE的一个实现,以及复制本文中的图形的脚本,可以在https://github.com/scottgigante/M-PHATE上找到。
2019-08-07 cs.LG cs.NE stat.ML
DataMap: A Portable Application for Visualizing High-Dimensional Data
South Dakota State University(南达科他州立大学)
针对生物医学研究中高维数据可视化分析的需求,提出基于浏览器的DataMap应用,支持热图、PCA等可视化方法,保障数据隐私且无需安装,还能生成可复现代码。
2025-04-11 cs.HC cs.LG q-bio.QM