Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);NAVER Corporation(NAVER公司)
多模态关系数据分析近年来变得越来越重要,用于探索不同领域的数据,诸如从社交网络服务(例如,Flickr)。已经开发了各种数据分析方法用于可视化;举一个例子,t-随机邻居嵌入(t-SNE)计算低维特征向量,以便它们的相似性保持观察到的数据向量。然而,t-SNE是专为一个单一的数据域,但不是多模态数据,本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE,本文提出了多模态关系随机邻居嵌入(MR-SNE),即(1)首先计算增强关系,其中我们观察跨域的关系,并通过观察到的数据向量计算每个域内的关系,以及(2)将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集,建议MR-SNE与其他基于图嵌入的方法进行了比较,MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC
A Shallow High-Order Parametric Approach to Data Visualization and Compression
NEC Labs America(NEC美国实验室);National Research Council Canada(加拿大国家研究委员会)
显式高阶特征交互有效地捕获感兴趣数据的基本结构知识,并已用于构建生成模型。我们提出了一个监督判别高阶参数嵌入(HOPE)的方法来数据可视化和压缩。与具有复杂深层架构的深层嵌入模型相比,HOPE通过极其简单的浅层模型生成更有效的高阶特征映射。此外,提出了两种方法来生成少量的样本传达高阶相互作用,以代表大规模的数据集。这些范例与HOPE学习的特征映射相结合,有效地捕获了基本的数据变化。此外,通过HOPE,这些样本被用来提高计算效率的kNN分类快速信息检索的数千倍。对于MNIST和USPS数据集上的二维嵌入空间中的分类,我们的具有简单Sigmoid变换的浅层方法HOPE显著优于基于深度神经网络的最先进的监督深度嵌入模型,甚至在MNIST上的二维空间中实现了历史最低的测试出错率0.65%,其展示了具有高阶特征交互的监督浅模型的表示效率和能力。
2016-08-16 cs.AI cs.LG stat.ML
Spaceland Embedding of Sparse Stochastic Graphs
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Duke University(杜克大学)
我们介绍了一种非线性方法,直接嵌入大型,稀疏,随机图到低维空间,而不需要顶点特征驻留在,或被转换成,度量空间。图形数据和模型在现实世界的应用中很普遍。除了图形可视化之外,直接图形嵌入是许多图形分析任务的基础。我们将这种新方法命名为SG-t-SNE,因为它受到t-SNE核心原理的启发并建立在t-SNE的基础上,t-SNE是一种广泛使用的非线性降维和数据可视化方法。我们还介绍了t-SNE- $Π$,一个高性能的软件,2D,3D嵌入大型稀疏图在个人电脑上具有优越的效率。它使SG-t-SNE具有现代计算技术,可以同时利用矩阵结构和存储器架构。我们提出了一个合成图和四个真实世界的网络上的嵌入结果。
2019-06-13 cs.LG stat.ML
Multitask Learning on Graph Neural Networks: Learning Multiple Graph Centrality Measures with a Unified Network
Institute of Informatics, UFRGS(UFRGS信息学研究所)
将深度学习应用于符号领域仍然是一项积极的研究工作。图神经网络(GNN)由经过训练的神经模块组成,这些神经模块可以在运行时以不同的拓扑结构排列,是解决关系问题的合理替代方案,这些问题适合于图形表示。在本文中,我们证明了GNN能够进行多任务学习,这可以通过训练模型来改进一组多维嵌入$\in \mathbb{R}^d$并通过在管道末端连接MLP将其解码为多个输出来自然地实施。我们证明了多任务学习能力的模型在相关的关系问题估计网络中心性措施,主要集中在生产排名的基础上,这些措施,即顶点$v_1$更中心比顶点$v_2$给定中心性$c$?然后,我们表明,一个GNN可以训练开发一个\emph{lingua franca}的顶点嵌入,所有相关信息的任何训练中心性措施可以解码。该模型实现了$89\%$的随机实例的测试数据集上的精度高达128顶点,并概括到更大的问题大小。该模型还显示,以获得合理的准确性与高达4k顶点的真实世界的实例的数据集,大大超过了最大的实例,该模型的训练($n=128$)的大小。最后,我们相信我们的贡献证明了GNN在符号领域的潜力,特别是在关系学习中。
2019-11-28 cs.AI cs.LG cs.NE
Unsupervised Network Embedding for Graph Visualization, Clustering and Classification
Institute for Information and Communication Technologies, Electronics and Applied Mathematics (ICTEAM)(信息与通信技术、电子与应用数学研究所(ICTEAM));Center for Operations Research and Econometrics (CORE)(运筹学与计量经济学中心(CORE));Université catholique de Louvain(天主教鲁汶大学)
挖掘基于网络的数据的一个主要挑战是找到有效的方法来表示或编码图结构,以便机器学习算法可以有效地利用它。有几种方法集中在节点/边或子结构级别的网络表示。然而,许多现实生活中的挑战,如时变的,多层的,化学化合物和大脑网络涉及到一个家庭的图,而不是单一的分析打开额外的挑战,在图的比较和表示。学习表示的传统方法依赖于手工制作专门的算法来提取关于图的有意义的信息,例如统计属性,结构特征等,以及工程图距离来量化网络之间的不相似性。在这项工作中,我们提供了一个无监督的方法来学习嵌入表示的一组图,使它可以用于许多图挖掘任务。通过对输入图使用无监督的神经网络方法,我们的目标是捕获数据的潜在分布,以便区分不同类别的网络。我们的方法在合成和现实生活中的数据集上进行了经验评估,并在三个不同的任务中进行了评估:图聚类,可视化和分类。结果表明,我们的方法优于众所周知的图距离和图核的聚类和分类任务,是高效的运行时。
2019-03-15 cs.LG cs.SI stat.ML
A General Framework for Visualizing Embedding Spaces of Neural Survival Analysis Models Based on Angular Information
Carnegie Mellon University(卡内基梅隆大学)
提出一种基于锚定方向与角度信息的通用框架,用于可视化神经生存分析模型的嵌入空间,支持表格与图像数据,并处理信息损失问题。
2023-05-11 cs.HC cs.LG stat.ML
2-D Embedding of Large and High-dimensional Data with Minimal Memory and Computational Time Requirements
University of Science & Technology(科技大学);Dalhousie University(达尔豪斯大学)
随着大数据时代的到来,由M*10^5+个长度为N(N ~ 10^3+)的高维特征向量组成的大数据集的交互式可视化,是数据探索性分析不可或缺的工具。将N-D数据嵌入到2-D(3-D)视觉可感知空间中的现有技术的数据嵌入(DE)方法(例如,基于t-SNE概念)在计算上要求太高,以至于不能有效地用于大型和高维数据集的交互式数据分析。在这里,我们提出了一个简单的方法,ivhd(交互式可视化的高维数据工具),从根本上优于现代的数据嵌入算法在计算和内存负载,同时保持高质量的二维(3-D)的N-D数据嵌入。我们发现,DE问题是等价的最近邻nn-图可视化,其中只有索引的几个最近的邻居的每个数据样本是已知的,和数据样本之间的二进制距离- 0到最近的和1到其他样本-被定义。这些改进将时间复杂度和内存负载从O(M log M)降低到O(M),并保证最小的O(M)比例系数。我们在流行的基准数据集,如MNIST,20 NG,NORB和RCV 1上证明了ivhd的高效率,高质量和鲁棒性。
2019-02-04 cs.LG stat.ML
Navigating Perplexity: A linear relationship with the data set size in t-SNE embeddings
TU Delft(代尔夫特理工大学);Computer Graphics and Visualization(计算机图形与可视化)
本文揭示t-SNE嵌入中困惑度与数据集大小的线性关系,通过调整困惑度可保持嵌入结构一致性,实验验证该发现并指导用户选择困惑度,还概述了基于此关系的高维数据可视化应用。
2024-12-04 cs.AI cs.LG q-bio.QM
Capacity Preserving Mapping for High-dimensional Data Visualization
我们提供了一个严格的数学处理拥挤的问题,在数据可视化时,高维数据集投影到低维的可视化。通过适当调整高维球的容量,我们的方法为嵌入预留了足够的空间。所提出的方法的一个关键组成部分是在不同尺度的相关维数的估计,反映了数据密度的变化。所提出的对容量的调整适用于任何距离(欧几里德、测地线、扩散),并且可以潜在地用于许多现有方法中以减轻在降维期间的拥挤。我们使用合成和真实数据集证明了新方法的有效性。
2021-06-01 cs.LG stat.ML
t-SNE-CUDA: GPU-Accelerated t-SNE and its Applications to Modern Data
University of California, Berkeley(加州大学伯克利分校)
众所周知,现代数据集和模型由于其固有的高维性和大量样本而难以探索和分析。现有的可视化方法,采用降维到两个或三个维度往往是低效和/或无效的这些数据集。本文介绍了t-SNE-CUDA,这是一种GPU加速的t-分布式对称邻居嵌入(t-SNE)实现,用于可视化数据集和模型。t-SNE-CUDA在CIFAR-10和MNIST数据集上具有50- 700倍的加速比,明显优于当前的实现。这些加速第一次实现了整个ImageNet数据集上神经网络激活的可视化-这是一项以前在计算上难以实现的壮举。我们还通过可视化GloVe嵌入向量来展示NLP域中的可视化性能。从这些可视化中,我们可以得出关于在这些嵌入空间中使用L2度量的有趣结论。t-SNE-CUDA可通过以下网址公开获取:https:github.com/CannyLab/tsne-cuda
2018-07-31 cs.LG cs.PF stat.ML
Node Centralities and Classification Performance for Characterizing Node Embedding Algorithms
University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
将图节点嵌入到向量空间中可以允许使用机器学习来例如预测节点类,但是由于图的多样性,与自然语言处理领域相比,节点嵌入算法的研究是不成熟的。我们检查节点嵌入算法的性能相对于图形中心的措施,表征不同的图形,通过系统的实验与四个节点嵌入算法,四个或五个图形中心,和六个数据集。实验结果揭示了节点嵌入算法的性质,为进一步研究该问题奠定了基础。
2018-02-18 cs.LG cs.SI stat.ML
Learning to Identify High Betweenness Centrality Nodes from Scratch: A Novel Graph Neural Network Approach
National University of Defense Technology(国防科技大学);University of California, Los Angeles(加州大学洛杉矶分校);Tsinghua University(清华大学);University of Pennsylvania(宾夕法尼亚大学)
介数中心性(BC)是网络分析中最常用的中心性度量之一,它试图用通过它们的最短路径的比例来描述网络中节点的重要性。它是许多有价值的应用程序的关键,包括社区发现和网络拆除。由于高时间复杂度,在大型网络上计算BC分数在计算上具有挑战性。为了加快BC的估计速度,已经提出了许多近似算法,这些算法主要是基于采样的。然而,这些方法仍然倾向于在大规模网络上执行相当长的时间,并且当网络结构发生微小变化时,它们的结果往往会恶化。在本文中,我们专注于识别图中具有高BC的节点,因为许多应用场景都是建立在检索具有top-k BC的节点上的。与以往的探试法不同,我们将此任务转化为一个学习问题,并设计了一个基于编码器-解码器的框架来解决这个问题。更具体地说,编码器利用网络结构将每个节点编码到嵌入向量中,嵌入向量捕获节点的重要结构信息。解码器将每个节点的嵌入向量转换为标量,该标量捕获该节点在BC方面的相对排名。我们使用成对排序损失来训练模型,以识别节点关于其BC的顺序。通过在小规模网络上进行训练,学习的模型能够为任何看不见的网络的节点分配相对BC分数,从而识别排名高的节点。在合成网络和真实网络上进行的综合实验表明,与代表性基线相比,我们的模型大大加快了预测速度,而准确性没有明显提高,并且在几个大型真实网络上的准确性优于最先进的模型。
2019-08-29 cs.LG cs.SI stat.ML
Spectral Embedding of Graph Networks
University of California Los Angeles(加州大学洛杉矶分校)
我们引入了一个无监督的图嵌入,权衡了局部节点的相似性和连通性,以及全局结构。嵌入是基于一个广义图拉普拉斯算子,其特征向量compensately捕捉网络结构和邻域接近在一个单一的表示。其关键思想是将给定的图转换成一个其权重通过该边缘的最短路径的数量的分数来度量边缘的中心性的图,并在表示中使用其谱特性。测试所得到的图形网络表示示出了在包括社交网络和材料科学的数据分析任务中的现有技术的显著改进。我们还测试了我们的方法对人类SARS CoV-2蛋白质相互作用组的节点分类。
2020-09-30 cs.AI cs.LG stat.ML
Supervised Dimensionality Reduction and Visualization using Centroid-encoder
Colorado State University(科罗拉多州立大学)
可视化高维数据是数据科学和机器学习中的一项重要任务。质心编码器(CE)方法类似于自动编码器,但包含标签信息,以保持类的对象在减少的可视化空间中靠近在一起。CE利用非线性和标签来编码低维的高方差,同时捕获数据的全局结构。我们提出了一个详细的分析,使用各种各样的数据集的方法,并将其与其他监督降维技术,包括NCA,非线性NCA,t-分布NCA,t-分布MCML,监督UMAP,监督PCA,彩色最大方差展开,监督Isomap,参数嵌入,监督邻居检索可视化,和多关系嵌入。我们的经验表明,质心编码器优于大多数这些技术。我们还表明,当数据方差分布在多个模态时,质心编码器从低维空间的数据中提取大量的信息。这个关键特性确立了它作为数据可视化工具的价值。
2020-02-28 cs.CV cs.LG stat.ML
A unified view on Self-Organizing Maps (SOMs) and Stochastic Neighbor Embedding (SNE)
NeoInstinct S.A.(NeoInstinct股份有限公司)
我们提出了一个统一的观点,两个广泛使用的数据可视化技术:自组织映射(SOM)和随机邻居嵌入(SNE)。我们表明,它们都可以来自一个共同的数学框架。利用这个公式,我们建议比较SOM和SNE定量两个数据集,并讨论未来工作的可能途径,以利用这两种方法。
2022-05-03 cs.LG cs.NE stat.ML
Tree-SNE: Hierarchical Clustering and Visualization Using t-SNE
Yale University(耶鲁大学)
t-SNE和层次聚类是探索性数据分析的流行方法,特别是在生物学中。在加速t-SNE和获得更细粒度结构的最新进展的基础上,我们将两者结合起来创建tree-SNE,这是一种基于堆叠一维t-SNE嵌入的分层聚类和可视化算法。我们还介绍了阿尔法聚类,它建议最佳的集群分配,没有预知的集群数量,基于跨多个尺度的集群稳定性。我们证明了树SNE和阿尔法聚类对手写数字图像、血细胞质谱仪(CyTOF)数据和视网膜细胞单细胞RNA测序(scRNA-seq)数据的有效性。此外,为了证明可视化的有效性,我们使用阿尔法聚类获得无监督聚类结果的竞争力与几个图像数据集上的最新技术。软件可在https://github.com/isaacrob/treesne上获得。
2020-02-13 cs.LG stat.ML
Deep Neural Maps
University of British Columbia(不列颠哥伦比亚大学)
我们介绍了一种新的无监督表示学习和可视化,使用深度卷积网络和自组织映射,称为深度神经映射(DNM)。DNM联合学习输入数据的嵌入和从嵌入空间到二维网格的映射。我们比较DNM的可视化与那些的t-SNE和LLE的MNIST和COIL-20数据集。实验结果表明,DNM可以学习到有效的输入数据表示,反映了每个类的特点。这通过将映射的神经元反向投影到数据空间上来显示。
2018-10-16 cs.LG cs.NE stat.ML
Visualizing How Embeddings Generalize
The George Washington University(乔治华盛顿大学)
深度度量学习通常用于学习嵌入函数,该函数捕获数据集中的语义差异。许多问题领域的一个关键因素是这种嵌入如何推广到新的数据类别。在观察度量学习的许多三元组选择策略时,我们发现最佳性能始终来自专注于少数精心选择的三元组的方法。我们引入可视化工具来说明嵌入如何超越验证数据的测量准确性,并说明一系列三元组选择策略的行为。
2019-09-16 cs.LG stat.ML
FINE: Fisher Information Non-parametric Embedding
我们考虑的问题,聚类,分类和可视化的高维数据时,没有直接的欧几里德表示存在。通常,这些任务通过首先将高维数据减少到某个较低维的欧几里得空间来执行,因为已经为该任务开发了许多流形学习方法。然而,在许多实际问题中,欧氏流形的假设是不合理的。在这些情况下,更合适的假设是数据位于统计流形或概率密度函数(PDF)流形上。在本文中,我们建议使用信息几何的属性,以定义使用费舍尔信息度量的数据集之间的相似性。我们将展示这个度量可以使用完全非参数化的方法来近似,因为流形的参数化通常是未知的。此外,通过使用多维缩放方法,我们能够将相应的PDF嵌入到一个低维的欧几里得空间。这不仅允许对数据进行分类,还允许对流形进行可视化。作为一个整体,我们将我们的框架称为费舍尔信息非参数嵌入(FINE),并说明其在各种实际问题上的用途,包括生物医学应用和文档分类。
2008-02-14 stat.AP stat.ME stat.ML
Cluster and then Embed: A Modular Approach for Visualization
Department of Mathematics, University of California, San Diego(数学系,加州大学圣地亚哥分校);Halıcıoğlu Data Science Institute, University of California, San Diego(Halıcıoğlu数据科学研究所,加州大学圣地亚哥分校)
研究针对t-SNE和UMAP在可视化时扭曲数据全局几何结构的问题,提出先聚类再嵌入的模块化方法,经多数据集实验验证,此方法在保持竞争力的同时更具透明度。
2026-07-13 cs.LG stat.ME stat.ML
Visualization of Emergency Department Clinical Data for Interpretable Patient Phenotyping
Texas A&M University(德克萨斯农工大学);Yale School of Medicine(耶鲁医学院)
在电子健康记录(EHR)中包含的对收集的关于患者的临床数据的视觉总结可以在患者呈现给急诊科(ED)时实现精确且快速的分类。在适当分配资源和预测最终患者处置(通常是入院或出院)方面,分诊过程至关重要。EHR数据是高维和复杂的,但提供了发现和表征基础数据驱动的患者表型的机会。这些表型将使改善,个性化的治疗决策和解释。在这项工作中,我们专注于二维患者投影的挑战。低维嵌入提供了在高维中丢失的视觉可解释性。虽然线性降维技术,如主成分分析,经常用于实现这一目标,他们是不足以描述患者数据的方差。在这项工作中,我们采用了新描述的非线性嵌入技术,称为均匀流形近似和投影(UMAP)。UMAP试图在高维数据中捕获局部和全局结构。然后,我们使用高斯混合模型来识别嵌入数据中的聚类,并使用调整后的Rand指数(ARI)来建立这些聚类的发现的稳定性。这种技术被应用到五个常见的临床主要投诉从现实世界的ED EHR数据集,描述所发现的集群的紧急属性。我们观察临床相关的聚类属性,这表明使用非线性降维的EHR数据的视觉嵌入是一种很有前途的方法来揭示数据驱动的患者表型。在五个主要投诉中,我们发现2到6个聚类,随后的训练迭代之间的峰值平均成对ARI范围从0.35到0.74。
2019-07-05 cs.HC cs.LG stat.ML
The Effects of Randomness on the Stability of Node Embeddings
RWTH Aachen University(亚琛工业大学)
本文系统评估了随机性对五种最先进节点嵌入算法稳定性的影响,发现嵌入空间几何特性和节点实际分类结果存在显著不稳定性,强调了使用节点嵌入时需考虑不稳定性效应。
2020-05-20 cs.LG cs.SI stat.ML