Spaceland Embedding of Sparse Stochastic Graphs
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Duke University(杜克大学)
我们介绍了一种非线性方法,直接嵌入大型,稀疏,随机图到低维空间,而不需要顶点特征驻留在,或被转换成,度量空间。图形数据和模型在现实世界的应用中很普遍。除了图形可视化之外,直接图形嵌入是许多图形分析任务的基础。我们将这种新方法命名为SG-t-SNE,因为它受到t-SNE核心原理的启发并建立在t-SNE的基础上,t-SNE是一种广泛使用的非线性降维和数据可视化方法。我们还介绍了t-SNE- $Π$,一个高性能的软件,2D,3D嵌入大型稀疏图在个人电脑上具有优越的效率。它使SG-t-SNE具有现代计算技术,可以同时利用矩阵结构和存储器架构。我们提出了一个合成图和四个真实世界的网络上的嵌入结果。
2019-06-13 cs.LG stat.ML
Optimal Transport Graph Neural Networks
CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
当前的图神经网络(GNN)架构天真地将节点嵌入平均或求和到聚合图表示中-可能会丢失结构或语义信息。我们在这里介绍OT-GNN,这是一种使用参数原型来计算图嵌入的模型,这些参数原型突出了不同图方面的关键方面。为了实现这一目标,我们成功地将最优运输(OT)与参数图模型相结合。图形表示是从GNN节点嵌入集和"原型“点云之间的瓦瑟斯坦距离作为自由参数获得的。我们从理论上证明,与传统的总和聚合,我们的函数类点云满足一个基本的普遍逼近定理。从经验上讲,我们解决了一个固有的崩溃优化问题,提出了一个噪声对比正则化,以引导模型真正利用OT几何。最后,我们在几个分子性质预测任务上优于流行的方法,同时表现出更平滑的图形表示。
2021-10-08 cs.LG stat.ML
Stochastic Gradient Descent for Spectral Embedding with Implicit Orthogonality Constraint
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université Paris-Est(巴黎东大学);CNRS(法国国家科学研究中心);ESIEE Paris(巴黎高等电子工程师学院)
在本文中,我们提出了一个可扩展的算法,频谱嵌入。后者是图聚类的标准工具。然而,其计算瓶颈是图的拉普拉斯矩阵的特征分解,这阻碍了其应用于大规模图。我们的贡献包括重新制定频谱嵌入,使其可以通过随机优化来解决。其思想是用直接注入准则的正交化矩阵代替正交约束。由于梯度可以通过Cholesky分解计算,我们的重新制定,使我们能够开发一个有效的算法的基础上小批量梯度下降。实验结果,合成和真实数据,确认所提出的方法的执行速度方面的效率与类似的现有技术。
2019-04-11 cs.LG stat.ML
A unified view on Self-Organizing Maps (SOMs) and Stochastic Neighbor Embedding (SNE)
NeoInstinct S.A.(NeoInstinct股份有限公司)
我们提出了一个统一的观点,两个广泛使用的数据可视化技术:自组织映射(SOM)和随机邻居嵌入(SNE)。我们表明,它们都可以来自一个共同的数学框架。利用这个公式,我们建议比较SOM和SNE定量两个数据集,并讨论未来工作的可能途径,以利用这两种方法。
2022-05-03 cs.LG cs.NE stat.ML
Stochastic Neighbor Embedding under f-divergences
Janelia Research Campus(珍妮利亚研究园区);AIFounded Inc.(AIFounded公司);Columbia University(哥伦比亚大学)
t分布随机邻域嵌入(t-SNE)是一种强大而流行的高维数据可视化方法。它最大限度地减少了原始和嵌入数据分布之间的Kullback-Leibler(KL)分歧。在这项工作中,我们建议将这种方法扩展到其他f-发散。我们分析和经验评估的类型的潜在结构流形,集群和层次,以及捕获使用原始的KL分歧以及建议的f-发散泛化,并发现不同的分歧执行更好的不同类型的结构。$t$ -SNE准则的一个共同问题是,它是使用梯度下降优化的,并且可能陷入较差的局部最小值。我们建议通过最小化变分界限来优化基于f-散度的损失准则。这通常比优化原始形式表现得更好,我们的实验表明,它可以改善从原始$t$ -SNE标准获得的嵌入结果。
2018-11-03 cs.LG stat.ML
Higher Order Kernel Mean Embeddings to Capture Filtrations of Stochastic Processes
University of Oxford(牛津大学);The Alan Turing Institute(艾伦图灵研究所);University of Warwick(华威大学);King’s College London(伦敦国王学院);Technical University of Munich(慕尼黑工业大学)
随机过程是值在某个路径空间中的随机变量。然而,将随机过程简化为路径值随机变量忽略了其过滤,即过程随时间携带的信息流。通过调节其过滤的过程中,我们引入了一个家庭的高阶内核均值嵌入(KME),概括了KME的概念,并捕获额外的信息相关的过滤。我们推导出经验估计相关联的高阶最大均值差异(MMD),并证明了一致性。然后,我们构建了一个过滤敏感的内核两个样本测试能够拿起信息,错过了标准的MMD测试。此外,利用我们的高阶MMD,我们构建了一个随机过程的通用内核家族,可以通过经典的基于内核的回归方法解决定量金融中的真实世界校准和最优停止问题(例如美式期权的定价)。最后,适应现有的测试条件独立的情况下,随机过程中,我们设计了一个因果发现算法,以恢复因果图的相互作用机构之间的结构依赖关系,完全从他们的多维轨迹的观察。
2021-11-04 cs.LG stat.ML
Perfect Clustering for Stochastic Blockmodel Graphs via Adjacency Spectral Embedding
随机块模型图中的顶点聚类具有广泛的适用性,并且已经成为广泛研究的主题。本文给出了一个简短的证明,证明了邻接谱嵌入可以用来获得随机块模型和度校正随机块模型的完美聚类。我们也证明了更一般的随机点积图模型的类似结果。
2015-01-15 stat.ML
Privacy Preserving Adjacency Spectral Embedding on Stochastic Blockmodels
Intel Labs(英特尔研究院)
对于随机块模型生成的图,邻接谱嵌入是渐近一致的。此外,由普遍一致的分类器组成的邻接谱嵌入是普遍一致的,以实现贝叶斯错误。然而,当图包含私有或敏感信息时,将数据视为非私有可能潜在地泄露隐私并招致披露风险。本文提出了一种用于随机块模型的差分私有邻接谱嵌入算法。我们证明,我们提出的方法可以估计的潜在位置接近,在Frobenius范数,通过邻接谱嵌入的潜在位置,并在模拟和真实世界的网络中所需的隐私参数达到相当的精度。
2019-05-16 cs.CR cs.LG stat.ME
An explanation method for Siamese neural networks
Peter the Great St.Petersburg Polytechnic University (SPbPU)(彼得大帝圣彼得堡理工大学)
提出了一种新的解释连体神经网络的方法。它使用了以下主要思想。首先,将解释的特征向量与在嵌入级计算的对应类的原型(Siamese神经网络输出)进行比较。在这个级别上的重要特征被确定为与原型的相同特征接近的特征。其次,以特殊的方式训练自动编码器,以考虑Si-amese网络的嵌入级别,并且其解码器部分用于重构具有相应变化的输入数据。数值实验与著名的数据集MNIST说明所提出的方法。
2019-11-18 cs.LG stat.ML
Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey
University of Waterloo(滑铁卢大学)
随机邻域嵌入(SNE)是一种基于概率的流形学习和降维方法。在SNE中,每个点都被认为是所有其他点的邻居,并试图在嵌入空间中保持这种概率。SNE在输入空间和嵌入空间中都考虑了概率的高斯分布。然而,t-SNE在这些空间中分别使用Student-t和高斯分布。在本教程和综述论文中,我们将解释SNE、对称SNE、t-SNE(或Cauchy-SNE)和具有一般自由度的t-SNE。我们还介绍了这些方法的样本外扩展和加速。
2022-08-03 cs.CV cs.LG stat.ML
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology(挪威科技大学);Aalto University(阿尔托大学)
将单词编码为向量的词嵌入是自然语言处理的重要起点,并且通常用于许多基于文本的机器学习任务。然而,在大多数当前的词嵌入方法中,嵌入空间中的相似性在学习中没有被优化。在本文中,我们提出了一种新的邻居嵌入方法,直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走,从而能够更好地揭示词之间的主题。实验结果表明,与现有的词嵌入方法相比,该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services(亚马逊云科技);UCLA(加州大学洛杉矶分校)
我们提出了一种学习嵌入的方法,用于少样本学习,适用于任何数量的方式和任何数量的镜头(镜头免费)。我们不是将类原型固定为样本嵌入的欧几里得平均值,而是允许它们生活在更高维的空间(嵌入式类模型)中,并随着模型参数一起学习原型。类表示函数是隐式定义的,这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习,这有助于添加新类而不会拥挤类表示空间。尽管是通用的,没有调整到基准,我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
Stochastic Neighbor Embedding separates well-separated clusters
随机邻域嵌入及其变体是广泛使用的降维技术-尽管它们很受欢迎,但没有理论结果。我们证明了从高维到任何欧几里得空间R^d的良好分离的聚类的最佳SNE嵌入能够以定量的方式成功地分离聚类。结果也适用于一个更大的家庭的方法,包括一个变种的t-SNE。
2017-02-22 math.ST stat.ML stat.TH
A consistent adjacency spectral embedding for stochastic blockmodel graphs
我们提出了一种方法来估计块成员的节点在随机图中产生的随机块模型。我们使用的随机点积图模型,一个特定的例子,潜在的位置模型的动机嵌入过程。嵌入将每个节点与一个向量相关联;这些向量通过平方误差最小化标准进行聚类。我们证明了这种方法是一致的分配节点块,因为只有一个微不足道的节点数量将被错误分配。我们证明了有向图和无向图的方法的一致性。一致块分配使得随机块模型的一致参数估计成为可能。我们扩展的结果中的块的数量增长缓慢的节点数的设置。我们的方法也是计算上可行的,即使是非常大的图。我们比较我们的方法,拉普拉斯谱聚类通过分析模拟数据和来自维基百科文档的图。
2012-04-27 stat.ML
Stochastic Graphlet Embedding
Autonomous University of Barcelona(巴塞罗那自治大学);Télécom ParisTech(巴黎高等电信学院);CNRS(法国国家科学研究中心);UPMC(巴黎第六大学);Sorbonne University(索邦大学)
已知基于图的方法在许多机器学习和模式分类任务中是成功的。这些方法将半结构化数据视为图,其中节点对应于图元(部件、兴趣点、段等)。并且边缘表征这些基元之间的关系。然而,这些非矢量图数据不能直接插入到现成的机器学习算法中,而不需要显式/隐式图矢量化和嵌入的初步步骤。这种嵌入过程应该对类内图变化具有弹性,同时具有高度的判别性。在本文中,我们提出了一种新的高阶随机图嵌入(SGE)映射到向量空间的图形。我们的主要贡献包括一个新的随机搜索过程,有效地解析一个给定的图形和提取/样本无限高阶graphlets。我们认为这些graphlets,随着订单的增加,本地原语以及它们日益复杂的相互作用建模。为了构建我们的图表示,我们使用特定的哈希函数来测量这些小图在给定图中的分布,这些哈希函数可以有效地将采样的小图分配到具有非常低的冲突概率的同构集中。当与最大间隔分类器相结合时,这些基于graphlet的表示对模式比较和识别的性能具有积极的影响,这一点通过使用标准基准数据库的大量实验得到了证实。
2018-12-05 cs.CV cs.LG stat.ML
Rare event estimation using stochastic spectral embedding
ETH Zurich(苏黎世联邦理工学院);Technical University Munich(慕尼黑工业大学)
罕见失效事件的概率估计是工程系统可靠性评估中的一个重要步骤。计算这种复杂的非线性系统的故障概率是具有挑战性的,最近刺激了主动学习可靠性方法的发展。这些方法近似的极限状态函数(LSF)使用代理模型训练的模型评估的顺序丰富的集合。最近提出的方法称为随机谱嵌入(SSE)的目的是提高局部逼近精度的全球,光谱替代建模技术,依次嵌入局部残差扩展的输入空间的子域。在这项工作中,我们应用SSE的LSF,从而产生一个随机谱嵌入为基础的可靠性(SSER)方法。由此产生的输入空间的分区分解成一组易于计算的\rev{conditional}故障概率的故障概率。我们提出了一组修改,定制的算法,以有效地解决罕见事件估计问题。这些修改包括专门的细化域选择,分区和富集策略。我们展示了算法的性能在四个基准问题的各种维度和复杂性的LSF。
2022-02-09 cs.LG stat.CO stat.ME
Leveraging Class Hierarchies with Metric-Guided Prototype Learning
LASTIG, ENSG, IGN(法国国家地理信息与林业信息研究所,国立地理科学学院,国家地理研究所);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学)
在许多分类任务中,目标类的集合可以被组织成层次结构。这种结构导致类之间的语义距离,并且可以总结为成本矩阵的形式,该成本矩阵定义了类集合上的有限度量。在本文中,我们提出了一个原型网络的监督集成此度量模型的层次类结构。我们的方法依赖于联合学习一个特征提取网络和一组类原型,它们在嵌入空间中的相对排列遵循一个层次度量。我们表明,这种方法允许一致的改进的出错率加权成本矩阵相比,传统的方法和其他基于原型的战略。此外,当诱导度量包含对数据结构的洞察时,我们的方法也提高了整体精度。在四个不同的公共数据集上的实验-从农业时间序列分类到深度图像语义分割-验证了我们的方法。
2021-11-29 cs.CV cs.LG stat.ML
Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);NAVER Corporation(NAVER公司)
多模态关系数据分析近年来变得越来越重要,用于探索不同领域的数据,诸如从社交网络服务(例如,Flickr)。已经开发了各种数据分析方法用于可视化;举一个例子,t-随机邻居嵌入(t-SNE)计算低维特征向量,以便它们的相似性保持观察到的数据向量。然而,t-SNE是专为一个单一的数据域,但不是多模态数据,本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE,本文提出了多模态关系随机邻居嵌入(MR-SNE),即(1)首先计算增强关系,其中我们观察跨域的关系,并通过观察到的数据向量计算每个域内的关系,以及(2)将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集,建议MR-SNE与其他基于图嵌入的方法进行了比较,MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC
Equilibrium Distribution for t-Distributed Stochastic Neighbor Embedding with Generalized Kernels
Yi Gu
本文研究广义核 t-SNE 在数据点数量趋于无穷时的收敛性,给出广义输入核与输出核的具体形式,并证明其在一定条件下收敛至平衡分布。
2026-10-14 cs.LG math.PR math.ST
Stochastic spectral embedding
构建近似,可以准确地模拟复杂模型的行为,减少计算成本是不确定性量化的一个重要方面。尽管它们的灵活性和效率,经典的代理模型,如克里格或多项式混沌展开往往与高度非线性,局部化或非平稳的计算模型。本文提出了一种新的基于递归嵌入局部谱展开的序贯自适应代理建模方法。它是通过输入域的不相交递归分区来实现的,该分区包括将输入域依次拆分为较小的子域,并在每个子域中构建更简单的局部谱展开,利用复杂性与局部性的权衡。由此产生的扩展,我们称之为“随机谱嵌入”(SSE),是模型响应的分段连续近似,显示出有前途的近似能力,以及问题维度和训练集大小的良好缩放。最后,我们展示了如何与最先进的稀疏多项式混沌扩展的一组模型具有不同的复杂性和输入维数的方法相比。
2020-06-26 stat.CO stat.ME stat.ML