Large Scale Spectral Clustering Using Approximate Commute Time Embedding
School of IT, University of Sydney（悉尼大学信息技术学院）
谱聚类是一种新的聚类方法，它可以检测复杂形状的数据簇。但是，它需要图的拉普拉斯矩阵的特征分解，这是成比例的$O(n^3)$，因此不适合于大规模系统。近年来，人们提出了许多方法来加速谱聚类的计算时间。这些近似方法通常涉及抽样技术，这可能会丢失原始数据的许多信息。在这项工作中，我们提出了一个快速和准确的谱聚类方法使用近似通勤时间嵌入，这是类似于谱嵌入。该方法不需要使用任何采样技术和计算任何特征向量。相反，它使用随机投影和线性时间求解器来找到近似嵌入。在几个人工数据集和真实数据集上的实验表明，该方法具有更好的聚类质量，比现有的近似谱聚类方法更快。
2012-02-29 cs.LG
From Representation to Clusters: A Contrastive Learning Approach for Attributed Hypergraph Clustering
本文提出了一种端到端的对比学习方法CAHC，用于属性超图聚类，通过联合嵌入和聚类优化实现节点嵌入学习与聚类结果的同步生成。
2026-03-10 cs.LG
SQuadMDS: a lean Stochastic Quartet MDS improving global structure preservation in neighbor embedding like t-SNE and UMAP
MIT Media Lab（麻省理工学院媒体实验室）；UCLouvain（鲁汶天主教大学）；IREC（鲁汶天主教大学临床与实验研究所）
多维缩放是一种统计过程，旨在将高维数据嵌入到低维空间中;该过程通常用于数据可视化。常见的多维尺度算法往往具有较高的计算复杂性，使得它们不适用于大型数据集。这项工作介绍了一种随机的，力导向的方法，多维缩放的时间和空间复杂度为O（N），N个数据点。该方法可以与相邻嵌入家族的力定向布局（如t-SNE）相结合，以产生保留数据的全局和局部结构的嵌入。实验评估质量的嵌入产生的独立版本和其混合扩展定量和定性，表现出竞争力的结果优于国家的最先进的方法。代码可在https://github.com/PierreLambert3/SQuaD-MDS-and-FItSNE-hybrid上获得。
2022-02-24 cs.LG
CAESAR: Clustering via Autonomous Embedding-Space Agglomerative Reorganization
提出CAESAR方法，通过训练重组网络优化预训练嵌入空间，无需预设聚类数K，在文本和图像数据集上优于现有深度聚类方法。
2026-09-29 cs.LG
Deep Embedding Clustering Driven by Sample Stability
Shanxi University（山西大学）
针对现有深度聚类依赖人工伪目标的问题，提出样本稳定性驱动的DECS算法，通过自编码器构建初始空间并学习受稳定性约束的聚类嵌入特征，经理论收敛验证和五数据集实验，性能优于现有最优聚类方法。
2024-01-29 cs.LG
Stochastic Shared Embeddings: Data-driven Regularization of Embedding Layers
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
在深度神经网络中，较低级别的嵌入层占参数总数的很大一部分。Tikhonov正则化、基于图的正则化和硬参数共享是在训练中引入显式偏差以降低统计复杂性的方法。或者，我们提出了随机共享嵌入（SSE），这是一种数据驱动的正则化嵌入层的方法，它在随机梯度下降（SGD）过程中随机转换嵌入之间的转换。由于SSE与现有的SGD算法无缝集成，因此在训练大规模神经网络时只需进行较小的修改即可使用。我们开发了两个版本的SSE：SSE-图使用知识图谱的嵌入; SSE-SE使用没有先验信息。我们为我们的方法提供了理论保证，并在6个不同的任务上显示了其经验有效性，从推荐系统中具有一个隐藏层的简单神经网络，到自然语言中的Transformer和BERT。我们发现，当与广泛使用的正则化方法（如权重衰减和dropout）一起使用时，我们提出的SSE可以进一步减少过拟合，这通常会导致更有利的泛化结果。
2020-10-03 cs.LG stat.ML
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
University of Pittsburgh（匹兹堡大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Xidian University（西安电子科技大学）；University of Sydney（悉尼大学）
图像聚类是计算机视觉最重要的应用之一，在文献中得到了广泛的研究。然而，现有的聚类方法在处理大规模、高维数据时，大多缺乏效率和可扩展性。在本文中，我们提出了一个新的聚类模型，称为DEeP嵌入正则化的聚类（DEPICT），它有效地将数据映射到一个有区别的嵌入子空间，并精确地预测聚类分配。DEPICT通常由堆叠在多层卷积自动编码器顶部的多项式逻辑回归函数组成。我们定义了一个聚类的目标函数，使用相对熵（KL发散）最小化，正则化的集群分配的频率之前。一个交替的策略，然后推导出优化的目标，通过更新参数和估计集群分配。此外，我们在自动编码器中使用重建损失函数作为数据相关的正则化项，以防止深度嵌入函数过拟合。为了从端到端优化中获益并消除逐层预训练的必要性，我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数，并同时训练所有网络层。实验结果表明，DEPICT的优越性和更快的运行时间在现实世界的聚类任务，其中没有标记的数据可用于超参数调整。
2017-08-09 cs.LG
Clustered Federated Learning via Embedding Distributions
Imperial College London（伦敦帝国学院）
针对联邦学习在 non-IID 数据下性能受损的问题，提出基于嵌入空间分布 EMD 的一次性聚类方法 EMD-CFL，并经理论论证和多数据集对比验证其优势。
2025-06-09 cs.LG
Stochastic mean-shift clustering
Afeka Tel-Aviv Academic College of Engineering（阿菲卡特拉维夫工程学院）；Avignon University（阿维尼翁大学）
本文提出随机均值漂移聚类算法，使数据点集体攀登至分布众数，在合成高斯数据上多数情况下优于确定性均值漂移，以聚类纯度和类别数据纯度衡量。
2023-12-25 cs.LG
Enhanced High-Dimensional Data Visualization through Adaptive Multi-Scale Manifold Embedding
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；National University of Singapore（新加坡国立大学）
针对高维流形嵌入的维数灾难与簇结构分离难题，提出自适应多尺度流形嵌入算法，通过序数距离、自适应邻域调整与两阶段嵌入框架提升可视化效果，并在生物数据中发现新神经元亚型。
2025-03-19 cs.LG
Metric Embedding Initialization-Based Differentially Private and Explainable Graph Clustering
Graduate School of Arts and Sciences（艺术与科学研究生院）；Columbia University, New York, USA（哥伦比亚大学）；School of Artificial Intelligence（人工智能学院）；Hebei Institute of Communications, Shijiazhuang, PR China（河北通信学院）
本文提出一种基于度量嵌入初始化的差分隐私可解释图聚类方法，通过SDP优化与HST初始化结合k-median聚类，在严格保护隐私的同时提升聚类性能并提供解释。
2025-09-07 cs.LG
A unified view on Self-Organizing Maps (SOMs) and Stochastic Neighbor Embedding (SNE)
NeoInstinct S.A.（NeoInstinct股份有限公司）
我们提出了一个统一的观点，两个广泛使用的数据可视化技术：自组织映射（SOM）和随机邻居嵌入（SNE）。我们表明，它们都可以来自一个共同的数学框架。利用这个公式，我们建议比较SOM和SNE定量两个数据集，并讨论未来工作的可能途径，以利用这两种方法。
2022-05-03 cs.LG cs.NE stat.ML
Spaceland Embedding of Sparse Stochastic Graphs
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Duke University（杜克大学）
我们介绍了一种非线性方法，直接嵌入大型，稀疏，随机图到低维空间，而不需要顶点特征驻留在，或被转换成，度量空间。图形数据和模型在现实世界的应用中很普遍。除了图形可视化之外，直接图形嵌入是许多图形分析任务的基础。我们将这种新方法命名为SG-t-SNE，因为它受到t-SNE核心原理的启发并建立在t-SNE的基础上，t-SNE是一种广泛使用的非线性降维和数据可视化方法。我们还介绍了t-SNE- $Π$，一个高性能的软件，2D，3D嵌入大型稀疏图在个人电脑上具有优越的效率。它使SG-t-SNE具有现代计算技术，可以同时利用矩阵结构和存储器架构。我们提出了一个合成图和四个真实世界的网络上的嵌入结果。
2019-06-13 cs.LG stat.ML
Privacy Preserving Adjacency Spectral Embedding on Stochastic Blockmodels
Intel Labs（英特尔研究院）
对于随机块模型生成的图，邻接谱嵌入是渐近一致的。此外，由普遍一致的分类器组成的邻接谱嵌入是普遍一致的，以实现贝叶斯错误。然而，当图包含私有或敏感信息时，将数据视为非私有可能潜在地泄露隐私并招致披露风险。本文提出了一种用于随机块模型的差分私有邻接谱嵌入算法。我们证明，我们提出的方法可以估计的潜在位置接近，在Frobenius范数，通过邻接谱嵌入的潜在位置，并在模拟和真实世界的网络中所需的隐私参数达到相当的精度。
2019-05-16 cs.CR cs.LG stat.ME
Stochastic Separability of Embedding Manifolds
School of Computer Science（计算机学院）；Shanghai Jiao Tong University（上海交通大学）
本文针对两类对象嵌入流形，提出并证明了随机可分性定理，通过投影测度集中分析技术，揭示了对象嵌入流形的几何与统计特性，为深度网络表示学习提供新机制。
2026-08-25 cs.CV cs.LG
A Semi-Definite Programming approach to low dimensional embedding for unsupervised clustering
National Physical Laboratory（英国国家物理实验室）；Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Digital Surf（Digital Surf公司）
本文提出了一个变形的Guédon和Verhynin的方法估计的聚类矩阵的混合高斯框架下通过半定规划。一个面向聚类的嵌入推导出这个估计。该过程适用于非常高维的数据，因为它只基于成对距离。理论guarantees提供和特征值优化方法，提出了计算嵌入。通过蒙特卡罗实验和与文献中其他嵌入的比较，说明了该方法的性能。
2016-06-29 cs.LG stat.ML
Deep Spectral Clustering via Joint Spectral Embedding and Kmeans
College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
针对谱聚类中嵌入与聚类分离及高维数据维度灾难问题，提出深度谱聚类（DSC），通过深度网络和幂迭代学习嵌入，并用贪心策略优化Kmeans，端到端联合训练，在七个数据集上达到最优性能。
2024-12-15 cs.CV cs.LG
Stochastic Prototype Embeddings
University of Colorado, Boulder（科罗拉多大学博尔德分校）；Sensory Inc.（感官公司）；Google Research（谷歌研究院）
监督深度嵌入方法将域的输入投影到表示空间，在该表示空间中，同类实例彼此靠近，而不同类实例相距较远。我们提出了一种概率方法，将嵌入作为随机变量。扩展最先进的确定性方法，原型网络（Snell等人，2017），我们的方法假设存在一个类原型，类实例围绕该原型高斯分布。原型后验是一个产品的分布在标记的实例，和查询实例分类边缘化相对原型接近嵌入不确定性。我们描述了一个有效的采样器近似推理，使我们能够训练模型在大致相同的空间和时间成本，其确定性的兄弟。消除不确定性可以提高Few-Shot学习的性能，并优雅地处理标签噪声和分布外输入。与现有技术的随机方法相比，Hedged Instance Embeddings（Oh等人，2019年），我们实现了卓越的大和开集分类精度。我们的方法还将类别区分特征与嵌入空间的轴对齐，产生可解释的、解纠缠的表示。
2019-09-25 cs.LG stat.ML
Regularized Non-negative Spectral Embedding for Clustering
Beihang University（北京航空航天大学）
谱聚类是一种将数据点分成组的流行技术，特别是对于复杂的数据集。谱聚类家族中的算法通常由多个单独的阶段组成（例如相似性矩阵构建，低维嵌入和作为后处理的K-Means聚类），由于不同阶段之间可能存在不匹配，因此可能导致次优结果。在本文中，我们提出了一个端到端的单阶段学习方法聚类称为正则化非负谱嵌入（RNSE），扩展了谱聚类与自适应学习的相似性矩阵，同时利用非负约束，以促进一步聚类（直接从数据点到聚类标签）。两个有充分根据的方法，连续交替投影和战略乘法更新，解决了相当具有挑战性的优化问题的RNSE。在合成数据集和真实数据集上进行的大量实验表明，RNSE的聚类性能优于一些最先进的竞争对手。
2019-11-01 cs.LG stat.ML
Cluster Analysis with Deep Embeddings and Contrastive Learning
Iowa State University（爱荷华州立大学）；John Deere（约翰迪尔公司）
无监督解纠缠表示学习是计算机视觉中一个长期存在的问题。这项工作提出了一种新的框架，通过结合实例级对比学习与基于深度嵌入的聚类中心预测器，从深度嵌入执行图像聚类。我们的方法以端到端的方式联合学习表示并预测聚类中心。这是通过一个三管齐下的方法来实现的，该方法结合了聚类损失、实例对比损失和锚点损失。我们的基本直觉是，使用集成损失，结合实例级的功能和聚类过程集中在语义相似性加强学习更好的表示在潜在的空间。我们观察到，我们的方法在使用标准聚类度量（如归一化互信息（NMI））进行评估时，在流行的视觉数据集上表现得非常好，此外还产生了由欧几里得距离定义的几何分离的聚类嵌入。我们的框架与广泛接受的聚类方法不相上下，并且在CIFAR-10数据集上的表现优于最先进的对比学习方法，NMI得分为0.772，在强基线上提高了7-8%。
2021-10-02 cs.CV cs.LG
Effectiveness of Deep Image Embedding Clustering Methods on Tabular Data
Tennessee State University（田纳西州立大学）
文献中的深度学习方法通常是在图像数据集上进行基准测试的，这可能不是非图像表格数据的合适或有效基线。在本文中，我们采取以数据为中心的观点来执行表格数据的深度嵌入聚类的第一个研究之一。八个聚类和国家的最先进的嵌入聚类方法提出的图像数据集上测试七个表格数据集。我们的研究结果表明，传统的聚类方法在八种方法中排名第二，并且优于大多数深度嵌入聚类基线。我们的观察与文献一致，即表格数据的传统机器学习仍然是对抗深度学习的鲁棒方法。因此，最先进的嵌入式聚类方法应该考虑以数据为中心的学习架构定制，以成为表格数据的竞争基线。
2023-01-11 cs.AI cs.LG cs.NE
A Kernel Mean Embedding Approach to Reducing Conservativeness in Stochastic Programming and Control
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Freiburg（弗莱堡大学）
我们将核均值嵌入方法应用于基于样本的随机最优化和控制。具体来说，我们使用缩减集扩展方法作为丢弃采样场景的一种方式。这种约束去除的效果是提高最优性和降低保守性。这是通过求解分布距离正则化最优化问题来实现的。我们证明了这种优化配方是动机良好的理论，计算上易于处理和有效的数值算法。
2020-04-22 cs.LG cs.SY eess.SY
Stochastic Nonlinear Control via Finite-dimensional Spectral Dynamic Embedding
Harvard University（哈佛大学）；University of Texas（德克萨斯大学）；Google DeepMind and Georgia Tech（谷歌DeepMind和佐治亚理工学院）
本文针对非线性随机系统最优控制问题，提出谱动态嵌入控制（SDEC）方法，通过无限维特征表示实现值函数线性化，采用有限维核近似并理论分析误差，实验表现优于现有算法。
2025-08-26 cs.LG math.OC
Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey
University of Waterloo（滑铁卢大学）
随机邻域嵌入（SNE）是一种基于概率的流形学习和降维方法。在SNE中，每个点都被认为是所有其他点的邻居，并试图在嵌入空间中保持这种概率。SNE在输入空间和嵌入空间中都考虑了概率的高斯分布。然而，t-SNE在这些空间中分别使用Student-t和高斯分布。在本教程和综述论文中，我们将解释SNE、对称SNE、t-SNE（或Cauchy-SNE）和具有一般自由度的t-SNE。我们还介绍了这些方法的样本外扩展和加速。
2022-08-03 cs.CV cs.LG stat.ML
Stochastic Gradient Descent for Spectral Embedding with Implicit Orthogonality Constraint
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université Paris-Est（巴黎东大学）；CNRS（法国国家科学研究中心）；ESIEE Paris（巴黎高等电子工程师学院）
在本文中，我们提出了一个可扩展的算法，频谱嵌入。后者是图聚类的标准工具。然而，其计算瓶颈是图的拉普拉斯矩阵的特征分解，这阻碍了其应用于大规模图。我们的贡献包括重新制定频谱嵌入，使其可以通过随机优化来解决。其思想是用直接注入准则的正交化矩阵代替正交约束。由于梯度可以通过Cholesky分解计算，我们的重新制定，使我们能够开发一个有效的算法的基础上小批量梯度下降。实验结果，合成和真实数据，确认所提出的方法的执行速度方面的效率与类似的现有技术。
2019-04-11 cs.LG stat.ML
Unsupervised Deep Embedding for Clustering Analysis
University of Washington（华盛顿大学）；Facebook AI Research (FAIR)（脸书人工智能研究院）
聚类是许多数据驱动应用领域的核心，并且在距离函数和分组算法方面得到了广泛的研究。相对较少的工作集中在学习表示聚类。在本文中，我们提出了深度嵌入式聚类（DEC），这是一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射，并在其中迭代优化聚类目标。我们对图像和文本语料库的实验评估表明，国家的最先进的方法显着改善。
2016-05-24 cs.CV cs.LG
Stochastic Neighbor Embedding under f-divergences
Janelia Research Campus（珍妮利亚研究园区）；AIFounded Inc.（AIFounded公司）；Columbia University（哥伦比亚大学）
t分布随机邻域嵌入（t-SNE）是一种强大而流行的高维数据可视化方法。它最大限度地减少了原始和嵌入数据分布之间的Kullback-Leibler（KL）分歧。在这项工作中，我们建议将这种方法扩展到其他f-发散。我们分析和经验评估的类型的潜在结构流形，集群和层次，以及捕获使用原始的KL分歧以及建议的f-发散泛化，并发现不同的分歧执行更好的不同类型的结构。$t$ -SNE准则的一个共同问题是，它是使用梯度下降优化的，并且可能陷入较差的局部最小值。我们建议通过最小化变分界限来优化基于f-散度的损失准则。这通常比优化原始形式表现得更好，我们的实验表明，它可以改善从原始$t$ -SNE标准获得的嵌入结果。
2018-11-03 cs.LG stat.ML
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology（挪威科技大学）；Aalto University（阿尔托大学）
将单词编码为向量的词嵌入是自然语言处理的重要起点，并且通常用于许多基于文本的机器学习任务。然而，在大多数当前的词嵌入方法中，嵌入空间中的相似性在学习中没有被优化。在本文中，我们提出了一种新的邻居嵌入方法，直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走，从而能够更好地揭示词之间的主题。实验结果表明，与现有的词嵌入方法相比，该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
Interpretable Topic Extraction and Word Embedding Learning using row-stochastic DEDICOM
Fraunhofer IAIS（弗劳恩霍夫研究所）；University of Bonn（波恩大学）
提出行随机 DEDICOM 变体，在语料库 PMI 矩阵上同时完成可解释主题簇识别与词嵌入学习，并给出高效约束训练方法和定性评估。
2025-07-22 cs.AI cs.CL cs.LG
Learning low-dimensional state embeddings and metastable clusters from time series data
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文研究了如何从高维马尔可夫状态轨迹中找到紧致状态嵌入，其中转移核具有小的内在秩。在扩散映射的精神，我们提出了一个有效的方法来学习低维状态嵌入和捕捉过程的动态。这个想法也导致核整形方法更准确的非参数估计的过渡函数。状态嵌入可以用于将状态聚类到亚稳态集合中，从而识别慢动态。尖锐的统计误差界和误分类率证明。对一个模拟动力系统的实验表明，状态聚类方法确实揭示了亚稳态结构。我们还实验了在玩Atari游戏时由Deep-Q-Network层生成的时间序列。嵌入方法识别游戏状态是相似的，如果他们共享类似的未来事件，即使他们的原始数据是远远不同的。
2019-10-27 cs.LG stat.ML
Re-embedding data to strengthen recovery guarantees of clustering
Cornell University（康奈尔大学）；University of Waterloo（滑铁卢大学）
我们提出了一种聚类方法，涉及链接到一个管道产生一个算法的四个组件分别比任何更强的恢复保证四个已知的技术。给定$\mathbb R^d$中的$n$点，我们的管道的第一个组成部分，我们称之为蛙跳距离，让人想起基于密度的聚类，产生一个$n\times n$距离矩阵。然后，使用多维缩放和谱方法（两种其他已知技术）将蛙跳距离转换为新的嵌入，从而产生$\mathbb R^{d'}$中的$n$点的新嵌入，其中$d'$通常满足$d'\ll d$。最后，范数和（SON）聚类应用于重新嵌入的点。虽然第四步（SON聚类）原则上可以被任何其他聚类方法取代，但我们的重点是恢复底层结构的可证明保证。因此，我们确定重新嵌入提高了恢复SON聚类，因为SON聚类是一种已经具有可证明保证的研究充分的方法。
2023-01-26 cs.LG math.OC stat.ML
Clustering in Partially Labeled Stochastic Block Models via Total Variation Minimization
Aalto University（阿尔托大学）
数据分析的一个主要任务是将数据点组织成连贯的组或簇。随机块模型是一种描述团簇结构的概率模型。该模型规定了不同的概率为一个集群内和不同的集群之间的边缘的存在。我们假设每个聚类中至少有一个数据点的聚类分配是已知的。在这种部分标记的随机块模型中，聚类相当于估计剩余数据点的聚类分配。我们研究总变差最小化作为这个聚类任务的方法。我们实现的聚类算法作为一个高度可扩展的消息传递协议。我们还提供了一个条件的模型参数，使总变差最小化允许准确的聚类。
2020-09-23 cs.LG stat.ML
Analysis of Word Embeddings Using Fuzzy Clustering
University of Alberta（阿尔伯塔大学）
在数据主导的系统和应用中，以数字格式表示单词的概念已经获得了很多关注。有几种方法用于生成这样的表示。应该考虑的一个有趣的问题是这种表示（称为嵌入）模仿单词之间基于人类的语义相似性的能力。在这项研究中，我们进行了一个基于模糊的分析矢量表示的话，即，词嵌入。我们使用两个流行的模糊聚类算法计数为基础的词嵌入，称为GloVe，不同的维度。WordSim-353中的单词被称为黄金标准，它们被表示为向量并进行聚类。结果表明，模糊聚类算法是非常敏感的高维数据，参数调整可以显着改变其性能。我们表明，通过调整模糊参数的值，模糊聚类可以成功地应用于高达一百维的向量。此外，我们说明，模糊聚类允许提供有趣的结果，关于成员的话，不同的集群。
2020-12-07 cs.CL cs.IR cs.LG
HERCULES: Hierarchical Embedding-based Recursive Clustering Using LLMs for Efficient Summarization
University of Debrecen（德布勒恩大学）
该研究提出HERCULES分层递归聚类算法及Python包，深度集成LLM生成聚类语义描述以提升可解释性，支持多模态数据、两种聚类模式与主题引导，搭配可视化工具，可从复杂数据中提取分层知识。
2025-09-03 cs.AI cs.LG
Higher Order Kernel Mean Embeddings to Capture Filtrations of Stochastic Processes
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦图灵研究所）；University of Warwick（华威大学）；King’s College London（伦敦国王学院）；Technical University of Munich（慕尼黑工业大学）
随机过程是值在某个路径空间中的随机变量。然而，将随机过程简化为路径值随机变量忽略了其过滤，即过程随时间携带的信息流。通过调节其过滤的过程中，我们引入了一个家庭的高阶内核均值嵌入（KME），概括了KME的概念，并捕获额外的信息相关的过滤。我们推导出经验估计相关联的高阶最大均值差异（MMD），并证明了一致性。然后，我们构建了一个过滤敏感的内核两个样本测试能够拿起信息，错过了标准的MMD测试。此外，利用我们的高阶MMD，我们构建了一个随机过程的通用内核家族，可以通过经典的基于内核的回归方法解决定量金融中的真实世界校准和最优停止问题（例如美式期权的定价）。最后，适应现有的测试条件独立的情况下，随机过程中，我们设计了一个因果发现算法，以恢复因果图的相互作用机构之间的结构依赖关系，完全从他们的多维轨迹的观察。
2021-11-04 cs.LG stat.ML
Neural Processes with Stochastic Attention: Paying more attention to the context dataset
KAIST AI（韩国科学技术院人工智能学院）
神经过程（NP）旨在基于给定的上下文数据集随机完成看不见的数据点。NP本质上利用给定的数据集作为上下文表示来为新任务导出合适的标识符。为了提高预测精度，许多NP的变体已经研究了上下文嵌入方法，这些方法通常设计新颖的网络架构和满足排列不变的聚合函数。在这项工作中，我们提出了一个随机注意力机制的NP捕捉适当的上下文信息。从信息论的角度来看，我们证明了所提出的方法鼓励上下文嵌入与目标数据集区分开来，允许NP独立地考虑目标数据集和上下文嵌入中的特征。我们观察到，所提出的方法可以适当地捕捉上下文嵌入，即使在嘈杂的数据集和有限的任务分布，典型的NP遭受缺乏上下文嵌入。我们的经验表明，我们的方法大大优于传统的NP在各个领域，通过一维回归，捕食者-猎物模型，图像完成。此外，所提出的方法也验证了MovieLens-10 k数据集，一个现实世界的问题。
2022-04-11 cs.AI cs.LG
Efficient Algorithms for t-distributed Stochastic Neighborhood Embedding
Yale University（耶鲁大学）；Yale University School of Medicine（耶鲁大学医学院）
t分布随机邻域嵌入（t-SNE）是近年来广泛流行的一种降维和可视化方法。t-SNE的有效实现是可用的，但是它们对于具有数十万到数百万个高维数据点的数据集的扩展性很差。提出了基于快速傅立叶变换加速插值的t-SNE（FIt-SNE）算法，大大提高了t-SNE的计算速度。t-SNE最耗时的步骤是卷积，我们通过插值到等间距网格上并随后使用快速傅立叶变换来执行卷积来加速卷积。我们还使用多线程近似最近邻优化高维输入相似性的计算。我们进一步提出了一个修改t-SNE称为“后期夸张”，这使得更容易识别集群的t-SNE嵌入。最后，对于无法加载到内存中的数据集，我们提出了核外随机主成分分析（oocPCA），这样就可以在不完全加载矩阵的情况下计算数据集的顶部主成分，从而允许在资源有限的机器上计算大型数据集的t-SNE。
2017-12-25 cs.LG stat.ML
DynG2G: An Efficient Stochastic Graph Embedding Method for Temporal Graphs
Brown University（布朗大学）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所）；National Institute of Technology, Silchar（锡尔查尔国家理工学院）
动态图嵌入由于能够学习复杂时序图的低维图表示并具有较高的精度而受到广泛关注。然而，最近的进展主要集中在学习节点嵌入作为静态图的确定性“向量”，而忽略了关键图的时间动态和与潜在空间中的节点嵌入相关的不断变化的不确定性。在这项工作中，我们提出了一种有效的随机动态图嵌入方法（DynG2G），该方法应用了一种使用基于节点三元组的对比损失训练的感应前馈编码器。每个时间戳的每个节点被编码为潜在空间中的时间相关概率多元高斯分布，因此我们可以实时量化节点嵌入的不确定性。我们采用了八种不同的基准，代表了大小的多样性（从96个节点到87，626个节点，从13，398条边到4，870，863条边）和动态的多样性。我们通过对这八个动态图基准测试的广泛实验证明，DynG2G在捕获底层时间节点嵌入方面实现了新的最先进的性能。我们还证明了DynG2G可以预测不断变化的节点嵌入不确定性，这在量化动态系统随时间的内在维数方面起着至关重要的作用。我们得到的最佳嵌入维数，$L_o$，与有效维数的不确定性，$D_u$的普遍关系，我们推断，$L_o=D_u$的所有情况下。这意味着我们在DynG2G中采用的不确定性量化方法正确地捕获了这种不断发展的图形的动态的内在维度，尽管每个时间戳的图形具有不同的性质和组成。此外，该$L_0 - D_u$相关性提供了清晰的路径，以通过设置$L \ge D_u$来自适应地选择每个时间戳处的最…
2022-04-27 cs.AI cs.LG
Embedding stochastic differential equations into neural networks via dual processes
Saitama University（埼玉大学）
提出一种无需训练数据、利用对偶过程将随机微分方程信息直接嵌入神经网络权重的方法，并在Ornstein-Uhlenbeck过程等系统中验证了其在原点附近的高精度及避免过拟合的优势。
2023-08-17 cs.LG physics.data-an
AutoEmbedder: A semi-supervised DNN embedding system for clustering
Bangladesh University of Business & Technology（孟加拉国商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
聚类是处理无标记数据的无监督学习方法中广泛使用的一种。深度集群已成为一个流行的研究领域，它将集群与深度神经网络（DNN）架构联系起来。深度聚类方法对高维数据进行下采样，这也可能与聚类损失有关。深度聚类也被引入到半监督学习（SSL）中。大多数SSL方法依赖于成对约束信息，这是一个矩阵，包含数据对是否可以在同一个集群中的知识。本文介绍了一种新的嵌入系统AutoEmbedder，下采样高维数据的聚类嵌入点。据我们所知，这是第一个与传统分类器DNN架构相关的研究工作，具有成对损失减少技术。训练过程是半监督的，并使用Siamese网络架构来计算特征学习阶段的成对约束损失。AutoEmbedder优于大多数现有的基于DNN的半监督方法，这些方法在著名的数据集上进行了测试。
2020-07-11 cs.CV cs.LG stat.ML
Rare event estimation using stochastic spectral embedding
ETH Zurich（苏黎世联邦理工学院）；Technical University Munich（慕尼黑工业大学）
罕见失效事件的概率估计是工程系统可靠性评估中的一个重要步骤。计算这种复杂的非线性系统的故障概率是具有挑战性的，最近刺激了主动学习可靠性方法的发展。这些方法近似的极限状态函数（LSF）使用代理模型训练的模型评估的顺序丰富的集合。最近提出的方法称为随机谱嵌入（SSE）的目的是提高局部逼近精度的全球，光谱替代建模技术，依次嵌入局部残差扩展的输入空间的子域。在这项工作中，我们应用SSE的LSF，从而产生一个随机谱嵌入为基础的可靠性（SSER）方法。由此产生的输入空间的分区分解成一组易于计算的\rev{conditional}故障概率的故障概率。我们提出了一组修改，定制的算法，以有效地解决罕见事件估计问题。这些修改包括专门的细化域选择，分区和富集策略。我们展示了算法的性能在四个基准问题的各种维度和复杂性的LSF。
2022-02-09 cs.LG stat.CO stat.ME
Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本研究揭示了说话人嵌入中存在情感聚类现象，并提出一种基于聚类的对比预训练策略，利用情感未标记数据显著提升了语音情感识别性能。
2024-01-19 cs.LG cs.SD eess.AS
Cluster-Guided Unsupervised Domain Adaptation for Deep Speaker Embedding
Shanghai Acoustics Laboratory, Chinese Academy of Sciences（中国科学院上海声学实验室）；University of Chinese Academy of Sciences（中国科学院大学）；The Shenzhen Research Institute, The Hong Kong Polytechnic University（香港理工大学深圳研究院）；The Hong Kong Polytechnic University（香港理工大学）
本文提出聚类引导的无监督域适应框架，通过聚类打标签并联合训练说话人嵌入网络，在CN-Celeb1上达到8.10%的EER，优于监督基线39.6%。
2023-03-28 cs.LG cs.SD eess.AS
Stochastic Graphlet Embedding
Autonomous University of Barcelona（巴塞罗那自治大学）；Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）；UPMC（巴黎第六大学）；Sorbonne University（索邦大学）
已知基于图的方法在许多机器学习和模式分类任务中是成功的。这些方法将半结构化数据视为图，其中节点对应于图元（部件、兴趣点、段等）。并且边缘表征这些基元之间的关系。然而，这些非矢量图数据不能直接插入到现成的机器学习算法中，而不需要显式/隐式图矢量化和嵌入的初步步骤。这种嵌入过程应该对类内图变化具有弹性，同时具有高度的判别性。在本文中，我们提出了一种新的高阶随机图嵌入（SGE）映射到向量空间的图形。我们的主要贡献包括一个新的随机搜索过程，有效地解析一个给定的图形和提取/样本无限高阶graphlets。我们认为这些graphlets，随着订单的增加，本地原语以及它们日益复杂的相互作用建模。为了构建我们的图表示，我们使用特定的哈希函数来测量这些小图在给定图中的分布，这些哈希函数可以有效地将采样的小图分配到具有非常低的冲突概率的同构集中。当与最大间隔分类器相结合时，这些基于graphlet的表示对模式比较和识别的性能具有积极的影响，这一点通过使用标准基准数据库的大量实验得到了证实。
2018-12-05 cs.CV cs.LG stat.ML
A Dynamic Framework for Semantic Grouping of Common Data Elements (CDE) Using Embeddings and Clustering
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出一种基于LLM嵌入与HDBSCAN聚类的动态框架，用于生物医学CDE语义分组，在24,000余个CDE上识别出118个聚类，分类准确率达90.46%，有效促进CDE协调统一与数据互操作性。
2025-06-02 cs.CL cs.IR cs.LG
Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University（京都大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；NAVER Corporation（NAVER公司）
多模态关系数据分析近年来变得越来越重要，用于探索不同领域的数据，诸如从社交网络服务（例如，Flickr）。已经开发了各种数据分析方法用于可视化;举一个例子，t-随机邻居嵌入（t-SNE）计算低维特征向量，以便它们的相似性保持观察到的数据向量。然而，t-SNE是专为一个单一的数据域，但不是多模态数据，本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE，本文提出了多模态关系随机邻居嵌入（MR-SNE），即（1）首先计算增强关系，其中我们观察跨域的关系，并通过观察到的数据向量计算每个域内的关系，以及（2）将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集，建议MR-SNE与其他基于图嵌入的方法进行了比较，MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC
Text Clustering with Large Language Model Embeddings
Lusófona University（卢索福纳大学）；Center of Technology and Systems (UNINOVA-CTS)（技术与系统中心（UNINOVA-CTS））；Associated Lab of Intelligent Systems (LASI)（智能系统联合实验室（LASI））
本研究探讨大语言模型（LLMs）嵌入对文本聚类的影响，通过实验评估不同嵌入、聚类算法、降维和模型规模的作用，发现LLM嵌入优于传统方法，GPT-3.5 Turbo和BERT表现突出，为文本聚类提供改进方法和研究新方向。
2024-12-02 cs.AI cs.CL cs.LG
Classification EM-PCA for clustering and embedding
Centre Borelli, Université Paris Cité（博雷利中心，巴黎城市大学）
本文提出结合PCA和CEM的算法，用于同时实现数据嵌入和聚类，解决高维数据的降维与快速收敛问题。
2025-11-24 cs.AI cs.CL cs.LG
Clustering as an Evaluation Protocol for Knowledge Embedding Representation of Categorised Multi-relational Data in the Clinical Domain
University College London（伦敦大学学院）；Institute of Health Informatics（健康信息学研究所）
学习知识表示是一种越来越重要的技术，适用于许多特定领域的机器学习问题。我们讨论了传统的链接预测或知识图谱完成评估协议的有效性时，嵌入知识表示的分类多关系数据在临床领域。链接预测用于将数据划分为训练和评估子集，导致训练过程中的信息丢失，并损害知识表示模型的准确性。我们提出了一个聚类评估协议作为替代传统上使用的评估任务。我们使用了由知识嵌入方法训练的嵌入模型，该方法已经过临床数据集的评估。Pearson和Spearman相关性的实验结果表明，新提出的评估协议是pottententially能够取代链接预测强有力的证据。
2019-12-29 cs.AI cs.LG cs.SI
Equilibrium Distribution for t-Distributed Stochastic Neighbor Embedding with Generalized Kernels
Yi Gu
本文研究广义核 t-SNE 在数据点数量趋于无穷时的收敛性，给出广义输入核与输出核的具体形式，并证明其在一定条件下收敛至平衡分布。
2026-10-14 cs.LG math.PR math.ST
