A Generative Word Embedding Model and its Low Rank Positive Semidefinite Solution
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)(南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心(LILY));Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
现有的大多数词嵌入方法可以分为神经嵌入模型和基于矩阵分解(MF)的方法。然而,一些模型是不透明的概率解释,和MF为基础的方法,通常使用奇异值分解(SVD)解决,可能会导致语料库信息的损失。此外,期望将诸如主题、情感或写作风格的全局潜在因素并入到词嵌入模型中。由于生成模型提供了一个原则性的方式来纳入潜在的因素,我们提出了一个生成的词嵌入模型,这是很容易解释,并可以作为更复杂的潜在因素模型的基础。模型推理归结为一个低秩加权半正定逼近问题。其优化方法是通过对子矩阵进行特征分解,然后进行在线分块回归,这是可扩展的,避免了SVD中的信息丢失。在7个常见的基准数据集上的实验中,我们的向量与word2vec竞争,并且优于其他基于MF的方法。
2015-08-16 cs.CL cs.LG stat.ML
Large-Scale Privacy-Preserving Network Embedding against Private Link Inference Attacks
Shanghai University of Finance and Economics(上海财经大学);Peking University(北京大学);Beihang University(北京航空航天大学)
网络嵌入通过低维信息向量表示网络节点。虽然它通常对各种下游任务有效,但它可能会泄露网络的一些私有信息,例如隐藏的私有链接。在这项工作中,我们解决了一个新的问题,保护隐私的网络嵌入对私人链接推理攻击。基本上,我们建议通过添加或删除链接来扰动原始网络,并期望在扰动后的网络上生成的嵌入可以泄漏很少的私有链接信息,但对各种下游任务具有很高的实用性。为了实现这一目标,我们首先提出了一般的测量,以量化隐私增益和效用损失所产生的候选网络扰动,然后我们设计了一个PPNE框架,以确定最佳的扰动解决方案与最佳的隐私效用权衡迭代的方式。此外,我们提出了许多技术来加速PPNE,并确保其可扩展性。例如,由于包括DeepWalk和LINE在内的skip-gram嵌入方法可以被视为具有封闭形式嵌入结果的矩阵分解,因此我们设计了有效的隐私增益和效用损失近似方法,以避免在每次迭代中对每个候选网络扰动进行重复耗时的嵌入训练。在真实网络数据集(多达数百万个节点)上的实验验证了PPNE通过牺牲更少的效用和获得更高的隐私保护来优于基线。
2022-05-28 cs.AI cs.LG cs.SI
ModEFormer: Modality-Preserving Embedding for Audio-Video Synchronization using Transformers
Amazon Studios(亚马逊工作室)
缺乏音频-视频同步是电视广播和视频会议期间的常见问题,导致不令人满意的观看体验。一个被广泛接受的范例是创建一个错误检测机制,该机制识别音频领先或滞后的情况。我们提出了ModEFormer,它独立地提取音频和视频嵌入使用特定的模态Transformers。与其他基于transformer的方法不同,ModEFormer保留了输入流的模态,这允许我们使用更大的批量大小和更多的负音频样本进行对比学习。此外,我们提出了一个权衡负样本的数量和数量的独特的样本在一批显着超过以前的方法的性能。实验结果表明,ModEFormer实现了最先进的性能,94.5%的LRS 2和90.9%的LRS 3。最后,我们演示了如何ModEFormer可以用于偏移检测测试剪辑。
2023-03-21 cs.CV cs.LG cs.SD
Neural graph embeddings as explicit low-rank matrix factorization for link prediction
Institute of Artificial Intelligence, Medical University of Vienna(维也纳医科大学人工智能研究所)
学习高质量的神经图嵌入一直是通过最小化模拟随机游动中同现节点的逐点互信息(PMI)来实现的。这种设计选择主要是通过直接应用非常成功的词嵌入算法word2vec来预测社交网络、共同引用网络和生物网络中新链接的形成而推广的。然而,这种拟态设计的图嵌入方法需要截断来自具有低PMI的节点对的信息。为了避免这个问题,我们提出了一种改进的方法来学习低秩分解嵌入,将信息从这样的不太可能的节点对,并表明它可以提高链接预测性能的基线方法从1.2%到24.2%。根据我们的结果和观察,我们概述了进一步的步骤,可以改善设计的下一个图嵌入算法的基础上矩阵分解。
2022-08-25 cs.AI cs.LG cs.NA
Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的非线性维数和特征提取方法的基础上,拉普拉斯的图形数据。首先介绍了邻接矩阵、拉普拉斯矩阵的定义以及拉普拉斯算子的解释。然后,我们覆盖了图的切割和谱聚类,它应用于数据的子空间中的聚类。解释了拉普拉斯特征映射及其样本外扩展的不同优化变体。之后,我们引入了保局投影及其核变体作为拉普拉斯特征映射的线性特例。图嵌入的版本,然后解释这是广义版本的拉普拉斯特征映射和局部保持投影。最后介绍了一种基于数据的拉普拉斯算子和数据图上的随机游动的扩散映射方法。
2022-08-06 cs.CV cs.LG stat.ML
Curvature Regularization to Prevent Distortion in Graph Embedding
Jilin University(吉林大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近的研究在各种应用中取得了成功的图嵌入。大多数图嵌入方法保持图在嵌入空间中到流形的邻近性。我们认为,一个重要的,但被忽视的问题,这种保持邻近性的策略:图拓扑模式,而保持良好的嵌入流形,可能会扭曲周围的嵌入欧氏空间,因此,检测它们变得困难的机器学习模型。为了解决这个问题,我们提出了曲率正则化,以加强嵌入流形的平坦性,从而防止失真。我们提出了一种新的基于角度的截面曲率,称为ABS曲率,相应的三种曲率正则化诱导平坦的嵌入流形在图嵌入。我们将曲率正则化集成到五种流行的保持邻近性的嵌入方法中,两个应用程序的经验结果表明,在广泛的开放图数据集上有显着的改进。
2020-11-28 cs.CV cs.LG stat.ML
Tensor Train Neighborhood Preserving Embedding
Purdue University(普渡大学);Tufts University(塔夫茨大学)
本文提出了一种张量训练邻域保持嵌入算法(TTNPE),将多维张量数据嵌入到低维张量子空间中。提出了解决TTNPE优化问题的新方法。对于这种嵌入,我们评估新的权衡增益之间的分类,计算和降维(存储)的监督学习。结果表明,与最先进的张量嵌入方法相比,TTNPE在MNIST手写数字和Weizmann人脸数据集的分类,计算和降维方面取得了优异的折衷。
2018-03-10 cs.IT cs.LG math.IT
Low-dimensional Data Embedding via Robust Ranking
Adobe Research(Adobe研究院)
我们描述了一种新的方法,称为t-ETE寻找一组对象在欧几里得空间中的低维嵌入。我们制定的嵌入问题作为一个联合排名问题的一组三元组,其中每个三元组捕获的集合中的三个对象之间的相对相似性。通过利用鲁棒排名的最新进展,t-ETE即使在存在大量噪声的情况下也能产生高质量的嵌入,并且比已知方法(如t-STE和t-SNE)更好地保留局部尺度。特别是,我们的方法在签名数据集上产生了比t-SNE更好的结果,同时计算速度也更快。
2017-05-16 cs.AI cs.LG stat.ML
Twitch Gamers: a Dataset for Evaluating Proximity Preserving and Structural Role-based Node Embeddings
The University of Edinburgh(爱丁堡大学)
邻近保持和基于角色的结构化节点嵌入已经成为应用图挖掘的主要工作。新的节点嵌入技术通常在一组有限的基准数据集上进行测试。在本文中,我们提出了一个新的多样化的社交网络数据集,称为Twitch Gamers,具有多个潜在的目标属性。我们对社交网络和节点分类实验的分析表明,Twitch Gamers适用于评估新型邻近保持和基于结构角色的节点嵌入算法的预测性能。
2021-02-16 cs.AI cs.LG cs.SI
Privacy Preserving Adjacency Spectral Embedding on Stochastic Blockmodels
Intel Labs(英特尔研究院)
对于随机块模型生成的图,邻接谱嵌入是渐近一致的。此外,由普遍一致的分类器组成的邻接谱嵌入是普遍一致的,以实现贝叶斯错误。然而,当图包含私有或敏感信息时,将数据视为非私有可能潜在地泄露隐私并招致披露风险。本文提出了一种用于随机块模型的差分私有邻接谱嵌入算法。我们证明,我们提出的方法可以估计的潜在位置接近,在Frobenius范数,通过邻接谱嵌入的潜在位置,并在模拟和真实世界的网络中所需的隐私参数达到相当的精度。
2019-05-16 cs.CR cs.LG stat.ME
Low-rank approximations of hyperbolic embeddings
Microsoft(微软)
双曲流形是具有负常曲率的光滑流形。虽然双曲流形在文献中得到了很好的研究,但由于其在建模连续层次结构中的有用性,它最近在机器学习和自然语言处理社区中引起了兴趣。具有层次结构的任务在这些领域中是普遍存在的,并且对学习此类任务的双曲表示或嵌入有普遍的兴趣。此外,相关任务的这些嵌入也可以共享低秩子空间。在这项工作中,我们建议学习双曲嵌入,使它们也位于低维子空间中。特别是,我们考虑学习的问题,双曲嵌入的低秩分解。我们铸造这些问题作为流形优化问题,并提出计算效率高的算法。实证结果表明,所提出的方法的有效性。
2019-03-18 cs.LG math.OC stat.ML
On Conformal Isometry of Grid Cells: Learning Distance-Preserving Position Embedding
UCLA(加州大学洛杉矶分校);UT Southwestern Medical Center(德克萨斯大学西南医学中心);UT Austin(德克萨斯大学奥斯汀分校)
本文提出并验证网格细胞六边形模式的共形等距假设,通过学习最大程度保持距离的位置嵌入,并理论证明六边形平环面的最优性。
2025-02-27 cs.LG q-bio.NC stat.ML
Adversarial Privacy Preserving Graph Embedding against Inference Attack
University of Electronic Science and Technology of China(电子科技大学);Georgia State University(佐治亚州立大学)
最近,物联网(IoT)、移动设备、社交媒体等的普及为图形数据开辟了大量来源。图嵌入已被证明是非常有用的学习低维特征表示从图结构化数据。这些特征表示可用于从节点分类到链接预测的各种预测任务。然而,现有的图嵌入方法没有考虑用户的隐私,以防止推理攻击。也就是说,攻击者可以通过分析从图嵌入算法学习的节点表示来推断用户的敏感信息。在本文中,我们提出了对抗隐私图嵌入(APGE),这是一个图对抗训练框架,它集成了解开和清除机制,以从学习的节点表示中删除用户的隐私信息。该方法保留了图的结构信息和效用属性,同时隐藏了用户的私有属性,避免了推理攻击。在真实世界的图数据集上进行的大量实验表明,与最先进的算法相比,APGE具有更好的性能。我们的源代码可以在https://github.com/uJ62JHD/Privacy-Preserving-Social-Network-Embedding上找到。
2020-08-30 cs.CR cs.LG stat.ML
EPNE: Evolutionary Pattern Preserving Network Embedding
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学)
信息网络无处不在,是关系数据建模的理想选择。由于网络的稀疏性和不规则性,网络嵌入算法引起了众多研究者的关注,提出了大量的静态网络嵌入算法。然而,在现实生活中,网络会随着时间的推移而不断发展。因此,进化模式,即节点如何随着时间的推移发展自己,将作为嵌入网络中静态结构的有力补充,相对较少的作品关注。在本文中,我们提出了EPNE,一个时间网络嵌入模型保持局部结构的节点的演化模式。特别是,我们分析了进化模式的周期性和不周期性和设计策略,相应地在时间-频率域的因果卷积的基础上,这样的模式。此外,我们提出了一个时间的目标函数,同时优化与邻近的,这样的时间和结构信息被保存。通过对时间信息的充分建模,我们的模型能够在各种预测任务中优于其他竞争方法。
2020-09-24 cs.LG cs.NE cs.SI
Preserving local densities in low-dimensional embeddings
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
低维嵌入和可视化是分析高维数据不可或缺的工具。最先进的方法,如tSNE和UMAP,擅长揭示隐藏在高维数据中的局部结构,因此通常应用于生物学中的标准分析管道。然而,我们发现,这些方法无法重建局部属性,例如密度的相对差异(图1),并且聚类大小的明显差异可能源于不同样本大小引起的计算伪影(图2)。提供了一个理论分析这个问题,然后我们建议dtSNE,它近似保存局部密度。在对合成基准和真实世界数据与五种最先进方法进行比较的广泛研究中,我们根据经验表明,dtSNE提供了类似的全局重建,但产生了更准确的局部距离和相对密度的解释。
2023-01-31 cs.LG stat.ML
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology(挪威科技大学);Aalto University(阿尔托大学)
将单词编码为向量的词嵌入是自然语言处理的重要起点,并且通常用于许多基于文本的机器学习任务。然而,在大多数当前的词嵌入方法中,嵌入空间中的相似性在学习中没有被优化。在本文中,我们提出了一种新的邻居嵌入方法,直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走,从而能够更好地揭示词之间的主题。实验结果表明,与现有的词嵌入方法相比,该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
Efficient Federated Learning on Knowledge Graphs via Privacy-preserving Relation Embedding Aggregation
Lehigh University(理海大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Carnegie Mellon University(卡内基梅隆大学);Virginia Tech(弗吉尼亚理工大学);Emory University(埃默里大学);Samsung Research America(三星美国研究院)
联邦学习(FL)在多源知识图谱(KG)上的知识表示、推理和数据采掘应用中是必不可少的。最近的一项研究FedE首次提出了一个FL框架,该框架在所有客户端之间共享KG的实体嵌入。然而,从FedE实体嵌入共享将招致严重的隐私泄漏。具体地,可以使用已知实体嵌入来推断私有客户端中是否存在两个实体之间的特定关系。在本文中,我们介绍了一种新的攻击方法,旨在恢复的基础上嵌入信息的原始数据,这是进一步用于评估FedE的脆弱性。此外,我们提出了一个联邦学习范式与隐私保护的关系嵌入聚合(FedR),以解决隐私问题的FedE。此外,关系嵌入共享由于其较小的查询大小,可以显着降低通信成本。我们进行了广泛的实验,以评估FedR与五个不同的KG嵌入模型和三个数据集。与FedE相比,FedR在链接预测任务上实现了相似的效用,并在隐私保护效果和通信效率方面有了显著的提高。
2022-10-29 cs.AI cs.CL cs.LG
Learning Analogy-Preserving Sentence Embeddings for Answer Selection
Technische Universität Darmstadt(达姆施塔特工业大学)
答案选择旨在从一组可能正确的答案中识别给定问题的正确答案。与以前的作品,通常集中在一个问题和它的答案之间的语义相似性,我们的假设是,问答对往往是在类比关系。使用类比推理作为我们的用例,我们提出了一个框架和一个神经网络架构,用于学习专用的句子嵌入,保留语义空间中的类比属性。我们评估了所提出的方法在基准数据集的答案选择,并证明我们的句子嵌入确实捕捉类比属性比传统的嵌入,类比为基础的问答优于可比的相似性为基础的技术。
2019-10-11 cs.CL cs.LG
Gender-preserving Debiasing for Pre-trained Word Embeddings
Tokyo Metropolitan University(东京都立大学);University of Liverpool(利物浦大学)
从大量文本集合中学习的词嵌入已经表现出显著的歧视性偏见,如性别,种族或民族偏见,这反过来又会使使用这些词嵌入的下游NLP应用程序产生偏见。以性别偏见为例,我们提出了一种去偏见方法,该方法保留了非歧视性的性别相关信息,同时从预训练的词嵌入中去除了刻板的歧视性性别偏见。具体来说,我们考虑四种类型的信息:\emph{feminine},\emph{masculine},\emph{gender-neutral}和\emph{stereotypical},这代表性别与偏见之间的关系,并提出了一个去偏见的方法,(a)保留性别相关的信息,在女性和男性的话,(b)保留中性的性别中性词,(c)删除偏见的刻板印象的话。在先前提出的几个基准数据集上的实验结果表明,我们提出的方法可以比现有的SoTA方法更好地去偏置预训练的词嵌入,同时保留性别相关但非歧视性的信息。
2019-06-03 cs.CL cs.LG
Order-Preserving Dimension Reduction for Multimodal Semantic Embedding
本文提出保序降维方法OPDR,通过新的KNN质量全局度量与闭式映射,在降低多模态嵌入维度的同时保持近邻排序,实验证明其能在显著减少计算成本的同时维持高召回准确率。
2025-08-22 cs.AI cs.IR cs.LG
Neural-Brane: Neural Bayesian Personalized Ranking for Attributed Network Embedding
Indiana University Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校);Facebook Inc.(脸书公司);IBM Research(IBM研究院)
近年来,网络嵌入方法,即学习网络中每个顶点的分布式向量表示,引起了人们的极大兴趣。现有的工作已经证明,通过嵌入方法学习的顶点表示在许多现实世界的应用中提供了优越的性能,例如节点分类,链接预测和社区发现。然而,大多数用于网络嵌入的现有方法仅利用顶点的拓扑信息,而忽略了在所有现实生活网络中丰富的节点属性(例如,在线社交网络的用户简档或引文网络的文本内容)的集合。考虑属性和关系信息的联合网络嵌入需要完整的网络信息,并且可以进一步丰富学习的矢量表示。在这项工作中,我们提出了神经膜,一种新的神经贝叶斯个性化排名的属性网络嵌入。对于给定的网络,Neural-Brane利用统一网络拓扑信息和节点属性的神经网络模型提取节点的潜在特征表示,并利用贝叶斯个性化排序目标,利用相似节点对和不相似节点对之间的邻近度排序.我们通过在四个真实世界的数据集上解决节点分类和聚类任务来评估Neural-Brane产生的顶点嵌入的质量。实验结果表明,我们提出的方法优于国家的最先进的现有方法。
2018-08-20 cs.LG cs.SI stat.ML
Faster Binary Embeddings for Preserving Euclidean Distances
Halıcıoğlu Data Science Institute(哈利奇奥格鲁数据科学学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个快速的,距离保持,二进制嵌入算法将高维数据集$\mathcal{T}\subseteq\mathbb{R}^n$转换成二进制序列的立方体$\{\pm 1\}^m$。当$\mathcal{T}$由良好分布的(即,非稀疏)向量,我们的嵌入方法将稳定的噪声整形量化方案应用于$A x$,其中$A\in\mathbb{R}^{m\times n}$是稀疏高斯随机矩阵。这与通常使用$x\mapsto \mathrm{sign}(Ax)$进行嵌入的大多数二进制嵌入方法形成对比。此外,我们表明,$\mathcal{T}$的元素之间的欧氏距离近似的$\ell_1$规范下的图像的$\{\pm 1\}^m$的快速线性变换。这再次与标准方法形成对比,在标准方法中使用汉明距离。我们的方法是快速和内存有效的,与时间复杂度$O(m)$和空间复杂度$O(m)$。此外,我们证明了该方法是准确的,其相关的误差是可比的连续值的约翰逊-林登施特劳斯嵌入加上量化误差,承认多项式衰减的嵌入维数$m$增加。因此,所需的二进制代码的长度,以达到所需的精度是相当小的,我们甚至可以进一步压缩,而不影响精度。为了说明我们的结果,我们在自然图像上测试了所提出的方法,并表明它具有很强的性能。
2021-03-10 cs.IT cs.LG math.IT
Likelihood-Preserving Embeddings for Statistical Inference
本文提出保留似然性的嵌入理论,通过Likelihood-Ratio Distortion度量和铰链定理,确保嵌入在统计推断中保持准确性,并通过实验验证其有效性。
2025-12-27 cs.LG math.ST stat.ME
CONE-Align: Consistent Network Alignment with Proximity-Preserving Node Embedding
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
网络对齐是在不同图中找到节点之间的对应关系的过程,具有许多科学和工业应用。现有的无监督网络对齐方法找到了破坏节点邻域的次优对齐,即不保持匹配的邻域一致性。为了改善这一点,我们提出了CONE-Align,它用节点嵌入来模拟网络内的邻近度,并在对齐嵌入子空间后使用它们来匹配网络中的节点。在不同的、具有挑战性的数据集上进行的实验表明,CONE-Align是鲁棒的,在高噪声环境中,它的准确率平均比性能最好的最先进的图对齐算法高出19.25%。
2020-08-17 cs.LG cs.SI
Geometry-Preserving Aggregation for Mixture-of-Experts Embedding Models
Department of Electrical Engineering(电气工程系);Sharif University of Technology(谢里夫理工学院)
SBA通过分离径向和角向成分,保持超球面结构,提升混合专家嵌入模型的几何一致性与性能。
2026-02-15 cs.CL cs.LG
struc2gauss: Structural Role Preserving Network Embedding via Gaussian Embedding
Eindhoven University of Technology(埃因霍温理工大学);National Digital Switching System Engineering Technology R&D Center(国家数字交换系统工程技术研究中心)
网络嵌入(NE)由于能够将节点映射为有效的低维嵌入向量,在网络挖掘中发挥着重要作用。然而,两个主要的限制存在于国家的最先进的NE方法:角色保存和不确定性建模。几乎所有先前的方法都将节点表示为空间中的点并且关注局部结构信息,即,邻里信息然而,邻域信息不能捕获全局结构信息,点矢量表示无法对节点表示的不确定性进行建模。在本文中,我们提出了一个新的NE框架,struct2gauss,学习节点表示在高斯分布的空间,并执行网络嵌入的基础上的全球结构信息。struc2gauss首先使用给定的节点相似性度量来度量全局结构信息,然后为节点生成结构上下文,最后通过高斯嵌入来学习节点表示。研究了网络的不同结构相似性度量和高斯嵌入的能量函数。在真实网络上进行的实验表明,struct2gauss有效地捕捉全局结构信息,而最先进的网络嵌入方法失败,优于其他方法的基于结构的聚类和分类任务,并提供更多的信息,节点表示的不确定性。
2020-09-30 cs.LG cs.SI
TME-BNA: Temporal Motif-Preserving Network Embedding with Bicomponent Neighbor Aggregation
Zhejiang University(浙江大学)
演化的时间网络是许多现实动态系统的抽象,例如,社交网络和电子商务。时间网络嵌入的目的是将每个节点映射到用于下游任务的时间演进低维向量,例如,链接预测和节点分类。时态网络嵌入的难点在于如何联合利用拓扑和时间信息来捕捉时态网络的演化。针对这一挑战,我们提出了一种基于双组分邻域聚合的时间基元保持网络嵌入方法,称为TME-BNA。考虑到时间模体对于理解时间网络的拓扑规律和功能特性至关重要,TME-BNA基于时间模体构造额外的边特征,以显式地利用具有时间信息的复杂拓扑结构.为了捕捉节点的拓扑动态,TME-BNA利用图神经网络(GNNs)根据连接边的时间戳分别聚合历史和当前邻居。在三个公共时态网络数据集上进行了实验,结果表明了TME-BNA的有效性。
2021-10-26 cs.LG cs.SI
GAGE: Geometry Preserving Attributed Graph Embeddings
University of Pennsylvania(宾夕法尼亚大学);University of Virginia(弗吉尼亚大学)
节点嵌入是提取网络中连接的某些实体的简洁和信息表示的任务。各种真实世界的网络都以特征或时间序列数据的形式包含有关节点连接性和某些节点属性的信息。现代表示学习技术采用节点的连接性和属性信息以无监督的方式产生嵌入。在这种情况下,导出保留网络几何结构和属性向量的嵌入将是非常可取的,因为它们将反映特征空间中的拓扑邻域结构和邻近度。虽然这在仅观察网络的连通性或属性信息时维护起来相当简单,但保留这两种类型信息的几何形状是具有挑战性的。提出了一种新的基于张量分解的属性网络节点嵌入方法,该方法保持了连接和属性的距离。此外,开发了一种有效的轻量级算法来处理学习任务,并使用多个最先进的基线进行了明智的实验,表明该算法在下游任务中提供了显着的性能改进。
2022-02-23 cs.LG cs.SI eess.SP
Sparsity-Preserving Differentially Private Training of Large Embedding Models
Google Research(谷歌研究院);Princeton University(普林斯顿大学)
本文提出DP-FEST和DP-AdaFEST两种算法,在大型嵌入模型的差分隐私训练中保持梯度稀疏性,实现梯度大小缩减百万倍且准确率相当。
2023-11-14 cs.CR cs.LG
Guiding Graph Embeddings using Path-Ranking Methods for Error Detection innoisy Knowledge Graphs
Institute of Informatics and Telecommunications, National Center Scientific Research Demokritos(德谟克利特国家科学研究中心信息与电信研究所);Department of Informatics and Telecommunications, National and Kapodistrian University of Athens(雅典大学信息与电信学院)
知识图谱是目前异构大数据关系信息表示的主流方法,但其自动构建时可能包含大量的输入噪声。为了解决这个问题,已经提出了不同的错误检测方法,主要集中在路径排序和表示学习。这项工作提出了各种主流的方法,并提出了一个混合和模块化的方法的任务。我们在两个基准和一个真实世界的生物医学出版物数据集上比较了不同的方法,展示了我们方法的潜力,并提供了在处理有噪知识图谱时图嵌入的见解。
2020-12-12 cs.AI cs.IR cs.LG
Towards Invertible Semantic-Preserving Embeddings of Logical Formulae
University of Pisa(比萨大学);University of Trieste(的里雅斯特大学)
针对现有逻辑公式语义保持嵌入不可逆的问题,本研究基于图变分自编码器框架的深度架构,提出了一种可反转该嵌入的新型模型,经命题逻辑场景实验验证效果良好,推动了逻辑学习中连续优化的应用。
2023-05-03 cs.AI cs.LG cs.LO
Privacy-Preserving Graph Embedding based on Local Differential Privacy
Beijing Institute of Technology(北京理工大学)
针对图数据中的敏感信息泄露问题,提出满足本地差分隐私的 PrivGE 框架,通过 LDP 混淆与个性化 PageRank 学习节点表示,并在真实数据集上验证其隐私-效用平衡优势。
2024-08-04 cs.CR cs.LG cs.SI
Distance-Preserving Embeddings in Inhomogeneous Random Graphs
Johns Hopkins University(约翰斯·霍普金斯大学);Georgia Institute of Technology(佐治亚理工学院)
研究非均匀随机图中距离保持嵌入,基于地标嵌入分析最短路径近似,扩展失真保证到全局平均并统一分析,引入GNN增强变体,使模型能从小图学习并推广到大型真实网络,保持或超越经典嵌入保真度。
2026-07-14 cs.LG
GloDyNE: Global Topology Preserving Dynamic Network Embedding
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学)
由于现实世界中的网络具有随时间演化的特性,在动态环境中学习网络的低维拓扑表示正引起人们的广泛关注。动态网络嵌入(DNE)的主要和共同目标是在每个时间步有效地更新节点嵌入,同时保持网络拓扑结构。大多数现有DNE方法的想法是捕获受影响最大的节点(而不是所有节点)处或周围的拓扑变化,并相应地更新节点嵌入。不幸的是,这种近似,虽然可以提高效率,不能有效地保持在每个时间步的动态网络的全局拓扑结构,由于没有考虑不活动的子网络,接收累积的拓扑变化传播通过高阶邻近。为了解决这个问题,我们提出了一种新的节点选择策略,在网络中,这是协调与一个新的增量学习范式的基于Skip-Gram的嵌入方法的代表性节点的选择。广泛的实验表明,GloDyNE,与一小部分的节点被选中,已经可以实现优越的或相当的性能w.r.t.在三个典型的下游任务中使用最先进的DNE方法。特别是,GloDyNE显着优于其他方法在图重建任务,这表明了它的全局拓扑保持能力。源代码可在https://github.com/houchengbin/GloDyNE上获得
2021-12-06 cs.LG cs.SI
SparGE: Sparse Coding-based Patient Similarity Learning via Low-rank Constraints and Graph Embedding
患者相似性评估(PSA)是基于证据和个性化医疗的关键,通过分析越来越多的电子健康记录(EHR)来实现。然而,用于PSA的机器学习方法必须处理EHR的固有数据缺陷,即缺失值、噪声和小样本量。在这项工作中,提出了一个端到端的判别学习框架,称为SparGE,以解决这些数据的挑战,电子病历PSA。SparGE通过联合稀疏编码和图嵌入来度量相似性。首先,我们使用低秩约束稀疏编码来识别和计算相似患者的权重,同时对缺失值进行去噪。然后,采用稀疏表示的图嵌入,通过保持由距离定义的局部关系来测量患者对之间的相似性。最后,构造全局代价函数对相关参数进行优化.两个私人和公共的真实世界的医疗数据集,即SingHEART和MIMIC-III,实验结果表明,所提出的SparGE显着优于其他机器学习患者相似性方法。
2022-02-03 cs.LG
On Design Choices in Similarity-Preserving Sparse Randomized Embeddings
Örebro University(厄勒布鲁大学);Research Institutes of Sweden(瑞典研究院);Luleå University of Technology(吕勒奥理工大学);IRTC for IT and Systems(信息技术与系统研究院)
本文研究了 FlyHash 算法在生成保持相似性的稀疏嵌入时,输入预处理、激活函数和投影矩阵等设计选择对相似性搜索性能的显著影响。
2024-12-12 cs.LG cs.NE q-bio.NC
Deep Learning for Structure-Preserving Universal Stable Koopman-Inspired Embeddings for Nonlinear Canonical Hamiltonian Dynamics
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);Otto von Guericke University(奥托·冯·格里克大学)
本研究针对非线性典范哈密顿系统,提出基于深度学习的Koopman启发嵌入方法,通过辛变换、提升原理实现全局三次化嵌入并保障有界稳定性,为含连续谱的系统数据驱动学习提供支持。
2023-08-26 cs.AI cs.LG math.DS
FINEST: Stabilizing Recommendations by Rank-Preserving Fine-Tuning
Georgia Institute of Technology(佐治亚理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
FINEST通过从推荐模型获取参考排名列表,并在模拟扰动下用保秩正则化微调模型,以稳定推荐输出,同时保持预测准确性。
2024-02-05 cs.IR cs.LG cs.SI
Share your Model instead of your Data: Privacy Preserving Mimic Learning for Ranking
University of Amsterdam(阿姆斯特丹大学)
深度神经网络已经成为解决许多领域问题的主要工具。它们也用于解决信息检索问题,并在几项任务中表现出强大的性能。训练这些模型需要大量的代表性数据集,对于大多数IR任务,这些数据包含来自用户的敏感信息。隐私和保密问题阻止了许多数据所有者共享数据,因此今天的研究社区只能以有限的方式从大规模数据集的研究中受益。在本文中,我们讨论隐私保护模仿学习,即,使用来自隐私保护训练模型的预测而不是来自原始敏感训练数据的标签作为监督信号。我们提出了初步实验的结果,在该实验中,我们采用模仿学习和隐私保护模仿学习的思想,作为核心IR任务之一的文件重新排序的任务。这项研究是朝着使来自数据丰富环境的研究人员能够分享从实际用户数据中学到的知识奠定基础的一步,这将促进研究合作。
2017-07-24 cs.AI cs.CL cs.IR
Prosody-Driven Privacy-Preserving Dementia Detection
Imperial College London(伦敦帝国学院);Taibah University(塔伊巴大学)
本文提出一种基于领域知识的韵律特征解耦方法,在不依赖痴呆分类器的情况下对说话人嵌入进行匿名化,在ADReSS和ADReSSo数据集上同时实现高痴呆检测性能和强说话人隐私保护。
2024-07-03 cs.CL cs.CR cs.LG