Improving Skip-Gram based Graph Embeddings via Centrality-Weighted Sampling
Universitat de Barcelona(巴塞罗那大学);Universidad Central de Ecuador(厄瓜多尔中央大学);University of Sevilla(塞维利亚大学)
受word 2 vec启发的网络嵌入技术代表了一种有效的无监督关系学习模型。通常,通过Skip-Gram过程,这些技术通过采样节点上下文示例来学习图中节点的低维向量表示。尽管已经提出了许多对节点的上下文进行采样的方法,但是尚未深入分析节点选择方式的影响。为了填补这一空白,我们在同一框架下重新实现了四种主要的word 2 vec启发的图嵌入技术,并分析了在节点分类问题中测试时,不同的采样分布如何影响嵌入性能。我们提出了一组不同的著名的真实数据集,显示如何使用流行的中心分布在采样导致改进,获得高达2倍的学习时间和提高在所有情况下的准确性的速度的实验。
2019-07-20 cs.LG cs.SI stat.ML
Weighted Embeddings for Low-Dimensional Graph Representation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对双曲图嵌入计算复杂、难用于下游任务的问题,提出数学形式更简单的加权空间嵌入方法WEmbed,在异质图上以更少维度超越现有欧几里得嵌入,其余场景性能与现有方法相当。
2024-10-08 cs.DS cs.LG cs.SI
Spectral embedding of regularized block models
Institut Polytechnique de Paris(巴黎理工学院)
谱嵌入是一种常用的图形数据表示技术。已经提出了几种正则化技术来提高嵌入的质量,例如聚类等下游任务。在本文中,我们解释了一个简单的块模型的完整的图形正则化的影响,其中一个常数被添加到邻接矩阵的所有条目。具体来说,我们证明了正则化迫使谱嵌入集中在最大的块上,使得表示对噪声或离群值不那么敏感。我们在合成数据和真实数据上说明了这些结果,展示了正则化如何提高标准聚类得分。
2019-12-23 cs.LG stat.ML
Merchandise Recommendation for Retail Events with Word Embedding Weighted Tf-idf and Dynamic Query Expansion
eBay Inc.(易趣公司)
为了推荐季节性零售活动的相关商品,我们依赖于从市场库存中检索的商品。通过反馈来扩大查询范围,我们讨论了利用词嵌入相似度来选择关键词扩展候选词,并提出了一种改进的tf-idf扩展词搜索排序公式。
2022-08-18 cs.IR cs.LG
Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings
Georgia Tech(佐治亚理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Boston University(波士顿大学)
将深度神经网络推广到新的目标域对其现实世界的效用至关重要。在实践中,它可能是可行的,以获得一些目标数据标记,但成本效益,它是可取的,选择一个最大的信息子集通过主动学习(AL)。我们研究了主动领域自适应(Active DA)领域转移下的人工智能问题。我们展示了现有的AL方法仅基于模型的不确定性或多样性采样是不太有效的主动DA。我们提出了聚类不确定性加权嵌入(CLUE),主动DA,执行不确定性加权聚类,以确定目标实例的标签是不确定的模型和不同的特征空间的一种新的标签采集策略。CLUE在图像分类的6个不同域移位的学习设置中始终优于Active DA和AL的竞争标签获取策略。
2021-10-10 cs.CV cs.LG
Asymmetrically Weighted CCA And Hierarchical Kernel Sentence Embedding For Image & Text Retrieval
IBM
语言和视觉的联合建模已经引起越来越多的关注。一个多模态数据表示允许双向检索图像的句子,反之亦然是一个关键方面。在本文中,我们提出了三个典型相关分析(CCA)的多模态检索的贡献。首先,我们表明,一个不对称的加权的规范权重,同时实现了从搜索到查询空间的跨视图映射,提高了检索性能。其次,我们设计了一个计算效率高的模型选择,至关重要的推广和稳定性,在Björk Golub算法的框架下,通过频谱滤波正则化CCA。最后,我们介绍了一个分层核句子嵌入(HKSE),近似核CCA的一个特殊的相似性内核之间的分布嵌入在一个向量空间的话。当这三种技术结合使用时,在MSCOCO和Flickr基准上获得了最先进的结果。
2016-12-05 cs.LG
Improving Heterogeneous Graph Learning with Weighted Mixed-Curvature Product Manifold
FPT Software(FPT软件公司);VinUniversity(Vin大学)
本文提出WEIGHTED-PM方法,通过自动加权乘积流形中各几何分量来学习异构图嵌入,以降低几何失真并提升词语相似度、推荐和知识图谱嵌入等下游任务性能。
2023-07-10 cs.AI cs.LG
DWAFM: Dynamic Weighted Graph Structure Embedding Integrated with Attention and Frequency-Domain MLPs for Traffic Forecasting
School of Mathematics and Statistics, Nanjing University of Information Science and Technology(南京信息工程大学数学与统计学院);Hubei Key Laboratory of Applied Mathematics, Hubei University(湖北应用数学重点实验室);Key Laboratory of System Control and Information Processing, Ministry of Education(教育部系统控制与信息处理重点实验室);Nanjing Institute of Technology(南京理工大学);Jiangsu Province Engineering Research Center of IntelliSense Technology and System(江苏省智能感知技术与系统工程研究中心)
DWAFM通过动态加权图结构嵌入与注意力和频域MLP结合,提升交通预测性能。
2026-03-01 cs.LG eess.SP
Automatic Audio Captioning using Attention weighted Event based Embeddings
TCS Research, Tata Consultancy Services Limited(塔塔咨询服务有限公司TCS研究院)
自动音频字幕(AAC)是指将音频翻译成描述音频事件、事件来源及其关系的自然语言的任务。目前AAC数据集的样本有限,已经形成了将迁移学习与音频事件检测(AED)结合作为父任务的趋势。朝着这个方向,在本文中,我们提出了一种编码器-解码器架构,具有用于AAC的轻量级(即具有较少的可学习参数)Bi-LSTM递归层,并比较了两种最先进的预训练AED模型作为嵌入提取器的性能。我们的研究结果表明,一个有效的AED为基础的嵌入提取器结合时间的注意力和增强技术是能够超越现有的文献与计算密集型架构。此外,我们还提供了证据,证明作为我们模型的一部分生成的非均匀注意力加权编码的能力,以便于解码器在生成每个令牌时浏览音频的特定部分。
2022-01-28 cs.LG cs.SD eess.AS
Beyond One Epoch: Uncertainty-Weighted Sensitivity Regularization for Recommendation Models
Meta Platforms, Inc.(Meta平台公司)
针对推荐模型一个轮次现象,提出不确定性加权敏感性正则化(UWSR),通过惩罚消费者依赖不确定嵌入来改善泛化,在三个基准上显著降低交叉熵并提升AUC。
2026-09-29 cs.LG
Privacy Preserving Adjacency Spectral Embedding on Stochastic Blockmodels
Intel Labs(英特尔研究院)
对于随机块模型生成的图,邻接谱嵌入是渐近一致的。此外,由普遍一致的分类器组成的邻接谱嵌入是普遍一致的,以实现贝叶斯错误。然而,当图包含私有或敏感信息时,将数据视为非私有可能潜在地泄露隐私并招致披露风险。本文提出了一种用于随机块模型的差分私有邻接谱嵌入算法。我们证明,我们提出的方法可以估计的潜在位置接近,在Frobenius范数,通过邻接谱嵌入的潜在位置,并在模拟和真实世界的网络中所需的隐私参数达到相当的精度。
2019-05-16 cs.CR cs.LG stat.ME
Weighted Point Set Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric
Sony AI(索尼人工智能);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Sony Group Corporation(索尼集团公司)
针对单点表示难以捕捉实例相似度结构的问题,提出加权点集嵌入方法,通过理论证明其能实现最优相似度并在下游分类任务中降低超额风险。
2025-03-03 cs.LG
HySim-LLM: Embedding-Weighted Fine-Tuning Bounds and Manifold Denoising for Domain-Adapted LLMs
DATA Consortium and FARAD Program, Kansas State University, Olathe, KS, USA(DATA Consortium和FARAD计划,堪萨斯州立大学);Department of Mathematics, Kansas State University, Olathe, KS, USA(数学系,堪萨斯州立大学);Department of Computer Science, Kansas State University, Manhattan, KS, USA(计算机科学系,堪萨斯州立大学);Department of Statistics, Kansas State University, Olathe, KS, USA(统计学系,堪萨斯州立大学)
针对LLM适应结构化生物医学数据时的异质性与噪声问题,HySim-LLM提出嵌入加权微调与流形去噪的统一框架,并给出理论界限,提升鲁棒性与可解释性。
2025-10-09 cs.IR cs.LG
Collaborative Filtering Through Weighted Similarities of User and Item Embeddings
Federal University of São Carlos(圣卡洛斯联邦大学)
本文提出一种融合用户-物品和物品-物品推荐的新型集成方法,通过加权相似性框架实现Top-N推荐,简化架构并提升效率,实验表明其在不同场景下表现稳健且易于实现。
2026-04-16 cs.IR cs.LG
Vertex Classification on Weighted Networks
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出了一种加权网络中顶点的判别方法。我们假设网络中的边权重和邻接是条件独立的,并且两个信息源都对类成员信息进行编码。特别地,我们在标准K-块随机块模型中引入边权重分布矩阵来对加权网络进行建模。这使我们能够开发简单而强大的扩展的分类技术,使用谱嵌入的未加权邻接矩阵。我们考虑两个假设的边缘权重分布,并提出在这两种设置的分类程序。我们通过将它们与变换后的加权网络的谱嵌入后的二次判别分析进行比较,展示了所提出的分类器的有效性。此外,我们讨论并显示如何执行的方法时,边缘权重不编码类成员信息。
2019-06-07 cs.LG cs.SI stat.ME
SWAG: Item Recommendations using Convolutions on Weighted Graphs
Target Corporation(塔吉特公司)
最近在用于图结构数据的深度神经网络方面的进展已经导致推荐系统基准测试的最新性能。在这项工作中,我们提出了一个图卷积网络(GCN)算法SWAG(样本权重和AGgregate),它结合了有效的随机游走和加权图上的图卷积生成嵌入的节点(项目),结合图结构以及节点的特征信息,如项目的描述和项目的图像。使我们能够有效地基于图结构生成节点嵌入的三个重要SWAG操作是:(a)将图采样为同构结构,(b)加权采样,行走和卷积操作,以及(c)使用AGgregation函数生成卷积。这项工作是一个适应graphSAGE加权图。我们在Target部署SWAG,并在一个包含超过50万条边的在线销售产品的图形上对其进行训练。离线和在线评估揭示了使用基于图的方法的好处,以及加权产生高质量嵌入和产品推荐的好处。
2019-11-22 cs.IR cs.LG stat.CO
A flexible PageRank-based graph embedding framework closely related to spectral eigenvector embeddings
Purdue University(普渡大学)
我们研究了一个简单的嵌入技术的基础上的一个矩阵的个性化PageRank向量播种在一组随机的节点。我们证明了这个矩阵的元素对数产生的嵌入(1)与一类图的谱嵌入相关,其中谱嵌入是重要的,因此可以对数据进行有用的表示,(2)可以对整个网络或其中的一小部分进行,这使得精确的局部表示成为可能,以及(3)与网络的大小相比,使用相对少量的PageRank向量。最重要的是,这种嵌入策略的一般性质开辟了许多新兴的应用程序,其中特征向量和频谱技术可能没有很好地建立,以PageRank为基础的亲戚。例如,类似的技术可以用在来自超图的PageRank向量上,以获得“类谱”嵌入。
2022-07-22 cs.LG cs.SI
Deep Spectral Clustering via Joint Spectral Embedding and Kmeans
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
针对谱聚类中嵌入与聚类分离及高维数据维度灾难问题,提出深度谱聚类(DSC),通过深度网络和幂迭代学习嵌入,并用贪心策略优化Kmeans,端到端联合训练,在七个数据集上达到最优性能。
2024-12-15 cs.CV cs.LG
Against Filter Bubbles: Diversified Music Recommendation via Weighted Hypergraph Embedding Learning
Business School, Sichuan University(四川大学商学院);School of Computer Science and Software Engineering, Southwest Petroleum University(西南石油大学计算机科学与工程学院);The Hong Kong Polytechnic University(香港理工大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
本文提出基于加权超图嵌入的多样化音乐推荐算法DWHRec,通过超图随机游走学习用户潜在偏好,在保持准确性的同时提升推荐多样性,并在两个真实数据集上验证其优于七种现有算法。
2024-02-26 cs.IR cs.LG
Root Laplacian Eigenmaps with their application in spectral embedding
根拉普拉斯算子或拉普拉斯算子的平方根可以在Gromov意义下的完备黎曼流形中得到,在图论中类似于图拉普拉斯算子的平方根。在几何深度学习(谱聚类)和图形信号处理中已经显示出一些潜在的应用。
2023-02-06 cs.LG math.DG
Enhancing Plagiarism Detection in Marathi with a Weighted Ensemble of TF-IDF and BERT Embeddings for Low-Resource Language Processing
COEP Technological University(COEP理工大学)
针对低资源马拉地语抄袭检测,本文提出结合 BERT 句子嵌入与 TF-IDF 特征的加权投票集成方法,以融合统计、语义和句法信息并提升检测准确率。
2025-01-09 cs.AI cs.CL cs.LG
Explainable Graph Spectral Clustering For GloVe-like Text Embeddings
Institute of Computer Science of Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文提出了一种针对GloVe-like文本嵌入的可解释图谱聚类方法,旨在提升文本聚类结果的可解释性。
2025-12-22 cs.AI cs.LG
LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive Learning
School of Informatics, Xiamen University, China(厦门大学信息学院);Pattern Recognition Center, WeChat AI, Tencent Inc, China(腾讯人工智能研究院);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室)
LLaVE通过基于难度加权的对比学习提升多模态嵌入模型性能,实现SOTA表现和强泛化能力。
2026-03-01 cs.AI cs.CL cs.CV