Empowering Small-Scale Knowledge Graphs: A Strategy of Leveraging General-Purpose Knowledge Graphs for Enriched Embeddings
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
本研究提出利用通用知识图谱增强小规模领域特定知识图谱嵌入的框架,实验显示Hits@10指标最高提升44%,可推动知识密集型任务中知识图谱的应用,降低机器学习方案的幻觉问题。
2024-05-17 cs.AI cs.CL cs.LG
AAANE: Attention-based Adversarial Autoencoder for Multi-scale Network Embedding
Hefei University of Technology(合肥工业大学);University of Technology Sydney(悉尼科技大学);Chinese Academy of Sciences(中国科学院);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
网络嵌入表示连续向量空间中的节点并保留来自网络的结构信息。现有方法在考虑多尺度结构信息时,如节点的一阶和二阶邻近度,通常采用“一刀切”的方法,忽略了不同尺度在嵌入学习中所起的不同作用。在本文中,我们提出了一个基于注意力的对抗性自动编码器网络嵌入(AAANE)框架,该框架促进了不同尺度的协作,并让它们投票选择鲁棒的表示。所提出的AAANE由两个部分组成:1)基于注意力的自动编码器有效地捕获高度非线性的网络结构,这可以在训练过程中去强调不相关的尺度。2)对抗正则化通过将潜在嵌入的后验分布与给定的先验分布相匹配来引导自动编码器学习鲁棒表示。这是首次尝试将注意力机制引入多尺度网络嵌入。在真实网络上的实验结果表明,我们学习的注意力参数是不同的每个网络和所提出的方法优于现有的国家的最先进的方法网络嵌入。
2018-03-24 cs.LG stat.ML
BrainStorm @ iREL at #SMM4H 2024: Leveraging Translation and Topical Embeddings for Annotation Detection in Tweets
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校)
针对LLM注释可靠性问题,本文利用推文主题信息提出新方法,区分LLM与人类专家在COVID-19症状检测中的注释,以增强数据可信度。
2024-07-21 cs.CL cs.SI
E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出E-Gen,一种基于e-graph的大规模数学表达式数据集生成方案,并利用等价生成与对比学习训练嵌入模型,在多个数学语言处理任务上超越先前方法和大语言模型。
2025-03-09 cs.CL cs.LG cs.SC
Pit One Against Many: Leveraging Attention-head Embeddings for Parameter-efficient Multi-head Attention
University of Sheffield(谢菲尔德大学)
针对多头注意力内存开销大的问题,提出仅用单个共享投影矩阵和每头嵌入的MHE注意力,在显著降低内存和参数的同时,保持高预测性能。
2023-10-11 cs.CL
Location Matters: Leveraging Multi-Resolution Geo-Embeddings for Housing Search
QuintoAndar
针对住房平台推荐中的数据稀疏与空间差异问题,提出融合多层H3网格的双塔地理感知嵌入框架,实验验证其嵌入质量更优,推荐效果较基线和单分辨率版本显著提升。
2025-09-01 cs.IR cs.LG
Leveraging Passage Embeddings for Efficient Listwise Reranking with Large Language Models
Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学);Jina AI(Jina AI公司)
本文提出PE-Rank方法,利用段落嵌入作为上下文压缩,通过特殊标记输入和动态解码约束,提升基于LLM的列表式重排序效率,同时保持排序效果。
2025-01-28 cs.CL cs.IR
MAPLE: Mobile App Prediction Leveraging Large Language Model Embeddings
University of New South Wales(新南威尔士大学);School of Computer Science and Engineering(计算机科学与工程学院)
针对移动应用预测中上下文数据异构与用户冷启动难题,提出融合大语言模型嵌入与已安装应用相似度的MAPLE模型,在两类真实数据集的标准及冷启动场景下均优于现有模型,可提升预测精度与用户体验。
2024-11-01 cs.AI cs.CL
Multi-hop Reasoning and Retrieval in Embedding Space: Leveraging Large Language Models with Knowledge
Wayne State University(韦恩州立大学)
本文提出EMBRAG框架,通过生成基于知识图谱的逻辑规则并在嵌入空间中推理,提升知识图谱问答任务的鲁棒性和准确性。
2026-02-25 cs.AI
Sentiment Analysis with Contextual Embeddings and Self-Attention
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Warsaw University of Technology(华沙理工大学)
在自然语言中,单词或短语的预期含义通常是隐含的,并取决于上下文。在这项工作中,我们提出了一个简单而有效的方法,情感分析使用上下文嵌入和自我注意力机制。三种语言的实验结果,包括形态丰富的波兰语和德语,表明我们的模型与最先进的模型相当,甚至优于最先进的模型。在所有情况下,利用上下文嵌入的模型的优越性得到证明。最后,这项工作的目的是作为一个步骤,引入一个通用的,多语言的情感分类。
2020-10-05 cs.AI cs.CL cs.LG
Text-ADBench: Text Anomaly Detection Benchmark Based on LLM Embeddings
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本研究构建了基于LLM嵌入的文本异常检测基准,通过多模型、多数据集的实验发现嵌入质量决定检测效果,深度学习方法在LLM嵌入下无性能优势,还提出了高效评估策略并开源工具包。
2026-08-25 cs.AI cs.CL cs.LG
Fusion Embedding: A Unified Embedding Space for Text, Image, Video, and Audio
Eximius Labs(卓越实验室);Wabash College(瓦贝什学院);Skop Intelligence Co.(斯科普智能公司)
研究旨在构建文本、图像、视频和音频统一嵌入空间。提出融合嵌入家族,第一代训练参数少的连接器,第二代添加模态门控深度适配器,无需成对视听数据实现音频-图像检索,探索设计空间并公开相关资源。
2026-07-22 cs.CL cs.SD
Leveraging MLLM Embeddings and Attribute Smoothing for Compositional Zero-Shot Learning
School of Computer Science and Technology, Beijing Jiaotong University(计算机科学与技术学院,北京交通大学);Qifu Technology(启福科技)
针对组合式零样本学习中属性-物体解耦、语义嵌入不足和已见组合过度自信问题,提出结合 MLLM 嵌入、特征自适应解耦与 LLM 属性平滑的框架,并在三个数据集上达到 SOTA。
2025-06-08 cs.AI cs.CV
Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts
Meta
本文研究了在仅有聚合反馈的情况下,如何通过动态表示进行系统提示的贝叶斯优化,提出了一种基于 elicitation 的嵌入方法 ReElicit,利用 LLM 构建可解释的特征空间,并通过概率高斯过程代理选择目标特征向量,最终实现系统提示的优化。
2026-05-18 cs.AI cs.LG
ERASMO: Leveraging Large Language Models for Enhanced Clustering Segmentation
Hub de Inteligência Artificial e Arquiteturas Cognitivas (H.IAAC)(人工智能与认知架构中心(H.IAAC));Artificial Intelligence Laboratory (Recod.ai)(人工智能实验室(Recod.ai));Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学计算机研究所(UNICAMP));Faculdade de Engenharia Mecânica, Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学机械工程学院(UNICAMP))
ERASMO通过将表格数据文本化并微调预训练语言模型,结合特征打乱与数字语言化生成高质量嵌入,从而提升多模态数据聚类精度。
2025-02-04 cs.AI cs.CL
VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval
VidVec通过利用预训练MLLM的中间层嵌入和校准头部,实现无需训练的视频-文本检索,超越现有方法,达到最佳性能。
2026-11-04 cs.AI cs.CV
REDAffectiveLM: Leveraging Affect Enriched Embedding and Transformer-based Neural Language Model for Readers' Emotion Detection
University of Calicut(卡利卡特大学)
本文提出REDAffectiveLM模型,结合Transformer上下文表示与情感增强Bi-LSTM+Attention,并在新数据集REN-20k等上验证其显著提升读者情绪检测性能。
2023-01-21 cs.CL
Leveraging Embedding Techniques in Multimodal Machine Learning for Mental Illness Assessment
Compumacy for Artificial Intelligence solutions(Compumacy人工智能解决方案公司);Saint Elizabeths Hospital(圣伊丽莎白医院)
本文研究多模态机器学习在精神疾病评估中的应用,通过结合文本、音频和视频数据,采用CNN-BiLSTM架构、话语级分块及决策级融合(含LLM预测),在抑郁症和PTSD检测中分别达到94.8%和96.2%的平衡准确率,显著提升了诊断的客观性和可扩展性。
2025-04-02 cs.AI cs.CV eess.AS
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon(俄勒冈大学);Baidu Research(百度研究院);Tsinghua University(清华大学)
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化知识的文本表示。与实体嵌入方法不同,我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务,就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录(EHRs)和医疗文本处理基准测试的实验表明,我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
Heterogeneous Relational Kernel Learning
Booz Allen Hamilton(博思艾伦咨询公司);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
最近的工作已经开发了贝叶斯方法,用于自动统计分析和描述单个时间序列以及同质的时间序列数据集。我们扩展了以前的工作,为异构时间序列创建一个可解释的内核嵌入。我们的方法增加了几乎没有计算成本相比,以前的结果,利用以前丢弃的中间结果。我们展示了我们的方法的实际效用,利用学习嵌入聚类,模式发现和异常检测。这些应用超出了先前的关系核学习方法的能力。
2019-08-24 cs.LG stat.ML
ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
本文提出统一框架ULLME和生成增强表示学习方法GRL,通过双向注意力与生成一致性约束提升大语言模型的文本嵌入性能,并发布多个预训练模型在基准上取得优异表现。
2024-08-06 cs.CL cs.IR
Leveraging a Joint of Phenotypic and Genetic Features on Cancer Patient Subgrouping
Mayo Clinic(梅奥诊所)
癌症每年在全世界造成数百万人死亡。虽然癌症医学已经取得了重大进展,但仍有许多问题有待解决,以改善癌症治疗。由于癌症患者具有已知的异质性遗传组成和表型差异,因此适当的癌症患者分层是选择适当治疗方案的先决条件。在这项研究中,基于从梅奥诊所电子健康记录(EHR)和癌症患者遗传检测报告中提取的深度表型特征,我们开发了一个利用表型和遗传特征联合进行癌症患者亚组的系统。工作流程大致分为三个部分:特征预处理、癌症患者分类和基于癌症患者聚类。在特征预处理步骤中,我们进行了过滤,保留了最相关的特征。在癌症患者分类中,我们利用联合分类特征来构建患者特征矩阵,并应用了九种不同的机器学习模型,随机森林(RF),决策树(DT),支持向量机(SVM),朴素贝叶斯(NB),逻辑回归(LR),多层感知器(MLP),梯度提升(GB),卷积神经网络(CNN)和前馈神经网络(FNN),用于分类目的。最后,在癌症患者聚类步骤中,我们利用联合嵌入特征和患者特征关联来构建无向特征图,然后训练癌症特征节点嵌入。
2021-03-30 cs.LG
Leveraging Static Models for Link Prediction in Temporal Knowledge Graphs
Utrecht University(乌得勒支大学)
在知识图谱嵌入(KGE)中包含事实的时间范围为改进所得到的嵌入提供了重要的机会,并且因此为下游应用中的提高的性能提供了重要的机会。然而,很少有研究工作集中在这一领域,许多研究报告显示,与没有时间范围训练的模型(静态模型)相比,结果只略有改善。此外,而不是利用现有的静态模型的工作,他们介绍了特定的时间知识图谱的新模型。我们提出了一个新的视角,利用现有的静态嵌入模型的力量,集中精力操纵数据,而不是。我们的方法SpiMe从信号处理领域和图嵌入的早期工作中汲取灵感。我们表明,SpliMe竞争或优于目前的最先进的时间KGE。此外,我们发现目前用于评估静态模型在时间图上的性能的过程中存在的问题,并介绍了两种方法来抵消它们。
2021-06-29 cs.AI cs.CL cs.LG
Leveraging Non-linear Dimension Reduction and Random Walk Co-occurrence for Node Embedding
Department of Mathematics, Toronto Metropolitan University(数学系,多伦多 Metropolitan 大学)
本文提出COVE,一种基于非线性降维和随机游走共现的高维节点嵌入方法,通过UMAP降维在聚类和链接预测任务中表现优异,与Louvain算法性能相当。
2026-02-27 cs.LG cs.SI
Leveraging Speaker Embeddings with Adversarial Multi-task Learning for Age Group Classification
LG Uplus Corp.(LG Uplus公司);LG AI Research(LG人工智能研究院)
最近,研究人员在说话人识别任务中利用基于神经网络的说话人嵌入技术来准确地识别说话人。然而,说话人区分嵌入并不总是代表语音特征,如年龄组。在经过高度训练以捕获说话人特征的嵌入模型中,年龄组分类的任务更接近于语音信息泄漏。因此,为了提高年龄组分类性能,我们考虑使用来自对抗性多任务学习的说话者区分嵌入来对齐特征并减少年龄子组中的域差异。此外,我们研究了不同类型的说话人嵌入,以学习和推广年龄组的域不变表示。在VoxCeleb Enrichment数据集上的实验结果验证了我们提出的自适应对抗网络在多目标场景中的有效性,并利用扬声器嵌入进行域适应任务。
2023-01-22 cs.LG eess.AS
VISU at WASSA 2023 Shared Task: Detecting Emotions in Reaction to News Stories Leveraging BERT and Stacked Embeddings
University of Cagliari(卡利亚里大学);Halmstad University(哈尔姆斯塔德大学);Liverpool John Moores University(利物浦约翰摩尔斯大学)
VISU 系统在 WASSA 2023 共享任务中,通过结合词嵌入表示与定制预处理策略,利用 BiLSTM 和 Transformer 模型进行情绪检测,在小型和失衡数据集上取得了 0.2717 的宏观 F1 分数,排名第十。
2023-07-27 cs.AI cs.CL cs.LG
Leveraging Manifold Embeddings for Enhanced Graph Transformer Representations and Learning
针对图变换器单一欧氏空间嵌入的局限,提出黎曼混合专家层路由节点至多种流形,集成后提升节点分类准确率至多3%,并增强可解释性。
2025-07-09 cs.AI cs.LG
PathE: Leveraging Entity-Agnostic Paths for Parameter-Efficient Knowledge Graph Embeddings
King’s College London(伦敦国王学院);University of Liverpool(利物浦大学)
PathE模型通过仅为关系分配嵌入表并利用实体-关系路径计算实体嵌入,解决了大规模知识图谱嵌入的计算可扩展性问题,在减少参数的同时保持了竞争性能。
2025-01-31 cs.AI cs.LG
Leveraging Semantics for Incremental Learning in Multi-Relational Embeddings
Institute for Robotics and Intelligent Machines(机器人与智能机器研究所);Georgia Institute of Technology(佐治亚理工学院)
服务机器人受益于以语义上有意义的方式编码信息,以实现更强大的任务执行。先前的工作已经表明,多关系嵌入可以编码语义知识图谱,以促进可推广性和可扩展性,但仅限于批量学习范式。我们提出了增量语义学习(ISI),一种增量学习方法,使新的语义概念被初始化的嵌入在以前学到的嵌入语义相似的概念。我们在AI 2 Thor和MatterPort 3D数据集上评估ISI;我们的实验表明,平均ISI将即时查询性能提高了41.4%。此外,ISI方法平均将接近模型收敛所需的时期数减少了78.2%。
2019-07-08 cs.LG stat.ML
Leveraging OpenFlamingo for Multimodal Embedding Analysis of C2C Car Parts Data
Baylor University(贝勒大学)
本研究利用OpenFlamingo模型提取超120万条C2C汽车配件帖子的多模态嵌入,经k-means聚类发现多数聚类存在模式,验证了该模型的大规模数据模式挖掘能力,同时指出需根据数据集调整模型架构。
2025-03-20 cs.AI cs.LG
Leveraging Complementary Embeddings for Replay Selection in Continual Learning with Small Buffers
本文提出MERS方法,通过结合监督和自监督嵌入的图方法改进重放缓冲区选择,提升持续学习性能,尤其在低内存环境下表现优异。
2026-09-17 cs.LG
Leveraging Knowledge Graph Embeddings to Enhance Contextual Representations for Relation Extraction
Opscidia(Opscidia公司)
该研究针对现有关系抽取方法依赖外部知识或大规模预训练模型的问题,提出将语料级预训练知识图谱嵌入融入句子级上下文表示的方法,在不引入外部知识的前提下提升了关系抽取性能。
2023-06-07 cs.CL cs.LG
Leveraging Compact Satellite Embeddings and Graph Neural Networks for Large-Scale Poverty Mapping
Chalmers University of Technology(查尔姆斯理工大学);Linköping University(林奈大学)
针对全球南方贫困地图稀缺及DHS调查坐标偏移问题,提出基于AlphaEarth卫星嵌入的图神经网络方法,通过建模空间关系和模糊标签损失,有效提升了撒哈拉以南非洲地区财富指数预测的泛化能力与准确率。
2025-11-03 cs.LG
Leveraging Whisper Embeddings for Audio-based Lyrics Matching
DISI, University of Bologna(博洛尼亚大学DISI);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
本文提出WEALY,利用Whisper嵌入实现基于音频的歌词匹配,通过可重复的流程和多模态扩展,展示了与最先进方法相当的性能,并为音乐信息检索提供了可靠基准。
2026-02-05 cs.AI cs.LG cs.SD
Leveraging Acoustic Cues and Paralinguistic Embeddings to Detect Expression from Voice
Apple(苹果公司)
每天都有数百万人接触Siri等数字助理,询问信息,拨打电话,寻求帮助等等。期望是这样的助手应该理解用户查询的意图。从一个简短的、孤立的话语中检测查询的意图是一项困难的任务。意图不能总是从语音识别的transmitting中获得。转录驱动的方法可以解释已经说了什么,但不能承认它是如何说的,因此,可能会忽略语音中存在的表达。我们的工作调查系统是否可以可靠地检测使用声学和非语言嵌入查询的声音表达。结果表明,所提出的方法提供了一个相对相等的出错率(EER)降低60%相比,一袋字为基础的系统,证实表达是显着表示的声乐属性,而不是纯粹的词汇。相对于声学嵌入,添加情感嵌入有助于将EER降低30%,这表明情感在表达性语音中的相关性。
2019-06-28 cs.CL cs.LG cs.SD
Leveraging Distributional Semantics for Multi-Label Learning
IIT Kanpur(印度理工学院坎普尔分校);Microsoft Research(微软研究院)
我们提出了一种新的和可扩展的标签嵌入框架,用于大规模的多标签学习a. k. aExMLDS(使用分布式语义的极端多标签学习)。我们的方法从分布式语义中汲取灵感,特别是跳过革兰氏阴性采样(SGNS)方法,广泛用于学习自然语言处理任务的词嵌入。学习这样的嵌入可以简化为某种矩阵分解。我们的方法是新颖的,因为它突出了用于多标签学习的标签嵌入方法和通常用于学习文本数据表示的段落/文档嵌入方法之间的有趣联系。该框架也可以很容易地扩展到包含辅助信息,如标签-标签相关性;这是至关重要的,特别是当训练数据中有很多缺失的标签时。我们通过在各种基准数据集上进行的大量实验证明了我们方法的有效性,并表明与几种基线和最先进的大规模多标签学习方法相比,所提出的学习方法表现良好。为了促进端到端的学习,我们开发了一个联合学习算法,可以学习嵌入以及回归模型,预测这些嵌入给定的输入功能,通过有效的基于梯度的方法。
2017-11-10 cs.AI cs.LG
Leveraging Sequence Embedding and Convolutional Neural Network for Protein Function Prediction
National Tsing Hua University(台湾清华大学)
准确预测蛋白质功能和性质的能力在生物技术产业中是必不可少的,例如药物开发和人工蛋白质合成等。蛋白质功能预测的主要挑战是大的标签空间和缺乏标记的训练数据。我们的方法利用无监督序列嵌入和深度卷积神经网络的成功来克服这些挑战。相比之下,大多数现有的方法删除罕见的蛋白质功能,以减少标签空间。此外,一些现有的方法需要额外的生物信息(例如,蛋白质的三维结构),这在生物化学实验中难以确定。我们提出的方法显着优于其他方法的公开可用的基准只使用蛋白质序列作为输入。这使得识别蛋白质功能的过程得以加速。
2021-12-01 cs.AI cs.LG q-bio.BM
Leveraging LLM Embeddings for Cross Dataset Label Alignment and Zero Shot Music Emotion Prediction
Singapore University of Technology and Design(新加坡科技设计大学)
本研究提出一种利用LLM嵌入实现跨数据集标签对齐的音乐情感识别方法,通过非参数聚类对齐多数据集标签、引入对齐正则化提升模型适配性,实现无需额外训练的零样本音乐情感预测。
2024-10-17 cs.LG cs.MM cs.SD
Geometry-Aware Backdoor Attacks: Leveraging Curvature in Hyperbolic Embeddings
本研究揭示非欧几里得模型在双曲空间边界存在几何特异性后门漏洞,提出几何自适应触发器,实验验证攻击成功率随边界增加而传统检测器减弱。
2025-10-07 cs.AI cs.LG
On Leveraging Variational Graph Embeddings for Open World Compositional Zero-Shot Learning
Technische Universität München(慕尼黑工业大学);Mercateo AG(Mercateo股份公司)
人类能够识别和分类已知概念的新组合。组合零镜头学习(Compositional Zero-Shot learning,CNOML)的任务是学习原始概念(即对象和状态)的组合,即使是它们的新组合也可以被zero-shot分类。在这项工作中,我们不假设任何先验知识的可行性,即开放世界的设置,其中不可行的组合物占主导地位的搜索空间的新组合物。我们提出了一种组合变分图自动编码器(CVGAE)的方法来学习原始概念(节点)的变分嵌入以及它们的组合(通过边缘)的可行性。这样的建模使得CVGAE可扩展到现实世界的应用场景。这与SOTA方法CGE相反,SOTA方法CGE在计算上非常昂贵。例如,对于基准C-GQA数据集,CGE需要3.94 x 10^5个节点,而CVGAE只需要1323个节点。我们学习将图和图像嵌入映射到公共嵌入空间。CVGAE采用深度度量学习方法,并通过投影图和图像嵌入之间的双向对比损失来学习该空间中的相似性度量。我们在三个基准数据集上验证了该方法的有效性,并通过一个图像检索任务证明了CVGAE学习的表示更适合于组合泛化。
2022-04-23 cs.AI cs.CV cs.IR
Leveraging Semantic Embeddings for Safety-Critical Applications
fortiss GmbH(fortiss有限公司);Technical University of Munich(慕尼黑工业大学)
语义嵌入是zero-shot学习领域中一种流行的知识表示方法。我们观察他们的可解释性,并讨论他们的潜在效用在安全关键的上下文中。具体地说,我们建议使用它们来增加自省和错误检测能力的神经网络分类。首先,我们展示了如何从符号领域知识中创建嵌入。我们讨论了如何使用它们来解释错误预测,并提出了一个简单的错误检测方案。然后,我们引入了语义距离的概念:一个真实值的分数,衡量语义空间的信心。我们在一个交通标志分类器上评估了这个分数,发现它达到了接近最先进的性能,同时比其他置信度分数的计算速度要快得多。我们的方法不需要改变原来的网络,因此适用于任何任务的领域知识。
2019-05-19 cs.CV cs.LG stat.ML
Leveraging Duration Pseudo-Embeddings in Multilevel LSTM and GCN Hypermodels for Outcome-Oriented PPM
College of Computing and Mathematical Sciences(计算与数学学院);Center for Cyber-Physical Systems(网络物理系统中心);Khalifa University(卡利法大学);Computer Science Department(计算机科学系);University of Milan(米兰大学)
本文提出利用持续伪嵌入改进多级LSTM和GCN超模型,以提升面向结果的PPM任务的泛化能力、模型复杂度和可解释性。
2025-11-24 cs.LG
Leveraging Pre-trained and Transformer-derived Embeddings from EHRs to Characterize Heterogeneity Across Alzheimer's Disease and Related Dementias
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本研究利用EHR中的预训练医疗代码嵌入和Clinical BERT文本嵌入进行无监督学习,识别阿尔茨海默病及相关痴呆患者中基于共病和文本特征的临床亚群,揭示疾病异质性。
2024-03-30 cs.LG
Leveraging Cross Feedback of User and Item Embeddings with Attention for Variational Autoencoder based Collaborative Filtering
CNPIEC KEXIN LTD(中国图书进出口(集团)总公司科信有限公司);Monash University(莫纳什大学);Deakin University(迪肯大学)
矩阵分解在协同过滤推荐系统中得到了广泛的应用。它的贝叶斯变体可以推导出用户和项目嵌入的后验分布,并且对稀疏评级更具鲁棒性。然而,由于先验和似然的共轭性,贝叶斯方法受到其后验参数更新规则的限制。变分自编码器(VAE)可以通过捕获后验参数和数据之间的复杂映射来解决这个问题。然而,目前的研究VAE的协同过滤只考虑基于显式数据信息的映射,而隐式嵌入信息被忽略。在本文中,我们首先推导出证据下界(ELBO)贝叶斯MF模型从两个角度:面向用户和面向项目。基于ELBO,我们提出了一个基于VAE的贝叶斯MF框架。它不仅利用数据,而且还利用嵌入信息来近似用户-项目联合分布。正如ELBO所建议的,近似是迭代的,用户和项目嵌入到彼此的编码器中的交叉反馈。更具体地,在前一次迭代中采样的用户嵌入被馈送到项目侧编码器,以估计当前迭代中项目嵌入的后验参数,反之亦然。该估计还涉及交叉馈送嵌入,以进一步利用有用的信息。然后,解码器通过对当前重新采样的用户和项目嵌入进行矩阵分解来重构数据。
2022-08-22 cs.LG stat.ML
Leveraging Subword Embeddings for Multinational Address Parsing
Laval University(拉瓦尔大学)
地址解析包括标识组成地址的段,如街道名称或邮政编码。由于地址解析对于像记录链接这样的任务的重要性,已经有许多技术来处理它。神经网络方法为地址解析定义了一种新的最先进的方法。虽然这种方法取得了显着的成果,以前的工作只集中在应用神经网络,以实现从一个来源国的地址解析的地址。我们提出了一种方法,在该方法中,我们采用子字嵌入和递归神经网络架构,以建立一个单一的模型,能够学习解析来自多个国家的地址在同一时间,同时考虑到语言和地址格式系统的差异。我们在用于培训的国家实现了约99%的准确率,无需预处理或后处理。我们探讨的可能性,通过培训获得的地址解析知识的一些国家的地址转移到其他没有进一步的培训,在zero-shot迁移学习设置。我们在80%的国家(41个国家中的33个国家)取得了良好的成绩,其中近50%(41个国家中的20个国家)的性能接近最先进水平。此外,我们提出了一个开源的Python实现我们的训练模型。
2021-05-02 cs.CL cs.LG
CTA-RNN: Channel and Temporal-wise Attention RNN Leveraging Pre-trained ASR Embeddings for Speech Emotion Recognition
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
先前的研究已经探讨了通过利用语音的声学和语言线索来提高语音情感识别(SER)的方法。然而,国家的最先进的ASR模型和SER任务之间的潜在关联还有待调查。在本文中,我们提出了一种新的通道和时间上的注意力RNN(CTA-RNN)架构的基础上,预训练的ASR模型的中间表示。具体来说,大规模预训练的端到端ASR编码器的嵌入包含声学和语言信息,以及概括到不同说话者的能力,使它们非常适合下游SER任务。为了进一步利用ASR编码器不同层的嵌入,我们提出了一种新的CTA-RNN架构来捕获信道和时间方向上嵌入的情感突出部分。我们评估我们的方法在两个流行的基准数据集,IEMOCAP和MSP-IMPROV,使用内语料库和跨语料库设置。实验结果表明,我们提出的方法可以实现良好的性能,在准确性和鲁棒性。
2022-03-31 cs.LG cs.SD eess.AS
BioMamba: Leveraging Spectro-Temporal Embedding in Bidirectional Mamba for Enhanced Biosignal Classification
Fudan University(复旦大学)
BioMamba通过结合频谱-时间嵌入、双向Mamba和稀疏前馈层,有效提升了生物信号分类的性能、效率和通用性。
2025-03-25 cs.AI cs.LG
Leveraging Scene Embeddings for Gradient-Based Motion Planning in Latent Space
Applied AI Lab (A2I)(应用人工智能实验室(A2I));Dynamic Robot Systems (DRS)(动态机器人系统实验室(DRS));Oxford Robotics Institute (ORI)(牛津机器人研究所(ORI));University of Oxford(牛津大学)
运动规划框架优化结构化的潜在空间,最近出现的竞争力与传统的方法在规划的成功,而显着优于他们的计算速度。然而,现实世界的适用性,最近的工作在这一领域仍然是有限的,需要直接在状态空间中表示的障碍物信息,涉及简单的几何图元。在这项工作中,我们通过利用学习的场景嵌入与机器人操纵器的生成模型来驱动优化过程来解决这一挑战。此外,我们还引入了一种有效的碰撞检查方法,该方法直接规范规划所进行的优化。使用模拟和真实世界的实验,我们证明了我们的方法,AMP-LS,能够成功地规划在新的,复杂的场景,同时优于传统的规划基线的计算速度的数量级。我们表明,由此产生的系统是足够快,使闭环规划在现实世界中的动态场景。
2023-03-06 cs.CV cs.LG cs.RO
DashCLIP: Leveraging multimodal models for generating semantic embeddings for DoorDash
DoorDash, Inc.(DoorDash公司)
本文提出DashCLIP联合训练框架,通过对比学习对齐单模态与多模态编码器,并利用LLM整理的数据集训练查询编码器,为DoorDash生成高质量语义嵌入,显著提升产品分类、相关性预测及广告点击率与转化率。
2025-11-06 cs.IR cs.LG
ARC: Leveraging Compositional Representations for Cross-Problem Learning on VRPs
LG AI Research(LG人工智能研究院)
ARC通过组合学习方法,解耦属性表示以提升VRPs跨问题学习的泛化能力,实现多场景下的高效适应与性能优化。
2025-12-21 cs.AI cs.LG
Leveraging an Efficient and Semantic Location Embedding to Seek New Ports of Bike Share Services
Santa Clara University(圣克拉拉大学);DOCOMO Innovations Inc.(都科摩创新公司);Columbia University(哥伦比亚大学)
对于在拥挤的城市地区进行短距离旅行,自行车共享服务由于其灵活性和便利性而变得越来越受欢迎。要扩大服务覆盖面,关键任务之一是寻找新的服务端口,这就需要深入了解现有服务端口的底层特性。在本文中,我们提出了一个新的模型,命名为高效和语义位置嵌入(ESLE),它携带的地理空间和语义信息的地理位置。为了生成ESLE,我们首先通过馈送静态地图瓦片图像来用深度卷积神经网络(CNN)训练多标签模型,然后从模型中提取位置嵌入向量。与最近的相关文献相比,ESLE不仅在计算上便宜得多,而且更容易通过系统的语义分析来解释。最后,我们应用ESLE为NTT DOCOMO在日本运营的自行车共享服务寻找新的服务端口。初步结果表明,ESLE的有效性,并提供了一些见解,可能难以发现使用传统的方法。
2020-11-06 cs.CY cs.LG
ATTACK2VEC: Leveraging Temporal Word Embeddings to Understand the Evolution of Cyberattacks
Symantec Research Labs(赛门铁克研究实验室);Boston University(波士顿大学)
尽管网络攻击的复杂性不断增加,但研究界仍然缺乏有效的工具来轻松监控和理解它们。特别地,需要这样的技术,其不仅能够跟踪某些恶意动作(诸如对特定漏洞的利用)在野外被利用的突出程度,而且(并且更重要的是)这些恶意动作如何作为更复杂的网络攻击中的攻击步骤而被考虑。在本文中,我们提出了ATTACK2VEC,一个系统,使用时间词嵌入来模拟攻击步骤是如何利用在野外,并跟踪它们如何演变。我们在两年时间内从商业入侵防御系统的客户收集的数十亿安全事件的数据集上测试ATTACK2VEC,并表明我们的方法在监控新攻击策略的出现以及标记攻击者经常一起使用的攻击步骤(例如,经常被一起利用的漏洞)。ATTACK2VEC为研究人员和从业人员提供了一个有用的工具,可以更好地了解网络攻击及其演变,并利用这些知识来提高态势感知和开发主动防御。
2019-05-29 cs.CR cs.LG
Leveraging speaker attribute information using multi task learning for speaker verification and diarization
University of Edinburgh(爱丁堡大学)
深度说话人嵌入已经成为说话人识别任务中编码说话人身份的主要方法。理想情况下,嵌入空间应该捕获所有可能的扬声器之间的变化,对构成扬声器身份的多个声学方面进行编码,同时对非扬声器声学变化具有鲁棒性。深度说话人嵌入通常是有区别地训练的,在训练数据上预测说话人身份标签。我们假设,另外预测与说话者相关的辅助变量--如年龄和国籍--可能会产生更好地概括看不见的说话者的表示。我们提出了一个框架,利用辅助标签信息,即使它只适用于语音语料库不匹配的目标应用程序。在美国最高法院录音的测试集上,我们表明,通过利用分别来自匹配的训练数据和VoxCeleb语料库的两种额外形式的扬声器属性信息,我们提高了我们的深度扬声器嵌入的性能,用于验证和日志化任务,与仅使用扬声器标签的基线相比,DER和EER分别提高了26.2%和6.7%。尽管辅助标签已经从卷材上刮下并且潜在地有噪声,但是仍然获得了这种改进。
2021-04-23 cs.LG cs.SD eess.AS
Accelerating Recommendation System Training by Leveraging Popular Choices
University of British Columbia(不列颠哥伦比亚大学);Microsoft(微软公司)
针对推荐模型训练中嵌入表访问高度倾斜的问题,提出FAE框架,采用热嵌入感知数据布局,利用GPU内存存储高频嵌入并加速执行,在保持准确率下训练时间分别减少2.3倍和1.52倍。
2021-09-28 cs.AI cs.AR cs.IR