Dialogue history integration into end-to-end signal-to-concept spoken language understanding systems
INSA Rennes(雷恩国立应用科学学院);IRISA(法国国家信息与自动化研究所雷恩分所);McGill University(麦吉尔大学)
本文研究了口语语言理解系统中用于表示对话历史的嵌入方法。我们专注于当语义信息直接从语音信号中提取通过一个单一的端到端的神经网络模型的情况。我们建议将对话历史集成到端到端的信号到概念SLU系统中。对话历史以对话历史嵌入向量(所谓的h向量)的形式表示,并且作为附加信息提供给端到端SLU模型,以便提高系统性能。本文提出了以下三种类型的h向量,并进行了实验评估:(1)监督所有嵌入,预测用户从最后一个对话系统响应的答案中预期的概念袋;(2)监督频率嵌入,专注于预测仅选定的一组语义概念(对应于我们实验中最常见的错误);以及(3)无监督嵌入。在MEDIA语料库上进行的语义槽填充实验表明,所提出的h向量提高了模型的性能。
2020-02-14 cs.CL cs.SD eess.AS
Ontology-based n-ball Concept Embeddings Informing Few-shot Image Classification
The University of Manchester(曼彻斯特大学)
我们提出了一种新的框架ViOCE集成本体为基础的背景知识的形式$n$球概念嵌入到一个神经网络为基础的视觉架构。该方法由两个部分组成-通过学习捕获包容性和不相交性的n球嵌入将本体的符号知识转换为连续空间,并使用学习的嵌入指导视觉模型的训练和推理。我们使用Few-Shot图像分类任务评估ViOCE,其中它在两个标准基准测试中表现出卓越的性能。
2021-09-19 cs.AI cs.CV cs.LG
Review of compressed embedding layers and their applications for recommender systems
本文综述了可训练的压缩嵌入层文献,探讨其在压缩巨型神经推荐系统中的适用性,并报告了作者使用自有压缩嵌入层测量的实验结果。
2023-11-22 cs.LG
Finding Interpretable Concept Spaces in Node Embeddings using Knowledge Bases
L3S Research Center(L3S研究中心)
在本文中,我们提出并研究了通过在已经训练的无监督节点表示嵌入中找到嵌入式人类可解释的子空间来解释节点嵌入的新问题。我们使用一个外部知识库,该知识库被组织为人类可理解的概念的分类实体作为指导,以确定从维基百科派生的实体图中学习到的节点嵌入中的子空间。我们提出了一种方法,给定一个概念,找到一个线性变换的子空间的结构的概念被保留。我们的初步实验表明,我们在寻找细粒度的概念获得低错误。
2019-10-11 cs.LG stat.ML
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
University of Pennsylvania(宾夕法尼亚大学)
本文提出HCEP框架,通过在潜在空间中诱导概念嵌入的层次结构,利用层次稀疏编码恢复图像中的概念,提升分类可解释性与精度。
2026-03-30 cs.CV cs.LG
A Review of Different Word Embeddings for Sentiment Classification using Deep Learning
Kalinga Institute of Industrial Technology(卡林加工业技术学院)
网络上充满了文本内容,而自然语言处理是机器学习中最重要的领域之一。但是当数据量很大时,简单的机器学习算法无法处理它,这就是基于神经网络的深度学习发挥作用的时候。然而,由于神经网络不能处理原始文本,我们必须通过一些不同的词嵌入策略来改变它们。本文演示了在Amazon Review Dataset上实现的这些独特的词嵌入策略,该数据集具有两种可分类的情感:基于大量客户评论的快乐和不快乐。此外,我们证明了区别的准确性与话语的词嵌入适用时。
2018-07-05 cs.CL cs.IR cs.LG
Concept Embedding for Information Retrieval
GESIS - Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所(GESIS));Cologne(科隆)
概念用于解决术语不匹配问题。然而,我们需要一个有效的概念之间的相似性度量。词嵌入提供了一个很有前途的解决方案。在这项研究中,我们提出了三种方法来建立概念向量的基础上的词向量。我们使用基于向量的措施来估计概念间的相似性。我们的实验显示了有希望的结果。此外,词语和概念变得可比较。这可用于改进概念索引编制过程。
2020-02-01 cs.AI cs.CL cs.IR
Knowledge Fusion via Embeddings from Text, Knowledge Graphs, and Images
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
我们提出了一个跨模态知识融合的基线方法。不同的基本融合方法进行评估现有的嵌入方法,以显示潜在的加入知识的某些概念跨模态融合的概念表示。
2017-04-20 cs.AI cs.LG stat.ML
Understanding Visual Concepts Across Models
Carnegie Mellon University(卡内基梅隆大学);University Of Chicago Laboratory Schools(芝加哥大学实验学校);MPG Ranch(MPG牧场)
本文分析文本到图像生成、开放集检测和零样本分类模型,发现视觉概念的软提示词嵌入是模型特有的 ε-球扰动解,无法跨模型迁移。
2024-06-11 cs.AI cs.CV cs.LG
How can embedding models bind concepts?
本文研究视觉-语言嵌入模型(如CLIP)在概念绑定上的局限性,发现场景嵌入可加性分解为对象表示,但CLIP的高复杂度绑定函数阻碍了泛化,而通过充分数据训练的Transformer模型能学习低复杂度乘法交互绑定函数实现系统泛化。
2026-05-29 cs.CV cs.LG
FCA2VEC: Embedding Techniques for Formal Concept Analysis
University of Kassel(卡塞尔大学);L3S Research Center, Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心)
本文提出fca2vec嵌入技术家族,将形式概念分析应用于大规模数据,并改进低维node2vec,在保持可解释性的同时实现概念格覆盖关系的检索。
2019-11-26 cs.AI cs.LG stat.ML
Snomed2Vec: Random Walk and Poincaré Embeddings of a Clinical Knowledge Base for Healthcare Analytics
Pacific Northwest National Laboratory(西北太平洋国家实验室);Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
变换编码数据的表示学习方法(例如,诊断和药物代码)到连续向量空间(即,向量嵌入)对于深度学习在医疗保健中的应用至关重要。这一领域的初步工作探索了使用word 2 vec算法的变体来从电子健康记录或医疗索赔数据集中学习医疗概念的嵌入。我们提出了学习嵌入的医学概念,通过使用基于图的表示学习方法SNOMED-CT,一个广泛流行的知识图谱在医疗领域的众多业务和研究应用。目前的工作提出了一种经验分析的各种嵌入方法,包括其性能的生物医学相关性(节点分类,链接预测,和患者状态预测)的多个任务的评估。我们的研究结果表明,从SNOMED-CT知识图谱中获得的概念嵌入显著优于最先进的嵌入,在"概念相似性”方面提高了5- 6倍,在患者诊断方面提高了6- 20%。
2019-07-19 cs.AI cs.LG stat.ML
On the Learnability of Concepts: With Applications to Comparing Word Embedding Algorithms
University of Bristol(布里斯托尔大学)
词嵌入在多个自然语言处理(NLP)应用中被广泛使用。它们是与字典中的每个单词相关联的坐标,从大型语料库中这些单词的统计特性推断出来。在本文中,我们介绍了“概念”的概念,作为一个列表的话,共享语义内容。我们使用这个概念来分析某些概念的可学习性,定义为分类器在训练一个概念的随机子集后识别概念中不可见成员的能力。我们首先使用这种方法来测量预训练词嵌入上概念的可学习性。然后,我们开发了一个统计分析的概念的可学习性,假设检验和ROC曲线的基础上,为了比较使用一个固定的语料库和超参数的各种嵌入算法的相对优点。我们发现,所有的嵌入方法捕捉这些单词列表的语义内容,但fastText的表现优于其他。
2020-06-17 cs.AI cs.CL cs.LG
Quantifying Structure in CLIP Embeddings: A Statistical Framework for Concept Interpretation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对现有基于概念的CLIP嵌入解释方法缺乏统计严谨性的问题,提出量化嵌入空间旋转敏感结构的假设检验框架与事后概念分解方法,兼具理论保证与更优重构效果,可缓解数据虚假线索,提升最差组准确率。
2025-06-16 cs.AI cs.LG
Automatic Concept Embedding Model (ACEM): No train-time concepts, No issue!
University of Cambridge(剑桥大学)
针对概念嵌入模型(CEM)需要大量概念标注训练数据导致成本高昂的问题,提出自动概念嵌入模型(ACEM),通过自动学习概念标注来克服可解释性与性能的权衡。
2023-09-07 cs.LG
Interpreting Embedding Spaces by Conceptualization
Technion – Israel Institute of Technology(以色列理工学院)
针对大语言模型生成的嵌入空间人类难以理解的问题,提出将潜在嵌入空间转换为可理解概念空间的方法,设计动态按需粒度生成算法与新评估方式,可用于模型语义对比、LLM层追踪等任务。
2023-11-09 cs.AI cs.CL cs.LG
VICE: Variational Interpretable Concept Embeddings
Technische Universität Berlin(柏林工业大学);Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);National Institute of Mental Health(国家精神卫生研究所);Naval Postgraduate School(海军研究生院)
认知科学的一个中心目标是发展对象概念的心理表征的数字模型。本文介绍了变分可解释的概念嵌入(VICE),一个近似贝叶斯方法嵌入对象的概念在向量空间中使用的数据收集从人类在一个三重奇一出任务。VICE使用变分推理来获得对象概念的稀疏非负表示,并对嵌入值进行不确定性估计。这些估计值用于自动选择最能解释数据的维度。我们推导出一个PAC学习界的VICE,可用于估计泛化性能或确定足够的样本量的实验设计。VICE在预测人类行为的三重一出任务中,可以与它的前身SPoSE相媲美或优于它。此外,VICE的对象表示在随机初始化中更具可重复性和一致性,突出了使用VICE从人类行为中获得可解释嵌入的独特优势。
2022-10-06 cs.LG stat.AP stat.ML
Concept Embedding Models: Beyond the Accuracy-Explainability Trade-Off
University of Cambridge(剑桥大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);KU Leuven(鲁汶大学);University of Siena(锡耶纳大学);Babylon Health(巴比伦健康公司);Alan Turing Institute(艾伦·图灵研究所)
本文提出Concept Embedding Models,通过学习可解释的高维概念表示,在任务准确性、概念解释和测试时干预之间突破传统权衡。
2022-12-05 cs.AI cs.LG
Concept Tokens: Learning Behavioral Embeddings Through Concept Definitions
Instituto de Computación, Facultad de Ingeniería, Universidad de la República(共和国大学工程学院计算研究所)
Concept Tokens通过概念定义学习行为嵌入,能有效控制冻结语言模型的行为,减少幻觉并提升合规性。
2026-01-08 cs.AI cs.CL cs.LG
Kernel Mean Embedding of Distributions: A Review and Beyond
Mahidol University(玛希隆大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Institute of Statistical Mathematics(统计数学研究所);Pennsylvania State University(宾夕法尼亚州立大学)
分布的希尔伯特空间嵌入--简而言之,核均值嵌入--最近已经成为机器学习和推理的强大工具。这个框架背后的基本思想是将分布映射到一个再生核希尔伯特空间(RKHS),其中整个核方法库可以扩展到概率测度。它可以被看作是支持向量机(SVM)和其他核方法共同的原始“特征图”的推广。虽然最初与后者密切相关,但它同时在从内核机器和概率建模到统计推断,因果发现和深度学习的领域中找到了应用。本次调查的目的是全面回顾现有的工作和最新进展,在这一研究领域,并讨论最具挑战性的问题和开放的问题,可能会导致新的研究方向。该调查首先简要介绍了RKHS和正定内核,形成了这次调查的骨干,其次是一个彻底的讨论希尔伯特空间嵌入的边缘分布,理论保证,并审查其应用。分布的嵌入使我们能够将RKHS方法应用于概率测度,这促使了广泛的应用,如核双样本测试,独立测试和分布数据的学习。接下来,我们讨论了条件分布的Hilbert空间嵌入,给出了理论见解,并回顾了一些应用。条件均值嵌入使我们能够以非参数的方式执行求和,乘积和贝叶斯规则-这些规则在图形模型,概率推理和强化学习中无处不在。然后,我们讨论这个框架和其他相关领域之间的关系。最后,我们对未来的研究方向提出了一些建议。
2020-12-13 cs.LG stat.ML
Med2Meta: Learning Representations of Medical Concepts with Meta-Embeddings
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Northwestern University(西北大学)
最近,医学概念的分布式表示已被用于支持下游临床任务。电子健康记录(EHR)捕捉患者医院遭遇的不同方面,并通过学习强大的医疗概念嵌入来作为增强临床决策的丰富来源。然而,相同的医学概念可以以不同的模态记录(例如,临床记录、实验室结果)-每个都捕获该模态特有的显著信息-并且整体表示要求来自所有信息源的相关特征集合。我们假设从异构数据类型中学习的表示将导致各种临床信息学和预测建模任务的性能增强。为此,我们提出的方法利用元嵌入,从学习的嵌入聚合的嵌入。首先,每个医学概念的模态特定嵌入是用图自编码器学习的。然后,所有嵌入的集合被建模为元嵌入学习问题,以通过联合重建来合并它们的相关和互补信息。我们的模型在定量和定性临床评价方面的实证结果表明,与最先进的嵌入模型相比,我们的模型有所改进,从而验证了我们的假设。
2020-01-04 cs.CL cs.LG
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis(孟菲斯大学);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
电子健康记录(EHR)中的临床记录提供了丰富的患者记录信息,以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而,现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中,我们提出了一个概念感知的无监督用户嵌入,共同利用文本文档和医学概念,从两个临床语料库,MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务,包括表型分类,在医院死亡率预测,病人检索,和病人的相关性。在两个临床语料库上的实验表明,我们的方法超过了无监督的基线,并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
Learning Permutation-Invariant Embeddings for Description Logic Concepts
Paderborn University(帕德博恩大学)
概念学习涉及从背景知识和输入示例中学习描述逻辑概念。我们的目标是学习一个涵盖所有正面例子的概念,而不是涵盖任何负面例子。这个非平凡的任务通常被表述为在无限准序概念空间内的搜索问题。虽然国家的最先进的模型已经成功地应用于解决这个问题,他们的大规模应用已严重阻碍,由于他们的过度探索,导致不切实际的运行时。在这里,我们提出了一个补救措施,这一限制。我们重新制定的学习问题作为一个多标签分类问题,并提出了一个神经嵌入模型(NERO),学习排列不变的嵌入的例子集量身定制的预测$F_1$分数预先选定的描述逻辑概念。通过以预测得分的降序排列这些概念,可以在很少的检索操作内检测到可能的目标概念,即,不要过度探索。重要的是,排名靠前的概念可以用于在概念空间的多个有利区域中开始最先进的符号模型的搜索过程,而不是在最一般的概念$\top$中开始它。我们在5个基准数据集上进行的770个学习问题的实验坚定地表明,NERO在$F_1$得分,探索概念的数量和总运行时间方面显着(p值<1%)优于最先进的模型。我们提供了我们的方法的开源实现。
2023-03-03 cs.AI cs.LG cs.LO
Interpreting CLIP with Sparse Linear Concept Embeddings (SpLiCE)
Harvard University(哈佛大学)
本文提出SpLiCE方法,将CLIP嵌入分解为稀疏线性概念组合,实现任务无关的可解释性,无需训练即可解释甚至替代密集表示,并用于检测虚假相关性和模型编辑。
2024-11-04 cs.CV cs.LG
Transfer Learning in Electronic Health Records through Clinical Concept Embedding
University of Oxford(牛津大学);NIHR Oxford Biomedical Research Centre(英国国家健康研究所牛津生物医学研究中心);Oxford University Hospitals NHS Foundation Trust(牛津大学医院国民保健服务基金会信托)
深度学习模型在学习表示方面表现出了巨大的潜力,能够捕获数据的一些关键属性。这使得它们成为迁移学习的绝佳候选者:利用不同学习任务之间的共性,将知识从一个任务转移到另一个任务。电子健康记录(EHR)研究是见证了越来越多的深度学习技术用于学习医学概念(如疾病和药物)的临床意义表示的领域之一。尽管有这种增长,但对这种学习表示(或嵌入)进行基准测试和评估的方法还没有得到充分研究;当这种嵌入被共享以促进迁移学习时,这可能是一个大问题。在这项研究中,我们的目标是(1)在来自310万患者的综合EHR数据上训练一些最突出的疾病嵌入技术,(2)采用定性和定量评估技术来评估这些嵌入,以及(3)为迁移学习提供预先训练的疾病嵌入。这项研究可以成为临床概念嵌入评估的第一个综合方法,可以应用于任何嵌入技术和任何EHR概念。
2021-07-27 cs.LG
ELODIN: Naming Concepts in Embedding Spaces
Centro de Informática, UFPE(伯南布哥联邦大学信息中心)
尽管最近取得了进展,文本到图像合成领域仍然缺乏细粒度的控制。仅使用文本,处理概念一致性和概念污染等问题仍然具有挑战性。我们提出了一种方法来增强控制,通过生成可以在多个图像中重复使用的特定概念,有效地扩展自然语言与新词,可以像画家的调色板组合。与以前的贡献,我们的方法不复制视觉从输入数据,可以通过文本单独生成概念。我们进行了一组比较,发现我们的方法是一个显着的改进,只有文本提示。
2023-03-09 cs.CL cs.CV cs.GR
Vec2Vec: A Compact Neural Network Approach for Transforming Text Embeddings with High Fidelity
Stanford University(斯坦福大学)
本研究提出Vec2Vec,一种轻量级神经网络方法,将开源MPNet嵌入高保真转换为OpenAI text-ada-002嵌入,在10,000条未见评论上达到0.932余弦相似度,支持向量搜索并减少对专有模型的依赖。
2023-06-22 cs.AI cs.CL cs.IR
Learning to Receive Help: Intervention-Aware Concept Embedding Models
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);Alan Turing Institute(阿兰·图灵研究所)
提出干预感知概念嵌入模型(IntCEMs),通过端到端学习概念干预策略采样干预轨迹,提升模型对测试时概念干预的接受能力,显著优于现有概念可解释模型。
2024-09-26 cs.AI cs.LG
Bi-ICE: An Inner Interpretable Framework for Image Classification via Bi-directional Interactions between Concept and Input Embeddings
Arizona State University(亚利桑那州立大学);Seoul National University(首尔国立大学)
Bi-ICE通过概念与输入嵌入的双向交互,提升图像分类任务的内部可解释性与透明度。
2025-12-08 cs.CV cs.LG
Conceptual Learning via Embedding Approximations for Reinforcing Interpretability and Transparency
Technion – Israeli Institute of Technology(以色列理工学院)
提出 CLEAR 框架,利用分数匹配与 Langevin 采样在 VLM 潜在空间近似概念嵌入并选择概念,构建可解释图像分类 CBM,在多个基准上达到最先进性能。
2024-06-13 cs.CV cs.LG
Transformation of audio embeddings into interpretable, concept-based representations
Dolby Laboratories(Dolby实验室);Dept. of Electrical and Computer Engineering Univ. of Texas at Austin(电气与计算机工程系,德克萨斯大学奥斯汀分校)
本研究利用CLAP模型将音频嵌入转换为基于概念的可解释稀疏表征,在保持或提升下游任务性能的同时提供可解释性,并发布了三个音频词汇表。
2025-04-18 cs.LG cs.SD eess.AS
Temporal Self-Attention Network for Medical Concept Embedding
University of Technology Sydney(悉尼科技大学);The University of Queensland(昆士兰大学)
在纵向电子健康记录(EHR)中,患者的事件记录分布在很长一段时间内,事件之间的时间关系反映了足够的领域知识,以利于预测任务,如住院死亡率。医学概念嵌入作为一种特征提取方法,将一组具有特定时间戳的医学概念转换为向量,该向量将被馈送到监督学习算法中。嵌入的质量显著地决定了对医学数据的学习性能。在本文中,我们提出了一种基于应用自我注意力机制来表示每个医学概念的医学概念嵌入方法。我们提出了一种新的注意力机制,它捕获的上下文信息和医学概念之间的时间关系。一个轻量级的神经网络,“时间自我注意力网络(TeSAN)",然后提出学习医学概念嵌入的基础上提出的注意力机制。为了测试我们提出的方法的有效性,我们对两个公共EHRs数据集进行了聚类和预测任务,将TeSAN与五种最先进的嵌入方法进行了比较。实验结果表明,所提出的TeSAN模型优于所有比较方法。据我们所知,这项工作是第一次利用时间的自我注意的关系之间的医疗事件。
2019-09-15 cs.CL cs.LG
Multi-Label Zero-Shot Learning via Concept Embedding
零样本学习(Zero Shot Learning,缩写为ZL)使学习模型能够在训练期间对未见过的类的实例进行分类。虽然大多数的研究都集中在单标签分类,很少有研究已经完成了多标签分类,其中一个实例是与一组标签同时,由于在建模复杂的语义传达了一组标签的困难。在本文中,我们提出了一种新的方法来多标签语义学习,通过概念嵌入学习的公共用户的多媒体注释的集合。由于概念嵌入,可以通过将实例输入特征有效地映射到概念嵌入空间上来完成多标签CNOML,其方式与单标签CNOML中使用的方式类似。此外,我们的语义学习模型能够通过从其共现标签中推断其含义来嵌入词汇外标签。因此,我们的方法允许在概念嵌入学习过程中使用可见和不可见的标签,以用于上述实例映射,这使得多标签CNOL更灵活,更适合于实际应用。图像和音乐曲目上的多标签语义学习的实验结果表明,我们的方法优于最先进的多标签语义学习模型,并且可以处理涉及词汇表外标签的场景,而无需重新训练语义学习模型。
2016-06-01 cs.LG
ForeSeer: Product Aspect Forecasting Using Temporal Graph Embedding
University of Washington(华盛顿大学);Amazon(亚马逊)
针对缺少评论的新产品未来方面预测问题,提出在时间产品图上渐进训练的 ForeSeer,融合评论文本、产品网络与时间信息,显著提升方面及链接预测性能。
2023-10-07 cs.AI cs.CL cs.IR
Learning under Concept Drift: A Review
概念漂移描述了流数据的底层分布随时间的不可预见的变化。概念漂移研究涉及漂移检测、理解和适应的方法和技术的发展。数据分析表明,如果不解决概念漂移问题,那么概念漂移环境中的机器学习将导致较差的学习结果。为了帮助研究人员确定哪些研究主题是重要的,以及如何在数据分析任务中应用相关技术,有必要对概念漂移领域的当前研究进展和趋势进行高质量,有指导意义的回顾。此外,由于近年来概念漂移的快速发展,概念漂移下的学习方法已经变得非常系统,揭示了一个在文献中没有提到的框架。本文回顾了130多篇概念漂移相关研究的文献,分析了概念漂移研究方法和技术的最新进展,建立了概念漂移下的学习框架,包括概念漂移检测、概念漂移理解和概念漂移适应三个主要部分。本文列出并讨论了10个流行的合成数据集和14个公开可用的基准数据集,用于评估针对处理概念漂移的学习算法的性能。此外,概念漂移相关的研究方向涵盖和讨论。通过提供最先进的知识,这项调查将直接支持研究人员在他们的理解在概念漂移下的学习领域的研究进展。
2020-04-13 cs.LG stat.ML
Application of Clinical Concept Embeddings for Heart Failure Prediction in UK EHR data
University College London(伦敦大学学院)
电子健康记录(EHR)越来越多地用于构建疾病风险预测模型。然而,EHR数据的特征工程是具有挑战性的,由于其高度的维度和异构性。EHR数据的低维表示可以潜在地缓解这些挑战。在本文中,我们使用全局向量(GloVe)学习词嵌入的诊断和程序记录使用13万本体术语在270万住院在英国国家电子病历。我们证明了这些嵌入的效用,通过评估他们的表现,在确定患者的风险较高的充血性心力衰竭住院治疗。我们的研究结果表明,嵌入可以创建强大的EHR衍生疾病风险预测模型,并解决与手动临床特征工程相关的一些限制。
2018-11-28 cs.CL cs.LG stat.ML
Building Memory with Concept Learning Capabilities from Large-scale Knowledge Base
Tsinghua University(清华大学)
我们提出了一个新的角度神经知识库(KB)嵌入,从我们建立一个框架,可以在知识库中的符号知识模型及其学习过程。我们表明,这个框架很好地规范了以前的神经KB嵌入模型,在推理任务中表现优异,同时具有处理看不见的实体的能力,也就是说,从自然语言描述中学习它们的嵌入,这非常像人类学习语义概念的行为。
2015-12-03 cs.AI cs.CL cs.LG
Correcting the Common Discourse Bias in Linear Representation of Sentences using Conceptors
Jacobs University Bremen(不来梅雅各布大学);University of Pennsylvania(宾夕法尼亚大学)
单词的分布式表示,更好地称为词嵌入,已经成为自然语言处理任务的重要构建块。许多研究致力于将无监督词嵌入的成功转移到句子嵌入。在本文中,我们介绍了一个简单的表示的句子中,一个句子嵌入表示为加权平均的词向量,其次是一个软投影。我们证明了该方法在BioCreative/OHNLP Challenge 2018的临床语义文本相似性任务上的有效性。
2018-11-17 cs.CL cs.LG stat.ML
Time Series Embedding Methods for Classification Tasks: A Review
Department of Computer Science(计算机科学系);Texas State University(德克萨斯州立大学);San Marcos, TX 78666
本综述系统分类并定量评估了时间序列嵌入方法,发现其性能因数据集和分类算法而异,并提供开源代码库以指导实际应用。
2025-05-25 cs.LG
Faithiful Embeddings for EL++ Knowledge Bases
University of Stuttgart(斯图加特大学);Imperial College London(帝国理工学院);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Southampton(南安普顿大学)
最近,越来越多的努力投入到学习符号知识库(KB)的连续表示。然而,这些方法要么只嵌入数据级知识(ABox),要么在处理概念级知识(TBox)时受到固有的限制,即,它们不能忠实地对KB中存在的逻辑结构建模。我们提出了BoxEL,这是一种几何KB嵌入方法,可以更好地捕获逻辑结构(即,ABox和TBox公理)。BoxEL将知识库中的概念建模为轴平行框,其适合于将概念相交建模,将实体建模为框内的点,并且将概念/实体之间的关系建模为仿射变换。我们展示了BoxEL的理论保证(健全性),以保持逻辑结构。即,损失为0的BoxEL嵌入的学习模型是KB的(逻辑)模型。实验结果表明,BoxEL算法优于传统的知识图谱嵌入方法和最先进的EL++嵌入方法。
2022-09-21 cs.AI cs.LG cs.LO
Enabling Verification of Deep Neural Networks in Perception Tasks Using Fuzzy Logic and Concept Embeddings
Continental AG(大陆集团);University of Bamberg(班贝格大学)
用于安全关键应用的深度卷积神经网络(CNN)的一个主要缺点是其黑盒性质。这使得在已经训练好的计算机视觉CNN上很难验证或监控复杂的符号要求。在这项工作中,我们提出了一个简单而有效的方法来验证一个CNN符合与视觉概念相关的符号谓词逻辑规则。这是第一个:(1)不修改CNN,(2)可以使用没有CNN输入或输出特征的视觉概念,以及(3)可以利用连续的CNN置信度输出。为了实现这一目标,我们新结合了可解释的人工智能和逻辑的方法:首先,使用监督概念嵌入分析,CNN的输出是事后丰富的概念输出。其次,来自先验知识的规则被建模为接受CNN输出的真值函数,并且可以以很少的计算开销进行评估。我们在这里研究模糊逻辑的使用,即,连续的真值,以及适当的输出校准,这在理论上和实际上都显示出轻微的好处。在三个验证用例的最先进的对象检测器上证明了适用性,其中对违反规则的监控可以揭示检测错误。
2022-03-13 cs.CV cs.LG cs.LO
Influence of various text embeddings on clustering performance in NLP
本研究针对电商评论星级与文本不匹配问题,对比BERT、Word2Vec两类文本嵌入对多种聚类算法性能的影响,发现嵌入类型显著影响聚类效果,DBSCAN性能更优但标记更多异常值,为文本聚类研究提供参考。
2023-05-04 cs.CL cs.IR cs.LG
BoxLitE: A Faithful Knowledge Base Embedding Based on Convex Optimization
The Institute of Statistical Mathematics, Japan(日本统计数学研究所);TU Wien, Austria(奥地利技术大学维也纳分校);University of Oslo, Norway(挪威奥斯陆大学);University of Applied Sciences Campus Vienna, Austria(奥地利应用科学大学维也纳校区)
提出BoxLitE模型,通过凸优化实现DL-Lite$^{\mathcal{H}}$知识库的忠实嵌入,确保可满足知识库存在弱忠实模型。
2026-05-29 cs.AI cs.LG cs.LO
What's in an Earth Embedding? An Explainability Analysis of Location Encoders
University of Colorado Boulder(科罗拉多大学博尔德分校);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
通过稀疏自编码器、自然语言概念和视觉特征分解地理隐式神经表示的位置嵌入,揭示其编码的可解释地理结构。
2026-06-25 cs.LG
Subgraph Concept Networks: Concept Levels in Graph Classification
University of Cambridge(剑桥大学)
本文提出子图概念网络,通过软聚类节点概念嵌入获取子图和图级概念,提升图分类的可解释性与模型准确性。
2026-04-20 cs.LG
Prob2Vec: Mathematical Semantic Embedding for Problem Retrieval in Adaptive Tutoring
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Verizon Media(威瑞森媒体)
我们提出了一个新的应用嵌入技术的问题检索自适应辅导。目标是检索数学概念相似的问题。有两个挑战:第一,就像句子一样,对辅导有帮助的问题在基本概念方面从来都不完全相同。相反,好的问题以创新的方式混合概念,同时仍然显示出它们之间关系的连续性。其次,人类很难确定在足够大的训练集上一致的相似性得分。我们提出了一个层次化的问题嵌入算法,称为Prob 2 Vec,由抽象和嵌入步骤。Prob 2 Vec在问题相似性测试中达到了96.88%的准确率,而直接应用最先进的句子嵌入方法的准确率为75%。有趣的是,Prob 2 Vec能够区分问题之间非常细粒度的差异,这是人类需要时间和精力才能获得的能力。此外,不平衡训练数据集的概念标注子问题本身也很有趣。这是一个多标签问题的维数爆炸,我们提出了改善的方法。我们提出了一种新的负预训练算法,大大降低了假阴性和阳性率的分类,使用不平衡的训练数据集。
2020-03-21 cs.CY cs.LG stat.ML
BioConceptVec: creating and evaluating literature-based biomedical concept embeddings on a large scale
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国立医学图书馆国家生物技术信息中心)
捕获相关生物学概念的语义,如基因和突变,对于计算生物学中的许多研究任务,如蛋白质-蛋白质相互作用检测,基因-药物关联预测和基于生物医学文献的发现具有重要意义。在这里,我们建议利用最先进的文本挖掘工具和机器学习模型,通过向量表示(又名。嵌入)的超过400,000生物学概念中提到的整个PubMed摘要。我们学习的嵌入,即BioConceptVec,可以根据文献中的周围上下文信息捕获相关概念,这超出了精确的术语匹配或基于共现的方法。BioConceptVec已在多个生物信息学任务中进行了全面评估,这些任务包括来自9个不同生物数据集的2500多万个实例。评估结果表明,BioConceptVec在所有任务中具有比现有方法更好的性能。最后,BioConceptVec通过https://github.com/ncbi-nlp/BioConceptVec免费提供给研究社区和公众。
2019-12-23 cs.CL cs.IR cs.LG
CURE: Controlled Unlearning for Robust Embeddings -- Mitigating Conceptual Shortcuts in Pre-Trained Language Models
Technical University of Munich(慕尼黑技术大学)
CURE通过解耦并抑制概念捷径,在保留内容信息的同时,利用对比学习可控去偏,在IMDB和Yelp上分别提升F1分数10和2个百分点,实现鲁棒且公平的语言理解。
2025-09-10 cs.AI cs.CL cs.LG
Recommender systems based on graph embedding techniques: A comprehensive review
University of Electronic Science and Technology of China(电子科技大学)
推荐系统作为缓解信息过载问题的关键工具,其目标是通过分析用户与项目之间的关系,从数百万候选项目中预测用户的偏好项目。为了解决推荐系统中的稀疏性和冷启动问题,研究者们采用了在推荐中引入边信息或知识的策略来发现隐藏的(间接的)用户-项目关系,旨在丰富推荐所需的观测信息(或数据)。然而,面对高复杂性和大规模的边信息和知识,该策略的有效实施依赖于推荐模型的可扩展性。直到机器学习流行之后,图嵌入技术才成为一个焦点,它可以有效地利用复杂和大规模的数据。有鉴于此,近年来,为推荐系统配备图嵌入技术得到了广泛的研究,似乎优于直接基于图拓扑分析实现的传统推荐。作为重点,本文从二分图、一般图和知识图谱的嵌入技术入手,回顾了基于图嵌入的推荐方法,并提出了基于图嵌入的推荐方法的一般设计流程。此外,通过仿真比较几种典型的基于图嵌入的推荐模型与最常用的传统推荐模型,发现传统推荐模型在预测隐式用户-项目交互方面的性能优于基于图嵌入的推荐模型,揭示了基于图嵌入的推荐模型在这些任务中的相对弱点。为了促进未来的研究,本文提出了在不同任务中权衡基于图嵌入的推荐和传统推荐的建议,并提出了开放性问题。
2022-03-22 cs.IR cs.LG
CORE: Automating Review Recommendation for Code Changes
Nanyang Technology University(南洋理工大学)
代码评审是开发人员使用的一个常见过程,其中评审者通过pull request提供有用的评论或指出提交的源代码更改中的缺陷。代码审查由于其在早期缺陷识别、项目维护和代码改进方面的能力而被广泛用于行业和开源项目。随着项目开发的快速更新,代码审查成为审查人员的一项重要且劳动密集型的任务。因此,自动化的代码审查引擎在实践中对项目开发是有益的。虽然存在通过采用静态分析工具或深度学习技术来自动化代码审查过程的先前研究,但是它们通常需要外部源,例如部分或完整的源代码以获得准确的审查建议。在本文中,我们的目标是自动化的代码审查过程中,只有基于代码的变化和相应的审查,但更好的性能。准确的代码评审建议的关键是学习代码更改和评审的良好表示。为了用有限的源实现这一点,我们设计了一个多级嵌入(即,词嵌入和字符嵌入)方法来表示代码更改和评审所提供的语义。然后通过提出的注意力深度学习模型对嵌入进行良好的训练,作为一个整体命名为CORE。我们评估了CORE对代码更改的有效性,并从Github上托管的19个流行Java项目中收集了评论。实验结果表明,我们的模型CORE可以实现比最先进的模型(DeepMem)更好的性能,在Recall@10和平均倒数排名方面分别增加了131.03%和150.69%。项目开发人员中的定性通用词分析也证明了CORE在自动化代码审查方面的性能。
2019-12-20 cs.LG cs.SE
Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval
SungKyunKwan University(顺天妇女大学)
本文提出利用稀疏自编码器将DPR稠密嵌入分解为可解释的潜在概念,并基于此构建概念级稀疏检索框架CL-SR,在保持稳健性能的同时提升透明度和效率。
2025-08-27 cs.IR cs.LG
COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Centre for Vision, Speech, and Signal Processing (CVSSP), University of Surrey(Surrey 大学视觉、语音和信号处理中心)
提出COMET框架,通过PLS-SVD分解揭示CLAP模型中模态间隙主要由少数共享概念轴贡献,并基于谱截断方法无训练地缓解间隙,实现零样本音频字幕接近全监督性能。
2026-05-28 cs.AI cs.CL cs.LG
Continual Learning of Knowledge Graph Embeddings
Georgia Institute of Technology(佐治亚理工学院);University of Birmingham(伯明翰大学)
近年来,使用分布式(神经)表示来表示和推理机器人应用的语义知识的方法已经复苏。然而,虽然机器人经常观察以前未知的概念,但这些表示通常假设所有概念都是先验已知的,并且包含新信息需要重新学习所有概念。我们的工作放松了现有表示的这种限制性假设,并通过利用一系列持续学习方法的原理来解决增量知识图谱嵌入问题。通过几个知识图和嵌入表示的实验评估,我们提供了有关权衡从业者匹配语义驱动的机器人应用程序,以一个合适的连续知识图谱嵌入方法的见解。
2021-05-10 cs.LG cs.RO
JEFL: Joint Embedding of Formal Proof Libraries
University of Innsbruck(因斯布鲁克大学);University of Warsaw(华沙大学)
在不同的交互式证明助手库中使用的逻辑基础的异质性使得在它们之间发现相似的数学概念变得困难。在本文中,我们比较了以前提出的算法,我们的无监督嵌入方法,可以帮助我们检索类似的概念,跨库匹配的概念。我们的方法是基于Word2Vec的快速文本实现,在此之上添加了一个树遍历模块,以适应我们的数据导出管道的表示格式的算法。我们比较的可解释性,可定制性和在线服务的方法,并认为神经嵌入方法有更多的潜力被集成到一个互动的证明助手。
2021-07-21 cs.CL cs.LG cs.LO