Enriching Consumer Health Vocabulary Using Enhanced GloVe Word Embedding
University of Arkansas（阿肯色大学）
开放获取和协作消费者健康词汇（OAC CHV，或简称CHV）是用简单英语编写的医学术语集合。它提供了一个简单，容易和明确的术语列表，外行更喜欢使用，而不是一个等效的专业医学术语。美国国家医学图书馆（NLM）已将CHV术语集成并映射到其统一医学语言系统（UMLS）。这些CHV术语映射到UMLS上的56000个专业概念。我们发现，大约48%的这些门外汉的术语仍然是行话，并与UMLS上的专业术语相匹配。在本文中，我们提出了一种增强的词嵌入技术，从消费者生成的文本生成新的CHV条款。我们从一个医疗保健社交媒体下载了我们的语料库，并评估了我们的新方法，该方法基于对词嵌入的迭代反馈，使用从现有的CHV术语构建的基础事实。我们的反馈算法优于未修改的GLoVe和新的CHV条款已被检测到。
2020-04-13 cs.CL cs.IR cs.LG
Enriching Word Embeddings with Temporal and Spatial Information
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
一个词的意义与社会文化因素密切相关，这些因素会随着时间和地点的变化而变化，从而导致相应的意义变化。在广泛使用的语言（如英语）中对单词及其含义进行全面的审视，可能需要我们捕捉更精确的语义，以用于特定时间或位置感知的情况，如文化趋势或语言使用的研究。然而，流行的词的矢量表示不充分包括时间或空间信息。在这项工作中，我们提出了一个模型，学习单词表示条件的时间和位置。除了捕捉随着时间和地点的意义变化，我们要求得到的词嵌入保留突出的语义和几何属性。我们训练我们的模型上的时间和位置标记语料库，并使用定量和定性的评估，它可以捕捉跨时间和地点的语义。我们注意到，我们的模型与特定时间嵌入的最新技术相比毫不逊色，并作为特定位置嵌入的新基准。
2020-10-02 cs.CL
Enriching Rare Word Representations in Neural Language Models by Embedding Matrix Augmentation
Nanyang Technological University（南洋理工大学）
神经语言模型（NLM）通过学习词的密集表示并利用它们来估计概率分布函数，从而获得很强的泛化能力。然而，学习稀有词的表示是一个具有挑战性的问题，导致NLM产生不可靠的概率估计。为了解决这个问题，我们提出了一种方法来丰富预训练的NLM中稀有词的表示，从而提高其概率估计性能。该方法在保持其他参数不变的情况下，增加了预训练NLM的词嵌入矩阵。具体来说，我们的方法更新的嵌入向量的罕见的话，使用嵌入向量的其他语义和语法相似的话。为了评估所提出的方法，我们丰富了罕见的街道名称在预先训练的NLM和使用它rescore 100最好的假设输出从新加坡英语语音识别系统。与基线NLM相比，丰富的NLM将单词出错率相对降低了6%，并且将稀有单词的识别准确性绝对提高了16%。
2019-07-31 cs.CL
PHEMEPlus: Enriching Social Media Rumour Verification with External Evidence
University of Warwick（华威大学）；The Alan Turing Institute（阿兰·图灵研究所）
社交媒体谣言核实工作利用来自帖子、其传播和相关用户的信号。其他工作的目标是根据维基百科的信息识别和事实核查声明，或者在不考虑社交媒体背景的情况下可靠的新闻文章。然而，缺乏将社交媒体的信息与更广泛的网络的外部证据相结合的作品。为了促进这一方向的研究，我们发布了一个新的数据集PHEMEPlus，这是PHEME基准的扩展，其中包含社交媒体对话以及每个谣言的相关外部证据。我们证明了将这些证据在改善谣言验证模型的有效性。此外，作为证据收集的一部分，我们评估各种方式的查询制定，以确定最有效的方法。
2022-07-28 cs.AI cs.CL cs.CY
RulE: Knowledge Graph Reasoning with Rule Embedding
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；National Key Laboratory of General Artificial Intelligence, BIGAI（北京智源人工智能研究院通用人工智能全国重点实验室）；Tsinghua University（清华大学）
本研究提出RulE规则嵌入框架，联合表示实体、关系与逻辑规则，既以软推理缓解逻辑脆弱性，又正则化嵌入提升KGE性能，在多基准上优于多数现有方法。
2024-05-20 cs.AI cs.LG
Enriching Medcial Terminology Knowledge Bases via Pre-trained Language Model and Graph Convolutional Network
East China University of Science and Technology（华东理工大学）；Shanghai Hospital Development Center（上海医院发展中心）
丰富现有的医学术语知识库（KBs）是临床研究的一项重要而永无止境的工作，因为新的术语别名可能会不断增加，标准术语可能会重新命名。在本文中，我们提出了一种新的自动术语丰富的方法来补充一组术语知识库。具体来说，首先将术语和实体字符输入到预先训练好的语言模型中，以获得语义嵌入。该方法首先利用预先训练好的模型对术语和实体表示进行初始化，然后通过图卷积网络对术语和实体表示进行结构化嵌入。然后，结合语义嵌入和结构嵌入来衡量术语和实体之间的相关性。最后，根据术语和知识库中所有实体之间的相关性顺序实现最佳对齐。在上海市医院发展中心38家三甲医院的临床指标术语库上的实验结果表明，该方法能有效地丰富临床指标术语库。
2019-09-02 cs.CL
A Systematic Evaluation of Knowledge Graph Embeddings for Gene-Disease Association Prediction
本文系统比较了链接预测与节点对分类在基因-疾病关联预测中的表现，提出五步评估框架，发现附加链接和语义丰富度可提升性能，且链接预测方法整体更优。
2025-04-11 cs.LG
Enriching Complex Networks with Word Embeddings for Detecting Mild Cognitive Impairment from Speech Transcripts
University of São Paulo（圣保罗大学）
轻度认知障碍（MCI）是一种难以诊断的精神障碍。主要来自解析器的语言特征已被用于检测MCI，但这不适合大规模评估。MCI不流利产生不符合语法的讲话，需要手动或高精度自动校正的成绩单。在本文中，我们将成绩单建模为复杂网络，并使用词嵌入（CNE）来丰富它们，以更好地表示神经心理学评估中产生的短文本。网络测量与众所周知的分类器一起应用，以在二进制分类任务中自动识别转录本中的MCI。传统的方法使用袋的词（BoW）和三个数据集的语言特征的性能进行了比较：DementiaBank在英语中，灰姑娘和亚利桑那州电池在葡萄牙语。总体而言，CNE提供了更高的准确性比只使用复杂的网络，而支持向量机是优于其他分类器。CNE为DementiaBank和Cinderella提供了最高的准确性，但BoW对Arizona-Battery数据集更有效，可能是由于其简短的叙述。如果对Cinderella数据集进行手动修改，则使用语言特征的方法具有更高的准确性。总之，结果表明，嵌入丰富的复杂网络在大规模评估中检测MCI是有希望的
2017-04-26 cs.CL
DeepEmo: Learning and Enriching Pattern-Based Emotion Representations
National Tsing Hua University（国立清华大学）
我们提出了一个基于图的机制，以提取丰富的情感承载模式，促进了更深入的分析在线情感表达，从语料库。然后，模式丰富的词嵌入，并通过几个情感识别任务进行评估。此外，我们对情绪导向模式进行了分析，以证明其适用性并探索其属性。我们的实验结果表明，所提出的技术优于最先进的情感识别技术。
2018-04-24 cs.CL cs.IR
NTULM: Enriching Social Media Text Representations with Non-Textual Units
Twitter, Inc.（推特公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在社交媒体上，额外的上下文通常以注释和元数据的形式存在，例如帖子的作者，提及，主题标签和超链接。我们将这些注释称为非文本单位（NTU）。我们认为，NTU提供超越其文本语义的社会背景，利用这些单位可以丰富社会媒体文本表示。在这项工作中，我们构建了一个以NTU为中心的社会异构网络，共同嵌入NTU。然后，我们主要将这些NTU嵌入集成到一个大型的预训练语言模型通过微调这些额外的单元。这为嘈杂的短文本社交媒体增加了背景。实验表明，利用NTU增强的文本表示在许多下游任务上显著优于现有的纯文本基线2- 5%的相对点，突出了上下文对社交媒体NLP的重要性。我们还强调，包括NTU上下文到语言模型的初始层旁边的文本是更好的比使用它后，文本嵌入生成。我们的工作导致了整体通用社交媒体内容嵌入的生成。
2022-10-29 cs.AI cs.CL cs.LG
Two-Stage Stance Labeling: User-Hashtag Heuristics with Graph Neural Networks
UNC-Charlotte（北卡罗来纳大学夏洛特分校）
针对社交媒体内容体量庞大、演变迅速导致的用户立场研究难题，提出结合用户-话题标签二分图启发式标注与用户交互图半监督GNN的两阶段方法，在气候变化、枪支管制推文数据集上性能优于文本分类器与GPT4零样本分类。
2024-05-17 cs.CL cs.LG cs.SI
Knowledge-Induced Medicine Prescribing Network for Medication Recommendation
Korea University（高丽大学）
本文提出知识诱导药物处方网络KindMed，通过将外部医学知识构建为知识图谱并结合分层序列学习融合临床与药物时序动态，实现个性化药物推荐，并在真实EHR数据上验证了其优于图驱动基线的性能。
2024-06-12 cs.LG
HGEN: Heterogeneous Graph Ensemble Networks
Dept. of Electrical Engineering and Computer Science, Florida Atlantic University, USA（佛罗里达大学电子工程与计算机科学系）；Department of Data Science, William & Mary, USA（威廉与玛丽学院数据科学系）
HGEN通过元路径和转换优化管道集成多个学习者，提升异构图分类精度，其残差-注意力机制和相关性正则化项增强了基础学习器的多样性和准确性。
2025-09-11 cs.AI cs.LG
Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension
School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）
传统的机器阅读理解（MRC）已经通过模式匹配得到了很好的解决，但常识推理的能力仍然是人类和机器之间的差距。以前的方法通过预训练的知识图谱嵌入（KGE）丰富单词表示来解决这个问题。然而，它们对知识图谱（KG）中节点之间的大量连接的利用有限，这些连接可能是构建常识推理链的关键线索。在本文中，我们提出了一个即插即用的模块来存储连接信息的常识推理（PIECER）。除了用知识嵌入丰富单词表示外，PIECER还构建了一个联合查询-通道图，通过单词之间面向知识的连接来明确地指导常识推理。此外，PIECER具有很高的通用性，因为它可以插入到任何MRC模型的合适位置。实验结果ReCoRD，一个大规模的公共MRC数据集，需要常识推理，PIECER介绍了稳定的性能改善四个代表性的基础MRC模型，特别是在低资源设置。
2021-03-26 cs.AI cs.CL
Chinese Embedding via Stroke and Glyph Information: A Dual-channel View
University of Science and Technology of China（中国科学技术大学）
近年来的研究表明，形态学有助于丰富词嵌入。本文认为，隐藏在汉字中的形态信息不仅在笔画顺序上得到反映，而且在空间上也反映在汉字字形中，从而丰富了中文词嵌入。在此基础上，提出了一种新的双通道词嵌入（DWE）模型，实现了字符序列信息和空间信息的联合学习。通过对词相似度和词类比任务的评价，表明了该模型在汉语词法建模方面的合理性和优越性。
2019-06-03 cs.CL
QuOTE: Question-Oriented Text Embeddings
Virginia Tech（弗吉尼亚理工大学）；St. Vrain Valley Schools（圣维恩谷学区）
本文提出 QuOTE，通过为文本块补充其可回答的假设性问题来增强 RAG 文档嵌入，提升查询语义对齐与多跳问答等任务的检索准确率。
2025-02-16 cs.AI cs.CL cs.IR
Language Models as Knowledge Embeddings
Fudan University（复旦大学）；Fudan-Aishu Cognitive Intelligence Joint Research Center（复旦-爱数认知智能联合研究中心）
提出LMKE，利用语言模型和对比学习框架推导知识嵌入，解决了现有方法在长尾实体表示及负采样成本上的局限，并在链接预测和三元组分类基准上取得最优性能。
2023-06-29 cs.AI cs.CL cs.LG
LLM Enhancer: Merged Approach using Vector Embedding for Reducing Large Language Model Hallucinations with External Knowledge
Department of Computer Science and Engineering, Jagannath University（计算机科学与工程系，贾甘纳思大学）
本文提出 LLM ENHANCER 系统，通过并行集成多个在线开源数据并利用向量嵌入筛选相关信息，有效减轻了大型语言模型在关键场景下的幻觉问题，同时保持了回复的自然性与准确性。
2025-04-29 cs.CL cs.LG
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China（中国人民大学）；Tencent AI Lab（腾讯人工智能实验室）
基于嵌入的方法在知识库问答（KBQA）中很受欢迎，但目前很少有模型具有数值推理能力，因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架，特别是考虑到数值推理。我们在NSM（一种最先进的基于嵌入的KBQA模型）之上提出NumericalTransformer，以创建NT-NSM。为了实现更好的训练，我们提出了两个预训练任务，在两个生成的训练数据集上使用显式的面向数值的损失函数，以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明，在我们的训练算法的帮助下，NT-NSM具有数值推理技能，并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
Exploring Reasoning-Infused Text Embedding with Large Language Models for Zero-Shot Dense Retrieval
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
针对现有文本嵌入方法缺乏推理能力的问题，提出融合推理的文本嵌入方法RITE，通过生成式大语言模型在嵌入计算前生成中间推理文本，在BRIGHT基准上显著提升了多领域零样本稠密检索性能。
2025-08-29 cs.CL
Empowering Small-Scale Knowledge Graphs: A Strategy of Leveraging General-Purpose Knowledge Graphs for Enriched Embeddings
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本研究提出利用通用知识图谱增强小规模领域特定知识图谱嵌入的框架，实验显示Hits@10指标最高提升44%，可推动知识密集型任务中知识图谱的应用，降低机器学习方案的幻觉问题。
2024-05-17 cs.AI cs.CL cs.LG
Ontology Alignment in the Biomedical Domain Using Entity Definitions and Context
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本体对齐是从两个给定的本体中识别语义等价的实体的任务。不同的本体具有相同实体的不同表示，导致在合并本体时需要去重复实体。我们提出了一种方法，用于丰富实体的本体与外部定义和上下文信息，并使用这些额外的信息本体对齐。我们开发了一个神经架构，能够编码的额外信息时，并表明，除了外部数据的结果在F1分数为0.69的本体对齐评估计划（OAEI）大型生物SNOMED-NCI子任务，与实体级匹配在SOTA系统。
2018-06-20 cs.CL
Sõnajaht: Definition Embeddings and Semantic Search for Reverse Dictionary Creation
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
本文提出基于预训练语言模型与近似最近邻搜索的反向词典系统，应用于爱沙尼亚语词典 Sõnaveeb，无需训练即可在单语和跨语言设置中取得优异的中位排名。
2024-04-30 cs.CL
Enhancing Word Embeddings with Knowledge Extracted from Lexical Resources
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学 TALP 研究中心）
在这项工作中，我们提出了一个有效的方法，语义专业化的词向量表示。为此，我们使用传统的词嵌入和应用专门化方法，以更好地捕捉词之间的语义关系。在我们的方法中，我们利用外部知识丰富的词汇资源，如BabelNet。我们还表明，我们提出的基于对抗性神经网络与Wasserstein距离的后专业化方法可以在两个任务上获得比最先进方法的改进：单词相似性和对话状态跟踪。
2020-05-20 cs.CL cs.LG
Relational Word Embeddings
Cardiff University（卡迪夫大学）
虽然词嵌入已被证明可以隐式地编码各种形式的属性知识，但它们捕获关系信息的程度要有限得多。在以前的工作中，这个限制已经解决了从外部知识库的关系知识时，学习词嵌入。然而，这种战略可能不是最佳的，因为它们受到现有资源覆盖范围的限制，并将相似性与其他形式的相关性混为一谈。作为一种替代方案，在本文中，我们提出了一个单独的词嵌入，这是旨在补充一个给定的标准词嵌入编码的关系知识。这种关系词嵌入仍然是从共现统计学中学习的，因此即使在没有外部知识库可用时也可以使用。我们的分析表明，关系词向量确实捕获了与标准词嵌入中编码的信息互补的信息。
2019-06-04 cs.CL
Text-Enhanced Data-free Approach for Federated Class-Incremental Learning
Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
本文提出LANDER方法，通过预训练语言模型生成的标签文本嵌入作为锚点，在训练阶段约束特征嵌入，在无数据知识迁移阶段合成高质量样本，有效解决联邦类增量学习中的灾难性遗忘问题，并在多个数据集上达到最先进性能。
2024-03-21 cs.CL cs.CV cs.LG
Visual-Semantic Embedding Model Informed by Structured Knowledge
The University of Manchester（曼彻斯特大学）
我们提出了一种新的方法来改善视觉语义嵌入模型，将从外部结构化知识库捕获的概念表示。我们研究了它在标准和zero-shot设置下的图像分类性能。我们提出了两个新的评价框架来分析分类错误的知识库所示的类层次结构。使用ILSVRC 2012图像数据集和WordNet知识库对该方法进行了测试。相对于标准和zero-shot图像分类，我们的方法表现出优越的性能相比，原来的方法，它使用词嵌入。
2020-09-21 cs.CL cs.CV cs.LG
Improving Context-Aware Semantic Relationships in Sparse Mobile Datasets
Stanford University（斯坦福大学）
传统的语义相似度模型往往无法封装文本所处的外部语境。然而，在移动平台上生成的文本数据集可以通过引入多模态数据来帮助我们构建更真实的语义相似性表示。这在稀疏数据集中尤其重要，这使得仅文本驱动的上下文解释变得更加困难。在本文中，我们开发了新的算法，用于构建外部特征到句子嵌入和语义相似性得分。然后，我们在Twitter数据上嵌入空间进行测试，使用每条推文的时间和地理位置来更好地理解其上下文。最终，我们证明了将具有八个分量的PCA应用于嵌入空间并附加多模态特征会产生最佳结果。这产生了相当大的改进，基于纯文本的方法来发现类似的推文。我们的研究结果表明，我们的新算法可以帮助提高在各种设置的语义理解。
2018-12-23 cs.CL cs.LG stat.ML
Contextual Compositionality Detection with External Knowledge Bases andWord Embeddings
University of Copenhagen（哥本哈根大学）；University of Padua（帕多瓦大学）
当一个短语的含义不能从其单词的单个含义推断时（例如，热狗），则该短语被称为非合成。多词短语中的自动组合性检测在任何语义处理应用中都是至关重要的，例如搜索引擎;未能检测到非组合短语会显着损害系统的有效性。现有的研究将短语以确定性的方式分为合成短语和非合成短语。在本文中，我们操作的观点，组合性是上下文，而不是确定性，即，一个短语是合成的还是非合成的取决于它的上下文。例如，“绿卡”一词在指绿色卡时是合成的，而在指永久居留许可时是非合成的。我们解决的挑战，检测这种类型的上下文组合如下：给定一个多字的短语，我们丰富的词嵌入表示其语义的证据，其全球范围内（条款，它经常搭配），以及其本地上下文（叙述，该短语被使用，我们称之为使用场景）。我们进一步扩展这种表示与外部知识库中提取的信息。由此产生的表示合并本地化的上下文和更一般的短语的用法，并允许检测其组合在一个非确定性和上下文的方式。通过众包上下文组合性评估手动收集的短语组合性数据集对我们的模型进行了实证评估，结果表明我们的模型在检测短语组合性方面优于最先进的基线。
2019-03-20 cs.AI cs.CL
Exploiting Class Labels to Boost Performance on Embedding-based Text Classification
Queen Mary University of London（伦敦玛丽女王大学）
文本分类是处理文本数据最常见的任务之一，有助于从大规模数据集进行研究。不同种类的嵌入最近已经成为文本分类的事实标准。这些嵌入有能力捕获从大型外部集合中出现的单词推断出的含义。虽然它们是由外部集合构建的，但它们不知道手头的分类数据集中单词的分布特征，最重要的是包括训练数据中单词在类中的分布。为了充分利用这些嵌入作为特征并提高使用它们的分类器的性能，我们引入了一个加权方案，词频类别比（TF-CR），它可以在计算词嵌入时对高频，类别独占词进行更高的加权。我们在8个数据集上的实验表明了TF-CR的有效性，在大多数情况下，与著名的加权方案TF-IDF和KLD以及没有加权方案相比，TF-CR的性能得分得到了提高。
2020-09-01 cs.CL cs.IR
Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations
2 The Bredesen Center for Interdisciplinary Research；3 Department of Electrical Engineering \& Computer Science, University of Tennessee, Knoxville, TN 37916；4 Oak Ridge National Laboratory (ORNL), Oak Ridge, TN 37830
本文提出通过CLIP和双通道提示与图像增强实现视觉词义消歧，提升MRR和命中率，验证了精确提示的有效性。
2026-02-06 cs.CL
Estimating Uncertainty of Omnimodal Large Language Models via External Omnimodal Embeddings
CCDS；Nanyang Technological University（南洋理工大学）
本研究针对全模态大语言模型的不确定性量化难题，提出与模型无关的外部全模态嵌入UQ框架，在UNO-Bench上的表现优于部分基线，尤其适配开放式全模态问题。
2026-10-14 cs.CL
Self-Attention Gazetteer Embeddings for Named-Entity Recognition
Amazon（亚马逊）
最近的尝试摄取外部知识到神经模型的命名实体识别（NER）表现出混合的结果。在这项工作中，我们提出了GazSelfAttn，一种新的地名词典嵌入方法，使用自我关注和匹配跨度编码，以建立增强的地名词典嵌入。此外，我们还演示了如何从开源维基数据知识库中构建地名词典资源。对CoNLL-03和Ontonotes 5数据集的评估显示，F1分别从92.34提高到92.86和89.11提高到89.32，达到了与大型最先进模型相当的性能。
2020-04-18 cs.CL
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon（俄勒冈大学）；Baidu Research（百度研究院）；Tsinghua University（清华大学）
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型，称为概念上下文（CC）嵌入，它将结构化知识的文本表示。与实体嵌入方法不同，我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务，就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录（EHRs）和医疗文本处理基准测试的实验表明，我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
Uncovering divergent linguistic information in word embeddings with lessons for intrinsic and extrinsic evaluation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
随着最近词嵌入的成功，有人认为没有词的理想表示，因为不同的模型往往会捕获不同的，往往是相互不兼容的方面，如语义/语法和相似性/相关性。在本文中，我们表明，每个嵌入模型捕获更多的信息比直接明显。一个线性变换，调整模型的相似性顺序，没有任何外部资源，可以定制它，以实现更好的结果，在这些方面，提供了一个新的视角如何嵌入编码不同的语言信息。此外，我们还探讨了内在和外在评价之间的关系，因为我们在下游任务中的转换效果对于无监督系统比监督系统更高。
2018-09-06 cs.AI cs.CL cs.LG
Structural Embeddings of Tools for Large Language Models
Datategy SAS（Datategy SAS公司）
本文强调基于图的方法在未来大型语言模型与外部工具交互中的重要性，提出一个示例性框架，通过分层图编码工具的目标和功能，指导呈指数级增长的外部工具与LLMs的编排，并为Chain-of-Thought文本片段作为工具的应用开辟新途径。
2023-08-01 cs.AI cs.CL
Towards Exploiting Implicit Human Feedback for Improving RDF2vec Embeddings
University of Mannheim（曼海姆大学）
RDF2vec是一种用于从RDF知识图谱创建向量空间嵌入的技术，即，将图中的每个实体表示为向量。它首先通过在图上执行随机游走来创建节点序列。在第二步中，这些序列由word2vec算法处理，以创建实际的嵌入。在本文中，我们探讨了使用外部边缘权重引导随机游动。作为边缘权重，维基百科中页面之间的转移概率被用作边缘重要性的人类反馈的代理。我们表明，在某些情况下，RDF2vec利用这些转移概率可以优于RDF2vec的基础上随机游走，以及使用图的内部边缘权重。
2020-04-09 cs.AI cs.CL cs.LG
Task-Oriented Learning of Word Embeddings for Semantic Relation Classification
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；Toyota Technological Institute（丰田工业大学）
我们提出了一种新的学习方法，词嵌入设计的关系分类。我们的词嵌入是通过在大型未标记语料库上使用词汇关系特定特征预测名词对之间的词来训练的。这使我们能够显式地将特定于关系的信息合并到词嵌入中。然后使用学习的词嵌入来构造用于关系分类模型的特征向量。在一个完善的语义关系分类任务，我们的方法显着优于基线的基础上，以前介绍的词嵌入方法，并比较有利的是以前的国家的最先进的模型，使用语法信息或手动构建的外部资源。
2015-06-22 cs.CL
Gaussian Word Embedding with a Wasserstein Distance Loss
Fudan University（复旦大学）
与基于点表示的词嵌入相比，基于分布的词嵌入在表达不确定性时表现出更大的灵活性，因此在表示词时嵌入了更丰富的语义信息。Wasserstein距离提供了一个自然的概念与概率测度的不相似性，并在测量两个高斯分布之间的距离时有一个封闭形式的解决方案。因此，为了以高效的方式表示单词，我们提出了一种基于Wasserstein距离的损失函数的高斯词嵌入模型。此外，来自ConceptNet的外部信息将用于半监督高斯词嵌入的结果。本文将评估来自单词相似性任务的13个数据集，以及来自单词蕴涵任务的1个数据集和来自下游文档分类任务的6个数据集，以验证我们的假设。
2018-09-01 cs.CL
ConceptFormer: Towards Efficient Use of Knowledge-Graph Embeddings in Large Language Models
University of Zurich（苏黎世大学）；Dublin City University（都柏林城市大学）
ConceptFormer通过在不修改LLM内部结构的情况下，将知识图谱节点编码为概念向量并注入LLM嵌入空间，以极低的token开销显著提升GPT-2的事实回忆能力。
2025-04-10 cs.AI cs.CL cs.IR
A Resource-Free Evaluation Metric for Cross-Lingual Word Embeddings Based on Graph Modularity
University of Colorado（科罗拉多大学）；University of Maryland（马里兰大学）
跨语言词嵌入将不同语言的词的含义编码到共享的低维空间中。许多下游任务的重要要求是单词相似性应该独立于语言-即，一种语言中的词向量彼此之间的相似性不应超过与另一种语言中的词之间的相似性。我们使用模块化来衡量这一特性，模块化是一种网络测量方法，可以测量图中集群的强度。模块化与三个下游任务有中度到强烈的相关性，即使模块化仅基于嵌入的结构，并且不需要任何外部资源。我们通过实验表明，模块化可以作为一个内在的验证指标，以提高无监督的跨语言词嵌入，特别是在低资源设置的遥远的语言对。
2019-06-05 cs.CL
Enhancing Chinese Intent Classification by Dynamically Integrating Character Features into Word Embeddings with Ensemble Techniques
使用基于神经网络和词嵌入的深度学习方法对英语数据进行了广泛的意图分类研究。中文意图分类的挑战源于这样一个事实，即与大多数单词由26个语音字母组成的英语不同，中文是语标，其中汉字是一个更基本的语义单位，可以提供信息，其含义在上下文中不会变化太多。单独的中文词嵌入可能不足以表示单词，并且预先训练的嵌入可能无法很好地与手头的任务对齐。考虑到不足和利用汉字信息，我们提出了一种低工作量和通用的方法来动态集成字符嵌入的特征映射与基于词嵌入的输入，其产生的单词字符嵌入堆叠上下文信息抽取模块，以进一步结合上下文信息进行预测。在该模型的基础上，我们采用集成方法将单个模型组合起来，得到最终的结果。该方法是数据独立的，不依赖于外部来源，如预先训练的词嵌入。所提出的模型优于基线模型和现有的方法。
2018-05-23 cs.CL
Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge
University of Oxford（牛津大学）；Microsoft（微软公司）
本文提出将专门视觉模型得到的细粒度外部知识直接编码为空间视觉提示并注入 MLLM，在九个基准上提升 LLaVA、Mipha 等模型的细粒度视觉理解能力。
2024-07-05 cs.AI cs.CL cs.CV
PatenTEB: A Comprehensive Benchmark and Model Family for Patent Text Embedding
ICUBE Laboratory INSA Strasbourg（ICUBE实验室 国立斯特拉斯堡应用科学学院）
针对专利文本嵌入缺乏专门基准的问题，提出PatenTEB基准（15任务、206万样本）及patembed模型家族，通过多任务训练和领域预训练实现外部泛化性能领先。
2025-10-25 cs.AI cs.CL cs.IR
R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院）；DataCanvas Alaya NeW；Beijing Institute of Technology（北京理工大学）
本文提出R1-Searcher++框架，通过两阶段训练（SFT冷启动和强化学习）激励LLM动态获取知识，结合内部知识与外部搜索实现高效检索增强推理，实验优于现有方法。
2025-05-22 cs.AI cs.CL cs.IR
Incorporating External Knowledge to Enhance Tabular Reasoning
IIT Guwahati（印度理工学院古瓦哈提分校）；University of Utah（犹他大学）
关于表格信息的推理对现代NLP方法提出了独特的挑战，这些方法在很大程度上依赖于预先训练的文本上下文嵌入。在本文中，我们研究这些挑战，通过问题的表格自然语言推理。我们提出了简单而有效的修改信息是如何呈现给这个任务的模型。我们通过系统的实验表明，这些策略大大提高了表格推理的性能。
2021-04-09 cs.AI cs.CL cs.IR
Addressing Hallucinations in Language Models with Knowledge Graph Embeddings as an Additional Modality
Institute for Clarity in Documentation（文献清晰研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康校区）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本研究提出将知识图谱嵌入作为额外模态，通过训练适配器整合到语言模型中，无需外部检索与模型微调，构建了含300万样本的WikiEntities数据集，在多个基准上验证了其减少大语言模型幻觉、提升事实准确性的效果。
2025-01-14 cs.AI cs.CL
Integrating extracted information from bert and multiple embedding methods with the deep neural network for humour detection
Toyohashi University of Technology（丰桥技术科学大学）
从句子中检测幽默是一个有趣的和具有挑战性的任务，在过去的几年里。为了突出幽默检测，大多数研究都是使用传统的嵌入方法进行的，例如，Word 2 Vec或手套。最近，BERT句子嵌入也被用于这一任务。在本文中，我们提出了一个框架，从新闻标题的短文本幽默检测。我们提出的框架（IBEN）尝试通过使用不同的BERT层从书面文本中提取信息。经过几次试验后，将权重分配给BERT模型的不同层。然后将提取的信息发送到Bi-GRU神经网络作为嵌入矩阵。我们利用了一些外部嵌入模型的性质。我们的神经网络中的多核卷积也被用来提取更高级别的句子表示。这个框架在幽默检测的任务上表现得非常好。
2021-05-11 cs.AI cs.CL
Nova: An Iterative Planning and Search Approach to Enhance Novelty and Diversity of LLM Generated Ideas
Westlake University（西湖大学）；Zhejiang University（浙江大学）；China Life R&D Center（中国人寿研发中心）；Carnegie Mellon University（卡内基梅隆大学）；Southeast University（东南大学）；University of Oxford（牛津大学）
本文提出 Nova 迭代规划与搜索框架，通过有计划地检索外部知识提升 LLM 研究想法的新颖性和多样性，并在自动与人工评估中显著优于现有方法。
2024-10-27 cs.AI cs.CL
