Hopping Too Late: Exploring the Limitations of Large Language Models on Multi-Hop Queries
Tel Aviv University（特拉维夫大学）；UCL（伦敦大学学院）；Google Research（谷歌研究院）
研究基于transformer的LLMs在多跳查询中因第二跳在后期层计算导致知识缺失的局限性，提出back-patching方法，发现66%错误案例可通过回溯修补纠正。
2024-10-14 cs.CL
WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries
Cornell University（康奈尔大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）；University of Waterloo（滑铁卢大学）
该研究提出WildHallucinations基准，通过真实世界实体查询评估LLM长文本事实性，发现LLM在无维基百科页面实体上幻觉更多，且检索组件仅能略微减少幻觉。
2024-07-24 cs.AI cs.CL
CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models
University of Toronto（多伦多大学）
CommonWhy数据集通过15000个为什么问题评估大语言模型的因果关系实体推理能力，揭示现有模型在因果推理和事实生成上的不足。
2026-05-13 cs.CL
Entity-Enriched Neural Models for Clinical Question Answering
UMass-Amherst（马萨诸塞大学阿默斯特分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research, Cambridge（IBM剑桥研究院）
我们探索了最先进的神经模型，用于电子医疗记录上的问答，并提高了它们在测试时更好地概括以前看不见的（释义）问题的能力。我们通过学习预测逻辑形式作为辅助任务以及答案广度检测的主要任务来实现这一点。预测的逻辑形式也可以作为答案的基本原理。此外，我们还通过ERNIE架构将医疗实体信息纳入这些模型中。我们在大规模emrQA数据集上训练我们的模型，并观察到我们的多任务实体丰富模型比基线BERT模型更好地泛化到释义问题~5%。
2021-02-20 cs.AI cs.CL cs.LG
Do Large Language Models Perform Latent Multi-Hop Reasoning without Exploiting Shortcuts?
Google DeepMind（谷歌DeepMind）；UCL（伦敦大学学院）；Google Research（谷歌研究）；Tel Aviv University（特拉维夫大学）
研究LLMs在不利用捷径时进行潜在多跳推理的能力，构建无捷径数据集SOCRATES，发现其推理能力因查询类型而异，且潜在与显式推理间存在显著差距。
2025-05-31 cs.CL
Synthetic Query Generation using Large Language Models for Virtual Assistants
Instituto Superior Técnico（高等技术学院）；Apple（苹果公司）
本文探索利用LLMs为虚拟助人生成合成语音查询，证明其比模板方法更冗长且能引用实体细节，并与真实用户查询相似、可检索相关实体，二者互补。
2024-06-10 cs.AI cs.CL cs.IR
Grounding Language Models for Visual Entity Recognition
Rice University（莱斯大学）；Microsoft STCA（微软STCA）
提出 AutoVER 自回归模型，通过检索增强受限生成与困难负样本对比训练，在 Oven-Wiki 基准上显著提升了视觉实体识别的域内外及推理查询性能。
2024-07-26 cs.CL cs.CV
A retrieval conditioned rebinding circuit for dynamic entity tracking in large language models
Saarland University（萨尔兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
通过因果干预识别出大语言模型中实现动态状态追踪的检索条件重绑定机制，该机制由紧凑的注意力头电路编码并恢复绑定信息，在不同模型家族中表现不同。
2026-09-14 cs.AI cs.CL
A Benchmark and Robustness Study of In-Context-Learning with Large Language Models in Music Entity Detection
Berlin School of Library and Information Science（柏林图书馆与信息科学学院）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本研究提出新数据集，通过上下文学习评估大语言模型在音乐实体检测中的性能，发现LLMs优于小模型，且实体暴露影响显著。
2024-12-16 cs.CL cs.MM
Adaptive Graph Refinement and Label Propagation with LLMs for Cost-Effective Entity Resolution
Hong Kong Baptist University（香港 Baptist 大学）；Zhejiang University（浙江大学）
提出Alper框架，通过迭代概率标签传播整合匹配与聚类，自适应融合图传播弱信号与LLM强查询，在预算约束下最大化边际增益，实现高效实体解析。
2026-05-25 cs.AI cs.CL
A Human Subject Study of Named Entity Recognition (NER) in Conversational Music Recommendation Queries
Deezer Research（Deezer研究院）
我们进行了一项人类主题的研究命名实体识别的嘈杂语料库的会话音乐推荐查询，许多不规则和新颖的命名实体。我们评估了人类NER语言行为在这些具有挑战性的条件下，并将其与当今最常见的NER系统进行了比较，微调Transformers。我们的目标是了解任务，以指导更好的评估方法和NER算法的设计。结果表明，在严格的评估模式下，NER对于人类和算法来说都是相当困难的;人类具有更高的精度，而模型的召回率更高，因为实体暴露，特别是在预训练期间;实体类型具有不同的错误模式（例如，艺术家频繁的打字错误）。发布的语料库超越了预定义的互动框架，可以支持未来的工作，在会话式音乐推荐。
2023-03-13 cs.CL
Parallel Instance Query Network for Named Entity Recognition
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Zhejiang University（浙江大学）
命名实体识别是自然语言处理中的一项基本任务。最近的作品对待命名实体识别作为一个阅读理解任务，手动构建特定类型的查询提取实体。这一模式存在三个问题。首先，特定于类型的查询只能提取一种类型的实体，这是低效的。第二，不同类型实体的提取是孤立的，忽略了它们之间的依赖关系。第三，查询构造依赖于外部知识，难以应用于具有数百种实体类型的现实场景。为了解决这些问题，我们提出了并行实例查询网络（PIQN），它建立了全局和可学习的实例查询，以并行的方式从句子中提取实体。每个实例查询预测一个实体，通过同时提供所有实例查询，我们可以并行查询所有实体。实例查询不是从外部知识构造的，而是可以在训练期间学习它们不同的查询语义。为了训练模型，我们将标签分配视为一对多线性分配问题（LAP），并以最小的分配成本动态地将黄金实体分配给实例查询。在嵌套和平面NER数据集上的实验表明，我们提出的方法优于以前的最先进的模型。
2022-03-20 cs.CL
Entity Linking for Queries by Searching Wikipedia Sentences
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Microsoft Research Asia（微软亚洲研究院）；Shandong University（山东大学）
我们提出了一个简单而有效的方法来连接查询中的实体。其核心思想是从维基百科文章中搜索与查询相似的句子，并直接使用相似句子中的人工标注实体作为查询的候选实体。然后，我们采用了一组丰富的功能，如链接概率，上下文匹配，词嵌入，以及候选实体之间的相关性，以及它们的相关实体，在一个基于回归的框架下对候选人进行排名。我们的方法的优点在于两个方面，这有助于排名过程和最终的链接结果。首先，它可以通过过滤掉与查询中的词不相关的实体来大大减少候选实体的数量。其次，我们可以获得查询敏感的先验概率，除了静态链接概率来自所有维基百科的文章。我们在两个基准数据集上进行了实体链接查询的实验，即ERD14数据集和GERDAQ数据集。实验结果表明，我们的方法优于国家的最先进的系统，并在ERD 14数据集和GERDAQ数据集上的F1收益率分别为75.0%和56.9%。
2017-05-18 cs.CL
QUEST: A Retrieval Dataset of Entity-Seeking Queries with Implicit Set Operations
University of Pennsylvania（宾夕法尼亚大学）；Google DeepMind（谷歌DeepMind）
本文构建了QUEST数据集，包含3357条带隐式集合运算的实体检索查询，并分析发现现代检索系统在否定、合取及其组合运算上表现不佳。
2023-05-31 cs.CL
Representation Learning Models for Entity Search
我们专注于学习分布式表示实体搜索查询，命名实体，和他们的简短描述的问题。利用我们的表示学习模型，实体搜索查询、命名实体和描述可以表示为低维向量。我们的目标是开发一个简单而有效的模型，可以使查询相关实体的分布式表示类似于向量空间中的查询。因此，我们提出了三种学习策略，它们之间的区别主要在于如何处理实体与其描述之间的关系。我们分析了每种学习策略的优点和缺点，并在包含四种命名实体的公共数据集上验证了我们的方法，即，电影、电视节目、餐馆和名人。实验结果表明，我们提出的方法可以适应不同类型的实体搜索查询，并优于目前最先进的方法基于关键字匹配和香草word2vec模型。此外，所提出的方法可以快速训练，并很容易扩展到其他类似的任务。
2017-01-15 cs.CL
AKEM: Aligning Knowledge Base to Queries with Ensemble Model for Entity Recognition and Linking
Center for Intelligence Science and Technology（智能科学与技术中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出 AKEM 方法解决 NLPCC 2015 实体识别与链接挑战，通过扩充知识库提升召回率，利用支持向量回归和多重加性回归树过滤候选实体，并结合规则优化精确率，最终取得 0.535 的 F1 分数。
2023-09-13 cs.CL cs.IR
UM6P-CS at SemEval-2022 Task 11: Enhancing Multilingual and Code-Mixed Complex Named Entity Recognition via Pseudo Labels using Multilingual Transformer
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）；University of Sherbrooke（舍布鲁克大学）
构建现实世界中复杂的命名实体识别（NER）系统是一项具有挑战性的任务。这是由于出现在各种上下文中的命名实体的复杂性和模糊性，例如短输入句子，新兴实体和复杂实体。此外，现实世界的查询大多是畸形的，因为它们可能是代码混合或多语言的，以及其他情况。在本文中，我们介绍了我们提交的系统多语言复杂命名实体识别（MultiCoNER）共享任务。我们的方法复杂的NER多语言和代码混合查询，依赖于多语言Transformer XLM-RoBERTA提供的上下文表示。除了基于CRF的令牌分类层之外，我们还引入了跨度分类损失来识别命名实体跨度。此外，我们使用自训练机制从大型未标记数据集生成弱注释数据。我们提出的系统分别在多语言和代码混合MultiCoNER的曲目中排名第6和第8。
2022-04-28 cs.CL
Server-side Rescoring of Spoken Entity-centric Knowledge Queries for Virtual Assistants
Apple（苹果公司）
本文研究虚拟助手富实体口语查询的服务器端LM重打分，融合端侧与服务器端信号及多模型，实现23%–35%的WER相对改善。
2023-11-02 cs.CL cs.SD eess.AS
CoLoTa: A Dataset for Entity-based Commonsense Reasoning over Long-Tail Knowledge
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出CoLoTa数据集，包含3,300个问答和声明验证查询，用于评估LLM和KGQA方法在长尾实体上的常识推理能力及幻觉鲁棒性，实验表明现有方法在此类任务上表现严重不足。
2025-04-20 cs.CL
Dynamic Injection of Entity Knowledge into Dense Retrievers
Studio Ousia（Ousia工作室）；RIKEN AIP（理化学研究所AIP）；SB Intuitions；The University of Tokyo（东京大学）
针对密集检索器实体知识不足的问题，提出基于BERT的KPR，通过上下文-实体注意力层和动态实体嵌入融入外部知识，无需重训即提升检索准确率，并在多个数据集上达到最优性能。
2025-09-08 cs.CL
Be Concise and Precise: Synthesizing Open-Domain Entity Descriptions from Facts
Rutgers University - New Brunswick（罗格斯大学新不伦瑞克分校）
尽管是事实信息的巨大存储库，但跨域知识图谱，如维基数据和谷歌知识图谱，仅稀疏地提供对实体的简短概括性描述。这种简要识别实体最明显特征的描述为读者提供了几乎即时的了解他们所呈现的实体类型的信息。它们还可以帮助完成命名实体消歧、本体类型确定和回答实体查询等任务。鉴于知识图谱中的实体数量迅速增加，从底层事实信息中全自动合成简洁的文本描述是必不可少的。为此，我们提出了一种新的事实到序列的编码器-解码器模型，具有合适的复制机制，以生成简洁而精确的实体文本描述。在深入的评估中，我们证明了我们的方法显着优于最先进的替代品。
2019-04-16 cs.CL
Space-Efficient Representation of Entity-centric Query Language Models
Apple（苹果公司）
虚拟助理利用自动语音识别（ASR）来帮助用户回答以实体为中心的查询。然而，口语实体识别是一个困难的问题，由于大量的频繁变化的命名实体。此外，当在设备上执行ASR时，可用于识别的资源受到限制。在这项工作中，我们调查使用概率语法作为语言模型内的有限状态转换器（FST）的框架。我们引入了一个确定性近似概率文法，避免了显式扩展的非终端在模型创建时，直接集成的FST框架，是互补的n-gram模型。我们获得了10%的相对字的出错率改善长尾实体查询相比，当一个类似大小的n-gram模型使用我们的方法。
2022-06-29 cs.AI cs.CL
Self-Adaptive Named Entity Recognition by Retrieving Unstructured Knowledge
NTT Human Informatics Laboratories, NTT Corporation（NTT公司NTT人类信息学实验室）；The University of Tokyo（东京大学）；Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）
针对目标领域 NER 依赖昂贵训练数据或知识库的问题，提出以低置信实体为查询检索非结构化知识并修正预测的两阶段自适应模型，在 CrossNER 上 F1 提升 2.35 分。
2023-06-06 cs.CL
Natural Language Querying System Through Entity Enrichment
EnnovLabs（恩诺夫实验室）；INSA CVL（中央卢瓦尔河谷国立应用科学学院）
本文提出一种基于实体增强的自然语言查询系统，将自然语言问题转换为数据库查询，并通过逻辑范式处理数据库以保证对不同数据库模型的适应性，初步实验验证了其良好精度。
2024-10-21 cs.CL cs.DB
Record Deduplication for Entity Distribution Modeling in ASR Transcripts
Alexa AI, Amazon.com Inc（亚马逊公司Alexa AI）
针对语音助手实体集更新及ASR识别错误导致实体分布难获取的问题，提出用记录去重技术从ASR输出建模真实实体分布，可检索95%错识实体，搭配上下文偏置能降低5%相对词错误率。
2023-06-09 cs.CL
Context-aware Deep Model for Entity Recommendation in Search Engine at Alibaba
Alibaba Group（阿里巴巴集团）
实体推荐通过帮助搜索用户为给定的查询找到相关的实体来为搜索用户提供改善的体验，已经成为当今搜索引擎不可或缺的功能。现有的研究通常只考虑显式实体的查询。它们通常无法处理没有实体的复杂查询，例如“什么食物适合寒冷的天气”，因为它们的模型无法推断输入文本的潜在含义。在这项工作中，我们认为，上下文传递有价值的证据，可以促进查询的语义建模，并考虑到实体推荐。为了更好地对查询和实体的语义进行建模，我们与关注的深度神经网络一起学习查询和实体的表示。我们评估我们的方法使用大规模的，现实世界的搜索日志，从一个广泛使用的商业中文搜索引擎。我们的系统已经部署在神马搜索引擎中，你可以在阿里巴巴的UC浏览器中获取它。在线A/B测试结果表明，点击率的印象效率提高了5.1%，页面浏览量增加了5.5%。
2019-09-06 cs.AI cs.CL cs.IR
Intent Detection and Entity Extraction from BioMedical Literature
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；Columbia University（哥伦比亚大学）
本文实证评估生物医学文本的意图检测与命名实体识别，证明监督微调的PubMedBERT等模型仅需5个样本即可在NER上超越ChatGPT。
2024-08-05 cs.CL
Query2Particles: Knowledge Graph Reasoning with Particle Embeddings
HKUST（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
在缺失边的不完备知识图上进行复杂的逻辑查询是知识图谱推理的一个基本而重要的任务。查询嵌入方法通过将查询和实体联合编码到同一个嵌入空间来回答这些查询。然后根据实体嵌入与查询嵌入的相似度选择答案实体。由于复杂查询的答案是从子查询上的逻辑运算的组合中获得的，因此答案实体的嵌入可能并不总是遵循嵌入空间中的单峰分布。因此，它是具有挑战性的同时检索一组不同的答案从嵌入空间使用一个单一的和集中的查询表示，如向量或超矩形。为了更好地应对查询的多样化的答案，我们提出了Query 2 Particles（Q2 P），一个复杂的KG查询回答方法。Q2 P将每个查询编码为多个向量，称为粒子嵌入。通过这样做，可以使用实体嵌入和任何粒子嵌入之间的最大相似性从嵌入空间上的不同区域检索候选答案。同时，定义了相应的神经逻辑运算，以支持其对任意一阶逻辑查询的推理。实验结果表明，Query 2 Particles在FB 15 k、FB 15 K-237和NELL知识图谱上的复杂查询应答任务上达到了最先进的性能。
2022-04-27 cs.CL
Leveraging Frequent Query Substructures to Generate Formal Queries for Complex Question Answering
Nanjing University（南京大学）
形式化查询生成的目的是在给定实体和关系链接结果的情况下，为知识库上的问答生成正确的可执行查询。目前的方法为整个问题构建通用的释义或排名模型，这可能会在生成复杂的长尾问题的查询时失败。在本文中，我们提出了SubQG，一个新的查询生成方法的基础上频繁的查询子结构，这有助于排名现有的（但不重要的）查询结构或建立新的查询结构。我们在两个基准数据集上的实验表明，我们的方法显着优于现有的，特别是对于复杂的问题。此外，它实现了有限的训练数据和嘈杂的实体/关系链接结果有前途的性能。
2019-08-29 cs.AI cs.CL
Improving Content Retrievability in Search with Controllable Query Generation
Spotify（声田）
在线平台的一个重要目标是实现内容发现，即允许用户找到他们不熟悉的目录实体。利用搜索引擎发现实体（例如书籍）的先决条件是该实体是可检索的，即，存在系统将在顶部结果中显现这样的实体的查询。然而，机器学习的搜索引擎具有高的可检索性偏差，其中大多数查询返回相同的实体。这部分是由于狭义意图查询的优势，其中用户使用已知实体的标题创建查询，例如在书籍搜索中“哈利波特”。相比之下，用户想要发现新实体的广泛查询的数量很小，例如在音乐搜索中“具有大气感觉的冷抒情电子乐”，并且对他们可能找到的内容具有更高的容忍度。我们在这里集中在两个因素，有一个负面影响的检索的实体（I）的训练数据用于稠密检索模型和（II）的分布在系统中发出的窄和宽的意图查询。我们提出了CtrlQGen，一种方法，生成查询所选择的潜在意图狭窄或广泛。我们可以使用CtrlQGen通过生成由各种合成查询组成的稠密检索模型的训练数据来改进因子（I）。CtrlQGen还可以通过向用户建议具有更广泛意图的查询来处理因素（II）。我们的研究结果对音乐，播客和书籍领域的数据集显示，我们可以显着降低检索偏差的稠密检索模型时，使用CtrlQGen。首先，通过使用生成的查询作为密集模型的训练数据，我们使9%的实体可检索（从零到非零检索）。其次，通过向用户建议更广泛的查询，我们可以在最好的情况下使12%的实体可检索。
2023-03-21 cs.CL cs.IR cs.LG
Intent Identification and Entity Extraction for Healthcare Queries in Indic Languages
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；University of Maryland, College Park（马里兰大学帕克分校）；Carnegie Mellon University（卡内基梅隆大学）
在印度等发展中国家，资源匮乏的语言的数据稀缺和技术限制对医疗保健领域复杂的NLU系统的发展构成了威胁。为了评估医疗保健领域各种最先进的语言模型的现状，本文首先提出了两个不同的医疗保健数据集，Indian Healthcare Query Intent-WebMD和1 mg（IHQID-WebMD和IHQID-1 mg）和一个真实世界的印度医院查询数据（英语和多种印度语言）（印地语、孟加拉语、泰米尔语、泰卢固语、马拉地语和古吉拉特语），它们用查询意图和实体进行注释。我们的目标是检测查询意图并提取相应的实体。我们进行了广泛的实验，一组模型在各种现实的设置和探索两种情况下的基础上访问英语数据（成本较低）和访问目标语言数据（更昂贵）。通过实证分析，我们分析了具体的实际相关性。结果，表示在整体F1分数方面表明，我们的方法是实际有用的，以确定意图和实体。
2023-02-19 cs.CL cs.IR
Evaluating Entity Disambiguation and the Role of Popularity in Retrieval-Based NLP
University of California, Irvine（加州大学欧文分校）；Apple（苹果公司）
检索是开放域NLP任务的核心组件。在开放域任务中，多个实体可以共享一个名称，这使得消歧成为一个固有但未充分探索的问题。我们提出了一个评估基准，评估这些检索器，我们称之为Ambibrium实体检索（AmbER）集的实体消歧能力。我们将AmbER集定义为共享名称以及关于这些实体的查询的实体集合。AmbER集覆盖了多义名称的实体集，是一个具有挑战性的实体消歧测试。我们为三个流行的开放域任务创建AmbER集：事实检查，插槽填充和问答，并评估一组不同的检索器。我们发现，寻回者表现出受欢迎的偏见，显着表现不佳的罕见实体，共享一个名字，例如，他们在查询同一名称下的不太受欢迎的实体时检索错误文档的可能性是两倍。AmbER集上的这些实验显示了它们作为评估工具的实用性，并突出了流行的检索系统的弱点。
2021-06-12 cs.CL cs.LG
Predicting Entity Popularity to Improve Spoken Entity Recognition by Virtual Assistants
Apple（苹果公司）
我们专注于提高有效性的虚拟助理（VA）在认识到新兴实体的口头查询。我们引入了一种方法，使用历史用户交互来预测哪些实体将获得流行并成为趋势，然后将预测集成到VA的自动语音识别（ASR）组件中。实验表明，我们提出的方法的结果在一个相对减少20%的错误出现的实体名称的话语，而不会降低系统的整体识别质量。
2020-05-26 cs.CL cs.IR
MultiCoNER: A Large-scale Multilingual dataset for Complex Named Entity Recognition
我们提出了MultiCoNER，一个用于命名实体识别的大型多语言数据集，涵盖了11种语言的3个领域（Wiki句子，问题和搜索查询），以及多语言和代码混合子集。该数据集旨在代表NER中的当代挑战，包括低上下文场景（短文本和无内容文本），电影标题等语法复杂的实体以及长尾实体分布。这2600万个令牌数据集是从公共资源中编译而来的，使用了基于语义的句子采样、模板提取和开槽以及机器翻译等技术。我们在数据集上应用了两个NER模型：一个是基准XLM-RoBERTa模型，另一个是利用地名词典的最先进的GEMNET模型。基线达到中等性能（宏观F1 =54%），突出了我们数据的难度。GEMNET使用地名录，改进显著（宏观F1的平均改进=+30%）。MultiCoNER甚至对大型预训练语言模型也提出了挑战，我们相信它可以帮助进一步研究构建强大的NER系统。MultiCoNER可在https://registry.opendata.aws/multiconer/上公开获取，我们希望此资源将有助于推进NER各个方面的研究。
2022-08-30 cs.CL
Learning from Medical Entity Trees: An Entity-Centric Medical Data Engineering Framework for MLLMs
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, China（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学，中国）；ByteDance（字节跳动）；Northeastern University（东北大学）
本文提出以实体为中心的医疗数据工程框架，通过构建医学实体树，提升多模态大语言模型在医疗领域的表现，通过实体引导检索、双重过滤和知识感知数据合成等方法，增强模型处理复杂临床问题的能力。
2026-04-28 cs.CL
FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm
School of Management, University of Science and Technology of China（中国科学技术大学管理学院）
金融命名实体识别（FinNER）是金融文本信息抽取领域的一个具有挑战性的课题，其目的是从非结构化的金融文本中抽取大量的金融知识。使用序列标记框架来实现FinNER任务被广泛接受。然而，这样的序列标注模型不能充分利用文本中的语义信息。相反，我们制定了FinNER任务作为一个机器阅读理解（MRC）的问题，并提出了一个新的模型称为FinBERT-MRC。该算法利用精心设计的查询引入重要的先验信息，提取目标实体的起始索引和结束索引，无需条件随机场（CRF）等解码模块。我们在公开的中国金融数据集ChFinAnn和真实的商业数据集AdminPunish上进行了实验。FinBERT-MRC模型在两个数据集上的平均F1得分分别为92.78%和96.80%，与BiLSTM-CRF，BERT-Tagger和BERT-CRF等序列标记模型相比，平均F1增益分别为+3.94%和+0.89%。源代码可在www.example.com上获得。
2022-05-31 cs.CL
Biomedical named entity recognition using BERT in the machine reading comprehension framework
Dalian University of Technology（大连理工大学）；Beijing Institute of Health Administration and Medical Information（北京卫生健康经济研究和医学信息研究所）
从文献中识别生物医学实体是一个具有挑战性的研究热点，它是将大量存在于非结构化文本中的生物医学知识提取为结构化格式的基础。利用序列标记框架实现生物医学命名实体识别（BioNER）是目前常用的方法。然而，这种方法往往不能充分利用数据集中的语义信息，并且性能并不总是令人满意的。在这项工作中，而不是把BioNER任务作为一个序列标记问题，我们制定了一个机器阅读理解（MRC）的问题。该公式可以利用精心设计的查询引入更多的先验知识，并且不再需要诸如条件随机场（CRF）的解码过程。我们在六个BioNER数据集上进行了实验，实验结果证明了该方法的有效性。我们的方法在BC 4CHEMD、BC 5CDR-Chem、BC 5CDR-Disease、NCBI-Disease、BC 2GM和JNLPBA数据集上实现了最先进的（SOTA）性能，分别实现了92.92%、94.19%、87.83%、90.04%、85.48%和78.93%的F1评分。
2021-05-17 cs.CL
DOCENT: Learning Self-Supervised Entity Representations from Large Document Collections
U. of Southern California（南加州大学）；Google Research（谷歌研究院）
本文探讨了从大量的关联文本中学习丰富的自监督实体表示。一旦经过预训练，这些模型就可以应用于多个以实体为中心的任务，如排名检索、知识库完成、问答等。与其他仅基于句子中的局部上下文来获取自我监督信号的方法不同，我们从根本上扩展了上下文的概念，以包括与实体相关的任何可用文本。这使得一种新的强大的，高容量的表示，最终可以从多个文本源中提取有关实体的许多有用信息，而无需任何人为监督。我们提出了几种训练策略，与以前的方法不同，学习联合预测单词和实体-我们在TV-Movies领域的下游任务上进行实验比较的策略，例如来自用户评论和自然语言电影搜索的MovieLens标签预测。正如结果所证明的那样，我们的模型匹配或优于竞争基线，有时很少或根本没有微调，并且可以扩展到非常大的语料库。最后，我们公开我们的数据集和预训练模型。这包括Reviews 2 Movielens（见https://goo.gle/research-docent），将亚马逊电影评论（He和McAuley，2016）的多达1B单词语料库映射到MovieLens标签（Harper和Konstan，2016），以及Reddit电影建议（见https://urikz.github.io/docent）与自然语言查询和相应的社区推荐。
2021-02-26 cs.CL
Fusing Heterogeneous Factors with Triaffine Mechanism for Nested Named Entity Recognition
Tsinghua University（清华大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group（阿里巴巴集团）
嵌套实体由于其组合性而在许多领域中被观察到，这不能被广泛使用的序列标记框架容易地识别。一个自然的解决方案是将任务视为跨度分类问题。为了学习更好的跨度表示并提高分类性能，有效地集成异构因素至关重要，包括内部标记，边界，标签和相关跨度，这些因素可能有助于嵌套实体识别。为了融合这些异构因素，我们提出了一种新的三仿射机制，包括三仿射注意和评分。Triaffine attention使用边界和标签作为查询，并使用内部标记和相关的span作为span表示的键和值。Triaffine评分与用于分类的边界和跨度表示相互作用。实验结果表明，该方法优于以往的基于跨度的方法，在嵌套NER数据集GENIA和KBP 2017上获得了最新的$F_1$分数，在ACE 2004和ACE 2005上获得了相当的结果。
2022-04-02 cs.CL
Local Hypergraph-based Nested Named Entity Recognition as Query-based Sequence Labeling
Tsinghua University（清华大学）
嵌套命名实体的识别在许多领域引起了学术界越来越大的兴趣。我们使用一种新颖的基于局部超图的方法来解决该任务：我们首先提出开始令牌候选项并使用其周围上下文生成相应的查询，然后使用基于查询的序列标签模块为每个候选项形成局部超图。最后，利用一个端令牌估计器对超图进行校正，得到最终的预测结果。与基于跨度的方法相比，我们的方法是免费的跨度采样的高计算成本和丢失长实体的风险。顺序预测使得在嵌套结构中更容易利用词序信息，并且使用局部超图构建更丰富的表示。实验表明，我们提出的方法优于所有以前的超图和序列标记方法与大的利润率在所有四个嵌套数据集。它在ACE 2004数据集上获得了最新的F1分数，并在其他三个嵌套NER数据集上获得了与以前最先进的方法竞争的F1分数：ACE 2005，GENIA和KBP 2017。
2022-05-22 cs.CL
Reducing the impact of out of vocabulary words in the translation of natural language questions into SPARQL queries
University of Calabria（卡拉布里亚大学）
对于不熟悉SPARQL查询语言的用户来说，公共知识库中的大量可用信息可能很复杂。SPARQL中自然语言问题的自动翻译有可能克服这个问题。现有的基于神经机器翻译的系统非常有效，但在识别训练集的词汇表之外（OOV）的单词时容易失败。在查询大型本体时，这是一个严重的问题。在本文中，我们结合命名实体链接，命名实体识别，神经机器翻译执行自动翻译的自然语言的问题到SPARQL查询。我们通过在Monument、QALD-9和LC-QuAD v1上运行实验，证明了我们的方法比现有方法对OOV词更有效和更有弹性，这些数据集是DBpedia上问答的知名数据集。
2021-11-04 cs.CL cs.IR cs.LG
Entity Type Recognition using an Ensemble of Distributional Semantic Models to Enhance Query Understanding
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；CareerBuilder
我们提出了一个集成的方法，在招聘领域的搜索查询实体进行分类。了解搜索查询中表示的实体类型（公司、技能、职位等）与传统的基于关键字的搜索相比，能够基于这些实体进行更智能的信息检索。因为搜索查询通常非常短，所以由于缺乏上下文信息，利用传统的词袋模型来识别实体类型将是不合适的。相反，我们的方法结合了不同来源的不同复杂性的线索，以收集真实世界的知识查询实体。我们通过两个模型采用查询实体的分布式语义表示：1）从维基百科等百科全书语料库中生成的上下文向量，以及2）使用word 2 vec从数百万个职位发布中生成的高维词嵌入向量。此外，我们的方法利用从WordNet获得的实体语言属性和从DBpedia提取的本体属性。我们评估我们的方法在凯业必达创建的数据集;美国最大的就业委员会。该数据集包含从数百万求职者/招聘人员搜索查询、职位发布和简历文档中提取的实体。在构造搜索实体的分布向量之后，我们使用监督机器学习来推断搜索实体类型。实证结果表明，我们的方法优于最先进的word 2 vec分布语义模型训练维基百科。此外，我们实现了97%的微平均F1分数使用建议的分布表示合奏。
2016-04-04 cs.CL cs.IR
Entity-Consistent End-to-end Task-Oriented Dialogue System with KB Retriever
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
在面向任务的端到端对话系统中，知识库的查询一直是一个难题。先前的序列到序列（Seq 2Seq）对话生成工作将KB查询视为对整个KB的关注，而不能保证生成的实体彼此一致。在本文中，我们提出了一种新的框架，查询知识库中的两个步骤，以提高生成的实体的一致性。在第一步中，灵感的观察，一个响应通常可以支持一个单一的KB行，我们引入了一个KB检索组件，显式返回最相关的KB行给定的对话历史。检索结果进一步用于Seq 2Seq响应生成模型中过滤无关实体，提高输出实体之间的一致性。在第二步中，我们进一步执行注意力机制来处理最相关的KB列。提出了两种方法，使训练的可行性，没有标记的检索数据，其中包括远程监督和Gumbel-Softmax技术。两个公开的面向任务的对话数据集上的实验表明，我们的模型的有效性优于基线系统，并产生实体一致的反应。
2019-09-18 cs.CL
Retrieving Multi-Entity Associations: An Evaluation of Combination Modes for Word Embeddings
Heidelberg University（海德堡大学）
词嵌入作为词之间语义关系的可学习表示已经得到了极大的关注，并且已经被证明改进了传统词表示的结果。然而，很少有人致力于使用嵌入检索的实体协会超越成对关系。在本文中，我们使用流行的嵌入方法训练向量表示的实体注释的新闻语料库，并评估其性能的任务预测实体参与新闻事件与传统的词共现网络作为基线。为了支持多个参与实体的事件查询，我们测试了一些嵌入向量的组合模式。虽然我们发现，即使是最好的组合模式词嵌入不完全达到完整的共现网络的性能，特别是对于罕见的实体，我们观察到，不同的嵌入方法模型不同类型的关系，从而表明集成方法的潜力。
2019-05-22 cs.CL cs.IR
Message Passing Query Embedding
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）；Elsevier（爱思唯尔）
知识图谱的表示学习的最新工作已经超越了链接预测的问题，以回答任意结构的查询。现有的方法是基于ad-hoc机制，需要训练与一组不同的查询结构。我们提出了一个更通用的架构，采用图神经网络编码的查询，其中节点对应于实体和变量的图形表示。我们的方法的一般性允许它编码一个更多样化的查询类型集相比，以前的工作。我们的方法表现出竞争力的性能对以前的模型，复杂的查询，并与这些模型相比，它可以回答复杂的查询时，训练链接预测。我们表明，该模型学习实体嵌入，捕捉实体类型的概念，而无需明确的监督。
2020-06-24 cs.AI cs.CL cs.LG
Conversational Entity Linking: Problem Definition and Datasets
Radboud University（拉德堡德大学）；University of Stavanger（斯塔万格大学）
会话系统中的用户话语的机器理解对于实现与用户的有吸引力和有意义的会话至关重要。实体链接是文本理解的手段之一，在信息检索的各种下游任务中被证明是有效的。在本文中，我们研究会话系统的实体链接。为了更好地理解EL在对话环境中的含义，我们分析了现有对话数据集中的大量对话，并使用众包注释了对概念，命名实体和个人实体的引用。基于注释对话，我们确定了会话实体连接的主要特征。此外，我们报告了传统EL系统在我们的会话实体链接数据集ConEL上的性能，并对这些方法进行了扩展，以更好地适应会话设置。与本文一起发布的资源包括注释数据集，众包设置的详细描述，以及各种EL系统产生的注释。这些新资源允许调查实体在对话中的角色与文档或孤立的短文本语句（如查询和推文）中的角色有何不同，并补充现有的对话数据集。
2021-05-11 cs.CL cs.IR
Multi-Grained Query-Guided Set Prediction Network for Grounded Multimodal Named Entity Recognition
School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；School of Atmospheric Sciences, Sun Yat-sen University（中山大学大气科学学院）；School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）；State Key Laboratory of Intelligent Game, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所智能游戏国家重点实验室）；Pazhou Lab（琶洲实验室）
提出MQSPN统一框架，通过可学习查询对齐文本与视觉区域，将GMNER重构为集合预测，解决模糊实体区分和曝光偏差问题，在基准上达到最先进性能。
2025-01-25 cs.AI cs.CL cs.CV
Entity-Centric Query Refinement
University of Washington（华盛顿大学）；Google Inc.（谷歌公司）
我们介绍了以实体为中心的查询细化的任务。给定一个输入查询，其答案是一个（可能很大的）实体集合，任务输出是一个小的查询细化集，旨在帮助用户进行有效的域探索和实体发现。我们提出了一种方法来创建用于此任务的训练数据集。对于一个给定的输入查询，我们使用现有的知识库分类作为候选人查询细化的来源，并选择一个最终的一组细化从这些候选人使用的搜索程序，旨在划分一组实体回答输入查询。我们证明，我们的方法确定的细化集，人类注释判断是有趣的，全面的，非冗余的。此外，我们发现在我们新构建的数据集上训练的文本生成模型能够为现有分类法未涵盖的新查询提供改进。我们的代码和数据可在https://github.com/google-research/language/tree/master/language/qresp上获得。
2022-09-15 cs.CL cs.IR
Database Entity Recognition with Data Augmentation and Deep Learning
Faculty of Science Ontario Tech University（科学学院， Ontario Tech 大学）；College of Engineering Northeastern University（工程学院， Northeastern 大学）
本文提出基于T5骨干网络与数据增强的数据库实体识别方法，通过序列标注和令牌分类双任务微调，在精确率和召回率上优于现有NER模型。
2025-08-26 cs.AI cs.CL cs.DB
Using Pause Information for More Accurate Entity Recognition
University of Michigan（密歇根大学）；Apple（苹果公司）
人机对话中的实体标签是会话助理中的自然语言理解（NLU）任务的组成部分。然而，当前的系统难以仅通过典型的文本输入使用来准确地解析口头查询，并且通常无法理解用户意图。语言学的研究发现，名词周围的停顿时间比动词周围的停顿时间更长，这是一种跨语言的倾向。我们证明，停顿的语言观察可以用来提高机器学习的语言理解任务的准确性。对来自商业语音助理的法语和英语话语中的停顿的分析示出了与实体跨度内相比，多令牌实体跨度边界周围的停顿持续时间的统计学显著差异。此外，与基于文本的NLU相比，我们应用暂停持续时间来丰富上下文嵌入，以改善实体的浅层解析。结果表明，我们提出的新的嵌入提高了相对出错率高达8%，始终在三个领域的法语，没有任何额外的注释或对齐成本的解析器。
2021-09-27 cs.CL cs.LG
Efficient Entity Candidate Generation for Low-Resource Languages
EPFL（洛桑联邦理工学院）
候选项生成是实体链接中的关键模块。它还在多个NLP任务中发挥着关键作用，这些任务已被证明可以有效地利用知识库。然而，它往往被忽视，在单语英语实体连接的文献，天真的方法获得了很好的性能。不幸的是，现有的英语方法不能成功地转移到资源贫乏的语言。本文对跨语言实体链接背景下的候选生成问题进行了深入的分析，重点关注低资源语言。在其他贡献中，我们指出在以前的作品中进行的评价的局限性。我们引入了一个表征的查询到类型的基础上，他们的困难，这提高了不同的方法的性能的可解释性。我们还提出了一个轻量级和简单的解决方案的基础上建设的指标，其设计是出于更复杂的迁移学习为基础的神经方法。在2个评估设置下对9个真实数据集进行的全面实证分析表明，我们的简单解决方案在几乎所有数据集和查询类型的质量和效率方面都优于最先进的方法。
2022-06-30 cs.AI cs.CL
TABi: Type-Aware Bi-Encoders for Open-Domain Entity Retrieval
Stanford University（斯坦福大学）
实体检索--在查询中检索有关实体提及的信息--是开放域任务（如问答或事实检查）中的关键步骤。然而，由于对流行实体的偏见，最先进的实体检索器难以检索模糊提及的稀有实体。在训练过程中描述知识图谱类型可以帮助克服流行度偏差，但存在几个挑战：（1）现有的基于类型的检索方法需要提及边界作为输入，但开放域任务在非结构化文本上运行，（2）基于类型的方法不应该损害整体性能，以及（3）基于类型的方法应该对噪声和缺失类型具有鲁棒性。在这项工作中，我们介绍了TABi，一种方法来共同训练双编码器上的知识图谱类型和非结构化文本的实体检索开放域的任务。TABi利用类型强制的对比损失来鼓励相似类型的实体和查询在嵌入空间中接近。TABi改进了Ambibrium Entity Retrieval（AmbER）集上稀有实体的检索，同时与最先进的检索器相比，在KILT基准测试中保持了开放域任务的强大整体检索性能。TABi对不完整的类型系统也很健壮，在训练数据集只有5%的类型覆盖率的情况下，改进了罕见实体检索。我们在https://github.com/HazyResearch/tabi上公开发布我们的代码。
2022-04-18 cs.CL cs.LG
Benchmarking Named Entity Disambiguation approaches for Streaming Graphs
命名实体消除歧义（NED）是处理自然语言文本的应用程序的中心任务。假设我们有一个基于图的知识库（以下称为知识图谱），其中节点表示各种真实世界实体，如人、位置、组织和概念。给定数据源，如社交媒体流和网页，实体链接是将从数据中提取的命名实体映射到知识图谱中的命名实体的任务。这是一项固有的艰巨任务，原因有几个。几乎所有这些数据源都是在没有任何正式本体的情况下生成的;输入的非结构化性质、有限的上下文以及多个实体映射到同一名称时所涉及的模糊性使这成为一项艰巨的任务。本报告着眼于两种采用两种不同方法的最先进系统：基于图形的实体准确在线消歧（AIDA）和采用统计推断方法的挖掘证据命名实体消歧（MENED）。我们使用2011年NIST文本分析会议（TAC）上的知识库人口（KBP）跟踪提供的数据集和查询来比较这两种方法。本报告首先概述了各自的方法，然后详细描述了实验装置。报告最后提出了我们在基准测试工作中的发现。
2014-07-14 cs.CL cs.IR
Extracting clinical concepts from user queries
Goergen Institute for Data Science（格根数据科学研究所）；University of Rochester（罗切斯特大学）
临床概念提取通常从临床命名实体识别（NER）开始。由于临床笔记和用户查询之间的结构差异，临床NER模型通常在注释的临床笔记上训练，因此倾向于在用户查询中标记临床实体。与临床笔记不同，用户查询通常不合语法且不连贯。在许多情况下，用户查询由多个临床实体组成，没有逗号或连词将它们分开。通过使用作为数据集的注释的临床笔记和合成的用户查询的混合物，我们适应了临床NER模型的基础上的BiLSTM-CRF架构标记临床实体在用户查询。我们的贡献如下：1）我们发现，当在合成的用户查询和临床笔记的混合物上训练时，NER模型在用户查询和临床笔记上都表现得更好。2)我们提供了一个端到端和易于实现的框架，从用户查询的临床概念提取。
2019-12-23 cs.CL cs.IR cs.LG
