Handling and extracting key entities from customer conversations using Speech recognition and Named Entity recognition
Pune Institute of Computer Technology(浦那计算机技术学院)
本文提出一个两阶段网络,先用最优语音识别将客户对话转为文本,再用NER BERT transformer模型提取订单号、具体问题等关键实体,以减少人工复查对话的工作量并提升客户体验。
2022-11-28 cs.CL cs.LG
Rethinking Annotation: Can Language Learners Contribute?
KAIST(韩国科学技术院);University of Minnesota(明尼苏达大学)
本文通过实验证明,中高级语言学习者在词典和机器翻译辅助下能为NLP基准数据集提供较准确标注,且标注过程可提升其语言能力,从而为难以招募母语者的语言开辟了构建基准数据集的新途径。
2023-05-29 cs.CL
Nested Named Entity Recognition via Second-best Sequence Learning and Decoding
Carnegie Mellon University(卡内基梅隆大学);Sony Corporation(索尼公司)
当实体名称中包含其他名称时,识别所有名称组合可能变得困难和昂贵。我们提出了一种新的方法来识别不仅最外层命名实体,而且内部嵌套的。我们设计了一个目标函数来训练神经模型,该神经模型将嵌套实体的标签序列视为其父实体范围内的第二最佳路径。此外,我们提供了解码方法的推理,提取实体迭代地从最外面的到内部的一个由外向内的方式。我们的方法没有额外的超参数,广泛用于平面命名实体识别任务的条件随机场为基础的模型。实验表明,我们的方法比现有的方法能够处理嵌套实体,实现F1分数85.82%,84.34%,和77.36%的ACE-2004,ACE-2005,和GENIA数据集,分别执行或至少以及。
2020-07-10 cs.CL
Using Domain Knowledge for Low Resource Named Entity Recognition
Beijing Institute of Technology(北京理工大学)
近年来,命名实体识别一直是自然语言处理领域的研究热点,而传统的深度学习方法需要大量的标注数据进行模型训练,这使得其不适合标注资源稀缺的领域。此外,现有的跨领域知识转移方法需要针对不同领域调整实体标签,从而增加了培训成本。针对这些问题,本文在一种中文命名实体识别处理方法的启发下,提出利用领域知识来提高资源匮乏地区命名实体识别的性能。我们主要应用的领域知识是领域词典和领域标注数据。我们使用字典信息来加强每个词的词嵌入和领域标记的数据,以加强识别效果。该模型避免了在不同领域的大规模数据调整,同时处理命名实体识别资源少。实验证明了该方法的有效性,在科技装备领域的数据集上取得了令人印象深刻的效果,F1得分与其他许多基线方法相比有了明显的提高。
2022-03-28 cs.CL
S-MART: Novel Tree-based Structured Learning Algorithms Applied to Tweet Entity Linking
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
非线性模型最近受到了很多关注,因为人们开始发现统计和嵌入特征的力量。然而,基于树的模型很少在结构化学习的背景下进行研究,尽管它们最近在各种分类和排名任务上取得了成功。在本文中,我们提出了S-MART,一个基于树的结构化学习框架的基础上,多加性回归树。S-MART特别适合处理具有密集特征的任务,并且可以用于在各种损失函数下学习许多不同的结构。我们将S-MART应用于推文实体链接的任务-推文信息抽取的核心组件,其目的是识别和链接名称提到知识库中的实体。针对任务的特殊结构,提出了一种新的推理算法.实验结果表明,S-MART显着优于国家的最先进的鸣叫实体链接系统。
2016-09-26 cs.CL
BoningKnife: Joint Entity Mention Detection and Typing for Nested NER via prior Boundary Knowledge
Peking University(北京大学);Microsoft Azure AI(微软Azure人工智能);Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院)
命名实体识别是自然语言处理中的一项关键任务,但大多数方法只针对平面实体,而忽略了许多场景中常见的嵌套结构。现有的嵌套实体识别方法大多遍历所有子序列,不仅代价高,效率低,而且没有很好地考虑对嵌套实体有重要意义的边界知识。在本文中,我们提出了一个联合实体提及检测和分类模型,通过先验边界知识(BoningKnife),以更好地处理嵌套NER提取和识别任务。BoningKnife由两个模块组成,MentionTagger和TypeClassifier。MentionTagger更好地利用边界知识,而不仅仅是实体开始/结束,以改善对嵌套级别和更长跨度的处理,同时生成高质量的提及候选项。TypeClassifier利用两级注意力机制来解耦不同嵌套级别的表示,并更好地区分实体类型。我们共同训练两个模块共享一个共同的表示和一个新的双信息关注层,这导致改进的表示集中在实体相关的信息。在不同数据集上的实验表明,我们的方法优于以前的最先进的方法,并取得86.41,85.46和94.2 F1分数ACE 2004,ACE 2005和NNE,分别。
2021-07-20 cs.CL
Unsupervised Named Entity Disambiguation for Low Resource Domains
Indian Institute of Technology, Bhilai(布巴内斯瓦尔印度理工学院)
针对低资源领域实体消歧需适配领域知识库、缺训练数据的问题,提出基于组斯坦纳树的无监督方法,利用候选实体上下文相似度消歧,在多领域数据集上Precision@1较现有最优无监督方法平均提升超40%。
2024-12-13 cs.CL
$k$NN-NER: Named Entity Recognition with Nearest Neighbor Search
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学);Amazon Alexa AI(亚马逊Alexa人工智能)
受NLP~ \citep{khandelwal2019generalization,khandelwal2020nearest,meng2021gnn}中检索增强方法的最新进展的启发,本文提出了一个$k$最近邻NER($k$ NN-NER)框架,该框架通过分配从训练集中检索到的$k$最近邻来增强实体标签的分布。这种策略使模型更有能力处理长尾情况,以及更好的少样本学习能力。$k$ NN-NER在训练阶段不需要额外的操作,并且通过将$k$最近邻搜索插入到普通NER模型中,$k$ NN-NER始终优于其普通模型:我们在中国微博数据集上实现了最先进的F1得分72.03(+1.25),并在各种广泛使用的NER基准测试中改进了结果。此外,我们表明,$k$ NN-NER可以达到可比的结果与香草NER模型的训练数据量减少40\%。代码可在\url{https://github.com/ShannonAI/KNN-NER}获得。
2022-03-31 cs.CL
Document-Level Zero-Shot Relation Extraction with Entity Side Information
School of Information Technology, Monash University Malaysia(墨尔本大学马来西亚分校信息科技学院);Valiantlytix
本文提出DocZSRE-SI方法,通过利用实体侧信息提升低资源语言中零 shot 关系抽取的性能。
2026-01-12 cs.CL
Incorporating Dictionaries into Deep Neural Networks for the Chinese Clinical Named Entity Recognition
East China University of Science and Technology(华东理工大学);Shanghai Hospital Development Center(上海医院发展中心)
临床命名实体识别(Clinical Named Entity Recognition,CNER)的目的是对电子健康档案中的疾病、症状、治疗、检查、身体部位等临床术语进行识别和分类,是临床和转化研究的基础和关键任务。近年来,深度神经网络在命名实体识别和许多其他自然语言处理(NLP)任务中取得了重大成功。这些算法大多是端到端训练的,可以从大规模标记数据集中自动学习特征。然而,这些数据驱动的方法通常缺乏处理罕见或不可见实体的能力。以前的统计方法和特征工程实践已经证明,人类知识可以为处理罕见和不可见的情况提供有价值的信息。在本文中,我们解决这个问题,将字典到深神经网络的中文CNER任务。提出了两种不同的扩展双向长短期记忆(Bi-LSTM)神经网络的架构和五种不同的特征表示方案来处理该任务。在CCKS-2017 Task 2基准数据集上的计算结果表明,与现有的深度学习方法相比,该方法具有很强的竞争力.
2018-04-13 cs.CL
A Fair and In-Depth Evaluation of Existing End-to-End Entity Linking Systems
University of Freiburg(弗赖堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对现有实体链接系统评估的不足,本文提出更公平深入的评估方法,分析多种端到端链接器的优缺点,并发布两个新基准以解决现有基准的偏差问题。
2023-11-17 cs.CL
Harnessing Generative LLMs for Enhanced Financial Event Entity Extraction Performance
Dongguk University(东国大学)
本文提出利用生成式大语言模型,通过参数高效微调将金融事件实体抽取转化为文本到结构化输出的生成任务,在CCKS 2019数据集上取得最优F1分数。
2025-04-20 cs.CL
MultiCoNER v2: a Large Multilingual dataset for Fine-grained and Noisy Named Entity Recognition
Amazon.com, Inc.(亚马逊公司)
提出MULTICONER V2多语言细粒度命名实体识别数据集,涵盖12种语言33个类别,通过XLM-RoBERTa基线评估发现细粒度分类和实体噪声对性能的显著影响。
2023-10-20 cs.AI cs.CL
Recurrent One-Hop Predictions for Reasoning over Knowledge Graphs
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院);LMU Munich(慕尼黑大学)
大规模知识图谱(KG),如Freebase,通常是不完整的。因此,多跳(mh)KG路径上的推理是问答或需要关于世界的知识的其他NLP任务所需的重要能力。mh-KG推理包括不同的场景,例如,给定一个头实体和一条关系路径,预测尾实体;或给定两个实体之间由一些关系路径连接,预测它们之间的未知关系。我们提出了ROP,循环一跳预测器,通过使用循环神经网络和实体和关系的向量表示来预测mh-KB路径的每一步的实体,具有两个好处:(i)在每一步通过训练信号更新实体和关系表示的同时对任意长度的mh路径进行建模;(ii)在统一的框架中处理不同类型的mh-KG推理。我们的模型显示了两个重要的多跳KG推理任务的最新技术:知识库完成和路径查询。
2018-06-12 cs.CL
Reading Comprehension using Entity-based Memory Network
Kyoto University(京都大学)
本文提出基于实体的记忆网络,通过维护实体状态记忆池来处理细粒度信息和复杂关系,并在多个问答任务上取得满意效果。
2017-02-01 cs.AI cs.CL
Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá
Saarland University(萨尔兰大学);Heidelberg University(海德堡大学)
缺乏标记的训练数据限制了自然语言处理工具的开发,例如用于发展中国家使用的许多语言的命名实体识别。远程和弱监督等技术可以用于以(半)自动方式创建标记数据。此外,为了减轻自动注释中错误的一些负面影响,可以集成噪声处理方法。预训练的词嵌入是大多数神经命名实体分类器的另一个关键组成部分。随着更复杂的上下文词嵌入的出现,模型大小和性能之间出现了一个有趣的权衡。虽然这些技术已被证明在高资源环境中工作良好,但我们想研究它们在低资源场景中的表现。在这项工作中,我们执行命名实体识别的豪萨语和Yorkebá,两种语言,广泛使用在几个发展中国家。我们评估了不同的嵌入方法,并表明远程监督可以成功地利用在一个现实的低资源的情况下,它可以增加一倍以上的分类器的性能。
2020-03-31 cs.CL cs.LG
Is Word Error Rate Enough? Rethinking Privacy Evaluation in Speech with Entity-Aware Metrics
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所 (IIS));Jade University of Applied Sciences(亚德应用科学大学);Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
本研究将实体感知隐私指标从自然语言处理适配到语音隐私领域,评估两种混淆技术对命名实体的保护效果,并发现实体丰富数据微调对不同实体类别的攻击性能影响不一,最后给出基于时间对齐的指标选择建议。
2026-10-08 cs.CL cs.MM cs.SD
A Unified MRC Framework for Named Entity Recognition
Department of Computer Science and Technology, Zhejiang University(浙江大学计算机科学技术学院)
本文提出一种统一的命名实体识别框架,通过将NER任务转化为机器阅读理解任务,有效解决嵌套NER中的实体重叠问题,并在多个数据集上取得显著性能提升。
2026-07-29 cs.CL
Named Entity Recognition in Historical Italian: The Case of Giacomo Leopardi's Zibaldone
Department of Humanities, University of Macerata(人文学院,马切拉塔大学);Department of Political Sciences, Communication and International Relations, University of Macerata(政治科学、传播与国际关系学院,马切拉塔大学)
针对历史意大利语文本NER评估缺失,提出基于莱奥帕尔迪《杂记》的含2899个实体的数据集,实验表明微调NER模型优于指令微调LLM。
2025-05-26 cs.AI cs.CL
Rethinking Language Models as Symbolic Knowledge Graphs
Megagon Labs(Megagon实验室)
本研究针对语言模型能否涵盖知识图谱复杂拓扑与语义属性的评估空白,构建9项定性基准及对应指标,经多规模模型评测发现其事实回忆潜力可观但拓扑语义捕捉能力受限,且大模型并非全面优于小模型。
2023-08-25 cs.AI cs.CL cs.LG
MM-BizRAG: Rethinking Multimodal Retrieval-Augmented Generation for General Purpose Enterprise Q&A
JPMorgan Chase & Co.(摩根大通公司);Georgia Institute of Technology(佐治亚理工学院)
提出MM-BizRAG框架,通过文档结构感知分割和布局感知解析,结合统一LLM驱动的工件转换与推理时多模态组装,无需微调即可提升企业文档问答性能,在异构企业数据集和两个公开基准上超越基线最多32个百分点。
2026-06-02 cs.AI cs.CL
Integrating a Heterogeneous Graph with Entity-aware Self-attention using Relative Position Labels for Reading Comprehension Model
Semnan University(塞姆南大学)
本文提出一种无需外部知识的注意力模式,将异构图推理知识与LUKE实体感知自注意力结合,并在ReCoRD和WikiHop上超越LUKE及LUKE-Graph模型。
2024-01-13 cs.CL cs.LG
Linking Entities to Unseen Knowledge Bases with Arbitrary Schemas
Amazon AI(亚马逊人工智能(Amazon AI))
在实体链接中,原始文本中提到的命名实体将根据知识库(KB)进行消歧。这项工作的重点是链接到看不见的知识库,没有训练数据,其模式是未知的训练期间。我们的方法依赖于将具有多个属性值对的任意KB中的实体灵活转换为平面字符串的方法,我们将其与最先进的模型结合使用以进行零次(zero-shot)链接。为了提高我们的模型的泛化能力,我们使用了两种正则化方案,基于实体属性的洗牌和看不见的属性的处理。在英语数据集上进行的实验表明,我们的模型在CoNLL数据集上进行训练,并在TAC-KBP 2010数据集上进行测试,结果表明,我们的模型比基线模型的准确度高出12个点以上。与之前的工作不同,我们的方法还允许无缝组合多个训练数据集。我们通过添加一个完全不同的数据集(Wikia)以及增加TAC-KBP 2010训练集的训练数据来测试这种能力。我们的模型在各方面都表现良好。
2020-10-21 cs.CL
SCANNER: Knowledge-Enhanced Approach for Robust Multi-modal Named Entity Recognition of Unseen Entities
POSTECH(浦项科技大学);NAVER Cloud(NAVER云);HJ AILAB(HJ人工智能实验室)
本文提出SCANNER模型,通过两阶段实体候选检测与知识增强以及自蒸馏方法,提升多模态命名实体识别对未见实体和噪声标注的鲁棒性,并在多个基准上取得领先性能。
2024-04-02 cs.AI cs.CL
DeformAr: Rethinking NER Evaluation through Component Analysis and Visual Analytics
University of Sussex(萨塞克斯大学)
DeformAr通过组件分析和可视化分析,首次针对阿拉伯语NER系统提出可解释性工具,解决跨语言性能差异问题。
2025-11-30 cs.AI cs.CL cs.LG
Large Language Models for Judicial Entity Extraction: A Comparative Study
National University of Singapore(新加坡国立大学)
本研究针对印度司法文本的司法实体抽取任务,对比评估多款前沿大语言模型的性能,发现Mistral与Gemma表现最优,验证了大语言模型在司法文档处理中的应用价值。
2024-07-08 cs.AI cs.CL
MES-RAG: Bringing Multi-modal, Entity-Storage, and Secure Enhancements to RAG
USTC(中国科学技术大学);Hefei ZhikeShuzi(合肥智科数字);Eliza Labs(伊莉莎实验室);HUST(华中科技大学)
针对 RAG 难以精确检索实体信息的问题,本文提出 MES-RAG,通过实体存储、主动安全防护和实时多模态输出提升问答的准确性、召回率与安全性。
2025-03-17 cs.AI cs.CL cs.IR
Joint model for intent and entity recognition
Czech Technical University in Prague(布拉格捷克理工大学)
自然对话的语义理解由几个部分组成。其中一些,如意图分类和实体检测,在决定处理用户输入的下一步中起着至关重要的作用。将每个任务作为一个单独的问题处理可能会浪费培训资源,而且每个问题都可以相互受益。本文将这些问题作为一个整体来处理。我们的新模型将意图和实体识别结合到一个系统中,与单独解决每个任务相比,它在两个任务中实现了更好的指标,并且培训要求更低。我们还根据输入对模型进行了优化。
2021-09-07 cs.CL
Knowledge Enhanced Fine-Tuning for Better Handling Unseen Entities in Dialogue Generation
Microsoft Research Asia(微软亚洲研究院);Westlake University(西湖大学);Zhejiang University(浙江大学)
虽然预训练模型在对话生成方面取得了巨大的成功,但当输入包含未出现在预训练和微调数据集中的实体(未见过的实体)时,它们的性能会急剧下降。为了解决这个问题,现有的方法利用外部知识库来生成适当的响应。在现实世界中,实体可能不包括在知识库中,或者受到知识检索精度的影响。为了解决这个问题,我们不引入知识库作为输入,而是通过预测知识库中的信息,仅基于输入上下文,迫使模型学习更好的语义表示。具体地说,在知识库的帮助下,我们引入了两个辅助训练目标:1)解释屏蔽词,它在给定上下文的情况下解释屏蔽实体的含义; 2)上位词生成,它根据上下文预测实体的上位词。在两个对话语料库上的实验结果验证了该方法在知识可用和不可用两种情况下的有效性。
2021-09-12 cs.CL
StrucTexT: Structured Text Understanding with Multi-Modal Transformers
Baidu Inc.(百度公司);Beijing University of Posts and Telecommunications(北京邮电大学);Taikang Insurance Group(泰康保险集团)
视觉丰富文档(VRD)上的结构化文本理解是文档智能的重要组成部分。由于虚拟现实中内容和布局的复杂性,结构化文本的理解一直是一个具有挑战性的任务。大多数现有的研究将这个问题分解为两个子任务:实体标记和实体链接,这需要在令牌和段级别上对文档的上下文有全面的理解。然而,很少有工作一直关注的解决方案,有效地从不同层次的结构化数据提取。本文提出了一个统一的框架名为StructTexT,这是灵活和有效的处理这两个子任务。具体地说,在Transformer的基础上,我们引入了一个分段标记对齐的编码器来处理不同粒度级别的实体标记和实体链接任务。此外,我们设计了一种新的预训练策略,具有三个自监督任务,以学习更丰富的表示。StructTexT使用现有的掩蔽视觉语言建模任务和新的句子长度预测和成对框方向任务来整合跨文本、图像和布局的多模态信息。我们评估了我们的方法在段级和标记级的结构化文本理解,并显示它优于最先进的同行,在FUNSD,SROIE和EPHOIE数据集上具有显着优越的性能。
2021-11-08 cs.CL cs.CV
Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
Microsoft(微软)
提出JSTIP,一种面向ASR的预训练策略,通过构建词级和段级交错语音-文本序列,在38k小时数据上相比基线提升了实体识别准确率,并缩小了模态差距。
2026-09-22 cs.CL eess.AS
SoMeSci- A 5 Star Open Data Gold Standard Knowledge Graph of Software Mentions in Scientific Articles
University of Rostock(罗斯托克大学);GESIS - Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所);Heinrich-Heine-University(海因里希·海涅大学)
关于科学调查中使用的软件的知识很重要,原因有几个,例如,使人们能够了解数据处理的来源和方法。然而,软件通常不被正式引用,而是在调查的学术描述中被非正式地提及,这就需要自动信息抽取和消歧。由于缺乏可靠的地面真相数据,我们提出SoMeSci(科学中的软件提及),这是科学文章中软件提及的黄金标准知识图谱。它包含1367篇PubMed Central文章中提到的3756个软件的高质量注释(IRR:$κ{=}.82$)。除了简单地提到软件之外,我们还提供了其他信息的关系标签,例如版本,开发人员,URL或引用。此外,我们区分不同类型,如应用程序,插件或编程环境,以及不同类型的提及,如使用或创建。据我们所知,SoMeSci是关于科学文章中提到的软件的最全面的语料库,为命名实体识别,关系抽取,实体消歧和实体链接提供训练样本。最后,我们勾勒出潜在的用例并提供基线结果。
2021-08-20 cs.CL cs.IR
Merge and Label: A novel neural network architecture for nested NER
University of Cambridge(剑桥大学)
命名实体识别是自然语言处理中研究得最多的任务之一。然而,大多数方法不能处理嵌套结构,这是常见的许多应用程序。在本文中,我们介绍了一种新的神经网络架构,首先合并令牌和/或实体到实体形成嵌套结构,然后标记他们每个人独立。与以前的工作不同,我们的合并和标签方法预测的是实值而不是离散的分割结构,这使得它能够在保持可微性的同时结合单词和嵌套实体嵌入。%,可将实体平滑地分组为跨多个级别的单个向量。我们使用ACE 2005语料库评估我们的方法,在那里它达到了最先进的F1 74.6,进一步提高与上下文嵌入(BERT)到82.4,接近8个F1点的整体改善比以前的方法在相同的数据上训练。此外,我们将其与BiLSTM-CRF进行比较,BiLSTM-CRF是平面NER结构的主要方法,表明其预测嵌套结构的能力在简单情况下不会影响性能。
2019-06-30 cs.CL cs.LG
Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);People’s Public Security University of China(中国人民公安大学)
针对同一主体多相关知识编辑时现有方法存在的干扰问题,本研究引入S²RKE基准,发现仅ROME等定位-编辑方法存在相关知识扰动,其原因是过度依赖主体信息,为该领域研究提供了新基准与分析视角。
2025-02-08 cs.AI cs.CL
TACO: Task-Aware Column Description Generation Using LLMs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学);Adobe
提出TACO框架,通过三步流水线(缩写扩展、描述生成、描述修订)利用LLMs自动生成准确且信息丰富的列描述,在下游任务中性能提升高达32%。
2026-06-23 cs.AI cs.CL cs.DB
Named Entity Detection and Injection for Direct Speech Translation
Meta AI
在一个句子中,某些词对它的语义是至关重要的。其中,命名实体(NE)对神经模型来说是众所周知的挑战。尽管它们很重要,但它们的准确处理在语音到文本(S2T)翻译研究中被忽视了,最近的工作表明,S2T模型在位置,特别是人名方面表现不佳,除非事先知道,否则拼写是有挑战性的。在这项工作中,我们将探讨如何利用已知可能出现在给定上下文中的NE的字典来改善S2T模型的输出。我们的实验表明,我们可以可靠地检测NE可能存在于从S2T编码器输出开始的话语。事实上,我们证明,目前的检测质量是足够的,以提高NE的准确性,在翻译中的人名错误减少了31%。
2023-03-11 cs.CL
Development of a Dataset and a Deep Learning Baseline Named Entity Recognizer for Three Low Resource Languages: Bhojpuri, Maithili and Magahi
IIT(BHU)(印度理工学院(巴纳拉斯印度大学));Banaras Hindu University(巴纳拉斯印度大学);Cognizant(高知特)
在自然语言处理(NLP)流水线中,命名实体识别(NER)是首要问题之一,它标记专有名词和其他命名实体,如位置,人,组织,疾病等。这些实体,如果没有NER模块,会对机器翻译系统的性能产生不利影响。NER通过分别识别和处理这些实体来帮助克服这个问题,尽管它在信息抽取系统中也是有用的。Bhojpuri,Maithili和Magahi是低资源语言,通常被称为Purvanchal语言。本文着重于开发一个NER基准数据集的机器翻译系统开发,从这些语言翻译到印地语的注释部分可用的语料库。Bhojpuri,Maithili和Magahi语料库的大小分别为228373,157468和56190令牌,使用22个实体标签进行注释。该注释考虑粗粒度的注释标签,后跟在印地语NER数据集中使用的标记集。我们还报告了一个基于深度学习的基线,该基线使用LSTM-CNN-CRF模型。通过使用条件随机场模型获得的NER工具的较低基线F1分数为Bhojpuri 96.73,Maithili 93.33,Magahi 95.04。基于深度学习的技术(LSTM-CNN-CRF)为Bhojpuri,Maithili和Magahi分别获得了96.25,93.33和95.44。
2020-09-14 cs.CL
LTNER: Large Language Model Tagging for Named Entity Recognition with Contextualized Entity Marking
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学)
本文提出 LTNER 框架,通过上下文化实体标记生成方法和基于 GPT-3.5 的免训练上下文学习提升 NER 性能,在 CoNLL03 上将 F1 从 85.9% 提高到 91.9%。
2024-04-08 cs.AI cs.CL
CLSE: Corpus of Linguistically Significant Entities
Google(谷歌);Predibase
针对NLG中命名实体处理导致的语法错误问题,构建了涵盖34种语言、74种语义类型的语言学显著实体语料库CLSE,并基于其生成SGD-CLSE基准,在法语、马拉地语和俄语上评估了神经、模板及混合NLG系统的质量基线。
2023-08-30 cs.CL
Retraining-free Customized ASR for Enharmonic Words Based on a Named-Entity-Aware Model and Phoneme Similarity Estimation
Honda Research Institute Japan Co., Ltd.(本田日本研究院有限公司);Tokyo Institute of Technology(东京工业大学)
本文针对端到端ASR难以识别同音异字命名实体的问题,提出结合命名实体感知模型与音素相似度估计的免重训练定制化方法,使日本人名识别字符错误率平均相对降低35.7%。
2023-05-29 cs.CL cs.SD eess.AS
SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding
University of Science and Technology of China(中国科学技术大学);iFLYTEK(讯飞)
本文提出多语言、多任务的 SRFUND 基准,通过多粒度标注与全局层次依赖,评估模型对复杂表单结构的重建和跨语言理解能力。
2024-06-13 cs.AI cs.CL
Is 'Hope' a person or an idea? A pilot benchmark for NER: comparing traditional NLP tools and large language models on ambiguous entities
Department of Humanities University of Turin(人文学院 特林姆大学)
本研究构建了小规模NER基准,对比三种传统NLP工具与三种LLM在歧义实体识别上的表现,发现LLM在上下文敏感实体上更优,而传统工具在结构化标签上更稳定,为模型选择提供了参考。
2025-09-15 cs.AI cs.CL