MIT at SemEval-2017 Task 10: Relation Extraction with Convolutional Neural Networks
MIT(麻省理工学院)
发表了5 000多万篇学术文章:它们构成了一个独特的知识库。特别是,人们可以从中推断出科学概念之间的关系,如同义词和下位词。人工神经网络最近已被探索用于关系抽取。在这项工作中,我们继续这条工作线,并提出了一个系统的基础上的卷积神经网络提取关系。我们的模型在SemEval-2017任务10(ScienceIE)中排名第一,用于科学文章中的关系抽取(子任务C)。
2017-04-05 cs.AI cs.CL cs.NE
Morphology-based Entity and Relational Entity Extraction Framework for Arabic
Purdue University(普渡大学);American University of Beirut(贝鲁特美国大学)
基于规则的技术从文档中提取关系实体,允许用户使用自然语言问题、有限状态自动机、正则表达式和结构化查询语言指定所需的实体。他们需要语言和编程专业知识,缺乏对阿拉伯语形态分析的支持。我们提出了一个基于形态学的阿拉伯语实体和关系实体提取框架(MERF)。MERF需要语言特征和正则表达式的基本知识,并提供交互式指定阿拉伯语形态和句法特征、与正则表达式关联的标记类型以及在子表达式匹配上定义的关系和代码操作的能力。MERF从规范的匹配中构造实体和关系实体。我们通过几个案例研究评估了MERF。结果表明,MERF需要更短的开发时间和精力相比,现有的应用程序特定的技术,并在合理的开销在运行时间内产生合理准确的结果。
2018-11-18 cs.CL cs.IR
Current Trends and Approaches in Synonyms Extraction: Potential Adaptation to Arabic
Birzeit University(比尔宰特大学)
从词典或语料库中提取同义词正受到特别关注,因为同义词在提高NLP应用程序性能方面发挥着重要作用。本文综述了同义词自动提取的各种方法和发展趋势。这些方法可分为四大类。第一种方法是使用翻译图来找到同义词。第二种方法是发现新的转换对,例如(阿拉伯语-英语)(英语-法语)然后(阿拉伯语-法语)。第三种方法是通过探索同义图来构建新的WordNet,第四种方法是使用深度学习方法从语料库中找到相似的单词,例如词嵌入和最近的BERT模型。本文还提出了这些方法之间的比较分析,并强调潜在的适应自动生成同义词在阿拉伯语作为未来的工作。
2022-05-20 cs.AI cs.CL cs.IR
A Library Perspective on Nearly-Unsupervised Information Extraction Workflows in Digital Libraries
TU Braunschweig(布伦瑞克工业大学)
信息抽取可以为数字图书馆提供新颖有效的访问路径。然而,设计可靠的提取工作流程在实践中可能成本高昂。一方面,合适的提取方法依赖于特定领域的训练数据。另一方面,无监督和开放的提取方法通常产生非规范化的提取结果。本文探讨了数字图书馆如何处理这种抽取,以及它们的质量在实践中是否足够。我们专注于无监督的提取工作流程,通过分析他们在维基百科(Wikipedia),药学和政治学领域的案例研究。我们报告机会和限制。最后,我们讨论了无监督提取工作流的最佳实践。
2022-05-02 cs.CL cs.DL
A Monte Carlo Language Model Pipeline for Zero-Shot Sociopolitical Event Extraction
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对零样本二元事件抽取中词义歧义、情态敏感和计算低效问题,提出多阶段指令跟随生成式LM流水线并结合蒙特卡洛方法处理非确定性,显著提升性能与效率。
2024-06-02 cs.CL
Approach for Semi-automatic Construction of Anti-infective Drug Ontology Based on Entity Linking
Peking University(北京大学);IER Business Development Center(IER业务发展中心)
本体可用于自然语言的解释。为了构建抗感染药物本体,需要设计和部署一个方法步骤来执行实体发现和链接。医学同义词资源是医学自然语言处理的重要组成部分。但也存在查准率低、查全率低等问题。在这项研究中,采用自然语言处理的方法来产生候选实体。对开放本体进行分析,提取语义关系。选择六词向量特征和词级特征进行实体链接。研究了单一特征和不同特征组合的同义词提取结果。实验表明,我们选择的特征已经达到了86.77%的准确率,89.03%的召回率和87.89%的F1得分。本文最后给出了所提出的本体的结构和相关的统计数据。
2018-12-05 cs.AI cs.CL
Complex Relation Extraction: Challenges and Opportunities
Fudan University(复旦大学)
关系抽取的目的是识别文本中实体之间的目标关系。关系抽取对于知识库的构建和文本的理解具有重要意义。传统的二值关系抽取包括监督抽取、半监督抽取和远监督抽取,已经得到了广泛的研究并取得了显著的成果。近年来,许多复杂的关系抽取任务,即,提出了简单二元关系抽取的变体,以满足实际中复杂的应用。然而,迄今为止,还没有文献对这些复杂的关系抽取工作进行全面的调查和总结。本文首先介绍了传统的简单二值关系抽取的最新进展。然后,我们总结了现有的复杂关系抽取任务,并提出了定义,最新进展,挑战和机遇,为每一个任务。
2020-12-09 cs.CL
A Natural Language Processing Pipeline of Chinese Free-text Radiology Reports for Liver Cancer Diagnosis
School of Biomedical Engineering, Capital Medical University(首都医科大学生物医学工程学院);Beijing Friendship Hospital, Capital Medical University(首都医科大学附属北京友谊医院);Tsinghua University(清华大学)
尽管自然语言处理(NLP)在电子病历(EMR)中的应用发展迅速,但由于语料有限和特定的语法特征,中文EMR的处理仍然具有挑战性,特别是对于放射学报告。在这项研究中,我们设计了一个NLP管道,用于从中文放射学报告中直接提取临床相关特征,这是计算机辅助放射学诊断的第一个关键步骤。该流水线由命名实体识别、同义词规范化和关系提取组成,最终得到由一个或多个术语组成的放射学特征。在命名实体识别中,我们将词典纳入深度学习模型双向长短期记忆-条件随机场(BiLSTM-CRF),该模型最终取得了93.00%的F1分数。利用提取的影像学特征,采用最小绝对收缩和选择算子以及机器学习方法(支持向量机、随机森林、决策树和逻辑回归)构建肝癌预测分类器。对于肝癌诊断,随机森林在肝癌诊断中具有最高的预测性能(F1得分86.97%,准确率87.71%,召回率86.25%)。本研究是一项综合性的NLP研究,重点关注中国放射学报告以及NLP在癌症风险预测中的应用。所提出的用于放射学特征提取的NLP流水线可以很容易地在其他类型的中文临床文本和其他疾病预测任务中实现。
2020-10-13 cs.CL
A bag-of-concepts model improves relation extraction in a narrow knowledge domain with limited data
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
本文重点研究了在有限的标注数据和狭窄的知识域背景下的传统关系抽取任务。我们探索这一任务与临床语料库组成的200个乳腺癌后续治疗的信件,其中16个不同类型的关系进行了注释。我们实验的方法来提取类型化的关系称为窗口有界同现(WBC),它使用一个可调的上下文窗口周围的实体提到的相关类型,并比较其性能与一个更典型的内部同现基线。我们进一步介绍了一种新的概念袋(BoC)的基础上,最先进的词嵌入和词的同义词的特征工程方法。我们通过与更高复杂度的方法进行比较,证明了BoC的竞争力,并探讨了它在这个小数据集上的有效性。
2019-04-24 cs.CL cs.IR cs.LG
KIEval: Evaluation Metric for Document Key Information Extraction
Upstage AI(上智AI)
本文提出KIEval,一种以应用为中心的文档关键信息提取评估指标,不仅评估实体提取,还评估分组结构化信息,更贴合工业应用需求,有望成为标准评估指标。
2025-03-26 cs.CL
Uncovering Main Causalities for Long-tailed Information Extraction
Singapore University of Technology and Design(新加坡科技设计大学);Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学);University of Cambridge(剑桥大学)
信息抽取(Information Extraction,IE)的目的是从非结构化文本中抽取结构化信息。在实践中,由数据集的选择偏差引起的长尾分布可能会导致传统似然模型中实体和标签之间的不正确相关性,也称为虚假相关性。这促使我们提出反事实IE(CFIE),一个新的框架,旨在揭示数据背后的因果关系的因果推理的观点。具体而言,1)我们首先为各种IE任务引入统一的结构因果模型(SCM),描述变量之间的关系; 2)使用我们的SCM,然后基于显式语言结构生成反事实,以更好地计算推理阶段的直接因果效应; 3)我们进一步提出了一种新的去偏方法,以产生更强大的预测。在五个公共数据集上的三个IE任务的实验表明,我们的CFIE模型在减轻虚假相关问题方面的有效性。
2021-09-11 cs.CL
Similarity of Semantic Relations
至少有两种相似之处。关系相似性是关系之间的对应关系,而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时,我们称之为同义词。当两对词具有高度的关系相似性时,我们说它们的关系是相似的。例如,单词对mason:stone类似于单词对carpenter:wood。本文介绍了潜在关系分析(LRA),一种测量关系相似性的方法。LRA在信息抽取、词义消歧、信息检索等领域有着广泛的应用前景。最近的向量空间模型(VSM)的信息检索已被用来衡量关系的相似性,取得了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中,一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法:(1)从语料库自动导出模式,(2)使用奇异值分解(SVD)来平滑频率数据,以及(3)自动生成的同义词用于探索单词对的变化。LRA在374个类比问题上的得分为56%,在统计学上相当于人类的平均得分57%。在分类语义关系的相关问题上,LRA比VSM获得了类似的收益。
2006-08-25 cs.CL cs.IR cs.LG
CO-Fun: A German Dataset on Company Outsourcing in Fund Prospectuses for Named Entity Recognition and Relation Extraction
DFKI GmbH(德国人工智能研究中心);Smart Data & Knowledge Services(智能数据与知识服务)
本文提出CO-Fun数据集,针对德国基金招股说明书中的公司外包实践,由专家标注948个句子以支持命名实体识别与关系抽取任务,并训练深度学习模型取得初步成效。
2024-03-22 cs.CL
WebFormer: The Web-page Transformer for Structure Information Extraction
Facebook AI;Santa Clara University(圣克拉拉大学);Google Research(谷歌研究院);University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学);Rochester Institute of Technology(罗切斯特理工学院)
结构信息抽取是指从网页中抽取结构化文本字段的任务,例如从购物页面中抽取产品报价,包括产品标题、描述、品牌和价格。它是文档理解和Web搜索领域的一个重要研究课题。最近的自然语言模型与序列建模已经证明了国家的最先进的性能在Web信息抽取。然而,有效地序列化令牌从非结构化的网页是具有挑战性的,在实践中,由于各种各样的网页布局模式。有限的工作集中在为提取文本字段而对Web布局建模上。在本文中,我们介绍了WebFormer,一个网页Transformer模型的结构信息抽取从Web文档。首先,我们为HTML中的每个DOM节点设计HTML标记,通过图形注意力嵌入其相邻标记的表示。其次,我们在HTML标记和文本标记之间构建了丰富的注意力模式,从而利用Web布局进行有效的注意力权重计算。我们进行了广泛的实验SWDE和常见的爬行基准。实验结果表明,所提出的方法优于几个国家的最先进的方法的性能。
2022-02-01 cs.CL
Automated Extraction of Techno-Economic Data from 76,000 Energy System Studies
Forschungszentrum Jülich GmbH(于利希研究中心有限公司);University of Siegen(锡根大学);Imperial College London(伦敦帝国理工学院)
该研究旨在从大量能源系统研究中自动提取技术经济数据,通过特定方法汇编海量数据点与元数据条目形成FAIR数据库,能展示学术假设与实证数据差异及研究重点变化,还通过交互式仪表板方便用户使用。
2026-07-22 cs.CL
ACE-2005-PT: Corpus for Event Extraction in Portuguese
FCUP-University of Porto(波尔图大学理学院);INESC Technology and Science(INESC科技研究院);University of Minho(米尼奥大学);FLUP-University of Porto(波尔图大学文学院);CLUP(波尔图大学中心图书馆);University of Beira Interior(贝拉内里亚大学);Ci2 - Smart Cities Research Center - IP Tomar(IP托马尔Ci2智慧城市研究中心)
本文通过自动翻译和对齐流水线构建了包含欧洲与巴西变体的葡萄牙语事件抽取语料库ACE-2005-PT,并验证了其对齐有效性。
2024-08-29 cs.AI cs.CL
Do not be greedy, Think Twice: Sampling and Selection for Document-level Information Extraction
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(希茨中心 - Ixa,巴斯克国家大学UPV/EHU)
提出ThinkTwice框架,通过采样生成多个候选模板并选择最优,利用无监督一致性和有监督奖励模型,在文档级信息抽取中超越贪婪解码方法。
2026-09-25 cs.CL
GGPONC: A Corpus of German Medical Text with Rich Metadata Based on Clinical Practice Guidelines
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学);German Cancer Society(德国癌症协会)
缺乏可公开访问的文本语料库是自然语言处理取得进展的主要障碍。不幸的是,对于医疗应用来说,除英语之外的所有语言社区都资源不足。在这项工作中,我们提出了GGPONC(德国肿瘤学NLP语料库指南计划),一个基于肿瘤学临床实践指南的免费分发的德语语料库。该语料库是有史以来最大的德国医学文献库之一。与临床文件不同,临床指南不包含任何患者相关信息,因此可以在没有数据保护限制的情况下使用。此外,GGPONC是第一个涵盖大型医学子领域各种条件的德语语料库,并提供各种元数据,如文献参考和证据水平。通过应用和评估德语文本的现有医疗信息抽取管道,我们能够将医学语言的使用与其他医学和非医学语料库进行比较。
2020-11-16 cs.CL
Enhancing Software-Related Information Extraction via Single-Choice Question Answering with Large Language Models
GESIS – Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所);Heinrich-Heine-University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
本文提出一种基于大型语言模型单选题问答的方法,结合RAG技术进行实体与属性识别及关系抽取,有效解决了学术文献中软件提及消歧与关系抽取的挑战。
2024-04-19 cs.CL
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析(LRA),一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系,而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时,我们称之为同义词。当两对词具有高度的关系相似性时,我们说它们的关系是相似的。例如,mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施,主要是关注属性相似性。最近的向量空间模型(VSM)的信息检索已被改编为测量关系相似性的任务,实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中,一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法:(1)模式是从语料库中自动导出的(它们不是预定义的),(2)奇异值分解(SVD)用于平滑频率数据(在潜在语义分析中也以这种方式使用),以及(3)自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%,在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上,LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
GDA: Generative Data Augmentation Techniques for Relation Extraction Tasks
Tsinghua University(清华大学);Zhejiang University(浙江大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊)
针对关系抽取任务标注成本高、现有数据增强方法存在语义或句法缺失、多样性不足的问题,提出GDA生成式增强技术,通过双互补模块、多任务协同及实体提示提升增强效果,低资源场景下F1值提升2.0%。
2023-06-15 cs.CL
Extracting Synonyms from Bilingual Dictionaries
Birzeit University(比尔宰特大学);Cairo University(开罗大学);The British University in Dubai(迪拜英国大学)
我们提出了我们的进展,在开发一种新的算法,从双语词典中提取同义词。同义词的识别和使用在提高信息访问应用程序的性能方面起着重要的作用。其思想是从翻译对中构造一个翻译图,然后提取和合并循环路径,形成双语同义词集。该算法的初步评价表明,在提取阿拉伯语-英语双语同义词有希望的结果。在评估中,我们首先将阿拉伯语WordNet中的同义词集转换为翻译对(即,失去词义成员资格)。接下来,我们应用我们的算法来重建这些同义词集。我们比较了原始的和提取的同义词集获得阿拉伯语和英语的同义词集提取,分别为82.3%和82.1%的F-措施。
2020-12-01 cs.AI cs.CL cs.IR
Agribot: agriculture-specific question answer system
Indian Institute of Technology Gandhinagar(印度理工学院甘地讷格尔分校)
本文提出基于 Kisan Call Center 数据的农业问答聊天机器人 Agribot,结合句子嵌入、同义词消除与实体抽取,将准确率从 56% 提升至 86%。
2025-09-29 cs.AI cs.CL cs.LG
Unsupervised Sense-Aware Hypernymy Extraction
University of Mannheim(曼海姆大学);University of Hamburg(汉堡大学)
提出一种无监督词义感知方法,通过同义词集传播、嵌入构建与匹配来提取消歧上位词关系,并在英语和俄语数据集上验证其优于 Hearst 模式与 Wiktionary。
2018-09-17 cs.CL
On the Effects of Low-Quality Training Data on Information Extraction from Clinical Reports
Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche(意大利国家研究委员会信息科学与技术研究所);Qatar Computing Research Institute, Qatar Foundation(卡塔尔基金会卡塔尔计算研究所);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
在过去的五年中,已经有一系列关于从临床文档中信息抽取的工作,即,该算法能够从日常临床实践中产生的非正式和非结构化文本中提取与此类实践相关的概念。这些文献中的大多数是关于基于监督学习的方法,即,用于从手动注释的示例训练信息抽取系统的方法。虽然人们已经做了大量工作来设计生成越来越准确的信息提取器的学习方法,但还没有研究过训练数据质量对学习过程的影响。训练数据的低质量通常源于这样一个事实,即注释数据的人与必须根据其判断来评估自动注释数据的人不同。在本文中,我们测试的影响,这些数据质量问题的准确性信息抽取系统应用于临床领域。我们通过比较从由权威编码器注释的训练数据导出的准确度(即,也注释了测试数据并且我们必须遵守其判断的人),其准确度来自由不同编码器注释的训练数据。结果表明,虽然两个编码器之间的分歧(如在训练集上测量的)是实质性的,但差异(令人惊讶的是)并不总是统计学上显著的。
2015-03-04 cs.CL cs.IR cs.LG
Extracting Multiple-Relations in One-Pass with Pre-Trained Transformers
IBM Watson(IBM 沃森);IBM Research(IBM 研究院);Tencent AI Lab(腾讯人工智能实验室)
大多数从段落中提取多个关系的方法都需要多次遍历段落。在实践中,多次传递在计算上是昂贵的,这使得难以扩展到更长的段落和更大的文本语料库。在这项工作中,我们专注于多个关系抽取的任务编码的段落只有一次(一遍)。我们在预训练的自我关注(Transformer)模型上构建我们的解决方案,其中我们首先添加一个结构化预测层来处理多个实体对之间的提取,然后增强段落嵌入以捕获与每个实体相关的多个关系信息。我们表明,我们的方法不仅是可扩展的,但也可以执行国家的最先进的标准基准ACE 2005年。
2019-06-03 cs.AI cs.CL
SPOT: Knowledge-Enhanced Language Representations for Information Extraction
University of California, San Diego(加州大学圣地亚哥分校);IBM Research(IBM研究院)
用于语言表示的知识增强的预训练模型已被证明在知识库构建任务中更有效(即,关系抽取)而不是语言模型,例如BERT。这些知识增强的语言模型将知识合并到预训练中以生成实体或关系的表示。然而,现有的方法通常用单独的嵌入来表示每个实体。因此,这些方法在其底层标记模型(即,~)之上难以表示词汇表外的实体和大量参数。Transformer),并且由于存储器的限制,实际上可以处理的实体的数量是有限的。此外,现有的模型仍然难以同时表示实体和关系。为了解决这些问题,我们提出了一种新的预训练模型,该模型分别从文本中的标记跨度和跨度对中学习实体和关系的表示。通过使用span模块对span进行有效编码,我们的模型可以表示实体及其关系,但需要的参数比现有模型少。我们使用从维基百科中提取的知识图谱对模型进行了预训练,并在广泛的监督和无监督信息抽取任务上对其进行了测试。结果表明,我们的模型学习更好的表示实体和关系比基线,而在监督设置,微调我们的模型优于RoBERTa一致,并取得竞争力的结果信息抽取任务。
2022-10-24 cs.AI cs.CL
Crowdsourcing Ground Truth for Medical Relation Extraction
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Google Research(谷歌研究院);CAS IBM Netherlands(荷兰IBM认知计算系统研究中心)
认知计算系统需要人类标记的数据进行评估,并且通常用于训练。收集这些数据的标准做法最大限度地减少了注释者之间的分歧,我们发现这导致数据无法解释语言中固有的歧义。我们已经提出了通过众包收集真值的CrowdTruth方法,该方法重新考虑了人在机器学习中的作用,基于注释者之间的分歧为文本中的歧义等现象提供了有用的信号。我们报告使用这种方法来建立一个带注释的数据集的医学关系抽取的$cause$和$treat$的关系,以及如何在监督训练实验中执行此数据。我们证明,通过建模模糊性,标记的数据收集从人群工作人员可以(1)达到该任务的领域专家的质量水平,同时降低成本,(2)提供更好的训练数据的规模比远程监督。我们进一步提出并验证了新的加权措施的精度,召回率和F-措施,占模糊的人类和机器在这项任务上的表现。
2017-10-03 cs.CL cs.HC
Gradient Imitation Reinforcement Learning for General Low-Resource Information Extraction
Tsinghua University(清华大学);Amazon(亚马逊);University of Electronic Science and Technology of China(电子科技大学);The Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
信息抽取(Information Extraction,IE)的目的是从异构信息源中抽取结构化的信息。来自自然语言文本的IE包括诸如命名实体识别(NER)、关系抽取(RE)和事件抽取(EE)的子任务。大多数IE系统需要对句子结构、隐含语义和领域知识的全面理解才能表现良好;因此,IE任务总是需要足够的外部资源和注释。然而,获得更多的人类注释需要花费时间和精力。低资源信息抽取(LRIE)致力于使用无监督的数据,减少所需的资源和人工注释。在实践中,现有的系统要么利用自训练方案来生成伪标签,这将导致逐渐漂移问题,要么利用一致性正则化方法,这不可避免地具有确认偏差。为了减轻由于现有LRIE学习范式中缺乏反馈回路而导致的确认偏差,我们开发了梯度模仿强化学习(GIRL)方法,以鼓励伪标记数据模仿标记数据上的梯度下降方向,这可以迫使伪标记数据实现类似于标记数据的更好的优化能力。基于伪标记数据如何模仿从标记数据获得的指导性梯度下降方向,我们设计了一个奖励来量化模仿过程,并通过试错来引导伪标记数据的优化能力。除了学习范例,GIRL并不局限于特定的子任务,我们利用GIRL来解决低资源设置(半监督IE和Few-Shot IE)中的所有IE子任务(命名实体识别,关系抽取和事件提取)。
2022-11-14 cs.AI cs.CL
Automated tabulation of clinical trial results: A joint entity and relation extraction approach with transformer-based language representations
University College London(伦敦大学学院)
循证医学是医疗保健专业人员在做出决策时参考最佳证据的实践,构成了现代医疗保健的基础。然而,它依赖于劳动密集型的系统评价,领域专家必须从数千篇出版物中汇总和提取信息,主要是随机对照试验(RCT)结果,并将其纳入证据表。本文研究了自动化的证据表生成的问题分解在两个语言处理任务:\textit{named entity recognition},它确定文本中的关键实体,如药品名称,和\textit{relation extraction},映射它们的关系,将它们分离成有序的元组。我们专注于从已发表的RCT摘要报告的研究结果的句子的自动制表。作为联合提取管道的一部分,开发了两个深度神经网络模型,使用了迁移学习和基于transformer的语言表示的原理。为了训练和测试这些模型,开发了一个新的金标准语料库,包括来自六个疾病领域的近600个结果句子。这种方法表现出了显著的优势,我们的系统在多个自然语言处理任务和疾病领域表现良好,并且在训练过程中看不到的疾病领域中表现良好。此外,我们还证明了这些结果是可以通过训练我们的模型来实现的,只要训练200个例句。最终的系统是一个概念证明,证据表的生成可以是半自动化的,代表着向完全自动化的系统评价迈出了一步。
2021-12-10 cs.AI cs.CL
FormNet: Structural Encoding beyond Sequential Modeling in Form Document Information Extraction
Google Cloud AI Research(谷歌云人工智能研究院);Google Research(谷歌研究院)
序列建模在自然语言和文档理解任务上表现出了最先进的性能。然而,由于表单文档的布局模式多种多样,在实践中正确序列化表单文档中的标记是一个挑战。我们提出了FormNet,一个结构感知的序列模型,以减轻次优序列化的形式。首先,我们设计了Rich Attention,它利用表单中标记之间的空间关系来进行更精确的注意力分数计算。其次,我们通过图形卷积嵌入来自相邻令牌的表示来为每个单词构建超级令牌。因此,FormNet显式地恢复可能在序列化过程中丢失的本地语法信息。在实验中,FormNet优于现有的方法,具有更紧凑的模型大小和更少的预训练数据,在CORD,FUNSD和Payment基准上建立了新的最先进的性能。
2022-03-24 cs.CL cs.CV cs.LG
From Lexical Baselines to Agentic Retrieval-Augmented Generation: Structured Skill and Responsibility-Level Extraction with the SFIA Framework
Informatics Institute of Technology(信息科技学院);University of Sri Jayewardenepura(斯里贾亚瓦德纳普拉大学)
本研究针对SFIA框架提出结构化技能与责任级别提取任务,比较五种策略,发现检索匹配识别技能多、生成策略更精确,显式级别决策更可靠,智能体团队无增益,提供首个可复现基线。
2026-09-30 cs.AI cs.CL
SeaAlert: Robust Severity Classification and LLM-Based Information Extraction for Noisy Maritime Distress Communications
HIT-Holon Institute of Technology(希伯来理工学院);Afeka Academic College of Engineering(阿菲卡工程学院)
本文提出SeaAlert框架,通过生成合成数据解决海上 distress 通讯标注数据不足问题,利用LLM生成多样化消息并模拟噪声环境,提升自动分析鲁棒性。
2026-07-07 cs.AI cs.CL
Multilingual Event Extraction from Historical Newspaper Adverts
University of Copenhagen(哥本哈根大学);Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学)
本文针对历史文本事件抽取任务,构建了近代早期报纸广告的多语言数据集,发现通过抽取式QA任务和机器翻译可有效应对低资源跨语言挑战。
2023-05-18 cs.CL cs.LG
Clinical Relation Extraction Using Transformer-based Models
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
新出现的Transformer技术对自然语言处理研究产生了巨大的影响。在一般的英语领域,基于transformer的模型在各种NLP基准测试中取得了最先进的性能。在临床领域,研究人员还研究了用于临床应用的Transformer模型。本研究的目标是系统地探索三种广泛使用的基于变压器的模型(即,BERT、RoBERTa和XLNet)进行临床关系抽取,并开发具有临床预训练的基于转换器的模型的开源包,以促进临床领域中的信息抽取。我们开发了一系列基于三种Transformer架构的临床RE模型,即BERT、RoBERTa和XLNet。我们使用来自2018年MADE 1.0和2018年n2 c2挑战的2个公开数据集评估了这些模型。我们比较了两种分类策略(二进制与多类分类),并研究了两种方法来生成候选关系,在不同的实验设置。在这项研究中,我们比较了三个基于转换器(BERT,RoBERTa和XLNet)的关系抽取模型。我们证明了RoBERTA-临床RE模型在2018年MADE 1.0数据集上实现了最佳性能,F1得分为0.8958。在2018年的n2 c2数据集中,XLNet临床模型获得了最佳F1评分0.9610。我们的研究结果表明,二元分类策略始终优于临床关系抽取的多类分类策略。我们的方法和模型可在https://github.com/uf-hobi-informatics-lab/Clinica…
2021-08-16 cs.CL cs.IR cs.LG
Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique
Shiraz University(设拉子大学);Shiraz University of Medical Sciences(设拉子医科大学)
由于临床实践和研究所需的放射学报告是以自由文本叙述形式编写和存储的,因此难以提取相关信息以供进一步分析。在这些情况下,自然语言处理(NLP)技术可以促进自动信息抽取和自由文本格式到结构化数据的转换。近年来,基于深度学习(DL)的模型已被用于NLP实验,并取得了可喜的成果。尽管基于人工神经网络(ANN)和卷积神经网络(CNN)的DL模型具有显著的潜力,但是这些模型在临床实践中实施时面临一些限制。Transformers是另一种新的深度学习体系结构,它被越来越多地应用于改进过程。因此,在这项研究中,我们提出了一个基于转换器的细粒度命名实体识别(NER)架构的临床信息抽取。我们收集了88腹盆腔超声报告的自由文本格式和注释的基础上,我们开发的信息模式。文本到文本转换Transformer模型(T5)和Scifive(T5模型的预训练特定于领域的适配)用于微调,以提取实体和关系,并将输入转换为结构化格式。在这项研究中,我们基于变换器的模型优于先前应用的方法,例如基于ROUGE-1,ROUGE-2,ROUGE-L和BLEU得分分别为0.816,0.668,0.528和0.743的ANN和CNN模型,同时提供可解释的结构化报告。
2022-09-25 cs.AI cs.CL cs.LG
Extraction and Analysis of Fictional Character Networks: A Survey
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Orkis(奥基斯公司)
角色网络是从叙事中提取的图,其中顶点表示角色,边对应于它们之间的交互。许多叙事相关的问题可以通过分析角色网络自动解决,例如摘要,分类或角色检测。当考虑虚构作品(例如小说、戏剧、电影、电视剧)时,角色网络特别相关,因为它们的开发允许开发信息检索和推荐系统。然而,小说作品具有特定的属性,使这些任务变得更加困难。本调查旨在介绍和组织与从小说作品中提取人物网络相关的科学文献,以及它们的分析。我们首先以一种通用的方式描述提取过程,并解释其构成步骤在实践中是如何实施的,这取决于叙事的媒介,网络分析的目标和其他因素。然后,我们回顾了用于表征字符网络的描述性工具,重点是在这种情况下解释它们的方式。我们说明了字符网络的相关性,也提供了一个审查的应用程序来自他们的分析。最后,我们确定了现有方法的局限性,以及最有前途的前景。
2022-03-31 cs.CL cs.CV cs.IR
Diagnosing the Fact-Grounding Gap in Multi-Hop Question Answering
Northwestern University(西北大学)
本研究诊断多跳问答中的事实锚定差距,发现失败分为检索失败和提取失败,后者占近半缺陷且无法通过检索改进解决,需不同解决方案。
2026-09-16 cs.AI cs.CL cs.IR
HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction
BlackRock, Inc.(贝莱德集团);NVIDIA(英伟达公司)
本文提出 HybridRAG,融合 GraphRAG 与 VectorRAG,从向量数据库和知识图谱共同检索上下文,提升金融文档问答的信息抽取准确率与生成质量。
2024-08-09 cs.CL cs.LG q-fin.ST
PABSA: Hybrid Framework for Persian Aspect-Based Sentiment Analysis
Department of CS(计算机科学与信息科技系);Institute for Advanced Studies in Basic Sciences (IASBS)(基础科学高级研究所);Zanjan, Iran(伊朗赞詹)
针对波斯语情感分析数据稀缺等问题,提出融合多语言BERT特征与决策树的混合框架PABSA,在Pars-ABSA数据集上达到93.34%准确率,并引入同义词和实体词典增强文本。
2025-10-05 cs.CL cs.LG
AI Driven Knowledge Extraction from Clinical Practice Guidelines: Turning Research into Practice
Kyung Hee University(庆熙大学)
背景和目标:临床实践指南(CPG)代表了与医疗从业者分享医疗保健领域最先进研究成果的最重要方法,以限制实践变化,降低临床成本,提高护理质量,并提供循证治疗。然而,从大量的CPG中提取相关知识对于已经负担沉重的医疗保健专业人员来说是不可行的,导致临床发现和实际实践之间存在巨大差距。因此,必须使用最先进的计算研究,特别是机器学习,以提供基于人工智能的解决方案,从CPG中提取知识,并减少医疗保健研究/指南与实践之间的差距。研究方法:本研究提出了一种新的方法,从CPGs的知识提取,以减少差距,并把最新的研究成果转化为临床实践。首先,我们的系统根据句子中呈现的信息将CPG句子分为四类,例如条件-动作、条件-后果、动作和不适用。我们在分类过程中使用深度学习和最先进的词嵌入、改进的词向量技术。其次,它确定了分类的句子中的限定词,这有助于识别句子中的条件和动作短语。最后,条件和动作短语被处理并转换成简单的规则If Condition(s)Then Action格式。结果:我们评估了三个不同领域的指南,包括高血压,鼻窦炎和哮喘的方法。深度学习模型对CPG句子进行分类,准确率达到95%。以用户为中心的方法验证了规则提取的有效性,三位人类专家提取的规则的Jaccard系数分别为0.6、0.7和0.4。
2020-12-10 cs.AI cs.CL
Effective Feature Representation for Clinical Text Concept Extraction
Roam Analytics;Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
关于医疗保健实践的关键信息仅以自由形式的文本记录,这为高影响力的NLP创造了巨大的机会。然而,带注释的医疗数据集往往很小,而且获取成本很高,这就提出了如何最有效地利用可用数据的问题。为此,我们开发了一个LSTM-CRF模型,用于将来自公共医疗保健本体的无监督单词表示和手工构建的特征表示相结合。我们表明,这种组合模型在五种不同类型的医疗保健文本(临床,社会,科学,商业)的数据集上具有优异的性能。每一个都涉及到复杂的标签,多词跨度,挑选出不同的医疗保健概念。我们还介绍了一种新的标记数据集,用于识别药物和疾病之间的治疗关系。
2019-04-05 cs.CL
Causality extraction from medical text using Large Language Models (LLMs)
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of Central Florida(中佛罗里达大学)
本研究探索大语言模型等从妊娠糖尿病临床实践指南提取因果关系的效果,实验发现BioBERT以0.72的平均F1得分表现最优,还发布了相关代码和标注语料库。
2024-07-13 cs.AI cs.CL cs.IR
SynGP500: A Clinically-Grounded Synthetic Dataset of Australian General Practice Medical Notes
General Practitioner & Independent Clinical NLP Researcher(全科医生及独立临床NLP研究者)
SynGP500是一个基于临床实践的澳大利亚家庭医学笔记合成数据集,通过整合课程广度、流行病学校准和多样化咨询情境,为开发和评估澳大利亚家庭医学的临床NLP方法提供资源。
2025-12-17 cs.CL
Learning Feature Representations for Keyphrase Extraction
在关键短语提取的监督方法中,候选短语用一组手工制作的特征编码,并且机器学习算法被训练以区分关键短语和非关键短语。虽然手动设计的功能已被证明在实践中工作得很好,功能工程是一个困难的过程,需要专业知识,通常不能很好地推广。在本文中,我们提出了SurfKE,一个功能学习框架,利用文本本身自动发现的模式,关键词展示。我们的模型将文档表示为图,并自动学习短语的特征表示。该模型在强基线上获得了显着的性能改善。
2018-01-05 cs.AI cs.CL
Dataset Mention Extraction in Scientific Articles Using Bi-LSTM-CRF Model
School of Information Studies, Syracuse University(雪城大学信息研究学院);School of Information Management, Nanjing University(南京大学信息管理学院)
本文提出基于Bi-LSTM-CRF的神经网络方法,从科学文章中自动抽取数据集提及,在社会科学文章上取得F1=0.885,并讨论数据集局限与未来模型改进。
2024-05-21 cs.CL cs.LG
Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining
Apple(苹果公司);Stanford(斯坦福大学);University of Washington(华盛顿大学)
本文提出通过结合多种提取器提升HTML到文本提取的效率与效果,显著提高LLM预训练数据的token产出并改善下游任务性能。
2026-02-23 cs.CL cs.LG
Clinical Document Metadata Extraction: A Scoping Review
University of Minnesota(明尼苏达大学);Mayo Clinic(妙佑医疗国际);University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心);Oregon Health & Science University(俄勒冈健康与科学大学)
本文综述了临床文档元数据提取的研究,分析了方法学趋势和应用,并指出了未来研究方向。
2025-12-28 cs.AI cs.CL cs.IR