An Improved Baseline for Sentence-level Relation Extraction
University of Southern California（南加州大学）
句子级关系抽取的目的是识别句子中两个实体之间的关系。人们已经为此付出了许多努力，而最好的方法仍然远远不够完美。在本文中，我们重新审视两个问题，影响现有的RE模型的性能，即实体表示和嘈杂或定义不清的标签。我们改进的RE基线，结合实体表示与类型化标记，实现了74.6%的F1 TACRED，显着优于以前的SOTA方法。此外，所提出的新基线在改进的Re-TACRED数据集上实现了91.1%的F1，表明预训练的语言模型（PLM）在此任务上实现了高性能。我们向社区发布代码以供将来研究。
2022-09-22 cs.CL
AI-assisted Protocol Information Extraction For Improved Accuracy and Efficiency in Clinical Trial Workflows
Banting Health AI（巴丁健康AI）
本文研究了利用AI系统进行临床试验协议信息提取，通过比较RAG方法与传统LLM的准确性，发现AI能显著提升提取效率和准确性，降低工作负担。
2026-04-16 cs.AI cs.CL cs.IR
An Improved Neural Baseline for Temporal Relation Extraction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）
确定时间关系（例如，之前或之后）是一项具有挑战性的自然语言理解任务，这部分是由于难以生成大量高质量的训练数据。因此，神经网络方法并没有被广泛使用，或者只显示出适度的改进。本文提出了一种新的神经系统，在两个基准数据集上，它比以前的最佳系统（减少25%的错误）的准确性提高了约10%。所提出的系统是在最先进的MATRES数据集上训练的，并应用上下文化的词嵌入、时间常识知识库的暹罗编码器和通过整数线性规划（ILP）的全局推理。我们认为，新的方法可以作为一个强有力的基线，在这一领域的未来研究。
2019-09-01 cs.CL
Improved Relation Extraction with Feature-Rich Compositional Embedding Models
Harbin Institute of Technology（哈尔滨工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
组合嵌入模型基于语言结构的组成词嵌入来构建语言结构的表示（或嵌入）。我们提出了一个丰富的组合嵌入模型（FCM）的关系抽取，是表达，推广到新的领域，并且易于实现。其关键思想是将两种（非词汇化的）手工制作的功能与学习的词嵌入相结合。该模型能够直接解决传统组合嵌入模型遇到的困难，例如处理任意类型的句子注释和利用全局信息进行组合。我们测试了两个关系抽取任务，并证明我们的模型优于以前的组合模型和传统的功能丰富的模型上ACE 2005关系抽取任务，和SemEval 2010关系分类任务。我们的模型和具有手工制作特征的对数线性分类器的组合给出了最先进的结果。
2015-09-15 cs.AI cs.CL cs.LG
svcR: An R Package for Support Vector Clustering improved with Geometric Hashing applied to Lexical Pattern Discovery
INRA（法国国家农业研究院）
我们提出了一个新的R包，它需要一个数值矩阵格式作为数据输入，并使用支持向量聚类方法（SVC）计算集群。我们已经实现了一个原始的2D网格标记方法，以加快聚类提取。从这个意义上说，SVC可以被看作是一个有效的聚类提取，如果集群是可分离的2-D地图。其次，我们表明，这种SVC方法使用Jaccard径向基内核可以帮助分类足够好的一组术语到本体类，并帮助定义正则表达式规则的信息抽取的文件，我们的案例研究涉及一组术语和文件的发展和分子生物学。
2015-04-23 cs.CL cs.LG
Pathology Extraction from Chest X-Ray Radiology Reports: A Performance Study
Semion
从放射学报告中提取相关病理术语对于正确的图像标签生成和疾病人群研究非常重要。在这封信中，我们比较了性能的一些已知的应用程序接口（API）的任务，胸部异常提取放射学报告。我们探索了几个医疗领域特定的注释工具，如具有非MEDLINE和Mesh On Demand（MOD）选项的Medical Text Indexer（MTI），以及IBM云提供的通用自然语言理解（NLU）API。我们的研究结果表明，虽然MTI和MOD是用于提取医学术语，但与IBM NLU等通用提取API相比，它们的性能最差。最后，我们训练了一个基于DNN的命名实体识别（NER）模型，从放射学报告中提取关键概念词。我们的模型在很大程度上优于医疗特定和通用API性能。我们的研究结果表明，通用API的病理提取任务的不足，并建立特定领域的模型训练的重要性，以改善结果。我们希望这些结果能够激励研究界发布更大的去识别放射学报告语料库，用于构建高精度的机器学习模型，以完成病理提取的重要任务。
2018-12-06 cs.CL cs.IR
Document-Level Event Extraction with Definition-Driven ICL
School of Information Science（信息科学学院）；Beijing Language and Culture University（北京语言大学）
针对文档级事件抽取中 LLM 提示设计难题，提出 DDEE 策略，通过定义驱动提示优化、数据平衡及结构化约束提升事件与论元抽取效果。
2024-08-10 cs.AI cs.CL cs.CY
Research on Information Extraction of LCSTS Dataset Based on an Improved BERTSum-LSTM Model
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；College of Physics, Donghua University（东华大学物理学院）；Glorious Sun School of Business & Management, Donghua University（东华大学旭日工商管理学院）；College of Medical Technology, Shanghai University of Medicine & Health Sciences（上海健康医学院医学技术学院）；College of Information Sciences and Technology, Donghua University（东华大学信息科学与技术学院）
针对中文新闻摘要生成中的语义复杂与分词难题，本文改进BERTSum-LSTM模型用于LCSTS数据集信息抽取，实验证明其生成摘要效果良好，对新闻摘要构建有重要意义。
2024-06-26 cs.AI cs.CL
FastRE: Towards Fast Relation Extraction with Convolutional Encoder and Improved Cascade Binary Tagging Framework
Southeast University（东南大学）；Tencent Inc.（腾讯公司）
最近从文本中提取关系的工作取得了优异的性能。然而，大多数现有的方法不太关注效率，使得它仍然具有挑战性，快速提取关系，从海量或流文本数据在现实的场景。主要的效率瓶颈是这些方法使用基于transformer的预训练语言模型进行编码，这严重影响了训练速度和推理速度。为了解决这个问题，我们提出了一个快速关系抽取模型（FastRE）基于卷积编码器和改进的级联二进制标记框架。与以前的工作相比，FastRE采用了几项创新，以提高效率，同时保持有前途的性能。具体而言，FastRE采用了一种新颖的卷积编码器结构，结合了扩展卷积、门控单元和残差连接，在保持令人满意的性能的同时，显著降低了训练和推理的计算开销。此外，为了改进级联二进制标记框架，FastRE首先引入了类型-关系映射机制来提高标记效率和减少关系冗余，然后利用位置相关的自适应阈值策略来获得更高的标记准确率和更好的模型泛化能力。实验结果表明，FastRE在效率和性能之间取得了很好的平衡，与最先进的模型相比，训练速度提高了3- 10倍，推理速度提高了7- 15倍，参数减少了1/100，而性能仍然具有竞争力。
2022-05-22 cs.AI cs.CL cs.LG
Targeted Extraction of Temporal Facts from Textual Resources for Improved Temporal Question Answering over Knowledge Bases
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；IBM Research AI（IBM人工智能研究院）
知识库问答（KBQA）系统的目标是通过对从知识库（KB）检索的相关事实进行推理来回答复杂的自然语言问题。这些系统所面临的主要挑战之一是，由于不完整的知识库和实体/关系链接错误等因素，它们无法检索所有相关事实。在本文中，我们解决这个特殊的挑战，系统处理一个特定类别的问题，称为时间问题，答案推导涉及推理的事实断言点/时间间隔的各种事件。我们提出了一种新的方法，有针对性的时间事实提取技术是用来协助KBQA时，它无法检索时间事实从KB。我们使用$λ$ -问题的表达式来逻辑地表示得出答案所需的组成事实和推理步骤。这使我们能够发现那些未能从知识库中检索到的事实，并生成文本查询，以便以开放域问答的方式从文本资源中提取它们。我们评估了我们的方法在基准时间问答数据集考虑维基数据和维基百科分别作为知识库和文本资源。实验结果表明，该方法在回答正确率上相对提高了$\sim$ 30%，证明了该方法的有效性.
2022-03-21 cs.AI cs.CL
CompactIE: Compact Facts in Open Information Extraction
University of Michigan（密歇根大学）；Megagon Labs（Megagon实验室）
现代神经OpenIE系统和基准测试的一个主要缺点是，它们优先考虑提取信息的高覆盖率，而不是其组成部分的紧凑性。这严重限制了OpenIE提取在许多下游任务中的有用性。如果提取物是紧凑的并且共享成分，则可以提高提取物的效用。为此，我们研究的问题，确定紧凑的提取与基于神经的方法。我们提出了CompactIE，OpenIE系统，使用一种新的流水线的方法来产生紧凑的提取重叠成分。它首先检测提取物的成分，然后将它们连接起来以构建提取物。我们训练我们的系统紧凑的提取处理现有的基准。我们在CaRB和Wire 57数据集上的实验表明，CompactIE比以前的系统找到了1.5 - 2倍的紧凑提取，具有高精度，在OpenIE中建立了新的最先进的性能。
2022-06-09 cs.CL
MedJEx: A Medical Jargon Extraction Model with Wiki's Hyperlink Span and Contextualized Masked Language Model Score
UMass Amherst（马萨诸塞大学阿默斯特分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）；UMass Medical School（马萨诸塞大学医学院）；U.S. Department of Veterans Affairs（美国退伍军人事务部）
本文提出了一种新的自然语言处理（NLP）的应用程序，用于识别医疗行话术语可能难以理解的病人从电子健康记录（EHR）的笔记。我们首先提出了一个新的和公开可用的数据集，专家注释的医疗行话术语从18K+ EHR笔记句子（$MedJ$）。然后，我们介绍了一种新的医学行话提取（$MedJEx$）模型，已被证明优于现有的国家的最先进的NLP模型。首先，MedJEx在辅助维基百科超链接跨度数据集上进行训练时提高了整体性能，其中超链接跨度提供额外的维基百科文章来解释跨度（或术语），然后在注释的MedJ数据上进行微调。其次，我们发现，一个语境化的掩蔽语言模型分数是有益的检测特定领域的不熟悉的行话。此外，我们的研究结果表明，辅助维基百科超链接跨度数据集上的训练提高了八个生物医学命名实体识别基准数据集中的六个。MedJ和MedJEx都是公开的。
2022-10-12 cs.CL
EventGraph: Event Extraction as Semantic Graph Parsing
University of Oslo（奥斯陆大学）；University of Bergen（卑尔根大学）
事件提取涉及事件触发器和相应事件参数的检测和提取。现有的系统通常将事件提取分解为多个子任务，而没有考虑它们之间可能的交互。在本文中，我们提出了EventGraph，一个联合框架的事件提取，它编码的事件作为图形。我们将事件触发器和参数表示为语义图中的节点。因此，事件提取成为图解析问题，其提供以下优点：1）联合执行事件检测和参数提取; 2）从一段文本中检测和提取多个事件;以及3）捕获事件参数和触发器之间的复杂交互。在ACE 2005上的实验结果表明，我们的模型是有竞争力的国家的最先进的系统，并大大提高了参数提取的结果。此外，我们从ACE 2005中创建了两个新的数据集，其中我们保留了事件参数的整个文本跨度，而不仅仅是中心词。我们的代码和模型都是开源的。
2022-10-16 cs.CL
An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020
Aimesoft JSC（Aimesoft股份公司）
在本文中，我们提出了一个实证研究，使用预训练的BERT模型的关系抽取任务在VLSP 2020年评估活动。我们应用了两种最先进的基于BERT的模型：R-BERT和实体启动的BERT模型。对于每个模型，我们比较了两个预训练的BERT模型：FPTAI/vibert和NlpHUST/vibert 4 news。我们发现NlpHUST/vibert 4 news模型在越南语关系抽取任务中的表现明显优于FPTAI/vibert。最后，我们提出了一个集成模型，结合R-BERT和BERT与实体开始。我们提出的集成模型略有改善，对两个单一的模型的开发数据和测试数据提供的任务组织者。
2021-01-28 cs.CL
Language Models and Retrieval Augmented Generation for Automated Structured Data Extraction from Diagnostic Reports
Duke University（杜克大学）；Duke University School of Medicine（杜克大学医学院）；Duke Center for Artificial Intelligence in Radiology（杜克放射学人工智能中心）
本研究利用开放权重语言模型和检索增强生成，自动化提取放射学与病理学报告中的结构化临床信息，最佳模型准确率超98%和90%，验证了本地隐私保护下临床数据提取的可行性。
2024-09-18 cs.CL cs.IR cs.LG
Global Relation Embedding for Relation Extraction
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；The Ohio State University（俄亥俄州立大学）
本文研究了具有远程监督的文本关系嵌入问题。为了解决远程监督的错误标记问题，我们建议将文本关系与关系的全局统计数据嵌入，即，从整个语料库中收集的文本和知识库关系的共现统计。这种方法证明对远程监督引入的训练噪声更鲁棒。在一个流行的关系抽取数据集上，我们证明了学习的文本关系嵌入可以用来增强现有的关系抽取模型，并显着提高其性能。最值得注意的是，对于最好的现有模型发现的前1,000个关系事实，精确度可以从83.9%提高到89.3%。
2018-04-19 cs.CL
BERE: An accurate distantly supervised biomedical entity relation extraction network
从文献中自动抽取实体关系抽取（RE）是构建生物医学数据库的重要来源，它比人工处理更高效、可扩展。然而，现有的RE模型通常忽略了句子结构和目标实体中包含的信息。在本文中，我们提出了BERE，这是一种基于深度学习的模型，它使用Gumbel Tree-GRU来学习句子结构，并使用联合嵌入来整合实体信息。它还采用词级注意力改进的关系抽取和事件级注意力，以适应远程监督数据集。由于现有的数据集相对较小，我们进一步构建了一个更大的药物靶点相互作用提取（DTIE）数据集的远程监督。在DDIExtraction 2013任务和DTIE数据集上进行的实验表明，我们的模型在F1测量和PR曲线方面优于最先进的基线。
2019-06-22 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Part & Whole Extraction: Towards A Deep Understanding of Quantitative Facts for Percentages in Text
Microsoft Research Asia（微软亚洲研究院）
研究了百分比文本的定量事实抽取问题。例如，给定句子“30%的美国人喜欢看足球，而20%的人更喜欢看NBA。“，我们的目标是通过提取它们的定量事实：部分（“喜欢看足球”和“更喜欢看NBA”）和整体（“美国人”）来深入理解百分比数字（“30%”和“20%”）。这些定量事实可以为自动信息图生成等新应用提供支持。我们制定的部分和整体提取作为一个序列标记问题。由于部分/整体及其对应百分比之间的差距很大，我们在序列建模中引入了跳跃机制，并在我们的任务和CoNLL-2003命名实体识别任务上取得了改善的性能。实验结果表明，学习跳过序列标记是有前途的。
2021-10-26 cs.CL
Span Model for Open Information Extraction on Accurate Corpus
Shanghai Jiao Tong University（上海交通大学）
开放式信息抽取（Open IE）是一项具有挑战性的任务，特别是由于其脆弱的数据基础。大多数Open IE系统必须在自动构建的语料库上进行训练，并在不准确的测试集上进行评估。在这项工作中，我们首先从训练集和测试集两个方面缓解了这一困难。对于前者，我们提出了一种改进的模型设计，以更充分地利用训练数据集。对于后者，我们提出了我们的准确重新标注的基准测试集（Re-OIE 6），根据一系列的语言观察和分析。然后，我们引入了一个跨度模型，而不是以前采用的序列标记公式化的n元开放IE。我们新引入的模型在两个基准评估数据集上都实现了最先进的性能。
2019-11-21 cs.CL
Joint Event and Temporal Relation Extraction with Shared Representations and Structured Prediction
University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个联合的事件和时间关系抽取模型与共享的表示学习和结构化预测。所提出的方法有两个优点比现有的工作。首先，它通过允许事件和关系模块共享相同的上下文嵌入和神经表示学习器来改进事件表示。其次，它避免了传统的管道系统中的错误传播，利用结构化推理和学习方法来分配事件标签和时间关系标签联合。实验结果表明，该方法在事件抽取和时态关系抽取两个方面均优于现有系统，在两个基准数据集上的端到端F1分别提高了10%和6.8%.
2020-09-15 cs.AI cs.CL
Enriching Relation Extraction with OpenIE
University of Luxembourg（卢森堡大学）
关系抽取（RE）是信息抽取（IE）的一个子学科，其关注于从自然语言输入设备（例如句子、子句或甚至由多个句子和/或子句组成的短段落）预测关系谓词。RE与命名实体识别（NER）和消歧（NED）一起构成了许多高级IE任务（如知识库（KB）填充和验证）的基础。在这项工作中，我们将探讨如何最近的开放信息抽取（OpenIE）的方法可能有助于提高RE的任务，通过编码结构化信息的句子的主要单位，如主题，对象，动词短语，状语，到各种形式的矢量化（因此非结构化）表示的句子。我们的主要猜想是，通过OpenIE将长且可能复杂的句子分解为多个较小的子句，甚至有助于微调上下文敏感的语言模型，如RE的BERT（及其大量变体）。我们的实验在两个注释语料库，知识网和FewRel，证明了我们的丰富的模型相比，现有的RE方法的准确性提高。我们的最佳结果分别达到KnowledgeNet和FewRel的F1分数的92%和71%，证明了我们的方法在竞争基准上的有效性。
2022-12-19 cs.CL cs.IR cs.LG
Better Few-Shot Relation Extraction with Label Prompt Dropout
Singapore University of Technology and Design（新加坡科技设计大学）
Few-Shot关系抽取的目标是基于非常有限的训练样本来学习识别两个实体之间的关系。最近的努力发现，文本标签（即，关系名称和关系描述）对于学习类表示非常有用，这将有益于少样本学习任务。然而，在学习过程中利用这些标签信息的最佳方式是一个重要的研究问题。现有的作品在很大程度上假设这样的文本标签总是存在于学习和预测过程中。在这项工作中，我们认为，这种方法可能并不总是导致最佳结果。相反，我们提出了一种新的方法，称为标签提示辍学，随机删除标签的描述在学习过程中。我们的实验表明，我们的方法是能够导致改进的类表示，产生显着更好的结果上的Few-Shot关系抽取任务。
2022-10-25 cs.CL
RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information
Indian Institute of Science（印度科学学院）；Birla Institute of Technology and Science, Pilani（比尔拉理工学院皮拉尼校区）
远程监督关系抽取（RE）方法通过自动地将知识库（KB）中的关系实例与非结构化文本对齐来训练提取器。除了关系实例之外，KB通常包含其他相关的边信息，诸如关系的别名（例如，founded和co-founded是关系founderOfCompany的别名）。RE模型通常忽略这些容易获得的边信息。在本文中，我们提出了RESIDE，一个远程监督的神经关系抽取方法，利用额外的边信息从知识库改进关系抽取。它使用实体类型和关系别名信息在预测关系时施加软约束。RESIDE采用图卷积网络（GCN）从文本中编码语法信息，即使在有限的边信息可用时也能提高性能。通过在基准数据集上的大量实验，我们证明了RESIDE的有效性。我们提供了RESIDE的源代码，以鼓励可重复的研究。
2019-02-12 cs.CL
BioSimplify: an open source sentence simplification engine to improve recall in automatic biomedical information extraction
Department of Biomedical Informatics, Arizona State University（亚利桑那州立大学生物医学信息学系）
Biocompatibility是一个用Java编写的开源工具，它引入并促进了一种用于自动话语分析和信息抽取的句子简化新模型的使用（与用于提高人类可读性的句子简化相反）。该模型基于一种“猎枪”方法，通过组合其组成要素的变体，产生原始句子的许多不同（更简单）版本。该工具针对处理生物医学科学文献进行了优化，例如PubMed中索引的摘要。我们测试了我们的工具对PPI提取任务的影响，它将PPI工具的f分数提高了约7%，召回率提高了约20%。生物统计工具和测试语料库可以从https://biosimplify.sourceforge.net下载。
2011-07-28 cs.CL
Cross-Sentence N-ary Relation Extraction with Graph LSTMs
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
过去在关系抽取中的工作主要集中在单句中的二元关系。最近NLP在高价值领域的进展引发了人们对提取跨多个句子的n元关系的更一般设置的兴趣。在本文中，我们探讨了一个通用的关系抽取框架的基础上图长短期记忆网络（图LSTM），可以很容易地扩展到跨句子的n元关系抽取。图公式提供了一种统一的方式来探索不同的LSTM方法，并结合各种内部和内部依赖关系，如顺序，语法和话语关系。一个强大的上下文表示学习的实体，作为输入的关系分类器。这简化了对具有任意arity的关系的处理，并且使具有相关关系的多任务学习成为可能。我们在两个重要的精准医疗环境中评估了这个框架，证明了它在传统的监督学习和远程监督下的有效性。跨句子提取产生了更大的知识库。多任务学习显著提高了提取准确率。对各种LSTM方法的深入分析产生了有用的见解，即语言分析对提取准确性的影响。
2017-08-12 cs.CL
Robustly Pre-trained Neural Model for Direct Temporal Relation Extraction
Arizona State University（亚利桑那州立大学）；The University of Texas Health Science Center（德克萨斯大学健康科学中心）
背景资料：识别临床事件和时间表达之间的关系是有意义地分析用于高级AI应用的临床文本的关键挑战。虽然以前的研究存在，国家的最先进的性能有显着的改进空间。研究方法：我们研究了BERT（使用Transformers的双向编码器表示）的几种变体，其中一些涉及临床领域定制，另一些涉及改进的架构和/或训练策略。我们使用直接时间关系数据集评估了这些方法，该数据集是2012年i2 b2时间关系挑战数据集的语义集中子集。结果如下：我们的研究结果表明，RoBERTa采用了更好的预训练策略，包括使用10倍大的语料库，将整体F度量提高了0.0864绝对得分（在1.00尺度上），从而相对于以前的最先进性能，将出错率降低了24%。结论：在大型语料库上预先训练的现代上下文语言建模神经网络，即使在高度细致入微的临床时间关系任务上也能取得令人印象深刻的性能。
2020-04-13 cs.CL cs.LG
"Is depression related to cannabis?": A knowledge-infused model for Entity and Relation Extraction with Limited Supervision
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
由于大力宣传使用大麻对改善心理健康的好处，大麻合法化是立法者的优先事项。然而，初步的科学研究并没有最终将大麻与改善心理健康联系起来。在这项研究中，我们探讨了抑郁症和大麻消费之间的关系，在一个有针对性的社交媒体语料库中，涉及个人使用大麻，目的是获得其潜在的心理健康益处。我们使用的推文包含领域专家注释的三个类别之间的关联-原因，效果和成瘾。最先进的自然语言处理技术在提取大麻短语和抑郁指标之间的这些关系方面存在不足。我们试图通过使用领域知识来解决这一限制;具体来说，药物滥用本体论与精神疾病诊断和统计手册的心理健康词汇增强成瘾。由于领域专家的时间有限而缺乏注释，我们使用监督对比学习结合在大量语料库上训练的GPT-3，即使在监督有限的情况下也能提高性能。实验结果表明，我们的方法可以显着提取大麻抑郁症的关系比最先进的关系提取器。可以使用最近邻方法提供高质量的注释，该方法使用可被科学界用来更好地理解大麻与抑郁症之间的关联的学习表示。
2021-02-01 cs.AI cs.CL
The performance evaluation of Multi-representation in the Deep Learning models for Relation Extraction Task
单一的实现，连接，添加或替换表示已经在许多NLP任务上取得了显着的改进。主要是在关系抽取中，静态的、上下文化的和其他能够通过这些结合的语言特征来解释词义的表示。在这项工作中解决的问题是如何改进的关系抽取使用不同类型的表示所产生的预训练的语言表示模型。我们使用流行的单词表示模型对我们的方法进行基准测试，替换和连接静态，上下文和其他手工提取特征的表示。实验表明，代表性是一个关键因素选择时，DL方法。Flair和BERT的词嵌入可以通过RE任务的深度学习模型很好地解释，并且用上下文化的词表示替换静态词嵌入可能会带来显着的改进。然而，手工创建的表示需要耗时，并且不能确保与其他表示相结合。
2019-12-17 cs.CL
Improving Adverse Drug Event Extraction with SpanBERT on Different Text Typologies
University of Udine（乌迪内大学）；CSAIL MIT（麻省理工学院计算机科学与人工智能实验室）；The Hong Kong Polytechnic University（香港理工大学）
近年来，互联网用户在社交媒体、博客和健康论坛上报告药物不良事件（ADE）。由于大量的报告，药物警戒正在寻求诉诸NLP来监测这些出口。我们首次提出使用Span BERT架构来执行ADE提取任务：流行的BERT Transformer的新版本显示了多标记文本跨度的改进功能。我们验证了我们的假设与实验上的两个数据集（SMM4H和CADEC）不同的文本类型（推文和博客文章），发现SpanBERT结合CRF优于所有的竞争对手在这两个。
2021-05-19 cs.CL cs.LG
Few-Shot Document-Level Relation Extraction
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
我们提出了FREDo，一个Few-Shot文档级关系抽取（FSDLRE）基准。相对于现有的基准是建立在文档级关系抽取语料库，我们认为，文档级语料库提供更多的现实主义，特别是关于非上述（NOTA）的分布。因此，我们提出了一组FSDLRE任务，并基于两个现有的监督学习数据集，DocRED和sciERC构建了一个基准。我们适应国家的最先进的文档级的方法MNAV，并进一步发展，以改善领域自适应。我们发现FSDLRE是一个具有挑战性的设置有趣的新特性，如能够从支持集采样NOTA实例。数据、代码和训练模型可在线获取（https：//github.com/nicpopovic/FREDo）。
2022-07-01 cs.AI cs.CL cs.LG
Integrating Heterogeneous Domain Information into Relation Extraction: A Case Study on Drug-Drug Interaction Extraction
Toyota Technological Institute（丰田工业大学）
深度神经网络的发展改善了各个领域的表示学习，包括文本、图形结构和关系三元表示。这一发展为超越传统的面向文本的关系抽取的新关系抽取打开了大门。然而，同时考虑多个异构领域信息的有效性的研究仍在探索中，如果一个模型可以利用集成异构信息的优势，它有望表现出显着的贡献，在世界上的许多问题。本文以文献中的药物相互作用为研究对象，实现了利用异构领域信息的关系抽取。首先，准备了深度神经关系抽取模型，并分析了其注意力机制。接下来，提出了将药物分子结构信息和药物描述信息组合到输入句子信息的方法，并且示出了将药物分子结构和药物描述用于关系抽取任务的有效性。然后，为了进一步利用异构信息，从多个现有数据库中收集药物相关项目，如蛋白质条目、医学术语和途径，并构建知识图谱（KG）形式的新数据集。对构建的数据集进行链接预测任务，以获得包含异质域信息的药物的嵌入表示。最后，提出了一种融合输入句子信息和异构KG信息的方法。在一个广泛使用的数据集上对该模型进行了训练和评估，结果表明，利用异构领域信息显着提高了文献中关系抽取的性能。
2022-12-21 cs.CL
Zero-shot information extraction from radiological reports using ChatGPT
Zhejiang Lab（之江实验室）；Peking University Cancer Hospital and Institute（北京大学肿瘤医院暨北京市肿瘤防治研究所）；Zhejiang University（浙江大学）
本研究探索使用ChatGPT进行零样本信息提取，通过设计提示模板和后处理模块，从847份CT报告中提取信息，实验表明其性能与基线系统相当但仍有改进空间。
2023-09-07 cs.CL
Bilingual Terminology Extraction Using Multi-level Termhood
Nanjing University of Science and Technology（南京理工大学）；Wuhan University（武汉大学）
目的：术语是在特定语境中使用的技术词汇或表达方式的集合，是一门形式化学科的核心概念，通常应用于机器翻译、信息检索、信息抽取和文本分类等领域。双语术语抽取在双语词典编纂、双语本体构建、机器翻译和跨语言信息检索等领域的研究。本文研究了基于多层次术语集的单语术语抽取和双语术语对齐问题。设计/方法/途径：提出了一种基于多层术语的方法。该方法通过对语料库的比较，计算候选术语的术语度以及包含该术语的句子。由于术语和通用词在语料库中的分布不同，在平行语料库上进行术语对齐时，术语集也可以用来约束和提高术语对齐的性能。本文提出了一种基于词组约束的双语词对齐方法。研究结果：实验结果表明，多层次的术语可以得到更好的性能比现有的术语提取方法。如果将术语类别作为约束因素，则可以提高双语术语对齐的性能。
2013-02-19 cs.CL
Mention-centered Graph Neural Network for Document-level Relation Extraction
Computer School, Wuhan University（武汉大学计算机学院）；National University of Singapore（新加坡国立大学）
文档级关系抽取旨在发现整个文档中实体之间的关系。如何从文档中的不同句子中建立实体之间的依赖关系仍然是一个巨大的挑战。目前的方法要么利用语法树来构建文档级图，要么从不同的句子中聚合推理信息。在本文中，我们建立跨句子的依赖关系，推断句子间提到的成分关系。采用主动链接策略，在文档级图上通过提及卷积推理中间关系。我们进一步注意到NA实例的泛化问题，这是由不完整的注释和全连接的提及对恶化。提出了一种改进的排序损失算法来解决这个问题。实验表明，不同提及之间的联系对文档级关系抽取至关重要，它使模型能够抽取出更有意义的高层组合关系。
2021-03-15 cs.AI cs.CL
Sentence-Level Relation Extraction via Contrastive Learning with Descriptive Relation Prompts
Netease Inc.（网易公司）
本文提出CTL-DRP范式，通过描述性关系提示和对比学习联合建模实体信息、关系知识与类型限制，在TACRED、TACREV和Re-TACRED上取得领先性能。
2023-04-11 cs.CL
PromptRE: Weakly-Supervised Document-Level Relation Extraction via Prompting-Based Data Programming
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）
PromptRE提出一种结合提示技术与数据编程的弱监督文档级关系抽取方法，利用标签分布和实体类型先验知识，在ReDocRED基准上优于基线，有效解决“无关系”问题。
2023-10-13 cs.CL cs.LG
A Cloud-based Machine Learning Pipeline for the Efficient Extraction of Insights from Customer Reviews
针对特定领域客户评论洞见提取的难题，提出一种集成Transformer神经网络、向量嵌入关键词提取与聚类的云端机器学习流水线，经公开基准数据集验证，效果优于现有前沿方案。
2023-06-18 cs.AI cs.CL
MAQInstruct: Instruction-based Unified Event Relation Extraction
AntGroup（蚂蚁集团）
本文提出MAQInstruct框架，通过将事件关系抽取转化为基于事件-关系指令的事件选择，并结合二分匹配损失，在多个大语言模型上显著提升了事件关系抽取性能。
2025-02-06 cs.AI cs.CL
Does constituency analysis enhance domain-specific pre-trained BERT models for relation extraction?
Université Paris-Saclay, INRAE, MaIAGE（巴黎-萨克雷大学，法国国家农业食品与环境研究院，应用数学与计算机科学、基因组学与环境研究单位）；Université Paris-Saclay, CNRS, Laboratoire interdisciplinaire des sciences du numérique（巴黎-萨克雷大学，法国国家科学研究中心，数字科学跨学科实验室）
近年来，人们对关系抽取进行了大量的研究。BioCreative VII的DrugProt跟踪为关系抽取系统的开发和评估提供了一个手动注释的语料库，其中研究了化学品和基因之间的相互作用。我们描述了我们用于提交的集成系统，该系统通过多数投票结合了微调的bioBERT，sciBERT和const-bioBERT模型的预测。我们特别测试了语法信息对BERT关系抽取的贡献。我们观察到，向BERT添加基于成分的句法信息提高了准确率，但降低了召回率，因为在训练集中很少看到的关系不太可能被注入句法信息的BERT模型预测。我们的代码可以在线获取[https：//github.com/Maple177/drugprot-relation-extraction]。
2021-11-25 cs.AI cs.CL cs.LG
RAMIE: Retrieval-Augmented Multi-task Information Extraction with Large Language Models on Dietary Supplements
University of Minnesota（明尼苏达大学）
本文提出RAMIE框架，结合指令微调与RAG技术从临床记录中多任务提取膳食补充剂信息，实验证明其显著提升了Llama2等模型的F1分数与整体准确率。
2024-11-24 cs.AI cs.CE cs.CL
Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs
American Express（美国运通）
本文提出新的证据提取度量标准和红acted-重试框架，提升LLMs在文档不一致性检测中的证据提取性能，并释放新的半合成数据集进行评估。
2026-04-08 cs.AI cs.CL
MedicalBench: Evaluating Large Language Models Toward Improved Medical Concept Extraction
Optum AI
本文提出MedicalBench，一个用于评估大型语言模型在医疗概念提取中的表现的基准，重点在于隐含概念的提取和证据 grounding，通过多阶段流程构建数据集并定义两种互补的评估任务，揭示了隐含概念提取的挑战。
2026-10-22 cs.CL
Exploring the Effectiveness of Methods for Persona Extraction
Higher School of Economics（高等经济学院）
该研究针对俄语对话人物角色提取任务，译制Multi-Session Chat俄语数据集，提出基于F-score的评估指标，实验发现现有模型召回率不足，NCE Loss可提精确率但降召回，模型规模增大能提升提取效果。
2024-07-12 cs.CL
Enhancing Complex Causality Extraction via Improved Subtask Interaction and Knowledge Fusion
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Cloud（华为云）
本文提出统一框架UniCE，通过子任务交互机制、双模态知识融合机制和独立解码器同时解决复杂因果关系抽取、子任务交互与知识融合三大挑战，在三个基准上超越ChatGPT至少30% F1，并可通过上下文学习提升ChatGPT性能。
2024-08-06 cs.AI cs.CL
Biased TextRank: Unsupervised Graph-Based Content Extraction
University of Michigan（密歇根大学）
我们引入了Biased TextRank，这是一种基于图形的内容提取方法，其灵感来自流行的TextRank算法，该算法根据文本对语言处理任务的重要性以及与输入“焦点”的相关性对文本跨度进行排名。“Biased TextRank通过修改TextRank执行中的随机重新启动来实现文本的集中内容提取。基于图节点与任务焦点的相关性来分配随机重启概率。我们提出了两个应用程序的偏见TextRank：集中的摘要和解释提取，并表明我们的算法导致两个不同的数据集上的显着ROUGE-N得分利润率提高性能。与其前身非常相似，Biased TextRank是无监督的，易于实现，并且比当前最先进的自然语言处理方法更快，更轻。
2020-11-02 cs.CL
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们提出了一种新的多通道语音提取系统，同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上，采用说话人嵌入来识别和提取多个目标，而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型，我们提出了一个新的扬声器调节机制，通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR！数据表明，在强多通道基线上，所提出的系统相对于源分离性能提高了9%，并且相对于相同基线，它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
Deep Recurrent Neural Networks for Product Attribute Extraction in eCommerce
Walmart Labs（沃尔玛实验室）
从产品标题中提取准确的属性质量是通过丰富的分面搜索为电子商务客户提供有价值的在线购物体验的重要组成部分。我们展示了深度递归网络在这一领域的潜力，主要是双向LSTM和双向LSTM-CRF等模型，无论是否有注意力机制。与以前的基准测试相比，这些测试提高了整体F1分数（More等人）。至少0.0391，展示了97.94%的总体准确率，94.12%的召回率和0.9599的F1得分。这使我们实现了对产品重要方面或属性的显著覆盖，这不仅显示了深度递归模型在以前的机器学习基准测试中的功效，而且大大增强了在线购物时的整体客户体验。
2018-03-29 cs.AI cs.CL
End-to-End Speech Recognition with High-Frame-Rate Features Extraction
Toshiba's Cambridge Research Laboratory（东芝剑桥研究实验室）
现有技术的端到端自动语音识别（ASR）每10 ms从输入语音信号中提取声学特征，这对应于100帧/秒的帧速率。在这份报告中，我们研究了在端到端ASR中使用高帧率特征提取。在特征提取中使用200和400帧/秒的高帧速率，并为端到端ASR提供附加信息。高帧速率特征提取的有效性进行了评估独立和结合速度扰动的数据增强。在两个语音语料库，华尔街日报（WSJ）和CHiME-5上进行的实验表明，使用高帧速率特征提取可以提高端到端ASR的性能，无论是独立还是与速度扰动相结合。在WSJ语料库上，高帧率特征提取单独和结合速度扰动产生的词错误率（WER）的相对减少分别高达21.3%和24.1%。在CHiME-5语料库上，麦克风阵列记录的测试数据的相应相对WER降低分别高达2.8%和7.9%，双耳麦克风记录的测试数据的相应相对WER降低分别高达11.8%和21.2%。
2019-07-12 cs.CL cs.SD eess.AS
