Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Improving Information Extraction with Learned Queries
Dartmouth College（达特茅斯学院）
该研究针对信息抽取问题，提出LoQ生成文档特定问题集、FeedQ反馈驱动优化方法，优化问题可训练轻量级模型，4B参数模型性能超未调大模型，发布12820个优化问题数据集。
2026-09-01 cs.CL
Improving Cross-Domain Performance for Relation Extraction via Dependency Prediction and Information Flow Control
University of Oregon（俄勒冈大学）
关系抽取（RE）是信息抽取和自然语言处理中的一项基本任务。相关树已被证明是一个非常有用的信息源，为这项任务。当前用于关系抽取的深度学习模型主要通过沿着依赖树的结构引导它们的计算来利用这种依赖信息。这种方法的一个潜在问题是它可能会阻止模型捕获语法结构之外的重要上下文信息，并导致较差的跨领域泛化。本文介绍了一种在RE中使用依赖树的新方法，用于联合预测依赖关系和语义关系的深度学习模型。我们还提出了一种新的机制来控制信息流的模型的基础上输入实体提及。我们在基准数据集上的大量实验表明，该模型明显优于现有的RE方法。
2019-07-07 cs.CL
EA$^2$E: Improving Consistency with Event Awareness for Document-Level Argument Extraction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
事件在文档中是相互关联的。受单义话语理论的启发，我们假设参与者倾向于在同一文档中的多个事件中扮演一致的角色。然而，最近的工作文档级事件参数提取模型的每个单独的事件隔离，因此导致提取的参数之间的不一致性，跨事件，这将进一步导致下游应用程序，如事件知识库人口，问答，和假设生成的差异。在这项工作中，我们制定了事件参数一致性的文件级设置下的事件-事件关系的约束。为了提高一致性，我们引入了事件感知的参数提取（EA $^2$ E）模型与增强的上下文进行训练和推理。在WIKIEVENTS和ACE 2005数据集上的实验结果表明，与基线方法相比，EA $^2$ E方法是有效的.
2022-05-30 cs.CL
Improving Aspect-Level Sentiment Analysis with Aspect Extraction
Singapore Institute of Technology and Design（新加坡科技设计大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
基于特征的情感分析（ABSA）是自然语言处理领域的一个研究热点，它包括特征提取（AE）和情感极性特征标注（ALSA）两部分。虽然这两项任务不同，但它们高度相关。这项工作主要假设从预先训练的AE模型中转移知识可以使ALSA模型的性能受益。基于这一假设，在AE期间获得词嵌入，随后将其馈送到ALSA模型。从经验上讲，这项工作表明，增加的信息显着提高了三个不同的基线ALSA模型在两个不同的域的性能。这种改进也可以很好地在AE和ALSA任务之间跨域转换。
2020-05-03 cs.CL
DREEAM: Guiding Attention with Evidence for Improving Document-Level Relation Extraction
Tokyo Institute of Technology（东京工业大学）
文档级关系抽取（DocRE）是识别文档中每个实体对之间所有关系的任务。证据被定义为包含实体对之间关系的线索的句子，已被证明可以帮助DocRE系统关注相关文本，从而改进关系抽取。然而，DocRE中的证据检索（ER）面临两个主要问题：高内存消耗和有限的注释可用性。这项工作的目的是解决这些问题，以提高ER在DocRE中的使用。首先，我们提出了DREEAM，一个内存效率的方法，采用证据信息作为监督信号，从而指导注意力模块的DocRE系统分配高权重的证据。其次，我们提出了一个自我训练策略的梦想，学习ER从自动生成的证据在海量数据没有证据注释。实验结果表明，我们的方法表现出最先进的性能在DocRED基准的DocRE和ER。据我们所知，DREEAM是第一种采用ER自我训练的方法。
2023-02-17 cs.CL
Improving Recall of Large Language Models: A Model Collaboration Approach for Relational Triple Extraction
Shanghai Key Laboratory of Data Science（上海市数据科学重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对大语言模型在复杂句子关系三元组抽取中召回率不足的问题，提出融合大模型与小模型的评估-过滤框架，通过高精度实体对评估模型的输出作为提示辅助抽取，有效提升复杂句抽取效果，且可适配传统抽取模型。
2024-04-15 cs.CL
Improving Neural Relation Extraction with Positive and Unlabeled Learning
Soochow University（苏州大学）；ETH Zurich（苏黎世联邦理工学院）；Alibaba Group（阿里巴巴集团）；Laiye Network technology co.LTD（来也网络科技有限公司）
本文提出了一种新的基于正无标签学习的远程监督关系抽取方法。该方法首先应用强化学习判断句子是否与给定关系为正，然后构造正和未标记的包。与大多数以前的研究，主要使用选定的积极的情况下，我们充分利用未标记的实例，并提出了两个新的表示积极和未标记的袋子。这两个表示，然后结合在一个适当的方式，使袋级预测。在一个广泛使用的真实世界数据集上的实验结果表明，与几个竞争性基线相比，这种新方法确实实现了显着和一致的改进。
2019-11-28 cs.CL
Improving Aspect Term Extraction with Bidirectional Dependency Tree Representation
Southwest Jiaotong University（西南交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Fern University in Hagen（哈根函授大学）
特征词提取是基于特征的情感分析的重要子任务之一。以前的研究表明，使用依赖树结构表示是有前途的这项任务。然而，大多数依赖树结构仅涉及依赖树上的一个方向传播。在本文中，我们首先提出了一种新的双向依存树网络，从给定的句子中提取依存结构特征。其关键思想是明确地将这两个表示分别获得自下而上和自上而下的传播上给定的依赖语法树。然后开发了一个端到端框架来集成嵌入式表示和BiLSTM加上CRF，以学习树结构和顺序特征，从而解决方面术语提取问题。实验结果表明，该模型优于国家的最先进的基线模型在四个基准SemEval数据集。
2019-05-05 cs.CL
Learn from Syntax: Improving Pair-wise Aspect and Opinion Terms Extractionwith Rich Syntactic Knowledge
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
在本文中，我们提出了增强成对方面和意见条款提取（PAOTE）的任务，将丰富的句法知识。我们首先建立了一个语法融合编码器编码的语法特征，包括标签感知的图卷积网络（LAGCN）建模的依赖边缘和标签，以及统一的POS标签，和一个本地注意力模块编码POS标签更好的术语边界检测。在配对过程中，我们采用Biaffine和Triaffine评分进行高阶方面-意见术语配对，同时重新利用LAGCN中的语法丰富表示进行语法感知评分。在四个基准数据集上的实验结果表明，我们的模型优于当前最先进的基线，同时产生可解释的预测与句法知识。
2021-05-06 cs.CL
RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information
Indian Institute of Science（印度科学学院）；Birla Institute of Technology and Science, Pilani（比尔拉理工学院皮拉尼校区）
远程监督关系抽取（RE）方法通过自动地将知识库（KB）中的关系实例与非结构化文本对齐来训练提取器。除了关系实例之外，KB通常包含其他相关的边信息，诸如关系的别名（例如，founded和co-founded是关系founderOfCompany的别名）。RE模型通常忽略这些容易获得的边信息。在本文中，我们提出了RESIDE，一个远程监督的神经关系抽取方法，利用额外的边信息从知识库改进关系抽取。它使用实体类型和关系别名信息在预测关系时施加软约束。RESIDE采用图卷积网络（GCN）从文本中编码语法信息，即使在有限的边信息可用时也能提高性能。通过在基准数据集上的大量实验，我们证明了RESIDE的有效性。我们提供了RESIDE的源代码，以鼓励可重复的研究。
2019-02-12 cs.CL
Improving Continual Relation Extraction by Distinguishing Analogous Semantics
Nanjing University（南京大学）
针对持续关系抽取中类比关系导致性能下降和过拟合问题，提出基于内存不敏感原型、内存增强、集成训练与焦点知识蒸馏的模型，有效区分类比关系并克服过拟合。
2023-05-11 cs.CL
Improving Distantly Supervised Relation Extraction with Self-Ensemble Noise Filtering
IIT Kharagpur（印度理工学院卡拉格普尔分校）；SUTD（新加坡科技设计大学）
远程监督模型在关系抽取中非常流行，因为我们可以使用远程监督方法获得大量的训练数据，而无需人工注释。在远程监督中，如果句子包含元组的两个实体，则该句子被认为是元组的源。然而，这个条件过于宽松，不能保证句子中存在相关的关系特定信息。因此，远程监督的训练数据包含大量噪声，这对模型的性能产生不利影响。在本文中，我们提出了一种自集成过滤机制，以过滤掉噪声样本在训练过程中。我们评估我们提出的框架上的纽约时报数据集，这是通过远程监督。我们的实验与多个国家的最先进的神经关系抽取模型表明，我们提出的过滤机制提高了模型的鲁棒性，并增加其F1分数。
2021-08-22 cs.CL
Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction
University of Delaware（特拉华大学）；Weill Cornell Medicine（威尔康奈尔医学院）
在计算机视觉中，对比学习已被用于学习图像的高质量表示。然而，对比学习并没有被广泛地应用于自然语言处理中，这是由于缺乏一种通用的文本数据数据增强方法。在这项工作中，我们探索的方法，采用对比学习，以改善文本表示的BERT模型的关系抽取。我们的框架的关键旋钮是一个独特的对比预训练步骤，通过将语言知识无缝集成到数据增强中，为关系抽取任务量身定制。此外，我们研究了如何从外部知识库构建的大规模数据可以增强BERT的对比预训练的通用性。在三个关系抽取基准数据集上的实验结果表明，该方法能够提高BERT模型的表示能力，达到最佳性能。此外，我们通过展示具有对比预训练的BERT更多地依赖于预测的基本原理来探索模型的可解释性。我们的代码和数据可在https://github.com/udel-biotm-lab/BERT-CLRE上公开获取。
2021-04-28 cs.CL
Improving Hypernymy Extraction with Distributional Semantic Classes
University of Hamburg（汉堡大学）；University of Mannheim（曼海姆大学）；Ural Federal University（乌拉尔联邦大学）
在本文中，我们展示了如何分布诱导的语义类可以帮助提取上位词。我们提出的方法，使用分布式语义，并使用这些诱导的语义类过滤嘈杂的上位关系的感知语义类。上位词的去噪通过用其上位词标记每个语义类来执行。一方面，这使我们能够使用分布相似意义的全局结构来过滤错误的提取。另一方面，我们通过标签传播到集群术语来推断缺失的上位词。我们进行了大规模的众包研究表明，使用我们的方法自动提取上位词的处理提高了上位词提取的精度和召回的质量。此外，我们展示了我们的方法在领域分类归纳任务中的实用性，在分类归纳的SemEval'16任务上取得了最先进的结果。
2018-02-28 cs.CL
Improving Relation Extraction by Pre-trained Language Representations
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
当前最先进的关系抽取方法通常依赖于在预处理步骤中显式计算的一组词汇、句法和语义特征。训练特征提取模型需要额外的标注语言资源，这严重限制了关系抽取对新语言的适用性和可移植性。类似地，预处理引入了额外的误差源。为了解决这些限制，我们引入了TRE，一个用于关系抽取的Transformer，扩展了OpenAI生成预训练的Transformer [Radford et al.，2018年]。与以前的关系抽取模型不同，TRE使用预训练的深度语言表示而不是显式语言特征来通知关系分类，并将其与自关注的Transformer架构相结合，以有效地对实体提及之间的长期依赖关系进行建模。TRE允许我们在对关系抽取任务的学习语言表示进行微调之前，通过无监督的预训练仅从纯文本语料库中学习隐含的语言特征。TRE在TACRED和SemEval 2010 Task 8数据集上获得了最新的结果，分别达到了67.4和87.1的测试F1。此外，我们观察到样本效率的显著增加。只有20%的训练样本，TRE匹配我们的基线性能，我们的模型在100%的TACRED数据集上从头开始训练。我们开源我们的训练模型，实验和源代码。
2019-06-07 cs.CL
Improving Neural Protein-Protein Interaction Extraction with Knowledge Selection
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Mathematical Sciences, Dalian University of Technology（大连理工大学数学科学学院）
从已发表的科学文献中提取蛋白质-蛋白质相互作用（PPI）为精准医学工作提供了额外的支持。同时，知识库（KBs）包含了大量的蛋白质实体及其关系的结构化信息，这些信息可以编码在实体和关系嵌入中，以帮助PPI提取。然而，必须有选择地使用蛋白质-蛋白质对的先验知识，以便它适用于不同的背景。本文提出了一种知识选择模型（KSM）融合选择的先验知识和上下文信息的PPI提取。首先，两个Transformers根据每个蛋白质嵌入分别编码蛋白质对的上下文序列。然后，将两个输出馈送到相互关注以捕获针对蛋白质对的重要上下文特征。然后，利用上下文特征通过知识选择器提取关系嵌入。最后，所选择的关系嵌入和上下文特征连接PPI提取。在BioCreative VI PPI数据集上的实验表明，KSM通过添加知识选择实现了新的最先进的性能（38.08%F1分数）。
2019-12-11 cs.CL
Improving Relation Extraction by Leveraging Knowledge Graph Link Prediction
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Semantic Machines（微软语义机器公司）
关系抽取（RE）的目的是预测句子中的主语和宾语之间的关系，而知识图谱链接预测（KGLP）的目的是在给定主语和来自知识图谱的关系的情况下预测一组宾语O。这两个问题是密切相关的，因为它们各自的目标是交织在一起的：给定一个包含主语和宾语o的句子，RE模型预测一个关系，然后可以由KGLP模型与主语一起使用，以预测一组宾语O。因此，我们期望对象o在集合O中。在本文中，我们通过提出一种多任务学习方法来利用这一见解，该方法通过对RE和KGLP任务进行联合训练来提高RE模型的性能。我们说明了我们的方法的一般性，通过将其应用于几个现有的RE模型，并以经验证明它如何帮助他们实现一致的性能增益。
2020-12-09 cs.CL
Improving Sentence-Level Relation Extraction through Curriculum Learning
Konkuk University（建国大学）
句子级关系抽取主要是对句子中两个实体之间的关系进行分类。摘要级关系抽取语料库通常包含模型难以推断的数据或噪声数据。在本文中，我们提出了一个基于课程学习的关系抽取模型，该模型根据难度拆分数据并利用它们进行学习。在具有代表性的层次关系抽取数据集TACRED和Re-TACRED上的实验中，该方法分别获得了75.0%和91.4%的F1分数，这是最先进的性能。
2021-08-04 cs.AI cs.CL
Opinion Transmission Network for Jointly Improving Aspect-oriented Opinion Words Extraction and Sentiment Classification
Nanjing University（南京大学）
基于方面的情感分析（ABSA）的两个高度相关的子任务是面向方面的情感分类（ALSC）和观点词提取（AOWE）。它们分别针对句子中的某个方面检测情感极性并提取相应的意见词。以前的工作将它们分开，并通过在小规模标记数据上训练神经模型来关注其中一个，而忽略了它们之间的联系。在本文中，我们提出了一种新的联合模型，意见传输网络（OTN），利用ALSC和AOWE之间的潜在桥梁，以实现同时促进他们的目标。具体而言，我们设计了两个量身定制的意见传输机制，以控制意见线索的双向流动，分别从ALSC到AOWE和AOWE到ALSC。在两个基准数据集上的实验结果表明，我们的联合模型在这两个任务上的性能优于强基线。进一步的分析也验证了意见传导机制的有效性。
2020-11-01 cs.CL
Improving unsupervised neural aspect extraction for online discussions using out-of-domain classification
Samsung-PDMI Joint AI Center, Steklov Mathematical Institute（三星-圣彼得堡数学研究所联合人工智能中心，斯捷克洛夫数学研究所）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Kazan Federal University（喀山联邦大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
基于自我注意力的深度学习架构最近在无监督方面提取和主题建模任务中取得了并超越了最先进的成果。虽然基于神经注意力的方面提取（ABAE）等模型已成功应用于用户生成的文本，但当应用于新闻文章和新闻组文档等传统数据源时，它们的一致性较低。在这项工作中，我们介绍了一个简单的方法，句子过滤的基础上，以提高专题方面学到的新闻组为基础的内容，而不修改ABAE的基本机制。我们训练一个概率分类器来区分域外文本（外部数据集）和域内文本（目标数据集）。然后，在数据准备过程中，我们过滤出在域中概率较低的句子，并在剩余句子上训练神经模型。句子过滤对主题连贯性的积极影响是在未过滤文本上训练的方面提取模型的比较中证明的。
2020-06-17 cs.CL
Improving Persian Relation Extraction Models by Data Augmentation
Shahid Beheshti University（沙希德·贝赫什提大学）
关系抽取是自然语言处理中的一项重要任务，它是预测句子或文档中实体之间语义关系类型的任务。虽然有很多研究和数据集的英语，波斯语的研究和全面的数据集不足。此任务唯一可用的波斯语数据集是PERLEX，它是SemEval-2010-Task-8数据集的波斯语专家翻译版本。在本文中，我们提出了我们的增强数据集和我们的系统的结果和发现，参加了NSURL 2021研讨会的波斯语关系抽取共享任务。我们使用PERLEX作为基础数据集，并通过应用一些文本预处理步骤和通过数据增强技术增加其大小来增强它，以提高应用模型的泛化性和鲁棒性。然后，我们采用两种不同的模型，包括Pars BERT和多语言BERT的关系抽取的增强PERLEX数据集。我们的最佳模型在比赛测试阶段获得了64.67%的Macro-F1，在PERLEX测试集上获得了83.68%的Macro-F1。
2022-03-29 cs.CL
WikiRank: Improving Keyphrase Extraction Based on Background Knowledge
University of Texas at Dallas（德克萨斯大学达拉斯分校）
关键词是文档主要思想的有效表示。虽然背景知识可以提供关于文档的有价值的信息，但是它们很少被结合在关键短语提取方法中。在本文中，我们提出了WikiRank，一个无监督的方法提取关键词的基础上，从维基百科的背景知识。首先，我们为文档构建一个语义图。然后将关键词提取问题转化为图上的优化问题。最后，我们得到最佳的关键词集作为输出。我们的方法比其他最先进的模型在F1分数上获得了超过2%的改进。
2018-03-23 cs.CL cs.IR
Improving Joint Layer RNN based Keyphrase Extraction by Using Syntactical Features
School of Electrical Engineering and Informatics Institut Teknologi Bandung（万隆理工学院电气工程与信息学院）
关键词提取作为从文本中识别重要单词或短语的任务，是在分析来自社交媒体平台的文本时识别主要主题的关键过程。在我们的研究中，我们专注于从Twitter上获取的印度尼西亚语文本。与原始的联合层递归神经网络（JRNN）只输出一个关键词序列，只使用词嵌入不同，本文提出修改JRNN的输入层，通过附加的句法特征信息，即词性、命名实体类型和依赖结构，提取多个关键词序列。由于JRNN通常需要大量数据作为训练样本，并且创建这些样本的成本很高，因此我们使用数据增强方法来增加训练样本的数量。实验结果表明，该方法的性能优于基线方法。我们的方法在精度上达到了.9597，在F1上达到了.7691。
2020-09-15 cs.CL
InteractiveIE: Towards Assessing the Strength of Human-AI Collaboration in Improving the Performance of Information Extraction
University of Maryland（马里兰大学）；Amazon（亚马逊公司）；Adobe Research（奥多比研究院）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；John Hopkins University（约翰霍普金斯大学）；University of Maryland School of Law（马里兰大学法学院）
本文提出InteractiveIE，通过自动问题生成归纳模板槽位并引入少量实时人类监督，在生物医学和法律文档上显著提升信息抽取性能。
2023-11-17 cs.CL
Improving Opinion-Target Extraction with Character-Level Word Embeddings
Bielefeld University（比勒费尔德大学）
细粒度的情感分析近年来受到越来越多的关注。在评论中提取意见目标表达（OTE）通常是细粒度的、基于方面的情感分析中的重要步骤。然而，从用户生成的文本中检索这些信息可能很困难。例如，客户评论很容易包含拼写错误的单词，并且由于其特定于领域的语言而难以处理。在这项工作中，我们调查是否字符级模型可以提高性能的意见目标表达的识别。我们整合到一个序列标签系统使用字符级词嵌入的字结构的信息，并显示其对系统的性能的积极影响。具体而言，我们获得了3.3点F1分数相对于我们的基线模型增加。在进一步的实验中，我们揭示了学习嵌入的编码字符模式，并给出了两种模型的性能差异的细微差别。
2017-09-19 cs.CL
Improving Unsupervised Relation Extraction by Augmenting Diverse Sentence Pairs
Iowa State University（爱荷华州立大学）
本文提出 AugURE，通过句内和跨句句对增强提升无监督关系抽取中对比学习的正样本多样性，并用间隔损失替代 NCE 损失，在 NYT-FB 和 TACRED 上取得最优性能。
2023-12-01 cs.CL
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty
Emory University（埃默里大学）；NEC Labs（NEC实验室）；Microsoft（微软）；NEC Corporation（NEC公司）
针对LLM在开放信息抽取中难以区分无关上下文且预测关系缺乏置信度的问题，提出上下文学习策略与示例不确定性量化模块，在三个基准上达到与有监督方法相媲美的性能。
2023-09-07 cs.CL
Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning
Zhejiang University（浙江大学）；IBM Research（IBM研究院）
面向现实世界的信息抽取场景，关系抽取的研究正在向文档级关系抽取（DocRE）发展。现有的DocRE方法旨在通过新的模型架构对长上下文中的各种信息源进行编码来提取关系。然而，DocRE固有的长尾分布问题被以前的工作所忽视。我们认为，减轻长尾分布问题是至关重要的DocRE在现实世界中的场景。受长尾分布问题的启发，我们提出了一种简单的关系增强（ERA）方法，通过增强尾部关系的性能来改进DocRE。此外，我们进一步提出了一个新的对比学习框架，即基于我们的ERA，ERACL，它可以进一步提高模型在尾关系上的性能，并实现与最先进的DocRE相比具有竞争力的整体性能。
2022-05-21 cs.AI cs.CL
UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
本文提出基于适配器的框架 UniArk，通过同时去偏预训练与微调目标，在不增加参数的情况下提升语言模型事实知识抽取的域外泛化性和一致性，并构建了大规模改写数据集 ParaTrex 用于评估不一致性。
2024-04-01 cs.CL
Improving Relation Extraction with Knowledge-attention
Nanyang Technological University（南洋理工大学）；ZhuiYi Technology（追一科技）
虽然注意力机制已被证明在许多NLP任务中是有效的，但其中大多数都是数据驱动的。我们提出了一种新的知识-注意编码器，它将外部词汇资源的先验知识融入深度神经网络，用于关系抽取任务。此外，我们提出了三种有效的方式整合知识的注意力与自我注意力，以最大限度地利用知识和数据。所提出的关系抽取系统是端到端的，并且完全基于注意力。实验结果表明，本文提出的知识-注意力机制与自注意机制具有互补优势，综合模型的性能优于现有的CNN、RNN和基于自注意的模型.在复杂的大规模关系抽取数据集TACRED上实现了最先进的性能。
2020-03-04 cs.CL cs.LG
Improving Distantly Supervised Relation Extraction with Neural Noise Converter and Conditional Optimal Selector
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
距离监督关系抽取已成功应用于具有数千个关系的大型语料库。然而，不可避免的错误标记的问题，由远程监督将损害性能的关系抽取。在本文中，我们提出了一种方法与神经噪声转换器，以减轻噪声数据的影响，和一个条件最优选择器，使正确的预测。我们的噪声转换器在logit水平上学习结构化转移矩阵，并捕获远程监督关系抽取数据集的属性。另一方面，条件最优选择器有助于对实体对做出正确的预测决策，即使句子组被无关系句子淹没。我们在一个广泛使用的数据集上进行了实验，结果表明，与竞争性基线方法相比，该方法有显著的改进。
2018-11-14 cs.AI cs.CL
Iteratively Improving Biomedical Entity Linking and Event Extraction via Hard Expectation-Maximization
Virginia Tech（弗吉尼亚理工大学）
本文提出联合生物医学实体链接与事件抽取方法，通过硬期望最大化将事件结构和实体引用作为隐变量，在Genia 2011和BC4GO数据集上显著优于基线并改进单项任务表现。
2023-05-24 cs.CL
Improving End-to-end Speech Recognition with Pronunciation-assisted Sub-word Modeling
Johns Hopkins University（约翰斯·霍普金斯大学）
大多数端到端语音识别系统直接将文本建模为字符或子词的序列。当前的子词提取方法仅考虑字符序列频率，这有时会产生可能导致错误的语音识别输出的较差的子分词。我们提出了发音辅助子词建模（PASM），一个子词提取方法，利用一个词的发音信息。实验结果表明，该方法可以大大提高基于字符的基线，也优于常用的字节对编码方法。
2019-02-21 cs.CL
TECO: Improving Multimodal Intent Recognition with Text Enhancement through Commonsense Knowledge Extraction
Faculty of Information Technology（信息技术学院）；VNU University of Engineering and Technology（VNU工程技术大学）
针对多模态意图识别中文本语义利用及跨模态对齐融合的难题，提出TECO方法，通过提取生成与检索的常识知识增强文本特征，再融合视听模态，性能显著优于现有基线。
2024-12-11 cs.CL
Improving Zero-Shot Event Extraction via Sentence Simplification
ACLED和Our World in Data等网站的成功证明了从新闻、社交媒体、博客和论坛等形式的大量文本数据中以结构化格式提取事件的巨大效用。事件提取可以为正在发生的地缘政治危机提供一个窗口，并产生可操作的情报。随着大型预训练语言模型的激增，机器阅读理解（MRC）近年来已成为事件提取的新范式。在这种方法中，事件论元提取被框定为一个提取的问题回答任务。基于MRC的方法的关键优点之一是其执行zero-shot提取的能力。然而，长期依赖性的问题，即，触发词和论元词之间较大的词汇距离以及处理句法复杂的句子的困难困扰着基于MRC的方法。在本文中，我们提出了一种通用的方法来提高性能的MRC为基础的事件提取进行无监督的句子简化指导的MRC模型本身。我们在ICEWS地缘政治事件提取数据集上评估了我们的方法，特别注意“演员”和“目标”参数角色。我们展示了如何这样的上下文简化可以提高基于MRC的事件提取的性能超过5%的演员提取和超过10%的目标提取。
2022-04-06 cs.AI cs.CL
Improving Long-Tail Relation Extraction with Collaborating Relation-Augmented Attention
University of Technology Sydney（悉尼科技大学）；Australian AI Institute（澳大利亚人工智能研究所）；University of Washington（华盛顿大学）
在关系抽取中，由于远距离监督而产生的两个主要问题是错误标注和长尾关系。最近的工作减轻了错误的标签通过选择性注意，通过多实例学习，但不能很好地处理长尾关系，即使层次的关系，以共享知识。在这项工作中，我们提出了一种新的神经网络，协作的增强注意力（CoRA），处理错误的标签和长尾关系。特别地，我们首先提出了关系增强注意网络作为基础模型。它对句子袋进行操作，注意到关系，以尽量减少错误标签的影响。然后，促进所提出的基础模型，我们引入了合作关系之间的关系层次结构中共享的功能，以促进关系扩增过程和平衡的训练数据的长尾关系。除了预测句子袋的关系的主要训练目标之外，利用辅助目标来指导关系增强过程，以获得更准确的袋级表示。在流行的基准数据集NYT上的实验中，所提出的CoRA在Precision@N、AUC和Hits@K方面大幅提高了现有的最先进性能。进一步的分析验证了其优越的能力，在处理长尾关系的竞争对手相比。
2020-11-02 cs.CL
Improving Adverse Drug Event Extraction with SpanBERT on Different Text Typologies
University of Udine（乌迪内大学）；CSAIL MIT（麻省理工学院计算机科学与人工智能实验室）；The Hong Kong Polytechnic University（香港理工大学）
近年来，互联网用户在社交媒体、博客和健康论坛上报告药物不良事件（ADE）。由于大量的报告，药物警戒正在寻求诉诸NLP来监测这些出口。我们首次提出使用Span BERT架构来执行ADE提取任务：流行的BERT Transformer的新版本显示了多标记文本跨度的改进功能。我们验证了我们的假设与实验上的两个数据集（SMM4H和CADEC）不同的文本类型（推文和博客文章），发现SpanBERT结合CRF优于所有的竞争对手在这两个。
2021-05-19 cs.CL cs.LG
RH-Net: Improving Neural Relation Extraction via Reinforcement Learning and Hierarchical Relational Searching
East China Normal University（华东师范大学）
距离监督（Distant Supervision，DS）的目标是生成大规模的启发式标注语料，目前广泛用于神经关系抽取。然而，它严重遭受噪声标记和长尾分布问题。许多先进的方法通常分别解决两个问题，忽略了它们之间的相互作用。在本文中，我们提出了一个新的框架命名为RH-Net，它利用强化学习和层次关系搜索模块，以改善关系抽取。我们利用强化学习来指导模型选择高质量的实例。然后，我们提出了层次关系搜索模块共享语义之间的数据丰富和数据贫乏类的相关实例。在迭代过程中，两个模块保持交互，以同时缓解噪声和长尾问题。在广泛使用的NYT数据集上进行的大量实验清楚地表明，我们的方法在最先进的基线上有显着的改进。
2021-02-02 cs.AI cs.CL
Improving Automatic Evaluation of Large Language Models (LLMs) in Biomedical Relation Extraction via LLMs-as-the-Judge
York University（约克大学）；Vector Institute Toronto（多伦多向量研究所）
本文研究使用 LLMs-as-the-Judge 评估生物医学关系抽取，发现因输出格式不规范导致评判准确率低，通过引入结构化输出格式与领域适应技术显著提升了评估性能并公开了相关数据。
2025-06-01 cs.CL
Improving distant supervision using inference learning
University of Sheffield（谢菲尔德大学）；University of the Basque Country（巴斯克大学）
远程监督是一种广泛应用于关系抽取系统的自动训练的方法，并且具有可以以最小的努力生成大量标记数据的优点。然而，这些数据可能包含错误，因此使用远程监督训练的系统往往不如基于手动标记数据的系统运行得好。本文提出了一种新的方法，利用知识推理方法检测潜在的假阴性训练样本。结果表明，我们的方法提高了使用远程监督数据训练的关系抽取系统的性能。
2015-09-12 cs.CL
Improving MLLM Historical Record Extraction with Test-Time Image
Brigham Young University
提出一种基于LLM的集成框架，通过融合多图像增强变体转录结果来稳定提取嘈杂历史文档文本，有效提升了转录准确率并提供了置信度评估。
2025-09-10 cs.CL cs.CV cs.LG
Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction
UPenn（宾夕法尼亚大学）；Tencent AI Lab（腾讯人工智能实验室）；USC（南加州大学）
在本文中，我们试图从两个角度提高TempRel提取模型的可信度。第一个视角是基于上下文描述的真实抽取。为了实现这一目标，我们建议进行反事实分析，以减弱两种重要类型的训练偏差的影响：事件触发偏差和频繁标签偏差。我们还将时态信息添加到事件表征中，以明确强调上下文描述。第二个观点是提供适当的不确定性估计，并且当文本中没有描述关系时避免提取。通过在模型预测的分类分布上对Dirichlet先验进行参数化，我们改进了模型对正确性似然的估计，并使TempRel预测更具选择性。我们还采用温度缩放来重新校准模型的置信度后，偏差缓解。通过对MATRES、MATRES-DS和TDDiscourse的实验分析，我们证明了与SOTA方法相比，我们的模型更忠实地提取TempRel和时间线，特别是在分布偏移的情况下。
2022-10-12 cs.AI cs.CL
MedFilter: Improving Extraction of Task-relevant Utterances from Doctor-Patient Conversations through Integration of Discourse Structure and Ontological Knowledge
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
从会话数据中提取信息抽取尤其具有挑战性，因为会话的以任务为中心的性质允许人类有效地传达隐式信息，但对于机器来说是具有挑战性的。根据对话中说话者的角色，话语之间的挑战可能会有所不同，特别是当相关专业知识在角色之间不对称分布时。此外，随着更多的共享上下文通过在对话中较早隐含传达的信息而建立，挑战也可能在对话中增加。在本文中，我们提出了新的建模方法MedFilter，它解决了这些见解，以提高识别和分类任务相关的话语的性能，并在这样做，积极影响下游信息抽取任务的性能。我们在近7，000次医患对话的语料库中评估了这种方法，其中MedFilter用于识别讨论中与医学相关的贡献（在PR曲线下面积方面比SOTA基线提高了10%）。识别与任务相关的话语有利于下游医疗处理，在症状、药物和投诉的提取方面分别实现了15%、105%和23%的改进。
2022-06-21 cs.CL cs.LG
Improving Distantly Supervised Relation Extraction by Natural Language Inference
Iowa State University（爱荷华州立大学）
为了减少关系抽取（RE）任务的人工注释，已经提出了远程监督方法，同时与低性能作斗争。在这项工作中，我们提出了一种新的DSRE-NLI框架，它既考虑了来自现有知识库的远程监督，也考虑了来自其他任务的预训练语言模型的间接监督。DSRE-NLI通过半自动关系动词化（SARV）机制激活现成的自然语言推理（NLI）引擎，以提供间接监督，并进一步整合远程注释，使多分类RE模型受益。基于NLI的间接监督只从人类获取一个关系动词化模板作为每个关系的语义通用模板，然后通过从远距离标注语料库中自动挖掘的高质量文本模式来丰富模板集。通过两种简单有效的数据整合策略，训练数据的质量得到了显著提高。大量实验表明，该框架显着提高了远程监督RE基准数据集上的SOTA性能（高达F1的7.73%）。
2022-07-31 cs.CL cs.LG
Improving Extraction of Clinical Event Contextual Properties from Electronic Health Records: A Comparative Study
King’s College London（伦敦国王学院）；Guy’s and St Thomas’ NHS Foundation Trust（盖伊和圣托马斯 NHS 基金会信托）；King’s College Hospital NHS Foundation Trust（国王学院医院 NHS 基金会信托）；University College London（伦敦大学学院）；Health Data Research UK London（英国健康数据研究伦敦中心）
本文比较多种医学文本分类模型，发现结合类别不平衡缓解技术的 BERT 在少数类别召回率上显著优于 Bi-LSTM 和基线 BERT，并已集成到 CogStack/MedCAT 框架中。
2024-08-30 cs.CL
Improving Information Extraction on Business Documents with Specific Pre-Training Tasks
INSA Lyon（里昂国立应用科学学院）；Esker（Esker公司）
本文针对商业文档信息抽取中预训练任务过于通用的问题，基于LayoutLM模型提出两个新的预训练任务以更好地理解文档布局和数值信息，并引入新的后处理算法解码BIESO标签，显著提升了在公开和私有数据集上的抽取性能。
2023-09-11 cs.AI cs.CL
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Improving Multi-Document Summarization through Referenced Flexible Extraction with Credit-Awareness
National Yang Ming Chiao Tung University（阳明交通大学）
多文档摘要（MDS）中的一个显著挑战是输入的长度非常长。在本文中，我们提出了一个提取然后抽象的Transformer框架来克服这个问题。具体来说，我们利用预先训练的语言模型来构建一个分层提取器，用于跨文档选择突出句子，并构建一个抽象器，用于将所选内容重写为摘要。然而，学习这样的框架是具有挑战性的，因为抽象的最佳内容通常是未知的。以前的工作通常创建伪提取预言机，以使提取器和抽象器都能够进行监督学习。然而，我们认为，这种方法的性能可能会受到限制，由于预测和训练和测试之间的目标不一致的信息不足。为此，我们提出了一个损失加权机制，使模型意识到不属于伪提取预言的句子的不平等重要性，并利用微调的抽象器生成摘要参考作为学习提取器的辅助信号。此外，我们提出了一种强化学习方法，可以有效地适用于提取器协调训练和测试之间的优化。实验结果表明，我们的框架大大优于强基线具有可比的模型大小，并取得了最好的结果，多新闻，多XScience和WikiCatSum语料库。
2022-05-04 cs.AI cs.CL
JointCQ: Improving Factual Hallucination Detection with Joint Claim and Query Generation
Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学）；Trustworthy Technology and Engineering Laboratory, Huawei（可信技术与工程实验室，华为）
针对大语言模型幻觉检测流程中声明提取易丢上下文、查询生成特异性低的问题，提出联合声明-查询生成框架JointCQ，通过过滤训练数据、微调模型实现联合生成，在多个开放域问答幻觉检测基准上性能优于现有方法，助力构建更可信透明的语言模型系统。
2025-10-22 cs.CL
Improving Distant Supervised Relation Extraction by Dynamic Neural Network
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）；Dalian University of Technology（大连理工大学）
远距离监督关系抽取（DSRE）通常被表述为将包含两个查询实体的一袋句子分类到预定义的关系类中的问题。大多数现有的方法将这些关系类视为不同的语义类别，而忽略了它们与查询实体的潜在联系。在本文中，我们建议利用这种连接，以提高关系抽取的准确性。我们的主要想法有两个方面：（1）对于属于同一关系类的句子，表达风格（即词语选择）可以根据查询实体而变化。为了解释这种样式转换，模型应该根据实体类型调整其参数。(2)有些关系类在语义上是相似的，出现在一个关系中的实体类型也可能出现在其他关系中。因此，它可以跨不同的关系类进行训练，并进一步增强具有少量样本的那些类，即，长尾类为了统一这两个论点，我们开发了一种新的动态神经网络关系抽取（DNNRE）。该网络采用了一种新的动态参数生成器，根据查询实体类型和关系类动态生成网络参数。通过使用这种机制，网络可以同时处理风格转换问题，并提高长尾类的预测精度。通过我们的实验研究，我们证明了所提出的方法的有效性，并表明它可以实现优于国家的最先进的方法的性能。
2019-12-13 cs.CL cs.LG
Two Training Strategies for Improving Relation Extraction over Universal Graph
Tohoku University（东北大学）；Stony Brook University（石溪大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
本文探讨了如何远程监督关系抽取（DS-RE）可以受益于使用通用图（UG），结合知识图谱（KG）和大规模的文本收集。一个简单的扩展，目前国家的最先进的神经模型DS-RE与UG可能会导致性能下降。我们首先报告了这种退化与学习UG的困难有关，然后提出了两种训练策略：（1）路径类型自适应预训练，它顺序地用不同类型的UG路径训练模型，以防止对单一类型的UG路径的依赖;（2）复杂度排序引导的注意力机制，该方法根据UG路径的复杂程度来限制注意广度，从而使模型不仅能从简单的UG路径中提取特征，而且能从复杂的UG路径中提取特征。在生物医学和NYT 10数据集上的实验结果证明了我们方法的鲁棒性，并在NYT 10数据集上取得了新的最先进的结果。本文中使用的代码和数据集可在https://github.com/baodaiqin/UGDSRE上获得。
2021-05-06 cs.CL cs.LG
Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
远程监督关系抽取（RE）是一种有效的方法，规模RE大型语料库，但受到噪声标签。现有的方法试图通过多实例学习和提供额外的信息来减轻噪音，但主要是设法识别最频繁的关系，忽略了长尾中的关系。我们提出了REDSandT（关系抽取与远程监督和Transformers），一种新的远程监督的transformer为基础的RE方法，管理，以捕捉更广泛的关系，通过高度翔实的实例和标签嵌入RE，利用BERT的预训练模型，标签和实体之间的关系，分别。我们通过对结构化输入（包括连接实体对和实体类型的子树）进行BERT微调，引导REDSandT只关注关系令牌。使用提取的信息向量，我们形状的标签嵌入，我们也使用的注意力机制的实例，以进一步减少噪音。最后，我们通过连接关系和实例嵌入来表示句子。在NYT-10数据集中的实验表明，REDSandT以更高的置信度捕获了更广泛的关系集，实现了最先进的AUC（0.424）。
2021-02-01 cs.CL cs.IR cs.LG
Benchmarking and Improving LVLMs on Event Extraction from Multimedia Documents
School of Advanced Technology, Xi’an Jiaotong-Liverpool University（先进技术学院，西安交通大学利物浦大学）
本文首次系统评估LVLMs在M2E2数据集上的表现，发现LoRA微调大幅提升性能且跨模态协同效果优越，同时揭示语义精度等关键挑战。
2025-09-16 cs.CL cs.MM
