A Short Survey of Biomedical Relation Extraction Techniques
Islamic Azad University, Yazd Branch(伊斯兰阿扎德大学亚兹德分校)
近年来,生物医学信息量迅速增长,通过信息抽取系统获取有用的数据越来越受到重视。在当前的研究中,我们集中在生物医学领域的关系抽取技术的不同方面,并简要描述了各种生物元素之间的关系抽取的最新发展。
2017-07-25 cs.CL
Description of the Odin Event Extraction Framework and Rule Language
University of Arizona(亚利桑那大学)
本文档描述了Odin框架,这是一个独立于领域的平台,用于开发基于规则的事件提取模型。Odin的目标是强大(规则语言允许对复杂的语法结构进行建模)和健壮(从句法分析错误中恢复,语法模式可以自由地与表面的基于标记的模式混合),同时保持简单(一些领域语法可以在几分钟内启动并运行)和快速(Odin在现实世界的领域中处理超过100个句子/秒,超过200条规则)。在这里,我们包括Odin规则语言的完整定义,以及Scala语言中Odin API的描述,它允许将这些规则应用于任意文本。
2015-09-24 cs.CL
A Survey of Deep Learning Methods for Relation Extraction
Indian Institute of Technology Delhi(印度理工学院德里分校)
关系抽取是信息抽取的一个重要子任务,它有可能采用深度学习(DL)模型,使用远程监督创建大型数据集。在这篇综述中,我们比较了用于该任务的各种深度学习模型的贡献和缺陷,以帮助指导前进的道路。
2017-05-10 cs.CL
Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey
IIT Kharagpur(印度理工学院卡拉格普尔分校);Singapore University of Technology and Design(新加坡科技设计大学)
近年来,随着词的连续表示(词嵌入)和深层神经网络结构的发展,关系抽取领域的研究成果不断涌现,大量的论文已经难以统计。为了帮助未来的研究,我们提出了一个全面的评论最近发表的研究工作在关系抽取。我们主要关注使用深度神经网络的关系抽取,这些网络在公开可用的数据集上实现了最先进的性能。在本调查中,我们涵盖了文档级关系提取,基于管道的方法联合提取方法,注释数据集,远程监督数据集以及一些最近的研究方向,如zero-shot或Few-Shot关系抽取,远程监督数据集的噪声缓解。关于神经架构,我们在本调查中涵盖了卷积模型,递归网络模型,注意力网络模型和图卷积模型。
2021-03-31 cs.CL
A Survey of Neural Network Techniques for Feature Extraction from Text
University of Waterloo(滑铁卢大学)
本文旨在促进关于使用神经网络架构的文本特征提取技术的讨论。本文讨论的研究问题集中在最先进的神经网络技术,已被证明是有用的工具,语言处理,语言生成,文本分类和其他计算语言学任务。
2017-04-27 cs.CL
Learning Logic Rules for Document-level Relation Extraction
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
文档级关系抽取的目的是识别整个文档中实体之间的关系。以前捕获长距离依赖关系的努力在很大程度上依赖于通过(图)神经网络学习的隐式强大表示,这使得模型不太透明。为了解决这个问题,在本文中,我们提出了LogiRE,一个新的概率模型,通过学习逻辑规则的文档级关系抽取。LogiRE将逻辑规则视为隐变量,由两个模块组成:规则生成器和关系提取器。规则生成器用于生成可能有助于最终预测的逻辑规则,并且关系提取器基于所生成的逻辑规则输出最终预测。这两个模块可以有效地优化与期望最大化(EM)算法。通过在神经网络中引入逻辑规则,LogiRE可以显式地捕获远程依赖关系,并获得更好的解释。实证结果表明,LogiRE显着优于几个强基线的关系性能(1.8 F1得分)和逻辑一致性(超过3.3逻辑得分)。我们的代码可在https://github.com/rudongyu/LogiRE上获得。
2021-11-09 cs.CL
Rule-Based Approaches to Atomic Sentence Extraction
The Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过分析复杂句子结构对基于规则的原子句子提取性能的影响,提出了依赖关系提取规则,并在WikiSplit数据集上实现了较高的提取准确率。
2026-01-01 cs.CL
Techniques for Jointly Extracting Entities and Relations: A Survey
TCS Research & Innovation(塔塔咨询服务公司研究与创新中心);Indian Institute of Technology Bombay(印度理工学院孟买分校)
关系抽取是信息抽取中的一项重要任务,它涉及实体提及之间的语义关系识别。传统上,关系抽取是在实体提取之后以“流水线”方式进行的,因此关系抽取仅关注于确定在一对提取的实体提及之间是否存在任何语义关系。这导致错误从实体提取阶段传播到关系抽取阶段。此外,实体提取进行没有任何知识的关系。因此,观察到联合执行实体和关系抽取对于这两个任务都是有益的。在本文中,我们调查各种技术,共同提取实体和关系。我们根据它们用于联合提取的方法对技术进行分类,即它们是否采用联合推理或联合建模或两者兼而有之。我们进一步描述了联合推理和联合建模的一些代表性技术。我们还描述了两个标准的数据集,评估技术和这些数据集上的联合提取方法的性能。我们提出了一个简单的分析应用一般域联合提取方法的生物医学数据集。本调查是有用的研究人员以及从业人员在该领域的信息抽取,涵盖了广泛的景观联合提取技术。
2021-03-10 cs.CL
NERO: A Neural Rule Grounding Framework for Label-Efficient Relation Extraction
University of Southern California(南加州大学);Tsinghua University(清华大学);Snapchat Inc.(Snapchat公司)
用于关系抽取的深度神经模型在完美标记的数据有限时往往不太可靠,尽管它们在标记充足的场景中取得了成功。而不是寻求更多的实例级标签从人类注释,在这里,我们建议注释频繁的表面模式,形成标签规则。这些规则可以从大型文本语料库中自动挖掘,并通过软规则匹配机制进行泛化。现有的工作使用标签规则在一个精确的匹配方式,这固有地限制了句子匹配的覆盖范围,并在低召回问题的结果。在本文中,我们提出了一个神经元方法的基本规则RE,命名为NERO,共同学习的关系抽取模块和软匹配模块。可以采用任何神经关系抽取模型作为RE模块的实例。软匹配模块学习将规则与语义相似的句子匹配,使得除了完全匹配的句子之外,原始语料库可以被RE模块自动标记和利用(在更好的覆盖范围内)作为增强的监督。在两个公共数据集上的大量实验和分析表明,与基于规则和半监督的方法相比,所提出的NERO框架是有效的。通过用户研究,我们发现人类注释规则和句子的时间效率是相似的(每个标签0.30与0.35分钟)。特别是,NERO使用270条规则的性能与使用3,000个标记句子训练的模型相当,速度提高了9.5倍。此外,NERO可以在测试时预测看不见的关系,并提供可解释的预测。我们向社区发布代码以供将来研究。
2020-01-15 cs.CL
A Survey on Open Information Extraction
University of Passau(帕绍大学);University of Manchester(曼彻斯特大学)
我们提供了一个详细的概述,提出了各种方法,以解决任务的开放信息抽取。我们提出了这些系统面临的主要挑战,显示了随着时间的推移,所建议的方法的演变,并描述了它们所解决的具体问题。此外,我们提供了一个批评的常用评估程序,评估开放IE系统的性能,并强调了一些未来工作的方向。
2018-06-14 cs.CL
Extraction in Dutch with Lexical Rules
在基于统一的语法中,无界依赖通常由“跟踪”(和“间隙线程”)建模。然而,Pollard和Sag提出了一种基于词汇规则的提取分析,排除了痕迹的概念(P&S 1994,第9章)。在句法分析中,它意味着用不确定性换取词汇歧义。本文提供了一个简短的介绍,这种方法来提取词汇规则,并说明了语言的力量的方法,将其应用于特别是特质荷兰提取数据。
1994-11-14 cmp-lg cs.CL
A Survey of Document-Level Information Extraction
Virginia Tech(弗吉尼亚理工大学)
本文系统综述了文档级信息抽取研究,并通过错误分析指出标注噪声、实体共指消解和推理不足是主要瓶颈,为后续性能提升提供指导。
2023-09-23 cs.CL
Development of the user-friendly decision aid Rule-based Evaluation and Support Tool (REST) for optimizing the resources of an information extraction task
Sorbonne Université(索邦大学);Université Sorbonne Paris Nord(索邦巴黎北大学);ESIEE Paris(巴黎高等电子学院);Assistance Publique – Hôpitaux de Paris(巴黎公共医疗援助机构-巴黎医院集团)
本研究提出规则与机器学习结合的可持续信息抽取方法,开发了易用决策辅助工具REST,帮助标注者为各实体选择规则或机器学习方案,减少人工标注量,且在12实体用例中展现出良好可复现性。
2025-06-16 cs.CL
SnapToGrid: From Statistical to Interpretable Models for Biomedical Information Extraction
University of Arizona(亚利桑那大学)
我们提出了一种生物医学信息抽取的方法,该方法结合了机器学习模型的优点,例如,直接从数据中学习,具有基于规则的方法的优点,例如,可解释性我们的方法首先训练一个基于特征的统计模型,然后通过将其特征转换为规则,将该模型转换为基于规则的变体,并将特征权重“捕捉到网格”为离散投票。在这样做的过程中,我们的建议利用了机器学习中的大量工作,但它产生了一个可解释的模型,可以由专家直接编辑。我们在BioNLP 2009事件提取任务上评估我们的方法。我们的研究结果表明,在将统计模型转换为规则时会有一个小的性能损失,但可解释性的提高弥补了这一点:人类专家只需付出最小的努力,就可以改进此模型,使其具有与作为起点的统计模型相似的性能。
2016-06-30 cs.CL
Deep Learning-based Computational Job Market Analysis: A Survey on Skill Extraction and Classification from Job Postings
LMU Munich(慕尼黑大学);Fraunhofer Center for International Management and Knowledge Economy IMW(弗劳恩霍夫国际管理与知识经济中心IMW);IT University of Copenhagen(哥本哈根信息技术大学)
本综述系统梳理了基于深度学习的职位公告技能抽取与分类方法,汇总公开数据集并统一相关术语定义,填补了该跨学科领域的评估空白。
2024-02-08 cs.CL
Rules still work for Open Information Extraction
Jiangxi University of Finance and Economics(江西财经大学);University of Calgary(卡尔加里大学)
本文提出中文开放信息抽取模型APRCOIE,通过自主生成抽取模式并结合基于张量计算的过滤器,在人工标注的大规模数据集上显著超越现有最优中文OIE模型。
2024-12-27 cs.CL
Automatic Keyword Extraction for Text Summarization: A Survey
National Institute of Technology, Rourkela(鲁尔克拉国立技术学院)
近年来,数据在新闻、社交媒体、银行、教育等各个领域迅速增长,由于数据的过剩,需要自动摘要器,它能够在原始文档中总结数据,特别是文本数据,而不会丢失任何关键目的。摘要是近年来出现的一个重要的研究领域。在这方面,回顾文本摘要过程的现有工作对于开展进一步的研究是有用的。由于文本摘要过程高度依赖于关键词提取,本文介绍了自动关键词提取和文本摘要的最新文献。这篇文献包括讨论不同的方法用于关键字提取和文本摘要。它还讨论了在几个领域中用于文本摘要的不同数据库以及评估矩阵。最后,简要讨论了研究者面临的问题和研究挑战以及未来的发展方向。
2017-04-11 cs.CL
A Comprehensive Survey of Document-level Relation Extraction (2016-2023)
Univ. La Rochelle(拉罗谢尔大学);L3i(L3i实验室)
本文综述了2016至2023年间文档级关系抽取(DocRE)的最新进展,强调其跨句识别实体关系的挑战,并对比句子级方法,展示其在自动构建知识库中的应用价值。
2023-10-12 cs.CL
Automatic Extraction of Rules Governing Morphological Agreement
Carnegie Mellon University(卡内基梅隆大学);George Mason University(乔治梅森大学)
建立语言的描述文法是语言文档化和保存的一个必不可少的步骤。然而,与此同时,这是一项繁琐、耗时的任务。在本文中,我们采取步骤自动化这一过程,设计一个自动化的框架,从原始文本中提取一个简明的,人类和机器可读的格式的第一遍语法规范。我们专注于提取规则描述协议,在世界上许多语言的语法的核心形态句法现象。我们将我们的框架应用于Universal Advertisement项目中包含的所有语言,并取得了可喜的成果。使用跨语言迁移,即使在感兴趣的语言中没有专家注释,我们的框架也提取了语法规范,该语法规范几乎等同于使用大量黄金标准注释数据创建的语法规范。我们通过人类专家对我们的框架产生的规则进行评估来证实这一发现,其平均准确率为78%。我们在https://neulab.github.io/lase/上发布了一个界面来演示提取的规则。
2020-10-06 cs.CL
The Recent Advances in Automatic Term Extraction: A survey
Jozef Stefan Institute(约瑟夫·斯特凡研究所);University of La Rochelle(拉罗谢尔大学)
自动术语提取(ATE)是一项自然语言处理(NLP)任务,通过提供候选术语列表,简化了从特定领域语料库中手动识别术语的工作。作为特定专业领域的知识单元,提取的术语不仅有利于若干术语任务,而且还支持和改进若干复杂的下游任务,例如,信息检索、机器翻译、主题检测和情感分析。ATE系统以及带注释的数据集已经被广泛研究和开发了几十年,但最近我们观察到用于手头任务的新型神经系统激增。尽管对ATE有大量的新研究,但缺乏涵盖新神经方法的系统调查研究。我们对基于深度学习的ATE方法进行了全面的调查,重点关注基于Transformer的神经模型。这项研究还提供了这些系统和以前的ATE方法,这是基于特征工程和非神经监督学习算法之间的比较。
2023-01-17 cs.CL
A Survey on Neural Open Information Extraction: Current Status and Future Directions
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院);Alibaba Group(阿里巴巴集团)
开放信息抽取(OpenIE)促进了从大型语料库中独立于领域的关系事实的发现。该技术非常适合许多开放世界的自然语言理解场景,如自动知识库构建,开放领域的问答,和显式推理。由于深度学习技术的快速发展,许多神经OpenIE架构被提出并实现了相当大的性能提升。在本调查中,我们提供了最先进的神经OpenIE模型,其关键设计决策,优势和劣势的广泛概述。然后,我们讨论了当前解决方案的局限性和OpenIE问题本身的开放性问题。最后,我们列出了最近的趋势,可以帮助扩大其范围和适用性,建立有前途的方向,在OpenIE的未来研究。据我们所知,本文是第一次审查这一特定的主题。
2022-06-28 cs.CL
Neural relation extraction: a survey
Huawei Turkey Research and Development Center(华为土耳其研发中心);Ford Otosan(福特奥托桑);Bogazici University(海峡大学);Yildiz Technical University(伊尔迪兹技术大学)
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处,并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
What do You Mean by Relation Extraction? A Survey on Datasets and Study on Scientific Relation Classification
IT University of Copenhagen(哥本哈根信息技术大学);Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS))
在过去的五年中,关系抽取(RE)的研究取得了广泛的进展,许多新的数据集发布。同时,设置清晰度降低,导致可靠的经验评估难度增加(Taillé等人,2020年)。在本文中,我们提供了一个全面的调查RE数据集,并重新审视任务的定义和社区采用。我们发现跨数据集和跨域设置特别缺乏。我们提出了一个实证研究的科学关系分类在两个数据集。尽管大量的数据重叠,我们的分析揭示了注释的实质性差异。注释差异强烈影响关系分类性能,解释了跨数据集评估的大幅下降。进一步子域内的变化存在,但影响关系分类只有有限的程度。总的来说,我们的研究要求更严格地报告RE设置和多个测试集的评估。
2022-04-28 cs.CL
WYSIWYE: An Algebra for Expressing Spatial and Textual Rules for Visual Information Extraction
IBM Research(IBM研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);IBM Germany Research & Development(IBM德国研发中心)
网页的视觉布局可以为某些类型的信息抽取(IE)任务提供有价值的线索。在传统的基于规则的IE框架中,这些布局提示被映射到对网页的HTML源进行操作的规则。相比之下,我们已经开发了一个框架,其中的规则可以直接指定在布局级别。这有很多优点,因为更高的抽象级别导致更简单的提取规则,这些规则在很大程度上独立于页面的源代码,因此更健壮。它还可以实现以其他方式不可能的新类型规则的规范。据我们所知,没有一个通用的框架,允许声明性规范的信息抽取规则的基础上的空间布局。我们的框架是传统的基于文本的规则框架的补充,并允许基于空间布局的规则与传统的基于文本的规则的无缝结合。我们描述的代数,使这样一个系统和它的有效实施使用标准的关系和文本索引功能的关系数据库。我们证明了这个系统的简单性和效率的任务,涉及软件产品页面的软件系统要求的提取。
2016-09-27 cs.CL cs.DB cs.IR
Sparse Logistic Regression with High-order Features for Automatic Grammar Rule Extraction from Treebanks
Université Paris Nanterre(巴黎楠泰尔大学);CNRS(法国国家科学研究中心);Modyco(莫迪科研究所);Sorbonne Université(索邦大学);ISIR(机器人与交互系统研究所);Institut Universitaire de France(法国大学研究院)
本文提出一种基于稀疏 Logistic Regression 的新方法,从 Treebanks 中提取并探索细粒度语法模式和潜在句法规则,结合统计信息对规则排名,在西班牙语、法语和 Wolof 语中成功捕获了已知与未知的显著语法规则。
2024-03-26 cs.CL
From Examples to Rules: Neural Guided Rule Synthesis for Information Extraction
University of Arizona(亚利桑那大学)
虽然用于信息抽取的深度学习方法已经取得了许多成功,但随着需求的变化,它们可能很难扩展或维护。另一方面,基于规则的方法可以更容易地修改。然而,制定规则需要语言学和感兴趣领域的专业知识,这对大多数用户来说是不可行的。在这里,我们试图结合这两个方向的优点,同时减轻他们的缺点。我们适应最近的进展,从相邻领域的程序合成信息抽取,合成规则提供的例子。我们使用基于转换器的架构来指导枚举搜索,并表明这减少了在发现规则之前需要探索的步骤数量。此外,我们表明,在没有在特定域上训练合成算法的情况下,我们合成的规则在专注于关系分类的少样本学习的任务的1次场景上实现了最先进的性能,和竞争力的表现在5杆的情况下。
2022-01-16 cs.CL cs.IR cs.LG
Neural Aspect and Opinion Term Extraction with Mined Rules as Weak Supervision
HKUST(香港科技大学)
基于神经网络的产品评论方面和观点词抽取的主要瓶颈是缺乏标注的训练数据。为了缓解这个问题,我们首先提出了一个算法,自动挖掘提取规则,从现有的训练样本的基础上依存句法分析的结果。然后将挖掘出的规则应用于标记大量辅助数据。最后,我们研究了训练过程,训练一个神经模型,该模型可以从规则自动标记的数据和少量人工精确标注的数据中学习。实验结果表明,虽然挖掘出的规则本身由于其有限的灵活性而表现不佳,但人类注释数据和规则标记辅助数据的组合可以改善神经模型,并使其实现比当前最先进的性能更好或与之相当的性能。
2019-07-07 cs.CL cs.LG stat.ML
A Survey on Deep Learning Event Extraction: Approaches and Applications
Beihang University(北京航空航天大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心);Macquarie University(麦考瑞大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
事件抽取是从海量文本数据中快速获取事件信息的重要研究课题。随着深度学习的快速发展,基于深度学习技术的EE成为研究热点。文献中提出了许多方法、数据集和评价指标,提出了进行全面和更新调查的需求。本文通过回顾最先进的方法填补了研究空白,特别关注基于深度学习模型的一般领域EE。根据任务定义,对当前一般领域EE研究进行了一种新的文献分类。随后,我们总结了EE方法的范式和模型,然后详细讨论了每一个。作为一个重要方面,我们总结了支持预测和评估指标测试的基准。本调查还提供了不同方法之间的全面比较。最后,总结了该研究领域未来的研究方向。
2022-11-15 cs.CL
A Comparative Study of Rule Extraction for Recurrent Neural Networks
McGill University(麦吉尔大学);Pennsylvania State University(宾夕法尼亚州立大学)
通过规则提取来理解递归网络有着悠久的历史。由于需要解释或验证神经网络,这已经引起了新的兴趣。表示有状态规则的一种基本形式是确定性有限自动机(DFA)。以往的研究表明,从训练好的二阶递归网络中提取DFA不仅是可能的,而且是相对稳定的。最近,几种新类型的递归网络与更复杂的架构已经推出。这些处理具有挑战性的学习任务,通常涉及序列数据。然而,它仍然是一个悬而未决的问题,是否可以充分地从这些模型中提取的DFA。具体来说,目前还不清楚当应用于在不同复杂程度的数据集上训练的不同递归网络时,DFA提取将受到什么影响。在这里,我们研究了几个被广泛采用的递归网络上的DFA提取,这些网络被训练来学习一组七个规则的Tomita文法。我们首先正式分析富田文法的复杂性,并根据复杂性对这些文法进行分类。然后,我们实证评估不同的递归网络的DFA提取的所有富田文法的性能。我们的实验表明,对于大多数递归网络,其提取性能随着底层语法复杂度的增加而降低。在较低复杂度的文法上,大多数递归网络获得了理想的提取性能。对于复杂度最高的语法,几个复杂的模型都失败了,只有某些递归网络具有令人满意的提取性能。
2018-11-14 cs.CL cs.LG
Tale of tails using rule augmented sequence labeling for event extraction
IIT Bombay(印度理工学院孟买分校)
事件提取的问题是一个相对困难的任务,低资源的语言,由于没有足够的注释数据。此外,任务变得复杂的尾部(很少出现)标签,其中非常少的数据是可用的。在本文中,我们提出了一个新的数据集(InDEE-2019)在灾难领域的多种印度语言,从新闻网站收集。使用这个数据集,我们评估了几种基于规则的机制来增强基于深度学习的模型。我们制定我们的问题,事件提取作为一个序列标签的任务,并进行了广泛的实验,研究和了解不同的方法的有效性。我们进一步表明,尾部标签可以很容易地通过创建新的规则,而不需要大的注释数据。
2020-01-31 cs.CL cs.IR cs.LG
Event Extraction: A Survey
University of Oregon(俄勒冈大学)
从文本中提取报道事件是自然语言处理的关键研究课题之一。这个过程包括几个任务,如事件检测,参数提取,角色标记。事件抽取是自然语言处理和自然语言理解领域的重要研究课题之一,其应用领域广泛,如新闻通讯、生物医学、历史人文、网络安全等。这份报告提出了一个全面的调查事件检测文本文件。在本报告中,我们提供了任务定义,评估方法,以及基准数据集和事件提取方法的分类。我们还提出了我们的愿景,未来的研究方向在事件检测。
2022-10-10 cs.CL cs.IR cs.LG
A Survey on Event-based News Narrative Extraction
Virginia Tech(弗吉尼亚理工大学);Universidad Católica del Norte(北天主教大学);University of Washington(华盛顿大学)
叙事是我们理解世界的基础,随着时间的推移,它为我们提供了一个自然的知识表示结构。计算叙事提取是人工智能的一个子领域,它大量使用信息检索和自然语言处理技术。尽管计算叙事提取的重要性,相对较少的学术工作存在综合以前的研究和战略未来的研究在该地区。特别是,这篇文章的重点是从事件为中心的角度提取新闻叙事。从新闻数据中提取叙述在理解不断发展的信息格局方面有多种应用。本研究对基于事件的新闻叙事抽取领域的研究进行了广泛的研究。特别是,我们筛选了900多篇文章,产生了54篇相关文章。这些文章是综合和组织的表示模型,提取标准和评价方法。基于回顾的研究,我们确定了最近的趋势,开放的挑战和潜在的研究路线。
2023-03-10 cs.CL cs.IR
Automatic Extraction of Causal Relations from Natural Language Texts: A Comprehensive Survey
University of Waterloo(滑铁卢大学)
从自然语言文本中自动提取因果关系是人工智能领域的一个具有挑战性的开放性问题。大多数早期的解决方案都是在小型和特定领域的数据集上手动构建语言和句法规则。然而,随着大数据的出现,可负担得起的计算能力的可用性以及最近机器学习的普及,解决这个问题的范式已经慢慢改变。机器现在被期望以领域独立的方式,在最少的监督下从标记数据中学习通用的因果提取规则。在本文中,我们提供了一个全面的调查因果关系抽取技术从这两种范式,并分析其相对的优势和劣势,为今后的工作提出建议。
2016-05-25 cs.AI cs.CL cs.IR
A survey on cutting-edge relation extraction techniques based on language models
Department of Computer Science and A.I.(计算机科学与人工智能系);University of Granada, Spain(格拉纳达大学);SiftyML, UK(SiftyML)
本文综述了近四年ACL会议中基于语言模型的关系抽取技术,分析了137篇论文,指出BERT方法仍占主导,而T5等大模型在少样本场景下展现潜力。
2024-11-27 cs.AI cs.CL
A Survey on Extraction of Causal Relations from Natural Language Text
The University of Sydney(悉尼大学)
作为人类认知的重要组成部分,因果关系经常出现在文本中,从文本中策划因果关系有助于构建预测任务的因果网络。现有的因果关系提取技术包括基于知识、基于统计机器学习(ML)和基于深度学习的方法。每种方法都有其优点和缺点。例如,基于知识的方法是可以理解的,但需要大量的手工领域知识,并且具有较差的跨领域适用性。由于自然语言处理(NLP)工具包,统计机器学习方法更加自动化。然而,特征工程是劳动密集型的,工具包可能会导致错误传播。在过去的几年里,深度学习技术由于其强大的表示学习能力和计算资源的快速增长而引起了NLP研究者的极大关注。它们的局限性包括高计算成本和缺乏足够的注释训练数据。在本文中,我们进行了全面的调查因果关系提取。我们首先介绍了因果关系提取的主要形式:显式因果关系,隐式因果关系和因果关系之间的因果关系。接下来,我们列出基准数据集和建模评估方法的因果关系抽取。然后,我们提出了一个结构化的概述这三种技术与他们的代表性系统。最后,我们强调了现有的开放性挑战及其潜在方向。
2021-11-01 cs.CL cs.IR
A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
University Medical Center Utrecht(乌得勒支大学医学中心);KU Leuven(鲁汶大学)
时间深深地融入了人们对世界的感知和交流。我们几乎是无意识地为我们的语言话语提供了时间线索,比如动词时态,没有这些线索,我们很难造句。从文本中提取时间线索,并构建关于描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一个连贯的时间视图的过程,在时间信息抽取中起着核心作用。本文综述了过去几十年来关于文本时间信息抽取的时间推理研究,并提供了一个将符号推理与基于机器学习的信息抽取系统相结合的案例研究。
2020-05-15 cs.AI cs.CL cs.LG
AutoSpecNER: A Fine-Grained Named Entity Recognition Dataset for Vehicle Specification Extraction
Department of Computing and Mathematics, Manchester Metropolitan University(曼彻斯特城市大学计算与数学系);Autotrader Research Group, Autotrader UK(英国Autotrader研究组)
提出AutoSpecNER数据集,包含659条汽车广告和15类超过1万个实体,基于DeBERTa的模型达到90%微平均F1分数,优于规则方法和大型语言模型。
2026-11-03 cs.CL
Approximate Grammar for Information Extraction
本文提出了近似文法的概念以及如何利用它从文档中抽取信息。由于信息串的结构不能在文档中很好地定义,我们不能使用传统的语法规则来表示信息。因此,需要设计一个近似的语法,可以有效地用来完成信息抽取的任务。近似文法是朝着这个方向迈出的新的一步。近似语法的规则可以由用户给出,或者机器可以从带注释的文档中学习规则。我们已经在上述两个领域进行了实验,结果令人印象深刻。
2003-05-06 cs.AI cs.CL
Verbal chunk extraction in French using limited resources
探索了一种提取法语动词词块的方法,并在有效语料库上进行了测试。声明性的形态和本地语法规则,指定块和一些简单的上下文结构,依赖于有限的词汇信息和一些简单的启发式/统计特性,从受限制的语料库。具体的目标,该系统的架构和形式主义,它依赖的语言信息和有效语料库上取得的成果。
2004-08-26 cs.CL
Did the Models Understand Documents? Benchmarking Models for Language Understanding in Document-Level Relation Extraction
Fudan University(复旦大学);Shanghai Key Laboratory of Data Science(上海市数据科学重点实验室)
本文通过标注人类依据、揭示DocRE模型决策规则与人类差异、提出专用攻击及引入MAP指标,呼吁同时评估模型性能与理解能力。
2023-06-20 cs.CL
Automated Extraction of Sentencing Decisions from Court Cases in the Hebrew Language
Bar-Ilan University(巴伊兰大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出的任务,自动惩罚提取(APE)在刑事法庭案件的判决希伯来语。解决APE将能够识别量刑模式,并构成希伯来语中许多后续法律NLP应用程序的重要垫脚石,包括预测量刑决定。我们策划了一个性侵犯量刑决定的数据集和一个手动注释的评估数据集,并实现了基于规则和监督的模型。我们发现,虽然监督模型可以识别包含惩罚的句子具有良好的准确性,但基于规则的方法在完整的APE任务上优于它们。最后,我们对我们数据集中的量刑模式进行了初步分析,并分析了常见模型的错误,指出了未来工作的方向,例如区分缓刑和实际监禁处罚。我们将根据要求提供所有资源,包括数据,注释和第一个基准模型。
2021-10-24 cs.CL
POTATO: exPlainable infOrmation exTrAcTion framewOrk
TU Wien(维也纳工业大学);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
我们提出了POTATO,一个任务和语言独立的框架,用于基于规则的文本分类器使用基于图的特征的人在回路(HITL)学习。POTATO处理任何类型的有向图,并支持将文本解析为抽象意义表示(AMR),通用语义(UD)和4lang语义图。基于streamlit的用户界面允许用户根据图形模式构建规则系统,提供基于地面实况数据的实时评估,并通过使用可解释的机器学习模型对图形特征进行排名来建议规则。用户还可以使用正则表达式在图形上提供模式,POTATO可以推荐对这些规则的改进。POTATO应用于跨领域和跨语言的项目,包括对德语法律文本和英语社交媒体数据的分类任务。我们系统的所有组件都是用Python编写的,可以通过pip安装,并在GitHub上的MIT许可证下发布。
2022-10-16 cs.CL cs.LG
Automatic Rule Extraction from Long Short Term Memory Networks
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
虽然深度学习模型已被证明在解决自然语言处理中的问题方面是有效的,但它们得出结论的机制往往不清楚。因此,这些模型通常被视为黑箱,无法洞察潜在的学习模式。在本文中,我们考虑了长短期记忆网络(LSTM),并展示了一种新的方法,用于跟踪给定输出的LSTM输入的重要性。通过识别一致的重要模式的话,我们能够提炼出最先进的LSTM的情感分析和问答到一组代表性的短语。然后,通过使用提取的短语来构建一个简单的、基于规则的分类器来定量验证这种表示,该分类器近似于LSTM的输出。
2017-02-24 cs.AI cs.CL cs.NE
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia(佐治亚大学)
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此,需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务,近年来受到了广泛的关注。在本文中,我们描述了几个最基本的文本挖掘任务和技术,包括文本预处理,分类和聚类。此外,我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Comparing Feature Importance and Rule Extraction for Interpretability on Text Data
Université Côte d'Azur(坎特伯雷大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);LJAD(LJAD研究所);France(法国)
针对文本数据任务中机器学习可解释性需求,本文对比了特征重要性计算和逻辑规则提取两类局部可解释方法,发现即使在简单模型上不同方法的解释也存在意外差异,并提出了量化该差异的解释比较新方法。
2022-07-04 cs.AI cs.CL cs.LG
What are the attackers doing now? Automating cyber threat intelligence extraction from text on pace with the changing threat landscape: A survey
North Carolina State University(北卡罗来纳州立大学)
本文综述了从文本中自动提取网络威胁情报(CTI)的相关研究,提出了CTI提取流水线,总结了提取目的、数据源与NLP及机器学习技术,并指出了数据挑战,倡导助力主动决策。
2021-09-14 cs.CL cs.CR cs.LG
CofeNet: Context and Former-Label Enhanced Net for Complicated Quotation Extraction
Nanyang Technological University(南洋理工大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Alibaba Group(阿里巴巴集团)
引文提取的目的是从书面文本中提取引文。引语有三个组成部分:来源是指引语的持有者,线索是触发词,内容是主体。现有的引文抽取解决方案主要利用基于规则的方法和序列标记模型。虽然基于规则的方法往往导致低召回,序列标记模型不能很好地处理复杂结构的报价。在本文中,我们提出了上下文和格式标签增强网络(CofeNet)的报价提取。CofeNet能够提取具有可变长度和复杂结构的组件的复杂报价。在两个公共数据集上(即,PolNeAR和Riqua)和一个专有数据集(即,PoliticsZH),我们证明了我们的CofeNet在复杂的报价提取上达到了最先进的性能。
2022-09-20 cs.AI cs.CL
A Comprehensive Survey on Relation Extraction: Recent Advances and New Frontiers
The Chinese University of Hong Kong(香港中文大学);Singapore Management University(新加坡管理大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Huazhong University of Science and Technology(华中科技大学);Sun Yat-Sen University(中山大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
该综述全面梳理关系抽取领域的深度学习技术,提出新分类体系,分析挑战与应对技术并展望未来方向,为相关研究提供参考。
2024-06-24 cs.AI cs.CL
milIE: Modular & Iterative Multilingual Open Information Extraction
NEC Laboratories Europe(NEC欧洲实验室);Heidelberg University(海德堡大学);University of Stuttgart(斯图加特大学)
开放式信息抽取(OpenIE)是从自然语言句子中抽取(主语、谓语、宾语)三元组的任务。当前的OpenIE系统独立地提取所有三重插槽。相比之下,我们探索的假设,它可能是有益的,以迭代方式提取三个插槽:首先提取容易的插槽,其次是困难的条件容易插槽,因此实现了更好的整体提取。基于这一假设,我们提出了一个神经OpenIE系统,milIE,以迭代的方式操作。由于迭代的性质,该系统也是模块化的--可以将基于规则的提取系统与神经端到端系统无缝集成,从而允许基于规则的系统提供提取槽,milIE可以利用该提取槽来提取剩余的槽。我们证实了我们的假设经验:milIE优于SOTA系统的多种语言,从中文到阿拉伯语。此外,我们是第一个为阿拉伯语和加利西亚语提供OpenIE测试数据集的公司。
2022-04-25 cs.AI cs.CL
Relation Extraction : A Survey
TCS Research, Tata Consultancy Services Ltd.(塔塔咨询服务有限公司 TCS 研究院);Indian Institute of Technology Bombay(印度理工学院孟买分校)
随着互联网的出现,每天都会以新闻文章、研究出版物、博客、问答论坛和社交媒体的形式产生大量的数字文本。开发从这些文档中自动提取信息的技术非常重要,因为许多重要信息隐藏在其中。这些提取的信息可以用于改进对隐藏在大型文本语料库中的知识的访问和管理。一些应用程序,如问答,信息检索将受益于此信息。个人和组织等实体构成了信息的最基本单位。句子中实体的出现通常通过定义明确的关系联系起来;例如,在句子中出现的人和组织可以通过关系联系起来,如受雇于。关系抽取(RE)的任务是自动识别这些关系。在本文中,我们调查了几个重要的监督,半监督和无监督RE技术。我们还涵盖了开放式信息抽取(OIE)和远程监控的范例。最后,我们描述了RE技术的一些最新趋势和未来可能的研究方向。这项调查对三种读者有用- i)想要快速了解RE的该领域新人; ii)想要了解各种RE技术如何随着时间的推移而发展以及未来可能的研究方向的研究人员和iii)从业者只需要知道哪种RE技术在各种环境中最有效。
2017-12-14 cs.AI cs.CL cs.IR
Integrating Deep Learning with Logic Fusion for Information Extraction
Nanyang Technological University(南洋理工大学)
信息抽取(IE)旨在从输入文本中产生结构化信息,例如,命名实体识别和关系抽取。已经提出了通过特征工程或深度学习用于IE的各种尝试。然而,他们中的大多数人未能将任务本身固有的复杂关系联系起来,而这一点已被证明是特别重要的。例如,两个实体之间的关系高度依赖于它们的实体类型。这些依赖关系可以被视为复杂的约束,可以有效地表示为逻辑规则。为了将这种逻辑推理能力与深度神经网络的学习能力相结合,我们提出将逻辑知识以一阶逻辑的形式集成到深度学习系统中,该系统可以以端到端的方式进行联合训练。该集成框架能够通过逻辑规则的知识正则化来增强神经输出,同时更新逻辑规则的权重以符合训练数据的特性。我们证明了该模型的有效性和推广多IE任务。
2019-12-06 cs.CL cs.IR cs.LG
Beyond path selection: Better LLMs for Scientific Information Extraction with MimicSFT and Relevance and Rule-induced(R$^2$)GRPO
HKUST Hong Kong SAR, China(香港科技大学);SEU Jiangsu, China(江苏大学);HKUST(GZ) Guangzhou, China(香港科技大学(广州));Zhipu AI Beijing, China(智谱AI);HKUST(GZ), HKUST Guangzhou, China(香港科技大学(广州)、香港科技大学)
针对科学信息抽取中 LLMs 表现不佳的问题,提出结合 MimicSFT 和 R$^2$GRPO 的两阶段训练方法,无需高质量思维链数据即可优化推理路径并提升推理能力,在关系抽取任务上超越基线与专门监督模型。
2025-05-28 cs.AI cs.CL cs.IR
Information Extraction through AI techniques: The KIDs use case at CONSOB
Sapienza Università di Roma(罗马大学);Commissione Nazionale per le Società e la Borsa(意大利国家公司和证券交易所委员会)
在本文中,我们报告了Consob和Sapienza大学合作开展的初步活动。我们专注于从描述金融工具的文档中提取信息抽取。我们讨论了如何通过基于规则和基于机器学习的方法自动化这项任务,并提供了我们的第一个结果。
2022-01-29 cs.CL cs.IR
Extraction and Analysis of Fictional Character Networks: A Survey
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Orkis(奥基斯公司)
角色网络是从叙事中提取的图,其中顶点表示角色,边对应于它们之间的交互。许多叙事相关的问题可以通过分析角色网络自动解决,例如摘要,分类或角色检测。当考虑虚构作品(例如小说、戏剧、电影、电视剧)时,角色网络特别相关,因为它们的开发允许开发信息检索和推荐系统。然而,小说作品具有特定的属性,使这些任务变得更加困难。本调查旨在介绍和组织与从小说作品中提取人物网络相关的科学文献,以及它们的分析。我们首先以一种通用的方式描述提取过程,并解释其构成步骤在实践中是如何实施的,这取决于叙事的媒介,网络分析的目标和其他因素。然后,我们回顾了用于表征字符网络的描述性工具,重点是在这种情况下解释它们的方式。我们说明了字符网络的相关性,也提供了一个审查的应用程序来自他们的分析。最后,我们确定了现有方法的局限性,以及最有前途的前景。
2022-03-31 cs.CL cs.CV cs.IR