FormNetV2: Multimodal Graph Contrastive Learning for Form Document Information Extraction
Google Cloud AI Research(谷歌云人工智能研究院);Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能)
针对表单文档理解现有多模态预训练方法调优复杂、需额外数据的问题,提出FormNetV2集中式多模态图对比学习框架,用统一损失实现多模态自监督预训练,结合边界框图像特征提取,以更紧凑的模型在多个基准上取得SOTA性能。
2023-06-13 cs.CL cs.CV cs.LG
A Practical Incremental Learning Framework For Sparse Entity Extraction
Wright State University(莱特州立大学);Maana Inc(Maana公司);GoDaddy Inc(GoDaddy公司)
这项工作解决了从文本数据中提取实体所带来的挑战,包括数据注释的高成本、模型准确性、选择适当的评估标准以及注释的整体质量。我们提出了一个集成实体集扩展(ESE)和主动学习(AL)的框架,以减少稀疏数据的注释成本,并提供一个在线评估方法作为反馈。这种增量和交互式学习框架允许快速注释和随后提取稀疏数据,同时保持高准确性。我们在三个公开的数据集上评估了我们的框架,结果表明,它大大降低了稀疏实体注释的成本,平均降低了85%和45%,分别达到0.9和1.0的F分数。此外,该方法在所有数据集上都表现出稳健的性能。
2020-04-26 cs.CL
A Survey on Neural Open Information Extraction: Current Status and Future Directions
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院);Alibaba Group(阿里巴巴集团)
开放信息抽取(OpenIE)促进了从大型语料库中独立于领域的关系事实的发现。该技术非常适合许多开放世界的自然语言理解场景,如自动知识库构建,开放领域的问答,和显式推理。由于深度学习技术的快速发展,许多神经OpenIE架构被提出并实现了相当大的性能提升。在本调查中,我们提供了最先进的神经OpenIE模型,其关键设计决策,优势和劣势的广泛概述。然后,我们讨论了当前解决方案的局限性和OpenIE问题本身的开放性问题。最后,我们列出了最近的趋势,可以帮助扩大其范围和适用性,建立有前途的方向,在OpenIE的未来研究。据我们所知,本文是第一次审查这一特定的主题。
2022-06-28 cs.CL
Towards Zero-shot Relation Extraction in Web Mining: A Multimodal Approach with Relative XML Path
University of California, San Diego(加州大学圣地亚哥分校)
本文提出ReXMiner方法,通过编码DOM树最短相对路径和文本节点流行度并结合对比学习,解决Web挖掘中的零样本关系抽取问题,在公开基准上优于现有基线。
2023-05-23 cs.CL
A Domain-Specific Curated Benchmark for Entity and Document-Level Relation Extraction
University of Padova(帕多瓦大学)
本文提出GutBrainIE基准,用于生物医学领域实体和文档级关系提取,通过精细标注和多任务设计提升IE方法的评估与开发
2026-02-04 cs.CL
Representation Learning for Weakly Supervised Relation Extraction
The Australian National University(澳大利亚国立大学)
针对弱监督关系抽取中标注数据稀缺的问题,提出无监督预训练学习分布式文本表示特征,与手工特征结合提升逻辑分类模型性能,尤其在少量训练实例的关系分类上效果显著。
2024-03-16 cs.CL
An overview of event extraction and its applications
Shanghai University of Finance and Economics(上海财经大学)
随着信息技术的飞速发展,网络平台产生了巨大的文本资源。事件抽取作为信息抽取的一种特殊形式,由于其能够自动地从人类语言中抽取事件而受到越来越多的关注。然而,有有限的文献调查的事件提取。现有的综述工作要么花费大量精力描述各种方法的细节,要么集中在某个特定的领域。本文综述了文本事件抽取的最新研究进展,包括闭域事件抽取和开域事件抽取。本调查的一个特点是,它提供了一个适度复杂的概述,避免涉及太多的细节,特定的方法。本研究主要探讨代表性作品的共性、应用领域、优缺点,忽略了个别方法的特殊性。最后,我们总结了共同的问题,目前的解决方案,以及未来的研究方向。我们希望这项工作可以帮助研究人员和从业人员获得一个快速的概述最近的事件提取。
2021-11-05 cs.AI cs.CL cs.LG
Knowledge Graph Enhanced Event Extraction in Financial Documents
ShanghaiTech University(上海科技大学)
事件抽取是自然语言处理中的一个经典任务,在处理大量快速增长的金融、法律、医疗和政府文档中得到了广泛的应用,这些文档通常包含多个事件,并且这些事件的元素分散和混合在文档中,使得问题变得更加困难。虽然被提取的事件元素之间的潜在关系提供了有用的上下文信息,但它们在以前的研究中被忽视了。我们展示了利用知识图谱捕获实体关系及其属性所带来的增强。我们提出了第一个事件提取框架,该框架通过图神经网络嵌入知识图谱,并将嵌入与常规特征集成,所有这些都在文档级。具体来说,对于从中国的财务公告中提取事件,我们的方法优于国家的最先进的方法在F1分数的5.3%。
2021-09-06 cs.CL cs.IR cs.LG
Exploring LLMs for Scientific Information Extraction Using The SciEx Framework
本文提出SciEx框架,通过解耦关键组件提升科学信息提取的准确性和一致性,评估结果显示其在多科学领域中的有效性。
2026-01-23 cs.AI cs.CL
A Survey on Extraction of Causal Relations from Natural Language Text
The University of Sydney(悉尼大学)
作为人类认知的重要组成部分,因果关系经常出现在文本中,从文本中策划因果关系有助于构建预测任务的因果网络。现有的因果关系提取技术包括基于知识、基于统计机器学习(ML)和基于深度学习的方法。每种方法都有其优点和缺点。例如,基于知识的方法是可以理解的,但需要大量的手工领域知识,并且具有较差的跨领域适用性。由于自然语言处理(NLP)工具包,统计机器学习方法更加自动化。然而,特征工程是劳动密集型的,工具包可能会导致错误传播。在过去的几年里,深度学习技术由于其强大的表示学习能力和计算资源的快速增长而引起了NLP研究者的极大关注。它们的局限性包括高计算成本和缺乏足够的注释训练数据。在本文中,我们进行了全面的调查因果关系提取。我们首先介绍了因果关系提取的主要形式:显式因果关系,隐式因果关系和因果关系之间的因果关系。接下来,我们列出基准数据集和建模评估方法的因果关系抽取。然后,我们提出了一个结构化的概述这三种技术与他们的代表性系统。最后,我们强调了现有的开放性挑战及其潜在方向。
2021-11-01 cs.CL cs.IR
Knowledge Graph Anchored Information-Extraction for Domain-Specific Insights
Accenture Labs(埃森哲实验室)
数据的数量和复杂性不断增加,给人类消费信息和及时响应带来了挑战。对于那些规则和法规快速变化的领域中的企业来说,未能识别变化可能会付出高昂的代价。与专家分析或特定领域的本体和分类法的开发相反,我们使用基于任务的方法来满足新领域中的特定信息需求。具体来说,我们建议从传入的实例数据中提取基于任务的信息。由最先进的NLP技术构建的管道,包括用于实体提取的bi-LSTM-CRF模型,基于注意力的深度语义角色标注,以及自动化的基于动词的关系提取器,用于自动提取实例级语义结构。然后,将每个实例与更大的、特定于领域的知识图谱相结合,以产生新的、及时的见解。手动验证的初步结果表明,该方法可有效提取特定信息以完成最终用例。
2021-04-20 cs.AI cs.CL
Transfer Learning for Scientific Data Chain Extraction in Small Chemical Corpus with BERT-CRF Model
National Science Library, Chinese Academy of Science(中国科学院国家科学图书馆);University of Chinese Academy of Science(中国科学院大学);City University of New York(纽约城市大学);Tsinghua University(清华大学)
近年来,由于人工智能的快速发展和突破,计算化学得到了快速发展。由于自然语言处理的发展,研究人员可以从出版物中提取更多细粒度的知识,以刺激计算化学的发展。针对目前化学实体提取的研究成果和语料库主要局限于生物医学或生命科学领域,而化学领域的研究较少的情况,本文建立了一个化学键领域的语料库,标注了化合物、溶剂、方法、键、反应、pKa和pKa值等7类实体。本文提出了一种新的BERT-CRF模型,通过从出版物中提取7个化学实体和关系来构建科学化学数据链。提出了一种联合模型来同时提取实体和关系。我们的化学专业语料库的实验结果表明,我们实现了最先进的和有竞争力的NER性能。
2019-05-13 cs.CL cs.DL
An Index-based Approach for Efficient and Effective Web Content Extraction
University of Science and Technology of China(中国科学技术大学);Metastone Technology(Metastone技术)
本文提出基于索引的方法,用于高效提取网络相关内容,提升RAG系统查询准确性与处理速度。
2025-12-07 cs.CL cs.IR
Enhancing Relation Extraction via Supervised Rationale Verification and Feedback
Wuhan University(武汉大学);Research Institute of Nuclear Power Operation(核动力运行研究所)
针对现有自动化反馈方法难以适配关系抽取任务的问题,提出含理据监督器的新型反馈框架,通过因果方法训练监督器并迭代修正,显著提升关系抽取效果。
2024-12-11 cs.AI cs.CL
Interpretable Self-supervised Multi-task Learning for COVID-19 Information Retrieval and Extraction
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
COVID-19相关文章的快速发展使得NLP模型很难有效地训练信息检索和提取符合当前流行病分布的相应标记数据。另一方面,由于情况的不确定性,总是需要人类专家的监督来仔细检查这些模型的决策,强调可解释性的重要性。鉴于这些挑战,本研究提出了一个可解释的自我监督多任务学习模型,以联合和有效地解决任务的信息检索(IR)和提取(IE)在当前的紧急卫生危机情况。我们的研究结果表明,我们的模型有效地利用多任务和自监督学习,以提高泛化,数据效率和鲁棒性正在进行的数据集转移问题。我们的模型在IE和IR任务中的表现优于基线,分别为0.08的micro-f得分(LCA-F得分为0.05)和平均0.05的MAP。在IE中,零次和少样本学习性能平均比基线高0.32和0.19微f分数。
2021-06-15 cs.CL cs.IR
TCMIIES: A Browser-Based LLM-Powered Intelligent Information Extraction System for Academic Literature
Hebei University, College of Traditional Chinese Medicine(河北大学中医学院)
本文提出TCMIIES,一种无需安装的浏览器平台,利用商业LLM API实现学术文献结构化信息提取,通过图形界面定义自定义提取方案,支持多领域数据库,提取准确率超94%。
2026-08-19 cs.CL cs.IR
Syntactic-GCN Bert based Chinese Event Extraction
Shanghai University of Finance and Economics(上海财经大学)
随着信息技术的快速发展,在线平台(例如,新闻门户和社交媒体)每时每刻都产生大量的网络信息。因此,从社会流中提取事件的结构化表示至关重要。通常,现有的事件提取研究利用模式匹配、机器学习或深度学习方法来执行事件提取任务。然而,由于中文语言的独特性,中文事件抽取的性能不如英文。在本文中,我们提出了一个集成的框架来执行中文事件提取。所提出的方法是一个多通道输入的神经框架,集成了语义特征和句法特征。语义特征由BERT体系结构捕获。词性(POS)特征和依存句法分析(DP)特征分别通过轮廓嵌入和图卷积网络(GCN)来捕获。我们还在真实世界的数据集上评估了我们的模型。实验结果表明,该方法的性能明显优于基准方法。
2021-12-18 cs.AI cs.CL cs.IR
Maximizing Relation Extraction Potential: A Data-Centric Study to Unveil Challenges and Opportunities
Florida Institute for National Security (FINS), University of Florida(佛罗里达大学佛罗里达国家安全研究所(FINS))
本文通过对15种最先进关系抽取算法和7个大规模数据集的实验,揭示现代抽取器在复杂数据与关系特征上的鲁棒性不足问题,强调关键挑战并为未来方向提供参考,以最大化关系抽取潜力。
2024-11-25 cs.AI cs.CL
Domain Robust Feature Extraction for Rapid Low Resource ASR Development
Carnegie Mellon University(卡内基梅隆大学)
为低资源语言开发实用的语音识别器是具有挑战性的,这不仅是因为语言的(潜在未知的)属性,而且还因为测试数据可能与可用的训练数据不来自相同的域。在本文中,我们专注于后一个挑战,即域不匹配,使用基于序列的标准训练的系统。我们证明了使用预先训练的英语识别器的有效性,这是强大的不匹配的条件下,作为一个域规范化的特征提取器在低资源的语言。在我们的示例中,我们使用土耳其语会话语音和广播新闻数据。这使得能够快速开发新语言的语音识别器,可以很容易地适应任何领域。在不同的跨领域的情况下进行测试,我们实现了约25%的音素出错率的相对改善,与改善约50%的某些领域。
2018-09-30 cs.CL cs.SD eess.AS
Exploring the use of a Large Language Model for data extraction in systematic reviews: a rapid feasibility study
National Institute for Health and Care Research Innovation Observatory(英国国家健康与护理研究院创新观测站);Newcastle University(纽卡斯尔大学);University of Edinburgh(爱丁堡大学);UCL Social Research Institute(伦敦大学学院社会研究所);University College London(伦敦大学学院);Institute for Quality and Efficiency in Health Care(德国医疗保健质量与效率研究所);Medical Center - University of Freiburg(弗莱堡大学医学中心);International Initiative for Impact Evaluation (3ie)(国际影响评估倡议);University of East Anglia(东英吉利大学)
本研究通过两项可行性实验探索GPT-4在系统综述数据提取中的应用,发现其准确率约80%但存在领域差异与预测变异性,为LLM相关工具设计与评估提供模板,也指出集成时需谨慎并需进一步研究稳定性。
2025-02-13 cs.AI cs.CL
NADE: A Benchmark for Robust Adverse Drug Events Extraction in Face of Negations
University of Udine(乌迪内大学);The Hong Kong Polytechnic University(香港理工大学);DSIG - Bayer Pharmaceuticals(拜耳制药DSIG)
药物不良事件(ADE)提取模型可以快速检查大量社交媒体文本,检测与药物相关的不良反应并触发医学调查。然而,尽管NLP最近取得了进展,但目前还不知道这些模型在面对否定时是否强大,这在各种语言中普遍存在。在本文中,我们评估三个国家的最先进的系统,显示其对否定的脆弱性,然后我们引入两种可能的策略,以增加这些模型的鲁棒性:管道的方法,依赖于一个特定的组件进行否定检测;增强ADE提取数据集,人工创建否定的样本,并进一步训练模型。我们表明,这两种策略带来了显着的性能提高,降低了模型预测的虚假实体的数量。我们的数据集和代码将公开发布,以鼓励对该主题的研究。
2021-09-24 cs.CL cs.LG
Exploring the Latest LLMs for Leaderboard Extraction
SOTA? Lab at CLEF(CLEF SOTA实验室)
本研究探索Mistral 7B、Llama-2等最新LLM在三类上下文输入下,从AI论文提取排行榜信息生成四元组的效能,为AI研究自动化提供指导。
2024-07-08 cs.AI cs.CL