Automatic Detection of Satire in Bangla Documents: A CNN Approach Based on Hybrid Feature Extraction Model
Shahjalal University of Science & Technology(沙赫贾拉尔科技大学)
讽刺新闻在网络社区中的广泛传播是一种持续的趋势。讽刺的本质是如此的模棱两可,有时甚至连人类都很难理解它是否真的是讽刺。因此,对这一领域的研究兴趣越来越大。本研究的目的是检测孟加拉国讽刺新闻在在线新闻门户网站以及社交媒体上的传播。在本文中,我们提出了一种混合技术,从文本文档中提取特征结合Word2Vec和TF-IDF。使用我们提出的特征提取技术,与标准的CNN架构,我们可以检测是否孟加拉语文本文档是讽刺或没有超过96%的准确率。
2019-11-19 cs.CL cs.IR cs.LG
Deep Learning based Key Information Extraction from Business Documents: Systematic Literature Review
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文对2017至2024年间130种基于深度学习的商业文档关键信息提取方法进行系统性文献综述,分析现有技术并指出未来研究方向。
2025-07-18 cs.CL cs.IR cs.LG
Using Neighborhood Context to Improve Information Extraction from Visual Documents Captured on Mobile Phones
Samsung Research America(三星美国研究院)
从视觉文档中进行信息抽取可以为最终用户提供方便且智能的帮助。本文提出了一种基于邻域的信息抽取(NIE)方法,该方法使用上下文语言模型,关注视觉文档中的局部邻域上下文,以提高信息抽取的准确性。我们收集了两个不同的视觉文档数据集,并表明我们的方法优于最先进的全球基于上下文的IE技术。事实上,NIE在小型和大型模型尺寸上都优于现有方法。我们在移动平台上的NIE设备上的实现,通常需要小模型展示NIE在实际的现实世界中的应用程序的有用性。
2021-08-23 cs.IR cs.LG
LongKey: Keyphrase Extraction for Long Documents
University of Luxembourg(卢森堡大学);Pontifícia Universidade Católica do Paraná(巴拉那天主教大学)
针对长文档关键短语提取的空白,提出LongKey框架,利用编码器语言模型和最大池化嵌入器,在LDKP及六个未见数据集上超越现有方法。
2024-11-26 cs.AI cs.CL cs.IR
Business Document Information Extraction: Towards Practical Benchmarks
从半结构化文档中提取信息抽取对于无摩擦的企业对企业(B2B)通信至关重要。虽然与文档信息抽取(IE)相关的机器学习问题已经研究了几十年,但许多常见的问题定义和基准并不反映特定领域的方面和自动化B2B文档通信的实际需求。我们回顾了文档IE问题,数据集和基准的景观。我们强调了常见定义中缺少的实际方面,并定义了关键信息定位和提取(KILE)和行项目识别(LIR)问题。由于半结构化业务文档的内容通常受到法律保护或敏感,因此缺乏文档IE的相关数据集和基准。我们讨论了可用文件的潜在来源,包括合成数据。
2022-06-20 cs.AI cs.CV cs.IR
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University(西北大学)
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同,我们的框架处理讲述不同故事的文档,而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高,以提高可读性的目标。最后,我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体,其中每个文档组包含大量不同的文档集合,以评估我们的模型与其他基线系统相比的性能。我们的实验表明,我们的框架优于当前国家的最先进的方法,在这个更通用的设置。
2022-05-01 cs.CL cs.IR
Document-level Relation Extraction as Semantic Segmentation
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Alibaba Group(阿里巴巴集团)
文档级关系抽取的目的是从文档中抽取多个实体对之间的关系。先前提出的基于图或基于变换的模型独立地利用实体,而不管关系三元组之间的全局信息。本文通过预测实体级关系矩阵来捕获局部和全局信息,并行于计算机视觉中的语义分割任务来解决这个问题。在此,我们提出了一个文档U形网络的文档级关系抽取。具体来说,我们利用编码器模块来捕获实体的上下文信息,并在图像风格的特征映射上利用U形分割模块来捕获三元组之间的全局相互依赖性。实验结果表明,我们的方法可以获得最先进的性能在三个基准数据集DocRED,CDR和GDA。
2021-08-22 cs.AI cs.CL cs.CV
Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
Toyota Technological Institute(丰田工业大学);Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所人工智能研究中心)
句间关系抽取处理的是文档中大量复杂的语义关系,这些关系需要局部、非局部、句法和语义依赖。现有的方法没有充分利用这种依赖性。本文提出了一种新的句间关系抽取模型,该模型在文档级图上建立了一个标记边图卷积神经网络模型。该图使用各种句间和句内依赖关系来构建,以捕获本地和非本地依赖关系信息。为了预测实体对的关系,我们利用双仿射成对评分的多实例学习。实验结果表明,我们的模型在两个生物化学数据集上实现了与最先进的神经模型相当的性能。我们的分析表明,图中的所有类型是有效的句间关系抽取。
2019-06-11 cs.CL cs.IR
Topic Extraction of Crawled Documents Collection using Correlated Topic Model in MapReduce Framework
University of Computer Studies(计算机研究大学);Faculty of Computing(计算机学院)
大量的可用研究文档的巨大增长促使研究人员提出主题模型来提取文档集合中的潜在语义主题。然而,如何从文档集合中提取出隐藏的主题已经成为许多主题模型应用的关键任务。此外,传统的主题建模方法遭受的可扩展性问题时,文档集合的大小增加。本文在MapReduce框架下实现了基于变分期望最大化算法的相关主题模型,解决了相关主题模型的可扩展性问题。所提出的方法利用从公共数字图书馆爬取的数据集。此外,抓取的文档的全文进行分析,以提高MapReduce CTM的准确性。最后通过实验验证了该算法的有效性。从评估,所提出的方法具有可比的性能方面的主题一致性与LDA实现MapReduce框架。
2020-01-06 cs.CL cs.IR cs.LG
Knowledge-Driven Cross-Document Relation Extraction
IIIT-Delhi(德里印度信息技术学院);Cerence GmbH(Cerence公司);Zerotha Research(Zerotha研究院);University of Kentucky(肯塔基大学)
针对现有跨文档关系抽取(CrossDocRE)未利用领域知识的问题,本文提出KXDocRE方法,融合实体领域知识与输入文本,兼具可解释性且性能优于现有方法。
2024-06-18 cs.CL cs.IR
Robustness of Structured Data Extraction from In-plane Rotated Documents using Multi-Modal Large Language Models (LLM)
AWS AI & ML(亚马逊云科技人工智能与机器学习);IEEE CIS(电气与电子工程师协会计算智能学会)
本文研究文档倾斜对Claude V3 Sonnet、GPT-4-Turbo和Llava:v1.6三种多模态LLM数据提取准确性的影响,确定各模型的安全旋转角度,并提出增强鲁棒性的架构与预训练改进方案。
2024-06-13 cs.CL cs.IR
Graph Convolution for Multimodal Information Extraction from Visually Rich Documents
Alibaba Group(阿里巴巴集团)
视觉丰富文档(VRD)在日常商业和生活中无处不在。在VRD中,视觉和布局信息对于文档理解至关重要,并且此类文档中的文本无法在不丢失信息的情况下序列化为一维序列。经典的信息抽取模型,如BiLSTM-CRF,通常对文本序列进行操作,并且不包含视觉特征。在本文中,我们介绍了一个图形卷积为基础的模型,结合文字和视觉信息的VRD。图嵌入被训练来总结文档中文本段的上下文,并进一步与文本嵌入相结合以进行实体提取。已经进行了大量的实验,以表明我们的方法优于BiLSTM-CRF基线的显着利润率,在两个真实世界的数据集。此外,还进行了消融研究,以评估我们模型中每个组件的有效性。
2019-03-27 cs.CV cs.IR cs.LG
KERT: Automatic Extraction and Ranking of Topical Keyphrases from Content-Representative Document Titles
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Massachussets Amherst(马萨诸塞大学阿默斯特分校)
我们介绍KERT(关键词提取和排名的主题),主题关键词生成和排名的框架。通过从以单字为中心的传统无监督关键短语提取方法转变为以短语为中心的方法,我们能够直接比较和排名不同长度的短语。我们构建了一个主题关键词排名函数,它实现了代表高质量主题关键词的四个标准(覆盖率,纯度,短语性和完整性)。在计算机科学和物理学领域的两个内容代表性标题集合上证明了我们方法的有效性。
2013-06-03 cs.IR cs.LG
Keyword Extraction for Improved Document Retrieval in Conversational Search
University of Amsterdam(阿姆斯特丹大学)
最近的研究表明,基于用户和计算机之间的交互来澄清和改进查询的混合主动会话搜索提供了巨大的优势。尽管如此,合并用户从对话中提供的附加信息提出了一些挑战。事实上,进一步的交互可能会使系统感到困惑,因为用户可能会使用与信息需求无关的词语,但在多轮对话的背景下,这些词语对于正确的句子构建至关重要。为此,在本文中,我们收集了两个会话关键字提取数据集,并提出了一个端到端的文档检索管道,将它们结合起来。此外,我们研究了两个神经关键词提取模型,即BERT和序列到序列,在提取精度和人类注释方面的性能。最后,我们研究了关键词提取对端到端神经IR性能的影响,并表明我们的方法击败了最先进的IR模型。我们公开这两个数据集,以促进这一领域的研究。
2021-09-22 cs.CL cs.IR
Multi-Relation Extraction in Entity Pairs using Global Context
Department of Computer Science and Engineering(计算机科学与工程系);PDPM IIITDM Jabalpur(IIITDM贾巴尔普尔)
针对文档级关系抽取中现有方法仅关注实体提及句、缺乏全局上下文的问题,提出将实体表示为独立片段的输入嵌入方法,在三个基准数据集上验证了其有效性,兼具理论与实践价值。
2025-07-23 cs.CL cs.IR
A Review of Keyphrase Extraction
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
关键词提取是一项文本信息处理任务,涉及从文档中自动提取表达其内容的所有关键方面的代表性和特征性短语。关键词是对文档的一种简洁的概念性概括,在数字信息管理系统中,关键词对于语义索引、分面搜索、文档聚类和分类等都非常有用。本文介绍了关键词提取,对现有工作进行了结构良好的回顾,对不同的评估方法提供了有趣的见解,突出了开放的问题,并在五个数据集上对流行的无监督技术进行了比较实验研究。
2019-07-30 cs.CL cs.IR
WikiRank: Improving Keyphrase Extraction Based on Background Knowledge
University of Texas at Dallas(德克萨斯大学达拉斯分校)
关键词是文档主要思想的有效表示。虽然背景知识可以提供关于文档的有价值的信息,但是它们很少被结合在关键短语提取方法中。在本文中,我们提出了WikiRank,一个无监督的方法提取关键词的基础上,从维基百科的背景知识。首先,我们为文档构建一个语义图。然后将关键词提取问题转化为图上的优化问题。最后,我们得到最佳的关键词集作为输出。我们的方法比其他最先进的模型在F1分数上获得了超过2%的改进。
2018-03-23 cs.CL cs.IR
DocGraphLM: Documental Graph Language Model for Information Extraction
JPMorgan AI Research(摩根大通人工智能研究院);Dartmouth College(达特茅斯学院)
本文提出DocGraphLM框架,通过联合编码器架构和新型链接预测方法将预训练语言模型与图语义结合,在信息抽取和问答任务上取得一致提升并加速训练收敛。
2024-01-05 cs.CL cs.IR
Toward Network-based Keyword Extraction from Multitopic Web Documents
University of Rijeka(里耶卡大学)
本文分析了在关键词自动抽取任务中,从复杂网络中计算出的选择性测度。从不同的网络资源(门户网站,论坛)收集的文本,表示为有向和加权的词的共现复杂网络。词是节点,如果它们在句子中直接共现,则在两个节点之间建立链接。我们测试不同的中心性措施排名节点-关键字候选人。使用选择性措施取得了可喜的成果。然后,我们提出了一种方法,使提取词对的值的输入/输出的选择性和权重措施结合过滤。
2014-07-14 cs.CL cs.IR
Data-Efficient Information Extraction from Form-Like Documents
Stanford University(斯坦福大学);Google(谷歌)
大规模自动从表单类文档中提取信息抽取是一项迫切的需求,因为它对金融服务、保险和医疗保健等许多行业的业务工作流程自动化具有潜在影响。关键的挑战是,这些业务工作流中的表单文档可以以几乎无限多种方式进行布局;因此,这个问题的好解决方案应该推广到具有不可见布局和语言的文档。这个问题的解决方案需要对文档中的文本片段和视觉提示进行全面的理解,这是非常重要的。虽然自然语言处理和计算机视觉社区开始解决这个问题,但人们并没有太多关注(1)数据效率,以及(2)跨不同文档类型和语言的泛化能力。在本文中,我们表明,当我们只有少量的标记文档进行训练(~50)时,一个简单的迁移学习方法从一个结构上有很大差异的较大标记语料库中产生高达27个F1点的改进,而不是简单地在目标域的小语料库上进行训练。我们通过一种简单的多领域迁移学习方法(目前已在生产中使用)对此进行了改进,并表明这可以进一步提高8个F1点。我们的情况下,数据效率是至关重要的,使信息抽取系统的规模,以处理数百种不同的文档类型,学习良好的表示是实现这一点的关键。
2022-01-07 cs.IR cs.LG
End-to-End Document Classification and Key Information Extraction using Assignment Optimization
Aflac Northern Ireland(北爱尔兰美国家庭人寿保险公司)
提出端到端文档分类与 KIE 方法,结合文本版面编码、余弦相似度及混合整数分配优化,在噪声扫描表单上取得 0.97 分类 f1 和 0.94 KIE 平均 f1。
2023-06-01 cs.AI cs.IR cs.LG
Clinical Document Metadata Extraction: A Scoping Review
University of Minnesota(明尼苏达大学);Mayo Clinic(妙佑医疗国际);University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心);Oregon Health & Science University(俄勒冈健康与科学大学)
本文综述了临床文档元数据提取的研究,分析了方法学趋势和应用,并指出了未来研究方向。
2025-12-28 cs.AI cs.CL cs.IR
Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies
我们提出了一个多文档摘要,称为MEAD,它产生的主题检测和跟踪系统使用集群质心摘要。我们还描述了两种新的技术,句子效用和包容的基础上,我们已经应用到单个和多个文件摘要的评估。最后,我们描述了两个用户研究,测试我们的多文档摘要模型。
2000-05-12 cs.AI cs.CL cs.DL
Revisiting Document-Level Relation Extraction with Context-Guided Link Prediction
本文将文档级关系抽取重构为知识图谱链接预测,融合实体上下文与文档逻辑推理,并在 DocRED、ReDocRED 和 DWIE 上取得优于现有方法的结果。
2024-01-22 cs.IR
ViBERTgrid BiLSTM-CRF: Multimodal Key Information Extraction from Unstructured Financial Documents
Yapı Kredi Technology(亚珀克雷迪科技);Istanbul Technical University(伊斯坦布尔理工大学)
本文提出ViBERTgrid BiLSTM-CRF模型,通过引入BiLSTM-CRF层将多模态Transformer适配于非结构化金融文档,提升了命名实体识别性能并保持了半结构化文档的KIE效果,同时公开了SROIE数据集的token级标注。
2024-09-23 cs.AI cs.CL cs.CV
Document-Level Event Extraction with Definition-Driven ICL
School of Information Science(信息科学学院);Beijing Language and Culture University(北京语言大学)
针对文档级事件抽取中 LLM 提示设计难题,提出 DDEE 策略,通过定义驱动提示优化、数据平衡及结构化约束提升事件与论元抽取效果。
2024-08-10 cs.AI cs.CL cs.CY
Conception d'un outil d'aide à l'indexation de ressources pédagogiques - Extraction automatique des thématiques et des mots-clefs de documents UNIT
使用学习对象元数据(LOM)索引学习文档通常由档案管理员手动执行。填写LOM字段是一项漫长而困难的任务,需要完整阅读并充分了解文档中涉及的主题。在本文中,我们提出了一个创新的模式和方法,以协助档案工作者在寻找重要的概念和关键字的学习文件。这个应用程序是通过维基百科的分类链接来实现的。
2009-12-07 cs.IR
Benchmarking Open-Source Layout Detection Models for Data Snapshot Extraction from Institutional Documents
Development Data Group Office of the World Bank Group Chief Statistician(世界银行发展数据分析组办公室世界银行统计主任);The World Bank(世界银行)
针对机构文档中图表数据快照提取任务,构建基准数据集并评估多个开源布局检测模型,发现现有模型在操作型文档上泛化能力不足,存在内容混淆、碎片化及上下文缺失等问题。
2026-06-04 cs.AI cs.CL cs.CV
Document-Level Relation Extraction with Relation Correlation Enhancement
Shanghai Jiao Tong University(上海交通大学)
针对文档级关系抽取中关系相关性被忽略的问题,提出一种基于统计共现信息构建关系图、利用重加权方案和图注意力网络聚合关系嵌入的即插即用方法,有效提升了多关系抽取性能。
2023-10-06 cs.AI cs.CL cs.IR
DiVA-DocRE: A Discriminative and Voice-Aware Paradigm for Document-Level Relation Extraction
本文提出DiVA范式,将文档级关系抽取转化为判别式任务并引入主动/被动语态感知,仅需两步即可直接从文档生成关系三元组,在Re-DocRED和DocRED上取得最优性能。
2025-04-08 cs.AI cs.CL cs.IR
Authoring case based training by document data extraction
在本文中,我们提出了一个可扩展的方法来建模的基础上字处理文件,我们描述了凤凰工具提供的技术基础设施。对于我们的培训环境d3web.Train,我们开发了一个工具来从现有文档(通常是解雇记录)中提取案例知识,将Phoenix扩展到d3web.CaseImporter。独立作者使用此工具开发培训系统,观察到设置时间和开发案例所需时间的显着减少。
2005-09-14 cs.AI cs.IR
ELSKE: Efficient Large-Scale Keyphrase Extraction
关键词提取方法可以提供对大量文档(如社交媒体帖子)的深入了解。然而,现有的方法不太适合于流数据的实时分析,因为它们在计算上太昂贵或者需要关于关键词结构的限制性约束。我们提出了一种有效的方法来提取关键词从大型文档集合,并表明该方法也表现出竞争力的个别文件。
2021-02-10 cs.IR
MedNuggetizer: Confidence-Based Information Nugget Extraction from Medical Documents
University of Regensburg(雷根斯堡大学);St. Josef Medical Center(圣约瑟夫医疗中心);St. Elisabeth Hospital Straubing(施特劳宾圣伊丽莎白医院)
MedNuggetizer 通过大型语言模型提取和聚类医学文档中的信息 nugget,帮助临床医生高效获取可靠的医学证据。
2025-12-17 cs.IR
Context and Keyword Extraction in Plain Text Using a Graph Representation
文献标引是档案工作者或自动标引工具完成的一项基本任务。要检索相关的文档查询,描述这个文件的关键字必须仔细选择。档案管理员必须在开始提取关键字之前找到文档的正确主题。对于一个索引专门文件的档案工作者来说,经验起着重要的作用。但是索引不同主题的文档要困难得多。本文提出了一种创新的标引支持系统的方法。该系统将本体和纯文本文档作为输入,并提供文档的上下文关键字作为输出。该方法已被评估利用维基百科的类别链接作为一个术语本体资源。
2009-12-08 cs.IR
A two-stage approach for table extraction in invoices
行政公文的自动分析是公文识别领域的一个重要研究领域。在公司和公共服务部门提供的大量文件中,电子邮件是关键文件。数据库包含了大多数时间的数据,这些数据以表格的形式呈现,应该清楚地识别这些表格,以提取适当的信息。在本文中,我们提出了一种方法,它结合了图像处理为基础的表格的形状估计与基于图形的表示的文件,这是用来准确地识别复杂的表格。我们提出了一个实验评估使用一个真实的案例应用程序。
2022-10-10 cs.IR
Unsupervised Data Extraction from Computer-generated Documents with Single Line Formatting
处理大量数据是大数据时代的一个本质问题。大多数数据交换是通过直接通信(使用API)和结构良好的文件格式(JSON,XML,EDI等)完成的,但是大部分数据是使用任意格式的计算机生成的文档(例如发票、采购订单、财务报告等)来传输的,这需要复杂的处理和人为干预来解释和提取数据。目前可用的解决方案,从手动数据录入到低级脚本和数据提取工具,都是昂贵的,需要人工干预。本文描述了从各种计算机生成的文档中进行无监督、全自动数据提取的原理方法,假设它们的格式反映了数据源的原始结构。所提出的方法属于无监督机器学习的范畴,由三个主要部分组成:(1)通过采用相对特征空间聚类和自适应加权特征分数图来检测文本格式的重复模式,(2)-经由应用于重复格式化模式的折叠和噪声过滤过程来检测分层格式化结构,以及(3)-自动配置交互式数据提取工具(SiMX TextConverter),实现全自动处理。
2020-07-15 cs.IR
Extraction of Layout Entities and Sub-layout Query-based Retrieval of Document Images
布局和子布局构成了一个重要的线索,而搜索文档的基础上,其结构,或当文本内容是未知的/无关的。子布局指定文档实体在文档的较小部分内的排列。我们提出了一个有效的基于图的匹配算法,集成了基于哈希的索引,修剪可能大的搜索空间。用户可以使用基于草图的查询来指定感兴趣的子布局的组合。系统支持未指定布局实体的部分匹配。我们处理的情况下,分割预处理错误(文本/非文本块)的对称性最大化为基础的战略,并占多个特定领域的合理分割假设。我们展示了我们的系统的非结构化实体的数据库,包含4776报纸图像的可喜成果。
2016-09-09 cs.IR
A Benchmark of PDF Information Extraction Tools using a Multi-Task and Multi-Domain Evaluation Framework for Academic Documents
从学术PDF文档中提取信息对于许多索引,检索和分析用例至关重要。选择提取特定内容元素的最佳工具是困难的,因为有许多技术上不同的工具可用,但最近的性能基准测试很少。此外,这些基准通常只覆盖少数内容元素,如标题元数据或书目参考,并使用来自特定学科的较小数据集。我们提供了一个大型且多样化的评估框架,支持比大多数相关数据集更多的提取任务。我们的框架建立在DocBank上,DocBank是一个多域数据集,包含从arXiv上50万页研究论文中提取的150万个注释内容元素。使用新的框架,我们基准测试10个免费提供的工具,从学术PDF文档中提取文档元数据,书目参考,表格和其他内容元素。GROBID实现了最好的元数据和引用提取结果,其次是CERMINE和Science Parse。对于表提取,Adobe Extract的性能优于其他工具,尽管其性能远低于其他内容元素。所有工具都很难提取列表、页脚和等式。我们的结论是,有必要对改进和组合工具进行更多的研究,以实现令人满意的提取质量,为大多数内容元素。像我们提出的评估数据集和框架支持这一研究路线。我们公开我们的数据和代码,以实现这一目标。
2023-03-17 cs.IR
Digitization of Document and Information Extraction using OCR
RV College of Engineering(RV工程学院)
针对混合格式文档的信息抽取需求,提出融合OCR与LLM的文本抽取框架,结合布局感知处理与LLM语义分析生成结构化结果,经多维度OCR工具对比验证,该方法优于传统规则与模板方法,提升了跨文档类别的抽取灵活性与语义精度。
2025-06-11 cs.CV cs.IR
Information Extraction from Visually Rich Documents using LLM-based Organization of Documents into Independent Textual Segments
Amazon(亚马逊)
针对现有视觉富文档信息提取方法推理弱、泛化差等问题,提出基于LLM的BLOCKIE方法,将文档组织为独立语义块处理,F1分数提升1-3%,鲁棒性和隐式信息提取能力更强。
2025-05-18 cs.AI cs.IR
Landmarks and Regions: A Robust Approach to Data Extraction
我们提出了一种新的方法来提取数据项或字段值的半结构化的文件。这样的问题的示例包括从旅行行程中提取乘客姓名、出发时间和出发机场,或者从购买收据中提取物品的价格。传统的数据提取方法使用机器学习或程序合成来处理整个文档以提取所需的字段。这样的方法对于文档中的格式改变是不鲁棒的,并且即使对文档的与所期望的感兴趣的字段无关的部分进行改变,提取过程通常也失败。我们提出了一种新的方法来提取数据的基础上的地标和区域的概念。人类通常在文档的手动处理中使用地标来放大并将其注意力集中在文档中感兴趣的小区域上。受这种人类直觉的启发,我们在程序合成中使用地标的概念来自动合成提取程序,该提取程序首先提取感兴趣的小区域,然后在后续步骤中从该区域自动提取所需的值。我们已经实现了我们的地标为基础的提取方法在一个工具LRSyn,并显示在HTML文档以及发票和收据的扫描图像的广泛评价。我们的研究结果表明,我们的方法是强大的各种类型的格式变化,经常发生在现实世界中的设置。
2022-04-11 cs.IR cs.PL cs.SE