Populating Web Scale Knowledge Graphs using Distantly Supervised Relation Extraction and Validation
IBM Research AI(IBM研究院AI)
在本文中,我们提出了一个完全自动化的系统来扩展知识图谱使用外部信息从网络规模的语料库。所设计的系统利用基于深度学习的技术进行关系抽取,该技术可以通过远程监督方法进行训练。除此之外,该系统使用深度学习方法,通过利用诱导KG的全局结构信息来完成知识库,以进一步改进新发现的关系的置信度。设计的系统不需要任何努力来适应新的语言和领域,因为它不使用任何手工标记的数据,NLP分析和推理规则。我们的实验,在一个流行的学术基准表明,建议的系统大幅提高关系抽取的性能,报告错误减少了50%,导致相对改善高达100%。此外,一个网络规模的实验进行扩展DBPedia与知识从公共爬行表明,我们的系统不仅是可扩展的,而且不需要任何适应成本,同时产生大量的准确性增益。
2019-09-11 cs.CL
ZeroShotCeres: Zero-Shot Relation Extraction from Semi-Structured Webpages
University of Washington(华盛顿大学);Amazon(亚马逊);Allen Institute for AI(艾伦人工智能研究所)
在诸如半结构化网页的许多文档中,文本语义通过使用包括布局、字体大小和颜色的视觉元素传达的附加信息来增强。关于从半结构化网站中提取信息抽取的先前工作需要经由来自该模板的手动标记或远程监督的数据来学习特定于给定模板的提取模型。在这项工作中,我们提出了一个解决方案,“zero-shot”开放域关系抽取从网页与以前看不见的模板,包括从网站与现有的知识来源很少重叠的远程监督和网站在全新的主题垂直。我们的模型使用基于图神经网络的方法来构建网页上文本字段的丰富表示以及它们之间的关系,从而能够泛化到新的模板。实验表明,该方法提供了一个31%的F1增益超过基线的zero-shot提取在一个新的主题垂直。
2020-05-14 cs.CL cs.IR
Combining Language and Graph Models for Semi-structured Information Extraction on the Web
University of Chicago(芝加哥大学);Argonne National Lab(阿贡国家实验室)
本文提出GraphScholarBERT,通过联合图与语言模型,在仅给定关系简短描述且无需额外训练的情况下,从半结构化网页中抽取干净的目标关系,并在零样本领域和零样本网站设置下将F1分数提升多达34.8%。
2024-02-21 cs.CL cs.IR
Multi-Record Web Page Information Extraction From News Websites
Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
针对新闻网站多记录列表页研究不足的问题,本文构建含13,120个网页的俄语大规模数据集,并提出基于MarkupLM的多阶段抽取方法。
2025-02-20 cs.CL cs.IR
Knowledge Extraction on Semi-Structured Content: Does It Remain Relevant for Question Answering in the Era of LLMs?
Meta Reality Labs(Meta现实实验室);FAIR, Meta(FAIR,Meta)
本文扩展带知识抽取标注的QA基准并评估多类LLM,证明Web规模三元组抽取仍具挑战,且三元组增强与多任务学习可提升不同规模模型的问答效果。
2025-09-29 cs.CL
An Index-based Approach for Efficient and Effective Web Content Extraction
University of Science and Technology of China(中国科学技术大学);Metastone Technology(Metastone技术)
本文提出基于索引的方法,用于高效提取网络相关内容,提升RAG系统查询准确性与处理速度。
2025-12-07 cs.CL cs.IR
A Web Scale Entity Extraction System
Facebook Inc(Facebook公司)
通过实体和概念的视角来理解网络上内容的语义含义具有许多实际优势。然而,在构建大规模实体提取系统时,从业者面临着独特的挑战,包括找到利用互联网平台上可用数据的规模和种类的最佳方法。我们目前的学习,从我们的努力,在大规模使用多模态Transformers建立一个多文档类型的实体提取系统。我们实证证明了多语言,多任务和跨文档类型学习的有效性。我们还讨论了标签收集方案,有助于尽量减少收集的数据中的噪声量。
2021-08-27 cs.AI cs.CL
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia(西澳大利亚大学);The University of Melbourne(墨尔本大学)
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中,我们提出了几种技术作为后处理步骤,以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型,这使得我们的技术强大而通用。实验结果表明,我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
WebSets: Extracting Sets of Entities from the Web Using Unsupervised Information Extraction
Carnegie Mellon University(卡内基梅隆大学)
我们描述了一个开放域的信息抽取方法提取的概念实例对从HTML语料库。大多数早期的方法来解决这个问题依赖于组合集群的分布相似的条款和概念实例对获得赫斯特模式。相比之下,我们的方法依赖于一种新的方法,在HTML表中发现的术语聚类,然后使用赫斯特模式将概念名称分配给这些集群。该方法可以有效地应用于大型语料库,并在几个数据集上的实验结果表明,我们的方法可以准确地提取大量的概念实例对。
2013-07-01 cs.CL cs.IR cs.LG
Comprehend Medical: a Named Entity Recognition and Relationship Extraction Web Service
Amazon(亚马逊)
Comprehend Medical是一项无状态且符合健康保险流通与责任法案(HIPAA)资格的命名实体识别(NER)和关系提取(RE)服务,在Amazon Web Services(AWS)下推出,使用最先进的深度学习模型进行训练。与许多现有的开源工具相反,Comprehend Medical是可扩展的,不需要陡峭的学习曲线,依赖关系,管道配置或安装。目前,Comprehend Medical在五个医疗类别中执行NER:解剖学,医疗条件,药物,受保护的健康信息(PHI)和治疗,测试和程序(TTP)。此外,该服务还为检测到的实体提供关系提取以及上下文信息,例如以特征形式的否定和暂时性。Comprehend Medical提供两个应用程序编程接口(API):1)NERe API,返回所有提取的命名实体、其特征及其之间的关系; 2)PHId API,仅返回文本中包含的受保护健康信息。此外,Comprehend Medical可通过AWS控制台、Java和Python软件开发工具包(SDK)访问,使非开发人员和开发人员更容易使用。
2019-10-15 cs.CL
PLAtE: A Large-scale Dataset for List Page Web Extraction
University of Virginia(弗吉尼亚大学);University of Utah(犹他大学);Amazon(亚马逊)
针对半结构化网页信息抽取缺乏大规模训练数据集的问题,研究者推出聚焦购物评论页的PLAtE基准数据集,含5万余商品与15万余属性,还适配了三种SOTA模型并对比其性能优劣。
2023-06-15 cs.CL cs.IR cs.LG
Extraction of Evolution Descriptions from the Web
L3S Research Center(L3S研究中心)
命名实体的演变影响着数字图书馆的探索和检索任务。一个知道名称变化的信息检索系统可以主动地支持用户查找进化实体的先前出现。然而,目前的结构化知识库,如DBpedia或Freebase,并没有提供足够的信息,即使数据是在他们的资源,如维基百科。我们的\emph{Evolution Base}原型将演示如何在这些网站上以有希望的精度识别描述名称演变的摘录。这些描述是通过我们根据维基百科上最近对命名实体演变的分析训练的模型进行分类的。
2017-02-03 cs.CL cs.DL
Unsupervised Methods for Determining Object and Relation Synonyms on the Web
Temple University(天普大学);University of Washington(华盛顿大学)
识别同义关系和对象的任务,或同义词解析,是高质量的信息抽取的关键。本文研究了无监督信息抽取中的同义词解析问题,其中既没有手工标记的训练样本,也没有领域知识。本文提出了一个可扩展的,完全实现的系统,运行在O(KNlogN)的时间在提取的数量,N,和每个单词的同义词的最大数量,K。该系统名为Resolver,引入了一个概率关系模型,用于根据包含它们的断言的相似性来预测两个字符串是否相互引用。在一组从Web上提取的200万个断言中,Resolver以78%的精度和68%的召回率解析对象,并以90%的精度和35%的召回率解析关系。研究了旋转变压器概率模型的几种变化形式,实验表明,在适当的条件下,这些变化形式可以使F1提高5%。对基本的Resolver系统的扩展允许它在TREC语料库的数据集上以97%的准确率和95%的召回率处理多义名称。
2014-01-15 cs.CL
AIFB-WebScience at SemEval-2022 Task 12: Relation Extraction First -- Using Relation Extraction to Identify Entities
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
本文提出了一种基于转换器的语言模型的端到端联合实体和关系抽取方法。我们将该模型应用于将数学符号与LaTeX文档中的描述联系起来的任务。与现有的方法,执行实体和关系抽取的顺序,我们的系统将信息从关系抽取到实体提取。这意味着系统甚至可以在仅标注了所有有效实体跨度的子集的数据集上进行训练。我们提供了一个广泛的评价拟议的系统及其优点和缺点。我们的方法可以在推理时动态缩放计算复杂性,产生高精度的预测,并在SemEval-2022任务12的排行榜中排名第三。对于物理和数学领域的输入,它分别达到了95.43%和79.17%的高关系抽取宏F1分数。用于训练和评估我们模型的代码可在https://github.com/nicpopovic/RE1st上获得
2022-05-04 cs.AI cs.CL cs.LG
CoVA: Context-aware Visual Attention for Webpage Information Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
网页信息抽取是建立知识库的重要步骤。为此,经典的WIE方法利用网站的文档对象模型(DOM)树。然而,DOM树的使用带来了巨大的挑战,因为上下文和外观是以抽象的方式编码的。为了解决这一挑战,我们建议重新制定WIE作为一个上下文感知的网页目标检测任务。具体来说,我们开发了一个上下文感知的基于视觉注意力(CoVA)的检测管道,它结合了外观特征和DOM树的语法结构。为了研究这种方法,我们收集了一个新的大规模电子商务网站数据集,我们用四个标签手动注释每个Web元素:产品价格,产品标题,产品图像和背景。在这个数据集上,我们证明了所提出的CoVA方法是一个新的具有挑战性的基线,它改进了现有的最先进的方法。
2021-10-24 cs.AI cs.CL cs.CV
Wikidata as a seed for Web Extraction
The QA Company SAS(QA公司);Université Jean Monnet(让·莫内大学)
本文提出以Wikidata为种子、基于问答技术和语言模型的Web事实抽取框架,无需额外学习信号即可从网页提取新事实,F1达84.07,可辅助Wikidata编辑完善知识图谱。
2024-01-15 cs.CL
Hypertext Entity Extraction in Webpage
Shanghai Jiao Tong University(上海交通大学);Microsoft STCA(微软STCA)
针对网页实体抽取忽视字体颜色、字号等超文本特征的问题,本文构建电商领域 HEED 数据集,并提出基于 Mixture of Experts 的 MoEEF 框架,融合多类特征且性能超过强基线。
2024-03-04 cs.AI cs.CL
RTE: A Tool for Annotating Relation Triplets from Text
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Siemens Healthineers(西门子医疗)
在这项工作中,我们提出了一个基于Web的注释工具"关系三元组提取器" \footnote{https://abera87.github.io/annotate/}(RTE)的关系三元组的文本注释。关系抽取是从Web上的非结构化文本中抽取关于真实世界实体的结构化信息的一项重要任务。在关系抽取中,我们关注的是二元关系,即两个实体之间的关系。近年来,许多监督模型被提出来解决这个问题,但它们大多使用噪声训练数据使用远程监督方法获得。在许多情况下,模型的评估也是基于噪声测试数据集进行的。缺乏带注释的干净数据集是这一研究领域的一个关键挑战。在这项工作中,我们建立了一个基于Web的工具,研究人员可以注释数据集的关系抽取自己非常容易。我们为这个工具使用了无服务器架构,整个注释操作都是使用客户端代码处理的。因此,它不会受到任何网络延迟的影响,并且用户数据的隐私也得到了维护。我们希望这个工具能对关系抽取领域的研究者有所帮助。
2021-08-18 cs.CL
Cross-Domain Web Information Extraction at Pinterest
Pinterest
本文介绍 Pinterest 的跨域网页信息抽取系统,通过结合结构、视觉和文本的紧凑网页表示,使 XGBoost 等简单模型在属性抽取上超越大型语言模型,实现高准确率、每秒处理千余 URL 且成本降低千倍。
2025-08-01 cs.AI cs.CL cs.IR
FreeDOM: A Transferable Neural Architecture for Structured Information Extraction on Web Documents
University of Southern California(南加利福尼亚大学);Google(谷歌)
从HTML文档中提取结构化数据是一个长期研究的问题,具有广泛的应用,如增强知识库,支持分面搜索,并为购物和电影等关键垂直领域提供特定领域的体验。以前的方法要么需要每个目标网站的少量示例,要么依赖于在网站视觉渲染上构建的精心手工的启发式方法。在本文中,我们提出了一种新的两阶段神经方法,称为自由DOM,它克服了这些限制。第一阶段通过结合文本和标记信息来学习页面中每个DOM节点的表示。第二阶段使用关系神经网络捕获较长范围的距离和语义相关性。通过结合这些阶段,Freedom能够在该垂直领域的少量种子站点上进行训练后推广到看不见的站点,而无需在页面的视觉渲染上使用昂贵的手工制作功能。通过在8个不同垂直领域的公共数据集上进行实验,我们发现FreeDOM平均比之前的技术水平高出近3.7个F1点,而不需要渲染页面上的功能或昂贵的手工制作功能。
2020-10-21 cs.CL cs.IR
Parser Extraction of Triples in Unstructured Text
Wipro Limited(威普罗有限公司)
网络包含大量非结构化文本的存储库。我们调查的机会,建立一个知识图谱从这些文本源。我们生成了一组三元组,可用于知识收集和集成。我们定义了一个语言编译器的架构,使用OpenNLP解析器处理主谓宾三元组。我们实现了一个深度优先的搜索遍历的POS标记的语法树附加谓词和对象的信息。解析器能够更高精度和更高召回率地提取跨连接边界的句法关系。我们能够提取ReVerb正确提取的2-2.5倍。这些抽取被用于各种语义Web应用和问答中。我们验证了在CtrudeWeb数据集上提取50,000个三元组。
2018-11-06 cs.AI cs.CL cs.LG
A Scalable Cross-Domain Event Extraction System via a Unified Generative Training Framework
German Research Center for Artificial Intelligence(德国人工智能研究中心);Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
该研究针对现有事件抽取方法可扩展性与跨域泛化不足的问题,提出统一生成式序列到序列框架,微调预训练语言模型,构建支持多功能的网络应用平台,实现跨域事件抽取。
2026-08-25 cs.CL
Question Answering on Freebase via Relation Extraction and Textual Evidence
Peking University(北京大学);University of Edinburgh(爱丁堡大学);IBM China Research Lab(IBM中国研究实验室)
现有的基于知识的问答系统通常依赖于小的带注释的训练数据。虽然像关系抽取这样的浅层方法对数据稀缺性是鲁棒的,但它们的表达能力不如像语义解析这样的深层含义表示方法,因此无法回答涉及多个约束的问题。在这里,我们减轻这个问题,授权关系抽取方法与维基百科的额外证据。我们首先提出了一个基于神经网络的关系提取器从Freebase检索候选答案,然后推断维基百科来验证这些答案。在WebQuestions问答数据集上的实验表明,该方法的F1达到了53.3%,比现有方法有了很大的提高。
2016-06-09 cs.CL
Monitoring Energy Trends through Automatic Information Extraction
T\"UB\.ITAK Energy Institute Ankara -- Turkey
能源研究是至关重要的公共重要性,但使用计算机科学技术,如自动文本处理和数据管理的能源领域仍然是罕见的。将这些技术应用于能源领域将是对"能源信息学”这一跨学科课题的重大贡献,就像"生物信息学”这一跨学科领域内的相关进展一样。在本文中,我们提出了一个基于Web的语义系统,称为EneMonIE(能源监测通过信息抽取)的架构,通过使用自动,连续和引导的信息抽取,从不同类型的媒体在Web上的监测最新的能源趋势。该系统处理的媒体类型将包括在线新闻文章、社交媒体文本、在线新闻视频、开放获取的学术论文和技术报告,以及能源组织公开提供的各种数字能源数据。该系统将利用并有助于能量相关本体,并且其最终形式将包括用于以下的组件:(i)文本分类,(ii)命名实体识别,(iii)时间表达提取,(iv)事件提取,(v)社交网络构建,(vi)情感分析,(vii)信息融合和摘要,(viii)媒体互连,和(ix)基于网络的信息检索和可视化。凭借其多样化的数据源,自动文本处理功能和向公众开放的演示设施,EneMonIE将成为决策者(包括能源生产,传输和分配系统运营商,能源研究中心,相关投资者和企业家以及学者,学生,其他对能源事件和技术的步伐感兴趣的个人)的重要信息来源。
2022-01-05 cs.AI cs.CL
A Web-Based Tool for Analysing Normative Documents in English
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
我们的目标是使用正式的方法来分析用英语编写的规范性文件,例如隐私政策和服务级别协议。这需要结合许多不同的元素,包括从自然语言中提取信息抽取、用于模型表示的形式语言以及用于属性规范和验证的接口。我们已经完成了这项任务的一系列组件:一个自然语言提取工具,一个合适的形式主义,用于表示这些文件,在这种形式主义的接口,用于建立模型,并回答查询的方法要求一个给定的模型。在这项工作中,这些关切都集中在一个网络工具中,为分析英文规范性案文提供了一个单一的界面。通过使用一个运行的例子,我们描述了每个组件,并展示了我们的工具建立的工作流程。
2017-07-13 cs.CL cs.CY
WYSIWYE: An Algebra for Expressing Spatial and Textual Rules for Visual Information Extraction
IBM Research(IBM研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);IBM Germany Research & Development(IBM德国研发中心)
网页的视觉布局可以为某些类型的信息抽取(IE)任务提供有价值的线索。在传统的基于规则的IE框架中,这些布局提示被映射到对网页的HTML源进行操作的规则。相比之下,我们已经开发了一个框架,其中的规则可以直接指定在布局级别。这有很多优点,因为更高的抽象级别导致更简单的提取规则,这些规则在很大程度上独立于页面的源代码,因此更健壮。它还可以实现以其他方式不可能的新类型规则的规范。据我们所知,没有一个通用的框架,允许声明性规范的信息抽取规则的基础上的空间布局。我们的框架是传统的基于文本的规则框架的补充,并允许基于空间布局的规则与传统的基于文本的规则的无缝结合。我们描述的代数,使这样一个系统和它的有效实施使用标准的关系和文本索引功能的关系数据库。我们证明了这个系统的简单性和效率的任务,涉及软件产品页面的软件系统要求的提取。
2016-09-27 cs.CL cs.DB cs.IR
REKnow: Enhanced Knowledge for Joint Entity and Relation Extraction
AWS AI Labs(亚马逊云科技人工智能实验室)
关系抽取是一项重要但具有挑战性的任务,旨在从文本中提取所有隐藏的关系事实。随着深度语言模型的发展,关系抽取方法在各种基准测试中取得了良好的性能。然而,我们观察到以前的方法的两个缺点:第一,没有统一的框架,以及在各种关系抽取设置;第二,有效地利用外部知识作为背景信息是缺席。在这项工作中,我们提出了一个知识增强的生成模型来缓解这两个问题。我们的生成模型是一个统一的框架,顺序生成各种关系抽取设置下的关系三元组,并明确利用相关知识从知识图谱(KG)来解决歧义。我们的模型在多个基准测试和设置上实现了卓越的性能,包括WebNLG、NYT 10和TACRED。
2022-08-16 cs.CL cs.IR
From Conceptual EneMonIE to an Executable Backend: A Modular Architecture for Energy Information Extractionand Grounded Question Answering
该研究将概念性EneMonIE重新设计为模块化可执行后端,分离五类关注点,实现多源数据处理与三条问答路径,经验证为多语言能源语料库评估提供可复现架构基础。
2026-10-14 cs.AI cs.CL cs.IR
Grammatical Case Based IS-A Relation Extraction with Boosting for Polish
Institute of Computer Science Polish Academy of Sciences(波兰科学院计算机科学研究所)
基于模式的IS-A关系抽取方法严重依赖于所谓的赫斯特模式。这些是用自然语言表示类的实例枚举的方法。虽然这些词汇句法模式证明是非常有用的,但它们可能无法捕捉文本中表达的所有分类关系。因此,在本文中,我们描述了一种新的方法,IS-A关系抽取模式,它使用形态句法注释以及语法情况的名词短语,构成实体参与IS-A关系。我们还描述了一种方法,用于增加提取的关系,我们称之为伪子类提升,它具有潜在的应用在任何基于模式的关系抽取方法。实验进行了约0.5亿波兰语的网络文档的语料库。
2016-05-10 cs.CL cs.IR
SODIUM: From Open Web Data to Queryable Databases
UIUC(伊利诺伊大学香槟分校)
研究针对需要整合多源网络数据的分析问题,提出SODIUM任务,通过系统化构建潜在数据库支持查询。开发SODIUM-Agent系统,采用ATP-BFS算法实现深度网络探索与结构化信息提取,准确率达91.1%。
2026-03-19 cs.AI cs.CL cs.CV
Contrastive Triple Extraction with Generative Transformer
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
三元抽取是信息抽取中自然语言处理和知识图谱构建的一项重要任务。在本文中,我们重新审视了端到端的三重提取任务的序列生成。由于生成三元组提取可能难以捕获长期依赖关系并生成不忠实的三元组,因此我们引入了一种新的模型,具有生成Transformer的对比三元组提取。具体来说,我们引入了一个共享的Transformer模块,用于基于编码器-解码器的生成。为了生成可靠的结果,我们提出了一种新的三元组对比训练对象。此外,我们引入了两种机制来进一步提高模型性能(即,分批动态注意力掩蔽和三重校准)。三个数据集(即,NYT,WebNLG和MIE)表明,我们的方法比基线实现了更好的性能。
2022-07-21 cs.AI cs.CL cs.DB
WCXB: A Multi-Type Web Content Extraction Benchmark
Murrough Foley
本文提出WCXB基准,包含2008个网页,涵盖七种结构不同的页面类型,通过五阶段流程生成真实标注,评估13种提取系统,发现现有文章-only基准无法发现结构化页面的盲区。
2026-05-20 cs.CL
Multilingual Attribute Extraction from News Web Pages
ISP RAS(俄罗斯科学院信息学与自动化研究所);MSU(莫斯科国立大学)
本文构建了一个六语言新闻网页属性提取数据集,通过微调MarkupLM和DOM-LM两种预训练模型,实现了优于现有开源工具的多语言新闻属性自动提取效果。
2025-02-04 cs.CL cs.IR
Open Domain Web Keyphrase Extraction Beyond Language Modeling
Microsoft AI and Research(微软人工智能与研究院)
本文研究了现实世界中文档来自不同领域并且具有不同内容质量的关键词提取。我们策划并发布了OpenKP,这是一个大规模的开放领域关键词提取数据集,包含近十万个Web文档和专家关键词注释。为了处理域和内容质量的变化,我们开发了BLING-KPE,这是一种神经关键短语提取模型,它使用文档的视觉呈现和搜索查询的弱监督,超越了语言理解。OpenKP上的实验结果证实了BLING-KPE的有效性及其神经结构,视觉特征和搜索日志弱监督的贡献。对DUC-2001的Zero-shot评价表明,与特定领域相比,从开放领域数据学习的泛化能力得到了提高。
2019-11-06 cs.CL cs.IR
Toward Network-based Keyword Extraction from Multitopic Web Documents
University of Rijeka(里耶卡大学)
本文分析了在关键词自动抽取任务中,从复杂网络中计算出的选择性测度。从不同的网络资源(门户网站,论坛)收集的文本,表示为有向和加权的词的共现复杂网络。词是节点,如果它们在句子中直接共现,则在两个节点之间建立链接。我们测试不同的中心性措施排名节点-关键字候选人。使用选择性措施取得了可喜的成果。然后,我们提出了一种方法,使提取词对的值的输入/输出的选择性和权重措施结合过滤。
2014-07-14 cs.CL cs.IR
Keyword Extraction for Identifying Social Actors
Universitas Sumatera Utara(北苏门答腊大学);Universiti Kebangsaan Malaysia(马来西亚国民大学)
识别社会行动者已成为人工智能的任务之一,其中提取关键字从网页片段依赖于使用的Web是稳步获得地面在这项研究中。因此,我们开发了一种基于重叠原则的方法,利用收集的功能在网页摘要,使用关键字将消除不相关的网页。
2012-12-13 cs.CL cs.IR
High-throughput Biomedical Relation Extraction for Semi-Structured Web Articles Empowered by Large Language Models
Tsinghua University(清华大学)
本文提出一种基于大语言模型的高通量生物医学关系抽取方法,将任务表述为二分类问题,结合外部语料库与世界知识进行事实验证,并针对半结构化网页文章优化实体匹配与文本检索,最终从三个网站提取超24万个三元组,性能媲美GPT-4。
2024-03-26 cs.AI cs.CL
Simplified DOM Trees for Transferable Attribute Extraction from the Web
University of California, Los Angeles(加州大学洛杉矶分校);Google(谷歌)
一直有一个稳定的需要,精确地提取结构化的知识,从网络(即HTML文档)。给定一个网页,提取结构化对象以及各种感兴趣的属性(例如,价格,出版商,作者和书籍的流派)可以促进各种下游应用,例如大规模知识库构建,电子商务产品搜索和个性化推荐。考虑到每个网页都是从HTML DOM树中渲染出来的,现有的方法将问题描述为DOM树节点标记任务。然而,它们要么依赖于计算上昂贵的视觉特征工程,要么无法对树节点之间的关系进行建模。在本文中,我们提出了一种新的可转移的方法,简化的DOM树属性提取(DOM),有效地检索有用的上下文为每个节点,利用树结构来解决这个问题。我们研究了两个具有挑战性的实验设置:(i)垂直内的Few-Shot提取,和(ii)跨垂直的fewshot提取领域外的知识,以评估我们的方法。在SWDE公共数据集上进行的大量实验表明,在F1得分上,RSDOM比最先进的(SOTA)方法高出1.44%。我们还发现,利用来自不同垂直(垂直交叉提取)的知识是非常有用的,并有助于进一步击败SOTA 1.37%。
2021-01-07 cs.CL cs.LG
Creative Procedural-Knowledge Extraction From Web Design Tutorials
Cornell Tech, Cornell University(康奈尔大学康奈尔科技校区);ByteDance AI Lab(字节跳动人工智能实验室);Adobe Research(奥多比研究院)
复杂的设计任务通常需要以特定的顺序执行各种操作。为了(半)自主地完成这些任务,应用程序需要理解和学习广泛的设计过程,即,创造性程序知识(CPK)。先前的知识库构建和挖掘通常不涉及创意领域,如设计和艺术。在本文中,我们形式化的本体CPK使用五个组件:目标,工作流,动作,命令和用法,并提取组件的值从在线设计教程。我们抓取了19.6K教程相关的网页,并构建了一个Web应用程序,供专业设计人员识别和总结CPK组件。注释数据集包括819个独特的命令,47,491个动作和2,022个工作流和目标。基于这个数据集,我们提出了一个通用的CPK提取管道,并证明了现有的文本分类和序列到序列模型在识别,预测和总结异构风格描述的复杂操作方面是有限的。通过定量和定性的误差分析,我们讨论了CPK提取的挑战,需要解决未来的研究。
2019-04-18 cs.CL cs.IR
Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Peking University(北京大学)
Dripper通过轻量级框架实现高效HTML主内容提取,兼顾效率与准确性,开源模型促进高质量数据集构建。
2026-08-19 cs.CL
Coherent Keyphrase Extraction via Web Mining
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。以前的关键短语提取算法的局限性是所选择的关键短语偶尔是不连贯的。也就是说,大多数输出关键短语可以很好地配合在一起,但是可能存在少数看起来是离群值,与大多数或彼此没有明确的语义关系。本文提出了增强的Kea关键词提取算法,旨在提高提取的关键词的一致性。该方法是使用候选关键词之间的统计关联程度作为它们可能在语义上相关的证据。使用Web挖掘来测量统计关联。实验表明,增强提高了提取的关键词的质量。此外,增强不是特定于域的:当在一个域(计算机科学文档)上训练并在另一个域(物理文档)上测试时,该算法推广得很好。
2003-08-20 cs.CL cs.IR cs.LG
Improving Keyphrase Extraction with Data Augmentation and Information Filtering
University of Oregon(俄勒冈大学);Princeton University(普林斯顿大学);Adobe Research(Adobe研究院)
关键词提取是自然语言处理中文档理解的重要任务之一。虽然大多数先前的作品都致力于正式的设置,例如,书籍、新闻或网络博客、视频记录等非正式文本的研究较少。为了解决这一限制,在这项工作中,我们提出了一种新的语料库和方法,用于从Behance平台上流式传输的视频的抄本中提取关键短语。更具体地说,在这项工作中,提出了一种新的数据增强,以丰富的模型与背景知识的关键词提取任务从其他领域。在所提出的数据集上进行的大量实验表明了该方法的有效性。
2022-09-11 cs.CL
Agentic Framework for Political Biography Extraction
Department of Politics and Public Administration, The University of Hong Kong(政治与公共行政系,香港大学);School of International Studies, Peking University(国际关系学院,北京大学);Department of Political Science, Columbia University(政治学系,哥伦比亚大学)
本文提出一种两阶段的合成-编码框架,利用大语言模型自动化提取多维精英传记,提升政治科学研究的效率和准确性。
2026-02-23 cs.AI cs.CL cs.CY
Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining
Apple(苹果公司);Stanford(斯坦福大学);University of Washington(华盛顿大学)
本文提出通过结合多种提取器提升HTML到文本提取的效率与效果,显著提高LLM预训练数据的token产出并改善下游任务性能。
2026-02-23 cs.CL cs.LG
Fully automatic extraction of morphological traits from the Web: utopia or reality?
Inria(法国国家信息与自动化研究所);University of Montpellier(蒙彼利埃大学);LIRMM(蒙彼利埃电子与计算机实验室);AMAP(植物与动物科学建模与分析研究中心);Wageningen University & Research(瓦赫宁根大学及研究中心);University of Amsterdam(阿姆斯特丹大学);Athens University of Economics and Business(雅典经济与商业大学)
针对植物性状信息人工汇编耗时、在线文本非结构化难规模化利用的问题,提出基于大语言模型的全自动提取机制,复现人工矩阵验证显示F1超75%,证明规模化构建结构化性状数据库可行,受限于目标性状文本覆盖度。
2025-02-21 cs.AI cs.CL cs.LG
Student sentiment Analysis Using Classification With Feature Extraction Techniques
本文研究基于网络学习中的学生反馈情感分析,使用LR、SVM、NB和DT四种机器学习模型,并结合CVr/BoW与TF-IDF两种特征提取技术,在清洗后的SFB数据集上提升分类准确率。
2021-03-19 cs.AI cs.CL cs.LG
CRAWLDoc: A Dataset for Robust Ranking of Bibliographic Documents
Universität Ulm(乌尔姆大学)
本文提出CRAWLDoc方法,通过统一嵌入出版物URL关联的网页资源、锚文本和链接,实现跨出版商和格式的稳健文档排序,并构建了包含600篇出版物的标注数据集。
2025-06-04 cs.CL cs.IR
Blu-WERP (Web Extraction and Refinement Pipeline): A Scalable Pipeline for Preprocessing Large Language Model Datasets
BluBridge Research(BluBridge研究机构)
Blu-WERP是一种用于提升大语言模型训练数据质量的高效预处理流程,通过优化Common Crawl WARC文件,显著提高了模型性能和效率。
2025-11-22 cs.CL cs.LG
Evaluation of LLM-based Strategies for the Extraction of Food Product Information from Online Shops
Institute for Software Systems, University of Applied Sciences Trier(软件系统研究所,应用科学大学特里尔)
本文评估了两种基于LLM的食品产品信息抽取策略,发现间接抽取方法虽准确率略低1.61%,但可减少95.82%的LLM调用次数,为大规模网页信息抽取提供了更高效低成本的方案。
2025-06-17 cs.CL cs.IR cs.LG
Sentimental Content Analysis and Knowledge Extraction from News Articles
Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
在网络时代,由于技术的进步,人类的生活发生了革命性的变化,每天都有大量的数据和信息发布在互联网上。例如,新闻机构在世界各地的网站上发布新闻。这些原始数据可能是知识提取的重要资源。这些共享数据包含情感(即,积极的、中性的或消极的);因此,情感内容提取在许多方面可以是有益的任务。提取新闻的情感说明了在一段时间内关于事件的非常有价值的信息,媒体或新闻机构对这些事件的观点。在本文中,试图提出一种方法,新闻分析,并从中提取有用的知识。首先,我们尝试提取新闻文档的噪声鲁棒情感;因此,下载与六个国家相关的新闻:美国,英国,德国,加拿大,法国和澳大利亚,5个不同的新闻类别:政治,体育,商业,娱乐和技术。本文在提取新闻文本中的情感内容的基础上,对不同国家在每5个新闻主题中的情况进行了比较。此外,我们提出了一种方法,以减少庞大的新闻数据,提取最热门的话题和新闻标题作为知识。最后,我们生成一个词模型,通过Word 2 Vec将每个词映射到一个固定大小的向量,以了解我们收集的新闻数据库中的词之间的关系。
2018-08-09 cs.CL cs.IR
Leveraging Large Language Models for Web Scraping
PerpetualBlock Technologies Pvt. Ltd(PerpetualBlock 技术私人有限公司);Innoplexus Consulting Services Pvt. Ltd.(Innoplexus 咨询服务私人有限公司)
本研究提出利用预训练大型语言模型结合RAG架构及分块、搜索和排序算法,构建通用精确的网页数据抓取方案,并通过HTML语义分类、文本分块和模型对比实验验证其从非结构化文本中提取复杂数据的有效性。
2024-06-12 cs.AI cs.CL cs.LG