Towards Zero-shot Relation Extraction in Web Mining: A Multimodal Approach with Relative XML Path
University of California, San Diego(加州大学圣地亚哥分校)
本文提出ReXMiner方法,通过编码DOM树最短相对路径和文本节点流行度并结合对比学习,解决Web挖掘中的零样本关系抽取问题,在公开基准上优于现有基线。
2023-05-23 cs.CL
Russian Web Tables: A Public Corpus of Web Tables for Russian Language Based on Wikipedia
Unidata;Saint-Petersburg State University(圣彼得堡国立大学)
包含WebTables等表格数据的语料库是学术界的重要资源。从本质上讲,它们是任何现代信息管理研究的支柱。它们用于数据抽取、知识库构建、问答、栏目语义类型检测等各种任务。这样的语料库不仅是数据的来源,而且是构建测试数据集的基础。到目前为止,还没有这样的俄语语料库,这严重阻碍了上述领域的研究。在本文中,我们提出了第一个语料库的Web表格专门创建的俄语材料。它是通过我们开发的一个特殊工具包来抓取俄语维基百科的。语料库和工具包都是开放源代码的,可供公众使用。最后,我们提出了一个简短的研究,介绍了俄罗斯维基百科的表和他们的统计数据。
2022-10-03 cs.CL cs.DL cs.IR
SCRIBES: Web-Scale Script-Based Semi-Structured Data Extraction with Reinforcement Learning
Stanford University(斯坦福大学);Meta Reality Labs(Meta现实实验室);FAIR at Meta(Meta的FAIR);University of Washington(华盛顿大学)
SCRIBES是一种新型强化学习框架,利用同一网站内网页布局相似性生成可复用提取脚本,在脚本质量和下游问答准确率上均优于基线,实现高效网页级半结构化数据提取。
2026-08-19 cs.CL
WebRED: Effective Pretraining And Finetuning For Relation Extraction On The Web
Google Brain(谷歌大脑);Google(谷歌公司)
关系抽取用于填充对许多应用程序很重要的知识库。用于训练关系抽取模型的现有数据集要么由于远程监督而遭受噪声标签,要么限于某些域,要么太小而无法训练高容量模型。这限制了关系抽取的下游应用。因此,我们介绍:WebRED(Web关系抽取数据集),一个强监督的人类注释数据集,用于从万维网上发现的各种文本中提取关系,由约110 K个示例组成。我们还描述了我们用来收集~ 200 M示例作为此任务的预训练数据的方法。我们表明,将大型弱监督数据集上的预训练与小型强监督数据集上的微调相结合,可以获得更好的关系抽取性能。我们为这个新的数据集提供了基线,并提出了一个案例,人类注释的重要性,提高性能的关系抽取从网络上找到的文本。
2021-02-18 cs.CL cs.IR
WebIE: Faithful and Robust Information Extraction on the Web
City, University of London(伦敦大学城市学院);Amazon Alexa AI(亚马逊Alexa人工智能);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究提出首个大规模实体链接的Web领域封闭式信息抽取数据集WebIE及多语言版本mWebIE,验证其能提升生成式IE模型泛化性,还提出三种以实体链接为辅助任务的训练策略以增强模型忠实度。
2023-06-15 cs.CL
LiveWeb-IE: A Benchmark For Online Web Information Extraction
本文提出LiveWeb-IE基准测试,用于评估在线网页信息提取系统,通过活体网站和多阶段代理框架VGS,提升信息提取的准确性和鲁棒性。
2026-03-14 cs.CL
Populating Web Scale Knowledge Graphs using Distantly Supervised Relation Extraction and Validation
IBM Research AI(IBM研究院AI)
在本文中,我们提出了一个完全自动化的系统来扩展知识图谱使用外部信息从网络规模的语料库。所设计的系统利用基于深度学习的技术进行关系抽取,该技术可以通过远程监督方法进行训练。除此之外,该系统使用深度学习方法,通过利用诱导KG的全局结构信息来完成知识库,以进一步改进新发现的关系的置信度。设计的系统不需要任何努力来适应新的语言和领域,因为它不使用任何手工标记的数据,NLP分析和推理规则。我们的实验,在一个流行的学术基准表明,建议的系统大幅提高关系抽取的性能,报告错误减少了50%,导致相对改善高达100%。此外,一个网络规模的实验进行扩展DBPedia与知识从公共爬行表明,我们的系统不仅是可扩展的,而且不需要任何适应成本,同时产生大量的准确性增益。
2019-09-11 cs.CL
Combining Language and Graph Models for Semi-structured Information Extraction on the Web
University of Chicago(芝加哥大学);Argonne National Lab(阿贡国家实验室)
本文提出GraphScholarBERT,通过联合图与语言模型,在仅给定关系简短描述且无需额外训练的情况下,从半结构化网页中抽取干净的目标关系,并在零样本领域和零样本网站设置下将F1分数提升多达34.8%。
2024-02-21 cs.CL cs.IR
AXE: Low-Cost Cross-Domain Web Structured Information Extraction
Faculty of Computers & Artificial Intelligence - Cairo University(开罗大学计算机与人工智能学院);Ejada Systems;Fawry Integrated Systems;Microsoft(微软)
AXE通过将HTML DOM视为需修剪的树结构,利用专用修剪机制提取高密度上下文,使小型模型生成精确结构化输出,并通过GXR确保提取可追溯性,实现跨领域信息提取的高性能与低成本。
2026-03-30 cs.CL
Multi-Record Web Page Information Extraction From News Websites
Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
针对新闻网站多记录列表页研究不足的问题,本文构建含13,120个网页的俄语大规模数据集,并提出基于MarkupLM的多阶段抽取方法。
2025-02-20 cs.CL cs.IR
Knowledge Extraction on Semi-Structured Content: Does It Remain Relevant for Question Answering in the Era of LLMs?
Meta Reality Labs(Meta现实实验室);FAIR, Meta(FAIR,Meta)
本文扩展带知识抽取标注的QA基准并评估多类LLM,证明Web规模三元组抽取仍具挑战,且三元组增强与多任务学习可提升不同规模模型的问答效果。
2025-09-29 cs.CL
An Index-based Approach for Efficient and Effective Web Content Extraction
University of Science and Technology of China(中国科学技术大学);Metastone Technology(Metastone技术)
本文提出基于索引的方法,用于高效提取网络相关内容,提升RAG系统查询准确性与处理速度。
2025-12-07 cs.CL cs.IR
Multilingual Attribute Extraction from News Web Pages
ISP RAS(俄罗斯科学院信息学与自动化研究所);MSU(莫斯科国立大学)
本文构建了一个六语言新闻网页属性提取数据集,通过微调MarkupLM和DOM-LM两种预训练模型,实现了优于现有开源工具的多语言新闻属性自动提取效果。
2025-02-04 cs.CL cs.IR
A Web Scale Entity Extraction System
Facebook Inc(Facebook公司)
通过实体和概念的视角来理解网络上内容的语义含义具有许多实际优势。然而,在构建大规模实体提取系统时,从业者面临着独特的挑战,包括找到利用互联网平台上可用数据的规模和种类的最佳方法。我们目前的学习,从我们的努力,在大规模使用多模态Transformers建立一个多文档类型的实体提取系统。我们实证证明了多语言,多任务和跨文档类型学习的有效性。我们还讨论了标签收集方案,有助于尽量减少收集的数据中的噪声量。
2021-08-27 cs.AI cs.CL
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia(西澳大利亚大学);The University of Melbourne(墨尔本大学)
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中,我们提出了几种技术作为后处理步骤,以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型,这使得我们的技术强大而通用。实验结果表明,我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
Open Domain Web Keyphrase Extraction Beyond Language Modeling
Microsoft AI and Research(微软人工智能与研究院)
本文研究了现实世界中文档来自不同领域并且具有不同内容质量的关键词提取。我们策划并发布了OpenKP,这是一个大规模的开放领域关键词提取数据集,包含近十万个Web文档和专家关键词注释。为了处理域和内容质量的变化,我们开发了BLING-KPE,这是一种神经关键短语提取模型,它使用文档的视觉呈现和搜索查询的弱监督,超越了语言理解。OpenKP上的实验结果证实了BLING-KPE的有效性及其神经结构,视觉特征和搜索日志弱监督的贡献。对DUC-2001的Zero-shot评价表明,与特定领域相比,从开放领域数据学习的泛化能力得到了提高。
2019-11-06 cs.CL cs.IR
WebSets: Extracting Sets of Entities from the Web Using Unsupervised Information Extraction
Carnegie Mellon University(卡内基梅隆大学)
我们描述了一个开放域的信息抽取方法提取的概念实例对从HTML语料库。大多数早期的方法来解决这个问题依赖于组合集群的分布相似的条款和概念实例对获得赫斯特模式。相比之下,我们的方法依赖于一种新的方法,在HTML表中发现的术语聚类,然后使用赫斯特模式将概念名称分配给这些集群。该方法可以有效地应用于大型语料库,并在几个数据集上的实验结果表明,我们的方法可以准确地提取大量的概念实例对。
2013-07-01 cs.CL cs.IR cs.LG
Toward Network-based Keyword Extraction from Multitopic Web Documents
University of Rijeka(里耶卡大学)
本文分析了在关键词自动抽取任务中,从复杂网络中计算出的选择性测度。从不同的网络资源(门户网站,论坛)收集的文本,表示为有向和加权的词的共现复杂网络。词是节点,如果它们在句子中直接共现,则在两个节点之间建立链接。我们测试不同的中心性措施排名节点-关键字候选人。使用选择性措施取得了可喜的成果。然后,我们提出了一种方法,使提取词对的值的输入/输出的选择性和权重措施结合过滤。
2014-07-14 cs.CL cs.IR
Comprehend Medical: a Named Entity Recognition and Relationship Extraction Web Service
Amazon(亚马逊)
Comprehend Medical是一项无状态且符合健康保险流通与责任法案(HIPAA)资格的命名实体识别(NER)和关系提取(RE)服务,在Amazon Web Services(AWS)下推出,使用最先进的深度学习模型进行训练。与许多现有的开源工具相反,Comprehend Medical是可扩展的,不需要陡峭的学习曲线,依赖关系,管道配置或安装。目前,Comprehend Medical在五个医疗类别中执行NER:解剖学,医疗条件,药物,受保护的健康信息(PHI)和治疗,测试和程序(TTP)。此外,该服务还为检测到的实体提供关系提取以及上下文信息,例如以特征形式的否定和暂时性。Comprehend Medical提供两个应用程序编程接口(API):1)NERe API,返回所有提取的命名实体、其特征及其之间的关系; 2)PHId API,仅返回文本中包含的受保护健康信息。此外,Comprehend Medical可通过AWS控制台、Java和Python软件开发工具包(SDK)访问,使非开发人员和开发人员更容易使用。
2019-10-15 cs.CL
Keyword Extraction for Identifying Social Actors
Universitas Sumatera Utara(北苏门答腊大学);Universiti Kebangsaan Malaysia(马来西亚国民大学)
识别社会行动者已成为人工智能的任务之一,其中提取关键字从网页片段依赖于使用的Web是稳步获得地面在这项研究中。因此,我们开发了一种基于重叠原则的方法,利用收集的功能在网页摘要,使用关键字将消除不相关的网页。
2012-12-13 cs.CL cs.IR
PLAtE: A Large-scale Dataset for List Page Web Extraction
University of Virginia(弗吉尼亚大学);University of Utah(犹他大学);Amazon(亚马逊)
针对半结构化网页信息抽取缺乏大规模训练数据集的问题,研究者推出聚焦购物评论页的PLAtE基准数据集,含5万余商品与15万余属性,还适配了三种SOTA模型并对比其性能优劣。
2023-06-15 cs.CL cs.IR cs.LG
High-throughput Biomedical Relation Extraction for Semi-Structured Web Articles Empowered by Large Language Models
Tsinghua University(清华大学)
本文提出一种基于大语言模型的高通量生物医学关系抽取方法,将任务表述为二分类问题,结合外部语料库与世界知识进行事实验证,并针对半结构化网页文章优化实体匹配与文本检索,最终从三个网站提取超24万个三元组,性能媲美GPT-4。
2024-03-26 cs.AI cs.CL
Simplified DOM Trees for Transferable Attribute Extraction from the Web
University of California, Los Angeles(加州大学洛杉矶分校);Google(谷歌)
一直有一个稳定的需要,精确地提取结构化的知识,从网络(即HTML文档)。给定一个网页,提取结构化对象以及各种感兴趣的属性(例如,价格,出版商,作者和书籍的流派)可以促进各种下游应用,例如大规模知识库构建,电子商务产品搜索和个性化推荐。考虑到每个网页都是从HTML DOM树中渲染出来的,现有的方法将问题描述为DOM树节点标记任务。然而,它们要么依赖于计算上昂贵的视觉特征工程,要么无法对树节点之间的关系进行建模。在本文中,我们提出了一种新的可转移的方法,简化的DOM树属性提取(DOM),有效地检索有用的上下文为每个节点,利用树结构来解决这个问题。我们研究了两个具有挑战性的实验设置:(i)垂直内的Few-Shot提取,和(ii)跨垂直的fewshot提取领域外的知识,以评估我们的方法。在SWDE公共数据集上进行的大量实验表明,在F1得分上,RSDOM比最先进的(SOTA)方法高出1.44%。我们还发现,利用来自不同垂直(垂直交叉提取)的知识是非常有用的,并有助于进一步击败SOTA 1.37%。
2021-01-07 cs.CL cs.LG
Extraction of Evolution Descriptions from the Web
L3S Research Center(L3S研究中心)
命名实体的演变影响着数字图书馆的探索和检索任务。一个知道名称变化的信息检索系统可以主动地支持用户查找进化实体的先前出现。然而,目前的结构化知识库,如DBpedia或Freebase,并没有提供足够的信息,即使数据是在他们的资源,如维基百科。我们的\emph{Evolution Base}原型将演示如何在这些网站上以有希望的精度识别描述名称演变的摘录。这些描述是通过我们根据维基百科上最近对命名实体演变的分析训练的模型进行分类的。
2017-02-03 cs.CL cs.DL
Leveraging Semantic Web Search and Browse Sessions for Multi-Turn Spoken Dialog Systems
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
在口语对话系统(SDS)中训练统计对话模型需要大量的注释数据。数据采掘和注释的可扩展方法的缺乏对最先进的统计对话管理器构成了重大障碍。本文提出了一种直接利用数十亿次Web搜索和浏览会话来克服这一障碍的方法。关键的见解是,通过网络搜索和浏览会话完成的任务是(a)可预测的,(b)概括为口语对话任务完成。新方法自动从网络日志中挖掘行为搜索和浏览模式,并将其转换为口语对话模型。我们实验自然发生的口语对话和大规模的网络日志。我们的基于会话的模型优于SDS中实体提取任务的最先进的方法。我们还实现了更好的性能实体和关系抽取的Web搜索查询相比,非平凡的基线。
2016-06-25 cs.CL
Creative Procedural-Knowledge Extraction From Web Design Tutorials
Cornell Tech, Cornell University(康奈尔大学康奈尔科技校区);ByteDance AI Lab(字节跳动人工智能实验室);Adobe Research(奥多比研究院)
复杂的设计任务通常需要以特定的顺序执行各种操作。为了(半)自主地完成这些任务,应用程序需要理解和学习广泛的设计过程,即,创造性程序知识(CPK)。先前的知识库构建和挖掘通常不涉及创意领域,如设计和艺术。在本文中,我们形式化的本体CPK使用五个组件:目标,工作流,动作,命令和用法,并提取组件的值从在线设计教程。我们抓取了19.6K教程相关的网页,并构建了一个Web应用程序,供专业设计人员识别和总结CPK组件。注释数据集包括819个独特的命令,47,491个动作和2,022个工作流和目标。基于这个数据集,我们提出了一个通用的CPK提取管道,并证明了现有的文本分类和序列到序列模型在识别,预测和总结异构风格描述的复杂操作方面是有限的。通过定量和定性的误差分析,我们讨论了CPK提取的挑战,需要解决未来的研究。
2019-04-18 cs.CL cs.IR
Unsupervised Methods for Determining Object and Relation Synonyms on the Web
Temple University(天普大学);University of Washington(华盛顿大学)
识别同义关系和对象的任务,或同义词解析,是高质量的信息抽取的关键。本文研究了无监督信息抽取中的同义词解析问题,其中既没有手工标记的训练样本,也没有领域知识。本文提出了一个可扩展的,完全实现的系统,运行在O(KNlogN)的时间在提取的数量,N,和每个单词的同义词的最大数量,K。该系统名为Resolver,引入了一个概率关系模型,用于根据包含它们的断言的相似性来预测两个字符串是否相互引用。在一组从Web上提取的200万个断言中,Resolver以78%的精度和68%的召回率解析对象,并以90%的精度和35%的召回率解析关系。研究了旋转变压器概率模型的几种变化形式,实验表明,在适当的条件下,这些变化形式可以使F1提高5%。对基本的Resolver系统的扩展允许它在TREC语料库的数据集上以97%的准确率和95%的召回率处理多义名称。
2014-01-15 cs.CL
Wikidata as a seed for Web Extraction
The QA Company SAS(QA公司);Université Jean Monnet(让·莫内大学)
本文提出以Wikidata为种子、基于问答技术和语言模型的Web事实抽取框架,无需额外学习信号即可从网页提取新事实,F1达84.07,可辅助Wikidata编辑完善知识图谱。
2024-01-15 cs.CL
Coherent Keyphrase Extraction via Web Mining
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。以前的关键短语提取算法的局限性是所选择的关键短语偶尔是不连贯的。也就是说,大多数输出关键短语可以很好地配合在一起,但是可能存在少数看起来是离群值,与大多数或彼此没有明确的语义关系。本文提出了增强的Kea关键词提取算法,旨在提高提取的关键词的一致性。该方法是使用候选关键词之间的统计关联程度作为它们可能在语义上相关的证据。使用Web挖掘来测量统计关联。实验表明,增强提高了提取的关键词的质量。此外,增强不是特定于域的:当在一个域(计算机科学文档)上训练并在另一个域(物理文档)上测试时,该算法推广得很好。
2003-08-20 cs.CL cs.IR cs.LG
RTE: A Tool for Annotating Relation Triplets from Text
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Siemens Healthineers(西门子医疗)
在这项工作中,我们提出了一个基于Web的注释工具"关系三元组提取器" \footnote{https://abera87.github.io/annotate/}(RTE)的关系三元组的文本注释。关系抽取是从Web上的非结构化文本中抽取关于真实世界实体的结构化信息的一项重要任务。在关系抽取中,我们关注的是二元关系,即两个实体之间的关系。近年来,许多监督模型被提出来解决这个问题,但它们大多使用噪声训练数据使用远程监督方法获得。在许多情况下,模型的评估也是基于噪声测试数据集进行的。缺乏带注释的干净数据集是这一研究领域的一个关键挑战。在这项工作中,我们建立了一个基于Web的工具,研究人员可以注释数据集的关系抽取自己非常容易。我们为这个工具使用了无服务器架构,整个注释操作都是使用客户端代码处理的。因此,它不会受到任何网络延迟的影响,并且用户数据的隐私也得到了维护。我们希望这个工具能对关系抽取领域的研究者有所帮助。
2021-08-18 cs.CL
Cross-Domain Web Information Extraction at Pinterest
Pinterest
本文介绍 Pinterest 的跨域网页信息抽取系统,通过结合结构、视觉和文本的紧凑网页表示,使 XGBoost 等简单模型在属性抽取上超越大型语言模型,实现高准确率、每秒处理千余 URL 且成本降低千倍。
2025-08-01 cs.AI cs.CL cs.IR
FreeDOM: A Transferable Neural Architecture for Structured Information Extraction on Web Documents
University of Southern California(南加利福尼亚大学);Google(谷歌)
从HTML文档中提取结构化数据是一个长期研究的问题,具有广泛的应用,如增强知识库,支持分面搜索,并为购物和电影等关键垂直领域提供特定领域的体验。以前的方法要么需要每个目标网站的少量示例,要么依赖于在网站视觉渲染上构建的精心手工的启发式方法。在本文中,我们提出了一种新的两阶段神经方法,称为自由DOM,它克服了这些限制。第一阶段通过结合文本和标记信息来学习页面中每个DOM节点的表示。第二阶段使用关系神经网络捕获较长范围的距离和语义相关性。通过结合这些阶段,Freedom能够在该垂直领域的少量种子站点上进行训练后推广到看不见的站点,而无需在页面的视觉渲染上使用昂贵的手工制作功能。通过在8个不同垂直领域的公共数据集上进行实验,我们发现FreeDOM平均比之前的技术水平高出近3.7个F1点,而不需要渲染页面上的功能或昂贵的手工制作功能。
2020-10-21 cs.CL cs.IR
Parser Extraction of Triples in Unstructured Text
Wipro Limited(威普罗有限公司)
网络包含大量非结构化文本的存储库。我们调查的机会,建立一个知识图谱从这些文本源。我们生成了一组三元组,可用于知识收集和集成。我们定义了一个语言编译器的架构,使用OpenNLP解析器处理主谓宾三元组。我们实现了一个深度优先的搜索遍历的POS标记的语法树附加谓词和对象的信息。解析器能够更高精度和更高召回率地提取跨连接边界的句法关系。我们能够提取ReVerb正确提取的2-2.5倍。这些抽取被用于各种语义Web应用和问答中。我们验证了在CtrudeWeb数据集上提取50,000个三元组。
2018-11-06 cs.AI cs.CL cs.LG
A Scalable Cross-Domain Event Extraction System via a Unified Generative Training Framework
German Research Center for Artificial Intelligence(德国人工智能研究中心);Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
该研究针对现有事件抽取方法可扩展性与跨域泛化不足的问题,提出统一生成式序列到序列框架,微调预训练语言模型,构建支持多功能的网络应用平台,实现跨域事件抽取。
2026-08-25 cs.CL
A Web-Based Tool for Analysing Normative Documents in English
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
我们的目标是使用正式的方法来分析用英语编写的规范性文件,例如隐私政策和服务级别协议。这需要结合许多不同的元素,包括从自然语言中提取信息抽取、用于模型表示的形式语言以及用于属性规范和验证的接口。我们已经完成了这项任务的一系列组件:一个自然语言提取工具,一个合适的形式主义,用于表示这些文件,在这种形式主义的接口,用于建立模型,并回答查询的方法要求一个给定的模型。在这项工作中,这些关切都集中在一个网络工具中,为分析英文规范性案文提供了一个单一的界面。通过使用一个运行的例子,我们描述了每个组件,并展示了我们的工具建立的工作流程。
2017-07-13 cs.CL cs.CY
Fine-Grained Temporal Relation Extraction
University of Rochester(罗切斯特大学);Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个新的语义框架建模的时间关系和事件持续时间,映射对事件的实值尺度。我们使用这个框架来构建迄今为止最大的时态关系数据集,涵盖了整个通用的英语网络树库。我们使用这个数据集来训练模型,以联合预测细粒度的时间关系和事件持续时间。我们报告了我们的数据的强有力的结果,并显示了转移学习方法预测分类关系的有效性。
2019-06-03 cs.CL
Agentic Framework for Political Biography Extraction
Department of Politics and Public Administration, The University of Hong Kong(政治与公共行政系,香港大学);School of International Studies, Peking University(国际关系学院,北京大学);Department of Political Science, Columbia University(政治学系,哥伦比亚大学)
本文提出一种两阶段的合成-编码框架,利用大语言模型自动化提取多维精英传记,提升政治科学研究的效率和准确性。
2026-02-23 cs.AI cs.CL cs.CY
Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining
Apple(苹果公司);Stanford(斯坦福大学);University of Washington(华盛顿大学)
本文提出通过结合多种提取器提升HTML到文本提取的效率与效果,显著提高LLM预训练数据的token产出并改善下游任务性能。
2026-02-23 cs.CL cs.LG
Fully automatic extraction of morphological traits from the Web: utopia or reality?
Inria(法国国家信息与自动化研究所);University of Montpellier(蒙彼利埃大学);LIRMM(蒙彼利埃电子与计算机实验室);AMAP(植物与动物科学建模与分析研究中心);Wageningen University & Research(瓦赫宁根大学及研究中心);University of Amsterdam(阿姆斯特丹大学);Athens University of Economics and Business(雅典经济与商业大学)
针对植物性状信息人工汇编耗时、在线文本非结构化难规模化利用的问题,提出基于大语言模型的全自动提取机制,复现人工矩阵验证显示F1超75%,证明规模化构建结构化性状数据库可行,受限于目标性状文本覆盖度。
2025-02-21 cs.AI cs.CL cs.LG
Student sentiment Analysis Using Classification With Feature Extraction Techniques
本文研究基于网络学习中的学生反馈情感分析,使用LR、SVM、NB和DT四种机器学习模型,并结合CVr/BoW与TF-IDF两种特征提取技术,在清洗后的SFB数据集上提升分类准确率。
2021-03-19 cs.AI cs.CL cs.LG
Dr Web: a modern, query-based web data retrieval engine
Birkbeck, University of London(伦敦大学伯贝克学院);University of Messina(墨西拿大学)
本文提出Dr Web,一个基于查询语言的模块化Web数据检索引擎,解决动态内容与杂乱数据提取问题,并阐述其开源发布路径。
2025-02-18 cs.CL cs.DB cs.IR
Blu-WERP (Web Extraction and Refinement Pipeline): A Scalable Pipeline for Preprocessing Large Language Model Datasets
BluBridge Research(BluBridge研究机构)
Blu-WERP是一种用于提升大语言模型训练数据质量的高效预处理流程,通过优化Common Crawl WARC文件,显著提高了模型性能和效率。
2025-11-22 cs.CL cs.LG
WYSIWYE: An Algebra for Expressing Spatial and Textual Rules for Visual Information Extraction
IBM Research(IBM研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);IBM Germany Research & Development(IBM德国研发中心)
网页的视觉布局可以为某些类型的信息抽取(IE)任务提供有价值的线索。在传统的基于规则的IE框架中,这些布局提示被映射到对网页的HTML源进行操作的规则。相比之下,我们已经开发了一个框架,其中的规则可以直接指定在布局级别。这有很多优点,因为更高的抽象级别导致更简单的提取规则,这些规则在很大程度上独立于页面的源代码,因此更健壮。它还可以实现以其他方式不可能的新类型规则的规范。据我们所知,没有一个通用的框架,允许声明性规范的信息抽取规则的基础上的空间布局。我们的框架是传统的基于文本的规则框架的补充,并允许基于空间布局的规则与传统的基于文本的规则的无缝结合。我们描述的代数,使这样一个系统和它的有效实施使用标准的关系和文本索引功能的关系数据库。我们证明了这个系统的简单性和效率的任务,涉及软件产品页面的软件系统要求的提取。
2016-09-27 cs.CL cs.DB cs.IR
REKnow: Enhanced Knowledge for Joint Entity and Relation Extraction
AWS AI Labs(亚马逊云科技人工智能实验室)
关系抽取是一项重要但具有挑战性的任务,旨在从文本中提取所有隐藏的关系事实。随着深度语言模型的发展,关系抽取方法在各种基准测试中取得了良好的性能。然而,我们观察到以前的方法的两个缺点:第一,没有统一的框架,以及在各种关系抽取设置;第二,有效地利用外部知识作为背景信息是缺席。在这项工作中,我们提出了一个知识增强的生成模型来缓解这两个问题。我们的生成模型是一个统一的框架,顺序生成各种关系抽取设置下的关系三元组,并明确利用相关知识从知识图谱(KG)来解决歧义。我们的模型在多个基准测试和设置上实现了卓越的性能,包括WebNLG、NYT 10和TACRED。
2022-08-16 cs.CL cs.IR
Evaluation of LLM-based Strategies for the Extraction of Food Product Information from Online Shops
Institute for Software Systems, University of Applied Sciences Trier(软件系统研究所,应用科学大学特里尔)
本文评估了两种基于LLM的食品产品信息抽取策略,发现间接抽取方法虽准确率略低1.61%,但可减少95.82%的LLM调用次数,为大规模网页信息抽取提供了更高效低成本的方案。
2025-06-17 cs.CL cs.IR cs.LG
Fundus: A Simple-to-Use News Scraper Optimized for High Quality Extractions
Humboldt Universität zu Berlin(柏林洪堡大学)
本研究提出了名为Fundus的易用新闻爬虫框架,采用针对各报纸定制的手工提取器并整合爬取与提取流程,经评估提取质量显著优于现有工具,且支持pip安装,便于非技术用户使用。
2024-06-24 cs.CL cs.IR
Sentimental Content Analysis and Knowledge Extraction from News Articles
Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
在网络时代,由于技术的进步,人类的生活发生了革命性的变化,每天都有大量的数据和信息发布在互联网上。例如,新闻机构在世界各地的网站上发布新闻。这些原始数据可能是知识提取的重要资源。这些共享数据包含情感(即,积极的、中性的或消极的);因此,情感内容提取在许多方面可以是有益的任务。提取新闻的情感说明了在一段时间内关于事件的非常有价值的信息,媒体或新闻机构对这些事件的观点。在本文中,试图提出一种方法,新闻分析,并从中提取有用的知识。首先,我们尝试提取新闻文档的噪声鲁棒情感;因此,下载与六个国家相关的新闻:美国,英国,德国,加拿大,法国和澳大利亚,5个不同的新闻类别:政治,体育,商业,娱乐和技术。本文在提取新闻文本中的情感内容的基础上,对不同国家在每5个新闻主题中的情况进行了比较。此外,我们提出了一种方法,以减少庞大的新闻数据,提取最热门的话题和新闻标题作为知识。最后,我们生成一个词模型,通过Word 2 Vec将每个词映射到一个固定大小的向量,以了解我们收集的新闻数据库中的词之间的关系。
2018-08-09 cs.CL cs.IR
Leveraging Large Language Models for Web Scraping
PerpetualBlock Technologies Pvt. Ltd(PerpetualBlock 技术私人有限公司);Innoplexus Consulting Services Pvt. Ltd.(Innoplexus 咨询服务私人有限公司)
本研究提出利用预训练大型语言模型结合RAG架构及分块、搜索和排序算法,构建通用精确的网页数据抓取方案,并通过HTML语义分类、文本分块和模型对比实验验证其从非结构化文本中提取复杂数据的有效性。
2024-06-12 cs.AI cs.CL cs.LG