Giveme5W1H: A Universal System for Extracting Main Events from News Articles
University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学)
从新闻文章中提取事件是各种任务(如文章摘要、文章聚类和新闻聚合)的普遍要求的先决条件。由于缺乏普遍适用的和公开可用的方法来定制的新闻数据集,许多研究人员冗余地实现事件提取方法为自己的项目。新闻5W1H问题能够描述文章的主要事件,即,通过回答谁做了什么,何时,何地,为什么,以及如何。我们提供了一个深入的描述Giveme5W1H,一个系统,使用语法和特定领域的规则,自动提取相关的短语,从英语新闻文章,这些5W1H问题的答案的改进版本。给定这些问题的答案,系统确定文章的主要事件。在一项由三名评估员和120篇文章组成的专家评估中,我们确定了回答前四个W问题的总体精度为p=0.73,p=0.82,仅这一点就足以概括新闻文章中报道的主要事件。我们最近公开了我们的系统,它仍然是唯一一个能够应用于新闻分析中各种用例的通用开源5W1H提取器。
2019-09-06 cs.CL
Overview of CLEF 2019 Lab ProtestNews: Extracting Protests from News in a Cross-context Setting
Koc University(科奇大学)
我们概述了CLEF-2019实验室ProtestNews在可推广的自然语言处理背景下从新闻中提取抗议。本实验包括文档、句子和标记级别的信息分类和提取任务,在本实验范围内分别称为任务1、任务2和任务3。这些任务要求参与者在一个或多个上述级别的跨上下文设置中从英语当地新闻中识别抗议相关信息,这在本实验的范围内是跨国的。培训和开发数据收集自印度,测试数据收集自印度和中国。实验室吸引了58支团队参与。其中12个小组和9个小组分别提交了成果和工作说明。我们已经观察到神经网络产生最好的结果,并且在中国的跨国设置中,大多数提交的性能显着下降。
2020-08-01 cs.CL
Sentimental Content Analysis and Knowledge Extraction from News Articles
Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
在网络时代,由于技术的进步,人类的生活发生了革命性的变化,每天都有大量的数据和信息发布在互联网上。例如,新闻机构在世界各地的网站上发布新闻。这些原始数据可能是知识提取的重要资源。这些共享数据包含情感(即,积极的、中性的或消极的);因此,情感内容提取在许多方面可以是有益的任务。提取新闻的情感说明了在一段时间内关于事件的非常有价值的信息,媒体或新闻机构对这些事件的观点。在本文中,试图提出一种方法,新闻分析,并从中提取有用的知识。首先,我们尝试提取新闻文档的噪声鲁棒情感;因此,下载与六个国家相关的新闻:美国,英国,德国,加拿大,法国和澳大利亚,5个不同的新闻类别:政治,体育,商业,娱乐和技术。本文在提取新闻文本中的情感内容的基础上,对不同国家在每5个新闻主题中的情况进行了比较。此外,我们提出了一种方法,以减少庞大的新闻数据,提取最热门的话题和新闻标题作为知识。最后,我们生成一个词模型,通过Word 2 Vec将每个词映射到一个固定大小的向量,以了解我们收集的新闻数据库中的词之间的关系。
2018-08-09 cs.CL cs.IR
A Survey on Event-based News Narrative Extraction
Virginia Tech(弗吉尼亚理工大学);Universidad Católica del Norte(北天主教大学);University of Washington(华盛顿大学)
叙事是我们理解世界的基础,随着时间的推移,它为我们提供了一个自然的知识表示结构。计算叙事提取是人工智能的一个子领域,它大量使用信息检索和自然语言处理技术。尽管计算叙事提取的重要性,相对较少的学术工作存在综合以前的研究和战略未来的研究在该地区。特别是,这篇文章的重点是从事件为中心的角度提取新闻叙事。从新闻数据中提取叙述在理解不断发展的信息格局方面有多种应用。本研究对基于事件的新闻叙事抽取领域的研究进行了广泛的研究。特别是,我们筛选了900多篇文章,产生了54篇相关文章。这些文章是综合和组织的表示模型,提取标准和评价方法。基于回顾的研究,我们确定了最近的趋势,开放的挑战和潜在的研究路线。
2023-03-10 cs.CL cs.IR
Extracting Space Situational Awareness Events from News Text
University of Arizona(亚利桑那大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
空间态势感知通常利用雷达、望远镜和其他资产的物理测量来监视卫星和其他航天器,以用于操作、导航和防御目的。在这项工作中,我们探讨使用文本输入的空间态势感知任务。我们构建了一个包含2009年至2020年间所有已知活动卫星的48.5k新闻文章的语料库。使用一个基于依赖规则的提取系统,旨在针对三个高影响力的事件-航天器发射,故障和退役,我们确定了1,787个空间事件句子,然后由人类用15.9k标签为事件槽进行注释。我们凭经验证明,最先进的神经提取系统在这个低资源,高影响力的领域中实现了每个插槽53到91之间的事件提取的整体F1。
2022-01-15 cs.CL
A Novel Two-stage Framework for Extracting Opinionated Sentences from News Articles
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校);Yahoo! India(雅虎印度)
本文提出了一种新的两阶段框架,从给定的新闻文章中提取固执己见的句子。在第一阶段,朴素贝叶斯分类器通过利用局部特征为每个句子分配一个分数-分数表示句子被自以为是的概率。在第二阶段,我们使用HITS(超链接诱导主题搜索)模式中的先验知识来利用文章的全局结构和句子之间的关系。在HITS模式中,固执己见的句子被视为中心,围绕这些观点的事实被视为权威。该算法的实施和评估对一组手动标记的数据。我们表明,使用HITS显着提高了基线朴素贝叶斯分类器的精度。我们还认为,所提出的方法实际上发现了文章的底层结构,从而提取各种意见,与支持事实以及其他支持意见的文章分组。
2021-01-24 cs.CL
Extracting Structured Insights from Financial News: An Augmented LLM Driven Approach
本文提出一种基于LLM的金融新闻处理方法,通过提取公司股票代码、执行公司级情绪分析并生成摘要,结合字符串相似性验证框架,在5530篇文章数据集上验证了其有效性,并实时API提供细粒度情绪分析数据。
2024-07-22 cs.CL
Detecting and Extracting Events from Text Documents
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
文本文档中提到和讨论了各种事件,无论是书籍、新闻文章、博客还是微博提要。本文首先概述了语言学和哲学如何对待事件。我们通过调查事件和相关信息是如何在计算中处理的来跟踪这一讨论。特别是,我们看看如何挖掘文本文档,以提取事件和辅助信息。如今,它主要是通过应用各种机器学习技术。我们还讨论了事件检测和提取系统的应用,特别是在总结,在医疗领域和Twitter帖子的背景下。最后,我们讨论了挑战和未来的发展方向。
2016-01-15 cs.CL
Counting Protests in News Articles: A Dataset and Semi-Automated Data Collection Pipeline
2017年1月至2021年1月,美国数千家当地新闻来源报道了超过42,000起关于民权,移民,枪支和环境等主题的抗议活动。鉴于每天有大量的当地记者报道抗议活动,将这些事件提取为结构化数据以了解时间和地理趋势可以增强公民决策的能力。然而,从新闻文章中提取事件的任务在域检测、槽填充和共指消解领域对NLP社区提出了众所周知的挑战。为了帮助改善从新闻故事中提取结构化数据的可用资源,我们的贡献是三方面的。我们1)发布了一个手动标记的数据集,其中包括新闻文章URL,日期,地点,人群规模估计,以及与2017年1月至2021年1月期间美国报告的42,347起抗议事件相对应的494个离散描述性标签; 2)描述用于发现、排序和审查组成数据集的144,568篇英文文章的半自动数据汇集管道;以及3)对长短期记忆(LSTM)低维分类器进行基准测试,所述LSTM低维分类器展示了基于句法结构(诸如段落和句子)处理新闻文章以计数所报告的抗议事件的数量的效用。
2021-02-01 cs.CL
Named Entity Recognition on Twitter for Turkish using Semi-supervised Learning with Word Embeddings
Intel Corporation(英特尔公司)
最近,由于社交媒体的日益普及,从非正式文本类型(如微博文本)中提取信息的必要性得到了极大的关注。在这项研究中,我们专注于命名实体识别(NER)问题的非正式文本类型的土耳其语。我们利用了一种基于神经网络的半监督学习方法。我们应用了一种快速的无监督方法来学习向量空间中单词的连续表示。我们利用这些获得的词嵌入,与语言无关的功能,设计更好地工作在非正式的文本类型,为微博文本生成土耳其NER系统。我们评估了我们的土耳其NER系统的Twitter消息,并取得了更好的F分数性能比以前提出的NER系统土耳其推文的公布结果。由于我们没有采用任何语言依赖的功能,我们相信我们的方法可以很容易地适应其他形态丰富的语言微博文本。
2018-10-20 cs.CL cs.LG stat.ML
IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal Triplets via Pre-trained Autoregressive Language Model
Idiap Research Institute(Idiap研究所);Brno University of Technology(布尔诺理工大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Universidad Autónoma Metropolitana Unidad Cuajimalpa(大都会自治大学夸希马尔帕校区);Universidad Nacional de San Luis(圣路易斯国立大学)
在本文中,我们描述了我们在CASE-2022中的子任务2的共享任务提交,事件因果关系识别与休闲新闻语料库。挑战集中在自动检测新闻媒体中句子中存在的所有因果信号跨度。我们使用T5检测句子中的因果信号跨度-一种预先训练的自回归语言模型。我们迭代地识别所有因果信号跨度三元组,总是以先前预测的三元组为条件预测下一个三元组。为了预测三联体本身,我们考虑不同的因果关系,如原因$\rightarrow$效应$\rightarrow$信号。每个三元组成分是通过以句子、当前三元组的先前部分和先前预测的三元组为条件的语言模型生成的。尽管在160个样本的极小数据集上进行了训练,但我们的方法仍然取得了有竞争力的性能,在比赛中排名第二。此外,我们表明,假设原因$\rightarrow$效果或效果$\rightarrow$原因顺序实现类似的结果。
2022-10-20 cs.AI cs.CL
Automated Journalistic Questions: A New Method for Extracting 5W1H in French
Université Laval(拉瓦尔大学);Ottawa University(渥太华大学)
本文提出首个面向法语新闻的5W1H自动化提取流水线,并构建250篇魁北克新闻标注语料,实验显示其性能与GPT-4o相当。
2025-06-06 cs.CL cs.LG
An Event Correlation Filtering Method for Fake News Detection
Huazhong Agricultural University(华中农业大学);University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
如今,社交网络平台因其快速传播信息的能力而成为人们体验新闻和事件的主要来源,这不可避免地为假新闻的传播提供了肥沃的土壤。因此,对虚假新闻的检测具有重要意义,否则可能会引起公众的误导和恐慌。现有的深度学习模型在解决假新闻检测问题方面取得了很大进展。然而,训练有效的深度学习模型通常需要大量的标记新闻,而在实际应用中提供足够的标记新闻是昂贵且耗时的。为了提高假新闻的检测性能,利用新闻的事件相关性,提出了一种用于假新闻检测的事件相关性过滤方法(ECFM),该方法主要由新闻特征化器、伪标签标注器、事件可信度更新器和新闻熵选择器组成.新闻特征提取器负责从新闻中提取文本特征,它与伪标签标注器合作,充分利用新闻的事件相关性,为未标注的新闻赋予伪标签。此外,事件可信度更新器采用自适应卡尔曼滤波器来减弱事件可信度的波动。为了进一步提高检测性能,新闻熵选择器通过量化新闻熵来自动从伪标记新闻中发现高质量样本。最后,ECFM提出了集成它们来检测假新闻的事件相关过滤方式。大量的实验证明,新闻事件相关性的可解释性引入有利于提高假新闻的检测性能。
2020-12-13 cs.CL cs.SI
An Event Detection Approach Based On Twitter Hashtags
Purdue University(普渡大学)
Twitter是世界上最受欢迎的微博客服务之一。Twitter所包含的大量信息使其成为人们学习和分享新闻的重要信息渠道。Twitter标签是一个受欢迎的功能,可以被视为人类标记的信息,人们用来识别推文的主题。许多研究人员提出了事件检测方法,可以监控Twitter数据并确定是否发生了特殊事件,如事故,极端天气,地震或犯罪。尽管许多方法使用主题标签作为其特征之一,但很少有方法明确关注使用主题标签进行事件检测的有效性。在这项研究中,我们提出了一个事件检测方法,利用标签的推文。采用了STREAMCUBE中的特征提取方法,并将聚类K-means方法应用于STREAMCUBE中,实验表明K-means方法的聚类效果优于STREAMCUBE。还讨论了K均值方法的最佳K值。
2018-04-02 cs.CL cs.IR cs.SI
Improved Twitter Sentiment Prediction through Cluster-then-Predict Model
NITTTR Bhopal(博帕尔国家技术教师培训与研究学院)
在过去的十年中,人类在使用在线资源方面经历了指数级增长,特别是社交媒体和微博网站,如Facebook,Twitter,YouTube以及移动应用程序,如WhatsApp,Line等。这些知识提供了宝贵的反馈,使他们能够进一步开发下一代产品。在本文中,情感分析的产品是通过提取有关该产品的推文和分类的推文显示它作为积极和消极的情绪。作者提出了一种混合的方法,它结合了无监督学习的K-means聚类的形式来聚类的推文,然后执行监督学习方法,如决策树和支持向量机进行分类。
2015-09-08 cs.CL cs.IR cs.LG
FrameFinder: Explorative Multi-Perspective Framing Extraction from News Headlines
TU Graz(格拉茨工业大学);University of Graz(格拉茨大学)
本文提出FrameFinder,一个从新闻标题中提取并多视角可视化分析框架的开放工具,并通过枪支暴力语料库验证其支持社会科学研究的价值。
2023-12-14 cs.AI cs.CL cs.IR
Information Extraction from Broadcast News
本文讨论了从电视和广播新闻广播中提取内容的可训练统计模型的发展。特别是,我们专注于统计有限状态模型,用于识别广播语音中的专有名称和其他命名实体。提出了两种模型:第一个将名称类信息表示为字属性;第二个显式地表示字-字和类-类转换。一个共同的n-gram为基础的配方用于这两个模型。命名实体识别的任务的特点是相对稀疏的训练数据和平滑相关的问题进行了讨论。实验报告使用DARPA/NIST Hub-4 E评估北美广播新闻。
2000-03-30 cs.CL
CienaLLM: Generative Climate-Impact Extraction from News Articles with Autoregressive LLMs
Worcester Polytechnic Institute(沃斯特理工学院);Aragon Institute of Engineering Research(阿拉贡工程研究院);Pyrenean Institute of Ecology (IPE-CSIC)(比利牛斯生态研究院(IPE-CSIC))
CienaLLM通过自回归大语言模型实现大规模新闻文章中气候影响信息的提取,提供高精度且高效的零样本信息提取方案。
2025-12-22 cs.CL
VeraCT Scan: Retrieval-Augmented Fake News Detection with Justifiable Reasoning
NewsBreak;Hong Kong University of Science and Technology(香港科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出VeraCT Scan,一个用于假新闻检测的检索增强系统,通过提取核心事实、互联网搜索佐证或冲突报道并利用来源可信度进行信息验证,同时提供透明证据和推理,基于GPT-4 Turbo和微调的Llama-2 13B实现了最先进的检测准确率。
2024-06-24 cs.AI cs.CL cs.IR
Similarity measure for Public Persons
University of Applied Sciences Upper Austria(上奥地利应用科学大学)
对于门户网站“谁在新闻!他说:“根据书面新闻中人物出现的统计数字,我们开发了一个扩展,根据时间参数衡量公众人物的关系,因为这种关系可能会随着时间而变化。在英语和德语新闻文章的训练语料库上,我们通过预训练的命名实体提取来提取文本中的人物出现,然后为每个人构建计数的时间序列。然后使用滑动窗口上的皮尔逊相关性来衡量两个人的关系。
2018-09-17 cs.CL
Towards Building a Knowledge Base of Monetary Transactions from a News Collection
Norwegian University of Science and Technology(挪威科技大学);University of Stavanger(斯塔万格大学)
我们解决的问题,提取结构化表示的经济事件从一个大型语料库的新闻文章,使用组合的自然语言处理和机器学习技术。所开发的技术允许金融知识库的半自动填充,这又可用于支持一系列数据采掘和探索任务。我们在这一领域面临的关键挑战是,同一事件经常被多次报告,细节的正确性各不相同。我们首先从整个语料库中收集与给定事件相关的所有信息,然后考虑事件的所有可能表示,最后使用监督学习方法,通过相关的置信度分数对这些表示进行排名,从而解决这一挑战。我们的方法的一个主要创新要素是,它联合提取和存储的事件作为一个单一的表示(五元组)的所有属性。使用专门构建的测试集,我们证明了我们的监督学习方法可以实现F1分数比基线方法提高25%,这些基线方法考虑事件的最早,最新或最频繁的报告。
2017-09-18 cs.CL cs.IR
Evidence-Supported Credit Risk Report Generation Using News-Centric Financial Knowledge Graphs
Universidad Politécnica de Madrid(马德里理工大学);Institute of Science Tokyo(东京科学大学)
提出FinKG-News框架,自动构建事件-公司关联的知识图谱,并基于此设计上下文学习架构生成信用风险报告,质量提升19%-34%且减少幻觉。
2026-07-02 cs.CL
Extracting actionable information from microtexts
Radboud University(拉德堡德大学)
像Twitter这样的微博是一个强大的信息来源。这一信息的一部分可以汇总到个别员额以外。其中一些汇总信息涉及可以或应该为电子政务、公共安全或其他层面的公共利益采取行动的事件。此外,大量的这类信息如果汇总起来,可以以一种重要的方式补充现有的信息网络。本文提出了一种半自动的方法来提取可操作的信息,服务于这一目的。首先,我们表明,预测时间的事件是可能的域和跨域的情况。第二,我们提出了一种方法,它有利于相关性的定义分析师的背景和使用这个定义来分析新的数据。最后,我们提出了一种方法,结合基于机器学习的相关信息分类方法与基于规则的信息分类技术来分类微文本。从这个研究项目的第一天起,完全自动化的缩微文本分析就一直是我们的目标。我们在这方面的努力使我们了解了这种自动化可以实现的程度。我们首先开发了一种自动化方法,然后通过在自动化方法的各个步骤中集成人工干预来扩展和改进它。我们的经验证实了以前的工作,指出一个精心设计的人的干预或贡献的设计,实现,或评估的信息系统,无论是提高其性能或使其实现。由于我们的研究和结果引导我们走向它的必要性和价值,我们从以前的研究中受到启发,设计了人类参与,并定制了我们的方法,以受益于人类的投入。
2020-08-01 cs.CL
"The Michael Jordan of Greatness": Extracting Vossian Antonomasia from Two Decades of the New York Times, 1987-2007
Humboldt-Universität zu Berlin(柏林洪堡大学)
Vossian Antonomasia是一种多产的文体手段,自古代以来一直使用。它可以将对一个人或另一个命名实体的介绍或描述压缩成简洁、尖锐的表述,并且可以用一个例子来解释:当挪威世界冠军马格努斯·卡尔森被描述为“国际象棋中的莫扎特”时,我们正在处理的是Vossian Antonomasia。模式很简单:一个来源(莫扎特)被用来描述一个目标(马格努斯卡尔森),意义的转移是通过一个修饰语(“国际象棋”)来实现的。这一现象以前曾被讨论过(如“隐喻性反义词”,或特别关注源对象的“典范”),但还没有基于语料库的方法来探索其广度和多样性。我们正在寻找一个全文报纸语料库(纽约时报,1987年至2007年),并描述了一种新的方法,自动提取Vossian Antonomasia维基数据实体的基础上。我们的分析为流行典范的发生及其分布提供了新的见解。
2019-02-18 cs.CL cs.IR
LED: A Dataset for Life Event Extraction from Dialogs
The University of Tokyo(东京大学);National Yang Ming Chiao Tung University(阳明交通大学);Academia Sinica(中央研究院);National Taiwan University(台湾大学)
本文提出对话生活事件提取新任务及LED数据集,并系统比较OpenIE、关系提取和事件提取三种框架,揭示现有模型在对话场景下的不足,为后续研究提供基准与分析。
2023-04-17 cs.CL
EMONA: Event-level Moral Opinions in News Articles
Texas A&M University(德克萨斯农工大学)
本文提出新任务并构建 EMONA 数据集,标注新闻文章中事件级道德观点,通过基线模型和下游任务实验证明事件道德观点有助于识别意识形态偏见和主观事件。
2024-04-02 cs.CL
Detection of fake news on CoViD-19 on Web Search Engines
University of Catania(卡塔尼亚大学);INFN Sezione di Catania(意大利国家核物理研究所卡塔尼亚分部);Complexity Science Hub Vienna(维也纳复杂性科学中心)
2020年1月初,中国报告了武汉市首例新型冠状病毒(SARS-CoV-2)病例后,不可靠且不完全准确的信息开始比病毒本身传播得更快。除了这种流行病,人们还经历了一种平行的信息流行病,即,大量的信息,其中一些是误导性的,甚至是有害的,已经在全球范围内广泛传播。虽然社交媒体越来越多地被用作信息源,但网络搜索引擎,如谷歌或雅虎,仍然是在Web上查找信息的强大且值得信赖的资源。这是因为它们能够捕获最大量的信息,帮助用户快速确定最相关、最有用的搜索结果,尽管这些结果并不总是最可靠的。本研究旨在通过捕获和分析流经搜索引擎的文本信息来检测潜在的误导和虚假内容。通过使用与最近的CoViD-19大流行相关的真实世界数据集,我们首先应用重采样技术来解决类别不平衡问题,然后使用现有的机器学习算法对不可靠的新闻进行分类。通过提取新闻文章的相关统一资源定位符(URL)的词汇和基于主机的特征,我们表明,所提出的方法,所以常见的钓鱼和恶意URL检测,可以提高分类器的效率和性能。基于这些发现,我们建议同时使用文本和URL特征可以提高假新闻检测方法的有效性。
2021-06-05 cs.CL cs.IR cs.LG
Multi-Record Web Page Information Extraction From News Websites
Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
针对新闻网站多记录列表页研究不足的问题,本文构建含13,120个网页的俄语大规模数据集,并提出基于MarkupLM的多阶段抽取方法。
2025-02-20 cs.CL cs.IR
Bank distress in the news: Describing events through deep learning
Turku Centre for Computer Science – TUCS(图尔库计算机科学中心);Åbo Akademi University(奥博学术大学);Goethe University Frankfurt am Main(法兰克福大学);Hanken School of Economics(汉肯经济学院);Arcada University of Applied Sciences(阿卡达应用科学大学)
虽然许多模型的目的是检测金融系统中重大事件的发生,但提供有关发展的定性细节的任务通常不是自动化的。我们提出了一种深度学习方法,用于检测文本中的相关讨论并提取事件的自然语言描述。该模型仅由一小组事件信息(包括实体名称和日期)监督,通过对大量文本数据的语义向量表示的无监督学习来利用。我们证明了适用性的金融风险的研究的基础上的新闻(6.6万篇文章),特别是银行困境和政府干预(243事件),其中指数可以信号的水平,银行压力相关的报告在实体层面,或汇总在国家或欧洲层面,而被加上解释。因此,我们认为文本作为及时、广泛可用和描述性的数据,可以作为金融和系统性风险分析的有用补充信息来源。
2016-12-27 cs.AI cs.CL cs.IR
Extracting Temporal and Causal Relations between Events
University of Trento(特伦托大学);Università degli Studi di Trento(特伦托大学)
从时间信息处理中得到的结构化信息对于各种自然语言处理任务是至关重要的,例如从新闻文档中生成事件的时间轴摘要,或者回答关于某些事件的时间/时间相关问题。在这篇论文中,我们提出了一个整合时间和因果关系抽取系统的架构。我们首先为每种类型的关系,即时间顺序和因果关系开发了一个强大的提取组件。然后,我们结合这两个提取组件到一个集成的关系抽取系统,CATENA-因果和时间关系抽取从自然语言文本-,利用因果关系中的事件优先的假设,即导致事件必须发生在结果事件之前。本文还讨论了改进关系抽取系统的资源和技术,包括词嵌入和训练数据扩展。最后,我们报告我们的适应努力的时间信息处理的语言以外的英语,即意大利语和印尼语。
2016-04-27 cs.CL
Extracting Structured Requirements from Unstructured Building Technical Specifications for Building Information Modeling
LISPEN EA 7515, Arts et Métiers Institute of Technology(LISPEN EA 7515,艺术与技术理工学院);Information System and Applications Division, CSTB(信息系统与应用部门,CSTB);Univ. Grenoble Alpes, CNRS, Grenoble INP, G-SCOP(格勒诺布尔阿尔卑斯大学,CNRS,格勒诺布尔INP,G-SCOP)
本研究利用CamemBERT和Fr_core_news_lg等NLP模型从法语建筑技术规范中自动提取结构化需求,NER的F1超90%,随机森林在关系抽取中F1超80%,为BIM自动验证提供支持。
2025-08-19 cs.AI cs.CL
Analysis of Named Entity Recognition and Linking for Tweets
University of Sheffield(谢菲尔德大学);EURECOM;Università di Torino(都灵大学);VU University Amsterdam(阿姆斯特丹自由大学)
将自然语言处理应用于对推文(微博的一种形式)的挖掘和智能信息访问是一个具有挑战性的新兴研究领域。与精心撰写的新闻文本和其他较长的内容不同,推文由于其简短,嘈杂,上下文相关和动态的性质而带来了许多新的挑战。来自推文的信息抽取通常在流水线中执行,流水线包括语言识别、标记化、词性标记、命名实体识别和实体消歧(例如,关于DBpedia)的连续阶段。在这项工作中,我们描述了一个新的Twitter实体消歧数据集,并进行了实证分析的命名实体识别和消歧,调查如何强大的一些国家的最先进的系统是这样的嘈杂的文本,错误的主要来源是什么,以及哪些问题应该进一步研究,以提高最先进的。
2014-10-27 cs.CL
Research on Information Extraction of LCSTS Dataset Based on an Improved BERTSum-LSTM Model
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);College of Physics, Donghua University(东华大学物理学院);Glorious Sun School of Business & Management, Donghua University(东华大学旭日工商管理学院);College of Medical Technology, Shanghai University of Medicine & Health Sciences(上海健康医学院医学技术学院);College of Information Sciences and Technology, Donghua University(东华大学信息科学与技术学院)
针对中文新闻摘要生成中的语义复杂与分词难题,本文改进BERTSum-LSTM模型用于LCSTS数据集信息抽取,实验证明其生成摘要效果良好,对新闻摘要构建有重要意义。
2024-06-26 cs.AI cs.CL
Flood Event Extraction from News Media to Support Satellite-Based Flood Insurance
Columbia University in the City of New York(哥伦比亚大学);International Research Institute for Climate and Society, Columbia University in the City of New York(哥伦比亚大学国际气候与社会研究所);Lamont-Doherty Earth Observatory, Columbia University in the City of New York(哥伦比亚大学拉蒙特-多尔蒂地球观测站);University of Brescia(布雷西亚大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本研究提出利用新闻媒体提取高分辨率时空信息以支持基于卫星的洪水指数保险,发布4万篇新闻文章数据集,并证明上下文分类器优于关键词模型,新闻时间序列与卫星淹没面积相关性达0.70。
2023-12-05 cs.CL cs.IR cs.LG
Earthquake Response Analysis with AI
Indian Institute of Information Technology Raichur(印度信息技术学院赖布尔分校);National Institute of Technology, Rourkela(鲁尔克拉国家理工学院);Space Research Institute, Austrian Academy of Sciences(奥地利科学院空间研究所);Nikhef(荷兰国家亚原子物理研究所)
本研究探索利用Twitter数据开展地震响应分析,构建结合NLP技术的机器学习框架,提取推文位置信息识别受灾区、生成灾情图并通过WebGIS展示,助力优化灾害响应与资源调配。
2025-03-14 cs.CL cs.CY cs.SI
TweetBERT: A Pretrained Language Representation Model for Twitter Text Analysis
Lakehead University(湖首大学)
Twitter是一个著名的微博社交网站,用户可以实时表达自己的观点和意见。因此,推文往往包含有价值的信息。随着深度学习在自然语言处理领域的发展,从推文中提取有意义的信息已经成为自然语言研究者越来越感兴趣的问题。应用现有的语言表示模型从Twitter中提取信息通常不会产生好的结果。此外,还没有针对社交媒体领域的文本分析的现有语言表示模型。因此,在本文中,我们介绍了两个TweetBERT模型,它们是领域特定的语言表示模型,在数百万条推文上进行了预训练。我们发现,在每个Twitter数据集上,TweetBERT模型在Twitter文本挖掘任务中的表现明显优于传统的BERT模型,超过7%。我们还通过在31个不同的数据集上评估7个BERT模型来提供广泛的分析。我们的研究结果验证了我们的假设,即在Twitter语料库上持续训练语言模型有助于Twitter的性能。
2020-10-17 cs.CL
CMNEE: A Large-Scale Document-Level Event Extraction Dataset based on Open-Source Chinese Military News
National University of Defense Technology(国防科技大学);Southeast University(东南大学);Tsinghua University(清华大学)
针对军事文本事件抽取的数据稀缺问题,提出大规模文档级中文军事新闻事件抽取数据集CMNEE,含17,000文档和29,223事件,实验表明该领域任务更具挑战性。
2024-04-18 cs.CL
ExcavatorCovid: Extracting Events and Relations from Text Corpora for Temporal and Causal Analysis for COVID-19
Raytheon BBN Technologies(雷神BBN科技公司)
政策制定者及时应对以减轻COVID-19大流行的影响取决于对事件、其原因及其影响的全面把握。据报道,这些事件的速度和规模令人震惊。在本文中,我们介绍了挖掘机Covid,一个机器阅读系统,摄取开源文本文档(例如,新闻和科学出版物),提取COVID 19相关事件及其之间的关系,并构建时间和因果分析图(TCAG)。挖掘机将帮助政府机构减轻信息过载,了解与疫情相关的政治和经济决策及事件可能产生的下游影响,并及时做出反应,以减轻COVID-19的影响。我们预计挖掘机的实用性将在COVID-19大流行之后继续存在:挖掘机将使分析师和决策者能够更好地理解和解决未来的复杂问题。交互式TCAG可视化可在http://afrl402.bbn.com:5050/index.html上获得。我们还在https://vimeo.com/528619007上发布了一个演示视频。
2021-05-05 cs.CL
Towards Deep Semantic Analysis Of Hashtags
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术研究所)
主题标签是在各种社交网络和微博平台上使用的语义句法结构,使用户能够开始特定主题的讨论或将帖子分类到所需的类别中。因此,将标签中存在的实体分段和链接可以帮助更好地理解和提取社交媒体上共享的信息。然而,由于在主题标签中缺少空格分隔符(例如#nsavssnowden),将主题标签分割成组成实体(在这种情况下为“NSA”和“Edward Snowden”)不是一项简单的任务。大多数当前最先进的社交媒体分析系统,如情感分析和实体链接,往往要么忽略主题标签,要么将其视为单个单词。在本文中,我们提出了一种上下文感知的方法来分割和链接实体的主题标签的知识库(KB)的条目,根据上下文内的推文。我们的方法分割和链接的实体在标签,标签语义和推文之间的一致性最大化。据我们所知,没有现有的研究解决了在主题标签中链接实体以提取语义信息的问题。我们在两个不同的数据集上评估我们的方法,并通过在标签中分割和链接实体提供的额外语义信息来证明我们的技术在提高推文中的整体实体链接方面的有效性。
2015-01-13 cs.CL cs.IR
Extracting Victim Counts from Text
ETH Zürich(苏黎世联邦理工学院);Institute for Machine Learning(机器学习研究所)
在危机事件期间,人道主义部门的决策者依靠及时和准确的信息。了解有多少平民在地震中受伤对于正确分配援助至关重要。有关这类受害者人数的信息往往只能在报纸和其他报道的事件描述全文中获得。从文本中提取数字具有挑战性:数字有不同的格式,可能需要进行数字推理。这使得纯粹基于字符串匹配的方法是不够的。因此,除了死亡人数之外,受伤、流离失所或受虐待的受害者的细粒度计数往往无法提取,也无法看到。我们将受害者计数提取作为具有回归或分类目标的问答(QA)任务。我们比较正则表达式,依存句法分析,语义角色标注为基础的方法,和先进的文本到文本模型。除了模型的准确性,我们还分析了提取的可靠性和鲁棒性,这是这项敏感任务的关键。特别是,我们讨论模型校准和调查Few-Shot和分布性能。最后,我们提出了一个全面的建议,该模型选择不同的desiderata和数据域。我们的工作是第一批在现实世界的用例中应用以数字为中心的大语言模型并产生积极影响的工作。
2023-02-23 cs.AI cs.CL cs.LG
EXCEEDS: Extracting Complex Events via Nugget-based Grid Modeling in Scientific Domain
Beijing Institute of Technology(北京理工大学);Microsoft Research Asia(微软亚洲研究院)
针对科学领域事件密集、信息形式复杂的特点,构建大规模多事件文档级数据集SciEvents,并提出端到端框架EXCEEDS,将密集线索块编码为网格矩阵,简化复杂事件提取为基于线索块的网格建模任务,取得最优性能。
2026-06-09 cs.CL
Open Domain Event Extraction Using Neural Latent Variable Models
Beijing Institute of Technology(北京理工大学);Zhejiang Lab(之江实验室);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
我们考虑开放域事件提取,从新闻集群中提取无约束类型的事件的任务。构造了一种新的隐变量神经网络模型,该模型可扩展到非常大的语料库。收集数据集并手动注释,设计特定于任务的评估指标。结果表明,所提出的无监督模型提供了更好的性能相比,国家的最先进的事件模式归纳方法。
2019-06-17 cs.CL
LLMFactor: Extracting Profitable Factors through Prompts for Explainable Stock Movement Prediction
The University of Tokyo(东京大学);Hokkaido University(北海道大学)
提出 LLMFactor 框架,通过 SKGP 提示让 LLM 结合背景知识、新闻因子与文本化历史股价预测股票走势,并在中美四个基准上验证其优于现有方法。
2024-06-16 cs.AI cs.CE cs.CL
A Probabilistic Model with Commonsense Constraints for Pattern-based Temporal Fact Extraction
University of Notre Dame(圣母大学)
文本模式(例如,国家总统人员)是指定和/或生成的,用于从非结构化数据中提取事实信息。基于模式的信息抽取方法因其高效性和可移植性而得到广泛的认可。然而,并不是每个模式都是可靠的:一个主要的挑战是从不同的,有时是相互冲突的提取中获得最完整和准确的事实。在这项工作中,我们提出了一个概率图形模型,制定事实提取的生成过程。它自动推断真实的事实和模式的可靠性,无需任何监督。它有两个新颖的设计,专门为时间事实:(1)它模型的模式可靠性的两种类型的时间信号,包括时间标签的文本和文本生成时间;(2)它模型的常识约束作为可观察的变量。实验结果表明,我们的模型显着优于现有的方法从新闻数据中提取真实的时间事实。
2020-06-11 cs.CL cs.DB
Predicting Event Time by Classifying Sub-Level Temporal Relations Induced from a Unified Representation of Time Anchors
Kyoto University(京都大学);University of Tokyo(东京大学)
从新闻文章中提取事件时间是一项具有挑战性但有吸引力的任务。在对比最现有的对明智的时间链接注释,Reimers等人。(2016)建议注释时间锚(a.k.a.每一个事件的确切时间。他们的工作代表了一天/多天和确定/不确定的离散表示的时间锚。这增加了对两个时间锚之间的时间关系建模的复杂性,这不能归类为Allen的区间代数(Allen,1990)的关系。在本文中,我们提出了一种有效的方法来分解这种复杂的时间关系到子级别的关系,通过引入一个统一的四重表示单天/多天和确定/不确定的时间锚。时间关系分类器是以多标签分类的方式训练的。我们的方法的系统结构比现有的决策树模型简单得多(Reimers等人,2018),由十几个节点分类器组成。本文的另一个贡献是构建了一个规模更大的事件时间语料库(256篇新闻文档),该语料库具有合理的注释者间一致性(IAA),以克服现有事件时间语料库(36篇新闻文档)的数据不足。实验结果表明,我们的方法优于国家的最先进的决策树模型和数据大小的增加获得了显着的性能改善。
2020-08-14 cs.CL cs.LG
Hate is the New Infodemic: A Topic-aware Modeling of Hate Speech Diffusion on Twitter
Jadavpur University(贾达夫普尔大学);IIIT-Delhi(德里印度理工学院);Wipro AI(威普罗人工智能)
网络仇恨言论,特别是在Twitter等微博平台上的仇恨言论,可以说是过去十年来最严重的问题。一些国家报告说,因恶意仇恨运动而引发的仇恨犯罪急剧上升。虽然检测仇恨言论是新兴的研究领域之一,但信息网络中与主题相关的仇恨的产生和传播仍未得到充分探讨。在这项工作中,我们专注于探索用户行为,这触发了Twitter上仇恨言论的起源,以及它如何通过转发传播。我们抓取了一个包含推文、转发、用户活动历史和追随者网络的大规模数据集,其中包括来自超过$41$百万独立用户的超过1.61亿条推文。我们还收集了超过60万篇在线发布的当代新闻文章。我们描述了支配这些动态的不同信息信号。我们的分析区分扩散动力学在仇恨的存在下,从通常的信息扩散。这促使我们在具有真实世界知识的主题感知环境中制定建模问题。为了预测任何给定标签的仇恨言论的开始,我们提出了多个功能丰富的模型,其中表现最好的模型的宏观F1得分为0.65。同时,为了预测Twitter上的转发动态,我们提出了RETINA,一种新的神经结构,它使用缩放的点积注意力来整合外源性影响。RETINA达到了0.85的宏观F1分数,超过了多个最先进的模型。我们的分析揭示了与现有的扩散模型相比,RETINA预测仇恨内容的转发动态的最高能力。
2020-10-09 cs.CL cs.LG cs.SI
Beyond Grounding: Extracting Fine-Grained Event Hierarchies Across Modalities
Columbia University(哥伦比亚大学);Virginia Tech(弗吉尼亚理工大学);Samsung Research America(三星美国研究院);HKUST(香港科技大学)
本文提出从多模态数据中提取事件层级结构的任务,构建MultiHiEve数据集,并设计弱监督模型以超越现有基线,揭示跨模态事件的层级关系。
2023-12-20 cs.CL cs.CV
Tense, aspect and mood based event extraction for situation analysis and crisis management
Middle East Technical University(中东科技大学);Graduate School of Informatics(信息学研究生院)
现在的事件抽取系统主要处理相对少量的关于情景的时间和模态限定的信息,主要处理过去时态的断言句。然而,具有更广泛的时态、体和语气覆盖范围的系统可以提供更好的分析,并且可以用于更广泛的文本分析应用。本论文针对土耳其语开发了一个这样的系统。这是通过扩展开放源代码信息挖掘和分析(OPTIMA)研究小组的事件提取软件,通过实现适当的扩展的语义表示格式,通过添加一个部分语法,提高TAM(时态,方面和语气)标记,副词分析和匹配功能的Express,并通过构建一个适当的词典在CORLEONE的标准。这些扩展基于IV锚定关系理论(Temürcü,2007,2011),这是一个跨语言适用的语义框架,用于分析时态,体和语气相关类别。其结果是一个系统,它可以,除了提取基本的事件结构,分类的句子在新闻报道中,根据其时间,模态和意志/言外之言的价值。虽然重点是土耳其语的自然灾害、疾病爆发和人为灾害的新闻报道,但这种方法可以适用于其他语言、领域和体裁。这一事件提取和分类系统经过进一步发展,可以为自动浏览系统提供基础,以防止环境和人道主义风险。
2020-08-01 cs.CL
Temporal Data Meets LLM -- Explainable Financial Time Series Forecasting
Amazon AWS(亚马逊云科技);Amazon Alexa AI(亚马逊Alexa人工智能部门);Amazon Benchmarking(亚马逊基准测试部门)
本研究利用大语言模型(GPT-4与Open-LLaMA)对NASDAQ-100股票进行可解释的金融时间序列预测,通过跨序列推理和多模态信息整合,优于ARMA-GARCH等基线模型,展示了LLM在此领域的潜力。
2023-06-19 cs.AI cs.CL cs.LG