Data Mining of Causal Relations from Text: Analysing Maritime Accident Investigation Reports
Aalto University School of Science(阿尔托大学理学院);University of Surrey(萨里大学)
文本挖掘是从文本中提取人们感兴趣的信息的过程。这种方法包括来自诸如信息检索(IR)、自然语言处理(NLP)和信息抽取(IE)的各种领域的技术。在这项研究中,应用文本挖掘方法从海事事故调查处(MAIB)收集的海事事故调查报告中提取因果关系。这些因果关系提供了关于事故背后各种机制的信息,包括与事故有关的人为因素和组织因素。本研究的目的是希望借由更可行的方式,来萃取海事事故调查报告中的致因,以利分析。对报告中的促成原因进行仔细调查,为今后提高安全性提供了机会。本研究采用两种方法来提取因果关系。它们是1)模式分类法和2)连接词法。早期的一个使用朴素贝叶斯和支持向量机(SVM)作为分类器。后者只是在句子中搜索连接原因和结果的单词。将使用这两种方法提取的因果模式与手动(人类专家)提取进行比较。模式分类方法显示出公平和合理的性能与F-测量(平均)= 65%相比,连接词的方法与F-测量(平均)= 58%。本文的研究为文本挖掘方法在海事调查报告因果关系提取中的应用提供了依据。
2015-07-09 cs.CL cs.IR
PromptRE: Weakly-Supervised Document-Level Relation Extraction via Prompting-Based Data Programming
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工大学)
PromptRE提出一种结合提示技术与数据编程的弱监督文档级关系抽取方法,利用标签分布和实体类型先验知识,在ReDocRED基准上优于基线,有效解决“无关系”问题。
2023-10-13 cs.CL cs.LG
A Question-answering Based Framework for Relation Extraction Validation
Fudan University(复旦大学);Tencent AI Lab(腾讯AI实验室)
关系抽取是知识获取和文本理解中的一项重要任务。现有的工作主要集中在通过提取有效的特征或设计合理的模型结构来改进关系抽取。然而,很少有工作集中在如何验证和纠正现有的关系抽取模型产生的结果。我们认为,验证是一个重要的和有前途的方向,以进一步提高性能的关系抽取。在本文中,我们探讨了使用问答作为验证的可能性。具体来说,我们提出了一个新的问答为基础的框架,以验证关系抽取模型的结果。我们提出的框架可以很容易地应用到现有的关系分类器,没有任何额外的信息。我们在流行的纽约时报数据集上进行了广泛的实验,以评估所提出的框架,并观察到在五个强基线上的一致改进。
2021-04-07 cs.AI cs.CL cs.LG
Constructing a Knowledge Graph for Vietnamese Legal Cases with Heterogeneous Graphs
VNU University of Engineering and Technology(越南国立大学工程技术大学);National Institute of Informatics(国立信息学研究所)
本文提出一种面向越南法律案件的三阶段知识图谱构建方法,通过数据爬取、信息抽取和异构图谱部署,结合无监督学习实现相关法律识别,为法律分析与决策支持提供基础。
2023-09-16 cs.CL
IMoJIE: Iterative Memory-Based Joint Open Information Extraction
Indian Institute of Technology Delhi(印度理工学院德里分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
虽然传统的开放式信息抽取系统是基于统计和规则的,但最近神经模型已经被引入该任务。我们的工作建立在CopyAttention,一个序列生成OpenIE模型(Cui et.例如,2018年)。我们的分析表明,CopyAttention产生一个常数的提取每句话,其提取的元组往往表示冗余信息。我们提出IMoJIE,CopyAttention的扩展,它产生下一个提取条件的所有先前提取的元组。这种方法克服了CopyAttention的两个缺点,导致每个句子的不同提取数量可变。我们在从几个非神经系统的提取中引导的训练数据上训练IMoJIE,这些数据已经被自动过滤以减少冗余和噪声。IMoJIE比CopyAttention高出约18个F1点,比基于BERT的强基线高出2个F1点,为该任务建立了一个新的技术水平。
2020-05-17 cs.CL
Event extraction based on open information extraction and ontology
Ministry of Higher Education and Scientific Research(高等教育与科学研究部);University Tunis El manar(突尼斯埃尔马纳尔大学);Faculty of Sciences of Tunis(突尼斯理学院)
在这篇硕士论文中提出的工作包括提取一组事件从自然语言写的文本。为此,我们以信息抽取和开放式信息抽取的基本概念为基础。首先,我们采用了一个开放的信息抽取系统(OIE)进行关系抽取,突出了OIE在事件抽取中的重要性,并将本体用于事件建模。我们用测试指标测试了我们方法的结果。因此,两级事件提取方法表现出良好的性能结果,但需要大量的专家干预,在分类器的建设,这将需要时间。在这种情况下,我们提出了一种方法,减少了专家干预的关系抽取,识别的实体和推理是自动的,并基于技术的适应和通信。最后,为了证明提取结果的相关性,我们进行了一组实验,使用不同的测试指标以及比较研究。
2019-06-24 cs.AI cs.CL
Scientific and Technological Text Knowledge Extraction Method of based on Word Mixing and GRU
知识抽取的任务是从非结构化文本数据中抽取三元关系(头实体-关系-尾实体)。现有的知识提取方法分为“流水线”方法和联合提取方法。“流水线”方法是将命名实体识别和实体关系抽取分离,使用各自的模块进行抽取。这种方法虽然具有较好的灵活性,但训练速度较慢。联合抽取的学习模型是通过神经网络实现的端到端模型,同时实现实体识别和关系抽取,能够很好地保留实体和关系之间的关联,将实体和关系的联合抽取转化为序列标注问题。提出一种基于词混合和GRU的科技资源知识抽取方法,结合词混合向量映射方法和自注意力机制,有效提高中文科技资源文本关系抽取的效果。
2022-03-31 cs.AI cs.CL
Investigations on Knowledge Base Embedding for Relation Prediction and Extraction
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
我们报告的有效性评估现有的知识库嵌入模型的关系预测和关系抽取在广泛的基准。我们还描述了一个新的基准,这是更大,更复杂的比以前的,我们介绍,以帮助验证这两个任务的有效性。结果表明,知识库嵌入模型对关系预测普遍有效,但现有策略无法改善神经关系抽取模型,同时指出了现有方法的局限性。
2018-02-06 cs.CL
An Effective System for Multi-format Information Extraction
Northeastern University(东北大学)
2021年语言与智力挑战赛中的多格式信息抽取任务,旨在从不同维度对信息抽取进行综合测评。它由一个多槽关系抽取子任务和两个事件抽取子任务组成,这两个子任务分别从事件级和文档级抽取事件。在这里,我们描述我们的系统,这种多格式的信息抽取竞争任务。具体而言,对于关系抽取子任务,我们将其转换为传统的三元组抽取任务,并设计了一种基于投票的方法,充分利用现有的模型。对于事件级事件提取子任务,我们将其转换为NER任务,并使用基于指针标记的方法进行提取。此外,考虑到标注的触发信息可能有助于事件提取,设计了一个辅助触发识别模型,并利用多任务学习机制将触发特征集成到事件提取模型中。对于文档级事件提取子任务,我们设计了一种基于编码器-解码器的方法,并提出了一种类似于transformer的解码器。最后,我们的系统在该多格式信息抽取任务的测试集排行榜上排名第4,其关系抽取、文档级事件抽取和文档级事件抽取的F1得分分别为79.887%、85.179%和70.828%。我们模型的代码可以在{https://github.com/neukg/MultiIE}上找到。
2021-08-16 cs.AI cs.CL
Jointly Learning Span Extraction and Sequence Labeling for Information Extraction from Business Documents
CINNAMON AI;Hung Yen University of Technology and Education(兴安技术教育大学)
提出了一种新的商务文档信息抽取模型。与以往仅基于跨度提取或序列标记的研究不同,该模型兼顾了跨度提取和序列标记的优点。这种组合允许模型处理具有稀疏信息(少量提取信息)的长文档。该模型是端到端训练的,以统一的方式联合优化这两个任务。在英语和日语的四个商业数据集上的实验结果表明,该模型取得了令人满意的结果,并显着快于正常的跨度为基础的提取方法。代码也可用。
2022-05-26 cs.AI cs.CL
Joint Extraction Matters: Prompt-Based Visual Question Answering for Multi-Field Document Information Extraction
Sansan, Inc.(Sansan公司)
针对现有文档信息提取VQA方法孤立查询字段忽略依赖的问题,本文探究多字段联合提取的优势,通过多模型与数据集实验验证其准确率提升效果,还分析了性能与字段数的关系并量化字段关联,为鲁棒VQA系统设计提供实用方法。
2025-03-21 cs.CL cs.CV
Improving Zero-Shot Event Extraction via Sentence Simplification
ACLED和Our World in Data等网站的成功证明了从新闻、社交媒体、博客和论坛等形式的大量文本数据中以结构化格式提取事件的巨大效用。事件提取可以为正在发生的地缘政治危机提供一个窗口,并产生可操作的情报。随着大型预训练语言模型的激增,机器阅读理解(MRC)近年来已成为事件提取的新范式。在这种方法中,事件论元提取被框定为一个提取的问题回答任务。基于MRC的方法的关键优点之一是其执行zero-shot提取的能力。然而,长期依赖性的问题,即,触发词和论元词之间较大的词汇距离以及处理句法复杂的句子的困难困扰着基于MRC的方法。在本文中,我们提出了一种通用的方法来提高性能的MRC为基础的事件提取进行无监督的句子简化指导的MRC模型本身。我们在ICEWS地缘政治事件提取数据集上评估了我们的方法,特别注意“演员”和“目标”参数角色。我们展示了如何这样的上下文简化可以提高基于MRC的事件提取的性能超过5%的演员提取和超过10%的目标提取。
2022-04-06 cs.AI cs.CL
A Labeled Graph Kernel for Relationship Extraction
INESC-ID;IST(高等技术学院)
在本文中,我们提出了一种基于标记图核的关系抽取(RE)方法。我们提出的内核是一个特殊化的随机游走内核,利用先前在RE文献中研究的两个属性:(i)候选实体之间的单词或在句法表示中连接它们的单词特别可能携带有关关系的信息;以及(ii)将来自不同来源的信息结合在一个内核中可以帮助RE系统做出更好的决策。我们在蛋白质-蛋白质相互作用的数据集上进行了实验,结果表明,我们的方法获得的有效性值与最先进的核方法相当。此外,我们的方法是能够优于国家的最先进的内核时,与其他内核方法相结合。
2013-02-20 cs.CL cs.LG
Measurement Context Extraction from Text: Discovering Opportunities and Gaps in Earth Science
Jet Propulsion Laboratory(喷气推进实验室);California Institute of Technology(加州理工学院);University of Southern California(南加州大学)
我们提出了Marve,一个从自然语言文本中提取测量值、单位和相关词的系统。Marve使用条件随机场(CRF)来识别测量值和单位,然后使用基于规则的系统来查找句子中的相关实体,描述符和修饰符。句子标记由无向图模型表示,规则基于将值和单元连接到上下文单词的词性和单词依赖模式。Marve的独特之处在于它专注于测量上下文,早期的实验证明了Marve能够生成具有强大召回能力的高精度提取。我们还讨论了Marve在改进NASA提出的HyppIRI任务的测量要求方面的作用,HyppIRI是一种高光谱红外成像卫星,将研究世界生态系统。在一般情况下,我们的工作与HyppIRI证明了语义测量提取的价值,在表征定量讨论包含在大型语料库的自然语言文本。这些提取加速了广泛的跨领域研究,并使科学家们了解了新的算法方法和实验细微差别。它们还有助于确定HyspIRI带来的科学机会,从而提高科学投资和研究的效率。
2017-10-11 cs.AI cs.CL cs.IR
CodaRAG: Connecting the Dots with Associativity Inspired by Complementary Learning
National Taiwan University(国立台湾大学)
CodaRAG通过互补学习系统启发,提出了一种将碎片化信息整合为稳定记忆基础,通过多维路径遍历图结构,消除超关联噪声,提升检索和生成精度的框架。
2026-04-12 cs.AI cs.CL
Connecting Phrase based Statistical Machine Translation Adaptation
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(信息通信研究机构)
虽然统计机器翻译(SMT)可以使用更多的附加语料,但只有那些与原始语料属于相同或相似领域的语料才能直接提高SMT的性能。现有的改编方法大多集中在句子选择上。相比之下,短语是一个更小,更细粒度的数据选择单元,因此,我们提出了一个简单而有效的连接短语的适应方法,这是适用于双语短语对和单语n-gram适应。在IWELT/NIST数据集上对该方法进行了测试,结果表明,基于短语的SMT性能得到了显著提高(与基于短语的SMT基线系统相比提高了+1.6,与现有方法相比提高了+0.9).
2016-07-29 cs.CL
WikiRank: Improving Keyphrase Extraction Based on Background Knowledge
University of Texas at Dallas(德克萨斯大学达拉斯分校)
关键词是文档主要思想的有效表示。虽然背景知识可以提供关于文档的有价值的信息,但是它们很少被结合在关键短语提取方法中。在本文中,我们提出了WikiRank,一个无监督的方法提取关键词的基础上,从维基百科的背景知识。首先,我们为文档构建一个语义图。然后将关键词提取问题转化为图上的优化问题。最后,我们得到最佳的关键词集作为输出。我们的方法比其他最先进的模型在F1分数上获得了超过2%的改进。
2018-03-23 cs.CL cs.IR
PoD: Positional Dependency-Based Word Embedding for Aspect Term Extraction
Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);UC Berkeley(加州大学伯克利分校);Peking University(北京大学)
基于依存上下文的词嵌入联合学习词和依存上下文的表示,并已被证明是有效的方面的术语提取。在本文中,我们设计了基于位置依赖的词嵌入(PoD),它考虑了依赖上下文和位置上下文的方面术语提取。具体地,位置上下文经由相对位置编码来建模。此外,我们通过整合更多的词汇信息(例如,POS标签)。在SemEval 2014/2015/2016数据集上的实验表明,该方法在体词提取方面优于其他嵌入方法。
2020-12-18 cs.CL
Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification Using Graph Neural Networks?
Hasso Plattner Institute (HPI) / University of Potsdam(哈索·普拉特纳研究所(HPI)/ 波茨坦大学)
本文在五个数据集上系统比较多种图构建方案、GNN架构及Transformer模型,揭示简单图表示更适合长文档且兼具性能与效率。
2024-01-22 cs.CL
Affordance Extraction with an External Knowledge Database for Text-Based Simulated Environments
University of Hagen(哈根大学)
基于文本的模拟环境已被证明是机器学习方法的有效测试平台。可供件提取的过程可以用于生成用于在这样的环境内交互的可能动作。在本文中,利用外部知识数据库(特别是ConceptNet)的启示提取过程中的能力和挑战进行了研究。介绍了一种用于自动化示能表示提取的算法,并在交互式小说(IF)平台TextWorld和Jericho上进行了评估。为此,将收集的示能表示转换为IF代理的文本命令。为了探测自动化评估过程的质量,进行了额外的人类基线研究。该文件说明,尽管存在一些挑战,外部数据库原则上可以用于启示提取。本文最后提出了进一步修改和改进该工艺的建议。
2023-02-21 cs.CL
Connecting Speech Encoder and Large Language Model for ASR
Tsinghua University(清华大学);ByteDance(字节跳动)
本文比较全连接层、多头交叉注意力和Q-Former三种语音编码器到LLM的连接结构,证明Q-Former在多数据集、域外及长语音ASR中显著降低WER,并提出片段级Q-Former。
2023-09-26 cs.CL cs.SD eess.AS