Complex Mathematical Symbol Definition Structures: A Dataset and Model for Coordination Resolution in Definition Extraction
University of Minnesota(明尼苏达大学);University of Pennsylvania(宾夕法尼亚大学);Allen Institute for AI(艾伦人工智能研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校)
本文针对数学符号定义抽取中的复杂并列结构解析难题,提出了包含5,927个标注句子的SymDef数据集,并设计了一种基于符号掩盖与槽位填充的定义抽取新方法,其宏F1分数达84.82,显著优于RoBERTa等基线系统。
2023-05-24 cs.CL
Data Augmentation Method Utilizing Template Sentences for Variable Definition Extraction
Graduate School of Informatics, Kyoto University(京都大学情报学研究科)
针对跨领域变量定义抽取中高质量训练数据成本高的问题,提出利用模板句与变量-定义对生成定义句的数据增强方法,并在化学过程论文上取得89.6%的准确率。
2024-05-23 cs.CL
Reading the Manual: Event Extraction as Definition Comprehension
Johns Hopkins University(约翰霍普金斯大学);University of Rochester(罗切斯特大学)
我们问文本的理解是否已经进展到我们可以通过从注释手册中提取事件信息的增量细化漂白语句。这样的能力将允许预期的最终用户通过诸如“某人在某个时间出生在某个地点”之类的声明来简单地构造和扩展提取框架。“我们介绍了一个使用这种语句的模型的例子,实验表明我们可以在封闭的本体下提取事件,并通过阅读新的定义来概括看不见的事件类型。
2020-10-23 cs.CL
Fine-Tuning BERTs for Definition Extraction from Mathematical Text
University of Chicago(芝加哥大学)
本文通过微调三个BERT模型进行数学文本定义抽取,并在Chicago、TAC和WFMALL数据集上验证,发现高性能Sentence-BERT以更少计算开销取得与先前模型相当的准确率、召回率和精确率。
2024-06-27 cs.CL
Enhancing Document-level Argument Extraction with Definition-augmented Heuristic-driven Prompting for LLMs
School of Engineering and Informatics, University of Sussex(萨塞克斯大学工程与信息学院);International Business School Suzhou, Xi’an Jiaotong-Liverpool University(西交利物浦大学苏州国际商学院);Management School, University of Liverpool(利物浦大学管理学院)
本文提出定义增强启发式驱动提示(DHP)方法,结合定义、启发式规则与思维链推理,提升大语言模型在文档级事件论元抽取中的性能并减少对大规模标注数据的依赖。
2024-08-30 cs.CL
Efficient Zero-shot Event Extraction with Context-Definition Alignment
Tencent AI Lab(腾讯人工智能实验室)
事件抽取(EE)是从文本中识别感兴趣的事件提及的任务。传统的努力主要集中在监督设置。然而,这些监督模型不能概括到预定义本体之外的事件类型。为了填补这一空白,许多努力已经致力于zero-shot EE问题。本文遵循事件类型语义建模的趋势,但更进一步。我们认为,使用事件类型名称的静态嵌入可能是不够的,因为单个单词可能是模糊的,我们需要一个句子来准确定义类型语义。为了对定义语义进行建模,我们使用两个独立的Transformer模型将上下文化的事件提及和相应的定义投影到同一个嵌入空间中,然后通过对比学习来最小化它们的嵌入距离。最重要的是,我们还提出了一个变暖阶段,以帮助模型学习类似定义之间的微小差异。我们将我们的方法命名为具有定义的Zero-shot事件提取(ZED)。在MAVEN数据集上的实验表明,由于采用了不相交设计,该模型的推理速度明显优于以往所有的zero-shot EE方法。进一步的实验还表明,当注释可用时,ZED可以很容易地应用于Few-Shot设置,并且始终优于基线监督方法。
2022-11-13 cs.CL
From syntactic structure to semantic relationship: hypernym extraction from definitions by recurrent neural networks using the part of speech information
Southwest University(西南大学)
上下义关系是语义网络中的重要组成部分。从定义中识别上位词是自然语言处理和语义分析中的一项重要任务。虽然像WordNet这样的公共词典适用于常见单词,但它在特定领域场景中的应用有限。现有的上位词提取工具要么依赖于特定的语义模式,要么专注于词的表示,这都表现出一定的局限性。
2020-12-07 cs.AI cs.CL
Understanding Jargon: Combining Extraction and Generation for Definition Modeling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University at Buffalo(布法罗大学);NVIDIA(英伟达)
机器能知道什么是孪生素数吗?从这个短语的构成来看,机器可能会猜出孪生素数是某种素数,但如果没有额外的知识,仍然很难准确地推断出孪生素数代表什么。在这里,孪生素数是一个术语-一个特定领域的专家使用的专业术语。解释行话是具有挑战性的,因为它通常需要领域知识来理解。近年来,人们对自动提取和生成词的定义越来越感兴趣。然而,现有的方法,无论是提取或生成,执行行话不佳。本文提出了一种提取和生成相结合的行话定义建模方法:首先从Web上提取目标行话的自定义信息和相关定义信息,然后结合提取的定义信息生成最终的行话定义。我们的框架非常简单但有效:实验表明,我们的方法可以为行话生成高质量的定义,并且显著优于最先进的模型,例如,BLEU评分从8.76至22.66,人类注释评分从2.34至4.04。
2022-10-20 cs.AI cs.CL
A Joint Model for Definition Extraction with Syntactic Connection and Semantic Consistency
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院);VinAI Research(VinAI研究院)
定义抽取是信息抽取领域的一个重要研究课题,旨在从非结构化文本中识别术语及其相应的定义。该任务可以被形式化为句子分类任务(即,是否包含术语定义对)或顺序标记任务(即,(三)界定术语和定义的界限)。DE以前的工作只集中在两种方法之一,未能对两个任务之间的相互依赖关系进行建模。在这项工作中,我们提出了一种新的模型DE,同时执行两个任务,在一个单一的框架中受益于他们的相互依赖性。我们的模型具有深度学习架构,以利用输入句子的全局结构以及术语和定义之间的语义匹配,从而提高DE的表示向量的质量。除了句子分类和顺序标记之间的联合推理之外,所提出的模型与DE的先前工作的根本不同之处在于先前工作仅采用了输入句子的局部结构(即,词与词之间的关系),并且尚未考虑术语和定义之间的语义重叠。为了实现这些新的想法,我们的模型提出了一个多任务学习框架,该框架采用图卷积神经网络,并预测术语和定义之间的依赖路径。我们还寻求在全球范围内(即,增加整个句子和术语/定义的表示之间的语义一致性)和局部(即,促进术语的表示和定义之间的相似性)。
2020-04-29 cs.AI cs.CL
RGCL at SemEval-2020 Task 6: Neural Approaches to Definition Extraction
University of Wolverhampton(伍尔弗汉普顿大学);University of Surrey(萨里大学)
本文介绍了RGCL团队提交给SemEval 2020任务6:DeftEval,子任务1和2。该系统在句子和标记级别对定义进行分类。它利用了最先进的神经网络架构,该架构具有一些特定于任务的适应性,包括自动扩展的训练集。总体而言,该方法达到了可接受的评估分数,同时保持了架构选择的灵活性。
2020-10-13 cs.AI cs.CL cs.LG
Transformer-Based Extraction of Statutory Definitions from the U.S. Code
Google(谷歌);Cornell University(康奈尔大学)
本研究提出一个基于Legal-BERT的多阶段NLP流水线,用于从美国法典中自动提取法定定义及其适用范围,在数千条定义上达到96.8%精确率、98.9%召回率,显著优于传统方法,为法律推理奠定基础。
2025-04-23 cs.AI cs.CL
Complex Relation Extraction: Challenges and Opportunities
Fudan University(复旦大学)
关系抽取的目的是识别文本中实体之间的目标关系。关系抽取对于知识库的构建和文本的理解具有重要意义。传统的二值关系抽取包括监督抽取、半监督抽取和远监督抽取,已经得到了广泛的研究并取得了显著的成果。近年来,许多复杂的关系抽取任务,即,提出了简单二元关系抽取的变体,以满足实际中复杂的应用。然而,迄今为止,还没有文献对这些复杂的关系抽取工作进行全面的调查和总结。本文首先介绍了传统的简单二值关系抽取的最新进展。然后,我们总结了现有的复杂关系抽取任务,并提出了定义,最新进展,挑战和机遇,为每一个任务。
2020-12-09 cs.CL
Automated Discovery of Mathematical Definitions in Text with Deep Neural Networks
Shamoon College of Engineering(沙蒙工程学院)
从文本中自动提取定义是一项重要的任务,在诸如科学文本的摘要、分析、自动分类生成、本体生成、概念识别和问答等自然语言处理领域中具有大量的应用。对于包含在单个句子中的定义,这个问题可以被视为将句子分为定义和非定义的二元分类。在本文中,我们专注于自动检测的单句定义的数学文本,这是很难从周围的文本分离。我们尝试了几种数据表示,包括句子句法结构和词嵌入,并应用卷积神经网络(CNN)和长短期记忆网络(LSTM)等深度学习方法,以识别数学定义。我们的实验证明了CNN及其与LSTM组合在语法丰富的输入表示上的优越性。我们还提出了一个新的数据集的定义提取数学文本。我们证明了这个数据集对于训练旨在提取数学定义的监督模型是有益的。我们对不同领域的实验表明,数学定义需要特殊处理,并且使用跨领域学习对该任务效率低下。
2020-11-09 cs.CL cs.IR
Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Virginia(弗吉尼亚大学)
针对零样本关系抽取缺乏标注且难适应新关系的问题,提出 REPaL,利用 LLM 基于关系定义和未标注语料合成种子,并通过双向 SLM 反馈与多轮迭代提升覆盖、降低偏差。
2024-10-25 cs.CL
UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction
University Politehnica of Bucharest(布加勒斯特理工大学)
这项工作介绍了我们在SemEval-2020的第六个任务的背景下的贡献:从教科书中的自由文本中提取定义(DeftEval)。该竞赛由三个具有不同粒度水平的子任务组成:(1)将句子分类为定义性或非定义性,(2)标记定义性句子,以及(3)关系分类。我们使用各种预训练的语言模型(即,BERT、XLNet、RoBERTa、Sci BERT和AL BERT)来解决竞赛的三个子任务中的每一个。具体来说,对于每个语言模型变体,我们通过冻结其权重并对其进行微调来进行实验。我们还探索了一个多任务架构,该架构经过训练,可以联合预测第二和第三个子任务的输出。我们在DeftEval数据集上评估的表现最好的模型获得了第一个子任务的第32位和第二子任务的第37位。该代码可在https://github.com/avramandrei/DeftEval上进行进一步研究。
2020-09-16 cs.AI cs.CL cs.IR
Document-Level Event Extraction with Definition-Driven ICL
School of Information Science(信息科学学院);Beijing Language and Culture University(北京语言大学)
针对文档级事件抽取中 LLM 提示设计难题,提出 DDEE 策略,通过定义驱动提示优化、数据平衡及结构化约束提升事件与论元抽取效果。
2024-08-10 cs.AI cs.CL cs.CY
CCKS 2019 Shared Task on Inter-Personal Relationship Extraction
Soochow University(苏州大学);Gowild Robotics Co., Ltd(狗尾草机器人有限公司)
CCKS2019共享任务致力于人际关系提取。给定两个人称实体和至少一个包含这两个实体的句子,参与团队被要求根据给定的关系列表预测实体之间的关系。今年,来自各大学和组织的358支队伍参加了这项任务。在本文中,我们提出的任务定义,数据的描述和评估方法,在这个共享的任务。我们还简要介绍了参与团队所采用的各种方法。最后给出了评价结果。
2019-08-29 cs.CL
Extraction of semantic relations from a Basque monolingual dictionary using Constraint Grammar
本文论述了利用词典半自动地构建词典和词汇知识库。我们研究的最终目标是用语义信息,如意义、定义、语义关系等,丰富巴斯克语词汇数据库,摘自巴斯克语单语词典本文的工作主要集中在提取最能体现中心词的语义关系,即同义关系、反义关系、上位关系和其他由特定关系词和派生词标记的关系。处理所有名词性、动词性和形容词性条目。巴斯克语使用形态变化来标记格,因此语义关系必须从后缀而不是介词推断。我们的方法结合了形态分析器和表面语法分析(基于约束语法),并已被证明是非常成功的高度曲折的语言,如巴斯克语。编写规则的工作量和字典的实际处理时间都非常少。目前,我们已经提取了42,533个关系,只剩下2,943个(9%)定义没有任何提取的关系。出错率非常低,因为只有2.2%的提取关系是错误的。
2000-10-17 cs.CL
CRYSTAL: Inducing a Conceptual Dictionary
信息抽取系统的核心知识源之一是语言模式词典,它可以用来识别文本的概念内容。本文介绍了CRYSTAL,一个系统,自动诱导的字典的“概念节点定义”足以识别相关信息的训练语料库。这些概念节点定义中的每一个都尽可能地泛化而不产生错误,使得最小数量的字典条目覆盖正训练实例。由于CRYSTAL测试了每个定义的准确性,因此在创建可靠的提取规则方面,它通常可以超越人类的直觉。
1995-05-09 cmp-lg cs.CL
A Large-Scale Multilingual Disambiguation of Glosses
Department of Computer Science, Sapienza University of Rome(罗马大学计算机科学系)
将概念和命名实体链接到知识库已成为自然语言理解的关键任务。在这方面,最近的工作已经显示出在各种自然语言处理应用中利用文本定义的关键优势。然而,到目前为止,还没有可靠的大规模语料库的意义注释文本的定义提供给研究界。在本文中,我们提出了一个大规模的高质量语料库的消歧注释多种语言,包括从一个统一的意义库存的概念和命名实体的意义注释。我们的方法的建设和消歧的语料库建立在一个大型的多语言语义网络和一个国家的最先进的消歧系统的结构;首先,我们收集互补信息的等价定义在不同的语言,以提供上下文消歧,然后我们将其与语义相似性为基础的细化。因此,我们获得了一个多语言的文本定义语料库,其中包含263种语言的3800多万个定义,我们可以在http://lcl.uniroma1.it/disambiguated-glosses上免费获得。开放信息抽取和意义聚类的实验显示了两种最先进的方法如何通过将我们的消歧语料库集成到它们的管道中来提高它们的性能。
2016-08-24 cs.CL
Automatic classification of bengali sentences based on sense definitions present in bengali wordnet
College of Engineering and Management, Kolaghat(科拉加特工程与管理学院);Jadavpur University, Kolkata(加尔各答贾达夫普尔大学);Indian Statistical Institute, Kolkata(加尔各答印度统计研究所)
基于孟加拉语WordNet中可用的词的意义定义,尝试将孟加拉语句子根据其潜在的意义自动分类为不同的组。输入的句子收集从50个不同类别的孟加拉语文本语料库中开发的TDIL项目的印度政府,而信息的不同意义上的特定的歧义词汇项收集从孟加拉语WordNet。在实验的基础上,我们使用朴素贝叶斯概率模型作为一个有用的句子分类。我们已经应用该算法超过1747个句子,其中包含一个特定的孟加拉语词汇,由于其模糊的性质,能够触发不同的意义,使句子在不同的意义。在我们的实验中,我们已经取得了约84%的准确率的结果,对总的输入句子的意义分类。我们分析了那些不符合我们的实验,并影响结果的剩余句子,注意到在许多情况下,错误的句法结构和语义信息少的句子语义分类的主要障碍。本研究在自动文本分类、机器学习、信息抽取、词义消歧等方面具有一定的应用价值。
2015-08-06 cs.CL
Benchmarking terminology building capabilities of ChatGPT on an English-Russian Fashion Corpus
University of Surrey(萨里大学);University of Malaga(马拉加大学)
研究在英语-俄语时尚可比语料库上比较 SketchEngine、TBXTools 与 ChatGPT 的术语提取及定义生成能力,发现 ChatGPT 精确率更稳定,但各工具均有适用场景。
2024-12-04 cs.CL
Semi-automatic Data Enhancement for Document-Level Relation Extraction with Distant Supervision from Large Language Models
National Key Laboratory of General Artificial Intelligence, BIGAI(北京通用人工智能研究院)
提出一种结合大语言模型与自然语言推理的方法,自动生成关系三元组以增强文档级关系抽取数据集,并通过DocGNRE数据集验证其在长尾关系类型上的有效性。
2023-11-13 cs.AI cs.CL