Extracting Temporal Event Relation with Syntax-guided Graph Transformer
Virginia Tech(弗吉尼亚理工学院暨州立大学);Amazon(亚马逊)
提取时间关系(例如,之前、之后和同时)对于自然语言理解至关重要。这个问题的一个关键挑战是,当感兴趣的事件在文本中距离很远时,它们之间的上下文往往变得复杂,这使得解决它们之间的时间关系变得具有挑战性。因此,本文提出了一种新的语法引导图Transformer网络(SGT)来缓解这个问题,通过(1)显式地利用两个事件之间的连接,基于它们的依存句法分析树,和(2)自动定位两个事件之间的时间线索,通过一种新的语法引导的注意力机制。在两个基准数据集MATRES和TB-Dense上的实验表明,该方法在端到端时态关系抽取和时态关系分类上的性能都明显优于现有方法,并且在MATRES的对比集上具有较好的鲁棒性.该代码可在https://github.com/VT-NLP/Syntax-Guided-Graph-Transformer上公开获取。
2022-10-24 cs.AI cs.CL
Joint Event and Temporal Relation Extraction with Shared Representations and Structured Prediction
University of Southern California(南加州大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个联合的事件和时间关系抽取模型与共享的表示学习和结构化预测。所提出的方法有两个优点比现有的工作。首先,它通过允许事件和关系模块共享相同的上下文嵌入和神经表示学习器来改进事件表示。其次,它避免了传统的管道系统中的错误传播,利用结构化推理和学习方法来分配事件标签和时间关系标签联合。实验结果表明,该方法在事件抽取和时态关系抽取两个方面均优于现有系统,在两个基准数据集上的端到端F1分别提高了10%和6.8%.
2020-09-15 cs.AI cs.CL
WISTERIA: Weak Implicit Signal-based Temporal Relation Extraction with Attention
WISTERIA通过结合多头注意力与对事件对条件的top-K池化,提取时序关系的关键信息,提升时序关系提取的准确性和可解释性。
2026-03-24 cs.AI cs.CL
Automated tabulation of clinical trial results: A joint entity and relation extraction approach with transformer-based language representations
University College London(伦敦大学学院)
循证医学是医疗保健专业人员在做出决策时参考最佳证据的实践,构成了现代医疗保健的基础。然而,它依赖于劳动密集型的系统评价,领域专家必须从数千篇出版物中汇总和提取信息,主要是随机对照试验(RCT)结果,并将其纳入证据表。本文研究了自动化的证据表生成的问题分解在两个语言处理任务:\textit{named entity recognition},它确定文本中的关键实体,如药品名称,和\textit{relation extraction},映射它们的关系,将它们分离成有序的元组。我们专注于从已发表的RCT摘要报告的研究结果的句子的自动制表。作为联合提取管道的一部分,开发了两个深度神经网络模型,使用了迁移学习和基于transformer的语言表示的原理。为了训练和测试这些模型,开发了一个新的金标准语料库,包括来自六个疾病领域的近600个结果句子。这种方法表现出了显著的优势,我们的系统在多个自然语言处理任务和疾病领域表现良好,并且在训练过程中看不到的疾病领域中表现良好。此外,我们还证明了这些结果是可以通过训练我们的模型来实现的,只要训练200个例句。最终的系统是一个概念证明,证据表的生成可以是半自动化的,代表着向完全自动化的系统评价迈出了一步。
2021-12-10 cs.AI cs.CL
Grounded Optimization: A Layered Engineering Framework for Reducing LLM Hallucination in Automated Personal Document Rewriting
提出五层接地优化框架,通过时间验证、污染检测、结构不变性、提示接地和评估器,将简历重写中的幻觉率降至0.04-0.24。
2026-07-03 cs.AI cs.CL
An automated pipeline for standardised speech-unit annotation in spontaneous dialogue
Technical University of Denmark(丹麦技术大学)
该论文提出一种自动化流程,用于从自发对话录音中提取轮次和反馈语,结合多种技术,在丹麦语语料上达到F1=0.621,支持半自动标注工作流。
2026-10-05 cs.CL
A Weakly Supervised Approach to Train Temporal Relation Classifiers and Acquire Regular Event Pairs Simultaneously
Texas A&M University(德克萨斯A&M大学)
检测两个事件之间的时间关系的能力可以使许多应用受益。大多数现有的时间关系分类器是在监督的方式进行训练。相反,我们探索的观察,规则事件对显示一致的时间关系,尽管他们的各种上下文,这些丰富的上下文可以用来训练上下文时间关系分类器,它可以进一步识别新的时间关系上下文,并确定新的规则事件对。我们专注于检测前后的时间关系,并设计了一个弱监督学习方法,提取数以千计的定期事件对,同时学习上下文的时间关系分类器。评价结果表明,获取的规则事件对质量较高,包含丰富的常识知识和领域知识。此外,弱监督训练的时间关系分类器实现了与最先进的监督系统相当的性能。
2017-07-28 cs.CL
Joint Reasoning for Temporal and Causal Relations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Pennsylvania(宾夕法尼亚大学)
理解事件之间的时间和因果关系是一项基本的自然语言理解任务。因为在时间上,原因必须先于结果,所以时间关系和因果关系密切相关,在许多情况下,一种关系甚至支配另一种关系。然而,很少有人注意到这两个关系的共同研究。本文提出了一个联合推理框架,他们使用约束条件模型(CCM)。具体来说,我们制定的联合问题作为一个整数线性规划(ILP)的问题,强制执行的时间和因果关系的性质固有的约束。我们表明,联合推理框架的结果在统计上显着改善从文本中提取的时间和因果关系。
2019-06-12 cs.AI cs.CL cs.IR
Looking for the Bottleneck in Fine-grained Temporal Relation Classification
University of Porto INESC TEC(波尔图大学 INESC TEC);University of Beira Interior INESC TEC(贝拉内里奥大学 INESC TEC)
本文提出Interval from Point方法,通过分类时间实体端点的点关系来解码区间关系,提升时间关系分类效果,在TempEval-3数据集上达到70.1%的时序意识得分。
2026-04-27 cs.CL
An Automated Pipeline for Character and Relationship Extraction from Readers' Literary Book Reviews on Goodreads.com
UCLA(加州大学洛杉矶分校)
读者在社交媒体上对文学小说的评论,特别是那些持续的、专门的论坛上的评论,创造了底层的叙事框架,反过来又受到底层叙事框架的驱动。在他们对一部小说的评论中,读者通常只包括一部分人物和他们的关系,从而提供了一个有限的视角。然而,总的来说,这些评论捕捉到了一个潜在的叙事框架,包括不同的行动者(人,地点,事物),他们的角色和互动,我们称之为“共识叙事框架”。我们以演员关系故事图的形式表示这个框架。提取这个图是一个具有挑战性的计算问题,我们把它作为一个潜在的图形模型估计问题。帖子和评论被视为隐藏叙事框架的子图/网络的样本。受Greimas的定性叙事理论的启发,我们制定了一个图形生成机器学习(ML)模型,其中节点代表行动者,节点之间的多边和自循环捕获特定于上下文的关系。我们开发了一个连锁自动化方法的管道,以提取关键行为体及其关系,并将其应用于Goodreads.com上发布的数千条评论和评论。我们从SparkNotes手动获得地面实况叙事框架,然后使用词嵌入工具将地面实况网络中的关系与我们提取的网络进行比较。我们发现,我们的自动化方法生成了高度准确的共识叙事框架:对于我们的四部目标小说,每部小说大约有2900条评论,我们报告的重要关系的平均覆盖率/召回率> 80%,平均边缘检测率> 89%。这些提取的叙事框架可以深入了解人们(或一类人)如何阅读,以及他们如何向他人讲述他们所读的内容。
2020-04-20 cs.CL
Using Signals to Improve Automatic Classification of Temporal Relations
University of Sheffield(谢菲尔德大学)
语言传达的时间信息描述了我们周围的世界如何随着时间的推移而变化。事件、持续时间和时间都是可以被视为间隔的时间元素。这些间隔有时在文本中是时间相关的。自动确定这种关系的性质是一个复杂且未解决的问题。有些词可以作为“信号”,暗示间隔之间的时间顺序。在本文中,我们使用这些信号词,以提高最近的方法来分类的时间链接的准确性。
2012-03-22 cs.CL
Extracting Temporal and Causal Relations between Events
University of Trento(特伦托大学);Università degli Studi di Trento(特伦托大学)
从时间信息处理中得到的结构化信息对于各种自然语言处理任务是至关重要的,例如从新闻文档中生成事件的时间轴摘要,或者回答关于某些事件的时间/时间相关问题。在这篇论文中,我们提出了一个整合时间和因果关系抽取系统的架构。我们首先为每种类型的关系,即时间顺序和因果关系开发了一个强大的提取组件。然后,我们结合这两个提取组件到一个集成的关系抽取系统,CATENA-因果和时间关系抽取从自然语言文本-,利用因果关系中的事件优先的假设,即导致事件必须发生在结果事件之前。本文还讨论了改进关系抽取系统的资源和技术,包括词嵌入和训练数据扩展。最后,我们报告我们的适应努力的时间信息处理的语言以外的英语,即意大利语和印尼语。
2016-04-27 cs.CL
Only One Relation Possible? Modeling the Ambiguity in Event Temporal Relation Extraction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院)
针对事件时序关系抽取中模糊标签的歧义问题,提出多标签分类方案METRE及推测机制,利用模糊实例提升识别效果,在多个基准上超越多数现有最优方法。
2024-08-14 cs.CL
Fine-Grained Temporal Relation Extraction
University of Rochester(罗切斯特大学);Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个新的语义框架建模的时间关系和事件持续时间,映射对事件的实值尺度。我们使用这个框架来构建迄今为止最大的时态关系数据集,涵盖了整个通用的英语网络树库。我们使用这个数据集来训练模型,以联合预测细粒度的时间关系和事件持续时间。我们报告了我们的数据的强有力的结果,并显示了转移学习方法预测分类关系的有效性。
2019-06-03 cs.CL
Contextualized Word Embeddings Enhanced Event Temporal Relation Extraction for Story Understanding
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
学习事件之间的因果关系和时间关系是深入了解故事和常识的重要一步。虽然有丰富的数据集与事件关系的故事理解,许多没有经验的结果与他们相关联。在这项工作中,我们建立了强大的基线事件的时间关系抽取两个欠开发的故事叙事数据集:丰富的事件描述(RED)和因果和时间关系计划(CaTeRS)。据我们所知,这是在这两个数据集上报告的第一个结果。我们证明了基于神经网络的模型可以优于一些强大的传统的基于语言特征的模型。我们还进行了比较研究,以显示的贡献,采用语境化的词嵌入(BERT)的事件时间关系抽取的故事。提供详细的分析,以更好地了解结果。
2019-04-26 cs.CL
TempEval-3: Evaluating Events, Time Expressions, and Temporal Relations
University of Rochester(罗切斯特大学);University of Alicante(阿利坎特大学);University of Sheffield(谢菲尔德大学);Brandeis University(布兰迪斯大学)
我们描述了目前正在为SemEval-2013评估活动做准备的TempEval-3任务。TempEval的目的是推进时间信息处理的研究。TempEval-3继承了之前的TempEval事件,包含:由三部分组成的任务结构,涵盖事件、时态表达和时态关系抽取;更大的数据集;以及单个总体任务质量评分。
2014-05-25 cs.CL
A Sequential Model for Classifying Temporal Relations between Intra-Sentence Events
Texas A&M University(德克萨斯A&M大学)
我们提出了一个时序模型的句子内事件之间的时间关系分类。关键的观察是,事件之间的多词上下文的整体句法结构和成分意义对于区分细粒度的时间关系是重要的。具体来说,我们的方法首先提取一个序列的上下文单词,表明两个事件之间的时间关系,以及与两个事件提到之间的依赖路径对齐。然后,将上下文单词序列与对应于单词序列生成的词性标签序列和依赖关系序列一起作为输入提供给双向递归神经网络(LSTM)模型。神经网络学习围绕这两个事件的上下文的组合句法和语义表示,并预测它们之间的时间关系。在TimeBank语料库上对所提出的方法进行了评估,结果表明,序列建模能够准确地识别事件之间的时间关系,其性能优于使用各种离散特征作为输入的神经网络模型,该模型模仿了以前的基于特征的模型。
2017-07-23 cs.CL
Integrating Causal Reasoning into Automated Fact-Checking
EURECOM
本文提出一种结合事件关系提取、语义相似性计算和规则推理的方法,用于检测事实核查中事件链的逻辑不一致,提升裁决预测的可解释性。
2025-12-15 cs.CL
SERC: Syntactic and Semantic Sequence based Event Relation Classification
IIIT-Delhi(印度德里信息技术学院);Adobe Systems(Adobe系统公司)
时间和因果关系在确定事件之间的依赖关系方面起着重要作用。对事件之间的时间和因果关系进行分类有许多应用,例如生成事件时间轴、事件摘要、文本蕴涵和问答。时间关系和因果关系密切相关,相互影响。因此,我们提出了一个联合模型,结合了时间和因果关系的功能来执行因果关系分类。我们使用文本的句法结构来识别文本中两个事件之间的时间和因果关系。我们从文本中提取词性标记序列、依存标记序列和词序列。我们提出了一个基于LSTM的时间和因果关系分类模型,该模型捕捉了三个编码特征之间的相互关系。在四个流行的数据集上对我们的模型进行评估,在时间和因果关系分类方面取得了令人满意的结果。
2021-11-09 cs.CL
TIMELINE: Exhaustive Annotation of Temporal Relations Supporting the Automatic Ordering of Events in News Articles
University of Manchester(曼彻斯特大学)
本文针对新闻时序关系标注中指南模糊、长距离关系缺失及非动词事件被排除的问题,提出新的标注方案并构建TIMELINE语料库,提升了标注一致性并验证了基线模型性能。
2023-10-26 cs.CL
Context-Dependent Semantic Parsing for Temporal Relation Extraction
University of California, San Diego(加利福尼亚大学圣迭戈分校);The Hong Kong University of Science and Technology(香港科技大学);National Taiwan University(台湾大学)
从非结构化文本中提取事件间的时态关系在时态推理、问答等领域有着广泛的应用。虽然这是困难的,但最近发展的神经符号方法在解决类似的任务上显示出有希望的结果。现有的时态关系抽取方法表达能力有限,关系推理不一致.例如,在TimeML注释中,没有交集的概念。此外,当前的方法不能保证预测的注释之间的一致性。在这项工作中,我们提出了SMARTER,神经语义解析器,有效地提取文本中的时间信息。SMARTER基于自定义类型的λ演算将自然语言解析为可执行的逻辑形式表示。在训练阶段,使用表示上的动态规划(DPD)技术来提供对逻辑形式的弱监督。在推理阶段,SMARTER通过执行逻辑形式生成时间关系图。因此,我们的神经语义解析器产生的逻辑形式捕捉文本的时间信息准确。给定上下文的事件的准确逻辑形式表示确保了所提取的关系的正确性。
2021-12-02 cs.CL
Temporal Relations: Reference or Discourse Coherence?
由连续话语描述的事件之间的时间关系往往是隐含的或未被充分说明的。我们解决的两个现象的作用,这些关系的恢复:(1)的指称性质的时态,和(2)的连贯关系所施加的时间约束的作用。我们占时间关系的识别,通过这些整合的几个方面。
1994-05-02 cmp-lg cs.CL
Re-Temp: Relation-Aware Temporal Representation Learning for Temporal Knowledge Graph Completion
The University of Sydney(悉尼大学);The University of Western Australia(西澳大学)
针对时序知识图谱补全中忽略跳过无关快照和显式时序信息的问题,提出Re-Temp模型,利用显式时间嵌入与跳跃信息流,并采用两阶段前向传播防止信息泄露,在六个数据集上显著超越八个基线模型。
2023-10-24 cs.CL
The Temporal Game: A New Perspective on Temporal Relation Extraction
University of Porto INESC TEC(波尔图大学 INESC TEC);University of Beira Interior INESC TEC(贝拉内里奥大学 INESC TEC)
本研究提出将时间关系抽取转化为交互式游戏的Temporal Game方法,通过逐点比较与时间闭包实现更灵活的标注,还为强化学习训练奠基,提供带游戏与标注模式的开源演示工具。
2025-08-29 cs.CL
Extracting Event Temporal Relations via Hyperbolic Geometry
University of Warwick(华威大学);Alan Turing Institute(艾伦·图灵研究所)
本文提出将事件嵌入双曲空间以建模非对称时序关系,设计了基于几何运算和端到端双曲神经单元的两种方法,在多个标准数据集上取得最先进性能并揭示了丰富的隐式事件语义。
2024-06-08 cs.CL
Temporal Relation Extraction with a Graph-Based Deep Biaffine Attention Model
University of California, San Diego(加利福尼亚大学圣迭戈分校);Hong Kong University of Science and Technology(香港科技大学);National Taiwan University(国立台湾大学)
时间信息抽取在自然语言理解中起着至关重要的作用。以前的系统已经结合了先进的神经语言模型,并成功地提高了时间信息抽取任务的准确性。然而,这些系统有两个主要缺点。首先,他们没有利用预测中时间关系的双面性。其次,它们在推理过程中涉及不可并行的流水线,带来的性能增益很小。为此,我们提出了一种新的时间信息抽取模型的基础上,深度biaffine注意,提取时间之间的关系,在非结构化文本中的事件有效和准确。我们的模型是高性能的,因为我们直接执行关系抽取任务,而不是考虑事件注释作为关系抽取的先决条件。此外,我们的架构使用多层感知器(MLP)与biaffine注意分别预测弧和关系标签,提高关系检测的准确性,利用双边性质的时间关系。我们的实验表明,我们的模型达到国家的最先进的性能在时间关系抽取。
2022-01-16 cs.CL cs.LG
DiscSense: Automated Semantic Analysis of Discourse Markers
IRIT (CNRS)(法国国家科学研究中心信息与电信技术研究所);IRIT (University of Toulouse)(图卢兹大学信息与电信技术研究所)
话语标记语({ \it by contrast}、{ \it happily}等)是用于表示分句或句子之间的语义和/或语用关系的词或短语。最近的工作卓有成效地探索了句子对之间的话语标记语的预测,以学习准确的句子表示,这是有用的各种分类任务。在这项工作中,我们采取了另一个角度:使用经过训练以预测句子对之间的话语标记的模型,我们预测具有已知语义关系(由现有分类数据集提供)的句子对之间的合理标记。这些预测使我们能够研究话语标记语和分类数据集中标注的语义关系之间的联系。在有限的标记和有限的类别上,人们已经提出了标记和话语关系之间的手工映射,但是存在着数百种话语标记来表达各种各样的关系,并且在相互竞争的话语理论之间(这些理论在很大程度上是以内置的自上而下的方式构建的),在关系的分类上没有共识。通过使用自动预测方法在现有的语义注释数据集,我们提供了一个自下而上的英语话语标记语的表征。由此产生的数据集名为DiscSense,是公开可用的。
2020-06-02 cs.CL
A Structured Learning Approach to Temporal Relation Extraction
University of Illinois(伊利诺伊大学)
识别事件之间的时间关系是理解自然语言的重要步骤。然而,故事中两个事件之间的时间关系取决于其他事件之间的关系,并且通常由其他事件之间的关系决定。因此,有效地识别事件之间的时间关系是一个具有挑战性的问题,即使是人类注释。本文认为,重要的是要考虑到这些依赖关系,同时学习,以确定这些关系,并提出了一个结构化的学习方法来解决这一挑战。作为一个副产品,这提供了一个新的角度来处理缺失的关系,一个已知的问题,损害现有的方法。正如我们所示,所提出的方法在两个常用的数据集上显着改善了这个问题。
2019-06-12 cs.CL cs.LG
Deep Structured Neural Network for Event Temporal Relation Extraction
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
我们提出了一种新的深度结构化学习框架的事件时态关系抽取。该模型由1)一个循环神经网络(RNN)学习评分函数的成对关系,和2)一个结构化的支持向量机(SSVM)进行联合预测。神经网络自动学习表示,占长期的背景下,为结构化模型提供强大的功能,而SSVM纳入领域知识,如传递封闭的时间关系作为约束,以作出更好的全球一致的决定。通过联合训练这两个组件,我们的模型结合了数据驱动学习和知识利用的优势。在三个高质量事件时间关系数据集(TCR,MATRES和TB-Dense)上的实验结果表明,结合预先训练的上下文嵌入,所提出的模型在所有三个数据集上都取得了比最先进方法更好的性能。我们还提供了全面的消融研究来调查我们的模型。
2019-09-24 cs.CL
Effective Distant Supervision for Temporal Relation Extraction
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在新领域中训练时态关系抽取模型的主要障碍是缺乏多样的高质量示例以及收集更多示例的挑战。我们提出了一种方法,自动收集远程监督的时间关系的例子。我们抓取并自动标记时间关系在文本中明确的事件对,然后屏蔽这些明确的线索,迫使在此数据上训练的模型学习其他信号。我们证明了预训练的Transformer模型能够在zero-shot和Few-Shot设置中从弱标记的示例转移到人类注释的基准,并且掩蔽方案在提高泛化方面很重要。
2021-04-07 cs.CL cs.LG
Clinical Temporal Relation Extraction with Probabilistic Soft Logic Regularization and Global Inference
University of California, Los Angeles(加州大学洛杉矶分校);University of Southern California(南加州大学)
医学界一直需要精确地提取临床事件之间的时间关系。具体地,时间信息可以促进各种下游应用,诸如病例报告检索和医学问答。现有的方法要么需要昂贵的功能工程或无法建模的全局关系的事件之间的依赖关系。在本文中,我们提出了一种新的方法,临床时间关系提取与概率软逻辑正则化和全局推理(CTRL-PG)来解决这个问题的文件级别。在两个基准数据集I2 B2 -2012和TB-Dense上的大量实验表明,CTRL-PG在时间关系抽取方面明显优于基线方法。
2020-12-16 cs.CL cs.LG
Analysing zero-shot temporal relation extraction on clinical notes using temporal consistency
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学学院);UniVie Doctoral School Computer Science(维也纳大学计算机博士学院);Aarhus University(奥胡斯大学);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学语言与文化学院)
本文研究临床生物医学文本的零样本时间关系抽取,评估五类LLM并通过唯一性、传递性等一致性分数分析其表现,发现时间一致性并不保证预测准确。
2024-06-17 cs.CL cs.LG
Towards Unsupervised Learning of Temporal Relations between Events
Sharif University of Technology(谢里夫理工大学)
事件对之间的时间关系的自动提取是诸如问答、信息抽取和摘要等自然语言处理应用的重要任务。由于大多数现有的方法都是有监督的,并且需要大量的语料库,而对于许多语言来说,这是不存在的,因此我们集中精力尽可能减少对注释数据的需求。本文提出了两种不同的算法实现这一目标。第一个算法是一个弱监督的机器学习方法,用于分类事件之间的时间关系。在第一阶段,该算法从标注的语料库中学习一个通用的分类器。然后,在“每一个篇章都有一种时间关系”的假设的启发下,从一组主题相关的文档中提取有用的信息。我们表明,通过结合这样一个集群的全局信息与一般分类器的局部决策,可以建立一个自举跨文档分类器来提取事件之间的时间关系。我们的实验表明,没有任何额外的注释数据,所提出的算法的准确性高于几个以前成功的系统。第二种提出的时态关系抽取方法是基于期望最大化(EM)算法。在EM中,我们使用了不同的技术,如贪婪的最佳优先搜索和整数线性规划的时间不一致性消除。我们认为,我们的EM算法的实验结果,作为第一步,完全无监督的时间关系抽取方法,是令人鼓舞的。
2014-01-23 cs.CL cs.LG
Event Temporal Relation Extraction with Bayesian Translational Model
University of Warwick(华威大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
现有的模型来提取事件之间的时间关系缺乏一个原则性的方法,将外部知识。在这项研究中,我们介绍了贝叶斯-transs,贝叶斯学习为基础的方法,建模的时间关系表示为潜在变量,并推断其值通过贝叶斯推理和翻译功能。与传统的神经方法相比,该模型不进行点估计来寻找最佳参数集,而是直接推断参数的后验分布,增强了模型编码和表达预测不确定性的能力。实验结果表明,Bayesian-Trans算法在事件时态关系抽取中的性能优于现有的方法。我们还提出了详细的分析不确定性量化,比较先验,消融研究,说明所提出的方法的好处。
2023-02-10 cs.CL cs.LG
Integer-Programming Ensemble of Temporal-Relations Classifiers
时态事件及其相互关系的提取和理解是自然语言处理的主要挑战。在逐句或逐表达式的基础上处理文本通常会失败,部分原因是捕获文本的全局一致性的挑战。我们提出了一个集成的方法,它调和跨文本使用整数规划的时间表达式的多个分类器的输出。计算实验表明,集成改进了最近两个挑战的最佳个体结果,SemEval-2013 TempEval-3(时间注释)和SemEval-2016 Task 12(临床TempEval)。
2018-07-30 cs.CL cs.LG math.OC
Robustly Pre-trained Neural Model for Direct Temporal Relation Extraction
Arizona State University(亚利桑那州立大学);The University of Texas Health Science Center(德克萨斯大学健康科学中心)
背景资料:识别临床事件和时间表达之间的关系是有意义地分析用于高级AI应用的临床文本的关键挑战。虽然以前的研究存在,国家的最先进的性能有显着的改进空间。研究方法:我们研究了BERT(使用Transformers的双向编码器表示)的几种变体,其中一些涉及临床领域定制,另一些涉及改进的架构和/或训练策略。我们使用直接时间关系数据集评估了这些方法,该数据集是2012年i2 b2时间关系挑战数据集的语义集中子集。结果如下:我们的研究结果表明,RoBERTa采用了更好的预训练策略,包括使用10倍大的语料库,将整体F度量提高了0.0864绝对得分(在1.00尺度上),从而相对于以前的最先进性能,将出错率降低了24%。结论:在大型语料库上预先训练的现代上下文语言建模神经网络,即使在高度细致入微的临床时间关系任务上也能取得令人印象深刻的性能。
2020-04-13 cs.CL cs.LG