An Attentive Sequence Model for Adverse Drug Event Extraction from Biomedical Text
SAAMA AI Research Lab(SAAMA人工智能研究实验室)
药物不良反应是一个潜在的危险问题,可能导致患者的死亡和发病。药物不良事件信息提取是生物医学研究中的一个重要问题。我们将ADE抽取建模为一个推理问题,并从机器阅读理解(MRC)文献中获得灵感,设计了我们的模型。我们设计这样一个模型的目的是利用临床文本中的局部语言背景,并实现序列内的相互作用,以便共同学习对药物和疾病实体进行分类,并提取由给定药物引起的不良反应。我们的模型利用自我注意力机制来促进文本序列中的序列内交互。这使我们能够可视化和理解网络如何利用本地和更广泛的上下文进行分类。
2018-01-02 cs.CL
Distilling Event Sequence Knowledge From Large Language Models
IBM Research(IBM研究院);Northeastern University(东北大学)
针对结构化事件序列缺失问题,本文提出用带部分因果关系的事件概念 KG 引导 LLM 生成高质量因果事件序列,并用于模式挖掘与概率事件模型构建。
2024-07-01 cs.AI cs.CL
SubeventWriter: Iterative Sub-event Sequence Generation with Coherence Controller
HKUST(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);NVIDIA(英伟达)
在本文中,我们提出了一个新的任务的子事件生成的一个看不见的过程,以评估子事件的行动和对象的一致性的理解。为了解决这个问题,我们设计了SubeventWriter,一个带有一致性控制器的子事件序列生成框架。给定一个看不见的过程,框架可以通过在每次迭代中生成一个子事件来迭代地构造子事件序列。我们还设计了一个非常有效的相干控制器来解码更多的相干子事件。正如我们广泛的实验和分析表明,SubeventWriter可以为看不见的过程生成更可靠和有意义的子事件序列。
2022-10-19 cs.AI cs.CL
Analogous Process Structure Induction for Sub-event Sequence Prediction
HKUST(香港科技大学);UPenn(宾夕法尼亚大学)
事件理解的计算和认知研究表明,识别、理解和预测事件取决于对一系列事件的结构化表示,以及将其组成部分概念化(抽象化)为(软)事件类别。因此,关于诸如“买车”的已知过程的知识可以在诸如“买房”的新的但类似的过程的上下文中使用。然而,NLP中的大多数事件理解工作仍然处于底层,并且没有考虑抽象。在本文中,我们提出了一个类比过程结构归纳APSI框架,它利用过程之间的类比和子事件实例的概念化来预测以前看不见的开放域过程的整个子事件序列。正如我们的实验和分析表明,APSI支持为看不见的过程生成有意义的子事件序列,并可以帮助预测丢失的事件。
2020-10-16 cs.AI cs.CL
Big Green at WNUT 2020 Shared Task-1: Relation Extraction as Contextualized Sequence Classification
Dartmouth College(达特茅斯学院)
关系和事件抽取是自然语言处理中的一项重要任务。我们介绍了一个系统,它使用上下文知识图谱完成分类的关系和已知实体之间的事件在嘈杂的文本环境。我们报告的结果表明,我们的系统是能够有效地提取关系和事件的湿实验室协议的数据集。
2020-12-07 cs.CL
Retrieval of Temporal Event Sequences from Textual Descriptions
Georgia Institute of Technology(佐治亚理工学院)
本文提出了时间事件序列检索基准TESRBench及新模型TPP-Embedding,通过结合大型语言模型与时间点过程,在共享嵌入空间中统一时间动态与事件语义,显著优于基线模型。
2025-02-03 cs.CL cs.IR
Event2Vec: A Geometric Approach to Learning Composable Representations of Event Sequences
Lawrence Berkeley National Laboratory(伯克利劳伦斯国家实验室)
Event2Vec通过几何方法学习事件序列的可组合表示,利用加性递归结构和双曲空间变体,有效捕捉结构依赖性。
2025-11-30 cs.CL cs.LG
Long-range Modeling and Processing of Multimodal Event Sequences
本文提出了一种基于LLM的多模态时间点过程框架,通过自适应序列压缩解决长上下文问题,提升多模态事件序列的建模与生成能力。
2026-02-01 cs.CL cs.LG
Temporal Tokenization Strategies for Event Sequence Modeling with Large Language Models
Capital One;Georgia Institute of Technology(佐治亚理工学院)
本文研究了大语言模型中时间序列事件建模的时间标记策略,通过对比不同编码方法发现,标记器需与数据统计特性匹配才能提升预测性能。
2026-05-11 cs.CL cs.LG
NGEP: A Graph-based Event Planning Framework for Story Generation
The University of Surrey(萨里大学);Beihang University(北京航空航天大学);The University of Sheffield(谢菲尔德大学)
为了提高长文本生成的性能,最近的研究利用自动计划的事件结构(即故事情节)来指导故事生成。这样的先前工作大多采用端到端神经生成模型来预测故事的事件序列。然而,由于幻觉问题,这样的生成模型难以保证单独事件的叙事连贯性,并且另外,由于模型的端到端性质,生成的事件序列通常难以控制。为了解决这些挑战,我们提出了NGEP,一种新的事件规划框架,它通过对自动构建的事件图进行推理来生成事件序列,并通过神经事件顾问来增强泛化能力。我们对多个标准进行了一系列实验,结果表明,我们的基于图的神经框架优于最先进的(SOTA)事件规划方法,考虑到事件序列生成的性能和故事生成的下游任务的有效性。
2022-10-19 cs.AI cs.CL
Reflective Agreement: Combining Self-Mixture of Agents with a Sequence Tagger for Robust Event Extraction
Secure AI and Autonomy Lab, University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校安全人工智能与自主性实验室);Peraton Labs(佩拉顿实验室);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出混合方法ARIS,结合自混合智能体与判别式序列标注器,通过模型共识、置信度过滤和LLM反思推理提升事件抽取的鲁棒性,并在三个基准数据集上超越现有最优方法。
2025-08-26 cs.AI cs.CL
SeDyT: A General Framework for Multi-Step Event Forecasting via Sequence Modeling on Dynamic Entity Embeddings
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
时态知识图谱以主题、关系、对象和时间戳的形式存储事件,这些事件通常由动态异构图表示。事件预测是时态知识图谱推理中的一个关键而具有挑战性的任务,它预测未来事件的主体或客体。为了在未来获得多步的时间嵌入,现有的方法学习生成模型,捕获所观察到的事件的联合分布。为了降低高计算成本,这些方法依赖于不切实际的假设的独立性和近似的训练和推理。在这项工作中,我们提出了SeDyT,这是一个判别框架,它对动态实体嵌入进行序列建模,以解决多步事件预测问题。SeDyT由两个组件组成:一个时间图神经网络,它生成过去的动态实体嵌入,一个序列模型,它预测未来的实体嵌入。与生成模型相比,SeDyT不依赖于任何基于启发式的概率模型,并且在训练和推理方面都具有较低的计算复杂度。SeDyT与大多数时间图神经网络和序列模型兼容。我们还设计了一种有效的训练方法,在一个梯度下降传播中训练两个组件。我们在五个流行的数据集上评估了SeDyT的性能。通过结合时间图神经网络模型和序列模型,当不使用验证集时,SeDyT实现了平均2.4%的MRR改善,当使用验证集时,MRR改善超过10%。
2021-09-09 cs.CL cs.LG
ESQA: Event Sequences Question Answering
AIRI;Sber AI;Skoltech(斯科尔泰克理工学院);Sber AI Lab(Sber AI实验室);MIPT(莫斯科物理技术学院)
本文提出ESQA方法,利用大型语言模型解决事件序列问答中的长序列与时间数值特征处理难题,无需或少量微调即可完成多任务,实验达到领域最先进水平。
2024-07-19 cs.CL cs.LG
SEBERTNets: Sequence Enhanced BERT Networks for Event Entity Extraction Tasks Oriented to the Finance Field
JD Digital(京东数字科技)
针对金融领域事件实体抽取,本文提出可捕获序列语义的 SEBERTNets,并结合多通道召回设计 HSEBERTNets,在 CCKS 评测第一阶段分别取得 0.905 和 0.934 的 F1 分数。
2024-01-21 cs.AI cs.CL
Multi-layer Sequence Labeling-based Joint Biomedical Event Extraction
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University(香港理工大学中文及双语学系)
针对生物医学事件抽取现有方法复杂、未有效显式利用触发词信息的问题,提出基于多层序列标注的联合抽取方法MLSL,显式融入候选触发词信息学习交互关系,以简单工作流实现更优的抽取性能。
2024-08-14 cs.AI cs.CL
A Graph Enhanced BERT Model for Event Prediction
Harbin Institute of Technology(哈尔滨工业大学)
预测现有事件上下文的后续事件是一项重要但具有挑战性的任务,因为它需要理解事件之间的潜在关系。以前的方法提出从事件图中检索关系特征,以增强事件相关性的建模。然而,事件图的稀疏性可能会限制相关图信息的获取,从而影响模型的性能。为了解决这个问题,我们考虑使用BERT模型自动构建事件图。为此,我们在BERT中加入了一个额外的结构化变量,以学习预测训练过程中的事件连接。因此,在测试过程中,未知事件的连接关系可以通过结构化变量来预测。两个事件预测任务的结果:脚本事件预测和故事结局预测,表明我们的方法可以优于最先进的基线方法。
2022-05-22 cs.AI cs.CL
Burn After Reading: Do Multimodal Large Language Models Truly Capture Order of Events in Image Sequences?
Utrecht University(乌特雷赫大学)
该研究提出聚焦图像序列时序推理的TempVS基准,含三类核心测试及配套定位测试,评估38个前沿多模态大语言模型后发现其表现远逊于人类,并给出细粒度研究方向。
2025-06-12 cs.CL cs.CV
Towards Effective Long-Video Event Prediction via Multi-Level Event Semantics Mining
University of Science and Technology of China(中国科学技术大学)
提出VISTA框架,通过多级事件语义挖掘(细节级、事件级、未来级)实现长视频事件预测,解决现有模型无法精确提取事件细节和进行细粒度分析的问题。
2026-05-29 cs.CL cs.CV
Constructing Narrative Event Evolutionary Graph for Script Event Prediction
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
脚本事件预测需要一个模型来预测给定现有事件上下文的后续事件。以往基于事件对或事件链的模型不能充分利用密集的事件连接,从而限制了它们的事件预测能力。为了解决这个问题,我们建议构建一个事件图,以更好地利用事件网络信息进行脚本事件预测。特别地,我们首先从大量的新闻语料中提取叙事事件链,然后基于提取的链构建叙事事件进化图(NEEG)。NEEG可以被看作是描述事件演化原理和模式的知识库。为了解决NEEG上的推理问题,我们提出了一个缩放的图神经网络(SGNN)来建模事件交互和学习更好的事件表示。SGNN每次只处理相关节点,而不是计算整个图的表示,这使得我们的模型适用于大规模图。通过比较输入上下文事件表示与候选事件表示之间的相似度,可以选择最合理的后续事件。在广泛使用的纽约时报语料库上的实验结果表明,我们的模型显着优于国家的最先进的基线方法,使用标准的多项选择叙事完形填空评估。
2018-05-16 cs.AI cs.CL
Integrating Deep Event-Level and Script-Level Information for Script Event Prediction
University of Chinese Academy of Sciences(中国科学院大学)
脚本事件预测是从文本中提取的事件序列和参与者,其目的是根据脚本中的历史事件预测后续事件。两种类型的信息促进了这一任务,即,事件级信息和脚本级信息。在事件层面上,现有的研究将事件视为一个动词与其参与者,而忽略了其他有用的属性,如参与者的状态。在剧本层面,现有的研究大多只考虑与一个共同主角对应的单个事件序列。在本文中,我们提出了一个基于transformer的模型,称为MCPredictor,它集成了深度事件级和脚本级信息,用于脚本事件预测。在事件层面,MCPredictor利用文本中丰富的信息来获得更全面的事件语义表示。在脚本级别,它考虑与后续事件的不同参与者相对应的多个事件序列。在广泛使用的纽约时报语料库上的实验结果证明了该模型的有效性和优越性。
2021-09-24 cs.AI cs.CL
Latent Logic Tree Extraction for Event Sequence Explanation from LLMs
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Skywork AI(Skywork AI公司)
本文提出一种基于时间点过程与摊销EM框架的方法,利用LLM先验和GFlowNet从事件序列中高效提取隐式逻辑树解释,并通过在线轻量级模型迭代获取最相关规则,在多个实验中验证了其性能与适应性。
2024-06-28 cs.CL cs.LG
Tale of tails using rule augmented sequence labeling for event extraction
IIT Bombay(印度理工学院孟买分校)
事件提取的问题是一个相对困难的任务,低资源的语言,由于没有足够的注释数据。此外,任务变得复杂的尾部(很少出现)标签,其中非常少的数据是可用的。在本文中,我们提出了一个新的数据集(InDEE-2019)在灾难领域的多种印度语言,从新闻网站收集。使用这个数据集,我们评估了几种基于规则的机制来增强基于深度学习的模型。我们制定我们的问题,事件提取作为一个序列标签的任务,并进行了广泛的实验,研究和了解不同的方法的有效性。我们进一步表明,尾部标签可以很容易地通过创建新的规则,而不需要大的注释数据。
2020-01-31 cs.CL cs.IR cs.LG
Beyond Topics: Discovering Latent Healthcare Objectives from Event Sequences
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);The Children’s Cancer Research Unit(儿童癌症研究组);The Children’s Hospital at Westmead(韦斯特米德儿童医院)
对临床协议和患者路径的有意义的理解有助于改善医疗保健结果。电子健康记录(EHR)反映了用于增强医疗保健管理但存在挑战的真实世界治疗行为;协议和途径通常定义松散,并且经常没有记录在EHR中的元素,使增强变得复杂。为了解决这一挑战,与医疗保健管理活动相关的医疗保健目标可以作为潜在主题在EHR中间接观察到。主题模型,如潜在狄利克雷分配(LDA),用于识别EHR数据中的潜在模式。然而,他们没有检查EHR序列的有序性,也没有孤立地评估单个事件。我们的新方法,分类序列编码器(CaSE)解决了这些缺点。EHR的连续性被CaSE的事件级表示捕获,揭示了潜在的医疗保健目标。在合成EHR序列中,CaSE在识别医疗保健目标方面优于LDA高达37%。在现实世界的MIMIC-III数据集中,CaSE识别出了有意义的表示,可以极大地增强协议和途径的开发。
2021-10-04 cs.AI cs.CL cs.LG
SPEECH: Structured Prediction with Energy-Based Event-Centric Hyperspheres
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
本文提出SPEECH方法,通过基于能量的建模刻画事件结构化组件间的复杂依赖,并用超球面表示事件类别,在两个统一标注事件数据集上显著提升了事件检测与事件关系抽取性能。
2023-09-18 cs.AI cs.CL cs.LG