TaskLAMA: Probing the Complex Task Understanding of Language Models
Google Research(谷歌研究院)
本文提出TaskLAMA,通过新数据集和指标评估LLMs在结构化复杂任务分解上的表现,发现其分解有效但预测时间依赖关系仍有不足。
2023-08-29 cs.CL
When Facts Change: Probing LLMs on Evolving Knowledge with evolveQA
Purdue University(普渡大学);AWS AI Labs(AWS人工智能实验室)
针对LLMs难以处理时间知识冲突的问题,本文构建基于3个真实带时间戳语料库的evolveQA基准,公平评估不同知识截止日期LLMs的演化知识处理能力,发现模型在该基准上性能降幅最高达31%。
2025-11-15 cs.AI cs.CL
Discourse-Aware In-Context Learning for Temporal Expression Normalization
Bosch Center for Artificial Intelligence(博世人工智能中心);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学);Saarland University(萨尔大学)
针对时间表达式归一化中规则系统场景受限、机器学习方法标注数据不足的问题,提出基于上下文学习的大语言模型方案,通过样本选择策略和窗口提示设计实现跨句子归一化,在非标准场景下取得显著性能提升。
2024-04-11 cs.AI cs.CL cs.LG
On TimeML-Compliant Temporal Expression Extraction in Turkish
Gazi University(加齐大学)
普遍认为,时间表达提取器是诸如信息检索和问答系统的较大自然语言处理系统的重要组件。土耳其语时间表达式的提取和规范化一直没有得到重视,除了命名实体识别过程中的一些日期和时间表达式的提取。由于TimeML是当前自然语言文本中时间表达和事件注释的标准,本文基于相关的TimeML分类(即,date、time、duration和set表达式)。我们已经创建了一个土耳其语的时间表达的词汇,并设计了相当广泛的覆盖模式,使用的词法类作为积木。我们相信,所提出的模式,加上方便的规范化规则,可以很容易地使用土耳其语的预期时间表达提取工具。
2015-09-03 cs.CL
Temporal Expressions in Japanese-to-English Machine Translation
本文简要介绍了日语时间表达的英译方法。我们认为,时间表达式形成一个特殊的语言子集,最好是作为一个特殊的模块处理在机器翻译。本文探讨了时间表达中的词汇特质以及冠词和介词的选择问题。此外,时间表达被认为是更大的结构的一部分,以及是否将它们翻译为名词短语或状语的问题得到解决。
2000-08-28 cs.CL
TempEval-3: Evaluating Events, Time Expressions, and Temporal Relations
University of Rochester(罗切斯特大学);University of Alicante(阿利坎特大学);University of Sheffield(谢菲尔德大学);Brandeis University(布兰迪斯大学)
我们描述了目前正在为SemEval-2013评估活动做准备的TempEval-3任务。TempEval的目的是推进时间信息处理的研究。TempEval-3继承了之前的TempEval事件,包含:由三部分组成的任务结构,涵盖事件、时态表达和时态关系抽取;更大的数据集;以及单个总体任务质量评分。
2014-05-25 cs.CL
USFD2: Annotating Temporal Expresions and TLINKs for TempEval-2
University of Sheffield(谢菲尔德大学)
我们描述了谢菲尔德大学的系统中使用的TempEval-2的挑战,USFD 2。这一挑战要求自动识别文本中的时间实体和关系。USFD 2识别和锚定时间表达式,并尝试四个时间关系分配任务中的两个。基于规则的系统挑选出并锚定时间表达,并且最大熵分类器基于包括相关联的时间信号词的描述的特征来分配时间链接标签。USFD 2成功识别了时间表达,并在90%的情况下正确分类了它们的类型。在同一句话中确定事件和时间表达之间的关系的准确率为63%,这是该部分挑战的第二高分数。
2012-03-22 cs.CL
Embedding time expressions for deep temporal ordering models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
数据驱动模型在推断文本中事件的时间顺序方面表现出最先进的性能。然而,这些模型往往忽略了明确的时间信号,如日期和时间窗口。基于规则的方法可以用来识别这些时间表达式(时间轴)之间的时间联系,但它们无法捕捉时间轴与事件的相互作用,并且难以与神经网络模型的分布式表示集成。在本文中,我们引入了一个框架,通过学习预训练的模型来嵌入时间,从而将时间意识注入到这些模型中。我们生成由时间对组成的合成数据,然后训练一个字符LSTM学习嵌入和分类时间的时间关系。我们评估了这些嵌入在事件时间排序的强神经模型的背景下的实用性,并显示了在MATRES数据集上的性能略有提高,以及在具有更频繁的事件-时间交互的自动收集数据集上的更大收益。
2019-06-19 cs.CL
TEI2GO: A Multilingual Approach for Fast Temporal Expression Identification
University of Porto(波尔图大学);INESC TEC;University of Beira Interior(贝拉 interior 大学)
本文提出 TEI2GO 模型,通过结合人工标注语料库和弱标注语料库 Professor HeidelTime,在保持 HeidelTime 效果的同时显著提升运行时性能,支持六种语言并在四种语言上达到 SOTA,并提供了迄今最大开源时间表达式识别数据集。
2024-03-25 cs.CL
Question Answering in Natural Language: the Special Case of Temporal Expressions
LISN-CNRS, Université Paris-Saclay(法国巴黎萨克雷大学、法国国家科学研究中心(CNRS)所属的信息、信号与图像处理实验室(LISN))
针对时间问答关注不足的问题,本文提出受 SQuAD 启发的新数据集,并利用 WikiWars 语料库训练深度学习模型,验证了通用问答中的答案抽取与模式匹配方法可成功应用于时间问答。
2023-11-23 cs.CL
ManTIME: Temporal expression identification and normalization in the TempEval-3 challenge
The University of Manchester(曼彻斯特大学)
本文介绍了一个时间表达识别和规范化系统,ManTIME,开发的TempEval-3的挑战。识别阶段结合了条件随机场的使用以及后处理识别管道,而归一化阶段使用NorMA(一种开源的基于规则的时间归一化器)进行。我们调查的性能变化与不同的功能类型。具体而言,我们表明,在识别任务中使用基于WordNet的功能会对整体性能产生负面影响,并且在使用地名词典,浅层解析和命题名词短语标签的形态特征上没有统计学显著差异。在测试数据上,最佳运行在鉴定阶段达到0.95(P)、0.85(R)和0.90(F1)。归一化精度为0.84(类型属性)和0.77(值属性)。令人惊讶的是,使用银数据(单独或除了金注释的数据之外)并没有提高性能。
2013-04-30 cs.CL
Temporal expression normalisation in natural language texts
School of Computer Science(计算机学院);The University of Manchester(曼彻斯特大学)
时态表达式的自动标注是信息抽取领域的一个研究热点。在这份报告中,我描述了一种新的基于规则的架构,建立在一个预先存在的系统,这是能够正常化的英语文本中检测到的时间表达。黄金标准的时间注释资源在大小上是有限的,这使得研究困难。所提出的系统优于国家的最先进的系统相对于TempEval-2共享任务(值属性),并实现了更好的结果相对于预先存在的系统,它已经开发的顶部。我还将介绍一个新的免费语料库,由2822个独特的注释时间表达式组成。语料库和系统都可以在网上免费获得。
2012-06-10 cs.CL cs.IR
Multilingual Normalization of Temporal Expressions with Masked Language Models
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学)
时态表达式的检测和规范化是许多应用的重要任务和预处理步骤。然而,以前的规范化工作是基于规则的,这严重限制了在现实世界中的多语言设置的适用性,由于昂贵的创建新的规则。我们提出了一种新的神经方法规范化的时间表达式的基础上掩蔽语言建模。我们的多语言方法在许多语言中的性能优于先前的基于规则的系统,特别是对于低资源语言,与最先进的语言相比,平均性能提高高达33 F1。
2023-02-10 cs.CL cs.LG
Adversarial Alignment of Multilingual Models for Extracting Temporal Expressions from Text
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学);Saarbrücken Graduate School of Computer Science(萨尔布吕肯计算机科学研究生院)
虽然时间标记仍然是基于规则的系统占主导地位,最近有神经时间标记器的尝试。然而,所有这些都集中在单语设置。在本文中,我们探索了从文本中提取时间表达式的多语言方法,并研究了将嵌入空间对齐到一个公共空间的对抗训练。有了这个,我们创建了一个单一的多语言模型,也可以转移到看不见的语言,并设置在这些跨语言迁移实验的新的艺术状态。
2020-05-19 cs.CL cs.LG
Temporal Meaning Representations in a Natural Language Front-End
以前的工作在时间数据库的自然语言查询的上下文中已经建立了一种方法,自动映射从一个大的英语时间相关的问题的子集,以适当的表达的时间逻辑类语言,称为TOP。还定义了从TOP到TSQL 2时态数据库语言的转换算法。本文展示了如何将TOP表达式翻译成一种更简单的类似逻辑的语言,称为BOT。BOT非常接近传统的一阶谓词逻辑(FOPL),因此可以利用现有的方法来操作FOPL表达式,以连接到TSQL2数据库以外的时间敏感应用程序,保持现有的英语到TOP映射。
1999-06-22 cs.CL
BERT got a Date: Introducing Transformers to Temporal Tagging
文本中的时间表达式在语言理解中起着重要的作用,正确识别它们是各种检索和自然语言处理系统的基础。以前的工作已经慢慢地从基于规则的架构转向神经架构,能够以更高的准确度标记表达式。然而,神经模型还不能区分不同的表达类型,在同一水平上,他们的基于规则的同行。在这项工作中,我们的目标是确定最合适的Transformer架构的联合时间标记和类型分类,以及调查的效果,半监督训练这些系统的性能。基于我们的令牌分类变量和编码器-解码器架构的研究,我们提出了一个Transformer编码器-解码器模型使用的RoBERTa语言模型作为我们的最佳性能系统。通过使用基于规则的系统的弱标记数据补充训练资源,我们的模型在时间标记和类型分类方面超越了以前的工作,特别是在稀有类上。我们的代码和预先训练的实验可在https://github.com/satya77/Transformer_Temporal_Tagger上获得
2022-01-24 cs.CL
Neural Ranking Models for Temporal Dependency Structure Parsing
Brandeis University(布兰迪斯大学)
我们设计并构建了第一个神经时序依赖解析器。它利用神经排序模型与最小的特征工程,并解析时间表达式和事件在文本中的时间依赖树结构。我们评估我们的解析器在两个领域:新闻报道和叙事故事。在一个只分析的评估设置,其中提供黄金时间表达式和事件,我们的解析器达到0.81和0.70的F-分数无标记和标记的解析分别,结果是非常有竞争力的替代方法。在自动识别时间表达式和事件的端到端评估设置中,我们的解析器在两个数据域上都超过了两个强基线。我们的实验结果和讨论揭示了时间依赖结构在不同领域的性质,并提供了见解,我们相信这将是有价值的,在这一领域的未来研究。
2018-09-02 cs.CL
Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model
Eaglewood Japan Co., Ltd.(日本鹰木公司)
研究通过训练纯经典中文语料库的Transformer模型,探讨模型能否区分已知与未知输入,并揭示内部与外部不确定性之间的差异。
2026-07-24 cs.AI cs.CL
Recognizing Temporal Linguistic Expression Pattern of Individual with Suicide Risk on Social Media
Chinese Academy of Sciences(中国科学院);University of Science and Technology of China(中国科学技术大学);Beijing Forestry University(北京林业大学)
自杀是一个全球性的公共卫生问题。早期发现个人自杀风险在预防自杀中起着关键作用。在本文中,我们建议通过时间序列分析的社交媒体(微博)上的个人语言表达,以探讨个人的自杀风险。我们研究了中国社交媒体(微博)上个人语言表达的时间模式。然后,我们使用这种时间模式作为预测变量,建立分类模型,估计个人自杀风险的水平。结果表明,括号、助动词、人称代词和身体词等语言特征的时间序列曲线特征对自杀行为的影响最大,预测模型的准确率高于0.60。本文证实了社交媒体数据在检测个人自杀风险方面的有效性。本研究的结果可能对改善自杀预防计划的绩效有启发意义。
2015-11-30 cs.CL cs.SI
Evaluating KGR10 Polish word embeddings in the recognition of temporal expressions using BiLSTM-CRF
Wroclaw University of Technology(弗罗茨瓦夫理工大学)
本文介绍了一组新的波兰语词嵌入,使用KGR 10语料库,其中包含超过40亿个单词。这些嵌入评估的时间表达式(时间)的波兰语言的识别问题。我们描述了KGR 10语料库的创建过程和一种新的识别方法,使用双向长短期记忆(BiLSTM)网络与额外的CRF层,其中特定的嵌入是必不可少的。我们介绍了实验和从中得出的结论。
2019-04-03 cs.CL cs.LG stat.ML
Dataset and Baseline System for Multi-lingual Extraction and Normalization of Temporal and Numerical Expressions
Duke University(杜克大学);Microsoft Research Asia(微软亚洲研究院)
本文针对时间与数值表达式理解中子类型覆盖少、仅重提取及语种局限的问题,提出了覆盖14种语言的多语言评估数据集NTX及基于规则的强基线系统,支持提取、规范化与解析任务。
2023-03-31 cs.AI cs.CL
STAR-Bench: Probing Deep Spatio-Temporal Reasoning as Audio 4D Intelligence
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Shanghai Innovation Institute(上海创新研究院);Beihang University(北京航空航天大学);Shanghai Jiao Tong University(上海交通大学)
STAR-Bench通过测试音频4D智能,揭示了模型在细粒度感知和推理上的不足,为未来模型发展提供方向。
2025-11-28 cs.CL cs.SD eess.AS
Integer-Programming Ensemble of Temporal-Relations Classifiers
时态事件及其相互关系的提取和理解是自然语言处理的主要挑战。在逐句或逐表达式的基础上处理文本通常会失败,部分原因是捕获文本的全局一致性的挑战。我们提出了一个集成的方法,它调和跨文本使用整数规划的时间表达式的多个分类器的输出。计算实验表明,集成改进了最近两个挑战的最佳个体结果,SemEval-2013 TempEval-3(时间注释)和SemEval-2016 Task 12(临床TempEval)。
2018-07-30 cs.CL cs.LG math.OC
XLTime: A Cross-Lingual Knowledge Transfer Framework for Temporal Expression Extraction
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Dataminr Inc.(Dataminr公司);Walmart Global Tech(沃尔玛全球科技);Beihang University(北京航空航天大学)
时态表达式提取(TEE)是理解自然语言中时间的关键。它在自然语言处理(NLP)任务中有应用,如问答、信息检索和因果推理。到目前为止,这一领域的工作主要集中在英语上,因为其他语言的标记数据很少。我们提出了XLTime,一个新的多语言TEE框架。XLTime基于预先训练的语言模型,并利用多任务学习来促进英语和非英语语言之间的跨语言知识转移。XLTime解决了由于目标语言中的数据不足而导致的问题。我们应用XLTime与不同的语言模型,并表明它优于以前的自动SOTA方法对法语,西班牙语,葡萄牙语和巴斯克语,由大利润率。XLTime还大大缩小了手工制作的HeidelTime方法的差距。
2022-05-03 cs.CL cs.LG
TweeTime: A Minimally Supervised Method for Recognizing and Normalizing Time Expressions in Twitter
Ohio State University(俄亥俄州立大学)
我们描述TweeTIME,一个时间标记识别和规范化的Twitter时间表达。大多数以前的工作在社交媒体分析必须依赖于时间解析器,是专为精心编辑的文本,因此遭受降低性能,由于域不匹配。我们提出了一种最低限度的监督方法,从大量未标记的数据中学习,不需要手工设计的规则或手工注释的训练语料库。TweeTIME在解析日期表达式的端到端任务中获得了0.68的F1分数,优于各种最先进的系统。
2020-11-15 cs.CL cs.IR