Temporal Effects on Pre-trained Models for Language Processing Tasks
University of Pennsylvania(宾夕法尼亚大学);Adobe Research(Adobe研究院)
随着时间的推移,保持语言技术的性能最佳具有很大的实际意义。我们研究了下游语言任务对模型性能的时间影响,为这种讨论建立了一个微妙的术语,并确定了进行稳健研究所必需的因素。我们提出了几个任务中的英语标签的正确性是不依赖于时间的实验,并证明了时间模型恶化和时间领域自适应系统使用预先训练的表示之间的区分的重要性。我们发现,根据任务,时间模型恶化不一定是一个问题。然而,时间领域自适应在所有情况下都是有益的,当系统在时间上更近的数据上训练时,给定时间段的更好性能是可能的。因此,我们还研究了两种方法的有效性的时间领域自适应没有人类注释的新数据。自标记显示出一致的改进,特别是对于命名实体识别,导致比人类注释更好的时间适应。
2022-06-06 cs.CL
Severing the Edge Between Before and After: Neural Architectures for Temporal Ordering of Events
Amazon AI(亚马逊人工智能)
在本文中,我们提出了一个神经架构和一套训练方法,通过预测时间关系来排序事件。我们提出的模型接收一个文本跨度内的一对事件作为输入,并识别它们之间的时间关系(之前,之后,相等,模糊)。考虑到这项任务的一个关键挑战是注释数据的稀缺性,我们的模型依赖于预先训练的表示(即RoBERTa,BERT或ELMo),迁移和多任务学习(通过利用互补数据集)以及自我训练技术。在英文文档的MATRES数据集上的实验建立了这项任务的新的最先进的技术。
2020-04-08 cs.CL
Improving Temporal Generalization of Pre-trained Language Models with Lexical Semantic Change
Soochow University(苏州大学);Microsoft Research Asia(微软亚洲研究院)
最近的研究表明,大规模的神经语言模型具有较差的时间泛化能力,即,在来自过去几年的静态数据上预训练的语言模型在新兴数据上随着时间的推移表现更差。现有方法主要执行连续训练以减轻这种不对准。虽然在一定程度上有效,但在语言建模和下游任务上都远未得到解决。词汇语义变化是自然语言的基本现象之一,时间泛化与词汇语义变化密切相关。基于这一观察,我们提出了一个简单而有效的词汇级掩蔽策略来后训练收敛的语言模型。在两个预训练的语言模型、两个不同的分类任务和四个基准数据集上的实验证明了我们提出的方法比现有的时间适应方法的有效性,即,用新数据进行持续训练。我们的代码可在\url{https://github.com/zhaochen0110/LMLM}上获得。
2022-10-31 cs.CL
Temporal Meaning Representations in a Natural Language Front-End
以前的工作在时间数据库的自然语言查询的上下文中已经建立了一种方法,自动映射从一个大的英语时间相关的问题的子集,以适当的表达的时间逻辑类语言,称为TOP。还定义了从TOP到TSQL 2时态数据库语言的转换算法。本文展示了如何将TOP表达式翻译成一种更简单的类似逻辑的语言,称为BOT。BOT非常接近传统的一阶谓词逻辑(FOPL),因此可以利用现有的方法来操作FOPL表达式,以连接到TSQL2数据库以外的时间敏感应用程序,保持现有的英语到TOP映射。
1999-06-22 cs.CL
Time Masking for Temporal Language Models
Technion(以色列理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
我们的世界在不断发展,网络上的内容也是如此。因此,我们的语言,通常被认为是世界的镜子,本质上是动态的。然而,大多数当前的上下文语言模型是静态的,不能适应随着时间的变化。在这项工作中,我们提出了一个时间上下文语言模型称为TempoBERT,它使用时间作为文本的附加上下文。我们的技术是基于修改文本的时间信息和执行时间掩蔽特定掩蔽的补充时间信息。我们利用我们的方法进行语义变化检测和句子时间预测的任务,在时间,大小,体裁和语言方面对不同的数据集进行实验。我们广泛的评估表明,这两个任务受益于利用时间掩蔽。
2022-01-24 cs.CL
Neural Ranking Models for Temporal Dependency Structure Parsing
Brandeis University(布兰迪斯大学)
我们设计并构建了第一个神经时序依赖解析器。它利用神经排序模型与最小的特征工程,并解析时间表达式和事件在文本中的时间依赖树结构。我们评估我们的解析器在两个领域:新闻报道和叙事故事。在一个只分析的评估设置,其中提供黄金时间表达式和事件,我们的解析器达到0.81和0.70的F-分数无标记和标记的解析分别,结果是非常有竞争力的替代方法。在自动识别时间表达式和事件的端到端评估设置中,我们的解析器在两个数据域上都超过了两个强基线。我们的实验结果和讨论揭示了时间依赖结构在不同领域的性质,并提供了见解,我们相信这将是有价值的,在这一领域的未来研究。
2018-09-02 cs.CL
An Improved Neural Baseline for Temporal Relation Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pennsylvania(宾夕法尼亚大学)
确定时间关系(例如,之前或之后)是一项具有挑战性的自然语言理解任务,这部分是由于难以生成大量高质量的训练数据。因此,神经网络方法并没有被广泛使用,或者只显示出适度的改进。本文提出了一种新的神经系统,在两个基准数据集上,它比以前的最佳系统(减少25%的错误)的准确性提高了约10%。所提出的系统是在最先进的MATRES数据集上训练的,并应用上下文化的词嵌入、时间常识知识库的暹罗编码器和通过整数线性规划(ILP)的全局推理。我们认为,新的方法可以作为一个强有力的基线,在这一领域的未来研究。
2019-09-01 cs.CL
Small-footprint Keyword Spotting Using Deep Neural Network and Connectionist Temporal Classifier
Ant Financial Group(蚂蚁金融集团)
主要是为了解决关键词特定数据的缺乏,我们提出了一个关键词发现(KWS)系统使用深度神经网络(DNN)和连接时间分类器(CTC)在功率受限的小足迹移动设备,充分利用一般语料库的连续语音识别,这是巨大的量。DNN是直接预测任何个人定制的关键短语的音素单元的后验概率,CTC是产生给定音素序列的置信度得分作为响应决策机制。CTC-KWS与纯粹基于DNN的关键字特定KWS相比具有竞争性性能,但不增加任何计算复杂性。
2017-09-12 cs.CL
HistoryBankQA: Multilingual Temporal Question Answering on Historical Events
本文提出了包含1000万以上历史事件的多语言数据库HistoryBank,并构建了涵盖6种时序推理任务的问答基准,评估了多种流行语言模型在多语言历史事件时序推理上的表现。
2025-09-16 cs.CL
Temporal Attention Model for Neural Machine Translation
IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
基于注意力的神经机器翻译(NMT)模型存在注意力不足的问题,这在最近的研究中已经观察到。我们提出了一种新的机制,以解决这些限制和提高NMT的注意力。具体来说,我们的方法记忆对齐时间(在每个句子内)和调制的注意力与积累的时间记忆,作为解码器生成的候选翻译。我们比较我们的方法对基线NMT模型和其他两个相关的方法,明确或隐含地解决这个问题。两个语言对的大规模实验表明,我们的方法实现了更好的和强大的增益比基线和相关的NMT方法。我们的模型在某些设置中甚至在不使用集合的情况下也优于强大的SMT基线。
2016-08-09 cs.CL
Time Matters: Examine Temporal Effects on Biomedical Language Models
University of Memphis(孟菲斯大学);Florida State University(佛罗里达州立大学)
该研究针对生物医学语言模型训练与部署数据存在时间偏移却缺乏相关研究的问题,通过三项任务探究模型性能与数据偏移的关联,证实时间对模型部署有重要影响,并建立了相关评估基准。
2024-08-11 cs.CL
Deep Structured Neural Network for Event Temporal Relation Extraction
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
我们提出了一种新的深度结构化学习框架的事件时态关系抽取。该模型由1)一个循环神经网络(RNN)学习评分函数的成对关系,和2)一个结构化的支持向量机(SSVM)进行联合预测。神经网络自动学习表示,占长期的背景下,为结构化模型提供强大的功能,而SSVM纳入领域知识,如传递封闭的时间关系作为约束,以作出更好的全球一致的决定。通过联合训练这两个组件,我们的模型结合了数据驱动学习和知识利用的优势。在三个高质量事件时间关系数据集(TCR,MATRES和TB-Dense)上的实验结果表明,结合预先训练的上下文嵌入,所提出的模型在所有三个数据集上都取得了比最先进方法更好的性能。我们还提供了全面的消融研究来调查我们的模型。
2019-09-24 cs.CL
ECONET: Effective Continual Pretraining of Language Models for Event Temporal Reasoning
University of Southern California(南加利福尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
虽然预训练的语言模型(PTLM)在许多NLP任务上取得了显著的成功,但它们仍然难以处理需要事件时间推理的任务,这对于以事件为中心的应用程序至关重要。我们提出了一个持续的预训练方法,装备PTLM有针对性的知识事件的时间关系。我们设计了自监督学习目标来恢复屏蔽的事件和时间指标,并将句子与其损坏的对应物(事件或时间指标被替换)区分开来。通过进一步的预训练PTLM与这些目标联合,我们加强了它的注意事件和时间信息,产生增强的能力,事件的时间推理。这种有效的事件时间推理(ECONET)的连续预训练框架提高了PTLM在五个关系抽取和问答任务中的微调性能,并在我们的大多数下游任务中实现了新的或同等水平的最先进的性能。
2021-09-16 cs.CL
Temporal Blind Spots in Large Language Models
L3S Research Center(L3S研究中心);University of Innsbruck(因斯布鲁克大学);Delft University of Technology(代尔夫特理工大学)
本文通过三个主流时间问答数据集,结合人工与自动评测,揭示通用LLM在过去细节和新近信息上的时间盲点及性能下降条件。
2024-01-22 cs.CL
Unlocking Temporal Question Answering for Large Language Models with Tailor-Made Reasoning Logic
DAMO Academy, Alibaba Group(达摩院(阿里巴巴集团));Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Salesforce AI;Hupan Lab(湖畔实验室)
针对大型语言模型在时间问答中推理不足的问题,提出TempLogic框架,通过检索引导上下文蒸馏、时间数据提取和定制逻辑推理,有效提升复杂时间约束推理性能。
2024-11-04 cs.CL
Temporal Attention for Language Models
Technion – Israel Institute of Technology(以色列理工学院)
基于Transformer架构的预训练语言模型在NLP中取得了巨大的成功。文本训练数据通常来自网络,因此带有特定时间的信息,但大多数语言模型忽略了这些信息。它们仅在文本数据上进行训练,限制了它们在时间上进行概括的能力。在这项工作中,我们扩展了Transformer架构的关键组件,即,自我注意力机制,并提出了时间注意-时间感知的自我注意力机制。时间注意力可以应用于任何Transformer模型,并且要求输入文本伴随其相关时间点。它允许Transformer捕获该时间信息并创建特定于时间的上下文化单词表示。我们利用这些表示的语义变化检测的任务,我们将我们提出的机制BERT和实验三个数据集在不同的语言(英语,德语和拉丁语),也不同的时间,大小和体裁。我们提出的模型在所有数据集上都取得了最先进的结果。
2022-05-03 cs.CL
End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
自回归解码是序列到序列模型中唯一可以防止它们在推理时大规模并行化的部分。非自回归模型使得解码器能够并行地独立地生成所有输出符号。我们提出了一种新的非自回归架构的连接主义的时间分类的基础上,神经机器翻译的任务和评估。与其他分几步操作的非自回归方法不同,我们的模型可以进行端到端的训练。我们在WMT英语-罗马尼亚语和英语-德语数据集上进行实验。我们的模型比自回归模型实现了显著的加速,保持了与其他非自回归模型相当的翻译质量。
2018-11-12 cs.CL
Localizing Moments in Video with Temporal Language
UC Berkeley(加州大学伯克利分校);Adobe Research(Adobe研究院);INRIA(法国国家信息与自动化研究所)
在语言和视频理解的交叉点上,通过自然语言查询定位较长视频中的时刻是一项新的、具有挑战性的任务。虽然使用自然语言的矩定位类似于其他语言和视觉任务,如图像中的自然语言对象检索,但矩定位提供了一个有趣的机会来建模文本中的时间依赖性和推理。我们提出了一个新的模型,明确的原因在视频中的不同的时间段,并表明,时间上下文是重要的本地化短语,其中包括时间的语言。为了衡量我们的模型和其他最近的视频定位模型是否可以有效地推理时间语言,我们收集了新的TEMPoral推理视频和语言(TEMPO)数据集。我们的数据集由两部分组成:一个是包含真实视频和模板句子的数据集(TEMPO -模板语言),它允许对时间语言进行受控研究,另一个是由人类注释的时间句子组成的人类语言数据集(TEMPO -人类语言)。
2018-09-05 cs.CL cs.CV
Integrating Lexical and Temporal Signals in Neural Ranking Models for Searching Social Media Streams
University of Maryland(马里兰大学);University of Waterloo(滑铁卢大学);Comcast Applied AI Research Labs(康卡斯特应用人工智能研究实验室)
在搜索社交媒体帖子流时,时间是一个重要的相关性信号。可以利用来自初始查询的结果的文档时间戳的分布来推断相关文档的分布,然后可以使用相关文档的分布来对初始结果进行重新排序。以前的实验表明,核密度估计是这个想法的一个简单而有效的实现。本文探讨了另一种方法来挖掘时间信号与循环神经网络。我们的直觉是,神经网络提供了一个更具表现力的框架来捕捉相邻文档在时间上的时间一致性。据我们所知,我们是第一个将词汇和时间信号集成到端到端神经网络架构中的公司,在该架构中,现有的神经排名模型用于生成查询-文档相似性向量,这些向量被馈送到双向LSTM层进行时间建模。我们的结果好坏参半:单独用于文档排序的现有神经模型相对于简单基线产生有限的改进,但是词汇和时间信号的集成相对于竞争性时间基线产生显著的改进。
2017-07-25 cs.CL cs.IR
Multilingual Normalization of Temporal Expressions with Masked Language Models
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学)
时态表达式的检测和规范化是许多应用的重要任务和预处理步骤。然而,以前的规范化工作是基于规则的,这严重限制了在现实世界中的多语言设置的适用性,由于昂贵的创建新的规则。我们提出了一种新的神经方法规范化的时间表达式的基础上掩蔽语言建模。我们的多语言方法在许多语言中的性能优于先前的基于规则的系统,特别是对于低资源语言,与最先进的语言相比,平均性能提高高达33 F1。
2023-02-10 cs.CL cs.LG
Time, Tense and Aspect in Natural Language Database Interfaces
大多数现有的自然语言数据库接口(NLDBs)被设计为与数据库系统一起使用,这些数据库系统提供非常有限的操作时间相关数据的设施,并且它们不支持充分的时间语言机制(动词时态,时间状语,时间从句等)。数据库社区对时态数据库系统越来越感兴趣,时态数据库系统旨在以原则性的方式存储和操作不仅关于现在,而且关于过去和未来的信息。当与时态数据库接口时,支持时态语言机制变得至关重要。我们提出了一个框架,构建时态数据库(NLTDBs)的自然语言接口,借鉴了时态和方面的理论,时态逻辑和时态数据库的研究。该框架包括一个时间的中间表示语言,称为TOP,HPSG语法,映射到适当的TOP表达式的时间机制的广泛的问题,和一个可证明正确的方法从TOP翻译到TSQL2,TSQL2是最近提出的SQL数据库语言的时间扩展。该框架被用来实现一个原型NLTDB使用ALE和Prolog。
1998-03-22 cmp-lg cs.CL
A Framework for Natural Language Interfaces to Temporal Databases
在过去的30年里,数据库自然语言接口的设计取得了长足的进步。这项工作的大部分涉及快照数据库,其中只有有限的设施,用于操纵随时间变化的信息。数据库社区对时态数据库越来越感兴趣,时态数据库是一种特别支持与时间相关的条目的数据库。我们已经开发了一个框架,用于构建自然语言接口的时间数据库,利用逻辑和语言学的时间现象的研究。我们的框架的中心部分是一个类似逻辑的形式语言,称为TOP,它可以捕捉到广泛的英语句子的语义。我们已经实现了一个基于HPSG的句子分析器,转换成一个大的英语查询,涉及时间TOP公式,并制定了一个可证明正确的程序翻译TOP表达式到查询中的TSQL2时态数据库语言。通过这种方式,我们已经建立了一个健全的路线,从英语到通用的时态数据库语言。
1996-11-25 cmp-lg cs.CL
STARK: Spatio-Temporal Attention for Representation of Keypoints for Continuous Sign Language Recognition
RKMVERI
本文提出STARK网络,通过时空注意力机制减少参数量,提升连续手语识别性能。
2026-03-17 cs.CL cs.CV
What Really Controls Temporal Reasoning in Large Language Models: Tokenisation or Representation of Time?
University of Aberdeen(阿伯丁大学);Université Grenoble Alpes & CNRS(格勒诺布尔阿尔卑斯大学及国家科学研究中心)
本研究通过MultiTempBench验证了大语言模型时间推理的核心因素,发现令牌化质量是资源依赖型瓶颈,同时时间线性度在高资源语言中是主要预测因素,而碎片化在低资源语言中更显著。
2026-03-19 cs.AI cs.CL
DateLogicQA: Benchmarking Temporal Biases in Large Language Models
University of Aberdeen(阿伯丁大学)
该研究提出包含190个问题的DateLogicQA时间推理基准,设计语义完整性指标评估分词质量,分析大语言模型的表示层与逻辑层两类时间偏差,全面揭示其时间推理的能力与局限。
2025-05-19 cs.AI cs.CL
Counterfactual-Consistency Prompting for Relative Temporal Understanding in Large Language Models
Seoul National University(首尔大学)
针对大语言模型时间推理易出现时间关系混淆、预测不一致的问题,提出反事实一致性提示方法,通过生成反事实问题并施加集体约束提升一致性,在多数据集的事件排序与时间常识任务上获显著提升。
2025-06-17 cs.AI cs.CL
Exploring the Role of Explicit Temporal Modeling in Multimodal Large Language Models for Video Understanding
The University of Melbourne(墨尔本大学)
针对视频理解中隐式与显式时间建模的争议,提出可堆叠时间编码器(STE),系统比较两者在整体性能和token压缩等维度的表现,证实显式时间建模对推进视频MLLMs的关键作用。
2025-01-28 cs.CL cs.CV
How Can Large Language Models Understand Spatial-Temporal Data?
Dalian University of Technology(大连理工大学)
针对大语言模型难以适配时空数据的问题,研究提出STG-LLM框架,通过时空图分词器与极简适配器微调少量参数,实现了与专用最优方法相当的时空预测性能。
2024-05-17 cs.CL cs.LG
Domain Knowledge Empowered Structured Neural Net for End-to-End Event Temporal Relation Extraction
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Department of Computer Science, University of Southern California(南加州大学计算机科学系);Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
事件时序关系的提取是信息抽取的一项关键任务,在自然语言理解中起着重要作用。现有系统利用深度学习和预训练的语言模型来提高任务的性能。然而,这些系统通常遭受两个缺点:1)当基于神经模型执行最大后验(MAP)推断时,先前的系统仅使用被假定为绝对正确的结构化知识,即,硬约束; 2)当用有限的数据量训练时,对主导时间关系的有偏见的预测。为了解决这些问题,我们提出了一个框架,增强深度神经网络与概率域知识构建的分布约束。我们解决了约束推理问题,通过拉格朗日松弛,并将其应用于端到端的事件时态关系抽取任务。实验结果表明,我们的框架是能够改善基线神经网络模型具有很强的统计意义上的两个广泛使用的数据集在新闻和临床领域。
2020-10-06 cs.AI cs.CL
HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
视频语言预训练提高了各种下游视频语言任务的表现。然而,大多数先前的方法直接继承或适应典型的图像语言预训练范例到视频语言预训练,因此没有充分利用视频的独特特性,即,暂时的在本文中,我们提出了一个分层的时间感知的视频语言预训练框架,HiTeA,有两个新的预训练任务,用于建模时刻和文本之间的跨模态对齐以及视频-文本对的时间关系。具体来说,我们提出了一个跨模态的时刻探索任务,以探索视频中的时刻,这导致详细的视频时刻表示。此外,内在的时间关系被捕获对齐视频文本对作为一个整体,在不同的时间分辨率与多模态时间关系探索任务。此外,我们引入了洗牌测试来评估数据集和视频语言预训练模型的时间依赖性。我们在15个成熟的视频语言理解和生成任务上取得了最先进的结果,特别是在面向时间的数据集上(例如,SSv 2-模板和SSv 2-标签)分别提高了8.6%和11.1%。当以zero-shot方式直接转移到下游任务时,HiTeA也表现出很强的泛化能力。模型和演示将在ModelScope上提供。
2022-12-30 cs.CL cs.CV cs.MM
LiteVL: Efficient Video-Language Learning with Enhanced Spatial-Temporal Modeling
Peking University(北京大学);The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近的大规模视频语言预训练模型在各种下游任务上表现出了吸引人的性能。然而,由于需要数百万个视频-文本对和每个视频的冗余数据结构,预训练过程在计算上是昂贵的。为了缓解这些问题,我们提出了LiteVL,它将预训练的图像-语言模型BLIP直接适应下游任务的视频-文本模型,而无需进行大量的预训练。为了增强图像-语言模型中时间模型的不足,我们提出在具有动态时间缩放的BLIP图像编码器中加入时间注意模块。除了模型自适应之外,我们还提出了一种非参数池机制来自适应地重新加权以文本为条件的细粒度视频嵌入。文本视频检索和视频问答的实验结果表明,所提出的LiteVL甚至优于以前的视频语言预训练模型的明显优势,虽然没有任何视频语言预训练。
2022-10-21 cs.CL cs.CV
Learning Dynamic Author Representations with Temporal Language Models
Sorbonne Université(索邦大学);Facebook AI Research(脸书人工智能研究院)
语言模型是许多工作的核心,特别是在文本挖掘和信息检索社区。这些统计模型旨在提取单词分布,从简单的单字模型到使用潜变量的递归方法,这些方法可以捕获文本中的微妙依赖关系。然而,这些模型只从单词序列中学习,很少考虑作者的身份以及出版日期。我们提出了一个神经模型,基于循环语言建模,其目的是捕捉语言扩散趋势,作者社区随着时间的推移。通过用作者和时间向量状态来调节语言模型,我们能够利用文本上下文之间的潜在依赖关系。这使我们能够在两个真实世界的语料库上击败几个时间和非时间语言基线,并学习随时间变化的有意义的作者表示。
2019-09-11 cs.CL cs.LG stat.ML
Temporal Information and Event Markup Language: TIE-ML Markup Process and Schema Version 1.0
Indiana University(印第安纳大学)
时态信息和事件置标语言(TIE-ML)是一种标记策略和注释模式,用于提高语料库的时态和事件相关注释的效率和准确性,以促进基于机器学习的模型训练。对于事件的注释、时间顺序和持续时间,通过仅为时间关系和事件枚举提供极其简化的标记集,它明显更简单。与其他标准相比,例如时间置标语言(TimeML),它更容易使用,因为它放弃了复杂的形式主义、理论概念和注释方法。使用TimeML标注的语料库可以有损失地映射到TIE-ML,而TIE-ML标注可以完全映射到TimeML,但有一定的欠规范。
2021-09-28 cs.AI cs.CL cs.LO
Phonetic Temporal Neural Model for Language Identification
Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
深度神经模型,特别是LSTM-RNN模型,在语言识别(LID)方面表现出了巨大的潜力。然而,语音信息的使用在很大程度上被大多数现有的神经LID方法所忽视,尽管这种信息已经非常成功地用于传统的语音LID系统中。我们提出了一个用于LID的语音时间神经模型,这是一个LSTM-RNN LID系统,它接受由语音区分DNN产生的语音特征作为输入,而不是原始的声学特征。这种新的模型与传统的语音LID方法类似,但这里的语音知识更丰富:它是在帧级别,并涉及所有音素的压缩信息。我们在Babel数据库和AP 16-OLR数据库上进行的实验表明,时间语音神经方法是非常有效的,并显着优于现有的声学神经模型。它也优于传统的i向量方法短话语和嘈杂的条件。
2017-08-25 cs.CL cs.LG cs.NE
VITATECS: A Diagnostic Dataset for Temporal Concept Understanding of Video-Language Models
Peking University(北京大学);The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对现有基准因静态视觉捷径无法真实反映视频-语言模型时间理解能力的问题,提出诊断数据集VITATECS,通过细粒度时间概念分类法与反事实视频描述解耦静态与时间信息,评估证实了现有模型在时间理解上的缺陷。
2024-09-21 cs.AI cs.CL cs.CV
A Novel Topology for End-to-end Temporal Classification and Segmentation with Recurrent Neural Network
连接主义时间分类(CTC)作为一种不需要序列转换的对齐方法已经成熟,并在端到端语音识别中显示出竞争力。在CTC拓扑结构中,空白符号占据了状态网格的一半以上,这导致了非空白符号的尖峰现象。对于分类任务,尖峰工作得很好,但对于分割任务,它不提供边界信息。在本文中,一种新的拓扑结构被引入到一个框架中的时间分类和分割能力相结合。
2019-12-10 cs.CL cs.LG cs.SD
NeSTR: A Neuro-Symbolic Abductive Framework for Temporal Reasoning in Large Language Models
National Key Laboratory of Big Data and Decision(大数据与决策国家重点实验室)
NeSTR通过结合符号表示与反思推理,提升大语言模型在复杂时间约束下的推理能力。
2025-12-08 cs.AI cs.CL cs.LG
Grounding Complex Natural Language Commands for Temporal Tasks in Unseen Environments
Brown University(布朗大学);Princeton University(普林斯顿大学)
针对未见环境中时间导航命令接地问题,提出Lang2LTL系统,利用大型语言模型将命令转为LTL规范,在21个城市环境及物理机器人上验证了先进泛化能力。
2023-10-17 cs.AI cs.CL cs.FL
Attentive Temporal Pooling for Conformer-based Streaming Language Identification in Long-form Speech
Google LLC(谷歌有限责任公司)
本文介绍了一种基于一致性层的语言识别系统。我们提出了一个专注的时间池机制,允许模型通过循环形式在长格式音频中携带信息,从而可以以流式方式执行推理。此外,我们研究了两个域适应方法,允许适应现有的语言识别模型,而无需重新训练模型参数为一个新的域。我们在不同的模型大小约束下对不同的模型拓扑进行了比较研究,发现基于一致性的模型显著优于基于LSTM和Transformer的模型。我们的实验还表明,注意的时间池和域适应提高模型的准确性。
2022-05-01 cs.CL cs.LG eess.AS