Retrieval of Temporal Event Sequences from Textual Descriptions
Georgia Institute of Technology(佐治亚理工学院)
本文提出了时间事件序列检索基准TESRBench及新模型TPP-Embedding,通过结合大型语言模型与时间点过程,在共享嵌入空间中统一时间动态与事件语义,显著优于基线模型。
2025-02-03 cs.CL cs.IR
Using Signals to Improve Automatic Classification of Temporal Relations
University of Sheffield(谢菲尔德大学)
语言传达的时间信息描述了我们周围的世界如何随着时间的推移而变化。事件、持续时间和时间都是可以被视为间隔的时间元素。这些间隔有时在文本中是时间相关的。自动确定这种关系的性质是一个复杂且未解决的问题。有些词可以作为“信号”,暗示间隔之间的时间顺序。在本文中,我们使用这些信号词,以提高最近的方法来分类的时间链接的准确性。
2012-03-22 cs.CL
Examining and Adapting Time for Multilingual Classification via Mixture of Temporal Experts
University of Memphis(孟菲斯大学)
针对现有分类模型忽视多语言场景时间变化的问题,提出时间专家混合模型(MoTE),通过适配时间趋势增强分类器泛化能力,实验验证其在多语言时间数据变化下的有效性并提供分析见解。
2025-02-12 cs.CL
ChronosLex: Time-aware Incremental Training for Temporal Generalization of Legal Classification Tasks
Technical University of Munich(慕尼黑工业大学)
针对法律分类任务中概念随时间演变导致的模型性能下降,提出ChronosLex增量训练范式,按时间顺序训练,实验证明持续学习优于时间不变方法,能有效防止过拟合并提升时间泛化能力。
2024-05-23 cs.CL
SERC: Syntactic and Semantic Sequence based Event Relation Classification
IIIT-Delhi(印度德里信息技术学院);Adobe Systems(Adobe系统公司)
时间和因果关系在确定事件之间的依赖关系方面起着重要作用。对事件之间的时间和因果关系进行分类有许多应用,例如生成事件时间轴、事件摘要、文本蕴涵和问答。时间关系和因果关系密切相关,相互影响。因此,我们提出了一个联合模型,结合了时间和因果关系的功能来执行因果关系分类。我们使用文本的句法结构来识别文本中两个事件之间的时间和因果关系。我们从文本中提取词性标记序列、依存标记序列和词序列。我们提出了一个基于LSTM的时间和因果关系分类模型,该模型捕捉了三个编码特征之间的相互关系。在四个流行的数据集上对我们的模型进行评估,在时间和因果关系分类方面取得了令人满意的结果。
2021-11-09 cs.CL
Looking for the Bottleneck in Fine-grained Temporal Relation Classification
University of Porto INESC TEC(波尔图大学 INESC TEC);University of Beira Interior INESC TEC(贝拉内里奥大学 INESC TEC)
本文提出Interval from Point方法,通过分类时间实体端点的点关系来解码区间关系,提升时间关系分类效果,在TempEval-3数据集上达到70.1%的时序意识得分。
2026-04-27 cs.CL
End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
自回归解码是序列到序列模型中唯一可以防止它们在推理时大规模并行化的部分。非自回归模型使得解码器能够并行地独立地生成所有输出符号。我们提出了一种新的非自回归架构的连接主义的时间分类的基础上,神经机器翻译的任务和评估。与其他分几步操作的非自回归方法不同,我们的模型可以进行端到端的训练。我们在WMT英语-罗马尼亚语和英语-德语数据集上进行实验。我们的模型比自回归模型实现了显著的加速,保持了与其他非自回归模型相当的翻译质量。
2018-11-12 cs.CL
Advancing Connectionist Temporal Classification With Attention Modeling
Microsoft(微软)
在这项研究中,我们提出了推进全神经语音识别直接将注意力建模的连接时间分类(CTC)框架。特别是,我们使用时间卷积特征来推导新的上下文向量,以将注意力建模为CTC网络的一部分。为了进一步改进注意力建模,我们利用从表示隐式语言模型的网络中提取的内容信息。最后,我们引入了基于向量的注意力权重,这些权重应用于时间和各个分量的上下文向量。我们评估我们的系统上3400小时的Microsoft Cortana语音助手任务,并证明我们提出的模型始终优于基线模型,实现约20%的相对减少字出错率。
2018-03-15 cs.CL
Predict the Future from the Past? On the Temporal Data Distribution Shift in Financial Sentiment Classifications
The Hong Kong University of Science and Technology(香港科技大学)
本文针对金融文本中的时间数据分布偏移问题,利用三年真实数据集进行实证研究,并提出一种结合分布外检测与时间序列建模的新方法,有效提升了模型在波动市场中对时间偏移的适应能力。
2023-10-19 cs.CL
Beam Search Decoding using Manner of Articulation Detection Knowledge Derived from Connectionist Temporal Classification
Department of Computer Science
使用深度神经网络的发音检测方式需要属性判别特征或恰当的音素对齐的先验知识。然而,产生一个适当的音素对齐是复杂的,其性能取决于选择的最佳数目的senones,高斯等,在我们的工作的第一部分,我们利用的方式使用连接主义的时间分类(CTC),不需要任何音素对齐的发音检测。之后,我们修改了国家的最先进的字符为基础的后验生成CTC使用的方式,清晰度CTC检测器。对修改后的后验进行束搜索解码,并观察其对AN4和LibriSpeech等开源数据集的影响。
2018-11-16 cs.CL
Opinions are Made to be Changed: Temporally Adaptive Stance Classification
Queen Mary University of London(伦敦玛丽女王大学)
鉴于社交媒体和人们观点的快速发展,词语的使用会随着时间的推移而变化。因此,在旧文本数据上训练的分类器的性能在新数据上测试时可能会急剧下降。虽然近年来立场分类的研究取得了进展,但没有努力使这些分类器随着时间的推移具有持久的性能。为了研究这种现象,我们引入了两个新的大规模,纵向的立场数据集。然后,我们评估了随着时间的推移,立场分类器的性能持久性,并演示了它是如何衰减的训练和测试数据之间的时间差距增加。我们提出了一种新的方法来减轻这种性能下降,这是基于时间适应的词嵌入用于训练的立场分类。这使我们能够利用当前时间段内现成的未标记数据,而不是昂贵的注释工作。我们提出并比较了几种嵌入自适应的方法,发现增量时间对齐(ITA)模型在降低性能随时间的下降方面效果最好。
2021-08-27 cs.CL
Text-Routed Sparse Mixture-of-Experts Model with Explanation and Temporal Alignment for Multi-Modal Sentiment Analysis
本文提出基于解释和时序对齐的文本引导稀疏专家混合模型,用于提升多模态情感分析的性能。
2025-12-28 cs.CL
Order-Preserving Abstractive Summarization for Spoken Content Based on Connectionist Temporal Classification
National Taiwan University(台湾大学)
连接主义时态分类(CTC)是一种强有力的序列到序列学习方法,在语音识别中得到了广泛的应用。CTC的核心思想包括在培训过程中添加一个标签“空白”。通过这种机制,CTC消除了段对齐的需要,因此已被应用于各种序列到序列的学习问题。在这项工作中,我们将CTC应用于口语内容的抽象摘要。这种情况下的“空白”意味着相应的输入数据不太重要或有噪声;因此可以忽略它。在中文Gigaword和MATBN语料库上的ROUGE测试结果表明,该方法优于现有方法。这种方法还有一个很好的特性,即在生成的摘要中可以更好地保留输入文档中单词或字符的顺序。
2017-11-16 cs.CL
Word-Level Loss Extensions for Neural Temporal Relation Classification
KU Leuven(鲁汶大学)
无监督的预训练词嵌入有效地用于自然语言处理中的许多任务,以利用未标记的文本数据。通常,这些嵌入要么用作初始化,要么用作特定于任务的分类模型的固定单词表示。在这项工作中,我们扩展了我们的分类模型的任务损失与无监督的辅助损失的单词嵌入水平的模型。这是为了确保学习的单词表示包含从监督损失组件学习的任务特定特征和从无监督损失组件学习的更一般的特征。我们评估我们的方法的任务时间关系抽取,特别是从临床记录中的叙述包含关系抽取,并表明,继续训练的嵌入在无监督的目标与任务目标一起提供了更好的特定于任务的嵌入,并导致在改进的最先进的THYME数据集上,只使用一个通用域的词性标注器作为语言资源。
2018-08-07 cs.CL
Dynamically Updating Event Representations for Temporal Relation Classification with Multi-category Learning
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);National Institute for Japanese Language and Linguistics(国立国语研究所);Ochanomizu University(御茶水女子大学)
本文提出以事件为中心的多任务学习模型,通过动态更新事件表示并联合处理E2E、E2T和E2D三类时间链接分类,在英日数据上超越现有最优模型。
2023-10-31 cs.CL
DARER: Dual-task Temporal Relational Recurrent Reasoning Network for Joint Dialog Sentiment Classification and Act Recognition
University of Technology Sydney(悉尼科技大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);Centre for Frontier Artificial Intelligence Research(前沿人工智能研究中心)
联合对话情感分类(DSC)和行为识别(DAR)的任务旨在同时预测对话中每个话语的情感标签和行为标签。在本文中,我们提出了一个新的框架,通过集成\textit{prediction-level interactions}而不是语义级的相互作用,更符合人类的直觉模型的显式依赖。此外,我们提出了一个说话人感知时序图(SATG)和双任务关系时序图(DRTG),将\textit{temporal relations}引入对话理解和双任务推理。为了实现我们的框架,我们提出了一种新的模型称为DARER,它首先产生的上下文,扬声器和时间敏感的话语表示通过建模SATG,然后进行循环的双任务关系推理DRTG,在这个过程中,估计的标签分布作为关键线索,在预测级的互动。实验结果表明,DARER模型在计算资源和训练时间上都大大优于现有模型。值得注意的是,在Mastodon的DSC任务中,DARER在F1方面比以前的最佳模型相对提高了约25%,参数不到50%,仅需约60%的GPU内存。
2022-03-08 cs.CL
TextZoo, a New Benchmark for Reconsidering Text Classification
Tencent(腾讯公司)
文本表示是自然语言处理中的一个基本问题,尤其是在文本分类中。最近,许多具有精细表示模型的神经网络方法(例如FASTTEXT,CNN,RNN和许多具有注意力机制的混合模型)声称它们在特定的文本分类数据集上达到了最先进的水平。然而,它缺乏一个统一的基准来比较这些模型,并揭示每个子组件的优势,为各种设置。我们重新实现了20多个流行的文本表示模型,用于10多个数据集的分类。本文从神经网络的角度对文本分类问题进行了重新思考,并对上述结果进行了分析,得到了一些效果。
2018-03-19 cs.CL
Model and Evaluation: Towards Fairness in Multilingual Text Classification
Guangdong University of Technology(广东工业大学);Guangdong University of Foreign Studies(广东外语外贸大学)
近年来,越来越多的研究集中在解决文本分类模型中的偏见。然而,现有的研究主要集中在单语文本分类模型的公平性上,多语种文本分类模型的公平性研究还很有限。针对多语言文本分类问题,提出了一种基于对比学习的多语言文本分类去偏框架。我们提出的方法不依赖于任何外部语言资源,可以扩展到任何其他语言。该模型包括四个模块:多语言文本表示模块、语言融合模块、文本去偏模块和文本分类模块。多语种文本表示模块采用多语种预训练语言模型表示文本,语言融合模块通过对比学习使不同语言的语义空间趋于一致,文本去偏模块采用对比学习使模型无法识别敏感属性信息。文本分类模块完成多语种文本分类的基本任务。另外,现有的多语种文本分类公平性研究在评价模式上比较单一。公平性的评价方法与单语平等差异评价方法相同,即对单一语言进行评价。本文提出了一个多维的多语种文本分类公平性评价框架,该框架评价了模型的单语种公平性差异、多语种公平性差异、多语种公平性性能差异以及公平性策略的破坏性。我们希望我们的工作可以提供一个更普遍的去偏置方法和更全面的多语言文本公平性任务的评估框架。
2023-03-28 cs.CL
A Study of All-Convolutional Encoders for Connectionist Temporal Classification
TTIC(丰田技术研究所芝加哥分校)
连接主义时间分类(CTC)是用于自动语音识别的流行序列预测方法,其通常与基于递归神经网络(RNN)的模型一起使用。我们探索深度卷积神经网络(CNN)是否可以有效地代替RNN作为CTC中的"编码器"。CNN缺乏整个序列的显式表示,但具有训练速度快得多的优点。我们提出了一个探索的CNN作为CTC模型的编码器,在基于字符(无词典)的自动语音识别的上下文中。特别是,我们探索了一系列一维卷积层,它们特别有效。我们比较了我们的基于CNN的模型对典型的基于RNN的模型在训练时间,解码时间,模型大小和字出错率(WER)的Switchboard Eval2000语料库的性能。我们发现,我们的基于CNN的模型在性能上接近LSTM,而不是匹配它们,并且训练和解码速度要快得多。
2018-02-15 cs.CL
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分,如主题识别,垃圾邮件过滤,电子邮件路由,语言识别,体裁分类,可读性评估等。当使用短语模式时,文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为,从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务,它使用语法检查,问答,信息抽取,机器翻译,文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Classification
Peking University(北京大学)
层次文本分类由于其复杂的标签层次结构而成为多标签分类中一个具有挑战性的子任务。现有的方法分别编码文本和标签层次结构,并混合它们的表示进行分类,其中层次结构对所有输入文本保持不变。而不是单独建模,在这项工作中,我们提出了层次引导的对比学习(HGSTOM)直接嵌入到文本编码器的层次结构。在训练过程中,HGARCH在标签层次结构的指导下为输入文本构造正样本。通过将输入文本及其正样本拉在一起,文本编码器可以学习独立地生成分层感知的文本表示。因此,经过训练后,HGARCH增强的文本编码器可以省去冗余的层次。在三个基准数据集上的大量实验验证了HGARCH的有效性。
2022-03-23 cs.CL
A Novel Topology for End-to-end Temporal Classification and Segmentation with Recurrent Neural Network
连接主义时间分类(CTC)作为一种不需要序列转换的对齐方法已经成熟,并在端到端语音识别中显示出竞争力。在CTC拓扑结构中,空白符号占据了状态网格的一半以上,这导致了非空白符号的尖峰现象。对于分类任务,尖峰工作得很好,但对于分割任务,它不提供边界信息。在本文中,一种新的拓扑结构被引入到一个框架中的时间分类和分割能力相结合。
2019-12-10 cs.CL cs.LG cs.SD
Speech Recognition Oriented Vowel Classification Using Temporal Radial Basis Functions
University of Science and Technology (USTO)(科技大学(USTO));Faculty of Sciences(理学院)
最近人们对时空神经网络作为语音识别工具的兴趣重新燃起,激发了本研究的动机。本文提出了一种基于时间径向基函数(TRBF)的方法,该方法具有参数少、收敛速度快、时不变等优点。这个应用程序的目的是识别元音取自自然语音样本的Timit语料库的美国语音。我们报告的识别准确率为98.06%的训练和90.13测试的一个子集上的6个元音音素,在未来扩展的元音集的可能性。
2009-12-19 cs.CL cs.MM
A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
University Medical Center Utrecht(乌得勒支大学医学中心);KU Leuven(鲁汶大学)
时间深深地融入了人们对世界的感知和交流。我们几乎是无意识地为我们的语言话语提供了时间线索,比如动词时态,没有这些线索,我们很难造句。从文本中提取时间线索,并构建关于描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一个连贯的时间视图的过程,在时间信息抽取中起着核心作用。本文综述了过去几十年来关于文本时间信息抽取的时间推理研究,并提供了一个将符号推理与基于机器学习的信息抽取系统相结合的案例研究。
2020-05-15 cs.AI cs.CL cs.LG
Temporal Attention-Gated Model for Robust Sequence Classification
Carnegie Mellon University(卡内基梅隆大学);Delft University of Technology(代尔夫特理工大学)
用于序列分类的典型技术被设计用于已被编辑以去除噪声或不相关部分的良好分段的序列。因此,这样的方法不能容易地应用于在现实世界的应用中预期的噪声序列。在本文中,我们提出了时间注意门控模型(TAGM),它集成了注意力模型和门控递归网络的思想,以更好地处理噪声或未分割的序列。具体来说,我们扩展了注意力模型的概念,以衡量序列的每个观察(时间步)的相关性。然后,我们使用一种新的门控递归网络来学习最终预测的隐藏表示。我们的方法的一个重要优势是可解释性,因为时间注意力权重提供了一个有意义的值的序列中的每个时间步的显着性。我们证明了我们的TAGM方法的优点,无论是预测精度和可解释性,在三个不同的任务:语音数字识别,基于文本的情感分析和视觉事件识别。
2017-04-15 cs.CL cs.CV
Adversarial Alignment of Multilingual Models for Extracting Temporal Expressions from Text
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学);Saarbrücken Graduate School of Computer Science(萨尔布吕肯计算机科学研究生院)
虽然时间标记仍然是基于规则的系统占主导地位,最近有神经时间标记器的尝试。然而,所有这些都集中在单语设置。在本文中,我们探索了从文本中提取时间表达式的多语言方法,并研究了将嵌入空间对齐到一个公共空间的对抗训练。有了这个,我们创建了一个单一的多语言模型,也可以转移到看不见的语言,并设置在这些跨语言迁移实验的新的艺术状态。
2020-05-19 cs.CL cs.LG
Boosting Local Spectro-Temporal Features for Speech Analysis
University of Toronto(多伦多大学)
本文研究语音识别中的音素分类问题,探索将目标检测常用的Haar特征和SVM分类的HoG特征用于局部频谱-时间特征表示,并给出初步实验结果。
2023-08-04 cs.CL cs.SD eess.AS
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University(北京大学)
文本摘要和情感分类都旨在捕捉文本的主要思想,但在不同的层次上。文本摘要是在几个句子内描述文本,而情感分类可以被视为一种特殊类型的摘要,它将文本“概括”成更抽象的方式,即,情感课基于这一思想,我们提出了一个分层的端到端模型,用于文本摘要和情感分类的联合学习,其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此,情感分类层放在文本摘要层上,并导出层次结构。在Amazon在线评论数据集上的实验结果表明,该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
Temporal expression normalisation in natural language texts
School of Computer Science(计算机学院);The University of Manchester(曼彻斯特大学)
时态表达式的自动标注是信息抽取领域的一个研究热点。在这份报告中,我描述了一种新的基于规则的架构,建立在一个预先存在的系统,这是能够正常化的英语文本中检测到的时间表达。黄金标准的时间注释资源在大小上是有限的,这使得研究困难。所提出的系统优于国家的最先进的系统相对于TempEval-2共享任务(值属性),并实现了更好的结果相对于预先存在的系统,它已经开发的顶部。我还将介绍一个新的免费语料库,由2822个独特的注释时间表达式组成。语料库和系统都可以在网上免费获得。
2012-06-10 cs.CL cs.IR
Evaluating Temporal Graphs Built from Texts via Transitive Reduction
LIMSI-CNRS(法国国家科学研究中心计算机科学实验室);Univ. Paris-Sud(巴黎南大学);ALPAGE-INRIA(法国国家信息与自动化研究所ALPAGE项目组);Toulouse University(图卢兹大学);IRIT(图卢兹计算机科学研究所);Univ. Paul Sabatier(保罗·萨巴蒂埃大学)
时间信息一直是信息抽取中最近关注的焦点,导致了一些标准化的努力,特别是在文本中的相关事件的任务。这项任务提出了一个问题,比较两个注释的一个给定的文本,因为事件之间的关系在一个故事是内在的相互依赖,不能单独评估。在机器学习方法解决问题的背景下,适当的评估措施也至关重要。找到一个共同的比较所指在文本层面上是不明显的,我们认为在这里赞成从基于事件的措施,一个独特的文本对象,一个最小的底层时间图,或更正式的传递减少事件边界之间的关系图的措施的转变。我们支持它的合成数据和一个众所周知的时间语料库上的属性的调查。
2014-01-16 cs.CL cs.IR
LIME: Weakly-Supervised Text Classification Without Seeds
ActionPower
在弱监督文本分类中,只有标签名称作为监督源。弱监督文本分类的主要方法利用两阶段框架,其中测试样本首先被分配伪标签,然后用于训练神经文本分类器。在大多数以前的工作中,伪标记步骤取决于获得最能捕捉每个类别标签相关性的种子词。我们提出了LIME,弱监督文本分类的框架,完全取代了脆弱的种子词生成过程与基于蕴涵的伪分类。我们发现,将弱监督分类和文本蕴涵相结合可以减轻两者的缺点,从而实现更精简和有效的分类管道。仅使用现成的文本蕴涵模型,LIME在弱监督文本分类中的表现优于最近的基线,并在4个基准测试中达到了最先进的水平。我们在https://github.com/seongminp/LIME上开源我们的代码。
2022-10-13 cs.AI cs.CL
Dating Texts without Explicit Temporal Cues
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文处理文档的时间分辨率,例如仅基于其文本来确定文档何时被写入或何时被写入。我们应用信息检索技术,通过离散化的时间轴上的语言模型来预测日期。不像大多数以前的作品,我们依靠{ \it单独}的时间线索隐含在文本中。我们认为这两个文件的可能性和分歧为基础的技术和几个平滑方法。我们最好的模型预测了从公元前3800年到现在的维基百科传记中个人生活的中点,中位数为22岁,平均误差为36岁。我们还表明,这种方法在训练此类传记和预测特定年份(公元前500年至公元2010年)的非传记维基百科页面的日期时效果良好。以及短篇小说的出版日期(1798年至2008年)。总之,我们的工作表明,即使在时间提取资源的情况下,也有可能在不同的文本集上实现显着的时间局部性。
2012-11-10 cs.AI cs.CL
Bypass Temporal Classification: Weakly Supervised Automatic Speech Recognition with Imperfect Transcripts
Johns Hopkins University(约翰斯·霍普金斯大学);NVIDIA(英伟达);Xiaomi Corp.(小米公司)
针对人工标注语音语料中转写错误损害 ASR 性能的问题,本文提出扩展 CTC 的 BTC 准则,通过 WFST 组合增强训练图以显式建模转写不确定性,从而提升弱监督 ASR 的鲁棒性与准确率。
2023-06-01 cs.CL cs.LG cs.SD
Extended Graph Temporal Classification for Multi-Speaker End-to-End ASR
MERL(三菱电机研究实验室)
基于图的时态分类(GTC)是联结主义时态分类损失的一种推广形式,最近被提出来改进基于图监督的自动语音识别(ASR)系统。例如,GTC首先用于将伪标签序列的N最佳列表编码到图中以用于半监督学习。在本文中,我们提出了一个扩展的GTC模型的标签和标签转换的后验的神经网络,它可以应用到更广泛的任务。作为一个应用实例,我们使用扩展的GTC(GTC-e)的多扬声器语音识别任务。多说话人语音的转换和说话人信息用图表示,其中说话人信息与转换相关联,ASR输出与节点相关联。使用GTC-e,多说话者ASR建模变得与单说话者ASR建模非常相似,因为多个说话者的令牌被识别为按时间顺序的单个合并序列。为了进行评估,我们在来自LibriSpeech的模拟多说话者语音数据集上进行实验,获得了与任务的经典基准接近的性能。
2022-03-01 cs.CL cs.SD eess.AS
Semi-Supervised Speech Recognition via Graph-based Temporal Classification
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
半监督学习在自动语音识别(ASR)中已经证明了有希望的结果,通过使用种子ASR模型进行自训练,该模型具有为未标记数据生成的伪标签。这种方法的有效性在很大程度上依赖于伪标签的准确性,通常仅使用1-最佳ASR假设。然而,N最佳列表的替代ASR假设可以为未标记的语音话语提供更准确的标签,并且还反映了种子ASR模型的不确定性。在本文中,我们提出了一个广义形式的连接主义时间分类(CTC)的目标,接受一个图形表示的训练标签。新提出的基于图的时间分类(GTC)目标被应用于基于WFST的监督的自训练,该监督是从伪标签的N-最佳列表中生成的。在这种设置中,GTC不仅用于学习时间对齐,类似于CTC,而且还用于学习标签对齐,以从加权图中获得最佳伪标签序列。结果表明,该方法可以有效地利用一个N-best列表的伪标签与相关的分数,大大优于标准的伪标签,与ASR的结果接近预言实验中,最好的假设的N-best列表中选择手动。
2021-02-16 cs.CL cs.LG cs.SD
Audio Tagging With Connectionist Temporal Classification Model Using Sequential Labelled Data
Beijing University of Posts and Telecommunications(北京邮电大学);University of Surrey(萨里大学)
音频标记旨在预测音频片段中的一个或多个标签。许多以前的作品使用弱标记数据(WLD)进行音频标记,其中只有声音事件的存在或不存在是已知的,但声音事件的顺序是未知的。为了使用声音事件的顺序信息,我们提出了顺序标记数据(SLD),其中声音事件的存在或不存在以及顺序信息都是已知的。为了在音频标记中利用SLD,我们提出了一个卷积递归神经网络,然后是连接主义时间分类(CRNN-CTC)目标函数,以从音频片段频谱图映射到SLD。实验表明,CRNN-CTC在音频标记中获得了0.986的曲线下面积(AUC)分数,分别优于最大池化和平均池化的0.908和0.815的基线CRNN。此外,我们展示了CRNN-CTC具有预测音频片段中声音事件的顺序的能力。
2018-08-06 cs.CL cs.SD eess.AS
When BERT Meets Quantum Temporal Convolution Learning for Text Classification in Heterogeneous Computing
Georgia Institute of Technology(佐治亚理工学院);Brookhaven National Laboratory(布鲁克海文国家实验室);Academia Sinica(中央研究院);IBM Research(IBM研究院)
量子计算的快速发展显示了量子计算的许多独特优势,如更丰富的特征表示和对模型参数更安全的保护。本文提出了一种基于变分量子电路的垂直联邦学习架构,以展示量子增强的预训练BERT模型在文本分类中的竞争性能。特别是,我们提出的混合经典量子模型由一种新型的随机量子时间卷积(QTC)学习框架组成,取代了基于BERT的解码器中的某些层。在Snips和ATIS口语数据集上进行的意图分类实验表明,本文提出的BERT-QTC模型取得了较好的效果。特别地,BERT-QTC将现有的基于量子电路的语言模型在两个文本分类数据集上的性能提高了1.57%和1.52%。此外,BERT-QTC可以部署在现有的商业可访问的量子计算硬件和基于CPU的接口上,以确保数据隔离。
2022-02-17 cs.AI cs.CL cs.DC
Self-Attention Networks for Connectionist Temporal Classification in Speech Recognition
Amazon AI(亚马逊人工智能);University of Washington(华盛顿大学)
自注意在自然语言处理中的成功,导致最近的应用在端到端的编码器-解码器架构的语音识别。另外,连接主义时间分类(CTC)已经成熟为一个无干扰,非自回归的方法,序列转导,无论是本身或在各种多任务和解码框架。我们提出了SAN-CTC,一个深度的,完全自我注意的CTC网络,并表明它是易于处理的和有竞争力的端到端的语音识别。SAN-CTC训练速度快,性能优于现有的CTC模型和大多数编码器-解码器模型,在WSJ eval 92上1天内的字符错误率(CER)为4.7%,在LibriSpeech test-clean上1周内为2.8%,具有固定架构和一个GPU。类似的改进适用于LM解码之后的WER。我们激励架构的讲话,评估位置和下采样方法,并探讨标签字母(字符,音素,子字)如何影响注意头和性能。
2019-02-19 cs.CL cs.LG cs.SD