Reinforcement Learning for on-line Sequence Transformation
Warsaw University of Technology(华沙理工大学);Institute of Computer Science(计算机科学研究所)
在声音和自然语言的处理中以及在其它领域中的许多问题可以简化为同时读取输入序列和写入通常不同长度的输出序列。存在基于完全已知的输入产生输出序列的成熟方法。然而,不存在使这种在线转换成为可能的有效方法。在本文中,我们介绍了一种通过强化学习来决定是读取令牌还是写入另一个令牌的架构。该体系结构能够在线变换潜在无限序列。在一项实验研究中,我们将其与神经机器翻译的最新方法进行了比较。虽然它产生的翻译比Transformer稍差,但它在注意力方面优于自动编码器,即使我们的架构在线翻译文本,从而解决了比这两种参考方法更困难的问题。
2022-02-16 cs.CL cs.LG
GMM-Free Flat Start Sequence-Discriminative DNN Training
MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE人工智能研究组);Department of Informatics, University of Szeged(塞格德大学信息学系)
最近,已经尝试从基于深度神经网络的隐马尔可夫模型(HMM/DNN)的训练过程中去除高斯混合模型(GMM)。对于HMM/DNN混合模型的无GMM训练,我们必须解决两个问题,即帧级状态标签的初始对齐和上下文相关状态的创建。虽然通过使用帧级误差函数迭代地重新对准和重新训练DNN的平坦开始训练是可行的,但它相当麻烦。在这里,我们建议使用一个序列判别训练标准的平坦开始。虽然序列判别训练通常只在模型训练的最后阶段应用,但我们表明,在适当的谨慎情况下,它也适用于获得与上下文无关的DNN模型的对齐。对于绑定状态的构建,我们采用了最近提出的基于KL-散度的状态聚类方法,因此我们的整个训练过程是GMM自由的。在实验评估中,我们发现序列判别式平坦开始训练方法不仅比迭代再训练和重新排列的直接方法快得多,而且获得的单词出错率也略好。
2016-10-11 cs.CL
How Does Sequence Modeling Architecture Influence Base Capabilities of Pre-trained Language Models? Exploring Key Architecture Design Principles to Avoid Base Capabilities Degradation
Research Center for Social Computing and Interactive Robotics(社会计算与交互机器人研究中心);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Co., Ltd(iFLYTEK公司)
本研究探讨序列建模架构对预训练语言模型基础能力的影响,提出有限领域预训练设置揭示差异,总结出架构需具备全序列任意选择能力以避免基础能力退化,并用Top-1选择架构验证该原则。
2025-10-24 cs.CL
An Empirical Evaluation of various Deep Learning Architectures for Bi-Sequence Classification Tasks
IBM Research India(IBM印度研究院)
论证挖掘和辩论、问答和自然语言推理中的若干任务涉及在另一序列的上下文中对序列进行分类(称为双序列分类)。对于几个单序列分类任务,当前最先进的方法是基于循环和卷积神经网络。另一方面,对于双序列分类问题,对于最佳深度学习架构没有太多的理解。在本文中,我们试图通过对19种不同的深度学习架构(特别是处理上下文的不同方式)进行广泛的实证评估,来了解这一类问题,以解决源于辩论、文本蕴涵和问答等自然语言处理的各种问题。在实证评估之后,我们提供了关于我们所考虑的架构的见解和结论。我们还为三个论证挖掘任务建立了第一个深度学习基线。
2016-10-02 cs.CL
Bringing Emerging Architectures to Sequence Labeling in NLP
Universidade da Coruña, CITIC(圣地亚哥大学,CITIC);Graz University of Technology, IML(格拉茨技术大学,IML)
研究新兴架构在不同序列标注任务中的适应性,发现其在简单任务中的表现不适用于复杂任务和多语言场景。
2026-03-18 cs.CL
Don't Parse, Generate! A Sequence to Sequence Architecture for Task-Oriented Semantic Parsing
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amazon Alexa AI(亚马逊 Alexa 人工智能);Amazon Alexa Search(亚马逊 Alexa 搜索);Amazon Alexa(亚马逊 Alexa)
诸如Amazon Alexa、Apple Siri和Google Assistant之类的虚拟助理通常依赖于语义解析组件来理解对其用户说出的话语执行哪些动作。传统上,基于规则或统计的槽填充系统已被用于解析“简单”查询;即,包含单个动作并且可以被分解成一组不重叠的实体的查询。最近,已经提出了移位-归约解析器来处理更复杂的话语。这些方法虽然功能强大,但对可以解析的查询类型有特定的限制;也就是说,它们要求查询可以表示为解析树。在这项工作中,我们提出了一个统一的体系结构的基础上序列到序列模型和指针生成器网络来处理简单和复杂的查询。与其他作品不同,我们的方法不施加任何限制的语义分析模式。此外,实验表明,它在三个公开可用的数据集(ATIS,SNIPS,Facebook TOP)上实现了最先进的性能,与以前的系统相比,精确匹配精度相对提高了3.3%到7.7%。最后,我们展示了我们的方法在两个内部数据集上的有效性。
2020-01-30 cs.CL
GCDT: A Global Context Enhanced Deep Transition Architecture for Sequence Labeling
Beijing Jiaotong University(北京交通大学);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心)
当前用于序列标记的最先进系统通常基于递归神经网络(RNN)家族。然而,RNN的连续隐藏状态之间的浅连接和全局信息的建模不足限制了这些模型的潜在性能。在本文中,我们试图解决这些问题,从而提出了一个全局上下文增强的深度转换架构的序列标记命名为GCDT。我们在句子中的每个位置深化状态转换路径,并进一步为每个标记分配从整个句子中学习到的全局表示。在两个标准的序列标记任务上的实验表明,在仅给定训练数据和普遍存在的词嵌入(Glove)的情况下,我们的GCDT在CoNLL 03 NER任务上达到91.96 F1,在CoNLL 2000 Chunking任务上达到95.43 F1,这优于相同设置下的最佳结果。此外,通过利用BERT作为额外的资源,我们建立了新的最先进的结果,NER上的F1为93.47,组块上的F1为97.30。
2019-06-06 cs.CL
A Copy-Augmented Sequence-to-Sequence Architecture Gives Good Performance on Task-Oriented Dialogue
Stanford University(斯坦福大学)
面向任务的对话侧重于参与用户发起的关于特定领域主题的对话的会话代理。与聊天机器人相反,它只是寻求维持开放式的有意义的话语,现有的面向任务的代理通常显式地建模用户的意图和信念状态。本文探讨绕过这样一个明确的表示依赖于一个潜在的神经嵌入的状态和学习选择性注意对话的历史与复制,将相关的先验上下文。我们补充最近的工作,显示简单的序列到序列的神经架构与复制机制的有效性。我们的模型在每个响应生成方面比更复杂的内存增强模型高出7%,并且与DSTC 2上的当前最先进的模型相当。
2017-08-14 cs.AI cs.CL
Sequence-to-Sequence Speech Recognition with Time-Depth Separable Convolutions
Facebook AI Research(脸书人工智能研究院)
我们提出了一个完全卷积序列到序列编码器的架构,一个简单而有效的解码器。我们的模型改进了LibriSpeech上的WER,同时比强大的RNN基线更有效。我们的方法的关键是一个时间深度可分离的卷积块,它大大减少了模型中的参数数量,同时保持大的感受野。我们还给出了一个稳定和高效的束搜索推理过程,使我们能够有效地集成一个语言模型。与卷积语言模型相结合,我们的时间深度可分离卷积架构在嘈杂的LibriSpeech测试集上比之前报道的最佳序列到序列结果提高了22%以上。
2019-04-04 cs.CL
End to End Dialogue Transformer
对话系统试图促进人类和计算机之间的对话,用于从闲聊到预订假期的各种目的。我们在这里受到基于递归神经网络的模型Sequicity的性能的启发,该模型在进行对话时使用序列到序列架构,首先生成对话中正在进行的内容的文本表示,并在进一步的步骤中使用此与数据库结果一起生成对用户的回复。我们在这里提出了一个基于Transformer架构的对话系统,而不是Sequicity基于RNN的架构,它以端到端、序列到序列的方式工作。
2020-08-24 cs.CL
Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models
Academia Sinica(中央研究院);University of Waterloo(滑铁卢大学)
本文提出了一个基于序列到序列结构和预训练语言模型的会话问题重构的实证研究。我们利用PLM来解决CQR任务的共同目标最大似然估计中的强令牌到令牌独立性假设。在面向任务的对话系统的CQR基准测试中,我们将最近引入的CANARD数据集作为域内任务评估微调的PLM,并使用TREC 2019 CAST Track的数据作为域外任务验证模型。检查不同的参数数量的各种架构,我们证明,最近的文本到文本传输Transformer(T5)实现了最好的结果都在CANARD和CAST与较少的参数,相比类似的Transformer架构。
2020-04-04 cs.AI cs.CL cs.LG
Double Path Networks for Sequence to Sequence Learning
Nanjing University of Science and Technology(南京理工大学);Microsoft Research(微软研究院);Peking University(北京大学)
基于编码器-解码器的序列到序列学习(S2 S)近年来取得了显著的进展。在编码器/解码器中使用了不同的网络架构。其中,卷积神经网络(CNN)和自注意网络(SAN)是比较突出的两种。这两种架构实现了类似的性能,但使用非常不同的方式来编码和解码上下文:CNN使用卷积层来关注序列的局部连接,而SAN使用自注意层来关注全局语义。在这项工作中,我们提出了双路径网络序列到序列学习(DPN-S2 S),它利用两个模型的优点,通过使用双路径信息融合。在编码步骤中,我们开发了一个双路径架构,分别用卷积层和自注意层来维护来自不同路径的信息。为了有效地使用编码的上下文,我们开发了一个交叉注意模块与门控,并使用它来自动拾取解码步骤中所需的信息。通过深度整合这两条路径,交叉注意,这两种类型的信息结合起来,很好地利用。实验表明,我们提出的方法可以显着提高性能的序列到序列的学习状态的最先进的系统。
2018-07-04 cs.CL
An Efficient Architecture for Predicting the Case of Characters using Sequence Models
Samsung R&D Institute Bangalore(三星班加罗尔研发中心)
缺乏干净的文本数据常常成为若干自然语言处理应用程序中的瓶颈。现有的数据往往缺乏适当的个案(个案或个案)信息。这通常出现在从社交媒体,消息应用程序和其他在线平台获取文本时。本文试图通过恢复字符的正确大小写来解决这个问题,通常称为Truecasing。这样做可以提高NLP管道中进一步处理任务的准确性。我们提出的架构使用卷积神经网络(CNN),双向长短期记忆网络(LSTM)和条件随机场(CRF)的组合,它们在字符级别工作,没有任何显式的特征工程。在这项研究中,我们将我们的方法与以前的基于统计和深度学习的方法进行了比较。我们的方法显示了0.83的增量在F1分数在当前状态的最先进的。由于truecasing作为一个预处理步骤在几个应用程序中,在F1分数的每一个增量导致语言处理任务的显着改善。
2020-01-30 cs.CL
Candidate Fusion: Integrating Language Modelling into a Sequence-to-Sequence Handwritten Word Recognition Architecture
Computer Vision Center(计算机视觉中心);omni:us
序列到序列模型最近在解决手写单词识别问题方面变得非常流行。然而,如何有效地将外部语言模型集成到这样的识别器中仍然是一个具有挑战性的问题。训练语言模型时面临的主要挑战是处理语言模型语料库,该语料库通常不同于用于训练手写单词识别系统的语料库。因此,这两个词语料库之间的偏见导致不正确的transmittance,提供类似的,甚至更差的性能上的识别任务。在这项工作中,我们介绍了候选融合,一种新的方式来集成外部语言模型的序列到序列的架构。此外,它提供了来自外部语言知识的建议,作为序列到序列识别器的新输入。因此,候选融合提供了两个改进。一方面,序列到序列识别器具有灵活性,不仅可以将来自自身的信息与来自语言模型的信息相结合,而且可以选择由语言模型提供的信息的重要性。另一方面,外部语言模型具有自适应训练语料库的能力,甚至能够学习识别器产生的最常见的错误。最后,通过进行综合实验,候选融合证明优于国家的最先进的语言模型的手写体字识别任务。
2019-12-21 cs.CL cs.CV
Generating Wikipedia by Summarizing Long Sequences
Google Brain(谷歌大脑)
我们表明,生成英文维基百科的文章可以接近作为一个多文档摘要的源文件。我们使用提取摘要来粗略地识别显著信息,并使用神经抽象模型来生成文章。对于抽象模型,我们引入了一个仅解码器的架构,该架构可以可扩展地处理非常长的序列,比序列转导中使用的典型编码器-解码器架构长得多。我们表明,该模型可以生成流畅,连贯的多句段落,甚至整个维基百科的文章。当给定参考文献时,我们表明它可以提取相关的事实信息,反映在困惑,ROUGE分数和人类的评价。
2018-01-30 cs.CL
High Performance Sequence-to-Sequence Model for Streaming Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
最近,当以批处理模式处理音频数据时,序列到序列模型已经开始在标准语音识别任务上实现最先进的性能,即,当开始处理时,完整的音频数据是可用的。然而,当涉及到在音频数据的输入流上执行连续识别,同时实时地产生识别结果并且具有低的基于单词的延迟时,这些模型面临若干挑战。对于许多技术,要解码的整个音频序列需要在处理开始时可用,例如,注意力机制或双向LSTM(BLSTM)。在本文中,我们提出了几种技术来缓解这些问题。我们引入了一个额外的损失函数来控制注意力机制的不确定性,一个改进的波束搜索来识别部分稳定的假设,在编码器中使用BLSTM的方法,以及分块BLSTM的使用。我们的实验表明,与这些技术的正确组合,它是可能的,以低字为基础的延迟,而不牺牲字错误率的性能,执行运行的语音识别。
2020-07-26 cs.CL cs.SD eess.AS
Deriving Neural Architectures from Sequence and Graph Kernels
MIT Computer Science & Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
结构化对象的神经架构设计通常由实验见解而不是正式过程指导。在这项工作中,我们呼吁内核的组合结构,如序列和图形,以获得适当的神经操作。我们引入了一类深度递归神经操作,并形式化地描述了它们相关的核空间。我们的循环模块将输入与虚拟参考对象进行比较(参见。CNN中的滤波器)。与传统的神经操作类似,这些参考对象在端到端训练中被参数化并直接优化。我们根据经验评估了标准应用程序(如语言建模和分子图回归)上提出的神经架构类别,在这些应用程序中实现了最先进的结果。
2017-10-30 cs.CL cs.LG cs.NE
Gated Associative Memory: A Parallel O(N) Architecture for Efficient Sequence Modeling
Independent Researcher(独立研究者)
针对Transformer自注意力O(N²)复杂度的长序列处理瓶颈,提出具有线性复杂度的门控联想记忆(GAM)架构,通过因果卷积与联想记忆并行通路加门控融合实现序列建模,实验验证其训练速度更快,困惑度表现优异。
2025-08-30 cs.CL cs.LG
Attending to Characters in Neural Sequence Labeling Models
University of Cambridge(剑桥大学)
序列标记架构使用词嵌入来捕获相似性,但在处理以前看不见的或罕见的词时会受到影响。我们调查字符级扩展到这样的模型,并提出了一种新的架构相结合的替代词表示。通过使用注意力机制,该模型能够动态地决定从单词或字符级组件中使用多少信息。我们在一系列序列标记数据集上评估了不同的架构,发现字符级扩展可以提高每个基准测试的性能。此外,所提出的基于注意力的架构即使在可训练参数较少的情况下也能提供最佳结果。
2016-11-14 cs.CL cs.LG cs.NE
OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
在这项工作中,我们追求一个统一的范式多模态预训练,打破复杂的任务/特定模态定制的脚手架。我们提出了OFA,一个任务不可知和模态不可知的框架,支持任务的全面性。OFA统一了一组不同的跨模态和单峰任务,包括图像生成、视觉基础、图像描述、图像分类、语言建模等,在一个简单的序列到序列的学习框架中。OFA在预训练和微调阶段都遵循基于预防的学习,不需要为下游任务提供额外的特定任务层。与最近依赖于非常大的跨模态数据集的最先进的视觉和语言模型相比,OFA仅在20 M公开可用的图像-文本对上进行预训练。尽管它的简单性和相对小规模的训练数据,OFA实现了新的SOTA在一系列的跨模态的任务,同时实现了高竞争力的性能在单峰的任务。我们进一步的分析表明,OFA也可以有效地转移到看不见的任务和看不见的领域。我们的代码和模型可在https://github.com/OFA-Sys/OFA上公开获取。
2022-06-01 cs.CL cs.CV
Multilingual sequence-to-sequence speech recognition: architecture, transfer learning, and language modeling
Johns Hopkins University(约翰斯·霍普金斯大学);Brno University of Technology(布尔诺理工大学);Amazon(亚马逊);Waseda University(早稻田大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
序列到序列(seq 2seq)方法是语音研究中一个相对较新的方向。该方法通过在不使用词典和对齐的情况下执行模型训练而受益。然而,与传统的DNN-HMM系统相比,这提出了需要更多数据的新问题。在这项工作中,我们试图使用来自10个BABEL语言的数据来构建多语言seq 2seq模型作为先验模型,然后使用迁移学习方法将它们移植到其他4个BABEL语言。我们还探索了不同的架构,以改善先前的多语言seq 2seq模型。本文还讨论了在解码过程中将递归神经网络语言模型(RNNLM)与seq 2seq模型集成的效果。实验结果表明,多语言模型的迁移学习方法在所有4种BABEL语言上都比单语言模型有很大的提高。对RNNLM进行扩展也会在%WER方面带来显著的改进,并实现与使用两倍以上训练数据训练的模型相当的识别性能。
2018-10-04 cs.CL cs.LG cs.SD
Neural Architectures for Nested NER through Linearization
Charles University(查尔斯大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了两个神经网络架构的嵌套命名实体识别(NER),命名实体可以重叠,也被标记有一个以上的标签设置。我们使用线性化方案对嵌套标签进行编码。在我们提出的第一种方法中,嵌套标签被建模为对应于标准LSTM-CRF架构中嵌套标签的笛卡尔积的多标签。在第二个,嵌套NER被视为一个序列到序列的问题,其中输入序列由标记和输出序列的标签,使用硬注意力的标签被预测的单词。在ACE-2004、ACE-2005、GENIA和捷克CNEC四个语料库上,所提出的方法优于现有的嵌套式NER。我们还丰富了我们的架构与最近发布的上下文嵌入:ELMo,BERT和Flair,达到进一步改进的四个嵌套实体语料库。此外,我们报告平NER国家的最先进的结果,为CoNLL-2002荷兰语和西班牙语和CoNLL-2003英语。
2019-08-19 cs.CL cs.LG
Instructing the Architecture Search for Spatial-temporal Sequence Forecasting with LLM
Beihang University(北京航空航天大学);Beijing Advanced Innovation Center for Big Data and Brain Computing(北京大数据与脑计算高精尖创新中心);Zhongguancun Laboratory(中关村实验室)
本研究针对现有时空序列预测神经架构搜索方法耗时长、难用背景知识的问题,提出基于大语言模型的多层级增强架构搜索方法,在保证效果的同时提升了搜索效率。
2025-03-23 cs.AI cs.CL
Neural Associative Memory for Dual-Sequence Modeling
DFKI(德国人工智能研究中心)
许多重要的NLP问题都可以作为双序列或序列到序列建模任务提出。构建端到端神经架构的最新进展在解决此类任务方面非常成功。在这项工作中,我们提出了一种新的架构,双序列建模,是基于联想记忆。我们推导出AM-RNN,一种增强通用递归神经网络(RNN)的递归联想记忆(AM)。这种架构被扩展到双AM-RNN,它同时在两个AM上运行。我们的模型在文本蕴涵方面取得了非常有竞争力的结果。定性分析表明,使用双AM-RNN可以有效地桥接源序列和目标序列之间的长程依赖关系。然而,自动编码的初步实验表明,当学习解决序列到序列任务时,系统没有利用这些好处,这表明需要额外的监督或正则化。
2016-06-14 cs.AI cs.CL cs.LG
Co-Stack Residual Affinity Networks with Multi-level Attention Refinement for Matching Text Sequences
Institute for Infocomm Research, A*Star(新加坡科技研究局资讯通信研究院);Nanyang Technological University(南洋理工大学)
学习两个文本序列之间的匹配函数是NLP研究中的一个长期问题。该任务使许多潜在的应用,如问答和释义识别。本文提出了一种新的通用神经网络结构,即共栈剩余亲和网络(CSRAN)。CSRAN是一种深度架构,涉及堆叠(多层)递归编码器。传统上,堆叠/深度架构难以训练,这是由于其固有的弱点,例如难以进行特征传播和梯度消失。CSRAN结合了两个新的组件,以利用堆叠架构。首先,它引入了一种新的双向比对机制,通过融合堆叠层次结构中的序列对来学习亲和度权重。其次,它利用堆叠的递归层之间的多级注意力细化组件。关键的直觉是,通过利用所有网络层次结构中的信息,我们不仅可以改善梯度流,还可以改善整体性能。我们在六个经过充分研究的文本序列匹配数据集上进行了广泛的实验,在所有数据集上都达到了最先进的性能。
2018-10-06 cs.AI cs.CL cs.IR
SUBLLM: A Novel Efficient Architecture with Token Sequence Subsampling for LLM
Xiaomi AI Lab(小米AI实验室);School of Informatics, Xiamen University(厦门大学信息学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对LLM训练与推理效率的挑战,提出SUBLLM架构,通过在纯解码器框架中引入下采样、上采样和旁路模块,在保持少样本性能的同时显著提升了训练与推理速度并降低了内存消耗。
2024-08-23 cs.AI cs.CL
Recurrent Instance Segmentation using Sequences of Referring Expressions
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学);Universitat Pompeu Fabra(庞培法布拉大学)
这项工作的目标是分割的对象在图像中所提到的一系列的语言描述(指涉表达式)。我们提出了一个具有递归层的深度神经网络,该递归层输出一系列二进制掩码,每个掩码对应于用户提供的每个引用表达式。该架构中的递归层允许模型从同一图像内的空间角度对每个预测的掩模进行调整。我们的多模态方法使用现成的架构来编码图像和参考表达式。视觉分支提供像素嵌入张量,这些像素嵌入张量与语言编码器产生的短语嵌入连接在一起。我们的实验RefCOCO数据集的静止图像表明,所提出的架构如何成功地利用序列的引用表达式来解决像素级任务的实例分割。
2019-11-05 cs.CL cs.CV cs.MM
Multiscale Byte Language Models -- A Hierarchical Architecture for Causal Million-Length Sequence Modeling
IBM Research Europe(IBM欧洲研究院)
针对字节语言模型处理超长字节流的架构需求,提出模型无关的分层多尺度字节语言模型MBLM,可单卡全精度训练5M字节上下文,在多任务上表现优异,为全模态基础模型提供新路径。
2025-02-20 cs.AI cs.CL cs.LG
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
State-of-the-art Speech Recognition With Sequence-to-Sequence Models
Google(谷歌)
基于注意力的编码器-解码器架构(诸如听、注意和拼写(LAS))将传统自动语音识别(ASR)系统的声学、发音和语言模型组件细分为单个神经网络。在以前的工作中,我们已经表明,这种架构与听写任务的最新ASR系统相当,但尚不清楚这种架构是否适用于更具挑战性的任务,如语音搜索。在这项工作中,我们探讨了各种结构和优化改进我们的LAS模型,显着提高性能。在结构方面,我们表明,词片模型可以用来代替字素。我们还介绍了一个多头注意力架构,它提供了改进,通常使用的单头注意。在优化方面,我们探索了同步训练、预定采样、标签平滑和最小单词出错率优化,这些都被证明可以提高准确率。我们使用单向LSTM编码器进行流识别。在一个12500小时的语音搜索任务,我们发现,所提出的变化提高了WER从9.2%到5.6%,而最好的传统系统达到6.7%;在听写任务,我们的模型达到了4.1%的WER相比,传统系统的5%。
2018-02-23 cs.CL cs.SD eess.AS