RTHN: A RNN-Transformer Hierarchical Network for Emotion Cause Extraction
Nanjing University of Science and Technology(南京理工大学)
情感原因提取(ECE)任务旨在发现文档中特定情感表达背后的潜在原因。已经提出了包括基于规则的方法、传统的机器学习方法和深度神经网络的技术来解决这个任务。然而,大多数以前的工作认为ECE作为一组独立的条款分类问题,忽略了多个条款之间的关系,在一个文件。在这项工作中,我们提出了一个联合的情感原因提取框架,命名为RNN-Transformer分层网络(RTHN),同步编码和分类多个子句。RTHN由一个基于RNN的低层词级编码器和一个基于Transformer的上层子句级编码器组成,前者用于对每个子句中的多个词进行编码,后者用于学习文档中多个子句之间的相关性。此外,我们还提出了将相对位置和全局谓词信息编码到Transformer中的方法,该方法可以捕获子句之间的因果关系,从而使RTHN更有效。在12个比较系统中,我们最终取得了最好的性能,并将最先进的F1分数从72.69%提高到76.77%。
2019-06-04 cs.CL
A One-Layer Decoder-Only Transformer is a Two-Layer RNN: With an Application to Certified Robustness
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文证明单层仅解码器Transformer等价于双层RNN,据此提出ARC-Tran方法,实现任意扰动空间下的精确可扩展鲁棒性验证,训练出更鲁棒且高认证准确率的模型。
2024-05-27 cs.CL
BabyHGRN: Exploring RNNs for Sample-Efficient Training of Language Models
Humboldt-Universität zu Berlin(柏林洪堡大学)
本研究探索低资源语言建模下RNN类架构的潜力,提出基于HGRN2的BABYHGRN模型,在10M和100M词赛道的多项基准上优于Transformer模型,验证了知识蒸馏的作用,证明RNN模型在资源受限场景的可行性。
2024-12-20 cs.CL
Empirical Evaluation of RNN Architectures on Sentence Classification Task
Chanjet Information Technology(畅捷通信息技术股份有限公司)
递归神经网络已经在NLP中的许多问题上取得了最先进的结果,两种最流行的RNN架构是尾模型和池模型。在本文中,我们提出了一个混合架构,并提出了第一个实证研究使用LSTM比较性能的三个RNN结构的句子分类任务。实验结果表明,最大池模型或混合最大池模型在大多数数据集上都取得了最好的性能,而尾部模型并没有优于其他模型。
2016-10-08 cs.CL
Human Sentence Processing: Recurrence or Attention?
Radboud University(拉德堡德大学)
递归神经网络(RNN)长期以来一直是人类句子处理的计算模型的感兴趣的架构。最近推出的Transformer架构在许多自然语言处理任务上优于RNN,但对其建模人类语言处理的能力知之甚少。我们比较了基于Transformer和RNN的语言模型在衡量人类阅读努力方面的能力。我们的分析表明,Transformers在解释英语句子阅读过程中的自定阅读时间和神经活动方面优于RNN,挑战了人们普遍认为的人类句子处理涉及循环和即时处理的观点,并为基于线索的检索提供了证据。
2021-05-04 cs.CL
Comparing Generalization in Learning with Limited Numbers of Exemplars: Transformer vs. RNN in Attractor Dynamics
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本研究在吸引子动力学学习任务中比较了Transformer与RNN的学习泛化能力,发现有限数据条件下Transformer的泛化能力明显劣于RNN。
2023-11-15 cs.CL cs.LG
Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures
Cognitive Science Program & Department of Informatics(认知科学项目与信息学系)
本文通过$U(d)$子群的选择,推导出自然的RNN和Transformer架构,并在正交状态模型上实现了参数匹配的实验验证。
2026-02-20 cs.CL cs.LG
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
Google Inc.(谷歌公司)
在本文中,我们提出了一个端到端的语音识别模型与Transformer编码器,可用于流式语音识别系统。基于自注意的Transformer计算块用于独立地编码音频和标签序列。来自音频和标签编码器两者的激活与前馈层组合,以针对声学帧位置和标签历史的每个组合计算标签空间上的概率分布。这类似于递归神经网络传感器(RNN-T)模型,它使用RNN进行信息编码,而不是Transformer编码器。该模型使用非常适合流解码的RNN-T损失进行训练。我们目前的LibriSpeech数据集上的结果表明,限制左上下文的自我注意力在Transformer层,使解码计算易于处理的流,只有轻微的精度下降。我们还表明,我们的模型的完全注意力版本击败了LibriSpeech基准测试的最先进的准确性。我们的研究结果还表明,我们可以通过关注有限数量的未来帧来弥合我们模型的完全注意力和有限注意力版本之间的差距。
2020-02-14 cs.CL cs.SD eess.AS
ARWKV: Pretrain is not what we need, an RNN-Attention-Based Language Model Born from Transformer
本文提出基于RWKV-7注意力机制的ARWKV模型及QRWK 32B蒸馏方法,利用16块AMD MI300X GPU在8小时内完成知识处理,在保持Qwen 2.5性能的同时增强了RNN的表达能力。
2025-01-26 cs.CL
A Deep Investigation of RNN and Self-attention for the Cyrillic-Traditional Mongolian Bidirectional Conversion
Inner Mongolia University(内蒙古大学);National & Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian(蒙古文智能信息处理技术国家地方联合工程研究中心)
西里尔文和传统蒙古文是蒙古文书写系统的两个主要成员。西里尔-传统蒙古语双向转换(CTMBC)任务包括两个转换过程,包括西里尔蒙古语到传统蒙古语(C2 T)和传统蒙古语到西里尔蒙古语转换(T2 C)。以前的研究人员采用传统的联合序列模型,因为CTMBC任务是一个自然的序列到序列(Seq 2Seq)建模问题。最近的研究表明,基于递归神经网络(RNN)和自注意(或Transformer)的编码器-解码器模型在一些主要语言(如汉语、英语、法语等)之间的机器翻译任务中表现出显着的改进。然而,一个悬而未决的问题是,利用RNN和Transformer模型是否可以提高CTMBC的质量。为了回答这一问题,本文结合蒙古语的粘着特点,考察了这两种强有力的技术在CTMBC任务中的实用性。分别基于RNN和Transformer构建了基于编解码器的CTMBC模型,并对不同网络配置进行了深入比较。实验结果表明,RNN和Transformer模型的性能均优于传统的联合序列模型,其中Transformer模型的性能最好。与联合序列基线相比,Transformer对C2 T和T2 C的出错率分别降低了5.72%和5.06%。
2022-09-24 cs.AI cs.CL
Does Transformer Interpretability Transfer to RNNs?
EleutherAI
本文研究 Transformer 可解释性方法向 Mamba、RWKV 等 RNN 架构的迁移,验证对比激活添加、tuned lens 和潜在知识引出均大多有效,并利用 RNN 压缩状态加以改进。
2024-04-09 cs.AI cs.CL cs.LG
Hierarchical Transformer for Task Oriented Dialog Systems
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
由于最近基于RNN和Transformer的模型在问答和摘要等任务中的成功,对话系统的生成模型已经引起了人们的极大兴趣。虽然对话响应生成的任务通常被视为序列到序列(Seq 2Seq)问题,但是过去的研究人员发现使用标准Seq 2Seq模型来训练对话系统具有挑战性。因此,为了帮助模型学习有意义的话语和会话级别的特征,Sordoni et al.(2015 b); Serban et al.(2016)提出了分层RNN架构,后来被其他几个基于RNN的对话系统采用。随着基于transformer的模型最近主导seq 2seq问题,自然要问的问题是层次概念在基于Transformer的对话系统中的适用性。在本文中,我们提出了一个通用的框架分层Transformer编码器,并显示如何一个标准的Transformer可以变形为任何分层编码器,包括HRED和HIBERT的模型,通过使用专门设计的注意掩模和位置编码。我们证明了层次编码有助于实现更好的自然语言的上下文理解的transformer为基础的模型,面向任务的对话系统,通过广泛的实验。
2021-05-09 cs.CL
Arabic Dialect Classification using RNNs, Transformers, and Large Language Models: A Comparative Analysis
Faculty of Computer Science MSA Univeristy(计算机科学学院 MSA大学)
本研究针对QADI数据集中18种阿拉伯语推文方言分类问题,比较了RNN、Transformer和LLM模型,发现MARBERTv2表现最佳(65%准确率),并揭示了方言识别的语言学挑战及应用潜力。
2025-06-28 cs.AI cs.CL
Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
University of Florida(佛罗里达大学)
本研究评估 RNN 和 Transformer 模型在汉英跨语言结构启动中的表现,发现 Transformer 优于 RNN,挑战了传统循环处理观点,提示基于线索的检索机制作用。
2024-10-15 cs.CL cs.LG
Developing RNN-T Models Surpassing High-Performance Hybrid Models with Customization Capability
Microsoft Speech and Language Group(微软语音与语言组)
递归神经网络转换器(RNN-T)由于其流性质,是一种非常有前途的端到端(E2 E)模型,可以取代流行的混合模型用于自动语音识别。在本文中,我们描述了我们最近开发的RNN-T模型,这些模型在训练过程中减少了GPU内存消耗,具有更好的初始化策略,以及具有未来前瞻性的高级编码器建模。当使用微软6.5万小时的匿名训练数据进行训练时,开发的RNN-T模型超越了经过良好训练的混合模型,具有更好的识别准确性和更低的延迟。我们进一步研究了如何将RNN-T模型定制到一个新的领域,这对于将E2 E模型部署到实际场景非常重要。通过比较在新领域中利用纯文本数据的几种方法,我们发现使用从特定领域文本生成的文本到语音来更新RNN-T的预测和联合网络是最有效的。
2020-07-30 cs.CL cs.SD eess.AS
Different kinds of cognitive plausibility: why are transformers better than RNNs at predicting N400 amplitude?
University of California, San Diego(加利福尼亚大学圣迭戈分校)
尽管被设计用于性能而不是认知可扩展性,但是已经发现Transformer语言模型在预测用于评估人类语言理解的度量方面比具有其他架构(诸如递归神经网络)的语言模型更好。基于他们预测N400(一种与处理困难相关的神经信号)的能力,我们提出并提供了一种可能的解释的证据-他们的预测以类似于人类语义促进效应的方式受到前面的上下文的影响。
2021-07-20 cs.AI cs.CL cs.LG
A Comparative Study on Transformer vs RNN in Speech Applications
NTT Communication Science Laboratories(NTT通信科学实验室);Waseda University(早稻田大学);Johns Hopkins University(约翰霍普金斯大学);LINE Corporation(LINE公司);Nagoya University(名古屋大学);Human Dataware Lab. Co., Ltd.(Human Dataware 实验室有限公司);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Kyoto University(京都大学);Shanghai Jiao Tong University(上海交通大学)
序列到序列模型已广泛用于端到端语音处理,例如,自动语音识别(ASR)、语音翻译(ST)和文本到语音(TTS)。本文重点介绍了一种称为Transformer的紧急序列到序列模型,该模型在神经机器翻译和其他自然语言处理应用中具有最先进的性能。我们进行了深入的研究,在总共15个ASR,一个多语言ASR,一个ST和两个TTS基准测试中,我们实验性地比较和分析了Transformer和传统的递归神经网络(RNN)。我们的实验揭示了Transformer在每个任务中获得的各种训练技巧和显着的性能优势,包括与RNN相比,Transformer在13/15 ASR基准测试中的惊人优势。我们正准备使用开源和公开可用的数据集发布Kaldi风格的可重复配方,用于所有ASR,ST和TTS任务,以便社区成功实现我们令人兴奋的成果。
2019-09-28 cs.CL cs.SD eess.AS
On the Comparison of Popular End-to-End Models for Large Scale Speech Recognition
Microsoft Speech and Language Group(微软语音与语言组);Microsoft Research Asia(微软亚洲研究院)
最近,对于自动语音识别,存在从混合模型向端到端(E2 E)模型的转变的强烈推动。目前,有三种很有前途的E2 E方法:递归神经网络转换器(RNN-T),RNN基于注意力的编码器-解码器(AED)和Transformer-AED。在这项研究中,我们在非流和流模式下对RNN-T,RNN-AED和Transformer-AED模型进行了实证比较。我们使用6.5万小时的微软匿名训练数据来训练这些模型。由于E2 E模型更需要数据,因此最好将其有效性与大量训练数据进行比较。据我们所知,尚未进行过此类全面研究。我们表明,虽然AED模型在非流模式下比RNN-T更强,但如果其编码器可以正确初始化,RNN-T在流模式下非常有竞争力。在所有三种E2 E型号中,transformer-AED在流媒体和非流媒体模式下都实现了最佳准确性。我们表明,流式RNN-T和transformer-AED模型都可以获得比高度优化的混合模型更好的准确性。
2020-07-30 cs.CL eess.AS
Towards Better Modeling Hierarchical Structure for Self-Attention with Ordered Neurons
Florida State University(佛罗里达州立大学);Tencent AI Lab(腾讯人工智能实验室)
最近的研究表明,自注意力网络(SAN)和递归神经网络(RNN)的混合模型优于两种单独的架构,但对于混合模型的工作原理知之甚少。由于相信建模层次结构是SAN和RNN之间的重要补充,我们建议使用RNN的高级变体-有序神经元LSTM(ON-LSTM)进一步增强混合模型的强度,该变体引入了面向语法的归纳偏差来执行树状组合。在标准机器翻译任务上的实验结果表明,该方法的性能优于单独的架构和标准的混合模型。对目标语言评估和逻辑推理任务的进一步分析表明,所提出的方法确实受益于更好的层次结构建模。
2019-11-15 cs.CL
Scheduled Sampling for Transformers
Instituto de Telecomunicações(电信研究所);Unbabel(Unbabel公司)
预定采样是一种避免序列间生成中已知问题之一的技术:暴露偏倚。它包括为模型提供教师强制嵌入和训练时间上一步的模型预测的混合。该技术已被用于改善模型的性能与递归神经网络(RNN)。在Transformer模型中,与RNN不同,新词的生成关注到目前为止生成的整个句子,而不仅仅是最后一个词,并且应用预定采样技术并不简单。我们提出了一些结构上的变化,允许预定的采样应用到Transformer架构,通过一个两遍解码策略。两个语言对的实验实现性能接近教师强迫基线,并表明这种技术是有前途的进一步探索。
2019-06-18 cs.CL
Fake News Identification on Twitter with Hybrid CNN and RNN Models
C3Ri Research Institute(C3Ri研究所);Sheffield Hallam University(谢菲尔德哈勒姆大学)
与假新闻传播相关的问题继续以惊人的规模增长。这一趋势引起了政界、学术界和工业界的极大兴趣。我们提出了一个框架,使用混合卷积神经网络和长短期递归神经网络模型来检测和分类来自Twitter帖子的假新闻消息。使用这种深度学习方法的拟议工作达到了82%的准确率。我们的方法直观地识别与假新闻故事相关的相关特征,而无需事先了解该领域。
2018-06-29 cs.CL cs.SI
Pagsusuri ng RNN-based Transfer Learning Technique sa Low-Resource Language
De La Salle University(德拉萨大学)
像菲律宾语这样的低资源语言受到数据稀缺的影响,这使得为菲律宾语开发NLP应用程序具有挑战性。迁移学习(TL)技术的使用在低资源环境下解决了这个问题。近年来,基于transformer的模型被证明在低资源任务中是有效的,但由于其高计算和内存要求,在可访问性方面面临挑战。因此,需要一种更便宜但有效的替代品。本文有三个贡献。首先,发布菲律宾语的预训练AWD-LSTM语言模型。其次,在Hate Speech分类任务中对AWD-LSTM进行基准测试,并表明它的性能与基于transformer的模型相当。第三,使用退化测试分析AWD-LSTM在低资源环境下的性能,并将其与基于transformer的模型进行比较。- Ang mga low-resource languages tulad ng Filipino ay gipit sa accessible na datos kaya't mahirap gumawa ng mga applications sa wikang ito.迁移学习(TL)技术可能会在低资源环境中使用,或者在数据中使用。与此同时,基于变压器的TL技术可以将低资源任务划分为计算和内存需求,这是一种替代方法。这张纸可能会让你忙得不可开交。例如,使用预训练的AWD-LSTM语言模型来创建菲律宾语和其他NLP应用程序。Pangalawa,mag benchmark ng A…
2020-10-14 cs.CL
Compositional Reasoning with Transformers, RNNs, and Chain of Thought
Courant Institute of Mathematical Sciences(Courant数学科学研究所);New York University(纽约大学);Center for Data Science(数据科学中心);Center for Computational Mathematics(计算数学中心);Flatiron Institute(Flatiron研究所)
本文研究了变换器、RNN和思维链架构在解决组合推理问题上的表现,证明了不同架构在处理此类问题时各有优劣,无一严格优于其他。
2026-01-28 cs.AI cs.CL cs.LG
Variational Transformers for Diverse Response Generation
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
尽管Transformers在许多序列建模任务中有很大的前景(例如,机器翻译),它们的确定性本质阻碍了它们推广到诸如对话响应生成之类的高熵任务。以前的工作提出了捕捉对话响应的变化与递归神经网络(RNN)为基础的条件变分自编码器(CVAE)。然而,RNN的自回归计算限制了训练效率。因此,我们提出了变分Transformer(VT),变分自关注前馈序列模型。VT通过将随机潜变量纳入Transformers中,将Transformer的并行性和全局感受野与CVAE的变分性质相结合。我们探索两种类型的VT:1)建模的话语级的多样性与全球的潜变量;和2)增强的Transformer解码器与一系列细粒度的潜变量。然后,在三个会话数据集上对所提出的模型进行自动度量和人工评估。实验结果表明,我们的模型提高了标准Transformers和其他基线的多样性,语义相关性和人类的判断。
2020-03-28 cs.CL
Solving Math Word Problems with Double-Decoder Transformer
提出了一种基于Transformer的数学应用题方程生成模型。当不使用复制和对齐机制时,它比RNN模型取得了更好的结果,并且可以胜过复杂的复制和对齐RNN模型。我们还表明,训练一个Transformer共同在一个生成任务与两个解码器,从左到右和从右到左,是有益的。这样的Transformer比仅具有一个解码器的Transformer性能更好,这不仅是因为集成效应,而且还因为它改进了编码器训练过程。我们还尝试将强化学习添加到我们的模型中,与MLE训练相比,表现出更好的性能。
2019-08-28 cs.CL cs.LG
RNN-T For Latency Controlled ASR With Improved Beam Search
Facebook AI(Facebook人工智能实验室)
诸如用于自动语音识别(ASR)的RNN传感器(RNN-T)的基于神经传感器的系统将传统混合ASR系统的各个组件(声学模型、语言模型、标点模型、反向文本规范化)混合成一个单个模型。这大大简化了训练和推理,因此使RNN-T成为ASR系统的理想选择。在这项工作中,我们研究了RNN-T在推理时间期间需要可调延迟预算的应用程序中的使用。我们还提高了原来提出的RNN-T束搜索算法的解码速度。我们在英语视频ASR数据集上评估了我们提出的系统,结果表明,与经过良好调整的混合ASR基线相比,神经RNN-T模型可以实现相当的WER和更好的计算效率。
2020-01-16 cs.CL cs.LG eess.AS
Improving Generalization of Transformer for Speech Recognition with Parallel Schedule Sampling and Relative Positional Embedding
Tsinghua University(清华大学);Sogou(搜狗);UCLA(加州大学洛杉矶分校)
Transformer最近在许多序列到序列转换任务中显示出了有希望的结果。它利用了一些前馈自注意层,以取代递归神经网络(RNN)在基于注意力的编码器解码器(AED)架构。自我注意层通过将符号的正弦位置嵌入序列中以进行并行计算来学习时间依赖性。在训练过程中,可以获得比RNN顺序运算更快的迭代速度。Transformer的更深层也使其性能优于基于RNN的AED。然而,这种并行化能力在应用预定的采样训练时丢失。正弦位置嵌入的自注意可能会导致在不同位置具有相似声学或语义信息的较长序列的性能下降。为了解决这些问题,我们建议使用并行调度采样(PSS)和相对位置嵌入(RPE),以帮助Transformer推广到看不见的数据。我们提出的方法实现了7%的相对改善短话语和70%的相对增益长话语的10,000小时的普通话ASR任务。
2020-11-30 cs.CL eess.AS
Training-free Neural Architecture Search for RNNs and Transformers
Princeton University(普林斯顿大学);University of Colorado Colorado Springs(科罗拉多大学斯普林斯分校)
本文研究面向 RNN 与 BERT 类 Transformer 的免训练 NAS,提出 hidden covariance 指标并指出搜索空间需与指标协同设计。
2023-06-01 cs.AI cs.CL cs.LG
Improving RNN Transducer Modeling for End-to-End Speech Recognition
Microsoft(微软)
在过去的几年里,自动语音识别研究的一个新兴趋势是端到端(E2 E)系统的研究。联结主义时间分类(CTC)、注意编码解码器(AED)和RNN转换器(RNN-T)是最流行的三种方法。在这三种方法中,RNN-T具有在线流媒体的优势,这是AED的挑战,它不具有CTC的帧独立性假设。本文从两个方面对RNN-T训练进行了改进。首先,我们优化了RNN-T的训练算法,以减少内存消耗,从而可以有更大的训练小批量,以提高训练速度。其次,我们提出了更好的模型结构,以便我们获得具有非常好的精度但占用空间小的RNN-T模型。经过3万小时匿名和转录的Microsoft生产数据的训练,最好的RNN-T模型具有更小的模型大小(216 MB),与基线RNN-T模型相比,相对单词出错率(WER)降低了11.8%。这个最佳RNN-T模型通过实现高达15.0%的相对WER减少而显著优于具有类似大小的设备混合模型,并且获得与大小为5120 MB的服务器混合模型类似的WER。
2019-09-26 cs.CL eess.AS
ASTormer: An AST Structure-aware Transformer Decoder for Text-to-SQL
Shanghai Jiao Tong University(上海交通大学)
本文提出ASTormer,一种AST结构感知的Transformer解码器,通过绝对和相对位置嵌入将树结构知识融入文本到SQL解码过程,在五个基准上验证了其相比RNN解码器的有效性和效率。
2023-10-28 cs.CL
Developing Real-time Streaming Transformer Transducer for Speech Recognition on Large-scale Dataset
Microsoft Speech and Language Group(微软语音与语言组);Microsoft Research Asia(微软亚洲研究院)
近年来,基于Transformer的端到端模型在包括语音识别在内的许多领域都取得了巨大的成功。然而,与LSTM模型相比,Transformer在推理过程中的沉重计算成本是阻碍其应用的关键问题。在这项工作中,我们探索了Transformer Transducer(T-T)模型在大规模数据集上以低延迟和快速进行第一遍解码的潜力。我们结合Transformer-XL和块式流式处理的思想,设计了一个可流式传输的Transformer换能器模型。我们证明了T-T优于混合模型,RNN传感器(RNN-T),和流式Transformer注意力为基础的编码器-解码器模型在流的情况下。此外,运行时成本和延迟可以用相对小的前瞻来优化。
2021-02-28 cs.CL eess.AS
Language Modelling for Source Code with Transformer-XL
University of Newcastle(纽卡斯尔大学)
已经发现,软件,如自然语言文本,表现出“自然性”,这可以通过统计语言模型来捕获。近年来,已经提出了神经语言模型,以通过深度学习来表示软件的自然性。在本文中,我们进行了实验评估的国家的最先进的神经语言模型的源代码,包括基于RNN的模型和基于Transformer-XL的模型。通过在大规模Python代码语料库上的实验,我们发现Transformer-XL模型在捕捉软件自然性方面优于基于RNN的模型(包括LSTM和GRU模型),并且计算成本要低得多。
2020-07-31 cs.CL cs.LG cs.SE
Bayesian Neural Network Language Modeling for Speech Recognition
the Chinese University of Hong Kong(香港中文大学)
以长短期记忆递归神经网络(LSTM-RNN)和Transformers为代表的最先进的神经网络语言模型(NNLM)正变得高度复杂。当给定有限的训练数据时,它们容易过拟合和泛化能力差。为此,本文提出了一个涵盖三种方法的总体完整贝叶斯学习框架,以解决LSTM-RNN和Transformer LM中的潜在不确定性。其模型参数的不确定性,神经激活和隐藏的输出表示的选择分别使用贝叶斯,高斯过程和变分LSTM-RNN或Transformer LM建模。使用有效的推理方法来自动选择最佳的网络内部组件,使用神经结构搜索进行贝叶斯学习。还使用了低至1的最小数量的Monte Carlo参数样本。这些允许在贝叶斯NNLM训练和评估中产生的计算成本最小化。实验进行了两个任务:AMI会议转录和牛津-BBC唇读句子2(LRS 2)重叠语音识别使用国家的最先进的LF-MMI训练因子TDNN系统具有数据增强,说话人自适应和视听多通道波束形成重叠的语音。在困惑度和单词出错率(WER)方面,在两个任务中获得了与基线LSTM-RNN和具有点估计模型参数和丢弃正则化的Transformer LM一致的性能改进。特别是,在LRS 2数据上,在贝叶斯NNLM与其各自基线之间的模型组合后,分别在基线LSTM-RNN和Transformer LM上获得了高达1.3%和1.2%的绝对(12.1%和11.3%的相对)统计学显著WER…
2022-08-28 cs.AI cs.CL
Deep Shallow Fusion for RNN-T Personalization
Facebook AI(Facebook人工智能研究院)
在过去的几年里,端到端模型,特别是循环神经网络传感器(RNN-T),由于其简单性,紧凑性和通用转录任务的出色性能,在自动语音识别社区中获得了显着的吸引力。然而,由于缺乏外部语言模型以及难以识别罕见的长尾词,特别是实体名称,与传统的混合系统相比,这些模型在个性化方面更具挑战性。在这项工作中,我们提出了新的技术来提高RNN-T的能力,以建模罕见的词段,注入额外的信息到编码器中,使替代的字形发音的使用,并执行深度融合与个性化的语言模型更强大的偏置。我们表明,与使用浅层融合和文本到语音增强的强RNN-T基线相比,这些组合技术导致15.4%-34.5%的相对字出错率改善。我们的工作有助于推动RNN-T个性化的边界,并缩小与混合系统在偏置和实体识别至关重要的用例上的差距。
2020-11-16 cs.CL eess.AS
Human Evaluation of English--Irish Transformer-Based NMT
ADAPT Centre, Dublin City University(都柏林城市大学ADAPT中心);Munster Technological University(芒斯特理工大学)
本研究针对低资源英爱翻译对,通过人工评估探究超参数对Transformer类NMT模型性能的影响,发现最优Transformer模型相比RNN基线BLEU提升7.8分,且错误率显著降低。
2024-03-04 cs.AI cs.CL
DTMT: A Novel Deep Transition Architecture for Neural Machine Translation
Tencent Inc.(腾讯公司)
神经机器翻译(NMT)在过去几年中发展迅速。最近,通过先进的建模和训练技术,基于RNN的NMT(RNMT)已经显示出其潜在的优势,甚至与众所周知的Transformer(自我注意)模型相比。虽然RNMT模型可以通过堆叠层拥有非常深的架构,但沿着顺序轴的连续隐藏状态之间的过渡深度仍然很浅。在本文中,我们通过增加连续隐藏状态之间的转换深度来进一步增强基于RNN的NMT,并构建了一种新的基于深度转换RNN的神经机器翻译架构,称为DTMT。该模型通过多个非线性变换增强了隐藏到隐藏的过渡,并通过精心设计的线性变换机制在整个深度过渡中保持线性变换路径,以减轻梯度消失问题。实验表明,通过专门设计的深度转换模块,我们的DTMT可以实现显着的提高翻译质量。在中文-英文翻译任务上的实验结果表明,DTMT模型的性能比Transformer模型高出+2.09 BLEU点,在相同的数据集上取得了最好的结果。在WMT 14英语->德语和英语->法语翻译任务中,DTMT显示出比最先进的NMT系统(包括Transformer和RNMT+)更高的质量。
2019-07-16 cs.CL
Research on Modeling Units of Transformer Transducer for Mandarin Speech Recognition
Jingdong Digits Technology Holding Co., Ltd. (JD Digits)(京东数字科技控股有限公司(京东数字科技))
在端到端语音识别中,建模单元和模型结构是递归神经网络转换器(RNN-T)的两个关键因素。为了提高RNN-T在汉语语音识别中的性能,提出了一种自注意Transformer和RNN相结合的Transformer变换器。探讨了Transformer传感器不同建模单元的选择。此外,我们提出了一种新的混合带宽训练方法,以获得一个通用的模型,能够准确地识别汉语语音与不同的采样率同时进行。所有的实验都是在8 kHz和16 kHz采样率下对大约12,000小时的普通话语音进行的。实验结果表明,普通话Transformer转换器采用带声调的音节,取得了最好的性能。该模型的平均相对字错误率(WER)降低了14.4%和44.1%,分别与使用音节首/尾与声调和汉字的模型相比。此外,它优于基于音节首/尾与声调的模型,平均13.5%的相对字符错误率(CER)减少。
2020-04-26 cs.CL cs.LG cs.SD
Single Headed Attention RNN: Stop Thinking With Your Head
Times Labs(时代实验室)
语言建模的主要方法都是痴迷于我年轻时的电视节目-即Transformers和芝麻街。Transformers this,Transformers that,and over here a bonfire worth of GPU-TPU-neuromorphic wafer scale silicon.我们选择了旧的和经过验证的技术的懒惰路径,并使用了一个受加密启发的首字母缩略词:单头注意力RNN(SHA-RNN)。作者唯一的目标是表明,如果我们不是痴迷于一个略有不同的缩写词和略有不同的结果,整个领域可能会朝着不同的方向发展。我们采用了一个以前只基于无聊的LSTM的强大语言模型,并在enwik 8上将其与最先进的字节级语言模型结果进行了一箭之遥的比较。这项工作没有经过密集的超参数优化,完全生活在一个商品台式机,使作者的小工作室公寓太温暖,在旧金山的夏天。最终的结果是可以实现的正负24小时内在一个单一的GPU作为作者是不耐烦的。注意力机制也很容易扩展到大的上下文,以最小的计算。就拿芝麻街来说
2019-11-27 cs.AI cs.CL cs.NE
Enhancing Transformer RNNs with Multiple Temporal Perspectives
University of Arizona(亚利桑那大学);MultiversX;Lucian Blaga University of Sibiu(锡比乌卢西恩·布拉加大学)
本研究提出多时间视角方法并融入RWKV架构,以极少量参数增量和微调开销解决单隐藏状态存历史信息的问题,保持推理线性复杂度,在多个基准上实现性能提升且相关资源开源。
2024-07-11 cs.AI cs.CL cs.LG
ModRWKV: Transformer Multimodality in Linear Time
RWKVOS;Zhejiang University(浙江大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
本研究提出以RWKV7为骨干的轻量解耦多模态框架ModRWKV,通过动态适配的异构编码器融合多源信息,利用预训练权重加速训练,验证了现代RNN架构可作为多模态大语言模型中Transformer的可行替代方案。
2025-05-20 cs.AI cs.CL
Joint Transformer/RNN Architecture for Gesture Typing in Indic Languages
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
手势打字是一种通过创建经过相关键的连续轨迹来在基于触摸的键盘上键入单词的方法。这项工作的目的是开发一个键盘,支持手势打字在印度语言。我们首先注意到,在处理印度语言时,需要满足两类不同的用户:(i)喜欢输入本地印度脚本(梵文,孟加拉语等)的用户。以及(ii)喜欢键入英文脚本但希望将输出音译为本地脚本的用户。在这两种情况下,我们都需要一个模型,它将跟踪作为输入,并将其映射到预期的单词。为了实现这些模型的开发,我们创建并发布了两个数据集。首先,我们创建了一个数据集,其中包含来自7种印度语言的193,658个单词的键盘痕迹。其次,我们从维基数据中收集了104,412个英语-印度语音译对。使用这些数据集,我们建立了一个模型,执行路径解码,音译和音译校正。与以前的方法不同,我们提出的模型在解码过程中不做共同字符独立性假设。我们的模型在7种语言中的总体准确率在70- 95%之间。
2022-03-26 cs.CL cs.HC cs.LG
BayesSpeech: A Bayesian Transformer Network for Automatic Speech Recognition
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
使用端到端深度学习模型的最新发展已被证明在自动语音识别任务上具有接近或优于最先进的递归神经网络(RNN)的性能。这些模型往往比传统的基于RNN的方法更轻,需要更少的训练时间。然而,这些模型采用频率主义方法进行重量训练。从理论上讲,网络权重是从一个潜在的、难以处理的概率分布中提取的。我们介绍贝叶斯语音的端到端自动语音识别。BayesSpeech是一个贝叶斯Transformer网络,其中这些棘手的后验是通过变分推理和局部重新参数化技巧学习的,而无需递归。我们展示了如何在权重中引入方差,从而在LibriSpeech-960上实现更快的训练时间和接近最先进的性能。
2023-01-16 cs.CL cs.LG cs.SD
Automated LaTeX Code Generation from Handwritten Math Expressions Using Vision Transformer
Stanford(斯坦福大学)
针对手写/数字数学表达式转LaTeX的任务,本文探索了视觉Transformer等架构,证明其性能优于CNN-RNN基线模型,同时开源了模型实现以支持后续研究。
2024-12-07 cs.CL cs.CV
Language Models Need Inductive Biases to Count Inductively
Carnegie Mellon University(卡内基梅隆大学)
本文研究了语言模型的归纳计数能力,发现传统RNN能轻松实现归纳计数,而Transformer和现代RNN因架构设计需依赖位置嵌入或丧失循环特性而表现不佳。
2024-10-25 cs.CL cs.LG
Masked ELMo: An evolution of ELMo towards fully contextual RNN language models
xBrain;Augustus Intelligence(奥古斯都智能)
本文提出了一种新的基于RNN的语言模型预训练模型Masked ELMo,它是从ELMo语言模型演化而来的。与只使用独立的从左到右和从右到左上下文的ELMo相反,Masked ELMo学习完全双向的单词表示。为了实现这一点,我们使用与BERT相同的Masked语言模型目标。此外,由于对LSTM神经元的优化,掩模累积和双向截断反向传播的集成,我们大大提高了模型的训练速度。所有这些改进使得在保持低计算成本的同时预训练比ELMo更好的语言模型成为可能。我们通过在GLUE基准测试中将其与相同协议中的ELMo进行比较来评估掩蔽ELMo,其中我们的模型显著优于ELMo,并且与Transformer方法具有竞争力。
2020-10-08 cs.CL cs.LG
On Language Model Integration for RNN Transducer based Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
外部语言模型(LM)和RNN-转换器(RNN-T)的隐式学习的内部LM(ILM)之间的不匹配可能限制LM集成(诸如简单的浅融合)的性能。贝叶斯解释建议在ILM校正之前删除该序列。在这项工作中,我们研究了在一个共同的RNN-T框架中制定的各种基于ILM校正的LM集成方法。我们对ILM校正性能提高的两个主要原因进行了解码解释,并通过详细分析进一步进行了实验验证。我们还提出了一个精确的ILM训练框架,通过扩展混合自回归传感器中给出的证明,这使得其他ILM方法的理论依据。分别对Librispeech和TED-LIUM Release 2语料库的域内和跨域评价进行了系统的比较。我们提出的精确ILM训练可以进一步提高最佳ILM方法。
2022-02-16 cs.CL eess.AS
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
NLP Group, DCST, IAI, Tsinghua University(清华大学自然语言处理组、数据计算技术研究所、人工智能院);ModelBest Inc., Beijing, China(ModelBest公司)
本文提出HALO流程和HypeNet架构,通过高效蒸馏将Transformer模型转换为RNN-注意力混合模型,实现超长上下文的高性能与高效率。
2026-01-29 cs.AI cs.CL cs.LG
SHAQ: Single Headed Attention with Quasi-Recurrence
自然语言处理的研究最近一直由大规模的Transformer模型主导。虽然他们在许多重要的语言任务上达到了最先进的水平,但Transformers通常需要昂贵的计算资源,并需要数天到数周的训练。这对大型科技公司和顶尖研究型大学的研究人员来说是可行的,但对斗志旺盛的初创企业创始人、学生和独立研究人员来说就不可行了。Stephen Merity的SHA-RNN是一种紧凑的混合注意力-RNN模型,专为消费级建模而设计,因为它需要更少的参数和更少的训练时间来达到接近最先进的结果。我们分析Merity的模型在这里通过探索性模型分析几个单位的架构,同时考虑到我们的评估培训时间和整体质量。最终,我们将这些发现结合到一个新的架构中,我们称之为SHAQ:单头注意准递归神经网络。通过我们的新架构,我们实现了与SHA-RNN相似的准确性结果,同时在训练中实现了4倍的速度提升。
2021-08-18 cs.AI cs.CL
dQwen3.5: Hybrid-Attention Diffusion Language Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过适配Qwen3.5混合架构(0.8B至9B)构建dQwen3.5扩散语言模型,发现混合骨干网络训练效率更高(节省约一半token),且解码性能与全注意力模型相当。
2026-09-18 cs.CL cs.LG
Nana-HDR: A Non-attentive Non-autoregressive Hybrid Model for TTS
Tencent(腾讯)
本文提出了Nana-HDR,一种新的非注意非自回归模型,具有混合的基于transformer的密集融合编码器和基于RNN的解码器的TTS。它主要包括三个部分:第一,一种新的密集融合编码器之间的密集连接的基本Transformer块的粗特征融合和多头注意力层的精细特征融合。第二,基于单层非自回归RNN的解码器。第三,持续时间预测器代替连接上述混合编码器和解码器的注意力模型。实验表明,Nana-HDR充分发挥了各个组件的优势,如基于Transformer的编码器具有强大的文本编码能力,不受曝光偏差和局部信息偏好的影响而进行有状态解码,以及持续时间预测器提供的稳定对齐。由于这些优点,Nana-HDR在两个普通话语料库上的自然度和鲁棒性方面取得了有竞争力的性能。
2021-09-28 cs.CL cs.SD eess.AS
End-to-end Speech Recognition with Word-based RNN Language Models
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了基于词的RNN语言模型(RNN-LM)对端到端自动语音识别(ASR)性能的影响。在我们之前的工作中,我们提出了一种多级LM,其中基于字符和基于单词的RNN-LM结合在混合CTC/基于注意力的ASR中。虽然这种多级方法在华尔街日报(WSJ)任务中实现了显着的错误减少,但需要训练两个不同的LM并用于解码,这增加了计算成本和内存使用。在本文中,我们进一步提出了一种新的基于单词的RNN-LM,它允许我们只使用基于单词的LM进行解码,其中它提供了预测下一个字符的前瞻单词概率,而不是基于字符的LM,与多级LM相比,计算量更少,具有竞争力的准确性。除了我们在之前的工作中使用的WSJ之外,我们还使用了更大的语料库LibriSpeech来证明基于单词的RNN-LM的有效性。此外,我们表明,该模型实现了5.1%的WER为WSJ Eval'92测试集时,词汇量的增加,这是最好的WER报告的端到端ASR系统在这个基准。
2018-08-08 cs.AI cs.CL
Accelerating recurrent neural network language model based online speech recognition system
DMC R&D Center, Samsung Electronics(三星电子DMC研发中心)
提出了一种基于循环神经网络的在线语音识别语言模型的加速方法。首先,为了减少LM查询的数量,引入了对过去的隐藏层输出(历史向量)进行有损压缩并进行缓存。接下来,RNNLM计算以CPU-GPU混合方式部署,在更有利的平台上计算模型的每一层。CPU和GPU之间的数据交换所增加的开销通过逐帧优化策略来补偿。LibriSpeech测试集上的性能评估表明,历史向量精度的降低提高了平均识别速度的1.23倍,精度下降最小。另一方面,CPU-GPU混合并行化使基于RNNLM的实时识别速度提高了四倍。
2018-01-30 cs.CL cs.LG
Training Deeper Neural Machine Translation Models with Transparent Attention
Google AI(谷歌AI)
虽然目前最先进的NMT模型,如RNN seq 2seq和Transformers,拥有大量的参数,但与用于文本和视觉应用的卷积模型相比,它们仍然很肤浅。在这项工作中,我们试图训练显着(2- 3倍)更深的Transformer和双RNN编码器的机器翻译。我们对注意力机制提出了一个简单的修改,简化了更深层次模型的优化,并在两种架构的基准WMT'14英语-德语和WMT'15捷克语-英语任务上获得了0.7-1.1 BLEU的一致增益。
2018-09-04 cs.AI cs.CL cs.LG
End-to-End Multi-speaker Speech Recognition with Transformer
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
最近,基于全递归神经网络(RNN)的端到端模型已被证明是有效的多说话人语音识别在单通道和多通道的情况下。在这项工作中,我们探讨了使用Transformer模型,这些任务的重点是两个方面。首先,我们将语音识别模型中基于RNN的编码器-解码器替换为Transformer架构。其次,为了在多通道情况下在神经波束形成器的掩蔽网络中使用Transformer,我们将自注意分量修改为仅限于一段而不是整个序列,以减少计算。除了模型架构的改进,我们还结合了外部去混响预处理,加权预测误差(WPE),使我们的模型能够处理混响信号。在空间化wsj 1 - 2 mix语料库上的实验表明,在单通道和多通道任务中,基于transformer的模型分别实现了40.9%和25.6%的相对WER降低,分别下降到12.1%和6.4%;而在混响情况下,我们的方法实现了41.5%和13.8%的相对WER降低,分别为16.5%和15.2%。
2020-02-13 cs.CL cs.SD eess.AS