Contrastive Feature Masking Open-Vocabulary Vision Transformer
Google DeepMind(谷歌DeepMind)
提出CFM-ViT,通过联合图像-文本嵌入空间重建和位置嵌入丢弃,在开放词汇检测中达到最先进性能,同时保持强大的图像级表示。
2023-09-02 cs.AI cs.CV cs.LG
Trading Depth for Time in Recurrent Transformers
Microsoft(微软);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本研究通过潜在循环Transformer比较时间递归与物理深度增加,发现插入思维词元可在减少约48%参数的情况下恢复双深度模型67%-81%的性能改进,表明时间思考是参数高效的深度替代方案。
2026-10-14 cs.LG
Position-aware Self-attention with Relative Positional Encodings for Slot Filling
Center for Information and Language Processing(信息与语言处理中心);Ludwig Maximilian University of Munich(慕尼黑大学)
本文介绍了如何将自注意与相对位置编码的任务的关系抽取。我们建议使用自注意编码器层与一个额外的位置感知注意层,考虑到查询和对象在句子中的位置。自注意编码器还使用相对位置编码的自定义实现,该相对位置编码允许句子中的每个单词考虑其左右上下文。该模型的评估是在TACRED数据集上完成的。所提出的模型仅依赖于注意力(不使用递归层或卷积层),同时提高了w.r.t.以前的艺术状态。
2018-07-09 cs.AI cs.CL cs.LG
Alternative positional encoding functions for neural transformers
Department of Computer Languages and Computer Science University of Málaga(计算机语言与计算机科学系马拉加大学);Department of Systems Engineering and Automation University of Málaga(系统工程与自动化系马拉加大学);ITIS Software. Universidad de Málaga(ITIS软件. 马拉加大学)
本文提出了一种替代的位置编码函数,以改进神经变换器的表现,实验显示其在某些情况下优于传统的正弦函数。
2025-12-22 cs.AI cs.LG
PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting
Northwestern Polytechnical University(西北工业大学)
针对Transformer依赖位置嵌入限制时间序列表示的问题,提出结合金字塔RNN嵌入(PRE)与Transformer的PRformer模型,利用多尺度卷积和RNN保留时间顺序,在真实数据集上达到最先进性能。
2024-08-20 cs.LG
End-to-End Attention-based Large Vocabulary Speech Recognition
当前许多最先进的大词汇量连续语音识别系统(LVCSR)是神经网络和隐马尔可夫模型(HRM)的混合。这些系统中的大多数包含处理声学建模、语言建模和序列解码的单独组件。我们研究了一种更直接的方法,其中HMM被替换为递归神经网络(RNN),直接在字符级别执行序列预测。输入特征和所需字符序列之间的对齐是通过RNN中内置的注意力机制自动学习的。对于每个预测的字符,注意力机制扫描输入序列并选择相关帧。我们提出了两种方法来加快这一操作:限制扫描到最有前途的帧的子集,并随着时间的推移,池中包含的信息在相邻的帧,从而减少源序列的长度。将n-gram语言模型集成到解码过程中会产生类似于其他基于HMM的RNN方法的识别精度。
2016-03-14 cs.AI cs.CL cs.LG
LightRNN: Memory and Computation-Efficient Recurrent Neural Networks
Nanjing University of Science and Technology(南京理工大学);Microsoft Research Asia(微软亚洲研究院)
循环神经网络(RNN)在语言建模和机器翻译等自然语言处理任务中取得了最先进的性能。然而,当词汇量很大时,RNN模型将变得非常大(例如,可能超出GPU设备的存储器容量),并且其训练将变得非常低效。在这项工作中,我们提出了一种新的技术来应对这一挑战。关键思想是使用2-分量(2C)共享嵌入来表示单词。我们将词汇表中的每个单词分配到一个表中,其中的每一行与一个向量关联,每一列与另一个向量关联。根据单词在表中的位置,单词由两个分量共同表示:行向量和列向量。由于同一行中的单词共享行向量,而同一列中的单词共享列向量,因此我们仅需要$2 \sqrt{|V|}$向量来表示$|V|$唯一单词的词汇表,这远少于现有方法所需的$|V|$向量。基于2-Component共享嵌入,我们设计了一种新的RNN算法,并在几个基准数据集上使用语言建模任务对其进行了评估。结果表明,我们的算法显着减少了模型的大小,加快了训练过程,而不牺牲准确性(它实现了类似的,如果不是更好,困惑相比,最先进的语言模型)。值得注意的是,在10亿字基准数据集上,我们的算法实现了与以前的语言模型相当的复杂度,同时将模型大小减少了40-100倍,并将训练过程加快了2倍。我们命名我们提出的算法\emph{LightRNN},以反映其非常小的模型大小和非常高的训练速度。
2016-10-31 cs.CL cs.LG
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google(谷歌)
我们最近已经证明,作为语音识别的声学模型,深度长短期记忆(LSTM)递归神经网络(RNN)的性能优于前馈深度神经网络(DNN)。最近,我们已经证明,使用这种LSTM RNN的序列训练上下文相关(CD)隐马尔可夫模型(HMM)声学模型的性能可以与使用连接主义时间分类(CTC)初始化的序列训练电话模型相等。在本文中,我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明,帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Language Modeling with Deep Transformers
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先,我们回顾专门用于语言建模的Transformer模型配置。我们发现,基于LSTM递归神经网络层的浅栈,配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验,用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型,传统的混合语音识别的格重评分,和子词级模型的注意基于编码器-解码器模型的浅层融合。其次,我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制,它对序列排序是不变的。然而,在自回归设置中,就像语言建模的情况一样,信息量沿着位置维度增加,这本身就是一个位置信号。对注意权重的分析表明,深度自回归自注意模型可以自动利用这种位置信息。我们发现,删除位置编码,甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
A Triadic Suffix Tokenization Scheme for Numerical Reasoning
MIPT, Moscow, Russia(莫斯科米进大学)
本文提出Triadic Suffix Tokenization方案,通过三元分组和明确的量级标记,解决数字分词不一致问题,提升大语言模型在算术和科学推理中的稳定性与准确性。
2026-04-20 cs.AI cs.CL cs.LG
EEG based Continuous Speech Recognition using Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们研究连续语音识别使用脑电图(EEG)的功能,使用最近推出的端到端的Transformer为基础的自动语音识别(ASR)模型。我们的研究结果表明,基于Transformer的模型表现出更快的训练相比,基于递归神经网络(RNN)的序列到序列EEG模型和更好的性能在推理时间较小的测试集词汇,但随着我们增加的词汇量,基于RNN的模型的性能优于基于Transformer的模型在有限的英语词汇。
2020-05-05 cs.LG cs.SD eess.AS
Structured Sequence Modeling with Graph Convolutional Recurrent Networks
EPFL(洛桑联邦理工学院)
本文介绍了图卷积递归网络(GCRN),这是一种能够预测结构化数据序列的深度学习模型。准确地说,GCRN是经典递归神经网络(RNN)对由任意图结构化的数据的推广。这样的结构化序列可以表示视频中的一系列帧、传感器网络上的时空测量、或用于自然语言建模的词汇图上的随机游动。该模型结合了图上的卷积神经网络(CNN)来识别空间结构,并结合了RNN来寻找动态模式。我们研究了GCRN的两种可能的架构,并将模型应用于两个实际问题:预测移动MNIST数据,并使用Penn Treebank数据集对自然语言进行建模。实验表明,同时利用图的空间和动态信息的数据可以提高精度和学习速度。
2016-12-22 cs.LG stat.ML
Interactive Music Generation with Positional Constraints using Anticipation-RNNs
LIP6, Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学 LIP6 实验室);Sony CSL, Paris(索尼计算机科学实验室(巴黎));École Polytechnique, Palaiseau, France(巴黎综合理工学院);Sony CSL, Tokyo(索尼计算机科学实验室(东京))
递归神经网络(RNNS)现在被广泛用于序列生成任务,因为它们能够学习远程依赖关系并生成任意长度的序列。然而,它们的从左到右的生成过程仅允许来自潜在用户的有限控制,这使得它们不适合于交互式和创造性用途,诸如交互式音乐生成。本文介绍了一种新的架构,称为预期-RNN,它拥有基于RNN的生成模型的资产,同时允许执行用户定义的位置约束。我们证明了它的效率上的任务产生的旋律满足位置约束的风格的女高音部分的J.S.巴赫赞美诗和声。使用预期RNN的采样与传统RNN模型的采样具有相同的复杂性。这种快速和交互式的音乐序列生成为设计可用于创造性目的的实时系统开辟了道路。
2017-09-19 cs.AI cs.LG stat.ML
Character-Level Language Modeling with Hierarchical Recurrent Neural Networks
Seoul National University(首尔国立大学)
基于递归神经网络(RNN)的字符级语言模型(CLM)对于建模词汇表外的单词非常有用。然而,它们的性能通常比单词级语言模型(WLM)差得多,因为CLM需要考虑更长的令牌历史来正确预测下一个。我们通过提出分层RNN架构来解决这个问题,该架构由具有不同时标的多个模块组成。尽管有多时标结构,但输入和输出层使用字符级时钟操作,这使得现有的RNN CLM训练方法可以直接应用而无需任何修改。我们的CLM模型显示出更好的困惑比Kneser-Ney(KN)5克WLM在十亿字基准只有2%的参数。此外,我们在华尔街日报(WSJ)语料库上提供了实时字符级端到端语音识别示例,其中用所提出的模型取代传统的单时钟RNN CLM,即使参数的数量减少到30%,也能获得更好的识别精度。
2017-02-02 cs.CL cs.LG cs.NE
Character-Level Incremental Speech Recognition with Recurrent Neural Networks
Seoul National University(首尔国立大学)
在实时语音识别应用中,延迟是一个重要的问题。我们已经开发了一个字符级的增量语音识别(ISR)系统,即使在语音,其中的假设是逐步改善,而说话的过程中迅速作出反应。该算法采用了一个语音到字符的单向递归神经网络(RNN),这是端到端的连接主义时间分类(CTC)训练,和基于RNN的字符级语言模型(LM)。CTC训练的RNN的输出值是字符级概率,其由束搜索解码处理。RNN LM通过提供长期依赖性信息来增强解码。我们提出了基于树的在线束搜索与额外的深度修剪,这使得系统能够处理无限长的输入语音与低延迟。该系统不仅对语音响应迅速,而且可以根据发音听写词汇表外(OOV)单词。该模型在WSJ SI-284训练集上训练时,在华尔街日报(WSJ)11月'92 20 K评估集上实现了8.90%的单词出错率(WER)。
2016-01-28 cs.CL cs.LG cs.NE
CONFLATOR: Incorporating Switching Point based Rotatory Positional Encodings for Code-Mixed Language Modeling
San Diego State University(圣地亚哥州立大学);San Jose State University(圣何塞州立大学);Wipro AI Labs(威普罗人工智能实验室);University of California Los Angeles(加利福尼亚大学洛杉矶分校);Stanford University(斯坦福大学);University of South Carolina(南卡罗来纳大学);Amazon AI(亚马逊人工智能)
针对代码混合语言建模中语言切换点的挑战,提出CONFLATOR方法,通过结合旋转位置编码与切换点信息,在情感分析和机器翻译任务上超越现有技术。
2023-10-18 cs.CL cs.LG
Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models
Stanford University(斯坦福大学)
几乎所有以前关于神经机器翻译(NMT)的工作都使用了非常有限的词汇表,也许还有一种后续的方法来修补未知的单词。本文提出了一种新的词-字解决方案,以实现开放的词汇NMT。我们构建了混合系统,主要在单词级别进行翻译,并为罕见单词咨询字符组件。我们的字符级递归神经网络计算源单词表示,并在需要时恢复未知的目标单词。这种混合方法的双重优势是,它比基于字符的方法更快、更容易进行训练;同时,它永远不会像基于单词的模型那样产生未知单词。在WMT'15英语到捷克语的翻译任务中,这种混合方法比已经处理未知单词的模型提供了+2.1-11.4 BLEU点的额外提升。我们最好的系统达到了20.7 BLEU分数的最新结果。我们证明,我们的字符模型可以成功地学习,不仅生成格式良好的单词捷克语,一个高度曲折的语言,一个非常复杂的词汇,但也建立正确的表示英语源单词。
2016-06-23 cs.CL cs.LG
Compression of Recurrent Neural Networks for Efficient Language Modeling
Samsung R&D Institute(三星研发研究所);National Research University Higher School of Economics(国家研究型高等经济大学)
循环神经网络已被证明是一种有效的统计语言建模方法。然而,在实践中,它们的内存和运行时的复杂度通常太大,无法在实时离线移动应用程序中实现。在本文中,我们考虑了几种压缩技术的循环神经网络,包括长短期记忆模型。我们特别注意的高维输出问题所造成的非常大的词汇量。我们专注于有效的压缩方法的上下文中开发的设备:修剪,量化和矩阵分解方法(低秩因式分解和张量训练分解,特别是)。对于每一个模型,我们调查其大小,适合快速推理和困惑之间的权衡。我们提出了一个通用的管道,用于应用最合适的方法来压缩用于语言建模的循环神经网络。在Penn Treebank(PTB)数据集的实验研究中已经表明,通过矩阵分解技术获得了在速度和压缩-困惑平衡方面最有效的结果。
2019-02-06 cs.CL cs.LG
Applying GPGPU to Recurrent Neural Network Language Model based Fast Network Search in the Real-Time LVCSR
DMC R&D Center, Samsung Electronics(三星电子DMC研发中心)
循环神经网络语言模型(RNNLM)以其优异的性能开始应用于语音识别的各个领域。然而,RNNLM的高计算复杂性一直是将RNNLM应用于实时的【形】大词汇量连续语音识别(LVCSR)的障碍。为了在解码过程中加快基于RNNLM的网络搜索速度,我们应用了通用图形处理单元(GPGPU)。提出了一种将GPGPU应用于基于RNNLM的图遍历的新方法。我们通过减少CPU上的冗余计算以及GPGPU和CPU之间的传输量来实现我们的目标。所提出的方法进行了评估华尔街日报语料库和内部数据。实验结果表明,该方法在各种情况下都能达到实时的【形】速度,同时字出错率(WER)比n-gram模型低10%。
2020-07-23 cs.CL cs.LG
ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers
Chair of Cyber-Physical Systems(感知系统教授席位);Institute of Machine Learning and Neural Computation(机器学习与神经计算研究所);Technical University of Leoben(莱比锡技术大学);Graz University of Technology(格拉茨技术大学)
ViTaPEs通过两阶段位置注入学习任务无关的视觉触觉表示,提升多模态对齐性能,实验证明其在多种任务和领域中的优越表现。
2026-04-29 cs.CV cs.LG cs.RO
BlackOut: Speeding up Recurrent Neural Network Language Models With Very Large Vocabularies
Intel(英特尔);Univ. of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
我们提出了BlackOut,一种近似算法,可以有效地训练具有百万单词词汇的大规模循环神经网络语言模型(RNNLM)。停电的动机是使用歧视性损失,我们描述了一种新的采样策略,显着减少计算,同时提高稳定性,样本效率,收敛速度。理解BlackOut的一种方法是将其视为DropOut策略到输出层的扩展,其中我们使用区分性训练损失和加权采样方案。我们还建立了BlackOut,重要性采样和噪声对比估计(NCE)之间的密切联系。我们在最近发布的10亿字语言建模基准上的实验证明了BlackOut的可扩展性和准确性;我们的表现优于最先进的技术,并在该数据集上获得了最低的困惑分数。此外,与其他通常需要GPU或CPU集群的方法不同,我们证明了精心实现的BlackOut版本只需要1-10天的时间就可以在一台机器上训练一个RNNLM,它具有100万单词的词汇量和10亿单词的数十亿参数。虽然我们在RNNLM训练的上下文中描述了BlackOut,但它可以用于任何具有大型softmax输出层的网络。
2016-03-31 cs.CL cs.LG cs.NE
English to Bangla Machine Translation Using Recurrent Neural Network
East West University(东西大学)
在自然语言处理中,递归神经网络在机器翻译中的应用越来越多。除了其他语言,孟加拉语包含大量的词汇。改进英语到孟加拉语的机器翻译将是对孟加拉语处理的重大贡献。本文描述了一个英语到孟加拉语机器翻译系统的体系结构。该系统已实现的编码器-解码器的循环神经网络。该模型使用基于知识的上下文向量来映射英语和孟加拉语单词。在这里测量基于激活函数的模型的性能。在编码层采用线性激活函数,在解码层采用双曲正切激活函数,性能最佳。从GRU和LSTM层的执行来看,GRU的表现要优于LSTM。注意力层采用softmax和sigmoid激活函数实现。该模型的方法在交叉熵损失度量方面优于以前的最先进的系统。读者可以从本文中很容易地了解到英语到孟加拉语的机器翻译的结构和有效的激活函数。
2021-06-14 cs.CL cs.LG
Dual input neural networks for positional sound source localization
Imperial College London(帝国理工学院)
本文提出双输入神经网络(DI-NN),融合多通道音频信号与麦克风坐标等场景元数据进行声源定位,在真实录音测试中定位误差比最小二乘法低五倍、比卷积循环神经网络低两倍。
2023-08-08 cs.LG cs.SD eess.AS
Data2Vis: Automatic Generation of Data Visualizations Using Sequence to Sequence Recurrent Neural Networks
IBM Research(IBM研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Fitnescity Labs(Fitnescity实验室)
对于在统计和数据可视化方面时间有限、技能有限的用户来说,使用表达性语法快速创建有效的可视化是一项挑战。即使是高级的专用可视化工具,也经常需要用户手动选择数据属性,决定要应用哪些转换,并指定可视化编码变量与原始或转换后的属性之间的映射。在本文中,我们介绍了Data 2 Vis,这是一个神经翻译模型,用于从给定的数据集自动生成可视化。我们制定可视化生成作为一个序列到序列的翻译问题,数据规范映射到可视化规范的声明性语言(Vega-Lite)。为此,我们在可视化规范的语料库上训练一个具有长短期记忆(LSTM)单元的多层基于注意力的递归神经网络(RNN)。定性结果表明,我们的模型学习了有效的可视化规范的词汇和语法,适当的转换(计数,箱,平均值)以及如何使用数据可视化中出现的常见数据选择模式。Data 2 Vis可以在很短的时间内生成与手动创建的可视化效果相当的可视化效果,并有可能大规模学习更复杂的可视化策略。
2018-11-02 cs.AI cs.HC cs.LG
Recurrent Neural Network Transducer for Audio-Visual Speech Recognition
Google Inc., 1600 Amphitheatre Pkwy, Mountain View, CA 94043, USA(美国加利福尼亚州山景城 amphitheatre 大道 1600 号 谷歌公司);DeepMind, 6 Pancras Square, Kings Cross, London N1C 4AG, UK(英国伦敦国王十字区 pancras 广场 6 号 深度思维)
本文提出了一种基于递归神经网络转换器(RNN-T)结构的大规模视听语音识别系统。为了支持这样一个系统的开发,我们构建了一个从YouTube公共视频中提取的分段话语的大型视听(A/V)数据集,产生了31 k小时的视听训练内容。在两个大词汇量测试集上比较了纯音频、纯视觉和视听系统的性能:一组来自公共YouTube视频的话语片段,称为YTDEV 18和公开可用的LRS 3-TED集。为了突出视觉模态的贡献,我们还评估了我们的系统在YTDEV 18集上的性能,该集被背景噪声和重叠语音人为破坏。据我们所知,我们的系统显着提高了LRS 3-TED集的最先进水平。
2019-11-08 cs.CL cs.CV cs.LG
LARNN: Linear Attention Recurrent Neural Network
Laval University(拉瓦尔大学)
线性注意力循环神经网络(LARNN)是一个循环注意力模块,它来源于长短期记忆(LSTM)细胞和意识循环神经网络(RNN)的思想。是的,是拉恩。LARNN将注意力集中在其过去的小区状态值上,用于有限的窗口大小$k$。这些公式也是从批量归一化LSTM(BN-LSTM)单元和Transformer网络中推导出来的,用于其多头注意力机制。在单元内使用多头注意力机制,使得其可以利用注意窗口查询其自己的$k$过去值。这具有用注意力机制增强张量的秩的效果,使得细胞可以执行复杂的查询来质疑其先前的内部记忆,这应该增强记忆的长期短期效应。通过一个聪明的技巧,带有注意力的LARNN细胞可以很容易地在细胞状态的循环中使用,就像任何其他循环神经网络(RNN)细胞可以通过时间序列线性循环一样。这是由于以下事实:在时间序列内的整个时间步长上循环的其状态将内部状态存储在“先进先出”队列中,该队列包含$k$最近的状态,并且当队列被表示为张量时,可以容易地在该队列上添加静态位置编码。这种神经架构比普通LSTM细胞产生更好的结果。它可以获得91.92%的测试准确度,而之前使用vanilla LSTM单元获得的准确度为91.65%。请注意,这不是与其他研究相比,其他研究获得了高达93.35%的结果,但使用18个LSTM单元而不是这里分析的2到3个单元的成本很高。最后,一个有趣的发现是,在多头注意力机制的线性层内添加激活…
2018-08-16 cs.CC cs.LG stat.ML
GraphMinNet: Learning Dependencies in Graphs with Light Complexity Minimal Architecture
University of Kentucky(肯塔基大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Institute for Biomedical Informatics(生物医学信息学研究所)
本文提出GraphMinNet,一种基于极简门控循环单元的图神经网络架构,通过线性计算复杂度高效建模长距离依赖,结合特征与位置编码提升表达能力,在十个数据集上取得领先性能。
2025-02-01 cs.LG
CCasGNN: Collaborative Cascade Prediction Based on Graph Neural Networks
Southwest University(西南大学);College of Computer and Information Science(计算机与信息科学学院)
级联预测的目的是对网络中的信息扩散进行建模。以往的方法大多集中于从网络和传播路径中挖掘结构特征或序列特征,最近的努力致力于通过图神经网络和递归神经网络将网络结构和序列特征结合起来。然而,光谱或空间方法的局限性限制了预测性能的提高。此外,递归神经网络是耗时和计算昂贵的,这导致预测的效率低下。在这里,我们提出了一种新的方法CCasGNN考虑个人的个人资料,结构特征,和序列信息。该方法利用GAT和GCN的协作框架,将位置编码叠加到图神经网络的各层中,与现有的所有方法不同,具有良好的性能。在两个真实数据集上进行的实验证实,与最先进的方法相比,我们的方法显着提高了预测精度。更重要的是,烧蚀研究调查了我们的方法中每个组件的贡献。
2021-12-07 cs.LG cs.SI
W-RNN: News text classification based on a Weighted RNN
大多数信息都是以文本的形式存储的,因此文本挖掘被认为具有很高的商业潜力。针对基于稀疏表示的分类方法存在的语义约束问题,提出了一种加权递归神经网络(W-RNN),能够充分提取文本序列化语义信息。针对文本数据表示中特征维数高、语义关系不清晰的问题,首先利用词向量表示文本中的词汇,然后利用递归神经网络(RNN)对序列化文本数据进行特征提取。然后,使用词向量的中间输出对词向量进行自动加权和求和,以形成文本表示向量。最后,利用神经网络进行分类。在新闻数据集上对W-RNN进行了验证,证明W-RNN在精度、召回率、F1和损失值方面优于其他四种基线方法,适合于文本分类。
2019-09-28 cs.IR cs.LG stat.ML
Evaluating Sequence-to-Sequence Models for Handwritten Text Recognition
University of Rostock(罗斯托克大学);PLANET artificial intelligence GmbH(PLANET人工智能有限公司)
编码器-解码器模型已经成为序列学习任务(如机器翻译、图像描述和语音识别)的有效方法,但对于手写文本识别尚未显示出有竞争力的结果。为此,我们提出了一个基于注意力的序列到序列模型。它结合了一个卷积神经网络作为一个通用的特征提取器与递归神经网络编码的视觉信息,以及输入图像中的字符之间的时间上下文,并使用一个单独的递归神经网络解码的实际字符序列。我们对各种注意力机制和位置编码进行了实验比较,以找到输入和输出序列之间的适当对齐。该模型可以进行端到端的训练,如果需要,混合损失的可选集成允许编码器保留可解释和可用的输出。与不使用语言模型的最新技术相比,我们在IAM和ICFHR 2016 READ数据集上获得了有竞争力的结果,并且我们在任何最近的序列到序列方法上都有显着改进。
2019-07-15 cs.CV cs.LG
GroupReduce: Block-Wise Low-Rank Approximation for Neural Language Model Shrinking
University of California, Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
模型压缩对于在资源有限的设备或需要实时响应的应用程序上服务大型深度神经网络至关重要。作为一个案例研究,最先进的神经语言模型通常由一个或多个递归层组成,这些递归层夹在用于表示输入令牌的嵌入层和用于生成输出令牌的softmax层之间。对于词汇量非常大的问题,嵌入和softmax矩阵可以占模型大小的一半以上。例如,bigLSTM模型在拥有约80万词汇的十亿字(OBW)数据集上实现了最先进的性能,其词嵌入和softmax矩阵使用超过6Gbit空间,并负责超过90%的模型参数。在本文中,我们提出了GroupReduce,神经语言模型的一种新的压缩方法,基于词汇分区(块)的低秩矩阵近似和令牌的固有频率分布(词的幂律分布)。实验结果表明,该方法的压缩性能明显优于传统的压缩方法,如低秩近似和修剪。在OBW数据集上,我们的方法对嵌入和softmax矩阵实现了6.6倍的压缩率,当与量化相结合时,我们的方法可以实现26倍的压缩率,这意味着整个模型的压缩系数为12.8倍,并且在困惑度方面几乎没有退化。
2018-06-18 cs.AI cs.CL cs.LG
Forgetting Transformer: Softmax Attention with a Forget Gate
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);MakerMaker AI(MakerMaker人工智能公司);Google DeepMind(谷歌DeepMind)
本文提出 Forgetting Transformer (FoX),通过以数据相关方式降低未归一化注意力分数将遗忘门融入 Transformer,在长上下文建模等任务上优于 Transformer 且兼容 FlashAttention,同时保留卓越长上下文能力。
2025-03-31 cs.AI cs.CL cs.LG
A Survey of Classical And Quantum Sequence Models
Iowa State University(爱荷华州立大学);IIT Kharagpur(印度理工学院卡哈拉格普尔分校);IIIT Hyderabad(印度信息技术研究所海得拉巴分校);IBM Research(IBM研究院)
本文综述经典与量子序列模型,重新实现代表性方法并构建量子混合Transformer,引入位置编码提升文本和图像分类的准确率与收敛速度,同时比较经典与量子自注意力模型的性能差异。
2023-12-15 cs.LG quant-ph
Thinking Deeper, Not Longer: Memory-Efficient Test-Time Reasoning with Depth-Recurrent Transformers for Compositional Generalization
Computer Science and Information Engineering National Central University(计算机科学与信息工程国家中央大学)
本文提出深度递归变压器,通过在潜在空间中迭代应用共享权重的Transformer块,使模型在推理时能通过增加推理步骤来实现更深层次的推理。在三个组合推理领域中,该方法展示了计算前沿和不同泛化行为。
2026-09-16 cs.AI cs.CL cs.LG
Trace norm regularization and faster inference for embedded speech recognition RNNs
Baidu Silicon Valley Artificial Intelligence Lab(百度硅谷人工智能实验室)
我们提出并评估了新的技术,用于压缩和加速密集矩阵乘法,发现在嵌入式大词汇量连续语音识别(LVCSR)的神经网络的全连接和递归层。为了压缩,我们引入并研究了一种迹范数正则化技术,用于训练矩阵乘法的低秩因子化版本。与标准的低秩训练相比,我们证明了我们的方法具有良好的精度与参数权衡的数量,并且可以用于加快大型模型的训练。为了加快速度,我们通过针对小批量优化的新开源内核在ARM处理器上实现了更快的推理,从而比广泛使用的gemmlowp库提高了3倍至7倍的速度。除了LVCSR,我们希望我们的技术和内核更普遍地适用于具有大型全连接或递归层的嵌入式神经网络。
2018-02-06 cs.CL cs.LG eess.AS
Road User Classification from High-Frequency GNSS Data Using Distributed Edge Intelligence
Coburg University of Applied Sciences and Arts(科堡应用科学与艺术大学)
本文提出在分布式边缘设备上利用高频 GNSS 位置序列和 LSTM RNN 对行人、骑行者、摩托车及乘用车进行非侵入式分类,并验证了序列长度对分类效果的影响。
2024-11-28 cs.AI cs.ET cs.LG
Relative Positions Generalize, Absolute Positions Memorize: An Implicit-Bias Account of Length Generalization in Attention
Mississippi State University(密西西比州立大学)
研究Transformer中长度泛化现象,通过优化解释,证明旋转编码使注意力逻辑仅与相对偏移有关,绝对编码则不然,还将相关现象和特性转移到多层多头Transformer,联系了注意力隐式偏差等多方面内容。
2026-07-22 cs.LG
Modelling Identity Rules with Neural Networks
City, University of London(伦敦大学城市学院)
在本文中,我们表明,标准的前馈和循环神经网络无法学习抽象模式的基础上的身份规则。我们提出了基于关系的模式(RBP)的神经网络结构的扩展,解决了这个问题,并回答,以及提出,有关整合结构的归纳偏见到神经网络的问题。抽象模式的例子是序列模式ABA和ABB,其中A或B可以是任何对象。Marcus et al(1999)介绍了这些方法,他还发现7个月大的婴儿可以识别使用不熟悉词汇的序列中的这些模式,而简单的递归神经网络则不能。我们还表明,无法概括扩展到不同的,以前未经测试的,设置。我们提出了一种新的方法来修改标准的神经网络架构,称为基于关系的模式(RBP)与不同的变量进行分类和预测。我们的实验表明,神经网络与适当的RBP结构实现完美的分类和预测性能的合成数据,包括混合具体和抽象模式。RBP还提高了神经网络在现实世界序列预测任务的实验中的性能。我们讨论这些发现的挑战方面的神经网络模型和识别的后果,从这个结果的发展归纳偏见神经网络学习。
2019-05-20 cs.LG stat.ML
Language Models Need Inductive Biases to Count Inductively
Carnegie Mellon University(卡内基梅隆大学)
本文研究了语言模型的归纳计数能力,发现传统RNN能轻松实现归纳计数,而Transformer和现代RNN因架构设计需依赖位置嵌入或丧失循环特性而表现不佳。
2024-10-25 cs.CL cs.LG
A PyTorch Library of Turing-Complete Neural Networks
本文提出一个PyTorch库,通过图灵机描述编译神经网络及权重,生成可精确模拟指定机器的模型。实现两种架构:基于Wei等人(2021)的Transformer和基于Siegelmann和Sontag(1995)的循环网络,展示ReLU网络实现布尔电路及硬注意力实现磁带位置查找。
2026-05-03 cs.LG
Attend and Diagnose: Clinical Time Series Analysis using Attention Models
Arizona State University(亚利桑那州立大学);IBM Almaden Research Center(IBM阿尔马登研究中心);Lawrence Livermore National Labs(劳伦斯利弗莫尔国家实验室)
随着电子健康记录的广泛采用,人们越来越重视能够有效处理临床时间序列数据的预测模型。在具有长短期记忆(LSTM)单元的递归神经网络(RNN)架构的支持下,深度神经网络在几个临床预测任务中取得了最先进的结果。尽管RNN取得了成功,但它的顺序性质禁止并行计算,因此在处理长序列时效率低下。最近,仅基于注意力机制的架构在NLP的转导任务中取得了显着的成功,同时在计算上更优越。在本文中,我们第一次利用注意力模型进行临床时间序列建模,从而完全免除复发。我们开发的\textit{SAnD}(简单地出席和诊断)架构,它采用了一个掩蔽的,自我关注的机制,并使用位置编码和密集的插值策略,将时间顺序。此外,我们开发了一个多任务的变体\textit{SAnD},以联合推断模型与多个诊断任务。使用最近的MIMIC-III基准数据集,我们证明所提出的方法在所有任务中均实现了最先进的性能,优于LSTM模型和具有手工设计功能的经典基线。
2017-11-19 cs.LG stat.ML