Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
UNC Chapel Hill(北卡罗来纳大学教堂山分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Mila(米拉研究所);Yale University(耶鲁大学)
本文发现混合语言模型过度依赖注意力而忽视循环记忆通路,提出辅助损失以限制注意力早期访问,促进循环通路使用,提升长上下文与信息聚合任务性能。
2026-10-06 cs.AI cs.CL
Improving Context Aware Language Models
RNN语言模型适应性的提高导致预测的改进,使许多应用程序受益。然而,目前的方法没有充分利用RNN结构。我们发现,最广泛使用的适应方法(将上下文与递归层输入处的词嵌入连接起来)优于具有一些低成本改进的模型:隐藏层和输出层的适应。以及特征散列偏置项以捕获上下文特性。使用三个不同的语料库的语言建模和分类任务的实验证明了所提出的技术的优点。
2017-04-21 cs.CL
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
语音识别在很大程度上利用了深度学习,这表明现代递归神经网络(RNN)可以获得巨大的好处。最受欢迎的RNN是长短期记忆(LSTM),由于它们能够学习长期依赖性和对消失梯度的鲁棒性,它们通常在许多任务中达到最先进的性能。然而,LSTM有一个相当复杂的设计,有三个乘法门,这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元(GRU),它只基于两个乘法门。本文建立在这些努力的基础上,进一步修订GRU,并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先,我们建议在GRU设计中去除复位门,从而实现更高效的单门架构。其次,我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明,在我们的实现中,与标准GRU相比,修改后的架构将每历元训练时间减少了30%以上,并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Deep Learning based, end-to-end metaphor detection in Greek language with Recurrent and Convolutional Neural Networks
National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学)
本文介绍并测试了一些基于端到端深度学习的希腊语隐喻检测模型。我们将卷积神经网络和递归神经网络与表示学习相结合,以解决希腊语的隐喻检测问题。所提出的模型实现了出色的准确度分数,显着提高了先前的最先进的结果,已经达到了准确度0.82。此外,在这项工作中没有使用特殊的预处理,特征工程或语言知识。所提出的方法使用卷积神经网络(CNN)和双向长短期记忆网络(LSTM)实现了0.92的准确度和0.92的F分数。双向门控递归单元(GRU)和卷积递归神经网络(CRNN)也实现了0.91的准确性和0.91的F分数。模型仅基于训练元组、句子及其标签进行训练和评估。其结果是一个最先进的隐喻检测模型集合,在有限的标记资源上进行训练,可以扩展到其他语言和类似的任务。
2020-07-23 cs.CL
Improving Sequence Modeling Ability of Recurrent Neural Networks via Sememes
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Beijing University of Posts and Telecommunications(北京邮电大学)
义素是人类语言的最小语义单位,在各种自然语言处理应用中得到了成功的应用。然而,大多数现有的研究都是在特定的任务中使用义位,很少有人从根本上利用义位。在本文中,我们提出将语义纳入循环神经网络(RNN),以提高其序列建模能力,这有利于各种下游任务。我们设计了三种不同的义素合并方法,并将它们应用于典型的RNN,包括LSTM,GRU及其双向变体。在评估中,我们使用了几个基准数据集,包括PTB和WikiText-2用于语言建模,SNLI用于自然语言推理,另外两个数据集用于情感分析和释义检测。实验结果表明,与普通RNN相比,我们的义素合并模型有明显的一致性改善,这证明了我们的义素合并方法的有效性。此外,我们还发现,结合语义的模型具有更高的鲁棒性,在防御对抗攻击方面优于对抗训练。本工作的所有代码和数据可以在https://github.com/thunlp/SememeRNN上获得。
2020-08-19 cs.CL cs.LG eess.AS
Persistent Recurrent Memory Between Transformer Layers - Improves Language Model Generalization
FITec Labs / Ericsson São Paulo(FITec实验室 / 爱立信圣保罗)
本文提出在Transformer层间插入带GRU的持久循环记忆模块,仅增3.7%参数即显著降低28.5%的评估损失,减少过拟合,证明该拓扑是提升小模型泛化的简单有效方法。
2026-09-16 cs.CL
Recurrent Graph Syntax Encoder for Neural Machine Translation
UBTECH Sydney AI Centre(优必选悉尼人工智能中心);University of Sydney(悉尼大学)
结合句法的机器翻译模型在提高模型的推理能力和语义保持能力方面已被证明是成功的。在本文中,我们提出了一个简单而有效的图形结构的编码器,递归图编码器,被称为\textbf{RGSE},它提高了捕捉有用的语法信息的能力。RGSE是在标准编码器(循环或自注意编码器)上完成的,将循环网络单元视为图节点,并将语法依赖性注入为边,使得RGSE同时对语法依赖性和顺序信息(\textit{i.e.},词序)进行建模。我们的方法在英语$\Rightarrow$德语和英语$\Rightarrow$捷克语翻译任务中实现了几个语法感知NMT模型的相当大的改进。在WMT 14 En-De任务中,配备RGSE的大模型取得了与现有模型相当的成绩。大量的分析进一步验证了RGSE可以有利于长句建模,并产生更好的翻译。
2019-08-19 cs.CL cs.LG
ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
StartLux;University of Chinese Academy of Sciences(中国科学院大学);The University of Hong Kong(香港大学)
ReaDy是首个利用混合线性注意力(HLA)循环状态进行位置特定上下文检索的推测解码方法,基于DSpark适配后,在7个基准测试中以Qwen3.8-27B实现平均3.16倍解码加速,性能优于DSpark。
2026-10-20 cs.CL
Leveraging Knowledge Bases in LSTMs for Improving Machine Reading
Carnegie Mellon University(卡内基梅隆大学)
本文主要研究如何利用外部知识库(KB)来改进递归神经网络以实现机器阅读。利用知识库中的知识的传统方法将知识编码为离散的指示符特征。这些特征不仅泛化能力差,而且需要特定于任务的特征工程来实现良好的性能。我们提出了KBLSTM,这是一种新型的神经模型,它利用知识库的连续表示来增强机器阅读递归神经网络的学习。为了有效地将背景知识与当前处理的文本中的信息相结合,我们的模型采用了一种带有哨兵的注意力机制来自适应地决定是否关注背景知识以及知识库中的哪些信息是有用的。实验结果表明,我们的模型实现的准确性,超过了以前的国家的最先进的结果,实体提取和事件提取广泛使用的ACE2005数据集。
2019-02-25 cs.AI cs.CL cs.LG
Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model
New York University(纽约大学)
条件递归语言建模的最新进展主要集中在网络架构(例如,注意力机制),学习算法(例如,调度采样和序列级训练)和新颖的应用(例如,图像/视频描述生成、语音识别等)另一方面,我们注意到解码算法/策略还没有被研究得那么多,并且使用贪婪或束搜索已经成为标准。在本文中,我们提出了一种新的解码策略,其动机是早期的观察,即深度神经网络的非线性隐藏层拉伸数据流形。该策略在不增加通信开销的情况下具有良好的并行性,同时改进了现有的译码算法。我们用基于注意力的神经机器翻译对En->Cz翻译任务进行了广泛的评估。
2016-05-12 cs.CL cs.LG stat.ML
Splitting source code identifiers using Bidirectional LSTM Recurrent Neural Network
source{d}(source{d}公司)
程序员通过标识符和注释在源代码中大量使用自然语言。源代码标识符是从与含义、命名约定和上下文密切相关的标记池中选择的。这些标记通常组合起来以产生更精确和明显的指定。这种多部分标识符占公共Git Archive中所有命名令牌的97%-这是迄今为止最大的Git存储库数据集。我们引入了一个双向LSTM循环神经网络来检测源代码标识符中的子令牌。我们使用从Public Git Archive中的182,014个开源项目中收集的4170万个不同的可拆分标识符来训练该网络,并表明它优于其他几个机器学习模型。所提出的网络可以用于改进基于源代码标识符的上游模型,以及改进开发人员的体验,允许在不切换键盘的情况下编写代码。
2018-07-19 cs.CL cs.PL
Comba: Improving Bilinear RNNs with Closed-loop Control
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shanghai AI Laboratory(上海人工智能实验室);Squirrel Ai Learning, USA(Squirrel Ai Learning)
Comba通过闭环控制理论改进双线性RNNs,采用标量加低秩状态转移实现高效语言和视觉建模。
2025-12-03 cs.CL cs.LG
Convolutional-Recurrent Neural Networks for Speech Enhancement
Microsoft Research(微软研究院)
我们提出了一种基于卷积和循环神经网络的端到端语音增强模型。我们的模型纯粹是数据驱动的,不对噪声的类型或平稳性做任何假设。与使用多层感知器(MLP)的现有方法相比,我们采用卷积和递归神经网络架构。因此,我们的方法使我们能够利用频域和时间域中的局部结构。通过将语音信号的先验知识结合到模型结构的设计中,我们建立了一个模型,该模型具有更高的数据效率,并且对可见和不可见的噪声都具有更好的泛化能力。基于对合成数据的实验,我们证明了我们的模型优于现有的方法,在可见噪声和不可见噪声上分别将PESQ提高了0.6和0.64。
2018-05-02 cs.CL cs.LG cs.SD
Extracting Weighted Finite Automata from Recurrent Neural Networks for Natural Languages
Peking University(北京大学)
循环神经网络(RNN)在序列数据处理方面取得了巨大的成功。然而,直接解释和验证RNN的行为是相当具有挑战性的。为此,已经做出了许多努力来从RNN中提取有限自动机。现有的方法,如精确学习是有效的,在提取有限状态模型来表征RNN的状态动态的形式语言,但在处理自然语言的可扩展性有限。可扩展到自然语言的组合方法在提取精度方面有所不足。在本文中,我们确定的过渡稀疏性问题,严重影响提取精度。为了解决这个问题,我们提出了一种转换规则提取方法,该方法可扩展到自然语言处理模型,并有效提高提取精度。具体来说,我们提出了一个经验的方法来补充在过渡图中缺失的规则。此外,我们进一步调整转移矩阵,以提高提取的加权有限自动机(WFA)的上下文感知能力。最后,我们提出了两种数据增强策略来跟踪目标RNN的更多动态行为。在两个流行的自然语言数据集上的实验表明,该方法可以从RNN中提取WFA用于自然语言处理,其精度优于现有方法。我们的代码可在https://github.com/weizeming/Extract_WFA_from_RNN_for_NL上获得。
2022-09-27 cs.CL cs.LG
Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP
Hasso Plattner Institute(哈索·普拉特纳研究所)
针对CLIP嵌入空间存在的模态差距问题,设计AlignCLIP探究参数共享、模态内分离对差距的影响及下游性能变化,证实其可提升跨模态对齐并优化下游表现。
2024-09-16 cs.AI cs.CL cs.CV
When Are Tree Structures Necessary for Deep Learning of Representations?
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
递归神经模型是一种流行的架构,它使用语法解析树自底向上递归地生成表示。但是还没有严格的评估来显示这种基于语法的方法到底适合哪些任务。在本文中,我们将{ \bf recursive}神经模型与顺序{ \bf recursive}神经模型(简单递归和LSTM模型)进行基准测试,尽可能地进行苹果对苹果的比较。我们调查了4个任务:(1)句子级和短语级的情感分类;(2)将问题与回答短语匹配;(3)话语解析;(4)语义关系抽取(例如,名词之间的{ \em component-whole})。我们的目标是更好地理解递归模型何时以及为什么能够优于简单模型。我们发现,递归模型主要有助于任务(如语义关系抽取),需要关联的中心词在很长的距离,特别是在非常长的序列。然后,我们介绍了一种允许循环模型实现类似性能的方法:在标点符号处将长句分解为类似子句的单元,并在组合之前单独处理它们。因此,我们的研究结果有助于理解这两类模型的局限性,并提出改进经常性模型的方向。
2015-08-18 cs.AI cs.CL
Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer
Brown University(布朗大学);Harvard University(哈佛大学)
本文借助 Logit Lens 与 Coda Lens 探测 Huginn-3.5B 的算术推理过程,发现其缺乏清晰可解释的潜在 CoT,增加循环深度也仅有边际收益。
2025-09-28 cs.AI cs.CL cs.LG
BlackOut: Speeding up Recurrent Neural Network Language Models With Very Large Vocabularies
Intel(英特尔);Univ. of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
我们提出了BlackOut,一种近似算法,可以有效地训练具有百万单词词汇的大规模循环神经网络语言模型(RNNLM)。停电的动机是使用歧视性损失,我们描述了一种新的采样策略,显着减少计算,同时提高稳定性,样本效率,收敛速度。理解BlackOut的一种方法是将其视为DropOut策略到输出层的扩展,其中我们使用区分性训练损失和加权采样方案。我们还建立了BlackOut,重要性采样和噪声对比估计(NCE)之间的密切联系。我们在最近发布的10亿字语言建模基准上的实验证明了BlackOut的可扩展性和准确性;我们的表现优于最先进的技术,并在该数据集上获得了最低的困惑分数。此外,与其他通常需要GPU或CPU集群的方法不同,我们证明了精心实现的BlackOut版本只需要1-10天的时间就可以在一台机器上训练一个RNNLM,它具有100万单词的词汇量和10亿单词的数十亿参数。虽然我们在RNNLM训练的上下文中描述了BlackOut,但它可以用于任何具有大型softmax输出层的网络。
2016-03-31 cs.CL cs.LG cs.NE
LLM-as-RNN: A Recurrent Language Model for Memory Updates and Sequence Prediction
Georgia Institute of Technology(佐治亚理工学院);Peking University(北京大学);Shandong University(山东大学);Huazhong University of Science and Technology(华中科技大学);UT Southwestern Medical Center(西南医学中心)
LLM-as-RNN通过将冻结的LLM转化为循环预测器,利用自然语言记忆实现在线学习,有效提升序列预测精度并生成可解释的学习轨迹。
2026-01-19 cs.AI cs.CL cs.MA
Accelerating Inference and Language Model Fusion of Recurrent Neural Network Transducers via End-to-End 4-bit Quantization
IBM Research(IBM研究院)
我们报告了积极的量化策略,大大加快了循环神经网络传感器(RNN-T)的推理。我们使用4位整数表示权值和激活,并应用量化感知训练(QAT)来重新训练完整模型(声学编码器和语言模型),并实现近等精度。我们表明,定制的量化方案,是针对网络的本地属性是必不可少的,以实现良好的性能,同时限制QAT的计算开销。密度比语言模型融合在RNN-T工作负载上显示出显着的准确性增益,但它严重增加了推理的计算成本。我们表明,我们的量化策略,使使用大波束宽度的假设搜索,同时实现流兼容的运行时和全模型压缩比为7.6 $\times$相比,全精度模型。通过硬件模拟,我们估计从FP 16到INT 4的端到端量化RNN-T(包括LM融合)的$\times$加速为3.4,导致实时的因子(RTF)为0.06。在NIST Hub 5 2000、Hub 5 2001和RT-03测试集上,我们保留了与LM融合相关的大部分增益,将平均WER提高了$>$ 1.5%。
2022-06-16 cs.CL cs.LG cs.SD