Gate Activation Signal Analysis for Gated Recurrent Neural Networks and Its Correlation with Phoneme Boundaries
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
本文分析了门控循环神经网络中的门激活信号，发现这些信号的时间结构与音素边界高度相关。通过一组音素分割实验进一步验证了这种相关性，与标准方法相比，获得了更好的结果。
2017-08-31 cs.CL cs.LG cs.SD
Multi-level Gated Recurrent Neural Network for Dialog Act Classification
Peking University（北京大学）
在本文中，我们专注于对话行为（DA）标记的问题。这个问题最近吸引了很多关注，因为它是当前需求量很大的自动问答系统的重要子部分。传统的方法倾向于将这个问题视为序列标记任务，并通过应用具有丰富特征的分类器来处理它。目前大多数神经网络模型仍然忽略了会话中的序列信息。然而，我们采用了一种新的多级门控循环神经网络（GRNN）与非文本信息预测DA标签。我们的模型不仅利用文本信息，但也利用非文本和上下文信息。相比之下，我们的模型已经显示出显着的改善超过6%的开关板对话法（SWDA）任务比以前的作品。
2019-10-04 cs.CL
Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
大多数神经网络的关系分类方法都集中在使用卷积神经网络（CNN）来寻找表示语义关系的短模式，并且这些方法通常比使用递归神经网络（RNN）获得更好的性能。在与CNN模型类似的直觉中，我们提出了一种新的基于RNN的模型，该模型使用多个范围限制的双向层和对关系分类的关注，只关注句子的重要部分。SemEval-2010关系分类任务的实验结果表明，我们的模型与使用额外语言信息的最先进的基于CNN和基于RNN的模型相当。
2017-11-01 cs.CL
Stabilising and accelerating light gated recurrent units for automatic speech recognition
Avignon Université（阿维尼翁大学）；University of Cambridge（剑桥大学）
光选通递归单元（Li-GRU）以在自动语音识别（ASR）任务中实现令人印象深刻的结果而闻名，同时比标准选通递归单元（GRU）更轻且训练更快。然而，其在候选递归门上的整流线性单元的无界性质导致了一个重要的梯度爆炸现象，破坏了训练过程，并阻止其应用于著名的数据集。在本文中，我们从理论上和经验上推导出其稳定性的必要条件以及工程机制，以加快其训练时间的五倍，因此引入了一个新版本的这种架构命名为SLi-GRU。然后，我们评估了它在一个玩具任务上的性能，该任务说明了它新获得的能力，以及一组三个不同的ASR数据集，与更复杂的递归神经网络相比，它们的单词错误率更低。
2023-02-16 cs.CL cs.LG cs.SD
Bayesian Sparsification of Gated Recurrent Neural Networks
National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
贝叶斯方法已成功地应用于神经网络权值的稀疏化和网络结构单元的去除。G.神经元我们应用并进一步发展这种方法的门控经常性架构。具体来说，除了单个权重和神经元的稀疏化之外，我们还建议稀疏化LSTM中的门和信息流的预激活。它使某些门和信息流分量保持不变，加快了前向传递速度，提高了压缩率。此外，由此产生的门稀疏结构是可解释的，并取决于任务。代码可以在github上找到：https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Liger: Linearizing Large Language Models to Gated Recurrent Structures
Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）
本文提出Liger，通过重用预训练key矩阵权重构建门控机制，将LLMs无额外参数地线性化为门控循环结构，并结合LoRA微调与Liger Attention，以极低预训练成本恢复模型性能。
2025-05-07 cs.AI cs.CL cs.LG
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo（开罗德国大学）；Technical University of Munich（慕尼黑工业大学）；Cerebras Systems Inc.（赛布拉斯系统公司）
本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语音识别在很大程度上利用了深度学习，这表明现代递归神经网络（RNN）可以获得巨大的好处。最受欢迎的RNN是长短期记忆（LSTM），由于它们能够学习长期依赖性和对消失梯度的鲁棒性，它们通常在许多任务中达到最先进的性能。然而，LSTM有一个相当复杂的设计，有三个乘法门，这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元（GRU），它只基于两个乘法门。本文建立在这些努力的基础上，进一步修订GRU，并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先，我们建议在GRU设计中去除复位门，从而实现更高效的单门架构。其次，我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明，在我们的实现中，与标准GRU相比，修改后的架构将每历元训练时间减少了30%以上，并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Gated Word-Character Recurrent Language Model
Center for Data Science（数据科学中心）；New York University（纽约大学）
我们引入了一个具有长短期记忆（LSTM）单元的递归神经网络语言模型（RNN-LM），该单元利用字符级和单词级输入。我们的模型有一个门，自适应地找到字符级和单词级输入的最佳混合。门通过组合单词的两个不同表示来创建单词的最终矢量表示。使用双向LSTM将字符级输入转换为单词的向量表示。词级输入通过词查找表投影到另一个高维空间。单词的最终向量表示用于LSTM语言模型，该模型预测给定所有前面单词的下一个单词。我们的模型与门控机制有效地利用字符级输入的罕见和词汇外的单词，并优于词级语言模型在几个英语语料库。
2016-10-13 cs.CL
Improving Gated Recurrent Unit Based Acoustic Modeling with Batch Normalization and Enlarged Context
Kwai（快手）；Beijing Institute of Technology（北京理工大学）
未来的上下文信息的使用通常被示出为有助于声学建模。最近，我们提出了一种称为具有输入投影的最小门控递归单元（mGRUIP）的RNN模型，其中专门设计了一个上下文模块，即时间卷积，用于对未来上下文进行建模。该模型mGRUIP with context module（mGRUIP-Ctx）能够有效地利用未来的上下文信息，同时具有较低的模型延迟和计算开销。在本文中，我们继续改进mGRUIP-Ctx两个修订：应用BN方法和扩大模型上下文。在两个普通话ASR任务（8400小时和60 K小时）上的实验结果表明，修改后的mGRUIP-Ctx以较大的幅度（11%至38%）优于LSTM。它甚至在8400小时任务上的表现略好于优越的BLSTM，参数少了33 M，模型延迟仅为290 ms。
2018-11-26 cs.CL eess.AS
Structured Sparsification of Gated Recurrent Neural Networks
Samsung-HSE Laboratory（三星-高等经济学院实验室）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
近年来，许多技术被用来稀疏化神经网络的权值和去除网络的结构单元，如神经元。我们调整现有的稀疏化方法的门控循环架构。具体来说，除了权重和神经元的稀疏化之外，我们还提出了门的预激活的稀疏化。这使得一些门保持不变，并简化了LSTM结构。我们测试我们的方法上的文本分类和语言建模任务。我们观察到门稀疏性的结果结构取决于任务，并将学习到的结构与特定任务的细节联系起来。我们的方法还在大多数任务中改进了模型的神经元压缩。
2019-11-13 cs.CL cs.LG stat.ML
Sentylic at IEST 2018: Gated Recurrent Neural Network and Capsule Network Based Approach for Implicit Emotion Detection
University of Moratuwa（莫勒图沃大学）
在本文中，我们介绍了我们用于内隐WASSA 2018内隐情感共享任务的系统。任务是预测一条推文的情感，其中明确提到的情感术语已被删除。我们的想法是提出一个模型，它有能力隐式地识别所表达的情感的上下文单词。我们已经使用了门控循环神经网络（GRU）和基于胶囊网络的任务模型。预训练的词嵌入已被用来将上下文知识的话到模型中。GRU层使用输入的词嵌入来学习潜在表示。随后的Capsule Network层从该隐藏表示中学习高级特征。该模型的宏观F1得分为0.692。
2018-09-05 cs.CL cs.LG
Semi-Supervised Confidence Network aided Gated Attention based Recurrent Neural Network for Clickbait Detection
点击诱饵是社交媒体经常使用的吸引人的标题，以吸引观众点击它们，从而导致他们看到可疑的内容。这种腐败的计划利用天真的社交媒体用户的好奇心，将流量引导到其他人不会访问的网页上。在本文中，我们提出了一种新的，半监督分类为基础的方法，采用注意力采样从Gumbel-Softmax分布提取的背景下，是相当重要的点击诱饵检测。在注意力权重上的额外损失用于编码先验知识。此外，我们提出了一个置信网络，使学习弱标签，并提高噪声标签的鲁棒性。我们表明，仅用30%的强标记样本，我们就可以达到目前最先进的点击诱饵检测方法的97%以上的准确率。
2018-11-04 cs.CL
Language Modeling with Gated Convolutional Networks
Facebook AI Research（Facebook 人工智能研究院）
迄今为止，语言建模的主要方法是基于循环神经网络。他们在这项任务上的成功往往与他们捕捉无限背景的能力有关。在本文中，我们通过堆叠卷积开发了一种有限上下文方法，这种方法可以更有效，因为它们允许在顺序令牌上进行并行化。我们提出了一种新的简化门控机制，其性能优于Oord et al（2016），并研究了关键架构决策的影响。所提出的方法在WikiText-103基准测试中达到了最先进的水平，尽管它具有长期依赖性，并且在Google Billion Words基准测试中具有竞争力。我们的模型减少了延迟评分一个句子的数量级相比，经常性的基线。据我们所知，这是第一次非循环方法在这些大规模语言任务上与强循环模型竞争。
2017-09-08 cs.CL
Gated Recurrent Unit Based Acoustic Modeling with Future Context
Kwai（快手）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
未来的上下文信息的使用通常被示出为有助于声学建模。然而，对于递归神经网络（RNN），它不是那么容易有效地建模未来的时间上下文，同时保持较低的模型延迟。在本文中，我们试图设计一个RNN声学模型，能够有效地利用未来的上下文，与模型的延迟和计算成本尽可能低。该模型基于最小门控递归单元（mGRU），在mGRU中插入一个输入投影层，并设计了两个上下文模块：时间编码和时间卷积，用于对未来上下文进行建模。在Switchboard任务和内部普通话ASR任务上的实验结果表明，该模型的性能远远优于长短期记忆（LSTM）和mGRU模型，而在线解码的最大延迟为170 ms。该模型甚至优于非常强大的基线TDNN-LSTM，具有更小的模型延迟和几乎一半的参数。
2018-05-18 cs.CL cs.SD eess.AS
HiGRU: Hierarchical Gated Recurrent Units for Utterance-level Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）；Meitu（美图）；The Hang Seng University of Hong Kong（香港恒生大学）
针对对话系统中话语级情感识别面临的三大挑战：（1）同一个词在不同的语境中表达不同的情感;（2）某些情感在一般对话中很少见;（3）长距离语境信息难以有效获取。因此，我们提出了一个分层的门控递归单元（HiGRU）框架，较低级别的GRU模型的单词级输入和上层GRU捕获的话语级嵌入的上下文。此外，我们将该框架提升为两个变体，HiGRU与个体特征融合（HiGRU-f）和HiGRU与自我注意和特征融合（HiGRU-sf），从而可以充分利用单词/话语级别的个体输入和远程上下文信息。在IEMOCAP、Friends和QuestionPush三个对话情感数据集上的实验表明，我们提出的HiGRU模型在每个数据集上分别比现有方法提高了8.7%、7.5%和6.0%。特别是，通过仅利用IEMOCAP中的文本特征，我们的HiGRU模型比具有文本、视频和音频三模态特征的最先进的会话记忆网络（CMN）至少提高了3.8%。
2019-04-09 cs.CL
Gated Recurrent Neural Tensor Network
Universitas Indonesia（印度尼西亚大学）；Nara Institute of Science and Technology（奈良先端科学技术大学）
递归神经网络（RNN）是一种强大的时序数据建模方案，需要捕获数据集的长期依赖关系，并使用强大的模型将其表示在隐藏层中，以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模，门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层（即，张量积）帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中，我们提出了一种新的RNN架构，将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中，我们提出的模型通过使用门控单元建模来学习长期依赖关系，并使用三维数组（张量）权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆（LSTM）RNN和门控递归单元（GRU）RNN，并将它们与其公式中的张量积结合起来。我们提出的RNN，被称为长短期记忆递归神经张量网络（LSTMRNTN）和门控递归单位递归神经张量网络（GRURNTN），是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验，结果表明，与我们的基线模型相比，我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Hierarchically Gated Recurrent Neural Network for Sequence Modeling
OpenNLPLab, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室 OpenNLPLab）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对现有线性RNN忽略循环内遗忘门作用的问题，提出分层门控循环神经网络HGRN，通过随层数单调递增的可学习遗忘门下限实现长短依赖分层建模，在多项任务上验证了有效性与效率。
2023-11-08 cs.CL cs.LG
Recurrent Neural Network-Based Sentence Encoder with Gated Attention for Natural Language Inference
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）；York University（约克大学）；University of Ottawa（渥太华大学）
RepEval 2017共享任务旨在评估用于句子表示的自然语言理解模型，其中使用神经网络将句子表示为固定长度的向量，并使用自然语言推理任务测试表示的质量。本文描述了我们的系统（alpha），它在共享任务中名列前茅，在域内测试集（获得74.9%的准确率）和跨域测试集（也获得74.9%的准确率）上，表明该模型可以很好地推广到跨域数据。我们的模型配备了句内门控注意组合，这有助于实现更好的性能。除了将我们的模型提交给共享任务之外，我们还在斯坦福自然语言推理（SNLI）数据集上对其进行了测试。我们获得了85.5%的准确率，这是在不允许跨句注意的情况下SNLI报告的最佳结果，RepEval 2017中执行了相同的条件。
2017-08-04 cs.CL
HGRN2: Gated Linear RNNs with State Expansion
TapTap；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；OpenNLPLab；Shanghai AI Lab（上海人工智能实验室）
针对HGRN循环状态尺寸小、表达能力受限的问题，提出基于外积的无额外参数状态扩展机制得到HGRN2，兼具线性注意力可解释性与硬件高效训练优势，实验证明其性能优于HGRN且对标其他循环模型。
2024-08-19 cs.CL
Understand me, if you refer to Aspect Knowledge: Knowledge-aware Gated Recurrent Memory Network
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
摘要情感分类（ASC）旨在预测评论中提到的特定方面的细粒度情感极性。尽管最近在ASC方面取得了进展，但使机器能够精确地推断方面情绪仍然具有挑战性。本文解决了ASC中存在的两个问题：（1）由于缺乏体知识，现有的体表示方法不能很好地表示体的确切意义和属性信息;（2）现有的体表示方法只能捕捉局部句法信息或全局关系信息，缺少其中任何一个都会导致句法信息不足。为了解决这些挑战，我们提出了一种新的ASC模型，它不仅端到端嵌入和利用方面知识，而且还结合了两种语法信息，并让它们相互补偿。该模型包括三个关键部分：（1）知识感知的门控递归记忆网络递归地集成动态总结的体知识;（2）双语法图网络结合两种句法信息，全面捕获足够的句法信息;（3）知识集成门用进一步需要的体知识重新增强最终表示;（4）方面到上下文的注意力机制将来自所有隐藏状态的方面相关语义聚集到最终表示中。在几个基准数据集上的实验结果证明了我们的模型的有效性，它在精度和Macro-F1方面都大大超过了以前的最先进的模型。
2022-03-01 cs.AI cs.CL
Gated Recurrent Neural Network Approach for Multilabel Emotion Detection in Microblogs
University of Moratuwa（莫拉图瓦大学）；La Trobe University（乐卓博大学）
人们在社交媒体帖子和在线评论中自由表达自己的意见和情感，这些帖子和评论包含了对企业和政治活动等多个利益相关者的宝贵反馈。从大量这样的帖子中手动提取意见和情感是一项不可能完成的任务。因此，自动处理这些帖子以提取意见和情感是一个重要的研究问题。然而，人类情感检测是一项具有挑战性的任务，由于复杂性和细微差别的性质。为了克服这些障碍，研究人员广泛使用了深度学习、远程监督和迁移学习等技术。提出了一种基于金字塔注意力网络的微博情感检测模型。我们的方法的主要优点是，PAN具有从不同角度评估句子的能力，以捕获单个文本中存在的多种情感。在最近发布的数据集上对所提出的模型进行了评估，结果达到了最先进的58.9%的准确率。
2019-07-17 cs.CL cs.LG
Recurrent Additive Networks
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
我们介绍了经常性的加性网络（RAN），一个新的门RNN，其特点是使用纯添加剂的潜在状态更新。在每个时间步，新状态被计算为输入和前一个状态的门控分量和，没有RNN转换动力学中常用的任何非线性。我们正式表明，RAN状态是输入向量的加权和，门只有助于计算这些总和的权重。尽管这种相对简单的函数形式，实验表明，RAN与LSTM在基准语言建模问题上的表现不相上下。这一结果表明，LSTM和相关网络中的许多非线性计算并不是必不可少的，至少对于我们考虑的问题来说是如此，并且表明门正在做比以前理解的更多的计算工作。
2017-06-29 cs.CL
Temporal Attention-Gated Model for Robust Sequence Classification
Carnegie Mellon University（卡内基梅隆大学）；Delft University of Technology（代尔夫特理工大学）
用于序列分类的典型技术被设计用于已被编辑以去除噪声或不相关部分的良好分段的序列。因此，这样的方法不能容易地应用于在现实世界的应用中预期的噪声序列。在本文中，我们提出了时间注意门控模型（TAGM），它集成了注意力模型和门控递归网络的思想，以更好地处理噪声或未分割的序列。具体来说，我们扩展了注意力模型的概念，以衡量序列的每个观察（时间步）的相关性。然后，我们使用一种新的门控递归网络来学习最终预测的隐藏表示。我们的方法的一个重要优势是可解释性，因为时间注意力权重提供了一个有意义的值的序列中的每个时间步的显着性。我们证明了我们的TAGM方法的优点，无论是预测精度和可解释性，在三个不同的任务：语音数字识别，基于文本的情感分析和视觉事件识别。
2017-04-15 cs.CL cs.CV
Text Sentiment Analysis and Classification Based on Bidirectional Gated Recurrent Units (GRUs) Model
本文提出基于双向GRUs模型的情感分析与分类方法，通过预处理和训练，验证集准确率提升8%，测试集F1达97.4%，证明模型有效且泛化良好。
2024-06-12 cs.CL cs.LG
Enhancing Bangla Fake News Detection Using Bidirectional Gated Recurrent Units and Deep Learning Techniques
Daffodil International University（达夫迪尔国际大学）；Southern Illinois University（南伊利诺伊大学）；University of South Dakota（南达科他大学）；Northumbria University（诺森比亚大学）
本研究构建了约5万条孟加拉语新闻数据集，并对比多种深度学习模型，发现双向GRU以99.16%准确率最优，为低资源语言假新闻检测做出贡献。
2024-03-31 cs.CL cs.LG
When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning
National University of Singapore（新加坡国立大学）
GRU-Mem通过引入两个文本控制的门，实现了更稳定和高效的长上下文推理，显著提升了推理速度和性能。
2026-02-11 cs.AI cs.CL
GRN: Gated Relation Network to Enhance Convolutional Neural Network for Named Entity Recognition
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Microsoft Research（微软研究院）
用于命名实体识别（NER）的主流方法大多采用复杂递归神经网络（RNN），例如，长短期记忆（LSTM）然而，RNN在计算效率方面受到其递归性质的限制。相比之下，卷积神经网络（CNN）可以通过其前馈架构充分利用GPU并行性。然而，很少有人关注使用CNN执行NER，主要是因为它们难以捕获序列中的长期上下文信息。在本文中，我们提出了一个简单但有效的基于CNN的NER网络，即，门控关系网络（GRN），它比普通CNN更能捕捉长期上下文。具体来说，在GRN中，我们首先使用CNN来探索每个单词的局部上下文特征。然后，我们建模的词之间的关系，并使用它们作为门融合到全球的预测标签的局部上下文特征。在不使用以顺序方式处理句子的递归层的情况下，我们的GRN允许在整个句子中并行执行计算。在两个基准NER数据集上的实验（即，CoNLL2003和Ontonotes 5.0）表明，我们提出的GRN可以实现国家的最先进的性能与外部知识或没有。它还享有更低的训练和测试时间成本。我们已经在https://github.com/HuiChen24/NER-GRN上公开了该代码。
2019-07-19 cs.CL
Gated Recursive Fusion: A Stateful Approach to Scalable Multimodal Transformers
本文提出门控递归融合（GRF）架构，以线性复杂度O(n)的顺序递归方式实现多模态交叉注意力融合，并通过GRU启发的门控融合单元动态筛选特征，在CMU-MOSI上取得与复杂基线相当的性能。
2025-07-01 cs.AI cs.CL cs.CV
Gated Recurrent Fusion with Joint Training Framework for Robust End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
语音增强和识别方法的联合训练框架在鲁棒的端到端自动语音识别（ASR）中取得了很好的性能。然而，这些方法仅利用增强的特征作为语音识别组件的输入，这受到语音失真问题的影响。为了解决这个问题，本文提出了一种门控递归融合（GRF）方法与联合训练框架的鲁棒端到端ASR。GRF算法用于动态地组合噪声和增强特征。因此，GRF不仅可以从增强的特征中去除噪声信号，而且还可以从噪声特征中学习原始精细结构，从而可以减轻语音失真。该方法由语音增强、GRF和语音识别三部分组成。首先，采用基于掩码的语音增强网络对输入语音进行增强。其次，应用GRF来解决语音失真问题。第三，为了提高ASR的性能，采用了最先进的语音Transformer算法作为语音识别部分。最后，联合训练框架被用来优化这三个组件，同时。我们的实验是在一个名为AISHELL-1的开源汉语语音语料库上进行的。实验结果表明，与传统的联合增强和仅利用增强特征的Transformer方法相比，该方法的相对字符出错率（CER）降低了10.04%.特别是在低信噪比（0 dB）时，该方法可以获得更好的性能，CER降低了12.67%，表明了该方法的潜力。
2020-11-09 cs.CL cs.SD eess.AS
SalamNET at SemEval-2020 Task12: Deep Learning Approach for Arabic Offensive Language Detection
Kuwait University（科威特大学）；George Mason University（乔治梅森大学）
本文介绍了SalamNET，这是一个阿拉伯语攻击性语言检测系统，已提交给SemEval 2020共享任务12：社交媒体中的多语言攻击性语言识别。我们的方法侧重于应用多个深度学习模型，并对结果进行深入的错误分析，为未来的开发考虑提供系统影响。为了实现我们的目标，开发并评估了具有不同设计架构的递归神经网络（RNN），门控递归单元（GRU）和长短期记忆（LSTM）模型。SalamNET是一种基于双向门控循环单元（Bi-GRU）的模型，报告的宏观F1得分为0.83。
2020-07-28 cs.CL cs.LG
TreeWY: Speculative Verification for Gated DeltaNet Hybrids
Thomson Reuters（汤森路透）
TreeWY通过树结构WY变换移除GDN层的循环状态快照，降低混合模型推测解码的内存压力，提升吞吐量与TTFT，还支持更宽的高接受度draft。
2026-10-26 cs.AI cs.CL cs.DC
