首页/论文/1803.02839

arXiv 1803.028392018-03-07cs.CLcs.AIstat.ML

NLP中RNN和嵌入的涌现代数结构

The emergent algebraic structure of RNNs and embeddings in NLP

Excella Consulting AI Research（Excella Consulting人工智能研究（公司））

Sean A. Cantrell

备注：: 24 pages, 16 figures

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们研究了一个单向GRU和词嵌入的代数和几何性质的训练端到端的文本分类任务。在词嵌入维度、GRU隐藏维度和GRU输出的线性组合上执行超参数搜索。我们的结论是，单词自然地嵌入到李群中，RNN形成了李群的非线性表示。呼吁这些结果，我们提出了一类新的递归类神经网络和词嵌入计划。

英文摘要：

We examine the algebraic and geometric properties of a uni-directional GRU and word embeddings trained end-to-end on a text classification task. A hyperparameter search over word embedding dimension, GRU hidden dimension, and a linear combination of the GRU outputs is performed. We conclude that words naturally embed themselves in a Lie group and that RNNs form a nonlinear representation of the group. Appealing to these results, we propose a novel class of recurrent-like neural networks and a word embedding scheme.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于矩阵乘积状态的可解释自然语言处理

Explainable Natural Language Processing with Matrix Product States

Quantum Technology Foundation (Thailand)（泰国量子技术基金会）；Thailand Center of Excellence in Physics, Ministry of Higher Education, Science, Research and Innovation（高等教育、科学、研究和创新部泰国卓越物理中心）；Chulalongkorn University（朱拉隆功大学）；Mahidol University（玛希隆大学）；Blueqat Inc.（Blueqat公司）；Technical University of Crete（克里特理工大学）；National University of Singapore（新加坡国立大学）

尽管递归神经网络（RNN）在自然语言处理（NLP）中取得了经验上的成功，但由于本质上复杂的非线性计算，对RNN的理论理解仍然有限。我们系统地分析了RNN在一个无处不在的NLP任务中的行为，即电影评论的情感分析，通过一类称为递归算术电路（RAC）和矩阵乘积状态（MPS）的RNN之间的映射。使用冯-诺依曼纠缠熵（EE）作为信息传播的代理，我们表明，单层RAC具有最大的信息传播能力，所反映的EE的饱和度。扩大的键尺寸超过EE饱和阈值并不增加模型的预测精度，所以可以推断出一个极小模型，最好地估计的数据统计。虽然饱和EE小于面积法则所允许的最大EE，但我们的极小模型在现实情感分析数据集上仍然达到约99%的训练准确率。因此，低EE并不是反对为NLP采用单层RAC的理由。与人们普遍认为长距离信息传播是RNN成功的主要来源相反，我们证明了单层RAC从信息传播和词向量嵌入之间的微妙相互作用中获得了高表达能力。我们的工作揭示了RAC中学习的现象学，更普遍地说，使用多体量子物理学的工具，揭示了RNN对NLP的可解释性。

2022-04-06cond-mat.dis-nncond-mat.stat-mechcs.CL

基于稀疏正则化的RNN体系结构学习

RNN Architecture Learning with Sparse Regularization

Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）

NLP的神经模型通常使用大量参数来达到最先进的性能，这可能导致过多的内存使用和运行时间增加。我们提出了一种结构学习方法来学习稀疏的，参数有效的NLP模型。我们的方法将组套索应用于有理RNN（Peng et al.，2018），一个与加权有限状态自动机（WFSA）密切相关的模型家族。我们利用了RNN对权重的自然分组，因此组套索惩罚直接删除了WFSA状态，大大减少了模型中的参数数量。我们在一些情感分析数据集上进行的实验，使用GloVe和BERT嵌入，表明我们的方法可以学习参数较少的神经结构，而不会牺牲相对于参数丰富的基线的性能。我们的方法还突出了理性RNN的可解释性。我们表明，稀疏化这样的模型，使他们更容易可视化，我们提出的模型，完全依赖于少至三个WFSA修剪后超过90%的权重。我们公开发布代码。

2019-09-06cs.CLcs.LGstat.ML

使用RNNs、Transformers和大型语言模型进行阿拉伯语方言分类：一项比较分析

Arabic Dialect Classification using RNNs, Transformers, and Large Language Models: A Comparative Analysis

Faculty of Computer Science MSA Univeristy（计算机科学学院 MSA大学）

本研究针对QADI数据集中18种阿拉伯语推文方言分类问题，比较了RNN、Transformer和LLM模型，发现MARBERTv2表现最佳（65%准确率），并揭示了方言识别的语言学挑战及应用潜力。

2025-06-28cs.AIcs.CL

切片循环神经网络

Sliced Recurrent Neural Networks

Shanghai Jiao Tong University（上海交通大学）

循环神经网络在许多自然语言处理任务中取得了巨大的成功。然而，由于递归结构，它们在并行化方面存在困难，因此训练RNN需要花费大量时间。在本文中，我们介绍了切片循环神经网络（SRNNs），它可以通过将序列切片成许多连续性来并行化。SRNN具有通过多个层获得高级信息的能力，只需很少的额外参数。我们证明了当我们使用线性激活函数时，标准RNN是SRNN的特殊情况。在不改变循环单元的情况下，SRNN的速度是标准RNN的136倍，当我们训练更长的序列时，可能会更快。在6个大规模情感分析数据集上的实验表明，SRNN比标准RNN具有更好的性能。

2018-07-06cs.CL

递归诱导的内隐N元语法

Implicit N-grams Induced by Recurrence

Singapore University of Technology and Design（新加坡科技设计大学）

虽然基于自我注意力的模型，如Transformers，在自然语言处理（NLP）任务上取得了显着的成功，但最近的研究表明，它们在建模顺序转换方面存在局限性（Hahn，2020），这可能会促使重新审视递归神经网络（RNN），这些网络在处理顺序数据方面表现出令人印象深刻的结果。尽管之前有许多解释RNN的尝试，但它们的内部机制尚未完全理解，关于它们如何准确捕获序列特征的问题在很大程度上仍然不清楚。在这项工作中，我们提出了一项研究，表明实际上存在一些可解释的组件，驻留在隐藏的状态，这让人想起经典的n-gram功能。我们在下游的情感分析任务中评估了从训练的RNN中提取的可解释特征，发现它们可以用来模拟有趣的语言现象，如否定和强化。此外，我们研究了单独使用这些n-gram组件作为情感分析和语言建模等任务的编码器的有效性，揭示了它们可能在促进RNN的整体性能方面发挥重要作用。我们希望我们的发现可以为RNN架构增加可解释性，并为提出新的序列数据架构提供灵感。

2022-05-05cs.CL

用于文本理解的神经树索引

Neural Tree Indexers for Text Understanding

University of Massachusetts（马萨诸塞大学）

递归神经网络（RNN）顺序处理输入文本，并对单词标记之间的条件转换进行建模。相比之下，递归网络的优点包括它们显式地对自然语言的组合性和递归结构进行建模。然而，当前的递归体系结构受到其对语法树的依赖的限制。在本文中，我们介绍了一个强大的句法分析独立的树结构模型，神经树索引（NTI），提供了一个中间地带之间的顺序RNN和基于语法树的递归模型。NTI构造一个完整的n-ary树处理输入文本与其节点功能在一个自底向上的方式。然后，注意力机制可以应用于结构和节点功能。我们实现并评估了NTI的二叉树模型，显示该模型在三个不同的NLP任务上实现了最先进的性能：自然语言推理，答案句子选择和句子分类，优于最先进的递归和递归神经网络。

2017-02-28cs.CLcs.LGstat.ML

更多相关论文收起更多论文

统一NLP与软件工程的视角：面向代码的语言模型综述

Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code

Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）

本文系统综述了语言模型在软件工程中的应用，涵盖70+模型、180+数据集，整合SE与NLP视角，并指出代码建模从统计模型到LLM的演进，同时展望了未来挑战与方向。

2024-06-26cs.AIcs.CLcs.SE

巴西葡萄牙语用户评论文本分类的嵌入生成：从词袋到Transformers

Embedding generation for text classification of Brazilian Portuguese user reviews: from bag-of-words to transformers

文本分类是一项自然语言处理（NLP）任务，与许多商业应用相关，如电子商务和客户服务。当然，由于内在的语言方面，如讽刺和细微差别，准确地对这些摘录进行分类往往是一个挑战。为了完成这个任务，必须为文档提供一个健壮的数字表示，这个过程称为嵌入。嵌入代表了当今NLP的一个关键领域，在过去十年中取得了重大进展，特别是在引入单词到向量概念以及用于解决NLP任务的深度学习模型（包括卷积神经网络（CNN），递归神经网络（RNN）和基于转换器的语言模型（TLM））普及之后。尽管在这一领域取得了令人印象深刻的成就，有关巴西葡萄牙语文本生成嵌入的文献报道很少，特别是在考虑商业用户评论时。因此，这项工作的目的是提供一个全面的实验研究嵌入方法，针对巴西葡萄牙语的用户评论的二进制情感分类。本研究包括从经典的（词袋）到最先进的（基于Transformer的）NLP模型。这些方法与五个开放源代码数据库进行了评估，这些数据库具有开放数字存储库中提供的预定义数据分区，以鼓励再现性。微调的TLM在所有情况下都取得了最佳结果，其次是基于神经网络的TLM，LSTM和CNN，根据分析的数据库，它们具有交替的排名。

2022-12-01cs.AIcs.CL

Attentive Convolution：为CNN配备RNN风格的注意力机制

Attentive Convolution: Equipping CNNs with RNN-style Attention Mechanisms

University of Pennsylvania（宾夕法尼亚大学）；Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）

在NLP中，卷积神经网络（CNN）从注意力机制中获益少于递归神经网络（RNN）。我们假设这是因为CNN中的注意力主要被实现为注意力池（即，它被应用于池化）而不是作为注意卷积（即，它被集成到卷积中）。卷积是CNN的微分器，因为它可以通过考虑输入文本t^x中单词的局部固定大小上下文来强大地建模单词的更高级别表示。在这项工作中，我们提出了一个专注的卷积网络，ATTCONV。它扩展了卷积运算的上下文范围，不仅从局部上下文中导出单词的更高级别的特征，而且还通过RNN中常用的注意力机制从非局部上下文中提取信息。该非局部上下文可以来自（i）输入文本t^x的远离的部分，或者（ii）来自额外的（即，外部）上下文t^y。在零语境（情感分析）、单语境（文本蕴涵）和多语境（声明验证）下的句子建模实验表明，ATTCONV在结合语境的句子表示学习中是有效的。特别是，注意卷积优于注意池，是流行的注意RNN的强有力竞争对手。

2018-11-13cs.CL

自然语言处理中深度学习的混合与集成方法综述

A Review of Hybrid and Ensemble in Deep Learning for Natural Language Processing

Hong Kong Polytechnic University（香港理工大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）

本综述系统梳理了NLP中混合与集成深度学习模型在九类任务上的架构、性能与挑战，并探讨计算开销、过拟合及可解释性权衡，为相关研究与实践提供整体参考。

2024-08-08cs.AI

基于多粒度注意力混合神经网络的文本分类

Text Classification based on Multi-granularity Attention Hybrid Neural Network

China University of Political Science and Law（中国政法大学）；University of Science and Technique of China（中国科学技术大学）

基于神经网络的方法已经成为自然语言处理（NLP）任务的驱动力。传统上，NLP任务有两种主流神经架构：递归神经网络（RNN）和卷积神经网络（ConvNet）。RNN擅长对输入文本的长期依赖关系进行建模，但排除了并行计算。ConvNets没有内存能力，它必须将顺序数据建模为无序特征。因此，ConvNets无法学习输入文本的顺序依赖关系，但它能够进行高效的并行计算。由于RNN和ConvNets等每种神经架构都有自己的优点和缺点，因此不同架构的集成被认为能够丰富文本的语义表示，从而提高NLP任务的性能。然而，很少有调查探讨这些看似不兼容的架构的和解。为了解决这个问题，我们提出了一种混合架构的基础上，一种新的分层多粒度的注意力机制，命名为多粒度的基于注意力的混合神经网络（MahNN）。注意力机制是对输入序列的不同部分分配不同的权重，以提高神经模型的计算效率和性能。在MahNN中，引入了两种类型的注意：句法注意和语义注意。句法注意力计算较低符号层次的句法元素（如单词或句子）的重要性，语义注意力计算较高层潜在语义对应的嵌入空间维度的重要性。我们采用文本分类作为例证的方式来说明MahNN理解文本的能力。

2020-08-12cs.AIcs.CL

Transformers是多状态RNNs

Transformers are Multi-State RNNs

The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；FAIR, AI at Meta（Meta AI FAIR部门）

本研究证明仅解码器transformers可视为无界多状态RNNs，提出无需训练的TOVA压缩策略压缩键值缓存，实验显示其性能接近完整模型，缓存仅需原大小1/8时吞吐量提升4.8倍，兼具理论与实用价值。

2024-06-18cs.CL

自然语言处理的进展：探索基于Transformer的架构用于文本理解

Advancements in Natural Language Processing: Exploring Transformer-Based Architectures for Text Understanding

OceanAI（海洋人工智能公司）

本文探讨Transformer架构（如BERT和GPT）在文本理解中的进展，通过统计分析和2024年研究，展示其在GLUE和SQuAD上F1超90%的领先性能，并指出计算成本挑战及未来优化方向。

2025-03-26cs.AIcs.CL

使用子字RNN模拟词嵌入

Mimicking Word Embeddings using Subword RNNs

词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。

2017-07-21cs.CL

理解循环神经网络的隐藏记忆

Understanding Hidden Memories of Recurrent Neural Networks

Hong Kong University of Science and Technology（香港科技大学）

循环神经网络（RNN）已成功应用于各种自然语言处理（NLP）任务，并取得了比传统方法更好的结果。然而，缺乏对其有效性背后的机制的理解限制了其架构的进一步改进。在本文中，我们提出了一种可视化分析方法，用于理解和比较NLP任务的RNN模型。我们提出了一种技术来解释功能的个人隐藏的状态单元的基础上，他们的预期响应输入文本。然后，我们根据预期的响应对隐藏状态单元和单词进行联合聚类，并将联合聚类结果可视化为内存芯片和单词云，以提供关于RNN隐藏状态的更多结构化知识。我们还提出了一个基于聚合信息的基于字形的序列可视化，以分析RNN隐藏状态的行为。我们的方法的可用性和有效性证明，通过案例研究和领域专家的评论。

2017-10-30cs.AIcs.CL

神经心智理论？大型语言模型社会智能的局限性

Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs

Allen Institute for AI（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）

本研究从实证和理论角度考察大型语言模型的社会智能与心智理论，发现GPT-3、ChatGPT及GPT-4在SocialIQa和ToMi任务上表现远低于人类，主张以人为中心的NLP方法比单纯扩大规模更有效。

2023-04-03cs.AIcs.CL

基于循环神经网络的提及检测鲁棒性

Toward Mention Detection Robustness with Recurrent Neural Networks

New York University（纽约大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）

自然语言处理（NLP）的一个关键挑战是在应用程序域和语言之间产生良好的性能。在这项工作中，我们研究的提及检测系统的鲁棒性，在信息抽取的基本任务之一，通过循环神经网络（RNN）。与传统方法相比，RNN的优势在于它们能够捕获大范围的上下文，并隐式地将在大型语料库上训练的词嵌入调整为特定于任务的词表示，但仍然保留了原始的语义概括，以便在跨领域中有所帮助。我们对RNN架构的系统评估表明，RNN不仅在一般环境中优于最好的报告系统（相对误差降低高达9%），而且在英语跨域环境中也达到了最先进的性能。对于其他语言，RNN在荷兰语的命名实体识别的类似任务上明显优于传统方法（相对错误减少高达22%）。

2016-02-24cs.CL

在实践中驾驭 LLM 的力量：关于 ChatGPT 及其他模型的综述

Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

Amazon（亚马逊）；Texas A&M University（得克萨斯农工大学）；Rice University（莱斯大学）

该综述从模型、数据与下游任务出发，系统梳理 LLM 的适用和不适用场景、偏差及部署因素，并提供实践资源。

2023-04-27cs.AIcs.CLcs.LG

SparkMe: 适应性半结构化访谈用于定性洞察发现

SparkMe: Adaptive Semi-Structured Interviewing for Qualitative Insight Discovery

Stanford University（斯坦福大学）

SparkMe通过多智能体LLM实现适应性半结构化访谈，提升访谈效用并挖掘更丰富的职业特定洞察。

2026-11-03cs.AIcs.CYcs.HC

研究双向循环神经网络模型捕获上下文特征的效果

Investigating how well contextual features are captured by bi-directional recurrent neural network models

Adobe Research, Big Data Experience Lab（Adobe 研究院大数据体验实验室）；National Center for Text Mining, The University of Manchester（曼彻斯特大学国家文本挖掘中心）；IIT Guwahati（印度理工学院古瓦哈提分校）

自然语言处理（NLP）任务的学习算法传统上依赖于手动定义的相关上下文特征。另一方面，神经网络模型，使用一个唯一的分布表示的话已成功地应用于几个NLP任务。这样的模型自动学习特征，避免了显式的特征工程。在几个领域中，神经模型成为一种自然的选择，特别是在已知数据的有限特征时。然而，这种灵活性是以可解释性为代价的。在本文中，我们定义了三种不同的方法来研究双向递归神经网络（RNN）捕获上下文特征的能力。特别是，我们分析了RNN的序列标记任务。我们对一般和生物医学领域的数据集进行了全面的分析。我们的实验集中在重要的上下文单词的功能，它可以很容易地扩展到分析各种其他功能类型。我们还调查了上下文词的位置效应，并展示了如何开发的方法可以用于错误分析。

2017-11-29cs.CL

Leap-LSTM：增强文本分类的长短期记忆

Leap-LSTM: Enhancing Long Short-Term Memory for Text Categorization

Peking University（北京大学）

递归神经网络（RNN）广泛应用于自然语言处理（NLP）领域，从文本分类到问答和机器翻译。然而，RNN通常从头到尾阅读整个文本，有时反之亦然，这使得处理长文本的效率低下。当阅读一个分类任务（如主题分类）的长文档时，大量的单词是不相关的，可以跳过。为此，我们提出了Leap-LSTM，这是一种LSTM增强模型，它在阅读文本时动态地在单词之间跳跃。在每一步中，我们利用几个特征编码器从前面的文本，下面的文本和当前单词中提取信息，然后确定是否跳过当前单词。我们在几个文本分类任务上评估了Leap-LSTM：情感分析，新闻分类，本体分类和主题分类，使用五个基准数据集。实验结果表明，我们的模型比标准LSTM读取速度更快，预测效果更好。与以前的模型，也可以跳过的话，我们的模型实现了更好的性能和效率之间的权衡。

2019-05-28cs.CL

深层智能体突现通信中的语序偏差

Word-order biases in deep-agent emergent communication

Facebook A.I. Research（Facebook人工智能研究院）；ENS - EHESS - PSL Research University - CNRS - INRIA（巴黎高等师范学院-社会科学高等研究院-巴黎文理研究大学-法国国家科学研究中心-法国国家信息与自动化研究所）；ICREA（加泰罗尼亚研究与高等教育学院）

序列处理神经网络在许多NLP任务上取得了显著进展。因此，人们越来越有兴趣了解它们在多大程度上像人类一样处理语言。我们的目标是揭示这些模型在“自然”词序约束方面显示的偏见。我们训练模型在一个简单的网格世界中交流路径，使用反映或违反各种自然语言趋势的微型语言，例如避免冗余或最小化长距离依赖的趋势。我们研究了微型语言的受控特征如何影响个体学习及其在多个网络世代中的稳定性。结果好坏参半。一方面，神经网络表现出避免长距离依赖的强烈倾向。另一方面，对于在自然语言中被广泛证实的信息的高效、非冗余编码，没有明确的偏好。因此，我们建议将“努力”的概念引入神经网络，作为一种可能的方法，使它们的语言行为更像人类。

2019-06-14cs.AIcs.CLcs.LG