A Combined CNN and LSTM Model for Arabic Sentiment Analysis
Coventry University（考文垂大学）
深度神经网络在处理来自广泛应用领域的具有挑战性的大型数据集时表现出良好的数据建模能力。卷积神经网络（CNN）在选择好的特征方面具有优势，而长短期记忆（LSTM）网络已被证明具有良好的学习序列数据的能力。据报道，这两种方法都在图像处理、话音识别、语言翻译和其他自然语言处理（NLP）任务等领域提供了改进的结果。Twitter短文本信息的情感分类是一项具有挑战性的任务，而阿拉伯语情感分类任务的复杂性增加，因为阿拉伯语是一种形态丰富的语言。此外，阿拉伯语准确的预处理工具的可用性是目前的另一个限制，以及该领域的研究有限。在本文中，我们研究了集成CNN和LSTM的好处，并报告了在不同数据集上提高阿拉伯语情感分析准确性的方法。此外，我们试图考虑形态的多样性，特定的阿拉伯语单词使用不同的情感分类水平。
2018-07-22 cs.CL
Fusing Sentence Embeddings Into LSTM-based Autoregressive Language Models
Universität des Saarlandes（萨尔大学）
尽管掩蔽语言模型具有很高的性能，并被NLP从业者广泛采用，但它们不能容易地用于自回归语言建模（下一个单词预测和序列概率估计）。我们提出了一个基于LSTM的自回归语言模型，它使用前缀嵌入（从一个预先训练的掩蔽语言模型）通过融合（例如级联），以获得更丰富的上下文表示语言建模。我们发现，融合有助于可靠地降低困惑（16.74 $\rightarrow$ 15.80），这甚至是保存后，从一个不同的域比训练数据的数据集转移。我们还通过将其下一个单词的平均估计与人类阅读时间相关联来评估性能最佳的融合模型。与我们的预期相反，尽管整体困惑度有所改善，但相关性仍然与基线模型相同。最后，虽然我们专注于在文本上预训练的语言模型作为融合的源，但我们的方法可以扩展到将表示为固定大小向量的任何信息融合到自回归语言模型中。这些包括例如为知识库检索的句子外部信息或多模态编码器的表示。
2022-08-05 cs.CL cs.LG
Transfer Learning for British Sign Language Modelling
Heriot-Watt University（赫瑞-瓦特大学）
通过使用深度机器学习方法，自动语音识别和口语对话系统取得了巨大进步。这部分是由于更强大的计算能力，但也通过大量的数据可用的共同语言，如英语。相反，对少数民族语言，包括手语的研究由于严重缺乏数据而受到阻碍。这导致了迁移学习方法的研究，即为一种语言开发的模型被重用为第二种语言模型的起点，第二种语言的资源较少。在本文中，我们研究了两个迁移学习技术微调和层替换的语言建模的英国手语。我们的研究结果表明，当使用标准堆叠LSTM模型的迁移学习时，困惑度有所改善，最初使用来自Penn Treebank语料库的标准英语大型语料库进行训练
2020-06-03 cs.CL
Turing at SemEval-2017 Task 8: Sequential Approach to Rumour Stance Classification with Branch-LSTM
University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
本文描述了图灵团队提交给SemEval 2017 RumourEval的报告：确定谣言的真实性和对谣言的支持（SemEval 2017任务8，子任务A）。子任务A解决了谣言立场分类的挑战，这涉及到识别Twitter用户对他们正在讨论的谣言的真实性的态度。立场分类被认为是谣言核实的重要一步，因此，在这项任务中表现良好，预计将有助于揭穿虚假谣言。在这项工作中，我们将一组Twitter帖子分类为支持，否认，质疑或评论潜在的谣言。我们提出了一个基于LSTM的顺序模型，通过对推文的会话结构进行建模，在子任务A中，RumourEval测试集上的准确率达到0.784，优于所有其他系统。
2017-04-24 cs.AI cs.CL
Language Modelling for Source Code with Transformer-XL
University of Newcastle（纽卡斯尔大学）
已经发现，软件，如自然语言文本，表现出“自然性”，这可以通过统计语言模型来捕获。近年来，已经提出了神经语言模型，以通过深度学习来表示软件的自然性。在本文中，我们进行了实验评估的国家的最先进的神经语言模型的源代码，包括基于RNN的模型和基于Transformer-XL的模型。通过在大规模Python代码语料库上的实验，我们发现Transformer-XL模型在捕捉软件自然性方面优于基于RNN的模型（包括LSTM和GRU模型），并且计算成本要低得多。
2020-07-31 cs.CL cs.LG cs.SE
Syntax-Aware Aspect-Level Sentiment Classification with Proximity-Weighted Convolution Network
Beijing Institute of Technology（北京理工大学）；Zhejiang Lab（之江实验室）；University of Padua（帕多瓦大学）
人们普遍认为，长短期记忆（LSTM）网络，加上注意力机制和记忆模块，对于方面级情感分类是有用的。然而，现有的方法在很大程度上依赖于建模的语义相关性的一个方面与它的上下文单词，而在一定程度上忽略了它们的句法依赖性的句子。因此，这可能导致方面关注描述其他方面的上下文词语的不期望的结果。在本文中，我们提出了一个邻近加权卷积网络来提供特定于方面的语法感知上下文表示。特别地，探索了两种确定邻近权重的方式，即位置邻近和依赖邻近。该表示主要通过双向LSTM架构进行抽象，并通过邻近加权卷积进一步增强。在SemEval 2014基准上进行的实验证明了我们所提出的方法与一系列最先进的模型相比的有效性。
2019-09-23 cs.CL
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；ETH Zürich（苏黎世联邦理工学院）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室IDSIA/USI/SUPSI）
本文提出 Languini Kitchen 平台，通过基于等效加速器小时数的实验协议和高质量书籍数据集，比较 GPT 类前馈模型与高吞吐量 LSTM 的缩放规律，发现二者在约 5 万加速器小时处相交。
2023-09-20 cs.CL cs.LG
Explicit Word Density Estimation for Language Modelling
本文针对Softmax层限制语言模型表达能力的问题，提出基于NeuralODEs与Normalizing Flows连续类比的新型语言模型，并在部分基线模型上取得改进。
2024-06-10 cs.AI cs.CL cs.LG
Provably Confidential Language Modelling
University of California, Santa Barbara（加州大学圣巴巴拉分校）
大语言模型被证明可以记忆训练数据中的社会安全号码等隐私信息。考虑到训练语料库的庞大规模，手动或自动筛选和过滤这些隐私数据是一项挑战。在本文中，我们提出了机密编辑训练（CRT），训练语言生成模型，同时保护机密段的方法。我们借用了差分隐私（它解决了一个相关但不同的问题）的想法，并表明我们的方法能够通过随机化训练过程的一部分来防止意外的记忆。此外，我们表明，一个近似正确的筛选政策的节录放大了保密保证。我们为LSTM和GPT语言模型实现了该方法。我们的实验结果表明，CRT训练的模型获得几乎相同的困惑，同时保持强机密性。
2022-06-23 cs.CL cs.CR cs.LG
Long Distance Relationships without Time Travel: Boosting the Performance of a Sparse Predictive Autoencoder in Sequence Modeling
UC Berkeley（加州大学伯克利分校）；Numenta（Numenta公司）；Incubator 491（491孵化器）
在语言建模等序列学习任务中，递归神经网络必须学习按时间分隔的输入特征之间的关系。LSTM和Transformer等最先进的模型是通过将损失反向传播到存储器中保存的先前隐藏状态和输入来训练的。这允许梯度从现在流到过去，并有效地学习完美的事后诸葛亮，但在显着的内存成本。在本文中，我们表明，它是可能的训练高性能的经常性网络使用的信息是本地的时间，从而实现显着减少内存占用。我们描述了一个预测自动编码器称为bRSM具有经常性的连接，稀疏激活，并提高细胞利用率的提升规则。该架构表现出接近最佳性能的非确定性（随机）部分可观察序列学习任务组成的高马尔可夫阶序列的MNIST数字。我们发现，这个模型比LSTM更快、更完整地学习这些序列，并提供了几种可能的解释，为什么LSTM架构可能会在这个任务中与部分可观察的序列结构作斗争。我们还将我们的模型应用于Penn Treebank（PTB）数据集上的下一个单词预测任务。我们发现，一个“扁平化”的RSM网络，当与现代语义词嵌入和增加boosting配对时，实现了103.5 PPL（比最好的N-gram模型提高了20分），击败了用BPTT训练的普通RNN，并接近早期LSTM实现的分数。这项工作提供了令人鼓舞的证据，证明使用记忆密集度较低的生物学合理的训练制度可能会在具有挑战性的任务（如语言建模）上取得强有力的结果。
2019-12-02 cs.CL cs.LG cs.NE
The Zero Resource Speech Challenge 2021: Spoken language modelling
University of Toronto（多伦多大学）；Cognitive Machine Learning (ENS--CNRS--EHESS--INRIA--PSL Research University)（认知机器学习实验室（巴黎高等师范学院--法国国家科学研究中心--社会科学高等研究院--法国国家信息与自动化研究所--巴黎文理研究大学））；Facebook AI Research（脸书人工智能研究院）
我们提出了零资源语音挑战2021，要求参与者直接从音频中学习语言模型，没有任何文本或标签。该挑战基于Libri-light数据集，该数据集提供了来自英语有声读物的高达6万小时的音频，而没有任何相关的文本。我们提供了一个流水线基线系统，该系统由基于对比预测编码（CPC）的编码器、量化器（$k$ -means）和标准语言模型（BERT或LSTM）组成。该指标评估学习表示在声学（ABX歧视），词汇（现货的话），句法（可接受性判断）和语义水平（相似性判断）。我们提出了一个概述的八个提交的系统从四个组，并讨论了主要结果。
2021-08-09 cs.AI cs.CL
Latent Tree Learning with Ordered Neurons: What Parses Does It Produce?
New York University（纽约大学）；Dept. of Computer Science（计算机科学系）
最近的潜在树学习模型可以学习选区解析，而无需暴露于人类注释的树结构。一个这样的模型是ON-LSTM（Shen等人，2019年），它在语言建模方面进行了训练，在无监督解析方面具有接近最先进的性能。为了更好地理解模型的性能和一致性，以及它生成的解析与黄金标准PTB解析的不同之处，我们用不同的重启复制模型并检查它们的解析。我们发现（1）该模型在不同的重新启动过程中具有合理一致的句法分析行为;（2）该模型难以处理复杂名词短语的内部结构;（3）该模型有高估动词前分裂点高度的倾向。我们推测，这两个问题都可以通过采用不同的训练任务而不是单向语言建模来解决。
2020-10-10 cs.CL
On the State of the Art of Evaluation in Neural Language Models
DeepMind；University of Oxford（牛津大学）
循环神经网络架构的持续创新为语言建模基准提供了稳定的最先进的结果。然而，这些已经使用不同的代码库和有限的计算资源进行了评估，这代表了实验变异的不受控制的来源。我们重新评估了几种流行的架构和正则化方法，并进行了大规模的自动黑盒超参数调整，并得出了令人惊讶的结论，即标准LSTM架构在适当正则化时，优于最近的模型。我们在Penn Treebank和Wikitext-2语料库上建立了一个新的艺术状态，以及Hutter Prize数据集上的强大基线。
2017-11-20 cs.CL
Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units
Carnegie Mellon University（卡内基梅隆大学）
文本数据的语言模型（LM）由于其在语言生成和其他下游任务中的有用性而被广泛研究。然而，纯粹在语音领域的语言建模仍然是一个相对未开发的主题，传统的语音LM通常依赖于辅助文本LM来学习语言的分布方面。对于英语语言，这些LM将单词视为原子单位，这对语音领域的语言建模提出了固有的挑战。在本文中，我们提出了一种新的LSTM为基础的生成语音LM的灵感来自CBOW模型，并建立在语言单位，包括音节和音素。这在数据集中的话语之间提供了更好的声学一致性，而不是单个melspectrogram帧或整个单词。由于数据集有限，数量级小于当代生成模型所需的数量级，我们的模型非常接近于咿呀学语。我们展示了辅助文本LM，多任务学习目标和辅助发音功能的训练效果。通过我们的实验，我们还强调了一些众所周知的，但在训练生成语音LM方面缺乏记录的挑战，包括训练这些模型的监督学习目标（如均方误差（MSE））与真实目标（即语音质量）之间的不匹配。我们的实验提供了一个早期的迹象，虽然验证损失和梅尔倒谱系数失真（MCD）与生成的语音质量没有很强的相关性，但传统的文本语言建模指标，如困惑和下一个令牌预测准确性可能是。
2021-10-31 cs.CL cs.LG cs.SD
Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling
深度神经网络已经成为自然语言处理（NLP）中的主导方法。然而，近年来，很明显，系统性方面存在缺陷，限制了NLP中深度学习的性能和数据效率。这些缺点可以在低级人工任务中清楚地显示出来，主要是在合成数据上。抽象模式是神经网络在对未知数据进行概括方面的最著名的难题。它们是由项目之间的关系定义的，比如相等，而不是它们的值。有人认为，这些低级问题表明神经网络无法系统地学习。在这项研究中，我们提出了嵌入式基于关系的模式（ERBP）作为一种新的方式来创建一个关系的归纳偏见，鼓励学习平等和基于距离的关系抽象模式。ERBP基于基于关系模式（RBP），但被建模为网络权重的贝叶斯先验，并在其他标准网络学习中作为正则化项实现。ERBP易于集成到标准神经网络中，并且不影响其学习能力。在我们的实验中，ERBP先验导致几乎完美的泛化时，从合成的无噪声序列学习抽象模式。ERBP还使用RNN、GRU和LSTM网络改进了单词和字符级别的自然语言模型以及旋律中的音高预测。我们还发现，在更复杂的任务学习图编辑距离和组合句子蕴涵的改进。ERBP始终优于RBP和标准网络，表明它能够实现抽象模式学习，这有助于自然语言任务的性能。
2021-03-10 cs.AI cs.CL cs.LG
Analysing Dropout and Compounding Errors in Neural Language Models
Liverpool University（利物浦大学）
本文对语言建模中的各种辍学技术进行了实证分析，如Bernoulli辍学、Gaussian辍学、Curriculum辍学、Variational辍学和Concrete辍学。此外，我们提出了一个扩展的变辍学具体辍学和课程辍学与变化的时间表。我们发现这些扩展执行良好的标准辍学的方法相比，特别是变的课程辍学与线性时间表。当在解码器层上应用dropout时，性能提高最大。最后，我们分析了大多数错误在测试时发生的位置，作为分析后的步骤，以确定众所周知的复合错误问题是否明显，以及所提出的方法如何缓解每个数据集的这个问题。我们报告了两个隐藏层LSTM，GRU和Highway网络的结果，每个模型的嵌入丢失，门控隐藏层和输出投影层的丢失。我们报告了Penn-TreeBank和WikiText-2词级语言建模数据集的结果，前者通过预处理减少了长尾分布，并且保留了训练和测试集中的稀有单词。
2018-11-02 cs.CL cs.LG cs.NE
textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了概率主题建模的两个挑战，以便更好地估计给定上下文中单词的概率，即，P（单词|上下文）：（1）语境中无语言结构：概率主题模型通过将给定的语境概括为“词袋”而忽略词序，因此语境中的词的语义丢失。LSTM-LM通过考虑局部搭配模式中的词序来学习每个单词的向量空间表示，并对语言的复杂特征（例如，语法和语义），而TM同时从整个文档中学习潜在表示并发现底层主题结构。我们通过结合TM（例如，DocNADE）和统一概率框架中的LM，命名为ctx-DocNADE。(2)有限的上下文和/或较小的文档训练语料库：在具有少量单词出现的设置中（即，缺乏上下文）或在少量文档的语料库中数据稀疏，TM的应用是具有挑战性的。我们通过语言建模方法将外部知识纳入神经自回归主题模型来应对这一挑战：我们使用词嵌入作为LSTM-LM的输入，旨在改善较小和/或短文本语料库上的词主题映射。建议的DocNADE扩展名为ctx-DocNADEe。我们提出了新的神经自回归主题模型变体，加上神经LM和嵌入先验，在泛化（困惑），可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成TM，超过来自不同领域的6个长文本和8个短文本数据集。
2019-02-23 cs.AI cs.CL cs.IR
