Sentiment Analysis at SEPLN (TASS)-2019: Sentiment Analysis at Tweet level using Deep Learning
Jadavpur University（贾达布尔大学）
本文描述了提交给“SEPLN（TASS）-2019”共享任务的情感分析的系统。该任务包括对西班牙语推文进行情感分析，其中推文使用西班牙、秘鲁、哥斯达黎加、乌拉圭和墨西哥的不同方言。推文很短（最多240个字符），语言是非正式的，即，它包含拼写错误、表情符号、拟声词等。情感分析包括将推文分类为4类，即，积极、消极、中立和无。为了准备所提出的系统，我们使用LSTM等深度学习网络。
2019-08-01 cs.CL
CovidMis20: COVID-19 Misinformation Detection System on Twitter Tweets using Deep Learning Models
Saginaw Valley State University（萨吉诺谷州立大学）；The Hashemite University（哈希姆大学）；Western Michigan University（西密歇根大学）；University of Nebraska at Kearney（内布拉斯加大学卡尼尔分校）
在线新闻和信息源是了解当前问题的方便和可访问的方式。例如，全球有3亿多人在推特上发帖，这为传播误导性信息提供了可能性。由于假新闻而犯下暴力犯罪的案件很多。这项研究提出了CovidMis 20数据集（COVID-19 Misinformation 2020数据集），其中包括从2020年2月至7月收集的1，375，592条推文。CovidMis 20可自动更新以获取最新新闻，并可在https://github.com/everythingguy/CovidMis20上公开获取。这项研究使用Bi-LSTM深度学习和集成CNN+Bi-GRU进行假新闻检测。结果表明，在测试准确度分别为92.23%和90.56%的情况下，集成CNN+Bi-GRU模型始终提供比Bi-LSTM模型更高的准确度。
2022-09-13 cs.CL cs.HC cs.LG
Conditioning LSTM Decoder and Bi-directional Attention Based Question Answering System
Uber Technologies, Inc（优步科技公司）；Stanford University（斯坦福大学）
近年来，神经网络在问答中的应用越来越广泛。在本文中，我实现了一个带有双向注意流层的模型，连接了一个多层LSTM编码器，连接了一个起始索引解码器和一个调节结束索引解码器。我引入了一个新的结束索引解码器层，条件是开始索引输出。实验结果表明，该方法使模型性能提高了15.16%。在预测方面，提出了一种新的智能跨度方程，在开始索引和结束索引中同时奖励短的答案长度和高的概率，进一步提高了预测精度。最好的单一模型在测试集上的F1得分为73.97%，EM得分为64.95%。
2019-05-02 cs.AI cs.CL cs.LG
NTUA-SLP at SemEval-2018 Task 1: Predicting Affective Content in Tweets with Deep Attentive RNNs and Transfer Learning
National Technical University of Athens（雅典国家技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；University of Athens（雅典大学）；Behavioral Signal Technologies（行为信号技术公司）
在本文中，我们介绍了提交给SemEval-2018 Task~1竞赛的深度学习模型：“Affect in Tweets”。我们参与了英语推文的所有子任务。我们提出了一种配备多层自注意力机制的Bi-LSTM架构。注意力机制提高了模型的性能，并允许我们识别推文中的突出词，以及深入了解模型，使它们更易于解释。我们的模型利用了一组word 2 vec词嵌入，这些词嵌入是在5.5亿条Twitter消息的大集合上训练的，并通过一组词的情感特征进行了增强。由于特定于任务的训练数据量有限，我们选择了一种迁移学习方法，在Semeval 2017的数据集Task 4A上预训练Bi-LSTM。该方法在子任务E“多标签情绪分类”中排名第一，在子任务A“情绪强度回归”中排名第二，并在其他子任务中取得了有竞争力的结果。
2018-04-18 cs.CL
Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder
University of Sao Paulo - USP（圣保罗大学）；Institute of Mathematics and Statistics - IME（数学与统计学院）
语义解析可以定义为将自然语言句子映射成其含义的机器可解释的形式化表示的过程。使用LSTM编码器-解码器神经网络的语义解析已经成为很有前途的方法。然而，自然语言的人工自动翻译并不为生成的句子提供语法性保证，这样的保证对于实际情况是特别重要的，在实际情况中，如果句子不符合语法，则数据库查询可能导致要害差错。在这项工作中，我们提出了一个神经架构称为编码器CFG解码器，其输出符合给定的上下文无关文法。结果表明，任何实现这种架构显示其正确性，并提供基准精度水平优于文献。
2018-07-18 cs.CL
Deep Health Care Text Classification
Center for Computational Engineering and Networking（计算工程与网络中心）；Amrita School of Engineering Coimbatore（阿姆里塔工程学院哥印拜陀校区）；Amrita Vishwa Vidyapeetham（阿姆里塔大学）；Amrita University（阿姆里塔大学）
与健康相关的社交媒体挖掘是早期识别各种拮抗性医学状况的有价值的工具。现有的方法大多是基于机器学习和基于知识的学习。本工作说明介绍了基于递归神经网络（RNN）和长短期记忆（LSTM）的嵌入，用于社交媒体挖掘中的自动健康文本分类。对于每个任务，构建两个系统，并在推文级别对推文进行分类。RNN和LSTM用于特征提取，最后一层的非线性激活函数有助于区分不同类别的推文。这些实验是在AMIA 2017的第二届社交媒体挖掘健康应用共享任务中进行的。实验结果是相当可观的，但所提出的方法是适当的健康文本分类。这主要是因为它不依赖于任何特征工程机制。
2017-10-23 cs.AI cs.CL
IIIDYT at SemEval-2018 Task 3: Irony detection in English tweets
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
在本文中，我们介绍了我们的系统，用于英语推文中的反讽检测任务，这是SemEval 2018的一部分。我们提出了表示学习方法，该方法依赖于多层双向LSTM，而不使用提供额外语义信息的外部特征。虽然我们的模型能够在验证集中优于基线，但我们的结果显示在测试集上的泛化能力有限。考虑到数据集的大小有限，我们认为使用更多的预训练方案将大大改善所获得的结果。
2018-04-22 cs.CL
Deep Learning and Word Embeddings for Tweet Classification for Crisis Response
University of York（约克大学）；University of Hail（哈伊勒大学）
用于危机响应的传统推文分类模型专注于卷积层和特定领域的词嵌入。在本文中，我们研究了不同的神经网络与通用和特定领域的词嵌入的应用，以调查他们的能力，以提高性能的推文分类模型。我们在CrisisNLP数据集上评估了四个推文分类模型，并获得了可比较的结果，这表明可以使用GloVe等通用词嵌入来代替特定领域的词嵌入，特别是使用Bi-LSTM，结果报告了62.04%F1分数的最高性能。
2019-03-26 cs.CL cs.LG
Multi-Lingual Cyber Threat Detection in Tweets/X Using ML, DL, and LLM: A Comparative Analysis
School of Computing Sciences and Computer Engineering（计算科学与计算机工程学院）；University of Southern Mississippi（密西西比大学）
本研究比较了ML、DL和LLM在多语言推文网络威胁检测中的效果，发现双LSTM架构在多语言场景中表现最佳。
2025-02-04 cs.AI cs.CL
An Experimental Study of LSTM Encoder-Decoder Model for Text Simplification
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Hefei University of Technology（合肥工业大学）
文本简化（TS）旨在降低文本的词汇和结构复杂性，同时仍然保留语义。当前的自动TS技术局限于词汇级应用或手动定义大量规则。由于深度神经网络是强大的模型，在许多困难的任务上都取得了优异的性能，因此在本文中，我们建议将长短期记忆（LSTM）编码器-解码器模型用于句子级TS，它对单词序列的假设最少。我们进行了初步实验，发现该模型能够从序列对中学习到翻转、排序和替换等操作规则，这表明该模型可能会发现并应用TS的修改句子结构、替换单词和删除单词等规则。
2016-09-13 cs.CL cs.LG
ThangDLU at #SMM4H 2024: Encoder-decoder models for classifying text data on social disorders in children and adolescents
Dalat University（大叻大学）；University of Nebraska at Omaha（内布拉斯加大学奥马哈分校）；Instituto Politécnico Nacional (IPN)（墨西哥国立理工学院）
本文提出使用 BART-base 和 T5-small 等编码器-解码器模型结合数据增强，在 #SMM4H 2024 任务 3 和任务 5 中分别取得 0.627 和 0.841 的最佳 F1 分数。
2024-04-30 cs.CL
Improved Variational Autoencoders for Text Modeling using Dilated Convolutions
Carnegie Mellon University（卡内基梅隆大学）
最近关于文本的生成建模的工作已经发现，结合LSTM解码器的变分自动编码器（VAE）比更简单的LSTM语言模型表现更差（Bowman等人，2015年）。到目前为止，这个负面结果还不太清楚，但这归因于LSTM解码器忽略来自编码器的条件信息的倾向。在本文中，我们实验了一种新型的解码器VAE：一个扩大的CNN。通过改变解码器的膨胀架构，我们控制有效的上下文从以前生成的单词。在实验中，我们发现，有一个权衡的上下文容量的解码器和编码信息的使用量。我们证明，使用正确的解码器，VAE可以超越LSTM语言模型。我们在两个数据集上展示了困惑增益，代表了使用VAE进行文本生成建模的第一个积极的实验结果。此外，我们对VAE（使用我们的新解码架构）用于半监督和无监督标记任务进行了深入研究，证明了在几个强基线上的收益。
2017-06-18 cs.CL cs.LG cs.NE
"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology（内塔吉·苏巴斯理工大学）
随着世界各地的人们越来越多地使用社交媒体平台，许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题，使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型，包括CNN、LSTM、双向LSTM（有注意力和无注意力）。我们的深度学习模型能够超越所有最先进的性能，其中基于注意力的双向LSTM提供了最佳性能，准确率为78.49%。
2020-10-15 cs.CL
BAKSA at SemEval-2020 Task 9: Bolstering CNN with Self-Attention for Sentiment Analysis of Code Mixed Text
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
代码混合文本的情感分析在意见挖掘中有着广泛的应用，从标记用户评论到识别子人群的社会或政治情感。在本文中，我们提出了一种卷积神经网络（CNN）和基于自注意力的LSTM的集成架构，用于代码混合推文的情感分析。虽然CNN组件有助于对正面和负面推文进行分类，但基于自我注意力的LSTM有助于对中性推文进行分类，因为它能够在多个情感承载单元中识别正确的情感。我们在印地语-英语（Hinglish）和西班牙语-英语（Spanglish）数据集上分别获得了0.707（排名第5）和0.725（排名第13）的F1分数。Hinglish和Spanglish任务的提交分别以用户名ayushk和harsh_6进行。
2020-07-21 cs.CL cs.LG
Inference of Media Bias and Content Quality Using Natural-Language Processing
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Santa Fe Institute（圣塔菲研究所）
媒体的偏见会对一个群体的意见和情绪的形成和发展产生重大影响。因此，研究党派媒体的产生和发展与政治极化具有重要意义。然而，定量推断媒体的意识形态立场是一项挑战。在本文中，我们提出了一个定量的框架来推断政治偏见和内容质量的媒体从文本，我们说明了这个框架与现实世界的数据与实证实验。我们将双向长短期记忆（LSTM）神经网络应用于超过100万条推文的数据集，为每条推文生成二维意识形态偏见和内容质量测量。然后，我们通过整合媒体渠道推文的（偏差，质量）测量值，推断出媒体渠道的（偏差，质量）坐标的“媒体偏差图表”。我们还应用了各种基线机器学习方法，如朴素贝叶斯方法和支持向量机（SVM），来推断每条推文的偏差和质量值。所有这些基线方法都基于词袋方法。我们发现，LSTM网络的方法具有最好的性能的检查方法。我们的研究结果说明了在文本分析中利用词序到机器学习方法中的重要性。
2022-12-01 cs.CL cs.LG cs.SI
L3CubeMahaSent: A Marathi Tweet-based Sentiment Analysis Dataset
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
情感分析是自然语言处理中最基本的任务之一。流行语言如英语、阿拉伯语、俄语、普通话，以及印度语如印地语、孟加拉语、泰米尔语在这方面已经做了大量的工作。然而，由于缺乏适当的数据集，印度第三大最受欢迎的语言马拉地语仍然落后。在本文中，我们提出了第一个主要的公开可用的马拉地语情感分析数据集-L3立方体MahaSent。它是使用从各种马哈拉施特拉邦人物的Twitter帐户中提取的推文策划的。我们的数据集由大约16，000条不同的推文组成，分为三大类，即积极，消极和中性。我们还提出了我们注释推文的指导方针。最后，我们使用CNN、LSTM、ULMFiT和基于BERT的深度学习模型来展示数据集的统计数据和基线分类结果。
2021-04-22 cs.CL cs.LG
JUNLP@Dravidian-CodeMix-FIRE2020: Sentiment Classification of Code-Mixed Tweets using Bi-Directional RNN and Language Tags
Jadavpur University（贾达布尔大学）
情感分析在过去二十年中一直是一个活跃的研究领域，最近，随着社交媒体的出现，对社交媒体文本的情感分析的需求越来越大。由于社交媒体文本不是一种语言，并且在本质上主要是代码混合的，因此传统的情感分类模型无法产生可接受的结果。本文试图解决这一研究问题，并使用双向LSTM与语言标记，以促进情感标记的代码混合泰米尔语文本已从社交媒体中提取。在测试数据上进行评估时，所提出的算法的精确度、召回率和F1分数分别为0.59、0.66和0.58。
2020-10-20 cs.CL
vieCap4H-VLSP 2021: Vietnamese Image Captioning for Healthcare Domain using Swin Transformer and Attention-based LSTM
Sejong University（世宗大学）；Ton Duc Thang University（孙德胜大学）；ASICLAND；Northeastern University（东北大学）；Deakin University（迪肯大学）
本研究介绍了我们在2021年越南语言和语音处理（VLSP）挑战赛的文本处理任务中为医疗保健领域自动越南语图像描述的方法，如图1所示。近年来，图像描述通常采用基于卷积神经网络的架构作为编码器，并采用长短期记忆（LSTM）作为解码器来生成句子。这些模型在不同的数据集中表现得非常好。我们提出的模型也有一个编码器和一个解码器，但我们在编码器中使用Swin Transformer，在解码器中使用LSTM和注意力模块。本研究介绍了我们的训练实验和技术在比赛中使用。我们的模型在vietCap4H数据集上获得了0.293的BLEU4分数，并且该分数在私人排行榜上排名第3位$^{rd}$。我们的代码可以在\url{https://git.io/JDdJm}上找到。
2022-09-03 cs.AI cs.CL cs.CV
Interpretation of Semantic Tweet Representations
IIIT Hyderabad（海得拉巴国际信息技术学院）；Microsoft（微软）
微博平台分析的研究正在经历一个新的高潮，大量的工作将表示学习模型应用于情感分析、语义文本相似度计算、主题标签预测等应用。尽管表示学习模型的性能优于传统的基线，关于在这些表示中编码的推特的基本属性，或者为什么特定的表示对于某些任务更好地工作，知之甚少。我们在这里提出的工作构成了打开tweets向量嵌入黑盒的第一步。传统的高层次应用程序的特征工程方法已经利用了各种基本属性的推文。我们认为，推文表示是有效的应用程序，因为它精心编码的推文的应用程序特定的基本属性。为了理解编码在推文表示中的基本属性，我们评估表示的准确性，它们可以对每个属性进行建模，例如推文长度，特定单词的存在，主题标签，提及，大写，我们对九种有监督和四种无监督的tweet表示进行了系统的广泛研究，针对最流行的八种文本和五种社会基本属性，结果表明双向LSTM（BLSTM和Skip-Thought Vectors（STV）分别对推文的文本和社交属性进行了最佳编码。FastText是低资源设置的最佳模型，在嵌入大小减少的情况下提供非常小的降级。最后，我们通过将基本属性预测任务获得的模型性能与高级下游应用程序相关联，得出了有趣的见解。
2017-06-21 cs.CL
Attention-Based LSTM for Psychological Stress Detection from Spoken Language Using Distant Supervision
Hong Kong University of Science and Technology（香港科技大学）
我们提出了一个具有注意力机制的长短期记忆（LSTM）模型来对自我访谈中的心理压力进行分类。我们通过根据主题标签内容自动标记推文来应用远程监督，这补充并扩展了我们语料库的大小。该附加数据用于初始化模型参数，并使用访谈数据对其进行微调。这提高了模型的鲁棒性，特别是通过扩大词汇量。在准确率（74.1%）和f分数（74.3%）方面，具有注意力的双向LSTM模型是最好的模型。此外，我们表明，远程监督微调提高了模型的性能1.6%的准确性和2.1%的f-得分。注意力机制帮助模型选择信息词。
2018-05-31 cs.CL
What to talk about and how? Selective Generation using LSTMs with Coarse-to-Fine Alignment
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一个端到端的，域独立的神经编码器-对准器-解码器模型，用于选择性生成，即，内容选择和表面实现的联合任务。我们的模型首先通过基于LSTM的递归神经网络对一整套超定数据库事件记录进行编码，然后利用一种新颖的粗到细对齐器来识别要谈论的突出记录的小子集，最后采用解码器来生成对齐的自由形式的描述，选择记录。我们的模型在基准WeatherGov数据集上实现了迄今为止报告的最佳选择和生成结果（生成相对提高了59%），尽管没有使用任何专门的功能或语言资源。使用改进的k-最近邻波束滤波器有助于进一步。我们还进行了一系列的消融和可视化，以阐明我们的关键模型组件的贡献。最后，我们评估了我们的模型在RoboCup数据集上的可推广性，并得到了与最先进的模型竞争或更好的结果，尽管数据严重匮乏。
2016-01-08 cs.AI cs.CL cs.LG
Encoder-decoder with Focus-mechanism for Sequence Labelling Based Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）
本文研究了基于序列标记的口语语言理解的编码器-解码器框架。我们引入双向长短期记忆-长短期记忆网络（BLSTM-LSTM）作为编码器-解码器模型，以充分利用深度学习的力量。在序列标记任务中，输入和输出序列是逐字对齐的，而注意力机制不能提供精确的对齐。为了解决这个问题，我们提出了一种新的编码器-解码器框架的焦点机制。在标准ATIS数据集上的实验表明，具有焦点机制的BLSTM-LSTM通过优于标准BLSTM和基于注意力的编码器-解码器来定义新的最新技术水平。进一步的实验也表明，该模型对语音识别错误具有更好的鲁棒性。
2017-03-13 cs.CL
Leveraging Intra-User and Inter-User Representation Learning for Automated Hate Speech Detection
University of California, Santa Barbara（加州大学圣巴巴拉分校）
仇恨语音检测是自然语言处理（NLP）中的一个关键而又具有挑战性的问题。尽管存在许多致力于开发NLP仇恨言论检测方法的研究，但准确性仍然很差。核心问题是，社交媒体帖子简短而嘈杂，大多数现有的仇恨言论检测解决方案将每个帖子作为孤立的输入实例，这可能会产生高误报率和误报率。在本文中，我们从根本上提高了自动仇恨言论检测，提出了一种新的模型，利用内部用户和用户间的表示学习强大的仇恨言论检测在Twitter上。除了目标推文，我们收集和分析用户的历史帖子，以模拟用户内推文表示。为了抑制单个推文中的噪声，我们还使用增强的用户间表示学习技术对所有其他用户发布的类似推文进行建模。实验表明，利用这两种表示可以将强双向LSTM基线模型的f分数显著提高10.1%。
2018-09-14 cs.AI cs.CL
NTUA-SLP at SemEval-2018 Task 3: Tracking Ironic Tweets using Ensembles of Word and Character Level Attentive RNNs
School of ECE, National Technical University of Athens（雅典国立技术大学电子与计算机工程学院）；Department of Informatics, Athens University of Economics and Business（雅典经济与商业大学信息学院）；Department of Informatics, University of Athens（雅典大学信息学院）；Behavioral Signal Technologies
在本文中，我们介绍了两个在SemEval-2018任务3“英语推文中的反讽检测”中竞争的深度学习系统。我们基于递归神经网络（Bi-LSTM）设计和集成了两个独立的模型，它们在单词和字符级别上运行，以捕获推文中的语义和句法信息。我们的模型增加了自我注意力机制，以识别信息量最大的单词。我们的词级模型的嵌入层是用word 2 vec词嵌入初始化的，并在5.5亿条英语推文的集合上进行了预训练。我们没有使用任何手工制作的特征，词典或外部数据集作为先验信息，我们的模型是使用约束数据的反向传播进行端到端训练的。此外，我们提供了可视化的推文与注释的显着令牌的注意力层，可以帮助解释所提出的模型的内部工作。我们在子任务A的42个团队中排名第二，在子任务B的31个团队中排名第二。然而，我们模型的任务完成后增强功能实现了最先进的结果，在两个子任务中排名第一。
2018-04-18 cs.CL
KEIS@JUST at SemEval-2020 Task 12: Identifying Multilingual Offensive Tweets Using Weighted Ensemble and Fine-Tuned BERT
Jordan University of Science and Technology（约旦科技大学）
这项研究介绍了我们的团队KEIS@JUST参与SemEval-2020任务12，该任务代表了多语言攻击性语言的共享任务。我们参与了所有子任务提供的所有语言，除了英语的子任务A。已经开发了两种主要方法，第一种是处理阿拉伯语和英语两种语言，加权集成包括Bi-GRU和CNN，然后是高斯噪声和全局池化层乘以权重以提高整体性能。第二种是对其他语言进行的，除了循环神经网络（如Bi-LSTM和Bi-GRU）之外，还从BERT进行了迁移学习，然后是全局平均池化层。词嵌入和上下文嵌入已被用作特征，此外，数据增强仅用于阿拉伯语。
2020-05-15 cs.CL cs.LG
Identifying Offensive Posts and Targeted Offense from Twitter
Bloomberg（彭博）；DTU-Delhi（德里理工大学）；NSIT-Delhi（德里内塔吉·苏巴斯理工学院）；Adobe（奥多比）；IIIT-Delhi（德里印德拉普拉斯塔信息技术学院）
在本文中，我们介绍了SemEval 2019任务6的子任务A和子任务B的方法和系统描述：识别和分类社交媒体中的攻击性语言。子任务A涉及识别给定的推文是否具有攻击性，子任务B涉及检测攻击性推文是否针对某人（团体或个人）。我们的子任务A模型基于卷积神经网络、带注意力的双向LSTM和双向LSTM +双向GRU的集成，而对于子任务B，我们依赖于从训练数据和手动观察中获得的一组算法。我们提供了使用训练模型获得的结果的详细分析。我们的团队在子任务A的103名参与者中排名第5，达到了0.807的宏观F1分数，在子任务B的75名参与者中排名第8，达到了0.695的宏观F1分数。
2019-04-19 cs.CL
RP-DNN: A Tweet level propagation context based deep neural networks for early rumor detection in Social Media
在社交媒体平台上，当信息有限、不完整和有噪声时，早期谣言检测（ERD）非常具有挑战性。大多数现有的方法在很大程度上都是在事件级检测上工作的，这需要收集与特定事件相关的帖子，并且只依赖于用户生成的内容。它们不适合在事件展开并广泛传播之前的早期阶段检测谣言来源。在本文中，我们解决的ERD在消息级别的任务。我们提出了一种新的混合神经网络架构，它结合了特定任务的基于字符的双向语言模型和堆叠的长短期记忆（LSTM）网络来表示输入源推文的文本内容和社会时间背景，用于在谣言发展的早期阶段对谣言的传播模式进行建模。我们应用多层注意力模型来共同学习多个上下文输入的注意力上下文嵌入。我们的实验采用了严格的留一交叉验证（LOO-CV）评估设置在七个公开的真实谣言事件数据集。我们的模型实现了最先进的（SoA）性能，可以在涵盖超过12个事件和2，967个谣言的大型增强数据中检测看不见的谣言。进行消融研究，以了解我们提出的模型的每个组件的相对贡献。
2020-03-02 cs.CL cs.IR cs.SI
Deep-Sentiment: Sentiment Analysis Using Ensemble of CNN and Bi-LSTM Models
New York University（纽约大学）；University of California, Riverside（加州大学河滨分校）
随着社交网络和电子商务网站的普及，情感分析在过去几年中已经成为一个比较活跃的研究领域。在高层次上，情感分析试图了解公众对特定产品或主题的看法，或者从评论或推文中了解趋势。情感分析在更好地理解客户/用户意见以及提取社会/政治趋势方面起着重要作用。情感分析已经有很多以前的工作，一些基于手工工程相关的文本特征，和其他基于不同的神经网络架构。在这项工作中，我们提出了一个基于长短期记忆（LSTM）和卷积神经网络（CNN）的集成模型，一个用于捕获数据的时间信息，另一个用于提取其局部结构。通过实验结果，我们表明，使用这种集成模型，我们可以优于两个单独的模型。与以前的作品相比，我们也能够实现非常高的准确率。
2019-04-08 cs.CL cs.IR cs.LG
Twitter Sentiment Analysis via Bi-sense Emoji Embedding and Attention-based LSTM
University of Rochester（罗切斯特大学）；Microsoft Research AI（微软研究院AI）
大规模社交媒体数据的情感分析对于弥合政治选举预测、个人和公众情绪状态监测和分析等社交媒体内容与现实世界活动之间的差距非常重要。虽然基于Twitter和Instagram等平台的文本情感分析已经得到了很好的研究，但对广泛使用的表情符号在情感分析中的作用的分析仍然很轻。在本文中，我们提出了一个新的计划，Twitter的情感分析与表情符号的额外关注。我们首先分别学习积极和消极情感推文下的双义表情符号嵌入，然后通过使用基于注意力的长短期记忆网络（LSTM）关注这些双义表情符号嵌入来训练情感分类器。我们的实验表明，双意义嵌入是有效的情感感知的表情符号的嵌入提取和性能优于最先进的模型。我们还将注意力可视化，以表明双义表情符号嵌入为注意力机制提供了更好的指导，以获得对语义和情感的更强大的理解。
2018-08-07 cs.CL cs.MM
Enhancing ASD detection accuracy: a combined approach of machine learning and deep learning models with natural language processing
Universidad de León（莱昂大学）
本研究针对传统ASD诊断的挑战，结合NLP、机器学习与深度学习模型分析社交媒体推文检测ASD，在9万条推文子集上训练测试后识别准确率达88%，证明AI可助力ASD早期诊断。
2024-03-06 cs.CL cs.LG
Bidirectional Attentional Encoder-Decoder Model and Bidirectional Beam Search for Abstractive Summarization
Central South University（中南大学）
具有RNN变体的序列生成模型，如LSTM，GRU，在抽象文档摘要方面表现出良好的性能。然而，它们仍然有一些问题限制了它们的性能，特别是在处理长序列时。其中一个问题是，据我们所知，所有当前模型都采用单向解码器，该解码器仅对过去进行推理，并且在给出预测的同时仍然限于保留未来上下文。这使得这些模型通过产生不平衡的输出而受到影响。此外，单向注意力为基础的文档摘要只能捕捉到部分方面的注意力，由于继承的挑战，在文档摘要。为此，我们提出了一个端到端可训练的双向RNN模型来解决上述问题。该模型具有双向编码器-解码器架构，其中编码器和解码器是双向LSTM。前向解码器用后向编码器的最后隐藏状态初始化，而后向解码器用前向编码器的最后隐藏状态初始化。此外，本文还提出了一种双向束搜索机制作为从双向模型中生成输出摘要的近似推理算法。这使得模型能够对过去和未来进行推理，并最终产生平衡的输出。在CNN / Daily Mail数据集上的实验结果表明，该模型的性能明显优于现有的抽象模型.
2018-09-18 cs.CL
Identifying and Categorizing Offensive Language in Social Media
University of Ottawa（渥太华大学）
攻击性语言在社交媒体上很普遍。个人经常利用计算机媒介通信的匿名性，利用这一点从事他们中的许多人在现实生活中不会考虑的行为。在线攻击性内容的自动识别是近年来越来越受到关注的重要任务。这个任务可以被建模为监督分类问题，其中系统使用包含关于某种形式的滥用或攻击性内容的存在进行注释的帖子的数据集进行训练。本研究的目的是描述为SemEval-2019任务6：OffensEval构建的分类系统。该系统将推文分类为攻击性或非攻击性（子任务A），并进一步将攻击性推文分类（子任务B \& C）。我们训练了机器学习和深度学习模型以及数据预处理和采样技术，以获得最佳结果。讨论的模型包括朴素贝叶斯，SVM，逻辑回归，随机森林和LSTM。
2021-04-10 cs.CL cs.SI
Length bias in Encoder Decoder Models and a Case for Global Conditioning
Google（谷歌）；IIT Bombay（印度理工学院孟买分校）
编码器-解码器网络在许多应用中流行于对序列进行概率建模。这些模型使用长短期记忆（LSTM）架构的功能来捕获变量之间的完全依赖关系，而不像CRF等早期模型通常假设非相邻变量之间的条件独立性。然而，在实践中，编码器-解码器模型表现出对短序列的偏置，这令人惊讶地随着波束尺寸的增加而变得更糟。在本文中，我们表明，这种现象是由于全序列的利润率和每元素的利润率之间的差异所执行的编码器-解码器模型的局部条件训练目标。这种差异对长序列的影响更大，这解释了预测短序列的偏差。对于预测序列来自闭集的情况，我们证明了全局条件模型解决了编码器-解码器模型的上述问题。从实际的角度来看，我们提出的模型还消除了在推理过程中对波束搜索的需要，这减少了在向量空间中基于点积的高效搜索。
2016-09-21 cs.AI cs.CL
Using LSTM to Translate French to Senegalese Local Languages: Wolof as a Case Study
Universite Gaston Berger (UGB)（加斯顿·伯杰大学）；University of Bergen（卑尔根大学）；Universite Virtuelle du Senegal (UVS)（塞内加尔虚拟大学）；Dailymotion（Dailymotion公司）
在本文中，我们提出了一个神经机器翻译系统的Wolof，一个低资源的刚果语。首先，我们收集了一个平行语料库的70000对齐法语沃洛夫句子。然后，我们开发了一个基于LSTM的编码器-解码器架构，并将其进一步扩展到具有注意力机制的双向LSTM。我们的模型是在大约35000个平行句子的有限数量的平行法语-沃洛夫数据上训练的。在法语-沃洛夫语翻译任务上的实验结果表明，我们的方法在极低的资源条件下产生了有希望的翻译。最好的模型能够达到47%的BLEU分数的良好性能。
2020-03-27 cs.CL cs.LG stat.ML
Neural Machine Translation with Recurrent Highway Networks
Indian Institute of Science（印度科学学院）
递归神经网络最近在语言建模任务中获得了很大的普及，特别是在神经机器翻译（NMT）中。最近的NMT模型基于编码器-解码器，其中基于深度LSTM的编码器用于将源句子投影到固定维度的向量，然后另一个深度LSTM从向量中解码目标句子。然而，在探索具有多个空间层（即在每个时间步中）的架构方面的工作很少。本文研究了简单递归公路网络（RHN）在NMT任务中的有效性。该模型在编码器和解码器中采用了递归高速公路神经网络，并对重构器模型进行了改进。我们证明了所有三种方法的有效性IWITONS英语-越南语数据集。我们看到RHN的表现与基于LSTM的模型相当，在某些情况下甚至更好。我们看到，由于高速公路连接，与基于LSTM的深度模型相比，深度RHN模型更容易训练。本文还研究了在每个时间步增加递归深度的影响。
2019-04-28 cs.CL cs.LG
On the limit of English conversational speech recognition
IBM Research AI（IBM研究院人工智能部门）
在我们之前的工作中，我们证明了一个单头注意编码器-解码器模型能够在会话语音识别中达到最先进的结果。在本文中，我们进一步改进了Switchboard 300和2000的结果。通过使用改进的优化器、说话人向量嵌入和替代语音表示，我们将LSTM系统在Switchboard-300上的识别错误相对减少了4%。使用概率比方法对解码器模型进行补偿，可以更有效地集成外部语言模型，我们报告了Hub 5 '00的SWB和CHM部分的5.9%和11.5% WER，使用非常简单的LSTM模型。我们的研究还考虑了最近提出的一致性，更先进的自我注意力为基础的语言模型。总体而言，conformer表现出与LSTM相似的性能;然而，它们的组合和解码与改进的LM在Switchboard-300上达到了新的记录，SWB和CHM上的WER分别为5.0%和10.0%。我们的研究结果也证实了在Switchboard-2000上，并报告了一个新的艺术状态，实际上达到了基准的极限。
2021-05-03 cs.CL cs.SD eess.AS
Natural Language Generation for Spoken Dialogue System using RNN Encoder-Decoder Networks
Japan Advanced Institute of Science and Technology（日本先进科学技术大学院大学）
自然语言生成（NLG）是口语对话系统中的一个重要组成部分。本文提出了一种基于递归神经网络的编码器-解码器体系结构，其中引入了一个基于LSTM的解码器来选择、聚合由注意力机制在输入元素上产生的语义元素，并产生所需的话语。所提出的生成器可以联合训练两个句子规划和表面实现产生自然语言句子。该模型在四个不同的NLG数据集上进行了广泛的评估。实验结果表明，所提出的生成器不仅在所有NLG域中始终优于以前的方法，而且还显示出从一个新的、看不见的域进行概括的能力，并从多域数据集进行学习。
2017-08-12 cs.CL
Discourse Embellishment Using a Deep Encoder-Decoder Network
Institute of Cognitive Science（认知科学研究所）；University of Osnabrück（奥斯纳布吕克大学）；Radboud University（拉德堡德大学）
我们提出了一个新的NLG任务的背景下，话语生成管道的计算讲故事系统。这一任务，文本修饰，是通过将文本作为输入，并生成语义上等同的输出，增加词汇和句法复杂性来定义的。理想情况下，这将允许计算说书人的作者实现轻量级的NLG系统，并使用独立于域的修饰模块将其输出转换为更具文学性的文本。我们使用在WikiLarge数据集上训练的LSTM编码器-解码器网络，在这项任务上展示了有希望的第一个结果。此外，我们介绍了“编译的计算机故事”，计算生成的故事语料库，可用于测试的能力，修饰算法。
2018-10-18 cs.CL cs.LG
Twitter Sentiment Analysis using Distributed Word and Sentence Representation
Manipal Institute of Technology（曼ipal理工学院）；Computer Science and Engineering Department（计算机科学与工程系）
本文利用LSTM、CNN和人工神经网络分别处理分布式词与句子表示，对Twitter推文进行情感分类，准确率达81%，并给出了构建词分布式表示的最佳方法。
2019-04-01 cs.CL cs.IR cs.LG
Amharic-Arabic Neural Machine Translation
Mangalore University（门格洛尔大学）
许多自动翻译作品已经解决了欧洲主要语言对之间，利用大规模的平行语料库，但很少有研究工作进行阿姆哈拉语-阿拉伯语对由于其并行数据的稀缺性。基于开放源代码的神经机器翻译（NMT）系统，采用基于注意力的编码器-解码器架构，开发了两种基于长短期记忆（LSTM）和门控递归单元（GRU）的NMT模型。为了进行实验，一个小的平行古兰经文本语料库的构建修改现有的单语阿拉伯语文本和其等效翻译的阿姆哈拉语文本语料库上坦齐勒。比较基于LSTM和GRU的NMT模型和Google翻译系统，发现基于LSTM的OpenNMT优于基于GRU的OpenNMT和Google翻译系统，BLEU得分分别为12%，11%和6%。
2019-12-26 cs.CL cs.LG
Romanized to Native Malayalam Script Transliteration Using an Encoder-Decoder Framework
Digital University Kerala（喀拉拉邦数字大学）
本研究构建了基于注意力Bi-LSTM的编码器-解码器反向转写模型，用430万条转写对训练，实现罗马化马拉雅拉姆语到本土文字的转换，在两类测试集上分别取得7.4%和22.7%的字符错误率。
2024-12-13 cs.CL
Contextualize, Show and Tell: A Neural Visual Storyteller
Institute for Research in Applied Mathematics and Systems (IIMAS)（应用数学与系统研究所（IIMAS））；Universidad Nacional Autónoma de México (UNAM)（墨西哥国立自治大学（UNAM））
我们提出了一个用于从图像序列生成短篇小说的神经模型，该模型扩展了Vinyals等人的图像描述模型（Vinyals等人，2015年）。该扩展依赖于编码器LSTM来从图像序列中计算每个故事的上下文向量。该上下文向量被用作多个独立解码器LSTM的第一状态，每个独立解码器LSTM通过将图像嵌入作为第一输入来生成与序列中的每个图像相对应的故事的部分。我们的模型在2018年视觉讲故事挑战赛的内部赛道上显示了与METEOR指标和人类评分的竞争结果。
2018-06-03 cs.AI cs.CL cs.CV
A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction
NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）；National University of Singapore（新加坡国立大学）
我们使用多层卷积编码器-解码器神经网络改进文本中语法、拼写和搭配错误的自动纠正。网络初始化为嵌入，嵌入使用字符N-gram信息，以更好地适应此任务。当在常见的基准测试数据集（CoNLL-2014和JFLEG）上进行评估时，我们的模型在此任务上的表现大大优于所有先前的神经方法，以及基于强统计的机器翻译系统，该系统具有在相同数据上训练的神经和特定于任务的特征。我们的分析表明，卷积神经网络在通过注意力捕获局部上下文方面优于长短期记忆（LSTM）网络等递归神经网络，从而提高了纠正语法错误的覆盖率。通过集成多个模型，并通过重新评分来整合N-gram语言模型和编辑功能，我们的新方法成为第一种在语法性和流畅性方面优于当前最先进的基于统计机器翻译的方法的神经方法。
2018-01-26 cs.CL
Neural Abstractive Text Summarization and Fake News Detection
Stanford University（斯坦福大学）
在这项工作中，我们研究抽象的文本摘要，探索不同的模型，如LSTM编码器解码器与注意，指针生成器网络，覆盖机制，和Transformers。经过广泛和仔细的超参数调整，我们比较了所提出的架构对彼此的抽象文本摘要任务。最后，作为我们工作的延伸，我们将我们的文本摘要模型作为假新闻检测任务的特征提取器，在该任务中，将对分类之前的新闻文章进行总结，并将结果与仅使用原始新闻文本的分类进行比较。关键词：LSTM，编码器-解码器，抽象文本摘要，指针生成器，覆盖机制，Transformers，假新闻检测
2019-12-12 cs.CL cs.LG stat.ML
Advances in Joint CTC-Attention based End-to-End Speech Recognition with a Deep CNN Encoder and RNN-LM
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个最先进的端到端自动语音识别（ASR）模型。我们学习听和写字符与联合连接主义时间分类（CTC）和基于注意力的编码器-解码器网络。编码器是基于VGG网络的深度卷积神经网络（CNN）。CTC网络位于编码器之上，并与基于注意力的解码器联合训练。在束搜索过程中，我们将CTC预测、基于注意力的解码器预测和单独训练的LSTM语言模型相结合。我们实现了5- 10%的错误减少相比，以前的系统自发的日语和汉语语音，我们的端到端模型击败了传统的混合ASR系统。
2017-06-08 cs.CL
A sequential guiding network with attention for image captioning
Beihang University（北京航空航天大学）；Keep Inc.（Keep公司）；North China Electric Power University（华北电力大学）
深度学习在计算机视觉（CV）和自然语言处理（NLP）方面的最新进展为我们提供了一种理解语义的新方法，通过这种方法，我们可以处理更具挑战性的任务，例如从自然图像中自动生成描述。在这一挑战中，当卷积神经网络（CNN）用作图像编码器和递归神经网络（RNN）用作解码器时，编码器-解码器框架已经实现了有希望的性能。在本文中，我们介绍了一个顺序的指导网络，指导解码器在字生成。新模型是编码器-解码器框架的扩展，具有额外的引导长短期记忆（LSTM），可以通过使用图像/描述对以端到端的方式进行训练。我们通过在基准数据集上进行广泛的实验来验证我们的方法，即，COCO小姐字幕与其他最先进的深度学习模型相比，该模型实现了显着的改进。
2019-02-08 cs.CL cs.CV
English to Bangla Machine Translation Using Recurrent Neural Network
East West University（东西大学）
在自然语言处理中，递归神经网络在机器翻译中的应用越来越多。除了其他语言，孟加拉语包含大量的词汇。改进英语到孟加拉语的机器翻译将是对孟加拉语处理的重大贡献。本文描述了一个英语到孟加拉语机器翻译系统的体系结构。该系统已实现的编码器-解码器的循环神经网络。该模型使用基于知识的上下文向量来映射英语和孟加拉语单词。在这里测量基于激活函数的模型的性能。在编码层采用线性激活函数，在解码层采用双曲正切激活函数，性能最佳。从GRU和LSTM层的执行来看，GRU的表现要优于LSTM。注意力层采用softmax和sigmoid激活函数实现。该模型的方法在交叉熵损失度量方面优于以前的最先进的系统。读者可以从本文中很容易地了解到英语到孟加拉语的机器翻译的结构和有效的激活函数。
2021-06-14 cs.CL cs.LG
A Quantum Search Decoder for Natural Language Processing
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）；Heilbronn Institute for Mathematical Research（海尔布隆数学研究所）
概率语言模型，例如基于LSTM的模型，经常面临从一组令牌上的随机变量序列中找到高概率预测的问题。这通常使用诸如波束搜索的贪婪解码的形式来解决，其中保持解码器的有限数量的最高似然路径（波束宽度），并且在最后选择最大似然路径。在这项工作中，我们构建了一个量子算法，以找到具有高恒定成功概率的全局最优解析（即无限光束宽度）。当解码器的输入分布为指数为$k>0$的幂律时，我们的算法具有运行时$R^{n f(R,k)}$，其中$R$是字母表大小，$n$是输入长度;这里是$f<1/2$，并且随着$k$的增加，$f\rightarrow 0$以指数方式快速，因此使我们的算法总是比经典算法快二倍以上。我们进一步修改我们的程序，以恢复一个有限的波束宽度变量，这使得一个更强的经验加速，同时仍然保持更高的精度比可能的经典。最后，我们将这个量子束搜索解码器应用于Mozilla实现的百度DeepSpeech神经网络，我们显示它表现出这样的幂律词排名频率。
2020-06-12 cs.CL cs.DS cs.LG
