Span Detection for Aspect-Based Sentiment Analysis in Vietnamese
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
基于语义的情感分析在自然语言处理和人工智能中起着重要的作用。目前，研究者只关注于方面检测和情感分类，而忽略了用户意见广度检测这一在实际应用中具有巨大潜力的子任务。在本文中，我们提出了一个新的越南语数据集（SNA-ViSD 4SA），包括35,396人类注释的跨度11,122反馈意见，以评估跨度检测方面为基础的情感分析。此外，我们还提出了一种新的系统，使用双向长短期记忆（BiLSTM）与条件随机场（CRF）层（BiLSTM-CRF）的跨度检测任务，在越南语方面为基础的情感分析。最好的结果是使用BiLSTM-CRF进行跨度检测的62.76%F1分数（宏），其中嵌入融合了来自XLM-RoBERTA的音节嵌入、字符嵌入和上下文嵌入。在未来的工作中，跨度检测将扩展到许多NLP任务，如建设性检测，情感识别，投诉分析和意见挖掘。我们的数据集可在https://github.com/kimkim00/UIT-ViSD4SA上免费获得，用于研究目的。
2021-10-15 cs.CL
Bidirectional LSTM-CRF Models for Sequence Tagging
Baidu research（百度研究院）
在本文中，我们提出了各种基于长短期记忆（LSTM）的序列标记模型。这些模型包括LSTM网络、双向LSTM（BI-LSTM）网络、带有条件随机场（CRF）层的LSTM（LSTM-CRF）和带有CRF层的双向LSTM（BI-LSTM-CRF）。我们的工作是第一个将双向LSTM CRF（表示为BI-LSTM-CRF）模型应用于NLP基准序列标记数据集。我们表明，由于双向LSTM组件，BI-LSTM-CRF模型可以有效地使用过去和未来的输入特征。它还可以使用句子级别的标签信息，这要归功于CRF层。BI-LSTM-CRF模型可以在POS，分块和NER数据集上产生最先进的（或接近）准确性。此外，它是鲁棒的，与以前的观察相比，对词嵌入的依赖性更小。
2015-08-09 cs.CL
Unveiling Public Opinion: A Study of Sentiment Analysis Using LSTM and Traditional Models
研究社交媒体时代Twitter的情感分析，评估逻辑回归、随机森林等多种算法，用预处理的Kaggle Twitter数据集确定最优模型，结果显示LSTM方法性能更佳，在捕捉文本方面优于传统机器学习技术。
2026-07-10 cs.CL
Comprehensive Analysis of Aspect Term Extraction Methods using Various Text Embeddings
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
最近，在情感分析领域的背景下，各种模型设计和方法已经蓬勃发展。然而，目前还缺乏对基于方面的情感分析（ABSA）的广泛而全面的研究。我们想填补这一空白，并提出了一个比较消融分析方面的长期提取使用各种文本嵌入方法。我们特别关注基于长短期记忆（LSTM）的架构，其中使用不同的预训练词嵌入进行可选的条件随机场（CRF）增强。此外，我们还分析了字符嵌入对扩展词向量化步骤性能的影响。在SemEval数据集上的实验结果表明，不仅双向长短期记忆（BiLSTM）优于常规LSTM，而且词嵌入覆盖率及其来源高度影响方面检测性能。一个额外的CRF层也会持续改善结果。
2020-12-10 cs.CL
Semantic Tagging with LSTM-CRF
在本文中，提出了两个模型，即LSTM-CRF和BERT-LSTM-CRF的通用语义标签数据集的语义标记。实验表明，第一种模型更容易收敛，而第二种模型利用BERT嵌入，需要很长的时间来收敛，并且需要大的数据集才能有效地进行语义标注。
2023-01-28 cs.CL
A Case Study of Chinese Sentiment Analysis on Social Media Reviews Based on LSTM
Peking University（北京大学）
网络舆情分析是通过自然语言处理（NLP）和舆论监督相结合而获得的，对于监测公众情绪和趋势至关重要。因此，网络舆情分析可以发现和解决潜在的、萌芽的社会问题。本研究旨在利用长短期记忆网络（LSTM）模型实现对社交媒体评论中中国人情绪的分析。数据集是使用网络爬虫从新浪微博获得的，并使用Pandas进行了清理。首先，对唐山袭击案和江歌案的法律量刑进行了中文评论的分割和向量化。然后，训练和测试一个二进制LSTM模型。最后，通过使用LSTM模型分析评论来获得情感分析结果。所提出的模型的准确性已达到约92%。
2022-10-31 cs.CL cs.LG
Aspect Detection using Word and Char Embeddings with (Bi)LSTM and CRF
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
我们提出了一个~新的准确的方面提取方法，利用基于词和字符的嵌入。我们已经使用LSTM和BiLSTM对各种方面提取模型进行了实验，包括在五个不同的预训练词嵌入上扩展字符嵌入的CRF增强。结果表明，BiLSTM优于常规LSTM，但训练和测试集中的词嵌入覆盖率也深刻影响了方面检测性能。此外，额外的CRF层始终改善了不同模型和文本嵌入的结果。综上所述，我们获得了SemEval餐厅（85%）和笔记本电脑（80%）的最新F分数结果。
2019-09-03 cs.CL
Comparing CNN and LSTM character-level embeddings in BiLSTM-CRF models for chemical and disease named entity recognition
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
我们比较了在BiLSTM-CRF模型中使用基于LSTM和基于CNN的字符级词嵌入来处理化学和疾病命名实体识别（NER）任务。BioCreative V CDR语料库的实证结果表明，使用任何一种类型的字符级词嵌入与BiLSTM-CRF模型相结合，导致相当的最先进的性能。然而，使用基于CNN的字符级词嵌入的模型具有计算性能优势，比基于词的模型增加了25%的训练时间，而基于LSTM的字符级词嵌入是所需训练时间的两倍多。
2018-08-25 cs.CL
Opinion Mining for Relating Subjective Expressions and Annual Earnings in US Financial Statements
Academia Sinica（中央研究院）；National Chengchi University（国立政治大学）；Yuan-Ze University（元智大学）
财务报表包含了企业财务状况的量化信息和管理者的主观评价。使用美国10-K文件中发布的信息。定性和定量评估对于高质量的财务决策至关重要。为了从报告中提取这些意见陈述，我们建立了基于条件随机场（CRF）技术的标记模型，考虑了各种语言因素的组合，包括词法，正字法，谓词-论元结构，句法和简单语义。我们的研究结果表明，CRF模型是合理有效的发现意见持有者在实验中，我们采用流行的MPQA语料库进行训练和测试。我们论文的贡献是识别多词表达（MWE）形式而不是单个词形式的观点模式。我们发现，公司管理者试图使用更乐观的词汇来模糊负面的财务业绩，并强调积极的财务业绩。我们的研究结果还表明，在报告年度，收益减少往往伴随着模糊和温和的陈述，而收益增加则以自信和积极的方式陈述。
2012-10-15 cs.AI cs.CL cs.IR
Bidirectional LSTM-CRF for Clinical Concept Extraction
University of Sydney（悉尼大学）；Capital Markets CRC（资本市场合作研究中心）；University of Technology Sydney（悉尼科技大学）
提取患者临床记录中的概念是临床研究中的重要步骤。2010年i2 b2/VA研讨会上的自然语言处理临床记录的挑战提出了概念提取（CE）的任务，旨在识别概念（如治疗，测试，问题），并将其分类到预定义的类别。最先进的CE方法严重依赖于手工制作的功能和难以收集和调优的特定于领域的资源。出于这个原因，本文采用双向LSTM，CRF解码初始化为CE的通用现成词嵌入。使用双向LSTM CRF在2010年i2 b2/VA参考标准语料库上实现的实验结果与排名靠前的系统接近。
2016-10-19 cs.CL
A Morpho-Syntactically Informed LSTM-CRF Model for Named Entity Recognition
Sofia University（索非亚大学）；IICT-BAS（保加利亚科学院信息与通信技术研究所）
我们提出了一种基于形态信息的命名实体识别模型，该模型基于LSTM-CRF架构，结合了词嵌入、Bi-LSTM字符嵌入、词性（POS）标签和形态信息。虽然以前的工作主要集中在从原始单词输入中学习，只使用单词和字符嵌入，但我们表明，对于形态丰富的语言，如保加利亚语，访问POS信息比详细的形态信息更有助于提高性能。因此，我们表明，命名实体识别只需要粗粒度的POS标签，但在同一时间，它可以受益于同时使用一些不同粒度的POS信息。我们对标准数据集的评估结果显示，保加利亚NER的最新技术水平有了相当大的改进。
2019-08-27 cs.CL
Opinion Mining and Analysis Using Hybrid Deep Neural Networks
Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学）
针对现有情感分析方法难以处理语境差异、可扩展性差及类别不平衡的问题，本文提出HBGRU-LSTM混合深度神经网络模型，在基准数据集上取得更优的准确率、召回率与更低的误分类损失。
2025-11-16 cs.AI cs.CL
Arabic Multi-Dialect Segmentation: bi-LSTM-CRF vs. SVM
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；University of Düsseldorf（杜塞尔多夫大学）；Google Inc.（谷歌公司）
阿拉伯语分词对于机器翻译和信息检索等各种NLP应用程序至关重要。切分就是把词分解成词干、词缀和附缀。在本文中，我们比较了两种方法分割四个主要的阿拉伯语方言，每个方言只有几千个训练样本。这两种方法涉及将问题作为一个排名问题，其中SVM排名器选择最佳分割，以及作为一个序列标记问题，其中与CRF耦合的bi-LSTM RNN确定最佳分割单词的位置。我们能够使用相当有限的训练数据实现所有方言的坚实的分割结果。我们还表明，采用现代标准阿拉伯语数据的领域自适应和假设上下文独立提高整体结果。
2017-08-19 cs.CL
Application of a Hybrid Bi-LSTM-CRF model to the task of Russian Named Entity Recognition
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Vietnam Maritime University（越南海事大学）
命名实体识别是自然语言处理中最常见的任务之一。NER的目的是查找文本文档中的标记并将其分类为称为标签的预定义类别，例如人名，数量表达式，百分比表达式，位置名称，组织以及时间，货币等的表达。虽然在俄语中已经提出了许多方法来完成这项任务，但它仍然具有更好的解决方案的巨大潜力。在这项工作中，我们研究了几个深度神经网络模型，从普通双向长短期记忆（Bi-LSTM）开始，然后用条件随机场（CRF）和高速公路网络对其进行补充，最后添加外部词嵌入。所有模型都在三个数据集上进行了评估：Gareev数据集，Person-1000，FactRuEval-2016。我们发现，使用CRF扩展Bi-LSTM模型显著提高了预测质量。使用外部词嵌入对输入标记进行编码减少了训练时间，并允许实现俄罗斯NER任务的最新技术水平。
2017-10-08 cs.CL
Dependency-Guided LSTM-CRF for Named Entity Recognition
Singapore University of Technology and Design（新加坡科技设计大学）
依赖树结构捕获句子中单词之间的长距离和句法关系。语法关系（例如，名词主语、宾语）可以潜在地推断某些命名实体的存在。此外，命名实体识别器的性能可以受益于依赖关系树中单词之间的长距离依赖关系。在这项工作中，我们提出了一个简单而有效的依赖引导LSTM-CRF模型编码的完整的依赖树，并捕获上述属性的任务命名实体识别（NER）。数据统计表明，实体类型和依赖关系之间存在很强的相关性。我们在几个标准数据集上进行了广泛的实验，并证明了所提出的模型在提高NER和实现最先进的性能方面的有效性。我们的分析表明，显着的改善主要是由于依赖关系和依赖树提供的长距离交互。
2019-09-23 cs.CL
Arabic aspect based sentiment analysis using bidirectional GRU based models
Assiut university（艾斯尤特大学）
基于语义的情感分析（ABSA）完成了细粒度的分析，定义了给定文档或句子的各个方面以及关于每个方面所传达的情感。这一层次的分析是最详细的版本，能够探索审查的细微差别的观点。ABSA的大部分学习集中在英语上，很少有阿拉伯语的工作。大多数以前的阿拉伯语工作都是基于常规的机器学习方法，主要依赖于一组稀有的资源和工具来分析和处理阿拉伯语内容，如词典，但缺乏这些资源带来了另一个挑战。为了解决这些挑战，提出了基于深度学习（DL）的方法，其使用基于ABSA的门控递归单元（GRU）神经网络的两个模型。第一种是DL模型，其通过组合双向GRU、卷积神经网络（CNN）和条件随机场（CRF）来利用单词和字符表示，从而构成（BGRU-CNN-CRF）模型以提取主要意见方面（OTE）。第二种是基于双向GRU（IAN-BGRU）的交互式注意力网络，以识别对提取的方面的情感极性。我们使用基准阿拉伯语酒店评论数据集评估了我们的模型。结果表明，所提出的方法是优于基线研究的两个任务有39.7%的增强F1分数的意见目标提取（T2）和7.58%的准确性方面为基础的情感极性分类（T3）。T2的F1评分为70.67%，T3的准确率为83.98%。
2021-10-06 cs.CL
Advancing Sentiment Analysis: A Novel LSTM Framework with Multi-head Attention
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出一种结合多头注意力与TF-IDF优化的LSTM情感分类模型，在公开数据集上准确率达80.28%，较标准LSTM提升约12%，验证了各模块的有效性。
2025-03-11 cs.CL
Deep Sentiment Classification and Topic Discovery on Novel Coronavirus or COVID-19 Online Discussions: NLP Using LSTM Recurrent Neural Network Approach
Nanjing University of Science and Technology（南京理工大学）；Dalhousie University（达尔豪斯大学）；Jiangsu University of Science and Technology（江苏科技大学）
互联网论坛和公共社交媒体，如在线医疗论坛，为关注健康问题的用户（人/患者）提供了一个方便的渠道，以相互讨论和分享信息。2019年12月下旬，据报道爆发了新型冠状病毒（感染导致的疾病称为COVID-19），由于该病毒在世界其他地区迅速传播，世界卫生组织宣布进入紧急状态。在这篇论文中，我们使用了从社交媒体中自动提取与COVID-19相关的讨论，以及基于主题建模的自然语言处理（NLP）方法，从公众舆论中发现与COVID-19相关的各种问题。此外，我们还研究了如何使用LSTM循环神经网络对COVID-19评论进行情感分类。我们的研究结果揭示了利用公众意见和合适的计算技术来理解COVID-19相关问题并指导相关决策的重要性。
2020-04-24 cs.CL cs.IR
Supervised Opinion Aspect Extraction by Exploiting Past Extraction Results
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；RTI International（RTI国际）
产品评论的情感分析的关键任务之一是提取用户表达意见的产品方面或特征。在这项工作中，我们专注于使用监督序列标记作为执行任务的基本方法。虽然已经提出了几种使用序列标记方法，如条件随机场（CRF）和隐马尔可夫模型（HMM）的提取方法，我们表明，这种监督的方法可以显着提高利用跨多个域的概念共享的想法。例如，“屏幕”是iPhone的一个方面，但不仅iPhone有屏幕，许多电子设备也有屏幕。当“屏幕”出现在一个新领域（或产品）的评论中时，它也可能是一个方面。了解这些信息使我们能够在新领域中进行更好的提取。本文提出了一种新的提取方法，利用这一思想的监督序列标记的上下文中。实验结果表明，它产生明显优于不使用过去的信息的结果。
2016-12-23 cs.CL cs.LG
Confidence penalty, annealing Gaussian noise and zoneout for biLSTM-CRF networks for named entity recognition
IBM Research（IBM研究院）
命名实体识别（NER）用于识别文本中的相关实体。具有神经条件随机场（CRF）解码器的双向LSTM（长短期记忆）编码器（biLSTM-CRF）是最先进的方法。在这项工作中，我们分析了几种旨在优化基于这种架构的网络性能的方法，在某些情况下，这种架构鼓励避免过拟合。这些方法的目标是探索参数空间，正则化的LSTM和惩罚的信心输出分布。结果表明，优化方法提高了biLSTM-CRF NER基线系统的性能，为CoNLL-2003西班牙语集设置了一个新的最先进的性能，F1为87.18。
2018-08-14 cs.CL
Deep-Sentiment: Sentiment Analysis Using Ensemble of CNN and Bi-LSTM Models
New York University（纽约大学）；University of California, Riverside（加州大学河滨分校）
随着社交网络和电子商务网站的普及，情感分析在过去几年中已经成为一个比较活跃的研究领域。在高层次上，情感分析试图了解公众对特定产品或主题的看法，或者从评论或推文中了解趋势。情感分析在更好地理解客户/用户意见以及提取社会/政治趋势方面起着重要作用。情感分析已经有很多以前的工作，一些基于手工工程相关的文本特征，和其他基于不同的神经网络架构。在这项工作中，我们提出了一个基于长短期记忆（LSTM）和卷积神经网络（CNN）的集成模型，一个用于捕获数据的时间信息，另一个用于提取其局部结构。通过实验结果，我们表明，使用这种集成模型，我们可以优于两个单独的模型。与以前的作品相比，我们也能够实现非常高的准确率。
2019-04-08 cs.CL cs.IR cs.LG
De-identification of medical records using conditional random fields and long short-term memory networks
Harbin Institute of Technology（哈尔滨工业大学）
CEGS N-GRID 2016临床自然语言处理共享任务1重点关注精神病评估记录的去识别化。本文介绍了我们团队的两个参与系统，基于条件随机场（CRF）和长短期记忆网络（LSTM）。在去识别之前，引入了句子检测和标记化的预处理模块。对于CRF，手动提取的丰富的功能被用来训练模型。对于LSTM，应用字符级双向LSTM网络来表示令牌并对每个令牌的标签进行分类，然后堆叠解码层以解码最可能的受保护健康信息（PHI）术语。基于LSTM的系统获得了89.86%的i2 b2严格微F1测量，这高于基于CRF的系统。
2017-09-29 cs.CL
An Ensemble Model for Sentiment Analysis of Hindi-English Code-Mixed Data
Microsoft India Development Center（微软印度开发中心）
在像印度这样的多语言社会中，代码混合的社交媒体文本构成了互联网的大部分。检测代码混合的用户意见的情感在理解社会，经济和政治趋势方面起着至关重要的作用。在本文中，我们提出了一种基于字符三元组的LSTM模型和基于单词元组的多项朴素贝叶斯（MNB）模型的集成，以识别印地语-英语（Hi-En）代码混合数据的情感。集成模型结合了LSTM模型中丰富的序列模式的优势和概率ngram模型中关键字的极性，以识别稀疏和不一致的代码混合数据中的情感。对真实用户代码混合数据的实验表明，与几个基线和其他基于深度学习的方法相比，我们的方法产生了最先进的结果。
2018-06-12 cs.CL
PRFashion24: A Dataset for Sentiment Analysis of Fashion Products Reviews in Persian
Alzahra University（阿尔扎赫拉大学）
本研究构建了包含767,272条波斯语评论的PRFashion24数据集，利用LSTM和BiLSTM-CNN模型分析时尚购物情感，分别达到81.23%和82.89%的准确率，并公开模型与数据。
2024-05-28 cs.CL
Natural Language Processing Accurately Categorizes Indications, Findings and Pathology Reports from Multicenter Colonoscopy
Louisiana Tech University（路易斯安那理工大学）
结肠镜检查用于结直肠癌（CRC）筛查。从电子健康记录（EHR）中的自由文本中提取结肠镜检查结果的详细信息可用于确定CRC和结直肠筛查策略的患者风险。我们开发并评估了深度学习模型框架的准确性，以提取临床决策支持系统的信息，从而解释相关的自由文本报告，包括适应症、病理学和发现注释。使用双向长短期记忆（Bi-LSTM）和条件随机场（CRF）开发了Bio-Bi-LSTM-CRF框架，以从这些自由文本报告中提取几个临床特征，包括结肠镜检查适应症、结肠镜检查期间的发现和切除材料的病理学。我们在来自3，867名患者的4，000份手动注释笔记中的80%上训练了Bio-Bi-LSTM-CRF和现有的Bi-LSTM-CRF模型。这些临床记录来自一组40岁以上的患者，他们在四个退伍军人事务医疗中心登记。剩余注释的10%用于训练超参数，其余10%用于评估我们的模型Bio-Bi-LSTM-CRF的准确性并与Bi-LSTM-CRF进行比较。
2021-08-25 cs.CL cs.LG
Investigating Bi-LSTM and CRF with POS Tag Embedding for Indonesian Named Entity Tagger
Prosa Solusi Cerdas（普罗萨智能解决方案公司）；School of Electrical Engineering and Informatics（电气与信息工程学院）；Institut Teknologi Bandung（万隆理工学院）
印尼语命名实体标注器的研究已有多年的历史。然而，大多数研究没有使用深度学习，而是使用传统的机器学习算法，如关联规则，支持向量机，随机森林，朴素贝叶斯等。在这里，我们尝试在我们的印度尼西亚NE tagger中使用深度学习。我们使用长短期记忆（LSTM）作为拓扑结构，因为它是NE标记器的最新技术。通过使用LSTM，我们不需要单词列表来提高准确性。基本上，我们主要调查两件事。第一个是网络的输出层：Softmax与条件随机场（CRF）。二是词性（POS）标签嵌入输入层的使用。使用8400句作为训练数据和97句作为评估数据，我们发现，使用POS标签嵌入作为额外的输入，提高了我们的印尼NE标记的性能。至于Softmax和CRF之间的比较，我们发现这两种架构在分类NE标签方面都有弱点。
2020-09-11 cs.AI cs.CL
Towards Sub-Word Level Compositions for Sentiment Analysis of Hindi-English Code Mixed Text
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
使用来自社交媒体的代码混合数据的情感分析（SA）在意见挖掘中有几个应用，从客户满意度到多语言社会中的社交活动分析。由于缺乏适当的注释数据集，这一领域的进展受到阻碍。我们引入了一个用于情感分析的印地语-英语（Hi-En）代码混合数据集，并进行了实证分析，比较了各种最先进的SA方法在社交媒体中的适用性和性能。在本文中，我们介绍了LSTM（Subword-LSTM）架构中的子单词级表示，而不是字符级或单词级表示。在我们的架构中，这种语言先验使我们能够学习重要词素的情感值信息。正如我们的实验所示，这似乎在包含拼写错误的高噪声文本中也能很好地工作，这在我们的模型学习的语素级特征图中得到了证明。此外，我们假设在Subword-LSTM架构中对这种语言先验进行编码会带来更好的性能。我们的系统在我们的数据集上获得的准确率比传统方法高4-5%，并且在Hi-En代码混合文本中的情感分析性能也优于现有系统18%。
2016-11-02 cs.CL
Sentiment Analysis in Twitter Social Network Centered on Cryptocurrencies Using Machine Learning
Razi University（拉齐大学）
本文针对加密货币领域Twitter情感分析多聚焦英语的现状，研究伊朗用户相关观点，采用多种NLP与机器学习/深度学习方法构建分类模型，最终BERT模型以83.50%准确率取得最优效果，可为经济管理提供参考。
2025-01-16 cs.CL
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
Carnegie Mellon University（卡内基梅隆大学）
最先进的序列标记系统传统上需要大量的任务特定的知识，以手工制作的特征和数据预处理的形式。在本文中，我们介绍了一种新的神经网络架构，通过使用双向LSTM，CNN和CRF的组合，自动受益于单词和字符级别的表示。我们的系统是真正的端到端，不需要特征工程或数据预处理，因此使其适用于广泛的序列标记任务。我们评估我们的系统在两个数据集上的两个序列标记任务- Penn Treebank WSJ语料库的词性（POS）标记和CoNLL 2003语料库的命名实体识别（NER）。我们在这两个数据上都获得了最先进的性能-
2016-05-29 cs.CL cs.LG stat.ML
myNER: Contextualized Burmese Named Entity Recognition with Bidirectional LSTM and fastText Embeddings via Joint Training with POS Tagging
NECTEC, NSTDA（泰国国家科技发展署电子与计算机技术国家中心）；Assumption University（易三仓大学）；KMITL（泰国国王科技大学）；Akita University（秋田大学）；Yangon（仰光）
本文提出缅甸语词级NER语料库myNER，结合POS标注，通过CRF、BiLSTM-CRF与fastText嵌入的联合训练实验，证明上下文嵌入和词性联合训练能显著提升低资源语言NER性能。
2025-04-05 cs.CL
Dataset Mention Extraction in Scientific Articles Using Bi-LSTM-CRF Model
School of Information Studies, Syracuse University（雪城大学信息研究学院）；School of Information Management, Nanjing University（南京大学信息管理学院）
本文提出基于Bi-LSTM-CRF的神经网络方法，从科学文章中自动抽取数据集提及，在社会科学文章上取得F1=0.885，并讨论数据集局限与未来模型改进。
2024-05-21 cs.CL cs.LG
Bidirectional LSTM-CRF for Clinical Concept Extraction
University of Sydney（悉尼大学）；Capital Markets CRC（资本市场合作研究中心）；University of Technology Sydney（悉尼科技大学）
从患者临床记录中自动提取概念是临床研究的重要促进因素。出于这个原因，2010年i2 b2/VA临床记录的自然语言处理挑战引入了概念提取任务，旨在将概念识别和分类到预定义的类别中（即，治疗，测试和问题）。现有的概念抽取方法严重依赖于手工特征和难以收集和定义的特定领域资源。出于这个原因，本文提出了一种替代的简化方法：使用通用的现成单词嵌入初始化的递归神经网络（具有CRF解码的双向LSTM）。使用该框架在2010年i2 b2/VA参考语料库上取得的实验结果优于所有最近的方法，并接近于2010年i2 b2/VA挑战赛的最佳提交。
2016-11-25 cs.CL cs.LG stat.ML
Three-Class Text Sentiment Analysis Based on LSTM
Zhongnan University of Economics and Law（中南财经政法大学）
本文提出基于LSTM网络的三类情感分类方法对微博评论进行情感分析，实验准确率达98.31%，优于传统模型和其他深度学习方法。
2024-12-23 cs.CE cs.CL cs.LG
Jointly Modeling Aspect and Polarity for Aspect-based Sentiment Analysis in Persian Reviews
University of Tabriz（大不里士大学）
从自然语言文本中识别用户意见已经成为一个令人兴奋的研究领域，由于其在现实世界中的应用越来越多。其研究领域被称为情感分析和分类，其中体类别检测（ACD）和体类别极性（ACP）是基于体的情感分析的两个重要子任务。ACD的目标是指定实体的哪个方面出现在意见中，而ACP的目标是指定ACD任务中每个方面类别的极性。以前的工作大多提出了这两个子任务的单独的解决方案。本文重点讨论ACD和ACP子任务，以同时解决这两个问题。所提出的方法进行多标签分类，其中采用了四种不同的深度模型，并进行了比较评估，以检查它们的性能。从CinemaTicket网站收集了波斯语评论的数据集，包括来自14个类别的2200个样本。开发的模型进行了评估，使用收集的数据集在基于实例和基于标签的指标。结果表明，与LSTM和Bi-LSTM相比，CNN和GRU模型具有较高的适用性和偏好性。
2021-10-17 cs.AI cs.CL
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF: A Reproducibility Study
The Ohio State University（俄亥俄州立大学）
本文复现了 Ma 和 Hovy 提出的 BiLSTM-CNN-CRF 端到端序列标注架构，结合 CNN、BiLSTM 和 CRF 免除手工特征，在 CoNLL-2003 NER 上达到 91.18% F1 分数，并开源了 PyTorch 实现。
2025-10-13 cs.CL cs.LG
Political Sentiment Analysis of Persian Tweets Using CNN-LSTM Model
University of Tehran（德黑兰大学）；Tarbiat Modares University（塔比亚特·莫达雷斯大学）
本文提出CNN-LSTM模型结合ParsBERT嵌入进行波斯语政治推文情感分析，在保持性能的同时减少训练时间，最高准确率达89%。
2023-08-29 cs.CL cs.IR
Aspect and Opinion Term Extraction Using Graph Attention Network
Microsoft（微软公司）
本文提出基于图注意力网络和依存树特征的方面与观点词抽取方法，结合CRF在SemEval 2014-2016数据集上取得最佳结果，并验证了多情感场景下的有效性。
2024-04-30 cs.CL
LSTM-based QoE Evaluation for Web Microservices' Reputation Scoring
Prince Sultan University（苏丹王子大学）；University of Manouba（马努巴大学）
本研究针对Web微服务声誉评估需求，提出结合LSTM情感分析与NBR算法的声誉评分方法，在15项亚马逊微服务的万余条评论上实现93%的准确率与精确率，微服务群体声誉得分为89%。
2023-08-25 cs.CL cs.IR
Canonical and Surface Morphological Segmentation for Nguni Languages
University of Cape Town（开普敦大学）
形态分割涉及将单词分解为语素，语素是语言中最小的意义承载单位。这是一个重要的NLP任务，对于形态丰富的黏着语言，如南部非洲Nguni语言群。在本文中，我们调查监督和无监督模型的形态分割的两个变种：规范和表面分割。我们训练用于规范分割的序列到序列模型，其中底层词素可能不等于单词的表面形式，以及用于表面分割的条件随机场（CRF）。Transformers在关注规范分割方面优于LSTM，在4种语言中获得了72.5%的平均F1分数。在表面分割上，基于神经网络的CRF优于双向LSTM-CRF，获得平均97.1%的F1。在无监督设置中，使用字符级LSTM语言模型的基于熵的方法未能优于Morfessor基线，而在某些语言上，这两种方法的性能都没有比随机基线好得多。我们希望监督分割模型的高性能将有助于为Nguni语言开发更好的NLP工具。
2021-04-01 cs.CL
Chinese Spelling Error Detection Using a Fusion Lattice LSTM
North China University of Technology（北方工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
拼写错误检测在许多自然语言处理应用中起着至关重要的预处理作用。由于汉语的特点，汉语拼写错误检测比英语拼写错误检测更具挑战性。现有的方法主要是在流水线框架下，人为地将错误检测过程分为两个步骤。因此，这些方法带来了错误传播，并且由于语言环境的复杂性而不能总是很好地工作。而且现有的方法只采用字或词信息，而忽略了将字、词、拼音信息融合在一起的积极作用。我们提出了一个LF-LSTM-CRF模型，它是LSTMCRF的扩展，具有词格和字符串融合输入。该模型利用端到端的框架，将错误检测作为一个整体过程，并动态集成字符，单词和字符信息。在SIGHAN数据上的实验表明，我们的LF-LSTM-CRF始终优于具有类似外部资源的现有方法，并证实了采用端到端框架的可行性以及字符，单词和字符信息集成的可用性。
2019-11-25 cs.CL
Neural Chinese Named Entity Recognition via CNN-LSTM-CRF and Joint Training with Word Segmentation
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
中文命名实体识别是中文自然语言处理领域的一个重要课题。然而，CNER非常具有挑战性，因为中文实体名称高度依赖于上下文。此外，中文文本缺乏分隔词的分隔符，难以识别实体的边界。此外，在许多领域中，CNER的训练数据通常不足，并且注释足够的训练数据用于CNER是非常昂贵和耗时的。在本文中，我们提出了一种神经方法CNER。首先，我们引入CNN-LSTM-CRF神经架构来捕获CNER的本地和远程上下文。其次，我们提出了一个统一的框架，联合训练CNER和分词模型，以提高CNER模型识别实体边界的能力。第三，我们介绍了一种自动生成伪标记样本的方法，从现有的标记数据，可以丰富的训练数据。在两个基准数据集上的实验表明，该方法能有效地提高中文命名实体识别的性能，特别是在训练数据不足的情况下。
2019-04-26 cs.CL cs.LG stat.ML
Constructing Colloquial Dataset for Persian Sentiment Analysis of Social Microblogs
Faculty member in ICT Research Institute（ICT研究所教员）；Iran Telecommunication Research Center (ITRC)（伊朗电信研究中心）；Faculty member in Computer Department（计算机系教员）；Mehralborz University（梅赫拉布尔兹大学）；Hazrat-e Masoumeh University（玛苏姆大学）
本文构建了波斯语口语数据集并提出基于CNN的模型，提升社交媒体微博客口语文本的情感分析性能，实验结果显示72%的准确率。
2024-03-07 cs.CL
SI-LSTM: Speaker Hybrid Long-short Term Memory and Cross Modal Attention for Emotion Recognition in Conversation
针对对话情感识别中说话人状态追踪与多模态交互建模不足的问题，提出SI-LSTM循环结构并结合跨模态注意力，在两个基准数据集上优于现有基线。
2023-06-06 cs.AI cs.CL cs.HC
SOC: hunting the underground inside story of the ethereum Social-network Opinion and Comment
National Cheng Kung University（国立成功大学）；National Tsing Hua University（国立清华大学）；Leopard Mobile Inc.（豹移动公司）
由于区块链技术，加密货币正吸引越来越多的关注。以太坊在区块链社区中越来越受欢迎，主要是因为它的设计方式使开发人员能够编写智能合约和去中心化应用程序（Dapps）。社交网络上有很多种加密货币信息。其背后的风险和欺诈问题，促使包括美国、韩国、中国在内的多个国家纷纷做出警示，并设立相应的监管规定。然而，以太坊智能合约的安全性并没有得到太多的关注。通过深度学习方法，我们提出了一种针对以太坊社区评论的情感分析方法。在这项研究中，我们首先从社交网络中收集用户的加密货币评论，然后将其输入到我们的LSTM + CNN模型中进行训练。然后通过情感分析进行预测。实验结果表明，情感分析的查准率和查全率都可以达到0.80以上。更重要的是，我们将情绪分析1部署在RatingToken和Coin Master（猎豹移动区块链安全中心的移动应用程序23）上。我们可以有效地提供详细的信息，以解决假冒和欺诈问题的风险。
2018-11-27 cs.CL cs.SI
Applications of BERT Based Sequence Tagging Models on Chinese Medical Text Attributes Extraction
Tsinghua-iFlytek Joint Laboratory（清华大学科大讯飞联合实验室）
我们将中文医学文本属性抽取任务转化为序列标注或机器阅读理解任务。基于BERT预训练模型，我们不仅尝试了广泛使用的LSTM-CRF序列标记模型，还尝试了其他序列模型，如CNN，UCNN，WaveNet，SelfAttention等，这些模型达到了与LSTM+CRF相似的性能。这揭示了传统的序列标记模型。由于不同序列标记模型的重点方面差异很大，因此将这些模型集成在一起会增加最终系统的多样性。通过这样做，我们的系统在中文医学文本属性提取任务（CCKS 2019任务1的子任务2）上取得了良好的性能。
2020-08-22 cs.CL
Attention-based Bidirectional LSTM for Deceptive Opinion Spam Classification
Persistent Systems（Persistent Systems 公司）
在线评论在电子商业中起着至关重要的决策作用。大多数人根据各自平台上发布的评论决定去哪些地方、去哪家餐厅、买什么以及从哪里买。欺诈性评论或意见垃圾邮件被归类为不真实或欺骗性评论。对产品或餐厅的正面评论有助于吸引顾客，从而增加销售额，而负面评论可能会阻碍餐厅的发展或产品的销售，从而导致名誉受损和损失。欺诈性评论是故意在各种在线评论平台上发布，以欺骗客户购买，访问或分散对产品或餐厅的注意力。它们也是为了赞扬或诋毁产品的声誉而编写的。这项工作的目的是检测和分类的评论是欺骗性的或真实的。它涉及使用各种深度学习技术对评论进行分类，并概述了涉及基于注意力的双向LSTM的拟议方法，以解决评论中与语义信息相关的问题，并对基线机器学习技术进行了比较研究。
2021-12-29 cs.CL
BAKSA at SemEval-2020 Task 9: Bolstering CNN with Self-Attention for Sentiment Analysis of Code Mixed Text
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
代码混合文本的情感分析在意见挖掘中有着广泛的应用，从标记用户评论到识别子人群的社会或政治情感。在本文中，我们提出了一种卷积神经网络（CNN）和基于自注意力的LSTM的集成架构，用于代码混合推文的情感分析。虽然CNN组件有助于对正面和负面推文进行分类，但基于自我注意力的LSTM有助于对中性推文进行分类，因为它能够在多个情感承载单元中识别正确的情感。我们在印地语-英语（Hinglish）和西班牙语-英语（Spanglish）数据集上分别获得了0.707（排名第5）和0.725（排名第13）的F1分数。Hinglish和Spanglish任务的提交分别以用户名ayushk和harsh_6进行。
2020-07-21 cs.CL cs.LG
Calling to CNN-LSTM for Rumor Detection: A Deep Multi-channel Model for Message Veracity Classification in Microblogs
Université de Lyon（里昂大学）；Lyon 2（里昂第二大学）
社交媒体以其低成本、易于获取、实时和有价值的信息而闻名，但也广泛传播未经证实或虚假的新闻。谣言会对个人和社会造成严重的危害。因此，社交媒体上的谣言检测最近引起了极大的关注。大多数谣言检测方法关注谣言特征分析和社会特征，即，社交媒体中的元数据不幸的是，这些功能是数据特定的，可能并不总是可用的，例如，当谣言刚刚出现还没有传播的时候相比之下，帖子内容（包括图像或视频）起着重要作用，可以表明谣言的传播目的。此外，谣言分类还与意见挖掘和情感分析密切相关。然而，据我们所知，利用图像和情感的研究很少。考虑到微博的多模态特征，值得注意的是，我们在本文中提出了一个端到端的模型，称为deepMONITOR，它是基于深度神经网络，并允许相当准确的自动谣言验证，通过利用所有三个特征：后文本和图像内容，以及情感。deepMONITOR将图像特征与联合文本和情感特征连接起来，以产生可靠的融合分类。我们在两个大规模的真实世界数据集上进行了广泛的实验。结果表明，deepMONITOR实现了比最先进的方法更高的准确性。
2021-10-11 cs.AI cs.CL
Supervised Sentiment Classification with CNNs for Diverse SE Datasets
University of Waterloo（滑铁卢大学）
情感分析是一种流行的意见挖掘技术，已被软件工程研究社区用于评估应用评论、问题跟踪器中的开发人员情绪以及开发人员对API的意见等任务。过去的研究表明，最先进的情感分析技术在SE数据上的性能较差。这是因为情感分析工具通常被设计用于非技术文档，如电影评论。在这项研究中，我们试图通过提出一种基于卷积神经网络（CNN）和在预训练词向量之上训练的长短期记忆（LSTM）的分层模型来解决现有SE文本情感分析技术的问题。我们通过在五个黄金标准数据集上与一些常用的情感分析工具进行比较，评估了我们模型的性能和可靠性。我们的结果表明，我们的模型在准确性方面进一步推动了所有数据集的最新技术水平。我们还表明，在标记数据集的小样本并重新训练我们的模型后，而不是使用无监督分类器，可以获得更好的准确性。
2018-12-23 cs.CL cs.SE
Perceiving University Student's Opinions from Google App Reviews
Utkal University（乌特卡尔大学）；National Institute of Science Education Research（国家科学教育与研究学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
本研究针对Google应用评论数量庞大难以人工分析的问题，结合多种机器学习、集成学习及深度学习方法开展情感分类，在学生应用评论数据集上验证了基于Glove嵌入的LSTM性能最优，可用于分析大学生对应用市场的行为倾向。
2023-12-10 cs.CL cs.LG
DESS: DeBERTa Enhanced Syntactic-Semantic Aspect Sentiment Triplet Extraction
Department of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，莫图瓦大学）
针对方面情感三元组提取（ASTE）中准确捕捉方面、观点与情感极性关系的挑战，提出DESS方法，整合DeBERTa增强注意力机制与LSTM双通道处理语义和语法模式，在标准数据集上F1分数显著提升，有效提升细粒度情感分析性能。
2025-11-13 cs.CL
Structured prediction models for RNN based sequence labeling in clinical text
University of Massachusetts（马萨诸塞大学）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心与CHOIR）
序列标记是一种广泛应用于非结构化自然语言数据的命名实体识别和信息抽取的方法。在临床领域，序列标记的一个主要应用涉及从电子健康记录叙述中提取医学实体，例如药物、适应症和副作用。在这个领域的序列标记，提出了自己的一套挑战和目标。在这项工作中，我们尝试了各种基于CRF的结构化学习模型和递归神经网络。我们扩展了先前研究的LSTM-CRF模型与显式建模的成对电位。我们还提出了一个近似版本的跳链CRF推理与RNN潜力。我们使用这些方法进行结构化预测，以提高准确的短语检测各种医疗实体。
2016-08-01 cs.CL
Recurrent neural networks with specialized word embeddings for health-domain named-entity recognition
University of Technology Sydney（悉尼科技大学）；Capital Markets Cooperative Research Center（资本市场合作研究中心）
背景关于药物名称识别（DNR）和临床概念提取（CCE）的先前最先进的系统集中于文本“特征工程”和常规机器学习算法（诸如条件随机场和支持向量机）的组合。然而，开发好的功能本质上是非常耗时的。相反，更现代的机器学习方法，如循环神经网络（RNN），已经证明能够从随机分配或自动单词“嵌入”中自动学习有效特征。目标. (i)创建一个高度精确的DNR和CCE系统，避免传统的耗时的特征工程。(ii)通过使用健康领域数据集（如MIMIC-III）创建更丰富、更专业的词嵌入。(iii)在三个当代数据集上评估我们的系统。方法.评估了两种深度学习方法，即双向LSTM和双向LSTM-CRF。CRF模型被设置为基线，以将深度学习系统与传统的机器学习方法进行比较。所有型号都使用相同的功能。结果我们使用双向LSTM-CRF模型获得了最佳结果，该模型的性能优于所有先前提出的系统。专门的嵌入有助于覆盖DDI-DrugBank和DDI-MedLine中的不常见单词，但在2010年i2 b2/VA IRB修订版数据集中没有。结论我们提出了一个国家的最先进的系统DNR和CCE。自动化的词嵌入使我们能够避免昂贵的特征工程，并实现更高的准确性。然而，嵌入需要在适合该领域的数据集上重新训练，以便充分覆盖特定领域的词汇表。
2018-06-25 cs.CL
Twitter Sentiment Analysis using Distributed Word and Sentence Representation
Manipal Institute of Technology（曼ipal理工学院）；Computer Science and Engineering Department（计算机科学与工程系）
本文利用LSTM、CNN和人工神经网络分别处理分布式词与句子表示，对Twitter推文进行情感分类，准确率达81%，并给出了构建词分布式表示的最佳方法。
2019-04-01 cs.CL cs.IR cs.LG
