ExCode-Mixed: Explainable Approaches towards Sentiment Analysis on Code-Mixed Data using BERT models
Manipal Institute of Technology（马尼帕尔理工学院）
在印度等国家，社交媒体网站的使用越来越多，产生了大量代码混合数据。对这些数据的情感分析可以提供对人们的观点和意见的整体见解。开发强大的可解释性技术来解释为什么模型会做出预测变得至关重要。在本文中，我们提出了一个适当的方法来整合可解释的方法到代码混合的情感分析。
2021-09-25 cs.AI cs.CL cs.LG
Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence
Fudan University（复旦大学）
基于情感的情感分析（ABSA）是情感分析（SA）的一个具有挑战性的子任务，其目的是识别对特定方面的细粒度意见极性。在本文中，我们从体构造一个辅助句，并转换ABSA到一个双对分类任务，如问答（QA）和自然语言推理（NLI）。我们微调了来自BERT的预训练模型，并在SentiHood和SemEval-2014 Task 4数据集上获得了最新的结果。
2019-03-22 cs.CL
Research on the Application of Deep Learning-based BERT Model in Sentiment Analysis
Northeastern University（东北大学）；Columbia University（哥伦比亚大学）
本文研究BERT模型在情感分析中的应用，通过实验验证其性能，并指出微调能显著提升效果，为未来研究和实践提供方向。
2024-03-13 cs.CL cs.LG
Fine-tuning BERT with Bidirectional LSTM for Fine-grained Movie Reviews Sentiment Analysis
University of Arkansas（阿肯色大学）；University of Cincinnati（辛辛那提大学）
本文提出用BiLSTM微调BERT模型，在电影评论二元和细粒度情感分类上达到SOTA水平，IMDb准确率97.67%，SST-5准确率59.48%。
2025-02-28 cs.AI cs.CL
Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；Meituan（美团）；Tianjin University（天津大学）
基于情感分析的情感分析（ABSA）预测给定句子中特定方面的情感极性。虽然预先训练的语言模型（如BERT）已经取得了巨大的成功，但将动态语义变化纳入ABSA仍然具有挑战性。为此，在本文中，我们提出了解决这个问题的动态重新加权BERT（DR-BERT），一种新的方法，旨在学习动态面向方面的语义ABSA。具体来说，我们首先将Stack-BERT层作为主要编码器，以掌握句子的整体语义，然后通过引入轻量级的动态重加权适配器（Dynamic Re-weighting Adapter，简写为RWQ）对其进行微调。请注意，在每一步中，用户可以密切关注句子的一个小区域，并重新权衡至关重要的单词，以便更好地理解方面感知的情感。最后，在三个基准数据集上的实验结果证明了我们提出的模型的有效性和合理性，并为未来的语义建模提供了良好的解释性见解。
2022-11-23 cs.AI cs.CL
LLM-SEM: A Sentiment-Based Student Engagement Metric Using LLMS for E-Learning Platforms
aitech（艾泰科技）
针对在线学习平台学生参与度分析中存在的文本情感模糊和元数据有限等问题，本文提出LLM-SEM方法，利用大型语言模型对学生评论进行情感预测并结合视频元数据来准确、可扩展地衡量课程和课时层面的学生参与度。
2024-12-19 cs.AI cs.CL
BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification
Jinan University（暨南大学）；Guangzhou Xuanyuan Research Institute Company, Ltd.（广州轩辕研究院有限公司）；Guangzhou Yunqu Information Technology Company, Ltd.（广州云衢信息技术有限公司）
基于图的基于情感的情感分类（ABSC）方法已经产生了最先进的结果，特别是当配备有来自预训练语言模型（PLM）的上下文词嵌入时。然而，他们忽略了上下文的顺序特征，还没有充分利用PLM。在本文中，我们提出了一种新的模型，BERT 4GCN，它集成了语法序列特征的PLM的BERT，和语法知识的依赖图。BERT 4GCN利用来自BERT的中间层的输出和字之间的位置信息来增强GCN（图卷积网络）以更好地编码用于下游分类的依赖图。实验结果表明，所提出的BERT 4 GCN优于所有国家的最先进的基线，证明GCN与BERT的中间层的语法特征增强可以显着增强ABSC模型。
2021-10-01 cs.CL
Semantic and sentiment analysis of selected Bhagavad Gita translations using BERT-based language framework
University of New South Wales（新南威尔士大学）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）
众所周知，歌曲和诗歌的翻译不仅会打破节奏和押韵模式，而且还会导致语义信息的丢失。《薄伽梵歌》（Bhagavad Gita）是一部古印度哲学文本，最初是用梵文写成的，它描述了在摩诃婆罗多战争之前，奎师那和阿诸那之间的对话。《博伽梵歌》也是印度教的主要圣书之一，被称为印度教吠陀全集的最前沿。在过去的两个世纪里，西方学者对印度教哲学产生了浓厚的兴趣;因此，《博伽梵歌》被翻译成了多种语言。然而，没有太多的工作来验证英文翻译的质量。由深度学习驱动的语言模型的最新进展不仅使翻译成为可能，而且通过语义和情感分析更好地理解语言和文本。我们的工作是由深度学习方法驱动的语言模型的最新进展推动的。在本文中，我们提出了一个框架，比较选定的翻译（从梵文到英语）的薄伽梵歌使用语义和情感分析。我们使用手动标记的情感数据集来调整最先进的基于深度学习的语言模型，称为Transformers的双向编码器表示（BERT）。我们为选定的章节和跨翻译的诗句提供情感和语义分析。我们的研究结果表明，虽然风格和词汇在各自的翻译差异很大，情感分析和语义相似性表明，所传达的信息大多是相似的。
2022-02-15 cs.AI cs.CL
BERT-ASC: Auxiliary-Sentence Construction for Implicit Aspect Learning in Sentiment Analysis
Zhuiyi AI Lab（追义人工智能实验室）
本文提出BERT-ASC统一框架，通过构建辅助句子机制解决隐式方面分类与情感分析任务，在多个基准数据集上取得最先进性能。
2024-08-23 cs.AI cs.CL cs.LG
MeisterMorxrc at SemEval-2020 Task 9: Fine-Tune Bert and Multitask Learning for Sentiment Analysis of Code-Mixed Tweets
Tianjin University（天津大学）
自然语言处理（NLP）已经应用于包括文本分类和情感分析的各种领域。在SemEval-2020竞赛\cite{patwa2020sentimix}的一部分代码混合推文的情感分析共享任务中，我们通过替换表情符号和删除不常见字符等来预处理数据集，然后微调来自Transformers（BERT）的双向编码器表示以获得最佳性能。在用尽top3提交，我们的团队MeisterMorxrc达到平均F1得分0.730在这个任务中，和我们的codalab用户名是MeisterMorxrc.
2020-12-15 cs.CL
Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis
虽然以前的研究基于情感分析（ABSA）的印尼酒店领域的评论已经进行了使用CNN和XGBoost，其模型并没有推广以及在测试数据和大量的OOV字导致错误分类的情况下。如今，大多数NLP任务的最新结果都是通过使用预训练的语言表示来实现的。在本文中，我们打算采用最重要的语言表示模型之一，BERT，在印度尼西亚评论数据集执行ABSA。通过将多语言BERT（m-BERT）与任务转换方法相结合，我们成功地实现了与我们以前的研究结果相比，F1分数显著提高了8%。
2021-03-05 cs.CL
Improving Results on Russian Sentiment Datasets
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
在这项研究中，我们测试了标准神经网络架构（CNN，LSTM，BiLSTM）和最近出现的BERT架构在以前的俄罗斯情感评估数据集上。我们比较了两个变种的俄罗斯BERT，并表明，在这项研究中的所有情感任务的会话变种的俄罗斯BERT表现更好。BERT-NLI模型将情感分类任务视为自然语言推理任务，取得了最好的结果。在其中一个数据集上，该模型实际上达到了人类水平。
2020-07-28 cs.CL
Distributionally Robust Classifiers in Sentiment Analysis
Stanford University（斯坦福大学）
在本文中，我们提出了基于BERT集成DRO（分布鲁棒分类器）的情感分类模型，以提高模型在具有分布变化的数据集上的性能。我们在BERT之上添加了2层Bi-LSTM、投影层（到单纯形或Lp球上）和线性层，以实现分布式鲁棒性。我们考虑了一种形式的分布转移（从IMDb数据集到烂番茄数据集）。我们已经通过实验证实，我们的DRO模型确实提高了我们的测试集的性能，从训练集的分布转移。
2021-10-20 cs.AI cs.CL
A Dataset and BERT-based Models for Targeted Sentiment Analysis on Turkish Texts
Boğaziçi University（海峡大学）
目标情感分析旨在从给定的文本中提取对特定目标的情感。这是一个由于互联网的日益普及而引起关注的领域，这导致人们产生大量数据。情感分析通常需要注释数据进行训练，是广泛研究的语言（如英语）的研究领域。对于像土耳其语这样的低资源语言，缺乏这样的注释数据。我们提出了一个注释的土耳其数据集适合有针对性的情感分析。我们还提出了不同架构的BERT模型，以完成有针对性的情感分析的任务。实验结果表明，对于目标情感分析任务，所提出的模型优于传统的情感分析模型。
2022-05-09 cs.CL cs.LG
Improving BERT Performance for Aspect-Based Sentiment Analysis
University of Parma（帕尔马大学）
基于情感的情感分析（ABSA）研究消费者对市场产品的看法。它涉及检查情感类型以及产品评论中表达的情感目标。分析评论中使用的语言是一项艰巨的任务，需要对语言有深刻的理解。近年来，深度语言模型，如BERT \cite{devlin2019bert}，在这方面取得了很大的进展。在这项工作中，我们提出了两个简单的模块，称为并行聚合和层次聚合上的BERT的两个主要的ABSA任务，即方面提取（AE）和方面的情感分类（ASC），以提高模型的性能。我们表明，应用所提出的模型消除了进一步训练的BERT模型的需要。源代码可在网上获得，以便进一步研究和复制结果。
2021-03-01 cs.CL cs.LG
Does BERT look at sentiment lexicon?
Vyatka State University（维亚特卡国立大学）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
情感分析的主要方法是基于规则的方法和机器学习，特别是具有Trans-former架构的深度神经网络模型，包括BERT。神经网络模型在情感分析任务中的性能优于基于规则的方法。由于深度神经网络模型的可解释性差，造成这种情况的原因仍不清楚。理解这两种方法之间的根本差异的主要关键之一是分析情感词典如何在神经网络模型中考虑。为此，我们研究了俄语RuBERT模型的注意力权重矩阵。我们对情感文本语料库的RuBERT进行了微调，并比较了情感和中性词典的注意力权重分布。事实证明，平均而言，3/4的各种模型变量的头部在统计上更关注情感词汇，而不是中性词汇。
2021-11-19 cs.CL
BERT-Based Combination of Convolutional and Recurrent Neural Network for Indonesian Sentiment Analysis
Universitas Indonesia（印度尼西亚大学）
情感分析是对文本中所表达的观点和情感的计算研究。深度学习是目前在各种应用领域中产生最先进技术的模型，包括情感分析。许多研究人员正在使用一种混合方法，该方法结合了不同的深度学习模型，并已被证明可以提高模型性能。在情感分析中，文本数据中的输入首先被转换成数值表示。用于获得文本表示的标准方法是微调嵌入方法。然而，这种方法并不关注句子中每个单词的上下文。因此，双向编码器表示从Transformer（BERT）模型被用来获得基于上下文和句子中的单词的位置的文本表示。这项研究扩展了以前的混合深度学习，使用BERT表示印度尼西亚情感分析。我们的模拟表明，BERT表示提高了所有混合架构的准确性。基于BERT的LSTM-CNN也比其他基于BERT的混合架构达到了更好的精度。
2022-11-10 cs.CL cs.LG
Bidirectional Encoder Representations from Transformers (BERT): A sentiment analysis odyssey
CenturyLink（世纪互联公司）；International Management Institute Bhubaneswar（布巴内斯瓦尔国际管理学院）
该研究的目的是调查四种不同的情感分析技术的相对有效性：（1）使用Sent WordNet的无监督的基于词典的模型;（2）使用逻辑回归的传统监督机器学习模型;（3）使用长短期记忆（LSTM）的监督深度学习模型;（4）使用LSTM的监督深度学习模型。以及（4）使用来自Transformers的双向编码器表示（BERT）的高级监督深度学习模型。我们使用最初发布在互联网电影数据库（IMDB）上的50，000个电影评论的公开标记语料库，使用Sent WordNet词典，逻辑回归，LSTM和BERT进行分析。前三个模型运行在基于CPU的系统上，而BERT运行在基于GPU的系统上。基于准确度、精确度、召回率和F1得分来评估情感分类性能。该研究提出了两个关键见解：（1）四种高度先进和广泛使用的情感分析技术的相对功效;（2）预训练的高级监督深度学习BERT模型在文本数据的情感分析中具有无可争议的优势。这项研究为分析行业的专业人士和从事文本分析的学者提供了关于关键情感分析技术（包括最近开发的BERT）的比较分类性能评估的关键见解。这是第一次将BERT的高级预训练监督深度学习模型与LSTM、逻辑回归和Sent WordNet的其他情感分析模型进行比较的研究。
2020-07-02 cs.CL stat.ML
Exploiting BERT to improve aspect-based sentiment analysis performance on Persian language
Boston University（波士顿大学）
基于情感的情感分析（ABSA）是情感分析中一个更详细的任务，通过识别对文本中某个方面的意见极性。由于这种方法提供了更全面、更有用的信息，因此受到了社会的更多关注。然而，对波斯语的语言研究很少。本研究的目的是改善波斯Pars-ABSA数据集上的ABSA。这项研究显示了使用预训练的BERT模型的潜力，并利用ABSA任务中使用的配对输入。结果表明，使用Pars-BERT预训练模型和自然语言推理辅助语句（NLI-M）可以将ABSA任务的准确率提高到91%，比Pars-ABSA数据集上的最新研究高出5.5%（绝对）。
2020-12-02 cs.CL
Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation?
LASTIMI Laboratory, EST Salé（LASTIMI实验室，萨累高等技术学院）；Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
该研究针对摩洛哥购物场所情感分析任务，对比了微调BERT与拼接两种句子嵌入提升堆叠BiLSTM-BiGRU模型性能的方法，还开展了最优学习率搜索及不同嵌入组合的最优优化器对比。
2023-12-12 cs.AI cs.CL
Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis and Natural Language Inference
School of Data and Computer Science（数据与计算机学院）；Sun Yat-sen University（中山大学）；Guangzhou, China（中国广州（注：此为地址信息，非机构，根据规则应忽略，此处原文本可能存在排版问题，正确机构应为前两项））
基于方面的情感分析旨在识别文本中对特定方面的情感倾向。预训练的BERT的微调在此任务上表现出色，并实现了最先进的性能。现有的基于BERT的工作只利用BERT的最后一个输出层，而忽略了中间层的语义知识。本文探讨了利用BERT中间层来增强BERT的微调性能的潜力。据我们所知，目前还没有关于这项研究的工作。为了说明该方法的通用性，我们还将其应用于一个自然语言推理任务。实验结果证明了该方法的有效性和通用性。
2020-02-12 cs.CL cs.LG
A BERT based Sentiment Analysis and Key Entity Detection Approach for Online Financial Texts
Wuhan University of Technology（武汉理工大学）
互联网的出现和迅速发展给金融领域带来了越来越大的冲击。如何从海量的负面金融文本中快速、准确地挖掘出关键信息，成为投资者和决策者关注的关键问题之一。针对这一问题，提出了一种基于BERT的情感分析和关键实体检测方法，并将其应用于在线金融文本挖掘和社会媒体舆情分析。通过使用预训练模型，我们首先研究了情感分析，然后我们认为关键实体检测作为一个句子匹配或机器阅读理解（MRC）任务在不同的粒度。其中，我们主要关注负面情感信息。与传统的命名实体识别方法不同，本文提出的方法能够检测出特定的实体。此外，我们还使用集成学习来提高所提出的方法的性能。实验结果表明，在金融情感分析和关键实体检测数据集上，该方法的性能普遍高于SVM、LR、NBM和BERT。
2020-01-14 cs.CL
Adapt or Get Left Behind: Domain Adaptation through BERT Language Model Finetuning for Aspect-Target Sentiment Classification
广告目标情感分类（ATSC）是基于广告的情感分析（ABSA）的子任务，ABSA具有许多应用，例如在电子商务中，可以利用来自评论的数据和见解为企业和客户创造价值。最近，深度迁移学习方法已成功应用于无数的自然语言处理（NLP）任务，包括ATSC。在突出的BERT语言模型的基础上，我们使用两步过程来实现ATSC：自监督特定领域的BERT语言模型微调，然后是监督特定任务的微调。我们关于如何最好地利用特定领域语言模型微调的研究结果使我们能够在SemEval 2014任务4餐馆数据集上产生新的最先进的性能。此外，为了探索我们的模型在现实世界中的鲁棒性，我们进行了跨域评估。我们表明，跨域适应BERT语言模型的性能显着优于强大的基线模型，如香草BERT-base和XLNet-base。最后，我们进行了一个案例研究来解释模型的预测误差。
2019-11-19 cs.CL
A Unified BERT-CNN-BiLSTM Framework for Simultaneous Headline Classification and Sentiment Analysis of Bangla News
Department of CCE, International Islamic University Chittagong（国际伊斯兰大学丘拉图加冈分校计算机工程系）；Department of ICE, Noakhali Science and Technology University（诺阿克利科学与技术大学信息工程系）；Department of CSE, Banladesh University of Engineering and Technology（孟加拉工程与技术大学计算机科学与工程系）；Dept. of CSE, IIUC, Chattogram, Bangladesh（国际伊斯兰大学丘拉图加冈分校计算机科学与工程系）；School of CSE, University of Southern Mississippi（密西西比大学南方分校计算机科学学院）；Department of CSE, Netrokona University（纳特罗克纳大学计算机科学与工程系）；mPower Social Enterprise（mPower社会企业）
本文提出BERT-CNN-BiLSTM框架，用于孟加拉新闻标题的联合分类与情感分析，通过两种实验策略提升分类性能，达到新的SOTA结果。
2026-10-05 cs.AI cs.CL
Exploiting BERT for End-to-End Aspect-based Sentiment Analysis
The Chinese University of Hong Kong（香港中文大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
在本文中，我们研究了E2 E-ABSA任务中来自预训练语言模型（例如BERT）的上下文嵌入的建模能力。具体来说，我们构建了一系列简单但有见地的神经基线来处理E2 E-ABSA。实验结果表明，即使使用简单的线性分类层，我们基于BERT的架构也可以超越最先进的作品。此外，我们还标准化的比较研究，始终利用一个坚持的验证数据集的模型选择，这是在很大程度上被忽略了以前的工作。因此，我们的工作可以作为一个基于BERT的基准E2 E-ABSA。
2019-10-04 cs.CL
Classifying Tweet Sentiment Using the Hidden State and Attention Matrix of a Fine-tuned BERTweet Model
ETH Zürich（苏黎世联邦理工学院）
本文介绍了一种推文情感分类的研究。我们的任务是将推文分类为积极或消极。我们分两步来处理这个问题，即嵌入和分类。我们的基线方法包括传统嵌入方法和分类算法的几种组合。此外，我们探讨了目前最先进的推文分析模型，BERTweet，并提出了一种新的方法，其中功能工程的隐藏状态和注意力矩阵的模型，灵感来自经验研究的推文。使用一个多层感知器训练与高辍学率的分类，我们提出的方法实现了0.9111的验证精度。
2021-09-29 cs.CL
Fine-grained Sentiment Classification using BERT
Tribhuvan University（特里布万大学）；Institute of Engineering, Tribhuvan University（特里布万大学工程学院）
情感分类是理解人们对产品、服务或主题的感知的重要过程。许多自然语言处理模型已经被提出来解决情感分类问题。然而，他们中的大多数都集中在二进制情感分类。在本文中，我们使用一种名为BERT的有前途的深度学习模型来解决细粒度的情感分类任务。实验表明，我们的模型优于其他流行的模型，没有复杂的架构，这项任务。我们还证明了迁移学习在自然语言处理中的有效性。
2019-10-04 cs.CL cs.LG stat.ML
Video Games as a Corpus: Sentiment Analysis using Fallout New Vegas Dialog
University of Helsinki（赫尔辛基大学）；École Normale Supérieure（巴黎高等师范学院）
我们提出了一种方法，用于从Fallout New Vegas中提取多语言情感注释对话数据集。游戏开发者已经在游戏中的每一行对话中预先注释了8种不同情感之一：\textit{anger, disgust, fear, happy, neutral, pained, sad }和\textit{surprised}。该游戏已被翻译成英语，西班牙语，德语，法语和意大利语。我们使用多语言BERT，XLMRoBERTa和语言特定的BERT模型提取的数据集上进行多语言，多标签情感分析的实验。在我们的实验中，对于大多数语言，多语言BERT的性能优于XLMRoBERTa，对于大多数语言，语言特定模型也略优于多语言BERT。最好的整体准确率为54%，它是通过使用西班牙语数据的多语言BERT。提取的数据集提出了一个具有挑战性的任务，情感分析。我们已经在Zenodo上公开发布了数据，包括测试和训练部分。由于版权原因，数据集被打乱了。
2022-12-05 cs.CL
Arabic aspect sentiment polarity classification using BERT
Assiut University（艾斯尤特大学）
基于情感的情感分析（ABSA）是一种文本分析方法，它定义了与特定目标相关的某些方面的意见极性。关于ABSA的大部分研究是用英语进行的，有少量的工作是用阿拉伯语进行的。大多数以前的阿拉伯语研究都依赖于深度学习模型，这些模型主要依赖于上下文无关的词嵌入（例如word2vec），其中每个词都有一个独立于其上下文的固定表示。本文探讨了上下文嵌入的建模能力，从预先训练的语言模型，如BERT，并利用句子对输入的阿拉伯语方面的情感极性分类任务。特别是，我们开发了一个简单但有效的基于BERT的神经基线来处理这个任务。我们的BERT架构与一个简单的线性分类层超越了国家的最先进的作品，根据三个不同的阿拉伯语数据集的实验结果。在阿拉伯语酒店评论数据集上实现了89.51%的准确率，在人类注释书评数据集上实现了73%的准确率，在阿拉伯语新闻数据集上实现了85.73%的准确率。
2023-03-10 cs.CL
Adversarial Training for Aspect-Based Sentiment Analysis with BERT
University of Parma（帕尔马大学）
基于情感的情感分析（ABSA）处理情感及其目标的提取。为了帮助神经网络更好地泛化，为这项任务收集标记数据可能是费力和耗时的。作为替代方案，可以通过在嵌入空间中执行的对抗过程人工生成与真实世界示例相似的数据。虽然这些例子不是真实的句子，但它们已被证明是一种正则化方法，可以使神经网络更加鲁棒。在这项工作中，我们将Goodfellow et al.（2014）提出的对抗训练应用于Xu et al.（2019）提出的后训练BERT（BERT-PT）语言模型，用于情感分析中的Aspect Extraction和Aspect Sentiment Classification两个主要任务。在通过消融研究改进后训练的BERT的结果之后，我们提出了一种新的称为BERT对抗训练（BAT）的架构，以在ABSA中利用对抗训练。所提出的模型在这两个任务中都优于后训练的BERT。据我们所知，这是第一次在ABSA中应用对抗训练的研究。
2020-10-23 cs.CL cs.LG stat.ML
Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
情感分析是自然语言处理领域的一项重要任务，它是对用户对某一特定问题的反馈数据进行评价和分析。已经提出了许多深度学习模型来解决这个任务，包括最近引入的双向编码器表示来自Transformers（BERT）模型。在本文中，我们在越南评论数据集上实验了两种BERT微调方法用于语义分析任务：1）仅使用[CLS]标记作为附加前馈神经网络的输入的方法，以及2）另一种方法，其中所有BERT输出向量都用作分类的输入。在两个数据集上的实验结果表明，使用BERT的模型性能略优于使用GloVe和FastText的模型。此外，对于本研究中使用的数据集，我们提出的BERT微调方法产生的模型具有更好的性能比原来的BERT微调方法。
2020-11-20 cs.CL cs.LG
BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives
Federal University of Rio de Janeiro（里约热内卢联邦大学）
BERT通过使用可以捕获复杂文本模式的大语言模型实现迁移学习，彻底改变了NLP领域，达到了NLP应用程序的最新水平。对于文本分类任务，BERT已经得到了广泛的研究。然而，如何更好地处理BERT输出层提供的不同嵌入以及使用特定语言而不是多语言模型等方面在文献中没有得到很好的研究，尤其是对于巴西葡萄牙语。这篇文章的目的是进行广泛的实验研究，对不同的策略聚合的功能产生的BERT输出层，重点是情感分析任务。实验包括用巴西葡萄牙语语料库和多语言版本训练的BERT模型，考虑多种聚合策略和具有预定义训练，验证和测试分区的开源数据集，以促进结果的再现性。与TF-IDF相比，BERT在大多数情况下实现了最高的ROC-AUC值。尽管如此，TF-IDF代表了预测性能和计算成本之间的良好权衡。
2022-01-10 cs.CL
BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
问答在电子商务中起着重要的作用，因为它允许潜在客户主动寻求有关产品或服务的关键信息，以帮助他们做出购买决策。受最近机器阅读理解（MRC）在正式文档上的成功启发，本文探讨了将客户评论转化为可用于回答用户问题的大量知识来源的潜力。我们把这个问题称为复习阅读理解（RRC）。据我们所知，目前还没有关于RRC的工作。在这项工作中，我们首先建立一个RRC数据集称为ReviewRC基于流行的基准为基础的方面的情感分析。由于ReviewRC对RRC（以及基于方面的情感分析）的训练样本有限，因此我们在流行的语言模型BERT上探索了一种新的后训练方法，以增强RRC的BERT微调性能。为了显示该方法的通用性，所提出的后训练也适用于其他一些基于审查的任务，如方面提取和方面的情感分类在基于方面的情感分析。实验结果表明，所提出的后训练是非常有效的。数据集和代码可在https://www.cs.uic.edu/~hxu/上获得。
2019-05-04 cs.CL
Sentiment Classification in Swahili Language Using Multilingual BERT
Soonchunhyang University（顺天乡大学）
互联网的发展增加了人们在不同平台上表达的信息量。这些信息可以是产品评论、论坛讨论或社交媒体平台。这些意见和人们的感受的可访问性打开了意见挖掘和情感分析的大门。随着语言和语音技术的发展，已经使用了许多语言，并获得了最佳模型。然而，由于语言多样性和缺乏数据集，非洲语言被抛在后面。在这项研究中，通过使用当前国家的最先进的模型，多语言BERT，我们进行情绪分类斯瓦希里语数据集。这些数据是通过提取和注释不同社交媒体平台上的8.2k评论和评论以及ISOMEMORY情感数据集创建的。数据分为阳性或阴性。对模型进行了微调，达到了87.59%的最佳精度。
2021-04-19 cs.CL
Lexicon-based Methods vs. BERT for Text Sentiment Analysis
Vyatka State University（维亚特卡国立大学）；ITMO University（ITMO大学）
近年来，情感分析方法的性能大大提高。这是由于使用了基于Transformer架构的各种模型，特别是BERT。然而，深度神经网络模型难以训练并且难以解释。另一种方法是使用情感词典的基于规则的方法。它们速度快，不需要训练，而且解释得很好。但最近，由于深度学习的广泛使用，基于词汇的方法已经退居幕后。本文的目的是研究SO-CAL和SentiStrength基于词典的方法，适用于俄语的性能。我们已经测试了这些方法，以及RuBERT神经网络模型，对16个文本语料库，并分析了他们的结果。平均而言，RuBERT优于这两种基于词典的方法，但SO-CAL在16个语料库中有4个超过了RuBERT。
2021-11-19 cs.CL
Sentiment analysis in Bengali via transfer learning using multi-lingual BERT
Shahjalal University of Science and Technology（沙贾拉勒科技大学）；Fordham University（福特汉姆大学）
孟加拉语中的情感分析（SA）是具有挑战性的，这是由于这种印度-雅利安语言的高度屈折特性，动词有160多种不同的屈折形式，名词有36种不同的形式，代词有24种不同的形式。孟加拉语领域缺乏标准标记数据集使得SA的任务更加困难。在本文中，我们提出了手动标记的2类和3类SA数据集在孟加拉语。我们还证明了具有相关扩展的多语言BERT模型可以通过在这些新数据集上的迁移学习方法进行训练，以提高情感分类任务的最新性能。这种深度学习模型对于2类情感分类的准确率达到了71%，而目前最先进的准确率为68%。我们还提出了第一个孟加拉SA分类器的3类手动标记的数据集，我们提出的模型达到了60%的准确率。我们进一步使用这个模型来分析网络日报中的公众评论的情绪。我们的分析表明，人们对政治或体育新闻的负面评论更多，而宗教文章的评论代表了积极的情绪。数据集和代码可在https：//github.com/KhondokerIslam/Bengali\_Sentiment上公开获取。
2020-12-03 cs.CL
Sensitivity Analysis on Transferred Neural Architectures of BERT and GPT-2 for Financial Sentiment Analysis
University of Toronto（多伦多大学）
新的NLP词嵌入和深度学习技术的爆炸式发展已经引起了对潜在应用的重大努力。其中一个方向是金融部门。虽然在GPT和BERT等最先进的模型中做了很多工作，但关于这些方法在预训练后通过微调的表现以及关于其参数敏感性的信息相对较少。我们研究了来自预训练的GPT-2和BERT模型的转移神经架构的性能和灵敏度。我们基于冻结Transformer层、批量大小和学习率来测试微调性能。我们发现BERT的参数在微调时对随机性非常敏感，而GPT-2在微调时更稳定。同样清楚的是，GPT-2和BERT的早期层包含应该维护的基本单词模式信息。
2022-07-07 cs.CL
SemEval-2017 Task 4: Sentiment Analysis in Twitter using BERT
University of Minnesota Duluth（明尼苏达大学德卢斯分校）
本文使用 BERT（BASE）模型解决 SemEval-2017 任务 4A 的 Twitter 英语情感分析，在二分类子任务上优于朴素贝叶斯基线，并考虑了数据伦理问题。
2024-06-19 cs.CL
Multimodal Sentiment Analysis Based on BERT and ResNet
School of Information and Engineering Zhongnan University of Economics and Law（中南财经政法大学信息与工程学院）
针对文本与图像特征难以有效融合的问题，提出结合 BERT 与 ResNet 并采用注意力机制融合的多模态情感分析框架，在 MAVA-single 上将最佳准确率提升至 74.5%。
2024-12-04 cs.CL
A sentiment analysis model for car review texts based on adversarial training and whole word mask BERT
Beijing University of Posts and Telecommunications（北京邮电大学）；Didi Research Institute, Didi Chuxing（滴滴出行滴滴研究院）
在汽车评价领域，越来越多的网友选择在互联网平台上发表自己的意见，而这些评论会影响到买家的决策和汽车口碑的走向。情感分析作为自然语言处理的一个重要分支，为分析海量汽车评论文本的情感类型提供了一种有效的研究方法。然而，由于汽车领域评论文本的词汇专业性和文本噪声大，当一般的情感分析模型应用于汽车评论时，模型的准确性会很差。为了克服上述挑战，我们针对汽车评论文本的情感分析任务。从词向量的角度出发，利用汽车领域专有词汇的全词掩码进行预训练，然后采用对抗训练集的策略进行训练数据。在此基础上，提出了一种基于对抗训练和整词掩码BERT的汽车评论文本情感分析模型（ATWWM-BERT）。
2022-06-06 cs.CL cs.IR
Understanding Pre-trained BERT for Aspect-based Sentiment Analysis
Institute for Data Science, Tsinghua University（清华大学数据科学研究院）；Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文分析了基于方面的情感分析（ABSA）任务中从BERT上的评论中学习到的预训练隐藏表示。我们的工作是基于BERT的ABSA语言模型的最新进展。然而，目前还不清楚如何（掩蔽）语言模型的一般代理任务上训练的未标记的语料库没有方面或意见的注释可以提供重要的功能，在ABSA的下游任务。通过利用ABSA中的注释数据集，我们研究了评论预训练的BERT的注意力和学习表示。我们发现，BERT使用很少的自我注意中心词来编码上下文词（如介词或代词，指示一个方面）和意见词的一个方面。方面表示中的大多数特性都致力于领域（或产品类别）和方面本身的细粒度语义，而不是从其上下文中携带总结的意见。我们希望这项研究能够帮助未来的研究，以改善自监督学习，无监督学习和微调ABSA。预训练的模型和代码可以在https://github.com/howardhsu/BERT-for-RRC-ABSA上找到。
2020-10-31 cs.CL
Gender Bias in BERT -- Measuring and Analysing Biases through Sentiment Rating in a Realistic Downstream Classification Task
Institute for Software Technology（软件技术研究所）；German Aerospace Center (DLR)（德国航空航天中心（DLR））；TU Darmstadt（达姆施塔特工业大学）
本文通过提出一种基于男女样本情感评估差异的新偏见测量方法，并在IMDB电影分类任务中系统分析63个模型，发现性别偏见主要源于公开BERT模型而非任务数据，强调了负责任使用的重要性。
2023-06-27 cs.AI cs.CL cs.CY
Classifying COVID-19 Related Tweets for Fake News Detection and Sentiment Analysis with BERT-based Models
Tlemcen University（特莱姆森大学）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
本文介绍了团队“techno”在CERIST'22共享任务中，结合自然语言处理工具与预训练模型BERT，对COVID-19相关推文进行情感分析与假新闻检测，分别取得0.93和0.90的准确率。
2023-04-02 cs.CL
Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach
The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
本文提出一种结合BERT文本特征与DINOv2图像特征的多模态情感分析架构，并设计三种融合模型，在三个数据集上验证了其可行性与实用性。
2025-03-11 cs.CL cs.CV
Sentiment Analysis of Online Travel Reviews Based on Capsule Network and Sentiment Lexicon
Beijing University of Posts and Telecommunications（北京邮电大学）
随着在线旅游服务的发展，及时挖掘用户对旅游服务的评价情绪，并以此为指标来指导在线旅游服务质量的提升，具有很大的应用前景。本文研究了基于社交媒体在线评论的在线旅游评论文本情感分类问题，提出了基于胶囊网络和情感词典的SCCL模型。SCCL模型是针对语言模型中缺乏对文本的局部特征和情感语义特征的考虑而提出的，该模型能够有效地提取文本的上下文特征，如BERT和GRU。然后针对其不足之处做以下改进。一方面，在BERT-BiGRU的基础上，引入胶囊网络，在提取局部特征的同时保留良好的上下文特征。另一方面，引入情感词典提取文本的情感序列，为模型提供更丰富的情感语义特征。为了增强情感词典的通用性，采用基于TF-IDF的改进SO-PMI算法对情感词典进行扩展，使情感词典在在线旅游评论领域也有良好的表现。
2022-06-05 cs.AI cs.CL
Applying BERT and ChatGPT for Sentiment Analysis of Lyme Disease in Scientific Literature
School of Mathematical and Computational Sciences, Massey University（梅西大学数学与计算科学学院）
本文以5643篇慢性莱姆病科学摘要为数据，演示用Python结合BERT等预训练语言模型与ChatGPT进行情感分析，并借助可解释机器学习工具验证结果，以评估相关话语中的偏见。
2023-02-07 cs.CL
Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment Classification Tasks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Facebook AI Research（Facebook人工智能研究院）
本文研究了一系列方面情感分类任务的持续学习问题。虽然已经提出了一些CL技术用于文档情感分类，但我们不知道ASC上的任何CL工作。增量学习ASC任务序列的CL系统应该解决以下两个问题：（1）将从先前任务中学习的知识转移到新任务中，以帮助它学习更好的模型，以及（2）保持先前任务的模型性能，以便它们不会被遗忘。本文提出了一种新的基于胶囊网络的模型B-CL来解决这些问题。B-CL通过前向和后向知识转移显著提高了ASC在新任务和旧任务上的绩效。通过大量的实验证明了B-CL的有效性。
2021-12-06 cs.AI cs.CL cs.LG
Exploiting BERT For Multimodal Target Sentiment Classification Through Input Space Translation
Northeastern University（东北大学）
多模态目标/方面情感分类结合了多模态情感分析和方面/目标情感分类。任务的目标是结合视觉和语言来理解句子中对目标实体的情感。Twitter是这项任务的理想环境，因为它本质上是多模态的，高度情绪化的，并影响现实世界的事件。然而，多模态推文很短，并伴随着复杂的，可能无关的图像。我们引入了一个双流模型，使用对象感知的Transformer，然后通过单通道非自回归文本生成方法，在输入空间中转换图像。然后，我们利用翻译来构建一个辅助句子，为语言模型提供多模态信息。我们的方法增加了语言模型可用的文本量，并提取了复杂图像中的对象级信息。我们在两个多模态Twitter数据集上实现了最先进的性能，而无需修改语言模型的内部结构以接受多模态数据，这证明了我们翻译的有效性。此外，我们解释了一个流行的方面情感分析的方法时，适用于推文的失败模式。我们的代码可在\textcolor{blue}{\url{https://github.com/codezakh/exploiting-BERT-thru-translation}}上获得。
2021-08-05 cs.CL cs.CV
AR-BERT: Aspect-relation enhanced Aspect-level Sentiment Classification with Multi-modal Explanations
IIT Kharagpur（印度理工学院卡拉格普尔分校）
方面级情感分类（ALSC）是一个困难的问题，最先进的模型在基准数据集上显示不到80%的宏观F1分数。现有的模型不包括知识图谱（KG），如DBpedia方面的关系的信息。两个主要的挑战来自于KG实体方面的不准确的消歧，以及无法在与ALSC模型的联合训练中从大型KG学习方面表示。我们提出了AR-BERT，一种新的两级全局-局部实体嵌入方案，可以有效地联合训练基于KG的方面嵌入和ALSC模型。一种新的不正确的消歧检测技术解决的问题，方面消歧的不准确性。我们还介绍了在多模态解释生成中确定模态重要性的问题，并提出了一个两步的解决方案。与最近基于BERT的基准数据集基线相比，所提出的方法显示出2.5 - 4.1个百分点的一致改进。该代码可在https://github.com/mainuliitkgp/AR-BERT.git上获得。
2022-02-14 cs.CL cs.IR
Aspect-Based Sentiment Analysis for Future Tourism Experiences: A BERT-MoE Framework for Persian User Reviews
本文提出一种BERT-MoE框架，用于波斯语旅游评论的基于方面的情感分析，实现90.6%的ABSA F1分数，同时提升计算效率，支持可持续AI发展。
2026-02-13 cs.CL cs.LG
Sentiment Analysis of Movie Reviews Using BERT
University of Arkansas（阿肯色大学）；University of Cincinnati（辛辛那提大学）
本文通过微调BERT与BiLSTM进行电影评论情感分析，旨在超越现有最先进方法，并利用启发式算法计算总体极性以支持电影推荐。
2025-02-26 cs.CL
Iterative Network Pruning with Uncertainty Regularization for Lifelong Sentiment Classification
University of Science and Technology of China（中国科学技术大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Westlake University（西湖大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Tencent（腾讯）
终身学习能力对于情感分类器处理网络上持续的意见信息流至关重要。然而，执行终身学习对于深度神经网络来说并不简单，因为对增量可用信息的持续训练不可避免地导致灾难性遗忘或干扰。在本文中，我们提出了一种新的迭代网络修剪与不确定性正则化方法终身情感分类（IPRLS），它利用网络修剪和权重正则化的原则。通过以迭代方式执行网络修剪和不确定性正则化，IPRLS可以适应单个BERT模型来处理来自多个域的连续到达的数据，同时避免灾难性遗忘和干扰。具体来说，我们利用迭代修剪方法来删除大型深度网络中的冗余参数，以便释放的空间可以用于学习新任务，解决灾难性遗忘问题。在学习新任务时，我们没有保持旧任务不变，而是使用基于贝叶斯在线学习框架的不确定性正则化来约束BERT中旧任务权重的更新，这使得正向向后转移成为可能，即学习新任务可以提高过去任务的性能，同时保护旧知识不丢失。此外，我们提出了一个特定于任务的低维残差函数并行到BERT的每一层，这使得IPRLS不太容易丢失的知识保存在基础BERT网络时，学习一个新的任务。在16个流行评论语料库上的实验表明，该方法在终身情感分类方面明显优于强基线。为了重现性，我们将代码和数据提交到：https://github.com/siat-nlp/IPRLS。
2021-06-21 cs.AI cs.CL
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
多模态学习管道受益于预训练语言模型的成功。然而，这是以增加模型参数为代价的。在这项工作中，我们提出了适应多模态BERT（AMB），BERT为基础的架构，多模态任务，使用适配器模块和中间融合层的组合。适配器为手头的任务调整预训练的语言模型，而融合层执行特定于任务的视听信息与文本BERT表示的逐层融合。在自适应过程期间，预训练的语言模型参数保持冻结，从而允许快速、参数高效的训练。在我们的消融中，我们看到这种方法导致了高效的模型，可以优于其微调的同行，并对输入噪声具有鲁棒性。我们的情感分析与CMU-MOSEI的实验表明，AMB优于目前最先进的跨指标，与3.4%的相对减少所产生的错误和2.1%的相对提高7类分类精度。
2022-12-01 cs.CL cs.CV cs.LG
FinEAS: Financial Embedding Analysis of Sentiment
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；LHF Labs（LHF实验室）；Artificial Intelligence Finance Institute（人工智能金融研究所）；NYU Courant（纽约大学库朗数学科学研究所）
我们介绍了一种新的语言表示模型，在金融称为金融嵌入分析的情绪（FinEAS）。在金融市场，新闻和投资者情绪是证券价格的重要驱动因素。因此，利用现代NLP方法的功能进行金融情感分析是识别对市场参与者和监管机构有用的模式和趋势的关键组成部分。近年来，使用基于transformer的大型语言模型（如BERT）的迁移学习方法在文本分类任务中取得了最先进的成果，包括使用标记数据集的情感分析。研究人员已经迅速将这些方法应用于金融文本，但在这一领域的最佳实践还没有得到很好的确立。在这项工作中，我们提出了一个新的模型，金融情感分析的基础上监督微调句子嵌入标准BERT模型。我们证明了我们的方法与普通BERT，LSTM和FinBERT（一种金融领域特定的BERT）相比取得了显着的改进。
2021-11-19 cs.CL q-fin.CP q-fin.PM
