Corpus Creation for Sentiment Analysis in Code-Mixed Tamil-English Text
Cardiff University(卡迪夫大学);Saraswathi Narayanan College(萨拉斯瓦蒂·纳拉亚南学院)
从视频或图像中理解评论的情感是许多应用中的一项重要任务。文本的情感分析可以用于各种决策过程。其中一个应用是基于观众评论分析社交媒体上视频的流行情绪。然而,来自社交媒体的评论并不遵循严格的语法规则,它们包含多种语言的混合,通常是用非母语脚本编写的。对于像泰米尔语这样的低资源语言,没有注释的代码混合数据也增加了这个问题的难度。为了克服这个问题,我们创建了一个黄金标准的泰米尔语-英语代码转换,情感注释语料库,包含来自YouTube的15,744条评论帖子。在本文中,我们描述了创建语料库和分配极性的过程。我们提出了注释者之间的协议,并显示了在此语料库上训练的情感分析的结果作为基准。
2020-05-30 cs.CL
Preparing Bengali-English Code-Mixed Corpus for Sentiment Analysis of Indian Languages
SRM University(SRM大学);Jadavpur University(贾达普大学)
最近,已经相当密集地尝试了对社交用户的信息内容和情感的分析。大多数系统只适用于单语数据,当用于具有代码混合属性的数据时失败或给出较差的结果。为了吸引人们的注意力并鼓励研究人员致力于这场危机,我们准备了黄金标准的孟加拉语-英语代码混合数据,其中包含语言和极性标签,用于情感分析。在本文中,我们讨论了我们准备收集和过滤原始Twitter数据的系统。为了减少人工工作,而注释,混合系统相结合的基于规则和监督模型开发的语言和情感标记。最终的语料库由一组注释者按照一些准则进行注释。由此获得的黄金标准语料库具有令人印象深刻的注释者间的一致性,获得的Kappa值。代码混合指数(CMI),代码混合因子(CF)以及各个方面(语言和情感)等各种指标也定性地调查了语料库的代码混合和情感属性。
2018-03-11 cs.CL
FinnSentiment -- A Finnish Social Media Corpus for Sentiment Polarity Annotation
University of Helsinki(赫尔辛基大学)
情感分析和意见挖掘是一项重要的任务,在社交媒体中具有明显的应用领域,例如在指示仇恨言论和假新闻时。在我们对以前工作的调查中,我们注意到没有大规模的社交媒体数据集带有芬兰语的情感极性注释。该出版物旨在通过引入由三个本地注释者独立地用情感极性注释的27,000个句子数据集来弥补这一缺点。对于整个数据集,我们有相同的三个注释器,这为进一步研究注释器随时间的行为提供了独特的机会。我们分析了他们的注释者之间的协议,并提供了两个基线来验证数据集的有用性。
2020-12-04 cs.CL
SentiPers: A Sentiment Analysis Corpus for Persian
The George Washington University(乔治华盛顿大学);Ferdowsi University of Mashhad(马什哈德菲尔多西大学);Shahid Beheshti University(沙希德·贝赫什提大学);University of Guilan(吉兰大学)
情感分析是自然语言处理、计算语言学和信息检索的一个重要研究领域。近年来,学术界和工业界对SA的兴趣不断增长。此外,越来越需要生成适当的资源和数据集,特别是针对包括波斯语在内的低资源语言。这些数据集在使用监督、半监督或无监督方法设计和开发适当的意见挖掘平台方面发挥着重要作用。在本文中,我们概述了开发一个手动注释的情感语料库,SentiPers,其中包括正式和非正式的书面当代波斯语的整个过程。据我们所知,SentiPers是一个独特的情感语料库,在三个不同的级别上具有如此丰富的注释,包括波斯语的文档级,文档级和实体/方面级。该语料库包含超过26000个句子的用户意见,从数字产品领域和特殊的特点,如量化的积极或消极的意见,通过指定一个特定范围内的任何给定的句子的好处。此外,我们目前的统计数据,我们的语料库的各个组成部分,以及研究注释者之间的注释协议。最后,我们还将讨论在注释过程中面临的一些挑战。
2021-01-01 cs.CL
Video Games as a Corpus: Sentiment Analysis using Fallout New Vegas Dialog
University of Helsinki(赫尔辛基大学);École Normale Supérieure(巴黎高等师范学院)
我们提出了一种方法,用于从Fallout New Vegas中提取多语言情感注释对话数据集。游戏开发者已经在游戏中的每一行对话中预先注释了8种不同情感之一:\textit{anger, disgust, fear, happy, neutral, pained, sad }和\textit{surprised}。该游戏已被翻译成英语,西班牙语,德语,法语和意大利语。我们使用多语言BERT,XLMRoBERTa和语言特定的BERT模型提取的数据集上进行多语言,多标签情感分析的实验。在我们的实验中,对于大多数语言,多语言BERT的性能优于XLMRoBERTa,对于大多数语言,语言特定模型也略优于多语言BERT。最好的整体准确率为54%,它是通过使用西班牙语数据的多语言BERT。提取的数据集提出了一个具有挑战性的任务,情感分析。我们已经在Zenodo上公开发布了数据,包括测试和训练部分。由于版权原因,数据集被打乱了。
2022-12-05 cs.CL
Quotations, Coreference Resolution, and Sentiment Annotations in Croatian News Articles: An Exploratory Study
Faculty of Humanities and Social Sciences, University of Zagreb(萨格勒布大学人文与社会科学学院)
本文提出了一个语料库注释的任务,直接语音提取在克罗地亚。本文主要对SETimes新闻语料库中克罗地亚语的引文标注、共指消解和情感标注进行研究,并分析其与英语的语言差异。由此,推导出在执行这些注释时需要特别注意的现象的列表。所生成的带有引文特征注释的语料库可以用于自然语言处理领域的多个任务。
2022-12-14 cs.CL
The interplay between language similarity and script on a novel multi-layer Algerian dialect corpus
University of Oslo(奥斯陆大学)
近年来,人们对类型相似的语言之间以及不同文字之间的跨语言迁移越来越感兴趣。然而,语言文字的相似性和差异性在跨语言迁移中的相互作用是一个研究较少的问题。我们探讨这种相互作用的跨语言迁移的两个监督任务,即词性标注和情感分析。我们介绍了一个新的注释语料库阿尔及利亚用户生成的评论,包括平行注释阿尔及利亚写在拉丁语,阿拉伯语和代码切换脚本,以及注释的情绪和主题类别。我们通过微调多语言语言模型来进行基线实验。我们进一步探讨了脚本与语言相似性在跨语言迁移中的影响,通过微调多语言模型,这些语言是a)类型上不同的,但使用相同的脚本,b)类型上相似的,但使用不同的脚本,或c)类型上相似的,并使用相同的脚本。我们发现,有一个微妙的关系,脚本和类型学的词性,而情感分析是不太敏感。
2021-05-31 cs.CL
FASSILA: A Corpus for Algerian Dialect Fake News Detection and Sentiment Analysis
Ahmed Draia University(艾哈迈德·德拉亚大学);GESIS – Leibniz-Institute for the Social Sciences(莱布尼茨社会科学研究所GESIS)
针对阿尔及利亚方言资源匮乏问题,构建了包含10,087个句子的FASSILA语料库,用于假新闻检测和情感分析,并提出标注方案,实验验证了BERT和ML模型的有效性。
2024-11-07 cs.CL
NoReC: The Norwegian Review Corpus
University of Oslo(奥斯陆大学);Schibsted Media Group(施伯史泰德媒体集团)
本文介绍了挪威评论语料库(NoReC),创建的训练和评估模型的文档级情感分析。全文评论收集自挪威主要新闻来源,涵盖了一系列不同的领域,包括文学,电影,视频游戏,餐馆,音乐和戏剧,以及一系列类别的产品评论。每个评论都标有手动分配的1-6分,由原作者的评分提供。该语料库的首次发布包含35,000多条评论。它使用CoNLL-U格式分发,使用UDPipe进行预处理,以及丰富的元数据集。本文中报告的工作构成了SANT倡议(情绪分析挪威文本),一个项目,旨在提供资源和工具的情感分析和意见挖掘挪威的一部分。由于情感分析的资源到目前为止还无法用于挪威语,NoReC代表了挪威语技术的一个非常有价值和受欢迎的补充。
2017-10-15 cs.CL
SemEval-2023 Task 12: Sentiment Analysis for African Languages (AfriSenti-SemEval)
University of Porto(波尔图大学);University of Cambridge(剑桥大学);Universität Hamburg(汉堡大学);Bahir Dar University(巴赫达尔大学);National Research Council Canada(加拿大国家研究委员会);Uppsala University(乌普萨拉大学);Google Research(谷歌研究院);Bayero University Kano(贝罗大学卡诺分校);Ahmadu Bello University, Zaria(扎里亚艾哈迈德·贝罗大学);University College London(伦敦大学学院)
本文介绍SemEval-2023的非洲语言情感分析共享任务AfriSenti-SemEval,涵盖14种非洲语言的三类情感分类,设三个子任务并公布各任务最佳成绩与前十系统方法。
2023-05-01 cs.CL
Sexism detection: The first corpus in Algerian dialect with a code-switching in Arabic/ French and English
Aston University(阿斯顿大学);Folding Space(Folding Space公司);University of Wolverhampton(伍尔弗汉普顿大学)
在本文中,仇恨言论检测对妇女在阿拉伯社区的社交媒体(如Youtube)的方法。在文献中,类似的作品已经为其他语言,如英语。然而,据我们所知,用阿拉伯文进行的工作不多。使用三种不同的注释器开发了一个新的仇恨言论语料库(阿拉伯语fr en)。对于语料验证,使用了三种不同的机器学习算法,包括深度卷积神经网络(CNN)、长短期记忆(LSTM)网络和双向LSTM(Bi-LSTM)网络。仿真结果表明,CNN模型的最佳性能,与LSTM和Bi-LSTM相比,对于不平衡语料库,其F1得分高达86\%。
2021-04-03 cs.CL
Learning to Play Chess from Textbooks (LEAP): a Corpus for Evaluating Chess Moves based on Sentiment Analysis
University of Manchester(曼彻斯特大学)
本文提出 LEAP 语料库,首次利用国际象棋教科书文本,通过基于 transformer 的情感分析模型评估棋步质量,最佳模型取得 68% 的加权微观 F_1 分数,并合成了更大数据集以缓解该领域文本资源稀缺问题。
2023-10-31 cs.CL
Emotion helps Sentiment: A Multi-task Model for Sentiment and Emotion Analysis
Indian Institute of Technology Patna(印度理工学院巴特那分校);Kyoto University(京都大学)
在本文中,我们提出了一个两层的多任务的注意力为基础的神经网络,通过情感分析执行情感分析。该方法基于双向长短期记忆,并使用分布式主题词表作为外部知识源,以提高情感和情绪预测。所提出的系统有两个层次的关注,分层建立一个有意义的表示。我们在SemEval 2016 Task 6的基准数据集上评估了我们的系统,并将其与Stance Sentiment Emotion Corpus上的最先进系统进行了比较。实验结果表明,该系统在SemEval 2016 Task 6数据集上的情感分析性能提高了3.2个F分数点。我们的网络还提高了5个F分数点的立场情绪情感语料库的情感分析的性能。
2019-11-28 cs.CL
Progressive Sentiment Analysis for Code-Switched Text Data
University of California San Diego(加州大学圣地亚哥分校);Halıcıoğlu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校哈利奇奥卢数据科学研究所)
多语言Transformer语言模型最近引起了研究者的广泛关注,并被用于许多NLP任务的跨语言迁移学习,如文本分类和命名实体识别。然而,用于从单语文本到代码转换文本的迁移学习的类似方法尚未被广泛探索,主要是由于以下挑战:(1)语码转换语料库不同于单语语料库,它由多种语言组成,现有的方法不能有效地应用,(2)语码转换语料库通常由资源丰富和资源贫乏的语言组成,在使用多语言预训练语言模型的基础上,最终的模型可能偏向于资源丰富的语言。在本文中,我们专注于代码切换情感分析,我们有一个标记的资源丰富的语言数据集和未标记的代码切换数据。我们提出了一个框架,考虑到资源丰富和低资源的语言之间的区别。我们不是一次在整个代码转换语料库上进行训练,而是根据资源丰富的语言中的单词比例创建桶,并从资源丰富的语言主导样本逐渐训练到低资源语言主导样本。跨多个语言对的大量实验表明,渐进式训练有助于低资源语言主导的样本。
2022-10-25 cs.CL
Hate speech detection in algerian dialect using deep learning
OMDENA
针对阿尔及利亚阿拉伯方言仇恨言论检测研究不足的问题,本文构建超过13.5K条社交网络文本语料库并评估多种深度学习架构,验证了所提方法的有效性。
2024-10-25 cs.CL
Sentiment Analysis Using Aligned Word Embeddings for Uralic Languages
Rootroo Ltd(Rootroo有限公司);University of Helsinki(赫尔辛基大学)
本文提出一种通过对齐词嵌入将英语训练的神经网络情感分析模型应用于4种濒危乌拉尔语言的方法,准确率至少达56%,仅需双语词典即可实现跨语言迁移。
2023-05-24 cs.CL
AlbMoRe: A Corpus of Movie Reviews for Sentiment Analysis in Albanian
University of Vienna(维也纳大学)
针对低资源语言阿尔巴尼亚语缺乏情感分析语料资源的问题,本文构建了含800篇标注情感的电影评论语料库AlbMoRe,并给出传统机器学习分类器的初步实验结果作为后续研究的基准。
2023-06-14 cs.AI cs.CL cs.LG
RuSentNE-2023: Evaluating Entity-Oriented Sentiment Analysis on Russian News Texts
Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学)
本文介绍RuSentNE-2023评测,基于RuSentNE俄语新闻语料库评估句子级命名实体情感分析,最佳系统宏F值达66%,并验证ChatGPT零样本性能可达60%,相当于第4名。
2023-05-28 cs.CL
NaijaSenti: A Nigerian Twitter Sentiment Corpus for Multilingual Sentiment Analysis
LIAAD - INESC TEC;Faculty of Sciences-University of Porto(波尔图大学理学院);Saarland University(萨尔大学);Google Research(谷歌研究院);Bayero University(巴耶罗大学);Ahmadu Bello University(艾哈迈杜·贝罗大学);Microsoft Research India(微软研究院印度);Technical University of Munich(慕尼黑工业大学);Clear Global;Kaduna state University(卡杜纳州立大学)
情感分析是NLP中研究最广泛的应用之一,但大多数工作都集中在具有大量数据的语言上。我们介绍了尼日利亚四种最广泛使用的语言(豪萨语,伊博语,皮钦语和约阿希姆巴语)的第一个大规模人类注释的Twitter情感数据集,其中每种语言约有30,000条注释的推文(皮钦语为14,000条),包括很大一部分代码混合的推文。我们提出了文本收集,过滤,处理和标记方法,使我们能够为这些低资源语言创建数据集。我们评估了一系列预先训练的模型和数据集上的传输策略。我们发现,语言特定的模型和语言自适应微调通常表现最好。我们发布了数据集、训练模型、情感词典和代码,以激励对代表性不足的语言进行情感分析的研究。
2022-06-18 cs.AI cs.CL
DECO-MWE: building a linguistic resource of Korean multiword expressions for feature-based sentiment analysis
DICORA, Department of Linguistics and Cognitive Science, Hankuk University of Foreign Studies, Korea(DICORA,语言学与认知科学系,韩国民法大学,韩国);Université Paris-Est, LIGM, CNRS, UPEM, ESIEE, ENPC, France(巴黎-est大学,LIGM,法国国家科学研究中心,UPEM,ESIEE,ENPC,法国)
本文构建了用于基于特征的情感分析的韩语多词表达资源DECO-MWE,通过局部语法图方法识别四种多词表达类型,提升了情感分析的检索性能。
2026-05-11 cs.CL
Bias Beyond English: Counterfactual Tests for Bias in Sentiment Analysis in Four Languages
University of Edinburgh(爱丁堡大学);Amazon(亚马逊)
本文构建了四种语言情感分析中性别与种族/移民偏见的反事实评估语料库,揭示了系统从预训练模型引入的偏见,并精确定位偏见行为变化以支持更有针对性的缓解策略。
2023-05-19 cs.CL
A Piece of My Mind: A Sentiment Analysis Approach for Online Dispute Detection
Cornell University(康奈尔大学)
我们调查的新任务,在线纠纷检测,并提出了一个情感分析解决方案的问题:我们的目标是确定在讨论中表达的序列的一个层次的情感,并使用它们作为功能的分类器,预测作为一个整体的讨论的争议/非争议标签。我们评估了一个新创建的维基百科讨论页争议语料库的争议检测方法,发现依赖于我们的情感标记功能的分类器优于那些不这样做。最好的模型实现了非常有希望的F1得分0.78和准确度0.80。
2016-06-17 cs.CL
Identifying the sentiment styles of YouTube's vloggers
University of Amsterdam(阿姆斯特丹大学);University College London(伦敦大学学院)
视频博客在一个新颖的环境中提供了丰富的公共数据源。本文使用动态文本内情感分析方法研究了27,333个vlog中使用的连续情感风格。使用无监督聚类,我们确定了七个不同的连续情感轨迹,其特征是在整个vlog的叙事时间内情感的波动。我们提供了这七种连续情感风格的分类,并发现情感朝着积极结局发展的vlog在我们的样本中最普遍。性别与不同的连续情感轨迹的偏好。本文讨论的结果与以前的工作,并展望可能使用的语料库,方法和本文的研究结果,为相关领域的研究。
2018-08-29 cs.CL
DomBERT: Domain-oriented Language Model for Aspect-based Sentiment Analysis
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文重点研究了由最终任务驱动的面向领域的语言模型的学习,旨在将通用语言模型(如ELMo和BERT)和特定领域的语言理解结合起来。我们提出了DomBERT,一个扩展的BERT学习领域内语料库和相关领域语料库。这有助于学习领域语言模型与低资源。在基于方面的情感分析的任务分类进行实验,展示了可喜的成果。
2020-04-28 cs.CL
Identification of Bias Against People with Disabilities in Sentiment Analysis and Toxicity Detection Models
College of Information Science and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
社会人口偏见是自然语言处理的一个常见问题,影响了其应用的公平性和完整性。在情感分析中,这些偏见可能会破坏对提到个人属性的文本的情感预测,而这些个人属性是无偏见的人类读者认为是中性的。这种歧视在公共和私营部门的情感分析应用中可能产生重大后果。例如,社交媒体平台中的在线滥用和意见分析等应用程序中的不正确推断可能会导致对某些人群的不必要的后果,例如错误审查。在本文中,我们解决歧视残疾人,PWD,做情感分析和毒性分类模型。我们提供了情感和毒性分析模型的检查,以详细了解它们如何区分PWD。我们提出了偏见识别测试的情绪(BITS),语料库的1,126句,旨在探讨残疾偏见的情感分析模型。我们使用这个语料库来证明四个广泛使用的情感分析工具(TextBlob,VADER,Google Cloud自然语言API和DistilBERT)和两个毒性分析模型中的统计显著偏差,这些模型被训练来预测Jigsaw挑战中的有毒评论(有毒评论分类和有毒评论中的意外偏差)。结果表明,所有人都对提到残疾的句子表现出强烈的负面偏见。我们公开发布BITS语料库,供其他人在任何情感分析工具中识别对残疾的潜在偏见,并更新语料库,以用作其他社会人口变量的测试。
2021-11-25 cs.AI cs.CL
Sentiment Analysis of German Twitter
本文探讨了人们如何在德国Twitter上表达自己的意见的方式,研究了目前的方法来自动挖掘这些感情,并提出了新的方法,这优于国家的最先进的技术。为了这个目的,我介绍了一个新的语料库的德国推文,已手动注释的情绪,他们的目标和持有人,以及极性条款和他们的上下文修饰符。使用这些数据,我探索情感研究的四个主要领域:(i)情感词典的生成,(ii)细粒度的意见挖掘,(iii)消息级别的极性分类,(iv)话语感知情感分析。在第一个任务中,我比较了三个流行的组的词典生成方法:字典,语料库,和词嵌入为基础的,发现基于字典的系统一般产生更好的词典比后两组。除此之外,我提出了一个线性投影算法,其结果超过了许多现有的自动词典。之后,在第二个任务中,我研究了两种常见的自动预测情感,来源和目标的方法:条件随机场和递归神经网络,前者模型获得更高的分数,并通过重新定义CRF图的结构进一步改善这些结果。在处理消息级别的极性分类时,我将三种主要的情感范式并列:基于词汇的系统、基于机器学习的系统和基于深度学习的系统,并试图通过引入具有基于词汇的注意力的双向神经网络来统一第一组和最后一组。最后,为了使新的分类器意识到话语结构,我让它分别分析每个微博的基本话语单位,并推断出一个消息的整体极性从其EDU的分数的帮助下,两个新的方法:潜在边缘化的CRF和递归Dirichlet过程。
2019-11-29 cs.CL
Identifying negativity factors from social media text corpus using sentiment analysis method
University of Balochistan(俾路支大学);SBK Women’s University Balochistan(俾路支SBK女子大学);Institute of Management Sciences(管理科学研究所)
自动情感分析在决策中起着重要的作用。许多组织花费大量预算通过手动查看他们的反馈/评论或推文来了解他们的客户满意度。自动情感分析可以给出针对任何事件、产品或活动接收到的评论的整体画面。通常,评论/推文被分为两个主要类别,即负面或正面。然而,负面评论过于抽象,无法理解基本原因或上下文。各组织有兴趣查明消极的确切原因。在这项研究中,我们分层地进入负面评论,并将它们与更多的类联系起来。推文是从Twitter和Facebook等社交媒体网站提取的。如果情感分析将任何推文分类为负面类别,则我们进一步尝试将该负面评论与更多可能的负面类别相关联。根据专家意见,负面评论/推文进一步分为8类。不同的机器学习算法进行评估,并报告其准确性。
2021-07-06 cs.AI cs.CL
Sentiment Analysis of Arabic Tweets: Feature Engineering and A Hybrid Approach
阿拉伯语的情感分析是一项具有挑战性的任务,由于语言的丰富形态。此外,当应用于Twitter数据时,任务变得更加复杂,这些数据被认为是高度非正式和嘈杂的。在本文中,我们开发了一种混合的方法,用于情感分析阿拉伯语的推文为一个特定的阿拉伯语方言,这是沙特方言。几个功能的设计和评估使用功能向后选择方法。然后针对多种分类模型(双向、三向、四向)开发了一种结合基于语料库和基于词典的方法的混合方法。各模型的最佳F1值分别为(69.9,61.63,55.07)。
2018-05-22 cs.CL
AfriSenti: A Twitter Sentiment Analysis Benchmark for African Languages
University of Porto(波尔图大学);Bahir Dar University(巴赫达尔大学);University of Cambridge(剑桥大学);Cardiff University(卡迪夫大学);Universität Hamburg(汉堡大学);Uppsala University(乌普萨拉大学);National Research Council Canada(加拿大国家研究委员会);Google Research(谷歌研究院);Hassan II University of Casablanca(卡萨布兰卡哈桑二世大学);LIAAD - INESC TEC;Bayero University Kano(卡诺巴耶罗大学);dLab;University of Deusto(德乌斯托大学);Kaduna State University(卡杜纳州立大学);Digital Umuganda;Wollo University(沃洛大学);Jimma University(吉马大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所);Accra Institute of Technology(阿克拉技术学院);Ahmadu Bello University(艾哈迈杜·贝洛大学);University College London(伦敦大学学院);HausaNLP
针对非洲语言NLP研究标注数据匮乏的问题,本文推出含14种非洲语言逾11万条标注推文的AfriSenti情感分析基准,介绍了数据构建流程,发布基线实验结果并讨论其价值。
2023-11-04 cs.CL
CATs are Fuzzy PETs: A Corpus and Analysis of Potentially Euphemistic Terms
Montclair State University(蒙特克莱尔州立大学)
本文构建潜在委婉语术语(PETs)语料库,分析发现委婉语降低负面情感,且标注分歧与术语普遍接受度相关。
2022-05-05 cs.CL
Improving the Accuracy of Pre-trained Word Embeddings for Sentiment Analysis
University of Waterloo(滑铁卢大学);University of Tehran(德黑兰大学)
情感分析是自然语言处理和文本分类领域的一个重要研究课题。这种技术已经成为广泛应用的重要组成部分,包括政治,商业,广告和营销。情感分析有多种技术,但最近词嵌入方法已被广泛用于情感分类任务。Word 2 Vec和GloVe是目前最准确和可用的词嵌入方法之一,可以将词转换为有意义的向量。然而,这些方法忽略了文本的情感信息,并且需要大量的文本来训练和生成精确的向量,这些向量被用作深度学习模型的输入。因此,由于某些语料库的规模较小,研究人员往往不得不使用预先训练好的词嵌入,这些词嵌入是在其他大型文本语料库(如Google News)上训练的,大约有1000亿个词。预训练词嵌入准确性的提高对情感分析研究产生了很大的影响。在本文中,我们提出了一种新的方法,改进的词向量(IWV),它提高了情感分析中的预训练词嵌入的准确性。我们的方法是基于词性(POS)标记技术,基于词汇的方法和Word 2 Vec/GloVe方法。我们通过不同的深度学习模型和情感数据集测试了我们方法的准确性。实验结果表明,改进的词向量(IWV)是非常有效的情感分析。
2017-11-23 cs.CL cs.IR
ANUBHUTI: A Comprehensive Corpus For Sentiment Analysis In Bangla Regional Languages
Ahsanullah University of Science and Technology(阿萨努拉大学科学与技术学院)
ANUBHUTI是一个包含10000个句子的全面数据集,用于孟加拉语方言的情感分析,通过双标注方案和多类主题标注,提供政治、宗教和中性内容,以支持更准确的自然语言处理。
2026-01-17 cs.CL cs.LG
ArSentD-LEV: A Multi-Topic Corpus for Target-based Sentiment Analysis in Arabic Levantine Tweets
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);American University of Beirut(贝鲁特美国大学);Qatar University(卡塔尔大学)
情感分析是一项非常主观和具有挑战性的任务。当应用于阿拉伯语时,其复杂性进一步增加,主要是因为大量的方言是不标准化的,并且在网络中广泛使用,特别是在社交媒体中。虽然已经发布了许多数据集来用阿拉伯语训练情感分类器,但这些数据集中的大多数都包含浅层注释,仅将文本单元的情感标记为单词,句子或文档。在本文中,我们提出了阿拉伯语情绪Twitter数据集的黎凡特方言(ArSenTD-LEV)。根据对黎凡特地区推文的分析结果,我们创建了一个包含4,000条推文的数据集,并附有以下注释:推文的总体情绪、表达情绪的目标、表达情绪的方式以及推文的主题。结果证实了这些注释在提高基线情感分类器性能方面的重要性。他们还证实了在某个领域的培训和在另一个领域的测试之间的差距。
2019-05-25 cs.CL cs.IR cs.LG
Improving Sentiment Analysis in Arabic Using Word Representation
Coventry University(考文垂大学)
阿拉伯语在词法、拼写和方言方面的复杂性使得阿拉伯语的情感分析更具挑战性。此外,为了衡量情绪,从tweet等短消息中提取文本特征提取,使这项任务更加困难。近年来,深度神经网络经常被采用,并在情感分类和自然语言处理应用中表现出非常好的效果。词嵌入或词分布方法是一种从上下文文本中捕获最接近的词的有效工具。在本文中,我们描述了我们如何构建Word 2 Vec模型从一个大型的阿拉伯语语料库,从十份报纸在不同的阿拉伯国家。通过应用不同的机器学习算法和具有不同文本特征选择的卷积神经网络,我们报告了我们公开可用的阿拉伯语健康情感数据集上情感分类的准确性提高(91%-95%)[1]
2018-03-30 cs.CL
Sentiment Analysis of Citations Using Word2vec
University of Nottingham Malaysia Campus(诺丁汉大学马来西亚校区)
引文情感分析是科技论文分析中的一项重要任务。现有的用于引文情感分析的机器学习技术主要集中在劳动密集型特征工程上,这需要大量的注释语料库。word2vec作为一种自动特征提取工具,已成功应用于短文本的情感分析。在这项工作中,我进行了实证研究的问题:如何以及word2vec工作的情感分析的引文?该方法通过对从Anthology Collections(ACL-Embeddings)中学习的词嵌入进行平均来构造句子向量(sent2vec)。我还研究了极性特定的词嵌入(PS嵌入)分类积极和消极的引文。句子向量形成一个特征空间,被检查的引用句子被映射到该特征空间。将这些特征输入分类器(支持向量机)进行监督分类。使用10-交叉验证方案,进行了评价的一组注释的引文。结果表明,词嵌入对正、负引文的分类是有效的。然而,手工制作的功能表现更好的整体分类。
2017-04-01 cs.CL
KPC-cF: Aspect-Based Sentiment Analysis via Implicit-Feature Alignment with Corpus Filtering
Hongik University(弘益大学);MODULABS(MODULABS机构)
针对韩语工业评论ABSA研究不足的问题,提出KPC-cF框架,整合翻译基准与未标记数据,通过伪标记、LaBSE和MSP双重过滤实现隐式特征对齐,在低资源下提升性能,F1和准确率仅比英语ABSA低约3%,并将开源数据集与代码。
2025-04-16 cs.AI cs.CL
Is Sentiment Banana-Shaped? Exploring the Geometry and Portability of Sentiment Concept Vectors
Aarhus University(奥胡斯大学)
本文评估了概念向量投影在不同领域、历史时期和语言中的可移植性,发现其在不同语料库间转移时性能损失小,并探讨了其线性假设的近似性。
2026-04-08 cs.CL
Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems
National Research Council Canada(加拿大国家研究委员会)
自动机器学习系统可能会无意中加重和延续不适当的人类偏见。过去研究不适当偏见的工作主要集中在个别系统上。此外,没有基准数据集来检查系统中的不适当偏差。在这里,我们第一次介绍了公平评估语料库(EEC),它由8,640个精心挑选的英语句子组成,以梳理出对某些种族和性别的偏见。我们使用该数据集来检查219个自动情感分析系统,这些系统参与了最近的共享任务SemEval-2018任务1“影响推文”。我们发现,有几个系统显示出统计上的显著偏差;也就是说,它们始终为一个种族或一个性别提供略高的情感强度预测。我们免费提供EEC。
2018-05-11 cs.CL
SentimentArcs: A Novel Method for Self-Supervised Sentiment Analysis of Time Series Shows SOTA Transformers Can Struggle Finding Narrative Arcs
Digital Humanities Colab(数字人文合作实验室);Integrated Program for Humane Studies(人文研究综合项目);Kenyon College(凯尼恩学院)
SOTA Transformer和DNN短文本情感分类器在IMDB电影评论等狭窄领域的准确率超过97%。现实世界的性能显着较低,因为传统模型过拟合基准,并且对不同或更开放的领域文本的概括性较差。本文介绍了SentimentArcs,一种新的自监督时间序列情感分析方法,它解决了传统监督情感分析的两个主要局限性:有限的标记训练数据集和泛化能力差。大量不同模型的集合为自监督学习提供了合成的基础事实。新的度量共同优化了在每个可能的语料库中的穷举搜索:模型组合。对语料库和模型的联合优化解决了泛化问题。简单的可视化利用了叙述中的时间结构,因此领域专家可以快速发现趋势,识别关键特征,并注意到数百个弧和数百万个数据点的异常。据我们所知,这是第一个用于时间序列情感分析的自监督方法,也是直接比较长形式叙述的真实世界模型性能的最大调查。
2021-10-18 cs.CL cs.LG
LLM-Augmented Therapy Normalization and Aspect-Based Sentiment Analysis for Treatment-Resistant Depression on Reddit
本文通过Reddit数据研究抗药性抑郁症患者的药物使用和情感倾向,利用大型语言模型进行情感分析,揭示药物感知差异及治疗经验特征。
2026-03-12 cs.CL
FreeTxt-Vi: A Benchmarked Vietnamese-English Toolkit for Segmentation, Sentiment, and Summarisation
VinUniversity(Vin大学);Cardiff University(卡迪夫大学);Lancaster University(兰卡斯特大学)
FreeTxt-Vi是一种用于越南-英语双语文本分段、情感分析和摘要的开源工具包,通过统一的NLP流水线实现高效多语言文本处理。
2026-03-05 cs.CL
LLM-Based Financial Sentiment Analysis in Arabic: Evidence from Saudi Markets
George Mason University(乔治·马歇尔大学);Damascus University(大马士革大学);University of Jeddah(朱德赫大学);City, St George's, University of London(伦敦城市大学)
本文提出了一种针对沙特市场的阿拉伯语NLP框架,用于大规模金融情绪分析,结合官方财务新闻和社会媒体数据,通过多阶段流程构建阿拉伯语财务语料库,并利用Transformer-based NER和定制公司词典进行情绪标注,最终实现了对公司层面的情绪聚合和情绪动态分析。
2026-05-19 cs.CL
Quantitative Stopword Generation for Sentiment Analysis via Recursive and Iterative Deletion
停用词携带很少的语义信息,并且通常从文本数据中移除以减少数据集大小并提高机器学习模型性能。因此,研究人员一直在寻求开发用于生成有效的停用词集的技术。以前的方法从依赖于语言学专家的定性技术,到使用语料库上计算的相关性或频率相关度量来提取单词重要性的统计方法。我们提出了一种新的定量方法,采用迭代和递归的特征删除算法,看看哪些词可以从预先训练的Transformer的词汇表中删除,其性能下降最少,特别是对于情感分析的任务。从经验上讲,通过这种方法生成的停用词列表大大减少了数据集的大小,同时对模型性能的影响可以忽略不计,在一个这样的例子中,语料库缩小了28.4%,而经过训练的逻辑回归模型的准确性提高了0.25%。在另一个例子中,语料库缩小了63.7%,准确率下降了2.8%。这些令人鼓舞的结果表明,我们的方法可以为特定的NLP任务生成高效的停用词集。
2022-09-04 cs.CL cs.LG
Sentiment analysis and opinion mining on educational data: A survey
University of Southern Queensland(南昆士兰大学);Lingnan University(岭南大学)
情感分析又名意见挖掘是最广泛使用的NLP应用程序之一,用于从评论中识别人类意图。在教育部门,意见挖掘被用来听取学生的意见,并从教学上加强他们的学习和教学实践。随着情感注释技术和人工智能方法的进步,学生评论可以在没有太多人为干预的情况下标记他们的情感取向。在这篇评论文章中,(1)我们从四个层面考虑情感分析在教育中的作用:文档级、句子级、实体级和方面级,(2)探索了情感注释技术,包括用于无监督注释的基于词典和基于语料库的方法,(3)讨论了AI在情感分析中的作用,包括机器学习、深度学习和Transformers,(4)提出情感分析对教育程序的影响,以提高教学、决策和评价。教育机构已经广泛投资于建立情感分析工具,并处理学生的反馈,以得出他们的意见和见解。本研究回顾了基于学生反馈的情感分析的应用。探讨了情感分析中的挑战,如多极化、多义、否定词和垃圾意见检测,并讨论了它们在研究领域的发展趋势。最后讨论了情感分析在教育领域的发展方向。
2023-02-08 cs.CL
Subjective Sentiment Analysis for Arabic Newswire Comments
本文提出了一种基于监督机器学习方法的方法来区分积极,消极和中立的阿拉伯语评论在线新闻专线。语料库被标记为主观性和情感分析(SSA)在话语水平。该模型使用计数和TF-IDF表示,并应用六种机器学习算法;多项式朴素贝叶斯,支持向量机(SVM),随机森林,逻辑回归,多层感知器和使用uni-gram,bi-gram特征的k-最近邻。其目标是从书面文本中提取用户情感。实验结果表明,n-gram特征可以大大提高性能,并表明多项式朴素贝叶斯方法在预测主题极性方面是最准确的。使用基于单词的uni-gram和bi-gram组合训练的计数向量实现了最佳结果,两个类的总体准确率为85.57%,三个类的总体准确率为65.64%。
2019-11-09 cs.CL
An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis
National University of Singapore(新加坡国立大学);SAP Innovation Center Singapore(SAP新加坡创新中心)
基于语义的情感分析为自然语言句子产生方面术语及其对应情感的列表。该任务通常以流水线方式完成,首先执行方面术语提取,然后对提取的方面术语进行情感预测。虽然更容易开发,但这种方法没有充分利用来自两个子任务的联合信息,并且没有使用可能有用的所有可用的训练信息源,例如文档级标记的情感语料库。在本文中,我们提出了一个交互式多任务学习网络(IMN),它能够共同学习多个相关的任务,同时在令牌级别以及文档级别。与依赖于学习不同任务的共同特征的传统多任务学习方法不同,IMN引入了一种消息传递架构,其中信息通过一组共享的潜在变量迭代地传递给不同的任务。在三个基准数据集上的实验结果表明,该方法对多基线具有较好的性能。
2019-06-17 cs.CL
Automatic Construction of Context-Aware Sentiment Lexicon in the Financial Domain Using Direction-Dependent Words
Seoul National University(首尔国立大学)
金融文件的情感分析越来越受到人们的关注。这类文件最常见的例子包括分析师报告和经济新闻,对这些文件的分析经常被用来捕捉市场情绪的趋势。另一方面,情感分析在金融领域中的重要作用促使人们努力构建金融领域特定的情感词典。情感词典有助于解决各种文本挖掘任务,例如文本数据的无监督分类,同时减轻手动标记所需的繁重人力。构建有效的情感词典的挑战之一是,词的语义取向可能会根据其出现的上下文而改变。例如,“利润”这个词通常传达积极的情绪;然而,当这个词与另一个词“减少”并列时,与短语“利润减少”相关的情绪现在变成了消极的。因此,当人们开始考虑单词周围的上下文时,给定单词的情感可能会发生变化。在本文中,我们解决这个问题时,将上下文从一个给定的语料库建立情感词典。具体来说,我们构建了一个名为Senti-DD的方向依赖词组成的情感词典,它表示每个术语的一对方向词和方向依赖词。实验结果表明,Senti-DD具有较高的分类性能,证明了该方法在金融领域自动构建上下文感知情感词典的有效性。
2021-06-10 cs.CL
Unsupervised Sentiment Analysis for Code-mixed Data
IIIT-Delhi(德里英迪拉·甘地信息技术学院)
语码混合是指在两种或两种以上语言之间交替使用。它主要见于多语言社会,其发生率正在增加,因此其重要性也在增加。情感分析研究的主要部分是单语言的,并且大多数在代码混合文本上表现不佳。在这项工作中,我们介绍的方法,使用不同种类的多语言和跨语言的嵌入,有效地将知识从单语文本的代码混合文本的情感分析的代码混合文本。我们的方法可以通过一个零样本学习处理代码混合文本。我们的方法在英语-西班牙语代码混合情感分析上以绝对3\%的F1分数击败了最先进的方法。我们能够实现0.58的F1分数(无平行语料库)和0.62的F1分数(有平行语料库)在同一基准在一个zero-shot的方式相比,0.68的F1分数在监督设置。我们的代码是公开的。
2020-01-20 cs.AI cs.CL
Statistical sentiment analysis performance in Opinum
Prompsit Language Engineering(Prompsit语言工程公司)
对观点文本进行积极和消极的分类正成为情感分析中的一个非常感兴趣的主题。许多标签化观点的存在激发了统计和机器学习方法的使用。一阶统计量在这一领域被证明是非常有限的。Opinum方法基于单词的顺序,而不使用任何语法和语义信息。它包括建立一个概率模型的积极和另一个消极的意见。然后将测试意见与两个模型进行比较,并计算决策和置信度。为了降低训练语料库的复杂性,我们首先对文本进行词形化,并将大多数命名实体替换为通配符。Opinum在金融产品领域的西班牙意见准确率超过81%。在这项工作中,我们将讨论哪些是最重要的因素,对分类性能的影响。
2013-03-03 cs.CL
SA2SL: From Aspect-Based Sentiment Analysis to Social Listening System for Business Intelligence
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
在本文中,我们提出了一个过程,建立一个社会听力系统的基础上,基于方面的情感分析在越南从创建一个数据集,以建立一个真正的应用程序。首先,我们创建了一个越南智能手机反馈数据集,作为一个新的基准语料库,建立在一个严格的注释方案的基础上,用于评估基于方面的情感分析,包括11,122人注释的意见,移动电子商务,这是免费的研究目的。我们还提出了一种基于Bi-LSTM架构的方法,该方法具有用于基于越南语方面的情感任务的fastText词嵌入。我们的实验表明,我们的方法实现了最好的性能,方面任务的F1分数为84.48%,情感任务的F1分数为63.06%,它执行了几个传统的机器学习和深度学习系统。最后,我们构建了SA 2SL,这是一个基于我们数据集上最佳性能模型的社交听力系统,它将在未来激发更多的社交听力系统。
2021-06-10 cs.CL
Word Embeddings for Sentiment Analysis: A Comprehensive Empirical Survey
Politecnico di Torino(都灵理工大学)
本文研究了训练方法、训练语料库规模和文本主题相关性等因素对词嵌入特征在推文、歌词、电影评论和项目评论的情感分析中的作用。我们还探索了特定的训练或后处理方法,可用于提高词嵌入在某些任务或领域的性能。我们的经验观察表明,用大而丰富的词汇量的多主题文本训练的模型在回答句法和语义词类比问题时是最好的。我们进一步观察到,主题相关性的影响是更强的电影和电话评论,但较弱的推文和歌词。后两个领域对语料库大小和训练方法更敏感,Glove优于Word2vec。从词典“注入”额外的智能或生成情感特定的词嵌入是提高词嵌入特征性能的两个突出的替代方案。
2019-02-02 cs.CL cs.IR
Semantic descriptions of 24 evaluational adjectives, for application in sentiment analysis
Griffith University(格里菲斯大学);Simon Fraser University(西蒙弗雷泽大学)
我们运用自然语义元语言(NSM)方法(Goddard and Wierzbicka 2014)对英语评价形容词进行词汇语义分析,并将分析结果与评价框架(Martin and White 2005)中的描述进行比较。分析是语料库辅助,主要是从电影和书籍的评论,并支持搭配和统计信息从WordBanks在线。我们提出了24个评价形容词的NSM解释,认为他们分为五组,每一组对应于一个不同的语义模板。这些组可以概括如下:“第一人称思想加影响”,例如精彩;“体验性”,例如娱乐;“身体反应体验性”,例如抓握;“持久影响”,例如难忘;“认知评价”,例如复杂,优秀。将这些分组和语义模板与评价框架系统中的分类进行比较。此外,我们特别感兴趣的是情感分析,评价和主观性的文本中的自动识别。我们讨论的相关性的情感分析和其他语言技术的应用程序的两个框架。
2016-08-24 cs.CL
Semantic Enrichment of Nigerian Pidgin English for Contextual Sentiment Classification
Data Science Nigeria(尼日利亚数据科学)
尼日利亚英语的适应,皮钦语,多年来通过多语言代码转换,代码混合和语言适应而发展。虽然洋泾浜保留了许多正常英语语料库中的单词,无论是在拼写还是发音上,但这些单词的基本含义已经发生了显着变化。例如,“生姜”不是一种植物,而是一种动机的表达,“坦克”不是一个容器,而是一种感激的表达。这意味着,目前使用直接的英语情感分析社交媒体文本从尼日利亚的方法是次优的,因为它将无法捕捉这些词的当代意义的语义变化和上下文演变。在实践中,虽然尼日利亚皮钦语改编中的许多单词与标准英语相同,但基于完整英语的情感分析模型并不是为了在单独使用或代码混合时捕捉尼日利亚皮钦语的全部意图而设计的。通过用大量的合成代码重新格式化的文本和含义来增强稀缺的人类标记的代码更改文本,我们在情感评分方面取得了显着的改进。我们的研究探讨了如何理解情感的intraentential代码混合和切换的情况下,有显着的单词localization.This工作提出了一个300 VADER词典兼容的尼日利亚洋泾浜情感tokens和他们的分数和14,000金标准尼日利亚洋泾浜tweets和他们的情感标签。
2020-03-27 cs.CL
TriLex: A Framework for Multilingual Sentiment Analysis in Low-Resource South African Languages
University of Pretoria(比勒陀利亚大学)
TriLex框架通过三阶段检索增强方法,系统扩展低资源南非语言的情感词典,提升多语言情感分析性能。
2025-12-02 cs.CL