Lexicon-Based Sentiment Analysis on Text Polarities with Evaluation of Classification Models
Mirpur University of Science and Technology(米尔布尔科技大学)
本文采用基于词典的方法(Text Blob和Vader)对160万条推文进行多类情感分析,并评估五种机器学习模型,随机森林以81%准确率最优,同时应用于人格判断案例。
2024-09-19 cs.CL
Sentiment Analysis in Poems in Misurata Sub-dialect -- A Sentiment Detection in an Arabic Sub-dialect
Montclair State University(蒙特克莱尔州立大学)
近几十年来,阿拉伯语自然语言处理的资源显著增加和发展。这包括探索阿拉伯语情感分析(ALSA)从阿拉伯语的话语在现代标准阿拉伯语(MSA)和不同的阿拉伯语方言的任务。本研究的重点是检测在米苏拉塔,利比亚的米苏拉塔阿拉伯语方言写的诗歌中的情感。用于从数据集中检测情感的工具是Sklearn和Mazajak sentiment tool 1。逻辑回归,随机森林,朴素贝叶斯(NB)和支持向量机(SVM)分类器与Sklearn一起使用,而卷积神经网络(CNN)则与Mazajak一起实现。结果表明,传统分类器的准确度高于Mazajak,后者是基于包含深度学习技术的算法构建的。更多的研究建议分析阿拉伯语次方言诗歌,以调查这些多行文本中的情感方面,例如,使用比喻语言,如隐喻。
2021-09-15 cs.CL
A Comparative Study of Sentiment Analysis Using NLP and Different Machine Learning Techniques on US Airline Twitter Data
City University(城市大学)
今天的商业生态系统已经变得非常有竞争力。客户满意度已成为业务增长的主要焦点。商业组织正在花费大量的资金和人力资源在各种战略上,以了解和满足客户的需求。但是,由于对客户多样化需求的人工分析存在缺陷,许多组织无法实现客户满意。因此,他们正在失去客户的忠诚度,并花费额外的钱在营销上。我们可以通过实施情感分析来解决这些问题。它是自然语言处理(NLP)和机器学习(ML)的结合技术。情感分析被广泛用于从特定主题、产品和服务背后的更广泛的公众舆论中提取见解。我们可以从任何在线可用的数据中进行分析。在本文中,我们介绍了两种NLP技术(Bag-of-Words和TF-IDF)和各种ML分类算法(支持向量机,Logistic回归,Multinomial Naive Bayes,Random Forest),以找到一种有效的方法来对大型,不平衡和多类数据集进行情感分析。我们最好的方法提供了77%的准确率,使用支持向量机和逻辑回归与袋的话技术。
2021-10-02 cs.AI cs.CL cs.LG
Sentiment Analysis of Persian-English Code-mixed Texts
University of Tehran(德黑兰大学)
互联网上数据的快速生成以及从商业和研究角度了解用户感受的需求促使了许多自动单语情感检测系统的创建。然而,最近,由于社交媒体上数据的非结构化性质,我们观察到更多的多语言和代码混合文本的实例。内容类型的这种发展产生了对代码混合情感分析系统的新需求。在这项研究中,我们收集,标签,从而创建一个数据集的波斯语-英语代码混合鸣叫。然后,我们继续介绍一个模型,该模型使用BERT预训练的嵌入以及翻译模型来自动学习这些推文的极性分数。我们的模型优于使用朴素贝叶斯和随机森林方法的基线模型。
2021-02-25 cs.CL
New Product Development (NPD) through Social Media-based Analysis by Comparing Word2Vec and BERT Word Embeddings
University of Indonesia(印度尼西亚大学);CloudWalk Inc(云从科技公司)
本文比较Word2Vec与BERT词嵌入在有限数据下对推文情感和观点分类的效果,发现BERT结合Balanced Random Forest表现最佳,并通过词图分析为新产品开发提供改进反馈。
2023-04-17 cs.CL cs.LG
Subjective Sentiment Analysis for Arabic Newswire Comments
本文提出了一种基于监督机器学习方法的方法来区分积极,消极和中立的阿拉伯语评论在线新闻专线。语料库被标记为主观性和情感分析(SSA)在话语水平。该模型使用计数和TF-IDF表示,并应用六种机器学习算法;多项式朴素贝叶斯,支持向量机(SVM),随机森林,逻辑回归,多层感知器和使用uni-gram,bi-gram特征的k-最近邻。其目标是从书面文本中提取用户情感。实验结果表明,n-gram特征可以大大提高性能,并表明多项式朴素贝叶斯方法在预测主题极性方面是最准确的。使用基于单词的uni-gram和bi-gram组合训练的计数向量实现了最佳结果,两个类的总体准确率为85.57%,三个类的总体准确率为65.64%。
2019-11-09 cs.CL
Sentiment Analysis of Code-Mixed Social Media Text (Hinglish)
University of Leeds(利兹大学)
本文讨论了不同的技术应用于执行情感分析的社会媒体(Twitter)代码混合的文本写在印度式英语的结果。执行情感分析所涉及的各个阶段是数据整合、数据清理、数据转换和建模。应用了各种数据清理技术,在五次迭代中清理数据,并在每次迭代后记录实验结果。使用count vectorizer,one hot vectorizer,tf-idf vectorizer,doc 2 vec,word 2 vec和fasttext嵌入转换数据。使用各种机器学习算法创建模型,例如SVM、KNN、决策树、随机森林、朴素贝叶斯、逻辑回归和集成投票分类器。数据来自Codalab竞赛网站上的一项任务,该任务在Semeval-2020竞赛网站上被列为任务:9。使用F1评分(宏)评价创建的模型。最好的F1得分为69.07,使用集成投票分类器。
2021-02-24 cs.CL
Fault of Our Stars: Behavioral Drivers of Rating-Sentiment Incongruence
Department of Computer Science and Engineering(计算机科学与工程系);University of Moratuwa(穆拉图瓦大学)
本研究通过分析斯里兰卡旅游评论,发现18.6%的评论存在评分与文本情感不一致,并识别出保守评分者和强制性5星行为等模式,揭示了评分不能替代文本情感。
2026-07-02 cs.CL
Code-Mixed Sentiment Analysis Using Machine Learning and Neural Network Approaches
Language Technologies Research Center, IIIT Hyderabad(国际信息技术学院海得拉巴分校语言技术研究中心);Kohli Center On Intelligent Systems(科利智能系统中心)
印度语言的情感分析(SAIL)-代码混合工具竞赛,旨在识别印度语言对(Hi-En,Ben-Hi-En)代码混合数据集的句子级别情感极性。Hi-En数据集此后分别称为HI-EN和Ben-Hi-En数据集称为BN-EN。为此,我们提交了四个模型,用于代码混合的HI-EN和BN-EN数据集的情感分析。第一个模型是由三个分类器-线性SVM,逻辑回归和随机森林组成的集成投票分类器,而第二个是线性SVM。这两个模型都使用了字符n-gram的TF-IDF特征向量,其中n的范围是2到6。我们使用scikit-learn(sklearn)机器学习库来实现这两种方法。运行1从投票分类器获得,运行2使用线性SVM模型来产生结果。在提交的四个输出中,运行2在两个数据集中的表现都优于运行1。我们在HI-EN和BN-EN的比赛中分别以0.569和0.526的F分数获得第一名。
2018-08-09 cs.CL
Decoding Concerns: Multi-label Classification of Vaccine Sentiments in Social Media
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
针对社交媒体上疫苗相关担忧多元难归类的问题,本文构建疫苗情绪多标签分类器,对比多种NLP与机器学习方法,发现GPT 3.5等大语言模型表现最优,助力公共卫生领域把握公众疫苗态度。
2023-12-17 cs.AI cs.CL cs.LG
Empirical evaluation of shallow and deep learning classifiers for Arabic sentiment analysis
University of Sharjah(沙迦大学)
这项工作详细比较了深度学习模型的性能,如卷积神经网络(CNN),长短期记忆(LSTM),门控递归单元(GRU),它们的混合体,以及一系列用于阿拉伯语评论情感分析的浅层学习分类器。此外,比较还包括最先进的模型,如Transformer架构和araBERT预训练模型。本研究中使用的数据集是多方言阿拉伯语酒店和书评数据集,这些数据集是阿拉伯语评论的一些最大的公开数据集。结果显示,与文献中报道的类似工作的结果相比,深度学习在二进制和多标签分类方面优于浅层学习。结果的这种差异是由数据集大小引起的,因为我们发现它与深度学习模型的性能成正比。深度和浅层学习技术的性能在准确性和F1得分方面进行了分析。表现最好的浅层学习技术是随机森林,其次是决策树和AdaBoost。使用默认嵌入层的深度学习模型表现相似,而Transformer模型在使用araBERT增强时表现最佳。
2021-12-01 cs.CL cs.LG
Sentiment Analysis Across Multiple African Languages: A Current Benchmark
Howard University(霍华德大学)
本文基于 AfriSenti-SemEval Shared Task 12 数据,对12种非洲语言上的 transformer 模型进行基准测试,发现专为非洲语言开发的模型表现最佳,且更多数据仍能提升单语言模型效果,不存在通用的单一模型解决方案。
2023-10-21 cs.AI cs.CL
Sentiment Analysis of AI Adoption in Indonesian Higher Education Using Machine Learning and Transformer-Based Models
Faculty of Science Sumatra Institute of Technology Lampung, Indonesia(苏门答腊技术学院理工大学科学学院,印度尼西亚朗格朗)
本文比较了TF-IDF基于机器学习和Transformer模型在分析印尼学生对AI在高等教育中采用意见的sentiment效果,发现Transformer模型在准确率和F1分数上表现更优,而SVM在机器学习模型中表现最佳。
2026-04-30 cs.CL
FinMoji: A Framework for Emoji-driven Sentiment Analysis in Financial Social Media
King Abdullah University of Science and Technology (KAUST)(卡斯特科学与技术大学);Hamad Bin Khalifa University(哈马德·本·卡伊夫大学)
本文研究了表情符号在金融 sentiment 分析中的应用,通过 StockTwits 平台实验,探讨表情符号作为投资者情绪代理的有效性,并比较了基于表情符号与文本的分析方法。
2026-05-10 cs.CL
Political Sentiment Analysis of Persian Tweets Using CNN-LSTM Model
University of Tehran(德黑兰大学);Tarbiat Modares University(塔比亚特·莫达雷斯大学)
本文提出CNN-LSTM模型结合ParsBERT嵌入进行波斯语政治推文情感分析,在保持性能的同时减少训练时间,最高准确率达89%。
2023-08-29 cs.CL cs.IR
CIDER: Context sensitive sentiment analysis for short-form text
University of Exeter(埃克塞特大学)
针对通用短文本情感分析忽略语境语义差异的问题,本研究提出上下文敏感的CIDER方法,先从全语料库推断情感词倾向再打分,在天气推文数据集上优于现有通用无监督方法,还可用于非情感语言量表,且已开源为Python包。
2024-07-10 cs.CL
Sentiment Matters: An Analysis of 200 Human-SAV Interactions
Department of Civil and Environmental Engineering, Monash University(莫纳什大学土木与环境工程系);Department of Electrical and Computer Systems Engineering, Monash University(莫纳什大学电子与计算机系统工程系)
本文通过200次人机交互数据集,结合随机森林与LLM情感分析,揭示响应情感极性是影响SAV接受度与服务感知的关键,为设计对话式界面提供依据。
2025-10-09 cs.AI cs.CL cs.ET
Sentiment analysis on electricity twitter posts
Norwegian University of Science and Technology(挪威科技大学)
在当今世界,每个人都以某种方式表达,这个项目的重点是人们对英国和印度电价上涨的看法,使用的数据来自Twitter,这是一个人们发布消息的微博平台,被称为推文。由于许多人的收入不好,他们必须支付这么多的税收和账单,维持一个家已经成为一个有争议的问题,这些天。尽管政府提供补贴计划来补偿人们的电费,但这并不受人们的欢迎。在这个项目中,目的是对人们在Twitter上表达的表情和意见进行情感分析。为了掌握电价的民意,有必要对政府和消费者在能源市场中进行情感分析。此外,这些媒体上的文本本质上是非结构化的,因此要处理它们,我们首先需要对数据进行预处理。有这么多的特征提取技术,如词袋,TF-IDF(词频-逆文档频率),词嵌入,基于NLP的特征,如字数。在这个项目中,我们分析了特征TF-IDF词级别对情感分析的电费数据集的影响。我们发现,通过使用TF-IDF词级性能的情感分析是3-4高于使用N-gram功能。分析是使用四种分类算法,包括朴素贝叶斯,决策树,随机森林和逻辑回归,并考虑F分数,准确率,精度和召回性能参数。
2022-06-10 cs.CL
Using Sentiment Analysis to Investigate Peer Feedback by Native and Non-Native English Speakers
Georgia Institute of Technology(佐治亚理工学院)
本文利用Twitter-roBERTa情感分析,研究美国在线计算机课程中母语与非母语英语使用者的同伴反馈差异,发现语言背景对反馈体验有复杂影响。
2025-08-07 cs.CL
Large language models for aspect-based sentiment analysis
Q Agentur für Forschung GmbH(Q研究机构有限公司)
本文评估了GPT-4和GPT-3.5在方面级情感分析中的表现,发现微调GPT-3.5以更高推理成本取得最优F1,并分析了成本性能权衡及提示工程与微调的选择。
2023-10-27 cs.AI cs.CL
Tracking Emotional Dynamics in Chat Conversations: A Hybrid Approach using DistilBERT and Emoji Sentiment Analysis
Kazakh-British Technical University(哈萨克英国技术大学);School of Information Technology and Engineering(信息技术与工程学院)
本文提出结合DistilBERT文本情绪检测与表情符号情感分析的混合方法,用于实时追踪聊天对话中的情绪动态,并在Twitter数据集上验证其优于SVM、Random Forest和AdaBoost的性能。
2024-08-03 cs.CL
Can Sentiment Analysis Reveal Structure in a Plotless Novel?
Kenyon College(凯尼恩学院)
现代主义小说被认为打破了传统的情节结构。在本文中,我们将情感分析应用于弗吉尼亚·伍尔夫的《到灯塔去》这部最著名的现代主义小说,以此来检验这一理论。我们首先评估情感分析的批评,它不能充分说明文学语言:我们使用一个独特的统计比较来证明,即使是简单的词汇方法情感分析是令人惊讶的有效。然后,我们使用Syuzhet.R包来探索建模方法之间的相似性和差异。这种比较方法,当与文学细读配对时,可以提供解释线索。据我们所知,我们是第一个采用混合模型,充分利用计算分析和仔细阅读的优势。这种混合模式为文学批评家提出了新的问题,例如如何解释相对与绝对的情感效价,以及如何考虑主观认同。我们的发现是,虽然《到灯塔去》并没有复制以传统英雄为中心的情节,但它确实揭示了一种分布在角色之间的潜在情感结构--我们称之为分布式女主角模型。这一发现在现代主义和叙事研究领域具有创新性,并表明混合方法可以产生重大发现。
2019-08-31 cs.CL cs.SI
Unveiling Public Opinion: A Study of Sentiment Analysis Using LSTM and Traditional Models
研究社交媒体时代Twitter的情感分析,评估逻辑回归、随机森林等多种算法,用预处理的Kaggle Twitter数据集确定最优模型,结果显示LSTM方法性能更佳,在捕捉文本方面优于传统机器学习技术。
2026-07-10 cs.CL
"Hey..! This medicine made me sick": Sentiment Analysis of User-Generated Drug Reviews using Machine Learning Techniques
School of Digital Sciences(数字科学学院)
本项目提出一种基于机器学习的药物评论分类系统,利用BERT、SciBERT和BioBERT提取特征,结合多种机器学习与深度学习分类器,将用户评论分为正面、负面和中性,有效分析了公众对药物的情感。
2024-04-09 cs.CL
Sentiment Classification of Customer Reviews about Automobiles in Roman Urdu
Punjab University College of Information Technology(旁遮普大学信息技术学院);University of the Punjab(旁遮普大学)
文本挖掘是一个广泛的领域,情感挖掘是其重要组成部分,我们试图推断人们对特定物品,商品,政治,体育,社交媒体评论,评论网站等的行为。在情感挖掘,分析和分类的许多问题中,一个主要问题是评论和评论可以是不同的语言,如英语,阿拉伯语,乌尔都语等处理每一种语言根据其规则是一项艰巨的任务。在英语语言中进行了大量的情感分析和分类研究工作,但在其他区域语言(如阿拉伯语、乌尔都语和印地语)中进行了有限的情感分析工作。在本文中,怀卡托知识分析环境(WEKA)被用来作为一个平台,执行不同的分类模型的文本分类罗马乌尔都语文本。评论数据集已从不同的汽车网站废弃。这些提取的罗马乌尔都语评论,包含1000个正面和1000个负面评论,然后保存在WEKA属性关系文件格式(arff)作为标记的例子。训练是在80%的数据上完成的,其余的用于测试目的,测试是使用不同的模型完成的,并在每种情况下分析结果。结果表明,多项朴素贝叶斯分类器在准确率、精确度、召回率和F-度量方面优于Bagging、深度神经网络、决策树、随机森林、AdaBoost、k-NN和SVM分类器。
2018-12-30 cs.CL
IAE: Irony-based Adversarial Examples for Sentiment Analysis Systems
本文提出IAE方法,通过将直白句子转化为反讽句子生成文本对抗样本,不依赖现有反讽语料库。实验表明该方法使先进深度学习模型在情感分析任务中性能显著下降,而人类受影响较小,揭示了NLP系统对反讽的脆弱性。
2024-11-12 cs.AI cs.CL
PowMix: A Versatile Regularizer for Multimodal Sentiment Analysis
National Technical University of Athens(雅典国立技术大学);Athena Research Center(雅典娜研究中心);Institute of Advanced Research on Artificial Intelligence(人工智能高级研究院)
针对多模态情感分析领域缺乏全面正则化方法的问题,提出包含五个组件的嵌入空间正则化方法PowMix,在多种架构和数据集上实现性能提升,且不牺牲鲁棒性、不加剧文本主导性,小数据下表现仍优异。
2023-12-19 cs.CL
CPC-CMS: Cognitive Pairwise Comparison Classification Model Selection Framework for Document-level Sentiment Analysis
The Hong Kong Polytechnic University(香港理工大学);Monash University Malaysia(马来西亚莫纳什大学)
本研究提出CPC-CMS框架,基于专家知识计算多分类评估准则权重构建决策矩阵,在三个社交媒体数据集上验证其可行性,可用于选择文档级情感分析的最优分类模型,也可推广至其他分类任务。
2026-08-24 cs.CL cs.LG
Graph-Augmented Retrieval for Cross-Entity Financial Sentiment Analysis: A Comparative Study
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出一种两跳图增强检索架构(Graph-RAG),通过构建情感加权知识图谱并融合密度检索与图遍历,相比标准向量检索在跨实体金融情感分析中显著提升实体召回率和复杂查询答案相关性。
2026-05-19 cs.CL
Deep Learning for Opinion Mining and Topic Classification of Course Reviews
Florida Gulf Coast University(佛罗里达海湾海岸大学)
本文利用BERT、RoBERTa、XLNet等深度学习方法与传统模型对课程评价进行情感极性和主题分类对比,其中RoBERTa在情感分类上准确率达95.5%,SVM在主题分类上表现最佳,为教育机构分析课程反馈提供了实践指南。
2023-06-16 cs.CL cs.LG
A Comparative Study on TF-IDF feature Weighting Method and its Analysis using Unstructured Dataset
NIT Trichy(特里奇国家技术学院)
本文在IMDB和Amazon Alexa数据集上比较N-Grams与TF-IDF特征加权方法,结合多种分类器验证,发现TF-IDF在随机森林上取得最高准确率93.81%等最优性能。
2023-08-08 cs.CL cs.LG
Extracting Sentiment Attitudes From Analytical Texts
Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);Bauman Moscow State Technical University(莫斯科国立鲍曼技术大学)
在本文中,我们提出了RuSentRel语料库,包括在国际关系领域的分析文本。对于每个文档,我们注释了作者对提到的命名实体的情感,以及提到的实体之间的关系的情感。在目前的实验中,我们认为提取实体之间的情感关系的问题,为整个文件作为一个三级机器学习任务。我们尝试了传统的机器学习方法(朴素贝叶斯,SVM,随机森林)。
2018-08-27 cs.CL
emojiSpace: Spatial Representation of Emojis
University of Virginia(弗吉尼亚大学)
在消息通信期间没有非语言提示的情况下,用户使用表情符号表达他们的部分情绪。因此,在文本消息语言模型的词汇表中具有表情符号可以显著改善许多自然语言处理(NLP)应用,例如在线通信分析。另一方面,词嵌入模型通常在非常大的文本语料库上训练,例如维基百科或谷歌新闻数据集,其中包含很少的表情符号样本。在这项研究中,我们创建了emojiSpace,这是一个使用Python中Genism库中的word 2 vec模型的组合单词-emoji嵌入。我们在超过40亿条推文的语料库上训练了emojiSpace,并通过在包含超过6700万条推文的Twitter数据集上实施情感分析作为外部任务来对其进行评估。对于这项任务,我们比较了随机森林(RF)和线性支持向量机(SVM)的两种不同的分类器的性能。为了进行评估,我们将emojiSpace的性能与其他两个预训练的嵌入进行了比较,并证明了emojiSpace的性能优于两者。
2022-09-12 cs.CL cs.LG
Impact of Feature Selection on Micro-Text Classification
University of Waterloo(滑铁卢大学)
社交媒体数据集,特别是Twitter推文,在文本分类领域很受欢迎。推文是微文本(有时称为“微博”)的有价值的来源,并且已经在诸如情感分析、推荐系统、垃圾邮件检测、聚类等领域中被研究。推文通常包括被称为“主题标签”的关键字,这些关键字可以用作推文的标签。使用包含50个标签的推文,我们研究了单词与字符级别的特征选择和提取对不同学习者解决多类分类任务的影响。我们表明,简单的字符级组的特征提取比简单的单词组和预处理方法,如使用波特的词干和词性(“POS”)-词形化规范化更好。
2017-08-27 cs.CL cs.IR
"I ain't tellin' white folks nuthin": A quantitative exploration of the race-related problem of candour in the WPA slave narratives
Yale University(耶鲁大学)
从1936年到1938年,工程进度管理局采访了数千名前奴隶,了解他们的生活经历。虽然这些访谈对于从奴隶本身的角度理解“特殊制度”至关重要,但与偏见有关的问题使这些访谈的分析蒙上了阴影。我调查的问题是WPA奴隶叙事中的坦率问题:在历史社区中广泛认为,南方腹地严格的种族种姓制度迫使黑人前奴隶告诉白人采访者他们认为他们想听的话,这表明他们的采访者是否是白人或黑人,这是一个显着的区别。在这项工作中,我试图定量地说明这个与种族有关的坦率问题。以前的工作要么是印象派的,定性的性质,或利用非常简单的定量方法。相比之下,我使用更复杂的统计方法:特别是词频和情感分析以及LDA的比较主题建模,试图识别前奴隶在白人采访者与黑人采访者面前表达的内容和情感的差异。虽然由于任务的复杂性,我的情感分析方法最终没有成功,但我的词频分析和比较主题建模方法都显示出强有力的证据,表明在白人面试官面前表达的内容与黑人面试官不同。特别是,我发现前奴隶在他们自己种族的采访者面前谈论奴隶制的不利方面,如鞭打和奴隶巡逻。我希望我的更复杂的统计方法有助于提高在奴隶叙述中存在这种坦率问题的论点的可靠性,有些人会为了修正主义的目的而试图否认这一点。
2018-05-01 cs.CL
Concept-Level Explainability for Auditing & Steering LLM Responses
Department of Computer Science ETH Zurich(计算机科学系 苏黎世联邦理工学院)
本研究提出模型无关的概念级可解释性方法ConceptX,通过识别提示词中语义概念并分配权重,无需重训练即可实现LLM的偏见审计与响应调控,在忠实度、对齐度及调控效果上均优于现有token级方法。
2025-05-19 cs.AI cs.CL
Paraphrasing Attack Resilience of Various AI-Generated Text Detection Methods
Northwestern University(西北大学)
本文评估了三种AI生成文本检测方法的改写攻击鲁棒性,发现Binoculars集成方法性能最强但攻击损失最严重,揭示了文本检测领域性能与鲁棒性之间的矛盾。
2026-06-23 cs.AI cs.LG
Nobody Truly Agrees on Sentiment: Humans, Bespoke Tools, and LLMs Struggle with Social Media Texts
Old Dominion University(奥多明尼昂大学)
本研究评估了三种定制工具和三种LLM与人类在100条推文上的情绪分析一致性,发现人类间仅一般一致,Twitter-roBERTa-base与人类最对齐,强调领域微调和以人为中心评估的重要性。
2026-10-08 cs.CL
From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
Eastern University(东部大学)
本综述通过证据图谱揭示学生教学评价NLP研究存在行动性断层:从可演示输出(61.3%)到预期用户评估(11.6%)大幅下降,情感分析为主流任务,公平性指标罕见,强调技术多样性未带来教育价值提升。
2026-09-24 cs.CL cs.LG
Analysis of LLM Bias (Chinese Propaganda & Anti-US Sentiment) in DeepSeek-R1 vs. ChatGPT o3-mini-high
本研究通过构建1,200个中英多语种推理问题语料库,系统比较DeepSeek-R1与ChatGPT o3-mini-high,发现前者存在显著更高的中国宣传与反美偏见,且偏见随语言变化并渗透至非政治内容。
2025-06-02 cs.CL cs.SI
SMLT-MUGC: Small, Medium, and Large Texts -- Machine versus User-Generated Content Detection and Comparison
Northeastern University(东北大学)
本研究比较了机器学习算法在不同长度文本上检测LLM生成内容的能力,发现大参数模型更难检测,而小参数模型检测准确率高,并分析了文本特征差异。
2024-06-28 cs.CL cs.LG
BiAxisBias: Evaluating LLM Bias Beyond a Single Prompt and a Single Explanation
Southeast University, China(东南大学);Nanyang Technological University, Singapore(南洋理工大学)
本文提出BiAxisAudit框架,通过双轴评估方法揭示LLM偏见的跨提示敏感性和响应层分歧,解决单一指标无法捕捉的偏见问题。
2026-08-18 cs.CL cs.CR
A Case Study to Reveal if an Area of Interest has a Trend in Ongoing Tweets Using Word and Sentence Embeddings
在自然语言处理领域,从文本中提取信息抽取一直是众多研究者的目标。许多不同的技术已经被应用,以揭示一条推文可能有的观点,从而了解多达280个字符的小文字的情绪。除了弄清楚推文的情绪之外,研究还可以专注于发现推文与特定兴趣领域的相关性,这构成了本研究的目的。为了揭示一个感兴趣的领域在正在进行的推文中是否有趋势,我们提出了一种易于应用的自动化方法,其中显示每日推文语料库与代表我们感兴趣领域的目标词之间相似性的每日平均相似性得分是通过使用基于朴素相关性的技术来计算的,而无需训练任何机器学习模型。每日平均相似度得分主要基于余弦相似度和多语言通用句子编码器计算的词/句子嵌入,并显示了关于某个感兴趣领域的推文的主要意见流,这证明了通过使用本研究中提出的方法可以很容易地几乎实时的捕获Twitter上特定主题的持续趋势。我们还比较了使用词与句子嵌入的有效性,同时应用我们的方法,并意识到,两者给出几乎相同的结果,而使用词嵌入需要更少的计算时间比句子嵌入,因此更有效。本文将首先介绍有关基础知识的背景信息,然后继续解释拟议的方法,最后解释结果并总结调查结果。
2021-10-02 cs.AI cs.CL
A Corpus of English-Hindi Code-Mixed Tweets for Sarcasm Detection
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
像Twitter和Facebook这样的社交媒体平台已经成为人们用来表达他们对不同话题的看法的两个最大的媒介。如此大规模的用户数据的产生使得情感分析和意见挖掘等NLP任务变得更加重要。最近,在社交媒体上的文本中使用讽刺已经成为一种流行趋势。使用讽刺会颠倒文本所暗示的意义和极性,这对许多NLP任务构成了挑战。文本中的讽刺检测对于商业和安全服务都越来越重要。我们提出了第一个英语印地语代码混合数据集的推文标记的讽刺和讽刺的存在,每个令牌也注释了一个语言标签。我们提出了一个基线监督分类系统,使用相同的数据集,实现了平均F-得分为78.4后,使用随机森林分类器和执行10倍交叉验证。
2018-05-30 cs.CL