nchellwig at SemEval-2026 Task 3: Self-Consistent Structured Generation (SCSG) for Dimensional Aspect-Based Sentiment Analysis using Large Language Models
Media Informatics Group, University of Regensburg(雷姆施泰因大学媒体信息学小组);Information Science Group, University of Regensburg(雷姆施泰因大学信息科学小组)
nchellwig 在 SemEval-2026 任务 3 中提出 SCSG 方法,利用大语言模型进行维度方面基于情感分析,通过自一致性生成提升预测可靠性,实验显示在多个语言和领域组合中表现优异。
2026-03-02 cs.CL
SentiLSTM: A Deep Learning Approach for Sentiment Analysis of Restaurant Reviews
Chittagong University of Engineering and Technology(吉大港工程技术大学)
由于互联网的轻松访问和各种Web 2.0应用程序的发展,文本数据生成的数量大大增加。这些文本数据的产生是因为人们以推文、Facebook帖子或状态、博客文章和评论的形式表达他们对任何产品或服务的意见、情感或情绪。情感分析处理的是通过计算识别和分类文本中表达的观点的过程,特别是为了确定作者对特定主题的态度是积极的,消极的还是中立的。顾客评论对感知顾客对餐厅的态度有显著的影响。因此,从评论中自动检测情感对于餐馆所有者或服务提供商和顾客来说是有利的,以使他们的决策或服务更令人满意。本文提出了一种基于深度学习的技术(即,BiLSTM)将餐厅客户提供的评论分为正极性和负极性。一个语料库由8435评论构建,以评估所提出的技术。此外,提出的技术与其他机器学习算法的比较分析。测试数据集的评估结果表明,BiLSTM技术的准确率最高,达到91.35%。
2020-11-19 cs.CL
Uzbek Sentiment Analysis based on local Restaurant Reviews
National University of Uzbekistan named after Mirzo Ulugbek(米尔佐·乌鲁格别克命名的乌兹别克斯坦国立大学)
从大量的用户反馈中提取有用的信息用于情感分析和分类问题,例如餐馆评论,是自然语言处理的一项重要任务,这不仅可以为客户提供个性化服务,而且可以影响公司的进一步发展。在本文中,我们提出了一项收集餐馆评论数据作为乌兹别克语情感分析数据集的工作,乌兹别克语是突厥语家族的一员,受到低资源约束的严重影响,并通过使用不同技术进行评估来提供对新数据集的进一步分析,从基于逻辑回归的模型到支持向量机,甚至深度学习模型,例如循环神经网络以及卷积神经网络。该文件包括有关数据如何收集的详细信息,如何预处理以获得更好的质量优化,以及评估过程的实验设置。总体评估结果表明,通过执行预处理步骤,如粘着语言的词干提取,系统产生了更好的结果,最终在性能最佳的模型中达到91%的准确率
2022-05-31 cs.AI cs.CL
Enhanced Sentiment Analysis of Iranian Restaurant Reviews Utilizing Sentiment Intensity Analyzer & Fuzzy Logic
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
针对 VADER 在伊朗餐厅评论情感分析中的中性偏差,提出平方根与四次方根变换并结合模糊推理系统,显著提升情感强度识别效果。
2025-03-15 cs.CL cs.CV
Sentiment Analysis based Multi-person Multi-criteria Decision Making Methodology using Natural Language Processing and Deep Learning for Smarter Decision Aid. Case study of restaurant choice using TripAdvisor reviews
Andalusian Research Institute in Data Science and Computational Intelligence(安达卢西亚数据科学与计算智能研究所);University of Granada(格拉纳达大学)
决策模型的约束,采取专家评价与预定义的数字或语言术语。我们声称,使用情感分析将允许决策模型考虑专家评价自然语言。因此,我们提出了基于情感分析的多人多标准决策(SA-MpMcDM)方法,更智能的决策辅助,建立专家的评价,从他们的自然语言评论,甚至从他们的数字评级,如果他们是可用的。SA-MpMcDM方法结合了用于基于方面的情感分析的端到端多任务深度学习模型,称为DOC-ABSADeepL模型,能够识别专家评审中提到的方面类别,并提取他们的意见和标准。通过专家的注意力,通过名为标准加权的程序来汇总各个评价。我们在使用TripAdvisor评论进行餐厅选择的案例研究中评估了该方法,因此我们构建,手动注释并发布了TripR-2020餐厅评论数据集。我们分析了SA-MpMcDM方法在不同的情况下使用和不使用自然语言和数值评估。分析表明,两种信息源的组合导致更高的质量偏好向量。
2020-10-14 cs.AI cs.CL cs.LG
Text Mining Customer Reviews For Aspect-based Restaurant Rating
University of San Jose-Recoletos(圣何塞雷科莱托斯大学)
本研究应用文本挖掘来分析顾客评论,并根据五个预定的方面自动分配集体餐厅星级:氛围,成本,食品,卫生和服务。该应用程序提供了一个网络和移动众包平台,用户可以分享用餐体验,并通过用户提供的反馈了解餐厅的优势和劣势。文本评论被标记成句子。名词-形容词对是使用Stanford Core NLP库从每个句子中提取的,并根据输入系统的关联词包与方面相关联。通过AFINN库确定形容词的情感权重。基于个体方面评级来计算总体餐厅星级评级。此外,生成词云以提供评论中最频繁出现的术语的视觉显示。添加的反馈越多,情绪评分对餐厅表现的反映就越多。
2019-01-07 cs.CL
Sentiment Analysis in Scholarly Book Reviews
Aix Marseille Université(艾克斯-马赛大学);CNRS(法国国家科学研究中心);ENSAM(法国国立高等工程技术学校);Université de Toulon(土伦大学)
到目前为止,不同的研究已经解决了情感分析在几个领域,如餐厅和电影评论。但是,这一问题在学术书评中尚未得到研究,因为学术书评的风格和篇幅都不同。在本文中,我们建议将不同的功能,以提交给一个监督分类器,提取意见目标的表达和检测其极性在学术书评。我们构建了一个标记语料库,用于训练和评估我们在法语书评中的方法。我们还评估他们的英语餐厅评论,以衡量他们的鲁棒性跨域和语言。评价结果表明,我们的方法是足够强大的英语餐厅评论和法国书评。
2016-03-04 cs.AI cs.CL
Causal Prompting for Implicit Sentiment Analysis with Large Language Models
School of Computing Technologies, RMIT University(RMIT大学计算机技术学院);Institute of Innovation, Science and Sustainability, Federation University Australia(联邦大学澳大利亚创新、科学与可持续性研究所);CSIRO’s Data61(CSIRO数据61)
本文提出CAPITAL因果提示框架,通过前门调整分解CoT推理中的因果效应并结合对比学习,显著提升大语言模型在隐式情感分析中的准确性与鲁棒性。
2025-07-01 cs.CL
Sentiment Analysis: Predicting Yelp Scores
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们基于Yelp开放数据集的一个子集来预测餐馆评论的情绪。我们利用数据集中可用的Meta特征和文本,并评估几种机器学习和最先进的深度学习方法来执行预测任务。通过几个定性实验,我们展示了具有注意力机制的深度模型在学习不同餐馆评论的平衡模型方面的成功。最后,我们提出了一种新的多任务联合BERT模型,提高了整体分类性能。
2022-01-20 cs.CL cs.LG
Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis
Data Science Institute(数据科学研究所);University of Galway(Galway大学)
本文探索使用大语言模型作为自动标注者进行细粒度意见分析,提出声明式标注流水线和LLM裁决方法,实验表明LLM在跨度级别可靠但难以再现关系结构,更适合作为标注助手而非完全替代人类。
2026-08-04 cs.CL
BvSP: Broad-view Soft Prompting for Few-Shot Aspect Sentiment Quad Prediction
College of Software, Nankai University(南开大学软件学院);College of Computer Science, Nankai University(南开大学计算机学院);College of Artificial Intelligence, Tianjin University of Science and Technology(天津科技大学人工智能学院)
本文针对少样本方面情感四元组预测问题,提出宽视角软提示方法BvSP,通过多模板相关性选择、软提示引导和投票聚合,并构建FSQP数据集,在多个少样本设置下显著超越现有方法。
2024-06-11 cs.AI cs.CL
Shifting Trends of COVID-19 Tweet Sentiment with Respect to Voting Preferences in the 2020 Election Year of the United States
University of Tennessee at Chattanooga(田纳西大学查塔努加分校)
2020年美国大选年期间,COVID-19相关政策被广泛政治化,导致观点两极分化。Twitter用户在2020年选举年特别活跃。在这里,我们调查了在选举日之前的一段时间内,与COVID-19相关的推文是否与州一级的整体选举结果相关。我们观察到COVID-19相关推文的平均情绪与两周内的流行投票之间存在弱相关性,并且趋势逐渐相反。然后,我们比较了支持共和党(红色州)或民主党(蓝色州)的州之间与COVID-19相关的推文的平均情绪。我们发现,在封锁开始时,蓝色州的情绪比红色州的情绪要积极得多。然而,红州的情绪在2020年夏季逐渐变得更加积极,并持续到选举日。
2022-02-15 cs.CL cs.SI
Beyond the Star Rating: A Scalable Framework for Aspect-Based Sentiment Analysis Using LLMs and Text Classification
University of Southern California(南加州大学)
本文提出一种结合LLMs和传统机器学习的方法,用于大规模基于方面的情感分析,通过分析470万条评论,展示了其在餐饮体验、菜系和地理区域中的应用效果。
2026-02-24 cs.CL
Investigating Monolingual and Multilingual BERTModels for Vietnamese Aspect Category Detection
University of Information Technology(信息科技大学);Vietnam National University(越南国家大学)
方面类别检测(ACD)是基于特征的情感分析问题中具有挑战性的任务之一。此任务的目的是从一组预定义的类别中识别用户生成的评论中提到的方面类别。在本文中,我们研究了各种单语预训练的语言模型的性能相比,多语言模型的越南方面类别检测问题。我们在餐厅和酒店领域的两个基准数据集上进行实验。在两个数据集上的实验结果表明,单语PhoBERT模型比其他模型更有效。我们还基于其他语言的SemEval-2016数据集与越南语数据集的组合评估了多语言模型的性能。据我们所知,我们的研究是第一次尝试在方面类别检测任务上执行各种可用的预训练语言模型,并利用基于多语言模型的其他语言的数据集。
2021-03-17 cs.CL cs.LG
Regularised Text Logistic Regression: Key Word Detection and Sentiment Classification for Online Reviews
National University of Singapore(新加坡国立大学)
对于酒店和餐饮行业的经理和高管来说,在线客户评论已经变得非常重要,他们希望全面了解客户的需求和期望。我们提出了一个正则化文本逻辑(RTL)回归模型来对非结构化文本数据进行文本分析和情感分类,该模型自动识别一组统计上显着且具有操作洞察力的单词特征,并实现了令人满意的预测分类精度。我们将RTL模型应用于TripAdvisor的两个在线评论数据集,餐厅和酒店。我们的研究结果表明,令人满意的分类性能相比,替代分类器的最高真阳性率为94.9%。此外,RTL识别了一小部分单词特征,对应于餐厅的3%和酒店的20%,这通过允许经理深入到更小的重要客户评论集合来提高工作效率。我们还发展了估计量的相合性、稀疏性和预言性。
2020-09-09 cs.CL cs.LG stat.ML
Aspect-Based Sentiment Analysis using Local Context Focus Mechanism with DeBERTa
文本情感分析,也称为意见挖掘,是研究计算人们的观点,评价,态度和情感表达的实体。文本情感分析可以分为文本级情感分析、句子级情感分析和方面级情感分析。基于情感的情感分析(ABSA)是情感分析领域中的一个细粒度任务,其目的是预测方面的极性。预训练神经模型的研究显著提高了许多自然语言处理任务的性能。近年来,预训练模型(PTM)已被应用于ABSA。因此,有一个问题,这是PTMs是否包含足够的句法信息ABSA。在本文中,我们探讨了最近的DeBERTa模型(解码增强BERT与解纠缠注意),以解决基于情感的情感分析问题。DeBERTa是一种基于Transformer的神经语言模型,采用自监督学习在大量原始文本语料库上进行预训练。在局部上下文聚焦(LCF)机制的基础上,结合DeBERTa模型,提出了一种面向方面情感分析的多任务学习模型。在SemEval-2014最常用的笔记本电脑和餐馆数据集以及ACL twitter数据集上的实验结果表明,使用DeBERTa的LCF机制具有显著的改进。
2022-07-07 cs.CL cs.IR
PCS: Perceived Confidence Scoring of Black Box LLMs with Metamorphic Relations
University of Calgary(卡尔加里大学);Vector Institute(向量研究所);York University(约克大学)
本文提出基于蜕变关系的感知置信度评分PCS,通过分析大语言模型在语义等价文本变体上预测标签的一致性来评估置信度,从而提升零样本LLM文本分类性能,并在单模型和多模型投票场景中分别实现9.3%和5.8%的性能提升。
2025-11-08 cs.CL cs.LG
Interpreting Pretrained Language Models via Concept Bottlenecks
Arizona State University(亚利桑那州立大学);Zhejiang University(浙江大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Virginia(弗吉尼亚大学)
本研究提出C$^3$M方法,通过结合人工与机器生成的概念瓶颈来解释预训练语言模型,提升可解释性,并帮助诊断失败与增强鲁棒性。
2023-11-08 cs.AI cs.CL
W2VLDA: Almost Unsupervised System for Aspect Based Sentiment Analysis
Vicomtech-IK4(维康技术-IK4研究所);EHU(巴斯克大学)
随着专业网站和社交网络中在线客户意见的增加,自动系统帮助组织和分类客户评论的必要性比以往任何时候都更加重要。基于方面的情感分析的监督方法对于它们所训练的领域/语言获得了良好的结果,但是对于所有领域和语言,使用手动标记的数据来训练监督系统通常非常昂贵和耗时。在这项工作中,我们描述了W2 VLDA,一个几乎无监督的系统,基于主题建模,结合其他一些无监督的方法和最小的配置,执行方面/类别分类,方面术语/意见词分离和情感极性分类为任何给定的域和语言。我们在多语言SemEval 2016 task 5(ABSA)数据集中评估了方面和情感分类的性能。我们展示了几种语言(英语,西班牙语,法语和荷兰语)和领域(酒店,餐馆,电子设备)的竞争结果。
2017-07-18 cs.CL
LFOSum: Summarizing Long-form Opinions with Large Language Models
University of Alberta(阿尔伯塔大学)
本文提出LFOSum框架,通过构建超千条评论的长篇数据集、两种免训练LLM总结方法及无参考评估指标,系统评估LLM在长篇意见总结中的忠实度与情感格式平衡能力。
2024-10-16 cs.AI cs.CL cs.ET
Zero-shot narrative detection in social messaging
Universidad Nacional de Educación a Distancia(西班牙国家远程教育大学);Zurich University of Applied Sciences(苏黎世应用科学大学)
本研究验证了大型语言模型在零样本条件下,结合人类撰写的描述和多数投票集成,能有效检测社交消息中的隐藏叙事,性能可媲美监督系统。
2026-09-17 cs.CL
Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study
Sinch Chatlayer;Ghent University - imec(根特大学 - imec)
本研究探索零样本跨语言情感分类中语言与领域偏移对OOD泛化的影响,验证反事实增强数据在低资源语言中的有效性,并提出两种利用大语言模型的低成本新方法,在部分数据集上达到与CAD相当或更高的准确率。
2023-11-11 cs.CL
LabelFusion: Fusing Large Language Models with Transformer Encoders for Robust Financial News Classification
本文提出LabelFusion架构,结合提示工程的LLM与微调的RoBERTa编码器,通过轻量MLP投票层提升金融新闻分类性能,在低数据环境下LLM单独使用表现更优。
2026-03-14 cs.AI cs.CL
From LLM-anation to LLM-orchestrator: Coordinating Small Models for Data Labeling
Zhejiang University of Technology(之江大学);Agency for Science, Technology and Research(科技研究局)
提出AutoAnnotator框架,通过LLM协调多个SLM进行数据标注,利用投票和困难样本微调,降低成本74.15%并提升准确率6.21%。
2025-06-19 cs.AI cs.CL
Adapt or Get Left Behind: Domain Adaptation through BERT Language Model Finetuning for Aspect-Target Sentiment Classification
广告目标情感分类(ATSC)是基于广告的情感分析(ABSA)的子任务,ABSA具有许多应用,例如在电子商务中,可以利用来自评论的数据和见解为企业和客户创造价值。最近,深度迁移学习方法已成功应用于无数的自然语言处理(NLP)任务,包括ATSC。在突出的BERT语言模型的基础上,我们使用两步过程来实现ATSC:自监督特定领域的BERT语言模型微调,然后是监督特定任务的微调。我们关于如何最好地利用特定领域语言模型微调的研究结果使我们能够在SemEval 2014任务4餐馆数据集上产生新的最先进的性能。此外,为了探索我们的模型在现实世界中的鲁棒性,我们进行了跨域评估。我们表明,跨域适应BERT语言模型的性能显着优于强大的基线模型,如香草BERT-base和XLNet-base。最后,我们进行了一个案例研究来解释模型的预测误差。
2019-11-19 cs.CL
Leveraging Foreign Language Labeled Data for Aspect-Based Opinion Mining
Posts and Telecommunications Institute of Technology(越南邮电技术学院)
基于方面的观点挖掘是在观点文本的方面层次上识别情感的任务,它包括两个子任务:方面类别提取和情感极性分类。虽然方面类别提取的目的是检测和分类的意见目标,如产品特征,情感极性分类分配一个情感标签,即积极的,消极的,或中性的,每个识别的方面。监督学习方法已被证明可以为这项任务提供更好的准确性,但它们需要标记的数据,这是昂贵的,特别是对于资源贫乏的语言,如越南语。为了解决这个问题,我们提出了一个监督方面为基础的意见挖掘方法,利用标记的数据从外语(英语在这种情况下),这是翻译成越南语的自动翻译工具(谷歌翻译)。由于不同语言中的方面和观点可能由不同的词来表达,因此我们提出使用词嵌入以及其他特征来减少原文和译文之间的词汇差异,从而提高方面类别提取和情感极性分类过程的有效性。我们还介绍了一个注释语料库的方面类别和情感极性提取的餐馆评论在越南,并进行了一系列的实验语料库。实验结果证明了该方法的有效性。
2020-03-15 cs.AI cs.CL cs.IR
ACAT: A Collaborative Platform for Efficient Aspect-Based Sentiment Dataset Annotation
National University of Science and Technology POLITEHNICA Bucharest(波兰那尔大学科学与技术学院)
提出ACAT平台,通过自动化ETL流程和原生支持四种ABSA工作流,解决多标注者数据整合与一致性计算问题,实现高效标注并直接导出训练就绪数据集。
2026-06-02 cs.CL
Extending Czech Aspect-Based Sentiment Analysis with Opinion Terms: Dataset and LLM Benchmarks
Department of Computer Science and Engineering(计算机科学与工程系);NTIS -- New Technologies for the Information Society(信息社会新技术)
本文提出了一种针对捷克语的ABSA数据集和翻译对齐方法,通过实验展示了其在低资源语言中的应用效果和改进。
2026-03-04 cs.CL
Deep Learning-based Sentiment Classification: A Comparative Survey
Beni-Suef University(贝尼苏韦夫大学);Universidade de Vigo(维戈大学)
本文综述了影响深度学习情绪分类性能的因素,将其分为数据准备、特征表示和分类技术三类,并基于21个数据集对100多种方法进行了比较分析。
2023-12-12 cs.AI cs.CL
Sentiment Analysis of Czech Texts: An Algorithmic Survey
Institute of Formal and Applied Linguistics, Charles University(查尔斯大学形式与应用语言学研究所)
在在线通信、商务和交易领域,分析以各种自然语言书写的文本的情感极性变得至关重要。虽然在英语的资源和研究方面有很多贡献,但像捷克语这样的“较小”语言并没有得到太多的关注。在这项调查中,我们探索了许多现有的机器学习算法对捷克Facebook帖子和产品评论进行情感分析的有效性。我们报告了每个算法的最佳参数值集以及两个数据集中的得分。我们最后观察到,支持向量机是最好的分类器和努力,以提高性能,甚至更多的装袋,提升或投票集成方案未能做到这一点。
2019-03-15 cs.CL cs.IR cs.LG
TeamHerald@CHIPSAL 2026: Hate Speech Detection and Sentiment Analysis of Nepali Memes using Transformer-based Architectures and Ensemble Learning
Herald College Kathmandu(加德满都赫尔德学院)
针对尼泊尔语模因中代码混合和资源匮乏问题,采用OCR提取文本并结合Transformer模型,发现硬/软投票集成策略在二分类和多分类任务中表现不同,软投票在多类情感任务中提升15.8%的Macro F1分数。
2026-06-07 cs.AI cs.CL cs.CV
Ensemble Language Models for Multilingual Sentiment Analysis
University of New Brunswick(新不伦瑞克大学)
针对低资源语言情感分析研究不足的问题,该研究在两个推文数据集上调研4种预训练语言模型,提出2种集成模型,发现单语模型表现优异、多数投票集成模型性能优于英语基线。
2024-03-10 cs.CL cs.LG
Reference Points in LLM Sentiment Analysis: The Role of Structured Context
Meijo University(名古屋大学);RIKEN(理化学研究所);AIP(Advanced Institute for Particle Physics)
本文研究结构化上下文对LLM情感分析的影响,发现JSON格式提示配合额外参照信息可使3B小模型在Yelp数据上超越未微调基线,为资源受限场景提供实用替代方案。
2025-08-15 cs.AI cs.CL
Czech Dataset for Complex Aspect-Based Sentiment Analysis Tasks
University of West Bohemia, Faculty of Applied Sciences, Department of Computer Science(西波西米亚大学应用科学学院计算机科学系)
本文引入了一个包含3.1K条人工标注评论的捷克ABSA数据集,支持目标-方面-类别检测等复杂任务,遵循SemEval-2016格式以促进跨语言比较,并提供了2400万条无标注评论和基于Transformer的基线结果。
2025-08-11 cs.CL
Integrating sentiment and social structure to determine preference alignments: The Irish Marriage Referendum
University of Limerick(利默里克大学);Sinnia;University of Oxford(牛津大学)
我们通过分析大量关于2015年爱尔兰婚姻公投的推文来研究社会结构和情绪之间的关系。我们获取了公投前几天发布的每一条带有#marref和#marriageref标签的推文的情绪,并构建网络来聚合情绪,并使用它来研究用户之间的互动。我们的研究结果表明,用户发布的提及推文的情感与收到的提及的情感相关,并且在提及和追随者网络中,具有相似情感分数的用户之间的联系明显多于具有相反分数的用户之间的联系。我们结合两个网络的社区结构与用户的活动水平和情感得分,找到支持在全民公决中投票“是”或“否”的用户群体。在没有追随者联系的情况下,辩论对立双方的用户之间进行了许多对话,这表明一些用户努力建立跨越意识形态分歧的对话和辩论。我们的分析表明,社会结构可以成功地与情感相结合,以分析和理解社交媒体用户的倾向。这些结果在整合数据和元数据以研究民意动态、民意建模和民意调查方面具有潜在的应用。
2017-02-18 cs.CL cs.IR cs.SI
CrosGrpsABS: Cross-Attention over Syntactic and Semantic Graphs for Aspect-Based Sentiment Analysis in a Low-Resource Language
Department of Computer Science and Engineering, Bangladesh University of Business and Technology(孟加拉国商业技术大学计算机科学与工程系);Department of Computer Science and Engineering, Chittagong University of Engineering and Technology(恰尔达姆工程与技术大学计算机科学与工程系)
针对孟加拉语等低资源语言方面级情感分析缺乏资源的问题,提出CrosGrpsABS混合框架,结合Transformer上下文嵌入与图卷积网络,利用句法图和语义图间的双向交叉注意力融合局部句法与全局语义,在多个数据集上显著提升了分类性能。
2025-10-12 cs.CL
Sentiment Analysis of German Sign Language Fairy Tales
German Research Center for Artificial Intelligence (DFKI) Saarland Informatics Campus D3 2(德国人工智能研究中心(DFKI)萨尔兰信息学校园D3 2)
本文提出用于德语手语童话情感分析的数据集和模型,通过四个大语言模型进行三类情感分析并采用多数投票达成0.781的Krippendorff's alpha一致性,利用MediaPipe提取面部和身体动作特征,训练可解释模型实现情感预测,结果显示平均平衡准确率为0.631。
2026-04-17 cs.CL cs.LG
SMLT-MUGC: Small, Medium, and Large Texts -- Machine versus User-Generated Content Detection and Comparison
Northeastern University(东北大学)
本研究比较了机器学习算法在不同长度文本上检测LLM生成内容的能力,发现大参数模型更难检测,而小参数模型检测准确率高,并分析了文本特征差异。
2024-06-28 cs.CL cs.LG
Unveiling factors influencing judgment variation in Sentiment Analysis with Natural Language Processing and Statistics
Universidade da Coruña(拉科鲁尼亚大学);University of Augsburg(奥格斯堡大学)
本研究以西班牙语TripAdvisor评论为对象,利用单词标题和统计检验分析词性、情感词与中性词对众包极性判断差异的影响,发现形容词和情感词可降低差异、中性词提高差异,但该效应在长标题中未必复现。
2024-05-20 cs.CL
Beyond Majority Voting: Agreement-Based Clustering to Model Annotator Perspectives in Subjective NLP Tasks
Instituto Politécnico Nacional(智利国家理工学院);University of Wisconsin–Stevens Point(威斯康星州立大学斯蒂文斯点分校);University of Pretoria(培特里亚大学);Bahir Dar University(巴希尔达大学);Imperial College London(伦敦帝国理工学院);University of Hamburg(汉堡大学)
本文提出基于一致性的聚类技术,用于建模标注者之间的分歧,通过在18种语言的40个数据集上实验,发现该方法在主观NLP任务中显著提升了分类性能。
2026-05-11 cs.CL
Dynamic Allocation of Crowd Contributions for Sentiment Analysis during the 2016 U.S. Presidential Election
Boston University(波士顿大学)
关于2016年美国总统候选人的意见已经在数百万条推文中表达出来,这些推文很难自动分析。众包政治推文的有效分析也很困难,因为当涉及讽刺时,评级者之间存在很大的分歧。每条推文通常由固定数量的工人和多数投票进行分析。我们在这里提出了一个众包框架,而不是使用工人数量的动态分配。我们探索了两种动态分配方法:(1)根据预测的识别特定推文的情感的难度离线计算被查询以标记推文的工人数量。(2)在迭代的众包过程中,基于标签之间的评分员协议,众包工作者的数量是在线确定的。我们将我们的方法应用于2016年2月收集的关于四位美国总统候选人克林顿,克鲁兹,桑德斯和特朗普的1,000条Twitter消息。我们使用决策树实现了这两种方法,这些决策树将更多的人群努力分配给预测为讽刺的推文。我们表明,我们的框架优于传统的静态分配计划。它以低得多的成本从人群中收集意见标签,同时保持标签的准确性。
2017-02-09 cs.CL cs.HC cs.SI
Detecting Foodborne Illness Complaints in Multiple Languages Using English Annotations Only
Columbia University(哥伦比亚大学)
卫生部门一直在部署文本分类系统,以便在Yelp餐厅评论等社交媒体文件中及早发现食源性疾病投诉。目前的系统已成功地应用于英文文件,因此,一个有希望的方向是通过考虑其他语文,如西班牙文或中文的文件来增加覆盖面和召回率。然而,为更多的语言训练以前的系统将是昂贵的,因为它将需要为每个新的目标语言手动注释许多文档。为了应对这一挑战,我们考虑跨语言学习和训练多语言分类器,只使用英语评论的注释。最近的基于预训练的多语言BERT(mBERT)的zero-shot方法已被证明可以有效地对齐语言的情感等方面。有趣的是,我们发现这些方法在捕捉食源性疾病的细微差别方面效果较差,这是我们感兴趣的公共卫生应用。为了在没有额外注释的情况下提高性能,我们通过机器翻译创建目标语言的人工训练文档,并针对源(英语)和目标语言联合训练mBERT。此外,我们表明,翻译标记的文件,以多种语言导致额外的性能改进,为一些目标语言。我们证明了我们的方法的好处,通过广泛的实验与Yelp餐厅评论在七种语言。我们的分类器识别来自Yelp Challenge数据集的多语言评论中的食源性疾病投诉,这突出了我们在卫生部门部署的一般方法的潜力。
2020-10-11 cs.CL
RSM-NLP at BLP-2023 Task 2: Bangla Sentiment Analysis using Weighted and Majority Voted Fine-Tuned Transformers
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
本文针对孟加拉语社交媒体情感分析任务,通过微调多种多语言预训练BERT模型,并采用加权和多数投票集成方法,在BLP-2023 Task 2中以0.711的得分获得第10名。
2023-10-22 cs.AI cs.CL cs.LG
A Simple Ensemble Strategy for LLM Inference: Towards More Stable Text Classification
Meijo University(明治大学);RIKEN(日本研究机构);AIP(Advanced Institute for Photonics)
针对LLMs推理结果不稳定问题,本文提出一种简单集成策略,通过中等规模模型多次推理的多数投票,在情感分析中比单次使用大模型更稳健准确,RMSE降低18.6%。
2025-05-07 cs.AI cs.CL