Sentiment Analysis and Sarcasm Detection of Indian General Election Tweets
University of Allahabad(阿拉哈巴德大学)
在当今的数字世界中,社交媒体的使用率已达到历史最高水平。大多数人使用社交媒体工具(如Twitter,Facebook,YouTube等)。与社区分享他们的想法和经验。分析普通民众的情绪和意见对政府和商界都很重要。这是很多传媒机构在选举期间积极进行各种民意调查的原因。在本文中,我们利用2019年Lok Sabha选举期间的Twitter数据分析了印度人民的情绪。我们已经建立了一个自动鸣叫分析器使用迁移学习技术来处理这个问题的无监督性质。在我们的机器学习模型中,我们使用了线性支持向量分类器方法,也使用了词频逆文档频率(TF-IDF)方法来处理推文的文本数据。此外,我们增加了模型的能力,以解决一些用户发布的讽刺性推文,这还没有被该领域的研究人员考虑。
2022-01-03 cs.CL cs.IR cs.LG
SAIDS: A Novel Approach for Sentiment Analysis Informed of Dialect and Sarcasm
Cairo University(开罗大学)
情感分析成为每个社交网络的重要组成部分,因为它使决策者能够更多地了解用户在几乎所有生活方面的意见。尽管它的重要性,它遇到了多个问题,如讽刺文本的情感,这是情感分析的主要挑战之一。本文通过引入一种新的系统(SAIDS)来应对这一挑战,该系统可以预测阿拉伯语推文的情感,讽刺和方言。SAIDS使用其对讽刺和方言的预测作为已知信息来预测情感。它使用MARBERT作为语言模型来生成句子嵌入,然后将其传递给讽刺和方言模型,然后将三个模型的输出连接起来并传递给情感分析模型。多个系统设计设置进行了实验和报告。SAIDS被应用于ArSarcasm-v2数据集,它优于情感分析任务的最先进模型。通过对所有任务进行训练,SAIDS在情感分析、讽刺检测和方言识别方面分别获得了75.98 FPN、59.09 F1得分和71.13 F1得分的结果。该系统设计可用于增强任何依赖于其他任务的任务的性能。
2023-01-06 cs.AI cs.CL
BARRAC: Adaptation of an English Aspect-based Sentiment Analysis Approach for Classification Tasks in Arabic Dialects
University of New South Wales(新南威尔士大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出BARRAC,将英文基于方面的情感分析框架适配至阿拉伯语分类任务,在五个方言数据集上平均宏F1达63.93%,优于现有少标签方法及GPT-4o,证明任务特定方法适配的有效性。
2026-10-01 cs.AI cs.CL
ArSentD-LEV: A Multi-Topic Corpus for Target-based Sentiment Analysis in Arabic Levantine Tweets
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);American University of Beirut(贝鲁特美国大学);Qatar University(卡塔尔大学)
情感分析是一项非常主观和具有挑战性的任务。当应用于阿拉伯语时,其复杂性进一步增加,主要是因为大量的方言是不标准化的,并且在网络中广泛使用,特别是在社交媒体中。虽然已经发布了许多数据集来用阿拉伯语训练情感分类器,但这些数据集中的大多数都包含浅层注释,仅将文本单元的情感标记为单词,句子或文档。在本文中,我们提出了阿拉伯语情绪Twitter数据集的黎凡特方言(ArSenTD-LEV)。根据对黎凡特地区推文的分析结果,我们创建了一个包含4,000条推文的数据集,并附有以下注释:推文的总体情绪、表达情绪的目标、表达情绪的方式以及推文的主题。结果证实了这些注释在提高基线情感分类器性能方面的重要性。他们还证实了在某个领域的培训和在另一个领域的测试之间的差距。
2019-05-25 cs.CL cs.IR cs.LG
Overview of the Arabic Sentiment Analysis 2021 Competition at KAUST
KAUST(阿卜杜拉国王科技大学);University of Jeddah(吉达大学);Lucidya;KAU(阿卜杜勒阿齐兹国王大学)
本文概述了阿卜杜拉国王科技大学(KAUST)组织的阿拉伯情感分析挑战赛。这项挑战的任务是开发机器学习模型,将给定的推文分类为三个类别之一:积极,消极或中性。从我们最近发布的ASAD数据集来看,我们为竞争对手提供了55K的推文用于训练,20K的推文用于验证,根据这些推文,参与团队的表现在排行榜上排名,https://www.kaggle.com/c/arabic-sentiment-analysis-2021-kaust。比赛共收到来自74支队伍(99名队员)的1247份参赛作品。最终的获胜者由另一个私有的20K tweet集决定,这些tweet集与训练和验证集具有相同的分布。在本文中,我们提出了在竞争中的主要发现,并总结了排名靠前的团队使用的方法和工具。完整的10万条标签推文数据集也在https://www.kaggle.com/c/arabic-sentiment-analysis-2021-kaust/data上发布供公众使用。
2021-09-29 cs.CL cs.LG
Sarcasm Detection Framework Using Context, Emotion and Sentiment Features
Instituto Politécnico Nacional(国立理工学院)
讽刺检测是一项重要的任务,可以帮助识别用户生成的数据(如论坛或推文)中的实际情绪。讽刺是一种复杂的语言表达形式,因为它的表面意义通常与其内在的深层意义相矛盾。这种不协调是讽刺的基本组成部分,然而,它使得讽刺检测相当具有挑战性的任务。在本文中,我们提出了一个模型,它结合了不同的功能来捕捉讽刺内在的不协调。我们使用预训练的Transformer和CNN来捕获上下文特征,并且我们使用在情感检测和情感分析任务上预训练的Transformers。我们的方法在来自社交网络平台和在线媒体的四个数据集上的表现优于以前的最先进的结果。
2023-01-04 cs.CL cs.LG
LEBANONUPRISING: a thorough study of Lebanese tweets
Lebanese International University(黎巴嫩国际大学)
最近的研究表明,人们对社交网络情感分析产生了极大的兴趣。Twitter是一个微博客服务,可以成为用户对某个话题的看法,或者他们对社会,经济甚至政治问题的看法的重要信息来源。10月17日,黎巴嫩见证了一场革命的开始;“黎巴嫩起义”的标签在推特上迅速传播开来。在10月18日至21日期间收集了由100,000条推文组成的数据集。在本文中,我们使用不同的机器学习算法,对黎巴嫩阿拉伯语口语中与黎巴嫩起义主题标签相关的推文进行了情感分析研究。对数据集进行手动注释,以测量精确度和召回率指标,并在不同算法之间进行比较。此外,本文完成的工作提供了两个贡献。第一个是建立一个黎巴嫩到现代标准阿拉伯语的映射字典,用于推文的预处理,第二个是尝试从情感分析转移到使用表情符号的情感检测,我们试图预测的两种情感是“讽刺”和“有趣”的情感。我们从2019年10月收集的推文中构建了一个训练集,然后使用该集来预测我们在2020年5月至8月期间收集的推文的情绪和情感。我们进行的分析显示了两个数据集之间的情感,情绪和用户的变化。我们获得的结果似乎令人满意,特别是考虑到据我们所知,以前没有涉及黎巴嫩阿拉伯语推文的类似工作。
2020-09-30 cs.CL cs.LG
AraCOVID19-SSD: Arabic COVID-19 Sentiment and Sarcasm Detection Dataset
Research Centre on Scientific and Technical Information (CERIST)(科学技术信息研究中心(CERIST))
冠状病毒病(COVID-19)是一种传染性呼吸道疾病,于2019年12月下旬在中国武汉首次发现,随后在全球范围内传播,造成大量恐慌和死亡。Facebook和Twitter等社交网站的用户一直专注于阅读、发布和分享有关新出现的大流行病的新奇事物、推文和文章。许多这些用户经常使用讽刺来以幽默,有趣和间接的方式传达他们的意图,使得基于计算机的应用程序很难自动理解和识别他们的目标以及他们可以改变的伤害程度。出于对在COVID-19背景下解决此类问题的注释数据集的新兴需求,本文构建并发布了AraCOVID 19-SSD,这是一个手动注释的阿拉伯语COVID-19讽刺和情感检测数据集,包含5,162条推文。为了确认所构建的数据集的实际效用,已经使用几种分类模型对其进行了仔细的分析和测试。
2021-10-05 cs.AI cs.CL
BFCAI at SemEval-2022 Task 6: Multi-Layer Perceptron for Sarcasm Detection in Arabic Texts
Benha University(本哈大学)
本文介绍了系统提交给iSarcasm的共享任务。iSarcasm的目的是识别阿拉伯语和英语文本中的讽刺内容。我们的团队参加了阿拉伯语的iSarcasm。提出了一种基于多层机器学习的阿拉伯语讽刺语检测模型。在该模型中,一个向量空间TF-IDF已被用来作为特征表示。所提交的系统是简单的,不需要任何外部资源。测试结果显示了令人鼓舞的结果。
2022-05-18 cs.CL
X-PuDu at SemEval-2022 Task 6: Multilingual Learning for English and Arabic Sarcasm Detection
Baidu(百度);Shanghai Pudong Development Bank(上海浦东发展银行)
从人们的主观陈述中检测讽刺和言语讽刺对于理解他们在社会场景中的意图和真实情感和位置至关重要。本文介绍了X-PuDu系统,参加了SemEval-2022任务6,iSarcasmEval -有意讽刺检测英语和阿拉伯语,其目的是检测有意讽刺自然语言理解的各种设置。我们的解决方案在多语言设置下微调预训练的语言模型,如ERNIE-M和DeBERTa,以识别阿拉伯语和英语文本中的讽刺。我们的系统在43个任务中排名第二,在32个任务中排名第九:英语和阿拉伯语的一句话检测;在22个任务中排名第五:英语的二进制多标签分类;在16个任务中排名第一,在13个任务中排名第五:英语和阿拉伯语的双对检测。
2022-11-30 cs.CL
AraBERT and Farasa Segmentation Based Approach For Sarcasm and Sentiment Detection in Arabic Tweets
Flipkart Private Limited(Flipkart私人有限公司)
本文介绍了我们解决EACL WANLP-2021共享任务2:讽刺和情感检测的策略。其中一个子任务旨在开发一个系统,识别给定的阿拉伯语推文是否具有讽刺性质,而另一个子任务旨在识别阿拉伯语推文的情绪。我们分两步来完成这项任务。第一步涉及通过对文本的各个部分执行插入、删除和分割操作来预处理所提供的ArSarcasm-v2数据集。第二步是对两个基于Transformer的模型AraELECTRA和AraBERT的多种变体进行试验。我们最终的方法在讽刺和情感检测子任务中分别排名第七和第四。
2021-03-02 cs.CL
Arabic Language Sentiment Analysis on Health Services
Coventry University(考文垂大学)
社交媒体网络现象导致了大量有价值的数据,这些数据可以在线获得并且易于访问。许多用户在不同的社交网络网站上分享图片、视频、评论、评论、新闻和观点,推特是最受欢迎的网站之一。从Twitter收集的数据是高度非结构化的,从推文中提取有用的信息是一项具有挑战性的任务。Twitter拥有大量的阿拉伯语用户,他们大多使用阿拉伯语发布和撰写推文。虽然已经有很多关于英语情感分析的研究,但阿拉伯语的研究和数据集数量有限。本文介绍了一个阿拉伯语数据集,这是关于卫生服务的意见,并已从Twitter上收集。本文首先详细介绍了从Twitter上收集数据的过程,以及对阿拉伯语文本进行过滤、预处理和注释的过程,以建立一个大的阿拉伯语情感分析数据集。在我们的健康数据集上进行的情感分析实验中,使用了几种机器学习算法(朴素贝叶斯,支持向量机和逻辑回归)以及深度和卷积神经网络。
2017-02-10 cs.CL cs.NE cs.SI
CS-UM6P at SemEval-2022 Task 6: Transformer-based Models for Intended Sarcasm Detection in English and Arabic
Mohammed VI Polytechnic University(穆罕默德六世理工大学)
讽刺是比喻语言的一种形式,其中一个句子的预期含义与其字面意思不同。这对几个自然语言处理(NLP)应用(如情感分析、意见挖掘和作者分析)提出了严峻的挑战。在本文中,我们提出了我们的参与系统,在英语和阿拉伯语的预定讽刺检测任务。我们的系统\footnote{The source code of our system is available at \url{https://github.com/AbdelkaderMH/iSarcasmEval}}由三个基于深度学习的模型组成,利用了两个现有的阿拉伯语和英语的预训练语言模型。我们参与了所有的子任务。我们的正式提交在阿拉伯语的子任务A中表现最好,在子任务B中排名第二。对于子任务C,我们的系统在阿拉伯语和英语数据集上分别排名第7和第11位。
2022-06-16 cs.CL
Impact of emoji exclusion on the performance of Arabic sarcasm detection models
Umm Al-Qura University(乌姆·库拉大学);Texas A&M University-San Antonio(德克萨斯A&M大学圣安东尼奥分校)
本文研究从数据集中排除表情符号对阿拉伯语社交媒体讽刺检测模型性能的影响,通过适配和增强AraBERT预训练模型证明移除表情符号可显著提升检测准确率,并为阿拉伯语自然语言处理建立新基准。
2024-05-03 cs.CL cs.LG
Improving Sentiment Analysis in Arabic Using Word Representation
Coventry University(考文垂大学)
阿拉伯语在词法、拼写和方言方面的复杂性使得阿拉伯语的情感分析更具挑战性。此外,为了衡量情绪,从tweet等短消息中提取文本特征提取,使这项任务更加困难。近年来,深度神经网络经常被采用,并在情感分类和自然语言处理应用中表现出非常好的效果。词嵌入或词分布方法是一种从上下文文本中捕获最接近的词的有效工具。在本文中,我们描述了我们如何构建Word 2 Vec模型从一个大型的阿拉伯语语料库,从十份报纸在不同的阿拉伯国家。通过应用不同的机器学习算法和具有不同文本特征选择的卷积神经网络,我们报告了我们公开可用的阿拉伯语健康情感数据集上情感分类的准确性提高(91%-95%)[1]
2018-03-30 cs.CL
Plumeria at SemEval-2022 Task 6: Robust Approaches for Sarcasm Detection for English and Arabic Using Transformers and Data Augmentation
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文介绍了我们提交给SemEval-2022任务6的讽刺检测及其五个子任务的英语和阿拉伯语。讽刺表达了一种与字面意思相矛盾的意思,它主要出现在社交网络上。它在理解用户意图方面具有重要作用。为了检测讽刺,我们使用了基于Transformers的深度学习技术,因为它在自然语言处理(NLP)领域取得了成功,而不需要特征工程。数据集来自Twitter。我们通过增加外部数据或使用词嵌入和重复实例来创建新的数据集。实验是在具有不同类型预处理的数据集上进行的,因为它在这项任务中至关重要。我们的团队在四个子任务中的排名是一致的(三个子任务中排名第四,一个子任务中排名第六);而其他团队可能在某些子任务中排名最高,但在其他子任务中排名则要低得多。这意味着我们使用的模型和技术的鲁棒性和稳定性。
2022-03-08 cs.AI cs.CL cs.LG
ASAD: A Twitter-based Benchmark Arabic Sentiment Analysis Dataset
University of Jeddah(吉达大学);KAUST(阿卜杜拉国王科技大学);Lucidya
本文提供了一个新的基于Twitter的基准数据集的阿拉伯语情感分析(ASAD),这是在比赛中推出的详细描述3,由KAUST赞助的奖励10000美元,5000美元和2000美元的第一,第二和第三名的获奖者,分别。与其他公开发布的阿拉伯语数据集相比,ASAD是一个大型的高质量注释数据集(包括95K推文),具有三级情感标签(积极,消极和中性)。我们介绍了数据汇集过程和注释过程的细节。此外,我们实施了几个基线模型的竞争任务,并报告的结果作为参考的参与者的竞争。
2021-03-10 cs.CL cs.LG
Arabic Text Sentiment Analysis: Reinforcing Human-Performed Surveys with Wider Topic Analysis
Princess Nourah bint Abdulrahman University(努拉宾特阿卜杜拉赫曼大学);University of Durham(杜伦大学)
本文结合133篇论文的人工调查与2297篇文献的主题建模、时间分析,系统梳理阿拉伯语情感分析方法、算法、资源与工具缺口,并提出未来方向。
2024-03-04 cs.CL
Combining Context-Free and Contextualized Representations for Arabic Sarcasm Detection and Sentiment Identification
Savitribai Phule Pune University(萨维特里巴伊·普勒浦那大学)
自诞生以来,基于transformer的语言模型已经在多个自然语言处理任务中带来了令人印象深刻的性能提升。对于阿拉伯语,大多数数据集上的当前最先进的结果是通过AraBERT语言模型实现的。尽管最近取得了这些进展,讽刺和情感检测仍然是阿拉伯语中具有挑战性的任务,因为该语言具有丰富的形态,语言差异和方言变化。本文提供了SPPU-AASM团队提交的WANLP ArSarcasm共享任务2021,该任务围绕阿拉伯语推文的讽刺和情感极性检测。该研究提出了一种混合模型,将AraBERT的句子表示与在阿拉伯语社交媒体语料库上训练的静态词向量相结合。所提出的系统实现了F1讽刺得分为0.62和F-PN得分为0.715的讽刺和情感检测任务,分别。仿真结果表明,该系统优于现有的多种方法的任务,这表明,上下文无关和上下文相关的文本表示的融合,可以帮助捕捉阿拉伯语单词意义的互补方面。该系统在讽刺检测和情感识别的子任务中分别排名第二和第十。
2021-03-09 cs.CL cs.LG cs.NE
Sarcasm Detection in Tweets with BERT and GloVe Embeddings
National Institute of Technology Karnataka, Surathkal(国家理工学院卡纳塔克分校,苏拉特卡尔)
本文针对推文讽刺检测问题,提出结合BERT与GloVe嵌入并利用用户反应上下文及回复内容的机器学习方法,以应对讽刺表达的歧义性。
2020-06-20 cs.CL cs.LG
A Corpus of English-Hindi Code-Mixed Tweets for Sarcasm Detection
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
像Twitter和Facebook这样的社交媒体平台已经成为人们用来表达他们对不同话题的看法的两个最大的媒介。如此大规模的用户数据的产生使得情感分析和意见挖掘等NLP任务变得更加重要。最近,在社交媒体上的文本中使用讽刺已经成为一种流行趋势。使用讽刺会颠倒文本所暗示的意义和极性,这对许多NLP任务构成了挑战。文本中的讽刺检测对于商业和安全服务都越来越重要。我们提出了第一个英语印地语代码混合数据集的推文标记的讽刺和讽刺的存在,每个令牌也注释了一个语言标签。我们提出了一个基线监督分类系统,使用相同的数据集,实现了平均F-得分为78.4后,使用随机森林分类器和执行10倍交叉验证。
2018-05-30 cs.CL
NileTMRG at SemEval-2017 Task 4: Arabic Sentiment Analysis
Center for Informatics Sciences Nile University(尼罗河大学信息科学中心);Faculty of Computers and Information, Cairo University(开罗大学计算机与信息学院)
本文描述了作者用于解决阿拉伯语情感分析的两个系统,作为SemEval-2017任务4的一部分。作者参与了三个阿拉伯语相关的子任务,即:子任务A(消息极性分类),子任务B(基于主题的消息极性分类)和子任务D(推文量化),使用团队名称NileTMRG。对于子任务A,我们使用了我们以前开发的情感分析器,我们增加了一个得分词典。对于子任务B和D,我们使用了三个不同分类器的集成。第一个分类器是一个卷积神经网络,我们为它训练了(word 2 vec)词嵌入。第二个分类器由多层感知器组成,而第三个分类器是Logistic回归模型,其采用与第二个分类器相同的输入。三个分类器之间的投票被用来确定最终结果。对任务B的输出进行量化,以产生任务D的结果。在NileTMRG参与的所有三项与阿拉伯语相关的任务中,该团队均排名第一。
2017-10-23 cs.CL
Sentiment Analysis For Modern Standard Arabic And Colloquial
Institute of statistical studies and research (ISSR), Cairo University(开罗大学统计研究与研究所);Cairo University(开罗大学)
博客和社交网络等社交媒体的兴起激发了人们对情感分析的兴趣。随着评论、评级、推荐和其他形式的在线表达的激增,在线意见已经变成了一种虚拟货币,企业希望推销他们的产品,发现新的机会和管理他们的声誉,因此许多人现在都在寻找情感分析领域。在本文中,我们提出了一个基于特征的句子层次的阿拉伯语情感分析的方法。我们的方法是使用阿拉伯语成语/短语词典作为提高阿拉伯语句子中情感极性检测的关键重要性,以及一些小说和丰富的语言动机特征集(上下文增强器,上下文移位器和否定处理),用于冲突短语的句法特征,提高情感分类准确性。此外,我们介绍了一个自动扩展的广泛覆盖的极性词汇的阿拉伯语情感。该词典以黄金标准情感词为种子构建,人工收集和注释,并使用同义词集聚合技术和免费在线阿拉伯语词典和词库自动扩展和检测新情感词的情感倾向。我们的数据集中于现代标准阿拉伯语(MSA)和埃及方言阿拉伯语推特和微博(酒店预订,产品评论等)。使用我们的资源和技术与SVM分类器的实验结果表明高性能水平,准确率超过95%。
2015-05-12 cs.CL
Perceived and Intended Sarcasm Detection with Graph Attention Networks
现有的讽刺检测系统集中利用语言标记,上下文,或用户级的先验知识。然而,社会研究表明,作者和观众之间的关系可以同样相关的讽刺的使用和解释。在这项工作中,我们提出了一个框架,共同利用(1)用户上下文从他们的历史推文与(2)从用户的会话邻居在交互图的社会信息,上下文的解释后。我们使用图形注意力网络(GAT)在用户和推文的会话线程,结合密集的用户历史表示。除了在最近发布的19k Twitter用户数据集上获得最先进的结果外,还添加了10M未标记的推文作为上下文,我们的研究结果表明,该模型有助于解释作者的讽刺意图,而不是预测他人的讽刺感知。
2021-10-08 cs.CL
Ensemble of pre-trained language models and data augmentation for hate speech detection from Arabic tweets
Echahid Cheikh Larbi Tebessi University(沙希德·谢赫·拉比·特贝西大学);Laboratory of Vision and Artificial Intelligence (LAVIA)(视觉与人工智能实验室)
针对阿拉伯语推文仇恨言论检测中的性能有限与数据不平衡问题,提出结合预训练语言模型集成学习和半监督数据增强的方法,在五分类基准上优于现有工作。
2024-07-02 cs.AI cs.CL
L3CubeMahaSent: A Marathi Tweet-based Sentiment Analysis Dataset
Pune Institute of Computer Technology(浦那计算机技术学院);L3Cube;Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
情感分析是自然语言处理中最基本的任务之一。流行语言如英语、阿拉伯语、俄语、普通话,以及印度语如印地语、孟加拉语、泰米尔语在这方面已经做了大量的工作。然而,由于缺乏适当的数据集,印度第三大最受欢迎的语言马拉地语仍然落后。在本文中,我们提出了第一个主要的公开可用的马拉地语情感分析数据集-L3立方体MahaSent。它是使用从各种马哈拉施特拉邦人物的Twitter帐户中提取的推文策划的。我们的数据集由大约16,000条不同的推文组成,分为三大类,即积极,消极和中性。我们还提出了我们注释推文的指导方针。最后,我们使用CNN、LSTM、ULMFiT和基于BERT的深度学习模型来展示数据集的统计数据和基线分类结果。
2021-04-22 cs.CL cs.LG
News Headlines Dataset For Sarcasm Detection
UC San Diego(加州大学圣迭戈分校)
过去在讽刺检测方面的研究主要利用基于标签的监督收集的Twitter数据集,但这些数据集在标签和语言方面存在噪声。此外,许多推文是对其他推文的回复,检测这些推文中的讽刺需要上下文推文的可用性。为了克服Twitter数据集中与噪音相关的限制,我们从两个新闻网站策划新闻标题数据集:TheOnion旨在制作时事的讽刺版本,而HuffPost发布真实新闻。该数据集包含大约28K的标题,其中13K是讽刺的。为了使它更有用,我们包括了新闻文章的源链接,以便根据需要提取更多数据。在本文中,我们描述了关于数据集和潜在用例的各种细节,除了讽刺检测。
2022-09-17 cs.CL
Idioms-Proverbs Lexicon for Modern Standard Arabic and Colloquial Sentiment Analysis
Cairo University(开罗大学)
虽然,在过去十年中,在情感分析(SA)和意见挖掘(OM)系统中的相当数量的工作以及关于这些系统的性能,但是由于语言本身的性质存在的复杂性和挑战,仍然没有期望的性能,特别是对于诸如阿拉伯语的形态丰富语言(MRL)。这些挑战之一是在作者文本或评论中检测成语或谚语短语。成语或谚语是一种独特的言语形式或表达方式。在语法上,它不能从其元素的单独含义来理解,并且当被视为单独的单词时会产生不同的情绪。因此,为了便于自动SA系统的词汇短语的检测和分类的任务,本文提出了AIPSeLEX现代标准阿拉伯语(MSA)和口语的一种新的成语/谚语情感词典。AIPSeLEX是手动收集和注释的句子水平与语义取向(积极或消极)。手工建立和注释的词典的努力报告。此外,我们建立了一个分类器,提取成语和谚语,短语从文本中使用n-gram和相似性度量方法。最后,对各种数据进行了几次实验,包括来自公开的阿拉伯语在线评论网站(社交媒体,博客,论坛,电子商务网站)的阿拉伯语推文和阿拉伯语微博(酒店预订,产品评论和电视节目评论),以评估AIPSeLEX的覆盖范围和准确性。
2015-06-05 cs.CL
Pre-Training BERT on Arabic Tweets: Practical Considerations
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(卡塔尔哈马德·本·哈利法大学)
为下游NLP任务预训练来自Transformers的双向编码器表示(BERT)是一项非常重要的任务。我们预训练了5个BERT模型,这些模型在训练集的大小、正式和非正式阿拉伯语的混合以及语言预处理方面有所不同。所有这些都旨在支持阿拉伯方言和社交媒体。实验突出了数据多样性的中心地位和语言感知分割的有效性。他们还强调,更多的数据或更多的训练步骤并不需要更好的模型。我们的新模型在多个下游任务上实现了新的最先进的结果。由此产生的模型以QARiB的名义发布给社区。
2021-02-21 cs.AI cs.CL
Dynamic Allocation of Crowd Contributions for Sentiment Analysis during the 2016 U.S. Presidential Election
Boston University(波士顿大学)
关于2016年美国总统候选人的意见已经在数百万条推文中表达出来,这些推文很难自动分析。众包政治推文的有效分析也很困难,因为当涉及讽刺时,评级者之间存在很大的分歧。每条推文通常由固定数量的工人和多数投票进行分析。我们在这里提出了一个众包框架,而不是使用工人数量的动态分配。我们探索了两种动态分配方法:(1)根据预测的识别特定推文的情感的难度离线计算被查询以标记推文的工人数量。(2)在迭代的众包过程中,基于标签之间的评分员协议,众包工作者的数量是在线确定的。我们将我们的方法应用于2016年2月收集的关于四位美国总统候选人克林顿,克鲁兹,桑德斯和特朗普的1,000条Twitter消息。我们使用决策树实现了这两种方法,这些决策树将更多的人群努力分配给预测为讽刺的推文。我们表明,我们的框架优于传统的静态分配计划。它以低得多的成本从人群中收集意见标签,同时保持标签的准确性。
2017-02-09 cs.CL cs.HC cs.SI
Ensemble Language Models for Multilingual Sentiment Analysis
University of New Brunswick(新不伦瑞克大学)
针对低资源语言情感分析研究不足的问题,该研究在两个推文数据集上调研4种预训练语言模型,提出2种集成模型,发现单语模型表现优异、多数投票集成模型性能优于英语基线。
2024-03-10 cs.CL cs.LG
On the Impact of Language Nuances on Sentiment Analysis with Large Language Models: Paraphrasing, Sarcasm, and Emojis
University of Michigan(密歇根大学)
本文研究表情符号与反讽等语言细微差异对大语言模型情感分析的影响,通过构建5929条标注推文数据集,发现反讽移除、通用数据训练、对抗增强和文本改写可分别将准确率提升至最高85%和6%。
2025-04-08 cs.CL cs.LG
Combining Humor and Sarcasm for Improving Political Parody Detection
University of Sheffield(谢菲尔德大学);Bloomberg(彭博社)
戏仿是一种比喻性的手段,用于模仿喜剧或批评目的的实体。戏仿是有意的幽默,通常包含讽刺。本文探讨联合建模这些比喻比喻的目的是提高性能的政治模仿检测推文。为此,我们提出了一个多编码器模型,它结合了三个并行编码器,以丰富的幽默和讽刺信息的模仿特定的表示。在公开的政治模仿推文数据集上的实验表明,我们的方法优于以前的最先进的方法。
2022-05-06 cs.CL
HausaNLP at SemEval-2023 Task 12: Leveraging African Low Resource TweetData for Sentiment Analysis
Kaduna State University(卡杜纳州立大学);University of Bucharest(布加勒斯特大学);University of Abuja(阿布贾大学);Nile University(尼罗河大学);Universiti Teknologi PETRONAS(马来西亚石油科技大学);Bayero University Kano(卡诺贝罗大学);Shehu Shagari College of Education(谢胡·沙加里教育学院);Ahmadu Bello University, Zaria(扎里亚艾哈迈德·贝罗大学);HausaNLP(豪萨语自然语言处理研究组)
该研究面向 14 种低资源非洲语言,评估多种预训练语言模型在 SemEval-2023 情感分析三个子任务上的表现,发现 Afro-xlmr-large 整体最优,且数据量更大的 Hausa、Igbo 和 Yoruba 性能更好。
2023-04-26 cs.CL
Personality Analysis for Social Media Users using Arabic language and its Effect on Sentiment Analysis
University of Tehran(德黑兰大学)
本研究构建了包含3250名用户的阿拉伯语Twitter人格数据集AraPers,利用BERT等机器学习技术结合语言与个人资料特征预测人格特质(准确率74.86%),并证实人格特质对社交媒体情感分析有显著影响。
2024-07-22 cs.CL
SenWave: A Fine-Grained Multi-Language Sentiment Analysis Dataset Sourced from COVID-19 Tweets
King Abdullah University of Science and Technology(国王阿卜杜勒·阿齐兹科技大学);University Of Florida(佛罗里达大学);University of Notre Dame(诺特丹大学)
针对COVID-19推文,构建了包含五种语言、十个情感类别的细粒度多语言情感分析数据集SenWave,并微调Transformer模型实现准确分类,揭示跨语言和地区的情绪演变。
2025-10-09 cs.CL
"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology(内塔吉·苏巴斯理工大学)
随着世界各地的人们越来越多地使用社交媒体平台,许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题,使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型,包括CNN、LSTM、双向LSTM(有注意力和无注意力)。我们的深度学习模型能够超越所有最先进的性能,其中基于注意力的双向LSTM提供了最佳性能,准确率为78.49%。
2020-10-15 cs.CL
Dialect Identification in Nuanced Arabic Tweets Using Farasa Segmentation and AraBERT
Flipkart Private Limited(Flipkart私人有限公司)
本文介绍了我们解决EACL WANLP-2021共享任务1:细微差别的阿拉伯语方言识别(NADI)的方法。该任务旨在开发一个系统,以现代标准阿拉伯语或方言形式识别阿拉伯语推文的地理位置(国家/省)。我们分两部分解决这个任务。第一部分涉及通过清理、添加和分割文本的各个部分来预处理所提供的数据集。其次是进行实验,不同版本的两个Transformer为基础的模型,AraBERT和AraELECTRA。我们最终的方法在四个子任务中获得了0.216,0.235,0.054和0.043的宏观F1分数,并且我们在MSA识别子任务中排名第二,在DA识别子任务中排名第四。
2021-02-22 cs.CL
SemEval-2017 Task 4: Sentiment Analysis in Twitter
IBM Research(IBM研究院);Columbia University(哥伦比亚大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad bin Khalifa University(哈马德·本·哈利法大学)
本文介绍了第五年的情感分析在Twitter的任务。SemEval-2017任务4继续SemEval-2016任务4的一系列子任务,其中包括识别推文的整体情绪,对一个主题的情绪,以两点和五点顺序量表进行分类,以及量化多个推文中对一个主题的情绪分布:再次以两点和五点顺序量表进行分类。与2016年相比,我们做了两个变化:(i)我们为所有子任务引入了一种新的语言,阿拉伯语,(ii)我们从发布目标推文的Twitter用户的个人资料中提供信息。这项任务仍然非常受欢迎,今年共有48支队伍参加。
2019-12-02 cs.CL cs.IR cs.LG
ArCorona: Analyzing Arabic Tweets in the Early Days of Coronavirus (COVID-19) Pandemic
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(卡塔尔哈马德·本·哈利法大学)
在过去的几个月里,阿拉伯地区有大量关于冠状病毒(COVID-19)的推文和讨论。对于政策制定者和许多人来说,识别共享推文的类型非常重要,可以更好地了解公共行为,感兴趣的话题,政府的要求,推文的来源等,防止有关病毒或不良治疗的谣言和错误信息的传播也至关重要。为此,我们呈现了与COVID-19相关的阿拉伯语推文的最大手动注释数据集。我们描述了注释指南,分析了我们的数据集,并构建了有效的机器学习和基于Transformer的分类模型。
2021-03-01 cs.CL cs.SI
AlexU-AIC at Arabic Hate Speech 2022: Contrast to Classify
Alexandria University(亚历山大大学)
在Facebook和Twitter等社交媒体平台上的在线存在已成为互联网用户的日常习惯。尽管这些平台为用户提供了大量服务,但用户仍遭受网络欺凌,这进一步导致精神虐待,并可能升级到对个人或目标群体造成身体伤害。在本文中,我们使用相关的阿拉伯语Twitter数据集向阿拉伯语仇恨演讲2022共享任务研讨会(OSACT5 2022)提交了我们的意见书。共享任务由3个子任务组成,子任务A专注于检测推文是否具有攻击性。然后,对于攻击性推文,子任务B侧重于检测推文是否是仇恨言论。最后,对于仇恨言论推文,子任务C侧重于在六个不同类别中检测细粒度类型的仇恨言论。Transformer模型在分类任务中证明了它们的效率,但是在小的或不平衡的数据集上进行微调时存在过度拟合的问题。我们通过研究多种训练范式来克服这一限制,例如对比学习和多任务学习以及分类微调和我们的前5名表演者的合奏。我们提出的解决方案在子任务A、B和C中分别实现了0.841、0.817和0.476的宏F1平均值。
2022-07-18 cs.AI cs.CL
An Annotated Corpus of Arabic Tweets for Hate Speech Analysis
Northwestern University in Qatar(西北大学卡塔尔分校);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本研究构建了一个包含10000条阿拉伯语推文的多标签仇恨言论数据集,通过多位标注者标注并计算一致性,评估显示AraBERTv2模型在攻击性内容识别上取得最优性能。
2025-05-23 cs.CL
Arabic Dialect Identification in the Wild
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University (HBKU)(哈马德·本·哈利法大学(HBKU))
我们介绍了QADI,这是一个自动收集的推文数据集,属于广泛的国家级阿拉伯语方言-覆盖中东和北非地区的18个不同国家。我们构建此数据集的方法依赖于应用多个过滤器,以根据帐户描述识别属于不同国家的用户,并消除用现代标准阿拉伯语编写或包含不适当语言的推文。由此产生的数据集包含来自2,525名用户的54万条推文,这些用户均匀分布在18个阿拉伯国家。使用内在评价,我们表明,一组随机选择的推文的标签是91.5%的准确率。对于外部评估,我们能够在推文上建立有效的国家级方言识别,18个类别的宏观平均F1分数为60.6%。
2020-05-15 cs.CL
Detecting Suicidality in Arabic Tweets Using Machine Learning and Deep Learning Techniques
King AbdulAziz University(阿卜杜勒阿齐兹国王大学)
本研究构建了首个阿拉伯语自杀推文数据集,比较多种机器学习与深度学习模型,发现AraBert最优,准确率达91%,F1为88%,显著提升自杀意念检测。
2023-09-01 cs.CL
NAYEL at SemEval-2020 Task 12: TF/IDF-Based Approach for Automatic Offensive Language Detection in Arabic Tweets
Benha University(本哈大学)
在本文中,我们介绍了提交给“SemEval-2020任务12”的系统。该系统旨在自动识别阿拉伯语推文中的冒犯性语言。一个基于机器学习的方法已被用来设计我们的系统。采用随机梯度下降(SGD)算法实现了一个线性分类器。模型在发育集和测试集上的f1-得分分别为84.20%和81.82%。性能最好的系统和排名最后的系统在测试集上的f1分数分别为90.17%和44.51%。
2020-07-27 cs.CL cs.IR
Detecting Stance of Authorities towards Rumors in Arabic Tweets: A Preliminary Study
Qatar University(卡塔尔大学)
无数的研究通过利用来自传播网络的证据或来自网络的外部证据来解决Twitter中的谣言验证问题。然而,这些研究都没有利用可信权威的证据。在本文中,我们定义了检测当局对推文中谣言的立场的任务,即,无论权威人士的推文是同意、不同意,还是与谣言无关。我们相信这项任务对于增加现有谣言验证系统所使用的证据来源是有用的。我们构建并发布了第一个权威对谣言的立场(AuSTR)数据集,其中证据是从阿拉伯语Twitter的权威时间线中检索的。由于我们的数据集的大小相对有限,我们研究了现有数据集的有用性,在我们的任务中的立场检测。我们表明,现有的数据集是有点有用的任务,但是,他们显然是不够的,这促使需要增加他们的注释数据构成的立场,从Twitter的当局。
2023-01-14 cs.AI cs.CL cs.IR
"Having 2 hours to write a paper is fun!": Detecting Sarcasm in Numerical Portions of Text
IIT Bombay(印度理工学院孟买分校)
由于文本中数字部分的存在而发生的讽刺已经被引用为过去自动讽刺检测方法所犯的错误。我们提出了第一个研究检测讽刺的数字,如在案件的句子“爱在凌晨4点醒来”。我们分析了这个问题的挑战,并提出了基于规则的,机器学习和深度学习的方法来检测文本的数字部分的讽刺。我们的深度学习方法在推特数据集上的讽刺检测和基于规则的机器学习方法方面优于过去的四项工作,获得了0.93的F1分数。这表明,特别注意包含数字的文本可能有助于提高讽刺检测的最新技术水平。
2017-09-06 cs.CL
Check_square at CheckThat! 2020: Claim Detection in Social Media via Fusion of Transformer and Syntactic Features
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
在这个新闻消费的数字时代,新闻读者有能力以高度互动和快速的方式与他人反应,表达和分享意见。因此,假新闻已经进入我们的日常生活,因为大公司和个人在互联网上核实新闻的能力非常有限。在本文中,我们专注于解决事实核查生态系统中的两个问题,这两个问题可以帮助在社交媒体上不断增加的内容流中自动进行事实核查。对于第一个问题,声明检查价值预测,我们探索了语法特征和来自Transformers(BERT)嵌入的深度Transformer双向编码器表示的融合,以对推文的检查价值进行分类,即它是否包括声明。我们进行了详细的功能分析,并提出了我们的最佳表现模型为英语和阿拉伯语的推文。对于第二个问题,索赔检索,我们从专门针对语义文本相似性训练的连体网络Transformer模型(transformer-transformers)中探索预训练的嵌入,并执行KD搜索以检索关于查询tweet的验证索赔。
2020-09-20 cs.CL cs.SI
A Second Pandemic? Analysis of Fake News About COVID-19 Vaccines in Qatar
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所(哈马德·本·哈利法大学));University of Padova(帕多瓦大学)
虽然COVID-19疫苗终于开始广泛使用,但围绕反疫苗假新闻传播的第二次大流行可能会阻碍从第一次大流行中恢复过来的努力。考虑到这一点,我们对有关COVID-19疫苗的阿拉伯语和英语推文进行了广泛分析,重点关注来自卡塔尔的消息。我们发现,阿拉伯语的推文包含大量虚假信息和谣言,而英语推文大多是事实。然而,英语推特比阿拉伯语推特更具宣传性。在宣传技巧方面,大约一半的阿拉伯语推文表达了怀疑,1/5使用了负载语言,而英语推文则大量使用负载语言,夸张,恐惧,辱骂,怀疑和挥舞旗帜。最后,在框架方面,阿拉伯语的推文采用健康和安全的观点,而在英语中,经济问题占主导地位。
2021-09-22 cs.CL cs.SI
iSarcasm: A Dataset of Intended Sarcasm
University of Edinburgh(爱丁堡大学)
我们认为在文本讽刺检测的背景下,有意和感知的讽刺之间的区别。前者发生在从作者的角度来看话语是讽刺的时候,而后者发生在话语被听众理解为讽刺的时候。我们展示了以前的标签方法在捕获有意讽刺方面的局限性,并介绍了由作者直接标记讽刺的推文的iSarcasm数据集。在我们的数据集上检查最先进的讽刺检测模型显示,与以前研究的数据集相比,性能较低,这表明这些数据集可能是有偏见的或明显的,讽刺可能是迄今为止计算研究不足的现象。通过提供iSarcasm数据集,我们的目标是鼓励未来的NLP研究开发出检测文本作者意图的讽刺的方法,而不是根据我们证明是次优的假设进行标记。
2020-05-01 cs.CL
TEDB System Description to a Shared Task on Euphemism Detection 2022
在这份报告中,我们描述了我们的Transformers委婉语检测基线(TEDB)提交的委婉语检测2022共享任务。我们把委婉语的预测任务归结为文本分类。我们考虑了基于transformer的模型,这是当前最先进的文本分类方法。我们探索了不同的训练方案、预训练模型和模型架构。我们的最佳结果为0.816 F1分数(0.818精度和0.814召回率),包括一个委婉语检测微调的TweetEval/TimeLMS预训练的RoBERTa模型作为特征提取器前端,KimCNN分类器后端使用余弦退火调度器进行端到端训练。我们观察到情感分析和攻击性检测的预训练模型与更多的F1分数相关,而其他任务(如讽刺检测)的预训练产生较少的F1分数。此外,在我们的实验中,放置更多的词向量通道并不能提高性能。
2023-01-16 cs.CL cs.LG
Sarcasm Detection in a Disaster Context
University of Illinois Chicago(伊利诺伊大学芝加哥分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文构建含15,000条推文的 HurricaneSARC 讽刺标注数据集,利用预训练语言模型和中间任务迁移学习检测灾害语境中的讽刺,最佳模型 F1 达0.70。
2023-08-16 cs.CL cs.LG
BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets
Ferhat Abbas University, Setif 1(费尔哈特·阿巴斯大学塞提夫第一大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University (HBKU)(哈马德·本·哈利法大学)
在过去的二十年里,我们逐渐转向互联网和社交媒体来寻找新闻,娱乐对话和分享意见。最近,OpenAI开发了一个名为GPT-2的机器学习系统,用于生成预训练的Transformer-2,它可以生成deepfake文本。它可以根据简短的写作提示生成文本块,看起来像是人类写的,从而促进虚假或自动生成的文本的传播。根据这一进展,并为了对抗潜在的危险,已经提出了几种方法来检测这些语言模型编写的文本。在本文中,我们提出了一个基于迁移学习的模型,该模型将能够检测阿拉伯语句子是由人类写的还是由机器人自动生成的。我们的数据集基于以前工作中的推文,我们使用Twitter API对其进行了抓取和扩展。我们使用GPT 2-Small-Arabic来生成假的阿拉伯语句子。为了进行评估,我们比较了基于不同递归神经网络(RNN)词嵌入的基线模型,即:LSTM,BI-LSTM,GRU和BI-GRU,以及基于transformer的模型。我们新的迁移学习模型获得了高达98%的准确率。据我们所知,这项工作是第一项将ARABERT和GPT 2结合起来检测和分类阿拉伯语自动生成文本的研究。
2021-01-22 cs.CL
Sarcasm SIGN: Interpreting Sarcasm with Sentiment Based Monolingual Machine Translation
Technion, IIT(以色列理工学院)
讽刺是一种说话的形式,说话者为了表达强烈的感情而说出与真实意思相反的话。换句话说,“讽刺是我所说的和不明白的人之间的巨大鸿沟。".在本文中,我们提出了一个新的任务,讽刺的解释,定义为一个非讽刺话语传达相同的信息作为原来的讽刺之一的生成。我们介绍了一个新的数据集的3000个讽刺的推文,每个解释由五个人类法官。针对单语机器翻译(MT)的任务,我们实验MT算法和评估措施。然后,我们提出了SIGN:一个基于MT的讽刺解释算法,目标是情感词,文本讽刺的定义元素。我们发现,虽然基于n-gram的自动测量的分数对于所有解释模型都是相似的,但SIGN的解释在充足性和情感极性方面被人类得分更高。最后,我们讨论了未来的研究方向,我们的新任务。
2017-04-22 cs.CL