Arabic Language Sentiment Analysis on Health Services
Coventry University(考文垂大学)
社交媒体网络现象导致了大量有价值的数据,这些数据可以在线获得并且易于访问。许多用户在不同的社交网络网站上分享图片、视频、评论、评论、新闻和观点,推特是最受欢迎的网站之一。从Twitter收集的数据是高度非结构化的,从推文中提取有用的信息是一项具有挑战性的任务。Twitter拥有大量的阿拉伯语用户,他们大多使用阿拉伯语发布和撰写推文。虽然已经有很多关于英语情感分析的研究,但阿拉伯语的研究和数据集数量有限。本文介绍了一个阿拉伯语数据集,这是关于卫生服务的意见,并已从Twitter上收集。本文首先详细介绍了从Twitter上收集数据的过程,以及对阿拉伯语文本进行过滤、预处理和注释的过程,以建立一个大的阿拉伯语情感分析数据集。在我们的健康数据集上进行的情感分析实验中,使用了几种机器学习算法(朴素贝叶斯,支持向量机和逻辑回归)以及深度和卷积神经网络。
2017-02-10 cs.CL cs.NE cs.SI
Arabic Offensive Language on Twitter: Analysis and Experiments
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学)
检测Twitter上的攻击性语言有许多应用,从检测/预测欺凌到测量极化。在本文中,我们专注于构建一个大型的阿拉伯语攻击性推文数据集。我们介绍了一种方法,用于构建不受主题,方言或目标偏见的数据集。我们制作了迄今为止最大的阿拉伯语数据集,其中包含粗俗和仇恨言论的特殊标签。我们彻底分析了数据集,以确定哪些主题,方言和性别与攻击性推文最相关,以及阿拉伯语使用者如何使用攻击性语言。最后,我们进行了许多实验,使用SOTA技术在数据集上产生了强有力的结果(F1 = 83.2)。
2021-03-09 cs.CL
Let-Mi: An Arabic Levantine Twitter Dataset for Misogynistic Language
University of Alberta(阿尔伯塔大学)
网络厌女症已经成为阿拉伯妇女越来越担心的问题,她们每天都在网上遭受基于性别的虐待。厌女症自动检测系统可以协助禁止阿拉伯语中的反女性有毒内容。开发这样的系统受到缺乏阿拉伯厌女症基准数据集的阻碍。在本文中,我们介绍了一个阿拉伯语Levantine Twitter数据集的厌女症语言(LeT-Mi)是第一个基准数据集的阿拉伯语厌女症。我们进一步提供了数据集创建和注释阶段的详细回顾。通过评估者间一致性评价措施强调了拟议数据集注释的一致性。此外,Let-Mi被用作评估数据集,通过由几个最先进的机器学习系统以及多任务学习(MTL)配置进行的二进制/多目标/目标分类任务。所获得的结果表明,所使用的系统实现的性能是一致的,与国家的最先进的结果,阿拉伯语以外的语言,而采用MTL提高了厌女症/目标分类任务的性能。
2021-03-18 cs.CL
WOLI at SemEval-2020 Task 12: Arabic Offensive Language Identification on Different Twitter Datasets
WideBot(宽博科技(WideBot))
通过社交平台进行沟通已成为个人沟通和互动的主要手段之一。不幸的是,健康的沟通经常受到攻击性语言的干扰,这可能对用户产生破坏性影响。在社交媒体上打击攻击性语言的关键是存在自动攻击性语言检测系统。本文介绍了SemEval-2020的结果和主要发现,任务12 OffensEval子任务A Zampieri et al.(2020),关于识别和分类社交媒体中的攻击性语言。该任务基于阿拉伯语OffensEval数据集Mubarak et al.(2020)。在本文中,我们描述了WideBot AI Lab提交的共享任务系统,该系统在CodaLab用户名为“yasserotiefy”的黄金数据集上,在52名参与者中排名第10位,Macro-F1为86.9%。我们实验了各种模型,最好的模型是线性SVM,其中我们使用字符和单词n-gram的组合。我们还引入了一种神经网络方法,增强了我们系统的预测能力,包括CNN、高速公路网络、Bi-LSTM和注意力层。
2020-09-11 cs.CL cs.SI
Detecting Stance of Authorities towards Rumors in Arabic Tweets: A Preliminary Study
Qatar University(卡塔尔大学)
无数的研究通过利用来自传播网络的证据或来自网络的外部证据来解决Twitter中的谣言验证问题。然而,这些研究都没有利用可信权威的证据。在本文中,我们定义了检测当局对推文中谣言的立场的任务,即,无论权威人士的推文是同意、不同意,还是与谣言无关。我们相信这项任务对于增加现有谣言验证系统所使用的证据来源是有用的。我们构建并发布了第一个权威对谣言的立场(AuSTR)数据集,其中证据是从阿拉伯语Twitter的权威时间线中检索的。由于我们的数据集的大小相对有限,我们研究了现有数据集的有用性,在我们的任务中的立场检测。我们表明,现有的数据集是有点有用的任务,但是,他们显然是不够的,这促使需要增加他们的注释数据构成的立场,从Twitter的当局。
2023-01-14 cs.AI cs.CL cs.IR
ASAD: A Twitter-based Benchmark Arabic Sentiment Analysis Dataset
University of Jeddah(吉达大学);KAUST(阿卜杜拉国王科技大学);Lucidya
本文提供了一个新的基于Twitter的基准数据集的阿拉伯语情感分析(ASAD),这是在比赛中推出的详细描述3,由KAUST赞助的奖励10000美元,5000美元和2000美元的第一,第二和第三名的获奖者,分别。与其他公开发布的阿拉伯语数据集相比,ASAD是一个大型的高质量注释数据集(包括95K推文),具有三级情感标签(积极,消极和中性)。我们介绍了数据汇集过程和注释过程的细节。此外,我们实施了几个基线模型的竞争任务,并报告的结果作为参考的参与者的竞争。
2021-03-10 cs.CL cs.LG
Arabic Tweet Act: A Weighted Ensemble Pre-Trained Transformer Model for Classifying Arabic Speech Acts on Twitter
本研究针对Twitter方言阿拉伯语言语行为分类问题,提出基于BERT的加权集成学习方法,构建标注数据集并采用数据增强解决类别不平衡,性能优于单模型。
2024-01-30 cs.AI cs.CL
Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification
College of Humanities and Social Sciences, Hamad Bin Khalifa University(哈马德·本·哈利法大学人文与社会科学学院);Carnegie Mellon University Qatar(卡内基梅隆大学卡塔尔分校)
在本文中,我们提出了Arap-Tweet,这是一个大规模和多方言语料库的推文来自11个地区和16个国家在阿拉伯世界代表主要阿拉伯方言品种。为了构建这个语料库,我们从Twitter收集了数据,并为一个经验丰富的注释者团队提供了注释指南,他们用来注释语料库的年龄类别,性别和方言种类。在数据汇集过程中,我们根据不同阿拉伯方言的独特关键字进行搜索,并使用Twitter API验证位置。在本文中,我们报告了语料库数据汇集和注释工作。我们还提出了一些我们在这些阶段遇到的问题。然后,我们提出的结果进行评估,以确保注释的一致性。所提供的语料库将丰富阿拉伯语有限的可用语言资源,并将成为开发阿拉伯语作者分析工具和自然语言处理工具的宝贵推动力。
2018-08-23 cs.CL
Linguistic Uncertainty and Engagement in Arabic-Language X (formerly Twitter) Discourse
本研究探讨了阿拉伯语言社交媒体中语言不确定性对用户参与度的影响,发现不确定性推文在参与度上显著更高,尤其在回复方面。
2026-02-14 cs.CL cs.CY
Emojis as Anchors to Detect Arabic Offensive Language and Hate Speech
Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所)
我们引入了一种通用的、独立于语言的方法来收集大量的攻击性和仇恨性推文,无论它们的主题或类型如何。我们利用嵌入在表情符号中的语言外信息来收集大量攻击性推文。我们将所提出的方法应用于阿拉伯语推文,并将其与英语推文进行比较-分析关键的文化差异。我们观察到这些表情符号在Twitter上的不同时间段内不断使用,以表示攻击性。我们手动注释并公开发布最大的阿拉伯语数据集,用于攻击性,细粒度的仇恨言论,粗俗和暴力内容。此外,我们使用不同的Transformer架构对数据集进行基准测试,以检测攻击性和仇恨言论,并进行深入的语言分析。我们在外部数据集上评估我们的模型-使用完全不同的方法收集的Twitter数据集,以及包含Twitter,YouTube和Facebook评论的多平台数据集,以评估泛化能力。这些数据集上的竞争结果表明,使用我们的方法收集的数据捕捉到了攻击性语言的普遍特征。我们的研究结果还强调了攻击性通信中使用的常用词,仇恨言论的常见目标,暴力推文中的特定模式;并指出了可归因于NLP模型局限性的常见分类错误。我们观察到,即使是最先进的Transformer模型也可能无法考虑文化、背景和上下文,或者无法理解现实世界数据中存在的细微差别,例如讽刺。
2022-05-19 cs.CL
Sentiment Analysis of Arabic Tweets: Feature Engineering and A Hybrid Approach
阿拉伯语的情感分析是一项具有挑战性的任务,由于语言的丰富形态。此外,当应用于Twitter数据时,任务变得更加复杂,这些数据被认为是高度非正式和嘈杂的。在本文中,我们开发了一种混合的方法,用于情感分析阿拉伯语的推文为一个特定的阿拉伯语方言,这是沙特方言。几个功能的设计和评估使用功能向后选择方法。然后针对多种分类模型(双向、三向、四向)开发了一种结合基于语料库和基于词典的方法的混合方法。各模型的最佳F1值分别为(69.9,61.63,55.07)。
2018-05-22 cs.CL
AlexU-AIC at Arabic Hate Speech 2022: Contrast to Classify
Alexandria University(亚历山大大学)
在Facebook和Twitter等社交媒体平台上的在线存在已成为互联网用户的日常习惯。尽管这些平台为用户提供了大量服务,但用户仍遭受网络欺凌,这进一步导致精神虐待,并可能升级到对个人或目标群体造成身体伤害。在本文中,我们使用相关的阿拉伯语Twitter数据集向阿拉伯语仇恨演讲2022共享任务研讨会(OSACT5 2022)提交了我们的意见书。共享任务由3个子任务组成,子任务A专注于检测推文是否具有攻击性。然后,对于攻击性推文,子任务B侧重于检测推文是否是仇恨言论。最后,对于仇恨言论推文,子任务C侧重于在六个不同类别中检测细粒度类型的仇恨言论。Transformer模型在分类任务中证明了它们的效率,但是在小的或不平衡的数据集上进行微调时存在过度拟合的问题。我们通过研究多种训练范式来克服这一限制,例如对比学习和多任务学习以及分类微调和我们的前5名表演者的合奏。我们提出的解决方案在子任务A、B和C中分别实现了0.841、0.817和0.476的宏F1平均值。
2022-07-18 cs.AI cs.CL
SemEval-2017 Task 4: Sentiment Analysis in Twitter
IBM Research(IBM研究院);Columbia University(哥伦比亚大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad bin Khalifa University(哈马德·本·哈利法大学)
本文介绍了第五年的情感分析在Twitter的任务。SemEval-2017任务4继续SemEval-2016任务4的一系列子任务,其中包括识别推文的整体情绪,对一个主题的情绪,以两点和五点顺序量表进行分类,以及量化多个推文中对一个主题的情绪分布:再次以两点和五点顺序量表进行分类。与2016年相比,我们做了两个变化:(i)我们为所有子任务引入了一种新的语言,阿拉伯语,(ii)我们从发布目标推文的Twitter用户的个人资料中提供信息。这项任务仍然非常受欢迎,今年共有48支队伍参加。
2019-12-02 cs.CL cs.IR cs.LG
Dissecting a Social Botnet: Growth, Content and Influence in Twitter
University of Washington(华盛顿大学)
社交僵尸网络已经成为社交媒体上的一个重要现象。社交机器人可以通过许多方式破坏或影响在线话语,例如垃圾邮件标签,诈骗twitter用户和astroturfing。在本文中,我们考虑了Twitter中的一个特定社交僵尸网络,以了解它如何随着时间的推移而增长,社交僵尸网络的推文内容与同一数据集中的普通用户有何不同,以及社交僵尸网络如何影响相关讨论。我们的分析是基于对叙利亚社交机器人的大约3000条阿拉伯语和英语推文的定性编码,这些推文在关闭之前在Twitter上活跃了35周。我们发现,这个特定的僵尸网络的增长,行为和内容并没有特别符合僵尸网络的常见概念。此外,我们确定僵尸网络的有趣的方面,区分它从普通用户。
2016-04-13 cs.CL cs.CY cs.SI
Spam and Sentiment Detection in Arabic Tweets Using MARBERT Model
Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·法伊塞尔大学);Saudi Telecom Company(沙特电信公司);Saudi Aramco Cybersecurity Chair(沙特阿美网络安全主席)
本研究利用MARBERT模型对阿拉伯语推文进行情感分析,以提升沙特电信公司客户服务,在24,513条推文数据集上取得了优于现有技术的准确率。
2026-06-25 cs.AI cs.CL
A Combined CNN and LSTM Model for Arabic Sentiment Analysis
Coventry University(考文垂大学)
深度神经网络在处理来自广泛应用领域的具有挑战性的大型数据集时表现出良好的数据建模能力。卷积神经网络(CNN)在选择好的特征方面具有优势,而长短期记忆(LSTM)网络已被证明具有良好的学习序列数据的能力。据报道,这两种方法都在图像处理、话音识别、语言翻译和其他自然语言处理(NLP)任务等领域提供了改进的结果。Twitter短文本信息的情感分类是一项具有挑战性的任务,而阿拉伯语情感分类任务的复杂性增加,因为阿拉伯语是一种形态丰富的语言。此外,阿拉伯语准确的预处理工具的可用性是目前的另一个限制,以及该领域的研究有限。在本文中,我们研究了集成CNN和LSTM的好处,并报告了在不同数据集上提高阿拉伯语情感分析准确性的方法。此外,我们试图考虑形态的多样性,特定的阿拉伯语单词使用不同的情感分类水平。
2018-07-22 cs.CL
ArSentD-LEV: A Multi-Topic Corpus for Target-based Sentiment Analysis in Arabic Levantine Tweets
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);American University of Beirut(贝鲁特美国大学);Qatar University(卡塔尔大学)
情感分析是一项非常主观和具有挑战性的任务。当应用于阿拉伯语时,其复杂性进一步增加,主要是因为大量的方言是不标准化的,并且在网络中广泛使用,特别是在社交媒体中。虽然已经发布了许多数据集来用阿拉伯语训练情感分类器,但这些数据集中的大多数都包含浅层注释,仅将文本单元的情感标记为单词,句子或文档。在本文中,我们提出了阿拉伯语情绪Twitter数据集的黎凡特方言(ArSenTD-LEV)。根据对黎凡特地区推文的分析结果,我们创建了一个包含4,000条推文的数据集,并附有以下注释:推文的总体情绪、表达情绪的目标、表达情绪的方式以及推文的主题。结果证实了这些注释在提高基线情感分类器性能方面的重要性。他们还证实了在某个领域的培训和在另一个领域的测试之间的差距。
2019-05-25 cs.CL cs.IR cs.LG
Automatic Expansion and Retargeting of Arabic Offensive Language Training
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
社交媒体上攻击性语言的泛滥导致了最近对此类语言的自动识别的努力。虽然攻击性语言具有一般特征,但对特定实体的攻击可能会表现出不同的现象,例如恶意更改名称的拼写。本文提出了一种识别实体特定攻击性语言的方法。我们采用了两个关键的见解,即Twitter上的回复往往意味着反对,一些账户对特定目标的攻击性持续存在。使用我们的方法,我们能够收集数千条有针对性的攻击性推文。我们展示了该方法在阿拉伯语推文上的有效性,分别使用基于深度学习和基于支持向量机的分类器时,实体特定攻击性语言检测的相对F1度量提高了13%和79%。此外,通过自动识别针对多个实体的攻击性推文来扩展训练集,可以将F1指标提高48%。
2021-11-18 cs.CL
An open access NLP dataset for Arabic dialects : Data collection, labeling, and model construction
Mohamed VI Polytechnic University (UM6P)(穆罕默德六世理工大学(UM6P))
自然语言处理(NLP)是当今非常活跃的研究和创新领域。然而,许多应用程序需要大的数据集用于监督学习,并为训练目的进行适当的标记。这包括阿拉伯语及其民族方言的应用。然而,这种阿拉伯语及其方言的开放获取标记数据集在数据科学生态系统中缺乏,这种缺乏可能成为该领域创新和研究的负担。在这项工作中,我们提出了一个开放的数据集的社会数据内容在几个阿拉伯语方言。这些数据是从Twitter社交网络收集的,包括五(5)种国家方言的+50K twitter。此外,这些数据被标记为几个应用,即方言检测,主题检测和情感分析。我们将这些数据作为开放获取数据发布,以鼓励创新,并鼓励阿拉伯语方言和社交媒体的NLP领域的其他工作。选择的模型建立使用该数据集,并在本文中介绍了他们的表现。
2021-02-07 cs.CL cs.LG
NADI 2020: The First Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia(不列颠哥伦比亚大学);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
我们提出的结果和发现的第一个细微差别的阿拉伯语方言识别共享任务(NADI)。该共享任务包括两个子任务:国家级方言识别(子任务1)和省级次方言识别(子任务2)。共享任务的数据涵盖来自21个阿拉伯国家的100个省份,并从Twitter域收集。因此,NADI是第一个针对国家以下一级自然发生的细粒度方言文本的共享任务。共有来自25个国家的61个小组登记参加这些任务,从而反映了社区对这一领域的兴趣。我们收到了来自18个团队的47个子任务1的提交和来自9个团队的9个子任务2的提交。
2020-11-09 cs.AI cs.CL
AraCOVID19-MFH: Arabic COVID-19 Multi-label Fake News and Hate Speech Detection Dataset
Research Centre on Scientific and Technical Information (CERIST)(科学技术信息研究中心)
随着COVID-19大流行,虚假及误导性信息的“信息流行病”出现,并使COVID-19应对工作复杂化。Facebook和Twitter等社交网站在很大程度上助长了谣言、阴谋论、仇恨、仇外心理、种族主义和偏见的传播。为了打击假新闻的传播,世界各地的研究人员已经并仍在做出相当大的努力来构建和共享与COVID-19相关的研究文章、模型和数据集。本文发布了“AraCOVID 19-MFH”,这是一个手动注释的多标签阿拉伯语COVID-19假新闻和仇恨言论检测数据集。我们的数据集包含10,828条阿拉伯语推文,标注了10个不同的标签。标签的设计考虑了与事实检查任务相关的一些方面,例如推文的检查价值,积极/消极和真实性。为了确认我们的注释数据集的实际效用,我们用它来训练和评估几个分类模型,并报告所获得的结果。虽然该数据集主要是为假新闻检测而设计的,但它也可以用于仇恨言论检测、观点/新闻分类、方言识别和许多其他任务。
2021-05-07 cs.AI cs.CL
BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets
Ferhat Abbas University, Setif 1(费尔哈特·阿巴斯大学塞提夫第一大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University (HBKU)(哈马德·本·哈利法大学)
在过去的二十年里,我们逐渐转向互联网和社交媒体来寻找新闻,娱乐对话和分享意见。最近,OpenAI开发了一个名为GPT-2的机器学习系统,用于生成预训练的Transformer-2,它可以生成deepfake文本。它可以根据简短的写作提示生成文本块,看起来像是人类写的,从而促进虚假或自动生成的文本的传播。根据这一进展,并为了对抗潜在的危险,已经提出了几种方法来检测这些语言模型编写的文本。在本文中,我们提出了一个基于迁移学习的模型,该模型将能够检测阿拉伯语句子是由人类写的还是由机器人自动生成的。我们的数据集基于以前工作中的推文,我们使用Twitter API对其进行了抓取和扩展。我们使用GPT 2-Small-Arabic来生成假的阿拉伯语句子。为了进行评估,我们比较了基于不同递归神经网络(RNN)词嵌入的基线模型,即:LSTM,BI-LSTM,GRU和BI-GRU,以及基于transformer的模型。我们新的迁移学习模型获得了高达98%的准确率。据我们所知,这项工作是第一项将ARABERT和GPT 2结合起来检测和分类阿拉伯语自动生成文本的研究。
2021-01-22 cs.CL
Understanding the Sociocultural Dimensions of Mental Health Discourse in Arabic-Language X Communities
King Saud University(沙特国王大学);Cairo University(开罗大学);Carnegie Mellon University(卡内基梅隆大学)
通过GPT-4.1识别个人披露的推特用户,分析边缘型人格障碍、双相障碍和ADHD相关话语,发现不同病症的词汇模式差异,提出可复用的LLM辅助披露流程和文化关键词框架。
2026-06-06 cs.CL
AraCOVID19-SSD: Arabic COVID-19 Sentiment and Sarcasm Detection Dataset
Research Centre on Scientific and Technical Information (CERIST)(科学技术信息研究中心(CERIST))
冠状病毒病(COVID-19)是一种传染性呼吸道疾病,于2019年12月下旬在中国武汉首次发现,随后在全球范围内传播,造成大量恐慌和死亡。Facebook和Twitter等社交网站的用户一直专注于阅读、发布和分享有关新出现的大流行病的新奇事物、推文和文章。许多这些用户经常使用讽刺来以幽默,有趣和间接的方式传达他们的意图,使得基于计算机的应用程序很难自动理解和识别他们的目标以及他们可以改变的伤害程度。出于对在COVID-19背景下解决此类问题的注释数据集的新兴需求,本文构建并发布了AraCOVID 19-SSD,这是一个手动注释的阿拉伯语COVID-19讽刺和情感检测数据集,包含5,162条推文。为了确认所构建的数据集的实际效用,已经使用几种分类模型对其进行了仔细的分析和测试。
2021-10-05 cs.AI cs.CL
Detecting Suicidality in Arabic Tweets Using Machine Learning and Deep Learning Techniques
King AbdulAziz University(阿卜杜勒阿齐兹国王大学)
本研究构建了首个阿拉伯语自杀推文数据集,比较多种机器学习与深度学习模型,发现AraBert最优,准确率达91%,F1为88%,显著提升自杀意念检测。
2023-09-01 cs.CL
ArPanEmo: An Open-Source Dataset for Fine-Grained Emotion Recognition in Arabic Online Content during COVID-19 Pandemic
Taif University(泰夫大学);College of Computers and Information Technology(计算机与信息技术学院)
本文提出ArPanEmo数据集,包含11,128条阿拉伯语COVID-19相关在线帖子,经半自动筛选与人工细粒度情感标注,成为该领域首个且规模最大的公开数据集。
2023-05-27 cs.CL
LEBANONUPRISING: a thorough study of Lebanese tweets
Lebanese International University(黎巴嫩国际大学)
最近的研究表明,人们对社交网络情感分析产生了极大的兴趣。Twitter是一个微博客服务,可以成为用户对某个话题的看法,或者他们对社会,经济甚至政治问题的看法的重要信息来源。10月17日,黎巴嫩见证了一场革命的开始;“黎巴嫩起义”的标签在推特上迅速传播开来。在10月18日至21日期间收集了由100,000条推文组成的数据集。在本文中,我们使用不同的机器学习算法,对黎巴嫩阿拉伯语口语中与黎巴嫩起义主题标签相关的推文进行了情感分析研究。对数据集进行手动注释,以测量精确度和召回率指标,并在不同算法之间进行比较。此外,本文完成的工作提供了两个贡献。第一个是建立一个黎巴嫩到现代标准阿拉伯语的映射字典,用于推文的预处理,第二个是尝试从情感分析转移到使用表情符号的情感检测,我们试图预测的两种情感是“讽刺”和“有趣”的情感。我们从2019年10月收集的推文中构建了一个训练集,然后使用该集来预测我们在2020年5月至8月期间收集的推文的情绪和情感。我们进行的分析显示了两个数据集之间的情感,情绪和用户的变化。我们获得的结果似乎令人满意,特别是考虑到据我们所知,以前没有涉及黎巴嫩阿拉伯语推文的类似工作。
2020-09-30 cs.CL cs.LG
Hate speech detection in algerian dialect using deep learning
OMDENA
针对阿尔及利亚阿拉伯方言仇恨言论检测研究不足的问题,本文构建超过13.5K条社交网络文本语料库并评估多种深度学习架构,验证了所提方法的有效性。
2024-10-25 cs.CL
AfriSenti: A Twitter Sentiment Analysis Benchmark for African Languages
University of Porto(波尔图大学);Bahir Dar University(巴赫达尔大学);University of Cambridge(剑桥大学);Cardiff University(卡迪夫大学);Universität Hamburg(汉堡大学);Uppsala University(乌普萨拉大学);National Research Council Canada(加拿大国家研究委员会);Google Research(谷歌研究院);Hassan II University of Casablanca(卡萨布兰卡哈桑二世大学);LIAAD - INESC TEC;Bayero University Kano(卡诺巴耶罗大学);dLab;University of Deusto(德乌斯托大学);Kaduna State University(卡杜纳州立大学);Digital Umuganda;Wollo University(沃洛大学);Jimma University(吉马大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所);Accra Institute of Technology(阿克拉技术学院);Ahmadu Bello University(艾哈迈杜·贝洛大学);University College London(伦敦大学学院);HausaNLP
针对非洲语言NLP研究标注数据匮乏的问题,本文推出含14种非洲语言逾11万条标注推文的AfriSenti情感分析基准,介绍了数据构建流程,发布基线实验结果并讨论其价值。
2023-11-04 cs.CL
Mavericks at NADI 2023 Shared Task: Unravelling Regional Nuances through Dialect Identification using Transformer-based Approach
Pune Institute of Computer Technology(浦那计算机技术学院)
本文针对 NADI 2023 共享任务中的阿拉伯语国家层面方言识别问题,采用多种阿拉伯语预训练 Transformer 模型进行微调并集成,在包含 18 种方言的 TWT-2023 数据集上取得 76.65 的 F1 分数。
2023-11-30 cs.CL
L3CubeMahaSent: A Marathi Tweet-based Sentiment Analysis Dataset
Pune Institute of Computer Technology(浦那计算机技术学院);L3Cube;Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
情感分析是自然语言处理中最基本的任务之一。流行语言如英语、阿拉伯语、俄语、普通话,以及印度语如印地语、孟加拉语、泰米尔语在这方面已经做了大量的工作。然而,由于缺乏适当的数据集,印度第三大最受欢迎的语言马拉地语仍然落后。在本文中,我们提出了第一个主要的公开可用的马拉地语情感分析数据集-L3立方体MahaSent。它是使用从各种马哈拉施特拉邦人物的Twitter帐户中提取的推文策划的。我们的数据集由大约16,000条不同的推文组成,分为三大类,即积极,消极和中性。我们还提出了我们注释推文的指导方针。最后,我们使用CNN、LSTM、ULMFiT和基于BERT的深度学习模型来展示数据集的统计数据和基线分类结果。
2021-04-22 cs.CL cs.LG
Offensive Hebrew Corpus and Detection using BERT
Birzeit University(比尔宰特大学);amleh Center(7amleh中心)
本文针对希伯来语攻击性语言检测资源匮乏的问题,构建了包含15,881条推文的标注语料库,并通过微调HeBERT和AlephBERT模型验证了数据集对提升模型性能和泛化能力的有效性。
2023-09-06 cs.AI cs.CL cs.LG
Multi-Lingual Cyber Threat Detection in Tweets/X Using ML, DL, and LLM: A Comparative Analysis
School of Computing Sciences and Computer Engineering(计算科学与计算机工程学院);University of Southern Mississippi(密西西比大学)
本研究比较了ML、DL和LLM在多语言推文网络威胁检测中的效果,发现双LSTM架构在多语言场景中表现最佳。
2025-02-04 cs.AI cs.CL