AraGPT2: Pre-Trained Transformer for Arabic Language Generation
American University of Beirut(贝鲁特美国大学)
最近,预先训练的基于transformer的架构已被证明在语言建模和理解方面非常有效,因为它们是在足够大的语料库上训练的。与其他NLP进展相比,阿拉伯语的语言生成应用仍然落后,主要是由于缺乏先进的阿拉伯语语言生成模型。在本文中,我们开发了第一个先进的阿拉伯语语言生成模型,AraGPT 2,从头开始训练的大型阿拉伯语语料库的互联网文本和新闻文章。我们最大的模型AraGPT 2-mega拥有14.6亿个参数,这使其成为最大的阿拉伯语语言模型。Mega模型进行了评估,并在不同的任务上显示出成功,包括合成新闻生成和zero-shot问答。对于文本生成,我们最好的模型在维基百科文章上实现了29.8的困惑度。与人类评估者进行的一项研究表明,AraGPT 2-mega在生成难以与人类撰写的文章区分的新闻文章方面取得了重大成功。因此,我们开发并发布了一个自动识别模型,在检测模型生成的文本方面具有98%的准确率。这些模型也是公开的,希望能鼓励阿拉伯语NLP的新研究方向和应用。
2021-03-07 cs.CL
Effects of Stop Words Elimination for Arabic Information Retrieval: A Comparative Study
El-Minia University(米尼亚大学)
本研究探讨了三种用于阿拉伯语信息检索的停用词表-通用停用词表、基于语料库的停用词表和组合停用词表的有效性。三个流行的加权方案进行了检查:逆文档频率权重,概率加权,统计语言建模。其思想是将统计方法和语言方法结合起来,以达到最佳的性能,并比较它们在检索上的效果。最不发达国家(语言数据联盟)阿拉伯语新闻网数据集与狐猴工具包一起使用。Okapi检索系统中使用的最佳匹配加权方案在研究中使用的三种加权算法中具有最佳的整体性能,stoplists提高了检索效率,特别是当与BM 25权重一起使用时。一般非索引字列表的整体表现优于其他两个列表。
2017-02-07 cs.CL cs.IR
Konooz: Multi-domain Multi-dialect Corpus for Named Entity Recognition
Birzeit University(比尔泽特大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Palestine Technical University-Kadoorie(巴勒斯坦技术大学-卡多里)
本研究推出覆盖10领域16种阿拉伯方言的多维度开源NER语料库Konooz,基准测试显示现有阿拉伯语NER模型跨域跨方言性能最高降38%,并分析了差异与资源稀缺的影响。
2025-06-14 cs.AI cs.CL
Harnessing Multilingual Resources to Question Answering in Arabic
Rootroo Ltd(Rootroo有限公司)
这篇论文的目的是预测一段古兰经中问题的答案。答案总是在文章中找到的,所以模型的任务是预测答案从哪里开始,在哪里结束。由于初始数据集对于训练来说相当小,因此我们使用多语言BERT,以便我们可以通过使用阿拉伯语以外的语言可用的数据来增强训练数据。此外,我们抓取了一个大型的阿拉伯语语料库,这是特定于宗教话语的领域。我们的方法包括两个步骤,首先我们训练一个BERT模型来预测一组可能的答案。最后,我们使用另一个基于BERT的模型来对第一个BERT模型产生的候选答案进行排名。
2022-05-16 cs.CL
Comparing Open Arabic Named Entity Recognition Tools
Prince Sattam bin Abdulaziz University(萨塔姆·本·阿卜杜勒阿齐兹王子大学)
本文的主要目的是比较和评估三个开放的阿拉伯语NER工具:CAMeL,Hatmi和Stanza的性能。我们收集了一个语料库,包括30篇文章写在MSA和手动注释的所有实体的人,组织和位置类型的文章(文档)级别。我们的研究结果表明Stanza和Hatmi之间的相似性,后者获得了三种实体类型的最高F1分数。然而,CAMeL在人名和组织名称方面达到了最高的精度值。在此之后,我们实现了一个“合并”方法,它将三个工具的结果结合起来,并实现了一个“投票”方法,它仅在三个工具中的两个将命名实体标识为实体时才标记它们。我们的研究结果表明,合并实现了最高的整体F1分数。此外,合并有最高的召回值,而投票有最高的精度值的三个实体类型。这表明,合并是更合适的召回时,需要,而投票是最佳的精度时,需要。最后,我们收集了21,635篇与COVID-19相关的文章的语料库,并应用了合并和投票方法。我们的分析表明,这两种方法的精度和召回率之间的权衡。
2022-05-12 cs.CL
Concept Based vs. Pseudo Relevance Feedback Performance Evaluation for Information Retrieval System
University of Tlemcen(特莱姆森大学)
本文对信息检索系统中的两种查询重构技术,即基于概念的重构和伪相关反馈重构的性能进行了评价。阿拉伯语文本的语料库上进行的实验,使我们能够比较这两个重构技术在提高阿拉伯语文本的信息检索系统的性能的贡献。
2014-03-18 cs.CL cs.IR
Arabic Fine-Grained Entity Recognition
Birzeit University(比尔泽特大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);UBC(不列颠哥伦比亚大学)
本研究针对阿拉伯语细粒度NER研究不足的问题,扩展开源语料库Wojood得到含31个子类型的WojoodFine,验证了高标注一致性,并微调BERT模型建立了三类任务基准。
2023-12-18 cs.CL
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut(贝鲁特美国大学)
阿拉伯语是一种形态丰富的语言,与英语相比,资源相对较少,语法探索较少。考虑到这些限制,阿拉伯语自然语言处理(NLP)任务,如情感分析(SA)、命名实体识别(NER)和问答(QA),已经被证明是非常具有挑战性的。最近,随着基于Transformers的模型的激增,基于语言特定的BERT的模型已经被证明在语言理解方面非常有效,只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中,我们专门针对阿拉伯语预先训练了BERT,以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明,新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开,希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
A Study of Association Measures and their Combination for Arabic MWT Extraction
LIM, Univ. USMBA(西迪·穆罕默德·本·阿卜杜拉大学LIM实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心)
多词自动抽取在信息检索、问答、文本分类等应用中具有重要意义。虽然许多方法已被用于英语和其他欧洲语言的MWT提取,很少有研究被应用到阿拉伯语。在本文中,我们提出了一种新的,混合的方法,它结合了语言学和统计学方法的阿拉伯语多词项提取。我们的方法的主要贡献是在统计过滤步骤中考虑上下文信息以及关联度量的术语和单位。此外,我们的技术考虑到MWT变化的问题,在语言过滤步骤。建议的统计措施(NLC值)的性能进行评估,使用阿拉伯语环境语料库,通过比较它与一些现有的竞争对手。实验结果表明,我们的NLC值测量优于其他的精度方面的二元和三元。
2014-09-10 cs.CL
CV-18 NER: Augmented Common Voice for Named Entity Recognition from Arabic Speech
本文提出CV-18 NER数据集,通过增强阿拉伯语Common Voice 18语料库并添加细粒度Wojood标注,评估了端到端模型和流水线系统在阿拉伯语语音命名实体识别中的性能。
2026-04-02 cs.CL
1.5 billion words Arabic Corpus
Umm Al-Qura University(乌姆·库拉大学);Minia University(明亚大学)
本研究是建立现代阿拉伯语语料库的一次尝试。该语料库制作完成后,是一个包含500多万篇报刊文章的文本语料库。它总共包含超过15亿个单词,其中大约有300万个独特的单词。这些数据是从八个阿拉伯国家的十个主要新闻来源的报纸文章中收集的,为期十四年。语料库使用两种类型的编码进行编码,即:UTF-8和Windows CP-1256。它还使用两种标记语言进行标记,即:SGML和XML。
2016-11-12 cs.CL cs.DL cs.IR
An Arabic-Hebrew parallel corpus of TED talks
FBK(布鲁诺·凯斯勒基金会)
我们描述了一个阿拉伯语-希伯来语的平行语料库的TED会谈建立在WIT 3,网络库存,重新利用的方式,这是更方便的MT研究人员的TED网站的原始内容。该基准由大约2,000个演讲组成,其阿拉伯语和希伯来语的字幕已准确对齐并重新排列在句子中,每种语言总计约350万个令牌。会谈分为训练、开发和测试集,在各个方面都与IWIT 2016评估活动的MT任务相似。除了描述基准测试,我们列出了在准备过程中遇到的问题和旨在解决这些问题的新方法。基线MT结果和句子长度的一些措施作为一个外在的评价基准的质量。
2016-10-03 cs.CL cs.IR
A Large Scale Corpus of Gulf Arabic
New York University Abu Dhabi(纽约大学阿布扎比分校);University of Bahrain(巴林大学)
大多数阿拉伯语自然语言处理工具和资源都是为现代标准阿拉伯语(MSA)开发的,MSA是阿拉伯世界的官方书面语言。一些方言阿拉伯语变体,特别是埃及阿拉伯语,最近受到了一些关注,并且拥有越来越多的资源,包括注释语料库和形态分析器和标记器。然而,海湾阿拉伯语在这方面落后了。在本文中,我们介绍了古马尔语料库,一个大规模的海湾阿拉伯语语料库,包括1.1亿字,从1,200论坛小说。我们在文档级别对语料库进行子方言信息注释。我们还提出了海湾阿拉伯语的形态注释,其中包括传统的正字法制定准则的初步研究结果。该语料库的文本是公开的浏览通过一个网络界面,我们为它开发。
2016-09-09 cs.CL
The SAMER Arabic Text Simplification Corpus
New York University Abu Dhabi(纽约大学阿布扎比分校)
本文提出首个面向学龄学习者的手动标注阿拉伯语文本简化平行语料库 SAMER,包含159K词文本及多级别可读性标注,以支持阿拉伯语文本简化与教学语言技术研究。
2024-04-29 cs.CL
SinaTools: Open Source Toolkit for Arabic Natural Language Processing
Birzeit University(比尔宰特大学)
本文介绍开源Python工具包SinaTools,用于阿拉伯语自然语言处理,支持NER、WSD等多项任务,并在基准测试中优于同类工具。
2024-11-03 cs.AI cs.CL
AraSSM: A bidirectional state-space encoder for Arabic masked language modeling
Arabic Institute for Translation(阿拉伯翻译学院);CERIST(CERIST(阿尔及利亚科学技术研究中心));CEA LIST(CEA LIST(法国原子能和替代能源委员会电子信息技术与实验室))
本文提出面向阿拉伯语的双向状态空间编码器AraSSM,经掩码语言建模预训练后,在四项阿拉伯语NLU基准上的表现接近或优于同规模Transformer,验证了消费级硬件训练的有效性。
2026-08-11 cs.CL
Studying the History of the Arabic Language: Language Technology and a Large-Scale Historical Corpus
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);University of Rhode Island(罗德岛大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Bar-Ilan University(巴伊兰大学);Dicta: The Israel Center for Text Analysis(以色列文本分析中心(Dicta));University of Vienna(维也纳大学)
阿拉伯语是一种广泛使用的语言,具有悠久而丰富的历史,但现有的语料库和语言技术主要集中在现代阿拉伯语及其变体上。因此,迄今为止,对语言历史的研究大多局限于小规模的手工分析。在这项工作中,我们提出了一个大规模的历史语料库的书面阿拉伯语,跨越1400年。我们描述了我们使用阿拉伯语NLP工具清理和处理该语料库的努力,包括识别重用的文本。我们使用一种新的自动分期算法以及其他技术研究阿拉伯语的历史。我们的研究结果证实了书面阿拉伯语分为现代标准阿拉伯语和古典阿拉伯语的既定划分,并证实了其他既定的分期,同时表明书面阿拉伯语可能分为更进一步的发展时期。
2018-09-11 cs.CL
Computational Approaches to Arabic-English Code-Switching
Media Engineering and Technology Faculty(媒体工程技术学院);German University in Cairo(开罗德国大学)
本文针对阿拉伯语-英语语码转换数据提出并应用最先进的命名实体识别技术,构建首个标注语料库,并通过上下文嵌入、数据增强和词内语言识别方法提升NER性能。
2024-10-17 cs.AI cs.CL
ZAEBUC-Spoken: A Multilingual Multidialectal Arabic-English Speech Corpus
New York University Abu Dhabi(纽约大学阿布扎比分校);University of Stuttgart(斯图加特大学);University of Tübingen(蒂宾根大学);United Arab Emirates University(阿联酋大学);Zayed University(扎耶德大学)
本文提出多语言多方言阿拉伯语-英语语音语料库ZAEBUC-Spoken,包含12小时会议录音,涵盖多语言、多方言及语码转换,并提供转录指南与方言程度、形态学两层标注,为ASR研究提供挑战性数据集。
2024-03-27 cs.CL
Shamela: A Large-Scale Historical Arabic Corpus
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);University of Rhode Island(罗德岛大学);Leipzig University(莱比锡大学);Bar-Ilan University(巴伊兰大学);Dicta: The Israel Center for Text Analysis(Dicta:以色列文本分析中心)
阿拉伯语是一种广泛使用的语言,其丰富而悠久的历史跨越了14个世纪。然而现有的阿拉伯语语料库大多集中在现代时期或缺乏足够的历时信息。我们开发了一个大规模的阿拉伯语历史语料库,其中包含来自不同时期的约10亿个单词。我们清理这个语料库,用形态分析器处理它,并通过检测平行通道和自动标注日期的文本来增强它。我们展示了它的效用与选定的案例研究中,我们展示了它的应用数字人文。
2016-12-28 cs.CL
ArzEn-ST: A Three-way Speech Translation Corpus for Code-Switched Egyptian Arabic - English
New York University Abu Dhabi(纽约大学阿布扎比分校);University of Stuttgart(斯图加特大学);The German University in Cairo(开罗德国大学)
我们提出了我们的工作,收集ArzEn-ST,代码转换埃及阿拉伯语-英语语音翻译语料库。该语料库是ArzEn语音语料库的扩展,该语料库是通过对双语者的非正式采访收集的。在这项工作中,我们收集了两个方向的翻译,单语埃及阿拉伯语和单语英语,形成了一个三向语音翻译语料库。我们公开提供翻译指南和语料库。我们还报告了用于机器翻译和语音翻译任务的基线系统的结果。我们相信这是一个有价值的资源,可以激励和促进进一步的研究从语言学的角度来研究语码转换现象,并可用于训练和评估自然语言处理系统。
2022-11-22 cs.CL
An Enhanced Corpus for Arabic Newspapers Comments
ICOSI Laboratory, University of Khenchela(肯谢拉大学ICOSI实验室);LIRE Laboratory, University of Constantine 2(君士坦丁第二大学LIRE实验室);TechNE Laboratory, University of Poitiers(普瓦捷大学TechNE实验室)
在本文中,我们提出了我们的增强方法来创建一个专门的语料库阿尔及利亚阿拉伯语报纸评论。所开发的方法,以加强现有的方法,通过丰富的可用语料库和列入的注释步骤,通过以下的模型注释训练测试评估修订(物质)的方法。通过收集阿尔及利亚三家知名报纸网站的评论,建立了一个语料库。三个分类器,支持向量机,朴素贝叶斯,和k-最近邻,用于分类的评论成积极和消极的类。为了确定在所获得的结果中的词干的影响,在有和没有词干的情况下测试分类。获得的结果表明,词干并没有大大提高分类,由于阿尔及利亚的评论绑到阿尔及利亚阿拉伯语方言的性质。令人鼓舞的结果构成了我们的动机,以改善我们的方法,特别是在处理非阿拉伯语句子,特别是方言和法语的。
2021-02-08 cs.CL cs.IR cs.MA
Sexism detection: The first corpus in Algerian dialect with a code-switching in Arabic/ French and English
Aston University(阿斯顿大学);Folding Space(Folding Space公司);University of Wolverhampton(伍尔弗汉普顿大学)
在本文中,仇恨言论检测对妇女在阿拉伯社区的社交媒体(如Youtube)的方法。在文献中,类似的作品已经为其他语言,如英语。然而,据我们所知,用阿拉伯文进行的工作不多。使用三种不同的注释器开发了一个新的仇恨言论语料库(阿拉伯语fr en)。对于语料验证,使用了三种不同的机器学习算法,包括深度卷积神经网络(CNN)、长短期记忆(LSTM)网络和双向LSTM(Bi-LSTM)网络。仿真结果表明,CNN模型的最佳性能,与LSTM和Bi-LSTM相比,对于不平衡语料库,其F1得分高达86\%。
2021-04-03 cs.CL
Audience Engagement with Arabic Women's Social Empowerment and Wellbeing: A Decadal Corpus
Northwestern University in Qatar(卡塔尔西北大学);Hamad bin Khalifa University(哈利法大学)
本文提出阿拉伯女性与社会语料库,包含2013至2024年间252,487条阿拉伯语Facebook公开帖子,涵盖女性赋权和社会福祉主题,通过自动化流程处理后,为阿拉伯方言的性别话语、社会改革和情感参与的大规模分析提供了数据支持。
2026-05-21 cs.CL
Tarab: A Multi-Dialect Corpus of Arabic Lyrics and Poetry
College of Engineering(工程学院);Computer Science, VinUniversity(计算机科学,文大学)
本文介绍了一个大规模的阿拉伯语创意文本语料库,包含256万行和1350万词,涵盖古典和现代阿拉伯语及六种主要方言,提供结构化元数据以支持跨时代的语言和风格分析。
2026-03-17 cs.CL
A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment
Computational Approaches to Modeling Language Lab, New York University Abu Dhabi(新纽约大学阿布扎赫实验室);Zai Arabic Language Research Centre, Zayed University(扎伊阿拉伯语言研究中心)
该研究构建了含69441句、19个可读性等级的大规模平衡阿拉伯语可读性评估语料库BAREC,人工标注一致性达81.8%,并完成多方法基准测试,公开资源以支持相关研究与教育。
2025-06-11 cs.CL
PEACH: A sentence-aligned Parallel English-Arabic Corpus for Healthcare
University of Sharjah(沙迦大学)
本文介绍PEACH,一个句子对齐的英阿平行医疗语料库,含51,671个平行句,用于语言对比、翻译研究及NLP,并支持领域机器翻译等应用。
2025-08-07 cs.CL
ARAACOM: ARAbic Algerian Corpus for Opinion Mining
Université de Khenchela(肯切拉大学);Université de Constantine 2(康斯坦丁第二大学);Université de Poitiers(普瓦捷大学)
如今,不再需要付出巨大的努力,将大量的表格分发给成千上万的人并收集它们,然后将其转换为电子格式以跟踪人们对某些主题的意见。今天,许多网站可以用更少的努力达到很大的范围。大多数网站建议他们的访问者留下关于他们对网站或事件的感觉的备份。因此,这为我们提供了大量的数据,需要强大的手段来利用。网络中的意见挖掘变得越来越有吸引力的任务,由于个人和社会越来越需要跟踪人们对日常生活中的几个主题(体育,政治,电视等)的情绪。很多观点挖掘的著作都是用西方语言特别是英语写成的,阿拉伯语的著作还很少见。在本文中,我们提出了我们的方法,在阿拉伯语阿尔及利亚报纸的意见挖掘。$\bullet$信息系统~情感分析$\bullet$计算方法学~自然语言处理
2020-01-22 cs.CL cs.IR
MudawanSn: A Gold-Standard Wolof-Arabic Parallel Corpus for Machine Translation
GalsenAI Lab(GalsenAI实验室);Ministère de l’Éducation Nationale du Sénégal(塞内加尔国民教育部)
本文提出MudawanSn,一个1,271句对的沃洛夫语-阿拉伯语黄金标准平行语料库,用于机器翻译,微调后显著提升双向翻译性能,最佳模型AfriNLLB-12取得7.76/30.72和8.75/33.08的BLEU/chrF++。
2026-09-17 cs.CL
The Arabic Parallel Gender Corpus 2.0: Extensions and Analyses
New York University Abu Dhabi(纽约大学阿布扎比分校);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校)
自然语言处理(NLP)应用中的性别偏见,特别是机器翻译,已经受到越来越多的关注。关于这个问题的许多研究都集中在减轻英语NLP模型和系统中的性别偏见。在资源贫乏和/或形态丰富的语言中解决这个问题已经落后,主要是由于缺乏数据集和资源。在本文中,我们介绍了一个新的语料库性别识别和重写的背景下,涉及一个或两个目标用户(我和/或你)-第一和第二语法的人与独立的语法性别偏好。我们专注于阿拉伯语,一种性别标记形态丰富的语言。语料库有多个平行的组成部分:第一和第二人称的四种组合,在女性和男性语法性别,以及英语,英语到阿拉伯语的机器翻译输出。该语料库扩展了Habash et al.(2019)的阿拉伯语平行性别语料库(APGC v1.0),增加了第二人称目标,并将句子总数增加了6.5倍以上,达到59万多个单词。我们的新数据集将有助于性别识别、受控文本生成和编辑后重写系统的研究和开发,这些系统可用于个性化NLP应用程序,并根据用户的语法性别偏好为用户提供正确的输出。我们公开提供阿拉伯语平行性别语料库(APGC v2.0)。
2021-10-18 cs.CL
JobArabi: An Arabic Corpus and Analysis of Job Announcements from Social Media
Northwestern University in Qatar(卡塔尔诺维克大学);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学)
本文介绍了JobArabi,一个从2024年1月至2025年10月期间收集的阿拉伯语招聘公告语料库,包含20,528条来自X平台的公开帖子,旨在分析阿拉伯语在线社区中的就业相关话语,揭示社交媒体在劳动力市场沟通和语言变化研究中的潜力。
2026-05-20 cs.CL
Tibyan Corpus: Balanced and Comprehensive Error Coverage Corpus Using ChatGPT for Arabic Grammatical Error Correction
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Saudi Electronic University(沙特电子大学)
本研究利用ChatGPT构建阿拉伯语语法纠错语料库Tibyan,包含约600K标记和七类错误,旨在弥补阿拉伯语GEC资源不足。
2024-11-07 cs.AI cs.CL
ASCAT: An Arabic Scientific Corpus and Benchmark for Advanced Translation Evaluation
Prince Sultan University(苏丹王子大学);SySSR;NAMAA Community(NAMAA社区);Tuwaiq Academy(图韦克学院)
本文提出ASCAT,一个高质量的英阿平行基准语料库,用于科学翻译评估。通过系统多引擎翻译和人工验证流程构建,包含五个科学领域摘要,用于评估翻译质量并训练领域特定翻译模型。
2026-03-10 cs.CL
A comparative study of root-based and stem-based approaches for measuring the similarity between arabic words for arabic text mining applications
University Sidi Mohamed Ben Abdellah (USMBA)(西迪·穆罕默德·本·阿卜杜拉大学);Faculty of Science Dhar EL Mahraz (FSDM)(达尔·马赫拉兹科学学院)
任何阿拉伯语文本挖掘应用程序都需要对单词中包含的语义信息进行表示。更确切地说,其目的是更好地考虑由这些词的共现频率表示的词之间的语义依赖性。已经有许多建议,以计算相似性的基础上,他们的分布在上下文中的话。本文对两种预处理技术应用于阿拉伯语语料库的效果进行了比较和对比:基于根的(Stemming)和基于Stem-based(光词干)方法,用于利用众所周知的抽象模型-潜在语义分析(LSA)-利用各种各样的距离函数和相似性度量,诸如欧几里得距离、余弦相似性、Jaccard系数,Pearson相关系数实验结果表明,一方面,语料库的多样性使结果更加准确;另一方面,基于词干的方法优于基于词根的方法,因为后者影响了词义。
2012-12-14 cs.CL cs.IR
ArabJobs: A Multinational Corpus of Arabic Job Ads
VinUniversity(温纳大学);Lancaster University(兰卡斯特大学)
本文发布涵盖四个阿拉伯国家、含 8,500 余条广告的 ArabJobs 语料库,并通过性别、职业、方言分析及 LLM 应用与基准任务验证其在公平阿拉伯语 NLP 和劳动力市场研究中的价值。
2025-09-26 cs.CL
HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification
本文提出HalluTruthQA-4K,这一含4000个阿拉伯语问答实例的细粒度语料库,用于阿拉伯语幻觉检测等任务,为HalluScoring 2026共享任务提供官方数据集。
2026-08-17 cs.CL
ExaASC: A General Target-Based Stance Detection Corpus in Arabic Language
Exa Company(Exa公司)
基于目标的姿态检测是寻找朝向目标的姿态的任务。Twitter是社交媒体中政治讨论的主要来源之一,也是分析实体立场的最佳资源之一。本文提出了一种新的基于目标的姿态检测方法,该方法利用回复对源推文中最重要和最有争议的目标的姿态。该目标是相对于源推文本身检测的,并且不限于预定义目标的集合,这是当前最先进的方法的通常方法。我们提出的新态度导致了一个名为ExaASC的新语料库,用于阿拉伯语,这是该领域的低资源语言之一。最后,我们使用BERT来评估我们的语料库,并达到了70.69宏观F-分数。这表明,我们的数据和模型可以工作在一个通用的目标基姿态检测系统。语料库是公开的1。
2022-04-29 cs.CL
SentiALG: Automated Corpus Annotation for Algerian Sentiment Analysis
Ecole Superieure des sciences appliquées d’Alger(阿尔及尔高等应用科学学院);Ecole nationale Supérieure d’Informatique(国立高等计算机学院);University of Stirling(斯特灵大学)
数据标注是一个重要但耗时且昂贵的过程。为了将文本分为两类,我们需要的第一件事是一个好的注释指南,确定每个类所需的条件。在文献中,与适当的数据注释相关的困难被低估了。在本文中,我们提出了一种新的方法来自动构建一个注释的情感语料库阿尔及利亚方言(马格里布阿拉伯语方言)。该语料库的建设是基于阿尔及利亚的情感词汇,也是自动构建的。所展示的作品涉及阿拉伯语社交媒体上广泛使用的两种脚本:阿拉伯语和阿拉伯语。所提出的方法自动构建包含8000条消息的情感语料库(其中4000条消息专用于阿拉伯语,4000条消息专用于阿拉伯语)。阿拉伯语和阿拉伯语测试集的F1分数分别高达72%和78%。正在进行的工作旨在整合阿拉伯语信息的音译过程,以进一步改善所取得的成果。
2018-08-15 cs.CL
ANEC: An Amharic Named Entity Corpus and Transformer Based Recognizer
Istanbul Technical University(伊斯坦布尔理工大学)
命名实体识别是一种信息抽取任务,它作为其他自然语言处理任务(如机器翻译、信息检索和问答)的预处理步骤。命名实体识别能够识别专有名称以及开放域文本中的时间和数值表达式。对于阿拉伯语、阿姆哈拉语和希伯来语等闪米特语言,由于这些语言的严重屈折结构,命名实体识别任务更具挑战性。本文提出了一种基于双向长短期记忆和条件随机场层的阿姆哈拉语命名实体识别系统。我们注释了一个新的阿姆哈拉语命名实体识别数据集(8,070个句子,其中有182,691个标记),并将合成少数过采样技术应用于我们的数据集,以减轻不平衡的分类问题。我们的命名实体识别系统达到了93%的F_1分数,这是阿姆哈拉语命名实体识别的新的国家的最先进的结果。
2022-07-02 cs.AI cs.CL cs.LG
An Annotated Corpus of Arabic Tweets for Hate Speech Analysis
Northwestern University in Qatar(西北大学卡塔尔分校);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本研究构建了一个包含10000条阿拉伯语推文的多标签仇恨言论数据集,通过多位标注者标注并计算一致性,评估显示AraBERTv2模型在攻击性内容识别上取得最优性能。
2025-05-23 cs.CL
ArabDiscrim: A Decade-Long Arabic Facebook Corpus on Racism and Discrimination
Northwestern University in Qatar(卡塔尔西北大学);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学)
本文提出了ArabDiscrim,一个包含293,000条阿拉伯语Facebook公开帖子的十年长的词料库(2014-2024年),用于研究种族主义和歧视。该语料库整合了平台原生的互动信号,如反应、分享、评论和页面元数据,支持语言和受众反应的联合分析。该资源包括200个精心挑选的术语(100个与种族主义相关,100个与歧视相关)以及20个歧视轴,捕捉基于身份的不平等对待。它还提供了显式的归属模式。ArabDiscrim在伦理合规的限制研究使用许可下发布,支持弱监督、轴感知采样和平台生态研究。通过连接词法深度和生态效度,它为公平导向、平台意识的阿拉伯语NLP建立了基础。
2026-05-21 cs.CL
ClArTTS: An Open-Source Classical Arabic Text-to-Speech Corpus
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Erisha Labs(埃里沙实验室)
目前,使用端到端神经模型用高质量转录语音数据训练的文本到语音(TTS)系统可以生成可理解、自然且与人类语音非常相似的语音。这些模型使用相对较大的单扬声器专业录制的音频进行训练,通常从有声读物中提取。同时,由于这类免费语音语料库的稀缺,阿拉伯文语转换系统的研究和开发存在较大的空白。大多数现有的免费可用的阿拉伯语语音语料库不适合TTS训练,因为它们包含多说话者的随意语音,其记录条件和质量存在差异,而为语音合成策划的语料库通常尺寸较小,不适合训练最先进的端到端模型。为了填补这一资源缺口,我们提出了一个语音语料库古典阿拉伯文文本到语音(ClArTTS),以支持阿拉伯文的端到端TTS系统的发展。语音是从LibriVox有声读物中提取的,然后经过处理、分段、手动转录和注释。最后的ClArTTS语料库包含约12小时的语音从一个单一的男性扬声器采样在40100 kHz。在本文中,我们描述了语料库创建的过程,并提供了语料库统计的细节,并与现有资源进行了比较。此外,我们开发了两个TTS系统的基础上,梯度TTS和辉光TTS,并说明了所产生的系统的性能,通过主观和客观的评价。该语料库将在www.clartts.com上公开提供,用于研究目的,以及基线TTS系统演示。
2023-02-28 cs.CL cs.SD eess.AS
A Large and Diverse Arabic Corpus for Language Modeling
New York University Abu Dhabi(纽约大学阿布扎比分校);Inception Institute of AI(人工智能初创研究院);Saudi Aramco(沙特阿美公司);Kyndryl(金杜睿尔)
本文构建了超过500GB的阿拉伯语清洗文本语料库,用于训练大型阿拉伯语语言模型,在多个NLP任务上相比mBERT提升4.5%至8.5%,是目前最大的干净多样化阿拉伯语语料库。
2023-05-08 cs.AI cs.CL
New Arabic Medical Dataset for Diseases Classification
ITMO University(ITMO大学)
阿拉伯语非常缺乏适合训练深度学习模型的数据集,现有的数据集包括一般的非专业分类。在这项工作中,我们介绍了一个新的阿拉伯医学数据集,其中包括从几个阿拉伯医学网站收集的2000份医学文件,除了阿拉伯医学百科全书。该数据集是为了对文本进行分类而建立的,包括10类(血液,骨骼,心血管,耳朵,内分泌,眼睛,胃肠道,免疫,肝脏和肾脏)疾病。通过对Google的BERT、基于BERT的阿拉伯语大语料库的Arabert和基于阿拉伯语医学语料库的Arabert的AraBioNER三个预训练模型进行微调,对数据集进行实验。
2021-07-05 cs.CL
QASR: QCRI Aljazeera Speech Resource -- A Large Scale Annotated Arabic Speech Corpus
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Kanari AI(卡纳里人工智能公司)
我们介绍了最大的转录阿拉伯语语音语料库,QASR,从广播领域收集。这个多方言语音数据集包含从Aljazeera新闻频道抓取的以16 kHz采样的2,000小时语音。数据集以轻度监督的transmittance发布,与音频片段对齐。与以前的数据集不同,QASR包含语言动机的分割,标点符号,说话人信息等。QASR适合于训练和评估语音识别系统、基于声学和/或语言学的阿拉伯方言识别、标点恢复、说话人辨识、说话人链接以及用于口语数据的潜在的其他NLP模块。除了QASR转录,我们还发布了一个1.3亿单词的数据集,以帮助设计和训练更好的语言模型。我们表明,端到端的自动语音识别训练QASR报告的竞争力字出错率相比,以前的MGB-2语料库。我们报告了下游自然语言处理任务的基线结果,例如使用语音转录的命名实体识别。我们还报告了阿拉伯语标点符号恢复的第一个基线。我们为研究界提供语料库。
2021-06-24 cs.CL cs.SD eess.AS
TEDxTN: A Three-way Speech Translation Corpus for Code-Switched Tunisian Arabic - English
ELYADATA(ELYADATA 公司)
本文介绍首个公开的突尼斯阿拉伯语-英语语码转换语音翻译语料库TEDxTN,含25小时108场演讲数据,公开标注指南并报告基线系统结果,为突尼斯方言自然语言处理研究提供资源。
2025-11-13 cs.AI cs.CL
Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification
College of Humanities and Social Sciences, Hamad Bin Khalifa University(哈马德·本·哈利法大学人文与社会科学学院);Carnegie Mellon University Qatar(卡内基梅隆大学卡塔尔分校)
在本文中,我们提出了Arap-Tweet,这是一个大规模和多方言语料库的推文来自11个地区和16个国家在阿拉伯世界代表主要阿拉伯方言品种。为了构建这个语料库,我们从Twitter收集了数据,并为一个经验丰富的注释者团队提供了注释指南,他们用来注释语料库的年龄类别,性别和方言种类。在数据汇集过程中,我们根据不同阿拉伯方言的独特关键字进行搜索,并使用Twitter API验证位置。在本文中,我们报告了语料库数据汇集和注释工作。我们还提出了一些我们在这些阶段遇到的问题。然后,我们提出的结果进行评估,以确保注释的一致性。所提供的语料库将丰富阿拉伯语有限的可用语言资源,并将成为开发阿拉伯语作者分析工具和自然语言处理工具的宝贵推动力。
2018-08-23 cs.CL
An End-to-End OCR Framework for Robust Arabic-Handwriting Recognition using a Novel Transformers-based Model and an Innovative 270 Million-Words Multi-Font Corpus of Classical Arabic with Diacritics
Helwan University(赫尔万大学)
这项研究是第二阶段,在一系列的调查,发展光学字符识别(OCR)的阿拉伯历史文件,并研究如何不同的建模程序与问题的相互作用。第一项研究研究了Transformers对我们定制的阿拉伯语数据集的影响。第一次研究的缺点之一是训练数据的大小,由于缺乏资源,我们的3000万张图像中只有15000张图像。此外,我们还添加了图像增强层、时间和空间优化以及后校正层,以帮助模型预测正确上下文的正确单词。值得注意的是,我们提出了一种端到端的文本识别方法,使用视觉Transformer作为编码器,即BEIT,并使用vanilla Transformer作为解码器,消除了用于特征提取的CNN,并降低了模型的复杂性。实验表明,我们的端到端模型优于卷积骨干。该模型获得了4.46%的CER。
2022-08-26 cs.CL cs.CV cs.LG
ArSentD-LEV: A Multi-Topic Corpus for Target-based Sentiment Analysis in Arabic Levantine Tweets
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);American University of Beirut(贝鲁特美国大学);Qatar University(卡塔尔大学)
情感分析是一项非常主观和具有挑战性的任务。当应用于阿拉伯语时,其复杂性进一步增加,主要是因为大量的方言是不标准化的,并且在网络中广泛使用,特别是在社交媒体中。虽然已经发布了许多数据集来用阿拉伯语训练情感分类器,但这些数据集中的大多数都包含浅层注释,仅将文本单元的情感标记为单词,句子或文档。在本文中,我们提出了阿拉伯语情绪Twitter数据集的黎凡特方言(ArSenTD-LEV)。根据对黎凡特地区推文的分析结果,我们创建了一个包含4,000条推文的数据集,并附有以下注释:推文的总体情绪、表达情绪的目标、表达情绪的方式以及推文的主题。结果证实了这些注释在提高基线情感分类器性能方面的重要性。他们还证实了在某个领域的培训和在另一个领域的测试之间的差距。
2019-05-25 cs.CL cs.IR cs.LG
Stance Prediction and Claim Verification: An Arabic Perspective
Latynt
本文利用阿拉伯语语料库,探讨了语篇蕴涵在新闻声明验证和立场预测中的应用。公开可用的语料库有两个方面:一个版本由4,547个真实和虚假的声明组成,另一个版本由3,786对(声明,证据)组成。我们描述了创建语料库和注释过程的方法。使用引入的语料库,我们还开发了两个机器学习基线的两个建议的任务:索赔验证和立场预测。我们最好的模型利用预训练(BERT),在立场预测任务上达到76.7 F1,在声明验证任务上达到64.3 F1。我们的初步实验揭示了仅依赖于索赔文本的自动索赔验证的局限性。结果表明,虽然在预训练过程中学习的语言特征和世界知识对立场预测是有用的,但在没有上下文或证据的情况下,这种从预训练中学习的表示不足以验证索赔。
2020-05-21 cs.CL
LANS: Large-scale Arabic News Summarization Corpus
Virginia Tech(弗吉尼亚理工大学);NEC Labs America(NEC美国实验室)
文本摘要在许多语言中得到了深入的研究,有些语言已经达到了高级阶段。然而,阿拉伯语文本摘要(ATS)仍处于发展阶段。现有的ATS数据集要么很小,要么缺乏多样性。我们建立了LANS,一个大规模和多样化的数据集,用于阿拉伯语文本摘要任务。LANS提供了1999年至2019年间从报纸网站元数据中提取的840万篇文章及其摘要。高质量和多样化的摘要是由来自22家主要阿拉伯报纸的记者撰写的,其中包括来自每个来源的至少7个以上主题的折衷组合。我们对局域网进行了内在的评价,自动和人类的评价。对1000个随机样本的人工评估报告了我们收集的摘要的95.4%的准确性,自动评估量化了摘要的多样性和抽象性。该数据集可应要求公开提供。
2022-10-24 cs.CL cs.LG
Leveraging Corpus Metadata to Detect Template-based Translation: An Exploratory Case Study of the Egyptian Arabic Wikipedia Edition
Clarkson University(克拉克森大学);Sesame Labs(芝麻实验室);Cadi Ayyad University(卡迪·阿雅德大学);M&T Bank(M&T银行)
本文针对埃及阿拉伯语维基百科中模板翻译文章泛滥的问题,通过探索性分析并利用文章元数据构建多元机器学习分类器进行自动检测,最终部署XGBoost在线检测系统并公开数据集。
2024-03-31 cs.CL
SyriSign: A Parallel Corpus for Arabic Text to Syrian Arabic Sign Language Translation
Arab International University(阿拉伯国际大学)
本文提出SyriSign数据集,用于阿拉伯语到叙利亚阿拉伯手语的翻译任务,旨在解决叙利亚聋人社区的沟通障碍,通过三种深度学习模型评估,发现生成方法在手语表示上有潜力,但受限于数据集规模影响泛化性能。
2026-07-21 cs.AI cs.CL cs.CV
Cross-Lingual SynthDocs: A Large-Scale Synthetic Corpus for Any to Arabic OCR and Document Understanding
本文提出大规模合成语料库 Cross-Lingual SynthDocs,通过真实扫描背景、双语版面与变音符号感知字体构建超 250 万样本,微调 Qwen-2.5-VL 后在阿拉伯语 OCR 和文档理解多项指标上取得一致提升。
2025-11-01 cs.CL cs.CV