A Large Scale Corpus of Gulf Arabic
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Bahrain（巴林大学）
大多数阿拉伯语自然语言处理工具和资源都是为现代标准阿拉伯语（MSA）开发的，MSA是阿拉伯世界的官方书面语言。一些方言阿拉伯语变体，特别是埃及阿拉伯语，最近受到了一些关注，并且拥有越来越多的资源，包括注释语料库和形态分析器和标记器。然而，海湾阿拉伯语在这方面落后了。在本文中，我们介绍了古马尔语料库，一个大规模的海湾阿拉伯语语料库，包括1.1亿字，从1,200论坛小说。我们在文档级别对语料库进行子方言信息注释。我们还提出了海湾阿拉伯语的形态注释，其中包括传统的正字法制定准则的初步研究结果。该语料库的文本是公开的浏览通过一个网络界面，我们为它开发。
2016-09-09 cs.CL
The SAMER Arabic Text Simplification Corpus
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出首个面向学龄学习者的手动标注阿拉伯语文本简化平行语料库 SAMER，包含159K词文本及多级别可读性标注，以支持阿拉伯语文本简化与教学语言技术研究。
2024-04-29 cs.CL
An Arabic-Hebrew parallel corpus of TED talks
FBK（布鲁诺·凯斯勒基金会）
我们描述了一个阿拉伯语-希伯来语的平行语料库的TED会谈建立在WIT 3，网络库存，重新利用的方式，这是更方便的MT研究人员的TED网站的原始内容。该基准由大约2，000个演讲组成，其阿拉伯语和希伯来语的字幕已准确对齐并重新排列在句子中，每种语言总计约350万个令牌。会谈分为训练、开发和测试集，在各个方面都与IWIT 2016评估活动的MT任务相似。除了描述基准测试，我们列出了在准备过程中遇到的问题和旨在解决这些问题的新方法。基线MT结果和句子长度的一些措施作为一个外在的评价基准的质量。
2016-10-03 cs.CL cs.IR
Studying the History of the Arabic Language: Language Technology and a Large-Scale Historical Corpus
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Rhode Island（罗德岛大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Bar-Ilan University（巴伊兰大学）；Dicta: The Israel Center for Text Analysis（以色列文本分析中心（Dicta））；University of Vienna（维也纳大学）
阿拉伯语是一种广泛使用的语言，具有悠久而丰富的历史，但现有的语料库和语言技术主要集中在现代阿拉伯语及其变体上。因此，迄今为止，对语言历史的研究大多局限于小规模的手工分析。在这项工作中，我们提出了一个大规模的历史语料库的书面阿拉伯语，跨越1400年。我们描述了我们使用阿拉伯语NLP工具清理和处理该语料库的努力，包括识别重用的文本。我们使用一种新的自动分期算法以及其他技术研究阿拉伯语的历史。我们的研究结果证实了书面阿拉伯语分为现代标准阿拉伯语和古典阿拉伯语的既定划分，并证实了其他既定的分期，同时表明书面阿拉伯语可能分为更进一步的发展时期。
2018-09-11 cs.CL
Shamela: A Large-Scale Historical Arabic Corpus
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Rhode Island（罗德岛大学）；Leipzig University（莱比锡大学）；Bar-Ilan University（巴伊兰大学）；Dicta: The Israel Center for Text Analysis（Dicta：以色列文本分析中心）
阿拉伯语是一种广泛使用的语言，其丰富而悠久的历史跨越了14个世纪。然而现有的阿拉伯语语料库大多集中在现代时期或缺乏足够的历时信息。我们开发了一个大规模的阿拉伯语历史语料库，其中包含来自不同时期的约10亿个单词。我们清理这个语料库，用形态分析器处理它，并通过检测平行通道和自动标注日期的文本来增强它。我们展示了它的效用与选定的案例研究中，我们展示了它的应用数字人文。
2016-12-28 cs.CL
Audience Engagement with Arabic Women's Social Empowerment and Wellbeing: A Decadal Corpus
Northwestern University in Qatar（卡塔尔西北大学）；Hamad bin Khalifa University（哈利法大学）
本文提出阿拉伯女性与社会语料库，包含2013至2024年间252,487条阿拉伯语Facebook公开帖子，涵盖女性赋权和社会福祉主题，通过自动化流程处理后，为阿拉伯方言的性别话语、社会改革和情感参与的大规模分析提供了数据支持。
2026-05-21 cs.CL
Tarab: A Multi-Dialect Corpus of Arabic Lyrics and Poetry
College of Engineering（工程学院）；Computer Science, VinUniversity（计算机科学，文大学）
本文介绍了一个大规模的阿拉伯语创意文本语料库，包含256万行和1350万词，涵盖古典和现代阿拉伯语及六种主要方言，提供结构化元数据以支持跨时代的语言和风格分析。
2026-03-17 cs.CL
A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment
Computational Approaches to Modeling Language Lab, New York University Abu Dhabi（新纽约大学阿布扎赫实验室）；Zai Arabic Language Research Centre, Zayed University（扎伊阿拉伯语言研究中心）
该研究构建了含69441句、19个可读性等级的大规模平衡阿拉伯语可读性评估语料库BAREC，人工标注一致性达81.8%，并完成多方法基准测试，公开资源以支持相关研究与教育。
2025-06-11 cs.CL
The Arabic Parallel Gender Corpus 2.0: Extensions and Analyses
New York University Abu Dhabi（纽约大学阿布扎比分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）
自然语言处理（NLP）应用中的性别偏见，特别是机器翻译，已经受到越来越多的关注。关于这个问题的许多研究都集中在减轻英语NLP模型和系统中的性别偏见。在资源贫乏和/或形态丰富的语言中解决这个问题已经落后，主要是由于缺乏数据集和资源。在本文中，我们介绍了一个新的语料库性别识别和重写的背景下，涉及一个或两个目标用户（我和/或你）-第一和第二语法的人与独立的语法性别偏好。我们专注于阿拉伯语，一种性别标记形态丰富的语言。语料库有多个平行的组成部分：第一和第二人称的四种组合，在女性和男性语法性别，以及英语，英语到阿拉伯语的机器翻译输出。该语料库扩展了Habash et al.（2019）的阿拉伯语平行性别语料库（APGC v1.0），增加了第二人称目标，并将句子总数增加了6.5倍以上，达到59万多个单词。我们的新数据集将有助于性别识别、受控文本生成和编辑后重写系统的研究和开发，这些系统可用于个性化NLP应用程序，并根据用户的语法性别偏好为用户提供正确的输出。我们公开提供阿拉伯语平行性别语料库（APGC v2.0）。
2021-10-18 cs.CL
JobArabi: An Arabic Corpus and Analysis of Job Announcements from Social Media
Northwestern University in Qatar（卡塔尔诺维克大学）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）
本文介绍了JobArabi，一个从2024年1月至2025年10月期间收集的阿拉伯语招聘公告语料库，包含20,528条来自X平台的公开帖子，旨在分析阿拉伯语在线社区中的就业相关话语，揭示社交媒体在劳动力市场沟通和语言变化研究中的潜力。
2026-05-20 cs.CL
How do media talk about the Covid-19 pandemic? Metaphorical thematic clustering in Italian online newspapers
Aston University（阿斯顿大学）
本研究基于意大利在线报纸语料库，结合Structural Topic Modelling与概念隐喻理论，分析了COVID-19危机期间新闻话题与隐喻语言的阶段性变化，并深入探讨了经济与社会话题的隐喻搭配。
2024-01-04 cs.CL
A Pattern-mining Driven Study on Differences of Newspapers in Expressing Temporal Information
School of Computer Science, University of St Andrews（圣安德鲁斯大学计算机科学学院）；Center for Language and Communication Studies, Trinity College Dublin（都柏林圣三一学院语言与传播研究中心）
本文研究了不同类型报纸在表达时间信息方面的差异，这是一个尚未受到太多关注的话题。本文从时态处理和模式挖掘两个方面对这一问题进行了研究。首先，作者创建了一个标注了时间信息的语料库。然后，从语料库中提取混合有词性标签的时间信息标签序列。使用TKS算法从序列中挖掘跳图模式。利用这些模式，获得了四家报纸的签名。为了使签名具有报纸的独特性，我们通过删除参考图案来修改签名。通过对署名和修改后署名中图案的数量、含有时间信息标签的图案比例以及含有时间信息标签的具体图案的考察，发现报纸在时间信息的表达方式上存在差异。
2020-11-24 cs.CL
ASCAT: An Arabic Scientific Corpus and Benchmark for Advanced Translation Evaluation
Prince Sultan University（苏丹王子大学）；SySSR；NAMAA Community（NAMAA社区）；Tuwaiq Academy（图韦克学院）
本文提出ASCAT，一个高质量的英阿平行基准语料库，用于科学翻译评估。通过系统多引擎翻译和人工验证流程构建，包含五个科学领域摘要，用于评估翻译质量并训练领域特定翻译模型。
2026-03-10 cs.CL
MLSUM: The Multilingual Summarization Corpus
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；reciTAL
我们提出了MLSUM，第一个大规模的多语言汇总数据集。从在线报纸获得，它包含150万+文章/摘要对五种不同的语言-即法语，德语，西班牙语，俄语，土耳其语。与流行的CNN/Daily Mail数据集的英文报纸一起，收集的数据形成了大规模的多语言数据集，可以为文本摘要社区提供新的研究方向。我们报告跨语言的比较分析的基础上，国家的最先进的系统。这些突出了现有的偏见，促使使用多语言数据集。
2020-04-30 cs.CL
ArabJobs: A Multinational Corpus of Arabic Job Ads
VinUniversity（温纳大学）；Lancaster University（兰卡斯特大学）
本文发布涵盖四个阿拉伯国家、含 8,500 余条广告的 ArabJobs 语料库，并通过性别、职业、方言分析及 LLM 应用与基准任务验证其在公平阿拉伯语 NLP 和劳动力市场研究中的价值。
2025-09-26 cs.CL
ClArTTS: An Open-Source Classical Arabic Text-to-Speech Corpus
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Erisha Labs（埃里沙实验室）
目前，使用端到端神经模型用高质量转录语音数据训练的文本到语音（TTS）系统可以生成可理解、自然且与人类语音非常相似的语音。这些模型使用相对较大的单扬声器专业录制的音频进行训练，通常从有声读物中提取。同时，由于这类免费语音语料库的稀缺，阿拉伯文语转换系统的研究和开发存在较大的空白。大多数现有的免费可用的阿拉伯语语音语料库不适合TTS训练，因为它们包含多说话者的随意语音，其记录条件和质量存在差异，而为语音合成策划的语料库通常尺寸较小，不适合训练最先进的端到端模型。为了填补这一资源缺口，我们提出了一个语音语料库古典阿拉伯文文本到语音（ClArTTS），以支持阿拉伯文的端到端TTS系统的发展。语音是从LibriVox有声读物中提取的，然后经过处理、分段、手动转录和注释。最后的ClArTTS语料库包含约12小时的语音从一个单一的男性扬声器采样在40100 kHz。在本文中，我们描述了语料库创建的过程，并提供了语料库统计的细节，并与现有资源进行了比较。此外，我们开发了两个TTS系统的基础上，梯度TTS和辉光TTS，并说明了所产生的系统的性能，通过主观和客观的评价。该语料库将在www.clartts.com上公开提供，用于研究目的，以及基线TTS系统演示。
2023-02-28 cs.CL cs.SD eess.AS
QASR: QCRI Aljazeera Speech Resource -- A Large Scale Annotated Arabic Speech Corpus
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Kanari AI（卡纳里人工智能公司）
我们介绍了最大的转录阿拉伯语语音语料库，QASR，从广播领域收集。这个多方言语音数据集包含从Aljazeera新闻频道抓取的以16 kHz采样的2,000小时语音。数据集以轻度监督的transmittance发布，与音频片段对齐。与以前的数据集不同，QASR包含语言动机的分割，标点符号，说话人信息等。QASR适合于训练和评估语音识别系统、基于声学和/或语言学的阿拉伯方言识别、标点恢复、说话人辨识、说话人链接以及用于口语数据的潜在的其他NLP模块。除了QASR转录，我们还发布了一个1.3亿单词的数据集，以帮助设计和训练更好的语言模型。我们表明，端到端的自动语音识别训练QASR报告的竞争力字出错率相比，以前的MGB-2语料库。我们报告了下游自然语言处理任务的基线结果，例如使用语音转录的命名实体识别。我们还报告了阿拉伯语标点符号恢复的第一个基线。我们为研究界提供语料库。
2021-06-24 cs.CL cs.SD eess.AS
A Large and Diverse Arabic Corpus for Language Modeling
New York University Abu Dhabi（纽约大学阿布扎比分校）；Inception Institute of AI（人工智能初创研究院）；Saudi Aramco（沙特阿美公司）；Kyndryl（金杜睿尔）
本文构建了超过500GB的阿拉伯语清洗文本语料库，用于训练大型阿拉伯语语言模型，在多个NLP任务上相比mBERT提升4.5%至8.5%，是目前最大的干净多样化阿拉伯语语料库。
2023-05-08 cs.AI cs.CL
An End-to-End OCR Framework for Robust Arabic-Handwriting Recognition using a Novel Transformers-based Model and an Innovative 270 Million-Words Multi-Font Corpus of Classical Arabic with Diacritics
Helwan University（赫尔万大学）
这项研究是第二阶段，在一系列的调查，发展光学字符识别（OCR）的阿拉伯历史文件，并研究如何不同的建模程序与问题的相互作用。第一项研究研究了Transformers对我们定制的阿拉伯语数据集的影响。第一次研究的缺点之一是训练数据的大小，由于缺乏资源，我们的3000万张图像中只有15000张图像。此外，我们还添加了图像增强层、时间和空间优化以及后校正层，以帮助模型预测正确上下文的正确单词。值得注意的是，我们提出了一种端到端的文本识别方法，使用视觉Transformer作为编码器，即BEIT，并使用vanilla Transformer作为解码器，消除了用于特征提取的CNN，并降低了模型的复杂性。实验表明，我们的端到端模型优于卷积骨干。该模型获得了4.46%的CER。
2022-08-26 cs.CL cs.CV cs.LG
TEDxTN: A Three-way Speech Translation Corpus for Code-Switched Tunisian Arabic - English
ELYADATA（ELYADATA 公司）
本文介绍首个公开的突尼斯阿拉伯语-英语语码转换语音翻译语料库TEDxTN，含25小时108场演讲数据，公开标注指南并报告基线系统结果，为突尼斯方言自然语言处理研究提供资源。
2025-11-13 cs.AI cs.CL
SyriSign: A Parallel Corpus for Arabic Text to Syrian Arabic Sign Language Translation
Arab International University（阿拉伯国际大学）
本文提出SyriSign数据集，用于阿拉伯语到叙利亚阿拉伯手语的翻译任务，旨在解决叙利亚聋人社区的沟通障碍，通过三种深度学习模型评估，发现生成方法在手语表示上有潜力，但受限于数据集规模影响泛化性能。
2026-07-21 cs.AI cs.CL cs.CV
ArabDiscrim: A Decade-Long Arabic Facebook Corpus on Racism and Discrimination
Northwestern University in Qatar（卡塔尔西北大学）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）
本文提出了ArabDiscrim，一个包含293,000条阿拉伯语Facebook公开帖子的十年长的词料库（2014-2024年），用于研究种族主义和歧视。该语料库整合了平台原生的互动信号，如反应、分享、评论和页面元数据，支持语言和受众反应的联合分析。该资源包括200个精心挑选的术语（100个与种族主义相关，100个与歧视相关）以及20个歧视轴，捕捉基于身份的不平等对待。它还提供了显式的归属模式。ArabDiscrim在伦理合规的限制研究使用许可下发布，支持弱监督、轴感知采样和平台生态研究。通过连接词法深度和生态效度，它为公平导向、平台意识的阿拉伯语NLP建立了基础。
2026-05-21 cs.CL
ARCADE: A City-Scale Corpus for Fine-Grained Arabic Dialect Tagging
Tuwaiq Academy（图瓦伊克学院）；Robotics and Internet-of-Things Laboratory（机器人与物联网实验室）；Prince Sultan University（普森大学）；Higher School of Communication of Tunis (SUP’COM)（突尼斯通信高级学校）
ARCADE是一个专为城市级阿拉伯语方言标注设计的语音语料库，通过细粒度标注支持多任务学习，为方言识别提供基准。
2026-01-05 cs.CL cs.CY cs.SD
New Arabic Medical Dataset for Diseases Classification
ITMO University（ITMO大学）
阿拉伯语非常缺乏适合训练深度学习模型的数据集，现有的数据集包括一般的非专业分类。在这项工作中，我们介绍了一个新的阿拉伯医学数据集，其中包括从几个阿拉伯医学网站收集的2000份医学文件，除了阿拉伯医学百科全书。该数据集是为了对文本进行分类而建立的，包括10类（血液，骨骼，心血管，耳朵，内分泌，眼睛，胃肠道，免疫，肝脏和肾脏）疾病。通过对Google的BERT、基于BERT的阿拉伯语大语料库的Arabert和基于阿拉伯语医学语料库的Arabert的AraBioNER三个预训练模型进行微调，对数据集进行实验。
2021-07-05 cs.CL
Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification
College of Humanities and Social Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学人文与社会科学学院）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
在本文中，我们提出了Arap-Tweet，这是一个大规模和多方言语料库的推文来自11个地区和16个国家在阿拉伯世界代表主要阿拉伯方言品种。为了构建这个语料库，我们从Twitter收集了数据，并为一个经验丰富的注释者团队提供了注释指南，他们用来注释语料库的年龄类别，性别和方言种类。在数据汇集过程中，我们根据不同阿拉伯方言的独特关键字进行搜索，并使用Twitter API验证位置。在本文中，我们报告了语料库数据汇集和注释工作。我们还提出了一些我们在这些阶段遇到的问题。然后，我们提出的结果进行评估，以确保注释的一致性。所提供的语料库将丰富阿拉伯语有限的可用语言资源，并将成为开发阿拉伯语作者分析工具和自然语言处理工具的宝贵推动力。
2018-08-23 cs.CL
Fineweb-Edu-Ar: Machine-translated Corpus to Support Arabic Small Language Models
Saudi Data & Artificial Intelligence Authority (SDAIA)（沙特数据与人工智能局）；KAUST（阿卜杜拉国王科技大学）
针对阿拉伯语低资源问题，提出FineWeb-Edu-Ar，即FineWeb-Edu的机器翻译版本，是最大的公开阿拉伯语机器翻译数据集，规模达202B标记，用于支持阿拉伯语小型语言模型。
2024-11-10 cs.AI cs.CL
Arabic Spelling Correction using Supervised Learning
Cairo University（开罗大学）
在这项工作中，我们利用QALB（卡塔尔阿拉伯语银行）项目提供的新语料库，这是一个注释语料库的句子错误和他们的更正，在阿拉伯语中的拼写校正的问题。语料库包含编辑、前加、拆分、合并、后加、移动等错误类型。我们关注前四种错误类型，因为它们占语料库中90%以上的拼写错误。所提出的系统有许多模型来解决每种错误类型，然后将所有模型集成在一起，以提供一个高效而强大的系统，该系统的总体召回率为0.59，精度为0.58，F1得分为0.58，包括开发集上的所有错误类型。我们的系统参加了QALB 2014共享任务“自动阿拉伯语纠错”，并获得了0.6的F1分数，在9名参与者中获得第六名。
2014-09-29 cs.CL cs.LG
Leveraging Corpus Metadata to Detect Template-based Translation: An Exploratory Case Study of the Egyptian Arabic Wikipedia Edition
Clarkson University（克拉克森大学）；Sesame Labs（芝麻实验室）；Cadi Ayyad University（卡迪·阿雅德大学）；M&T Bank（M&T银行）
本文针对埃及阿拉伯语维基百科中模板翻译文章泛滥的问题，通过探索性分析并利用文章元数据构建多元机器学习分类器进行自动检测，最终部署XGBoost在线检测系统并公开数据集。
2024-03-31 cs.CL
SALMA: Arabic Sense-Annotated Corpus and WSD Benchmarks
Birzeit University（比尔宰特大学）
本文提出首个阿拉伯语词义标注语料库 SALMA，采用多词义打分标注方式，并基于目标词义验证构建词义消歧基线，最佳模型准确率达 84.2%（Modern）和 78.7%（Ghani）。
2023-10-29 cs.CL
ArVoice: A Multi-Speaker Dataset for Arabic Speech Synthesis
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文介绍ArVoice，一个含83.52小时语音、11个说话人的多说话人现代标准阿拉伯语语音合成数据集，并训练TTS与语音转换系统验证其用途。
2025-05-26 cs.AI cs.CL cs.SD
AraYoungVoices: A Diverse L1/L2 Corpus of Arabic Child and Adolescent Speech
Qatar Computing Research Institute（卡塔尔计算研究所）
该研究构建了包含286名7-18岁说话者的151.72小时阿拉伯语L1/L2朗读语料库AraYoungVoices，基准测试显示L2语音更难识别，年龄特定微调改善匹配组，联合微调平衡各人群，且ASR假设更接近标准提示。
2026-10-06 cs.AI cs.CL cs.SD
Automatic Identification of Arabic expressions related to future events in Lebanon's economy
Lebanese University（黎巴嫩大学）
在本文中，我们提出了一种方法来自动识别未来的事件，在黎巴嫩的经济从阿拉伯语文本。挑战有三个方面：首先，我们需要建立一个涵盖黎巴嫩经济的阿拉伯语文本语料库;其次，我们需要研究未来事件如何在这些文本中以语言表达;第三，我们需要相应地自动识别相关的文本片段。我们将验证这种方法上构造的语料库形式的网络，并表明它有非常有前途的结果。为此，我们将使用SLCSAS，一个基于上下文浏览器方法的语义分析系统，以及“AlKhalil Morpho Sys”系统进行形态句法分析。
2018-05-29 cs.CL
Enhancing Language Learning through Technology: Introducing a New English-Azerbaijani (Arabic Script) Parallel Corpus
Kartal Ol Research Group（Kartal Ol 研究小组）；Savalan Igidlari Publishing Company（Savalan Igidlari 出版公司）；Research and Development Ultimate（终极研发公司）；Institute of Turkic Studies, Marmara University（马尔马拉大学突厥研究院）；University of Kurdistan（库尔德斯坦大学）；SumerNashr Publishing Company（SumerNashr 出版公司）；Lorestan University（洛雷斯坦大学）；University of Mohaghegh Ardabili（莫哈格·阿达比里大学）；University of Michigan（密歇根大学）
本文构建含54.8万句的英语－阿塞拜疆语（阿拉伯文字）平行语料库，并通过NMT案例验证其对低资源机器翻译与语言教育技术的价值。
2024-07-06 cs.CL
MentalQA: An Annotated Arabic Corpus for Questions and Answers of Mental Healthcare
College of Computing（计算机学院）；Umm Al-Qura University（乌姆·古拉大学）；King Khalid University（哈立德国王大学）；College of Computer and Information Sciences（计算机与信息科学学院）；King Saud University（沙特国王大学）
本文构建阿拉伯语心理健康问答数据集 MentalQA，设计问题类型与回答策略标注体系并验证高标注一致性，为相关文本挖掘工具提供基础。
2024-05-21 cs.CL
TArC: Incrementally and Semi-Automatically Collecting a Tunisian Arabish Corpus
LIG（信息学实验室）；University of Rome Sapienza（罗马大学（萨皮恩扎））
本文介绍了第一个形态句法注释的突尼斯阿拉伯语语料库（TArC）的建立过程。阿拉伯语，也被称为Arabizi，是阿拉伯方言在拉丁字符和算术（数字用作字母）中的自发编码。这个代码系统是由社交媒体的阿拉伯语用户开发的，以方便在计算机介导的通信（CMC）和短信非正式框架中的写作。阿拉伯语在方言中的表现是多样的，每个阿拉伯语代码系统都是资源不足的，就像大多数阿拉伯语方言一样。在过去的几年里，NLP领域对阿拉伯语方言的关注大大增加。考虑到这一点，TArC将成为不同类型的分析，计算和语言，以及NLP工具培训的有用支持。在这篇文章中，我们将描述TArC半自动构建过程的初步工作，以及我们在TArC上开发的一些初步分析。此外，为了提供在建设过程中所面临的挑战的一个完整的概述，我们将提出主要突尼斯方言的特点和突尼斯阿拉伯语编码。
2020-03-24 cs.CL cs.LG
ArPanEmo: An Open-Source Dataset for Fine-Grained Emotion Recognition in Arabic Online Content during COVID-19 Pandemic
Taif University（泰夫大学）；College of Computers and Information Technology（计算机与信息技术学院）
本文提出ArPanEmo数据集，包含11,128条阿拉伯语COVID-19相关在线帖子，经半自动筛选与人工细粒度情感标注，成为该领域首个且规模最大的公开数据集。
2023-05-27 cs.CL
Leveraging Subjective Human Annotation for Clustering Historic Newspaper Articles
Columbia University（哥伦比亚大学）；SyncSort Inc.（SyncSort公司）；New York Public Library（纽约公共图书馆）
纽约公共图书馆正在参与“美国编年史”倡议，以开发一个可在线搜索的具有历史意义的报纸文章数据库。报纸的缩微胶片被扫描，高分辨率的光学字符识别（OCR）软件在上面运行。OCR的文本为研究人员和历史学家提供了丰富的数据和意见。然而，由OCR引擎提供的文章的分类是基本的，并且大量的文章被标记为编辑性的而没有进一步分组。考虑到语料库的大小，如果不是不可能的话，手动将文章分类到细粒度的类别中是非常耗时的。本文研究报纸文章的自动分类技术，以提高对档案的检索和检索。我们探索无监督（例如KMeans）和半监督（例如约束聚类）学习算法，以开发面向最终用户需求的文章分类方案。一项试点研究的目的是了解是否有一致的协议之间的顾客如何文章可以分类。结果发现，这项任务是非常主观的，因此使用了可以处理主观标签的自动算法。虽然小规模的试点研究在设计机器学习算法方面非常有帮助，但需要开发一个更大的系统来收集存档用户的注释。目前正在开发的“BODHI”系统是朝这个方向迈出的一步，它使用户能够纠正错误的OCR扫描，并为经常使用的报纸文章提供关键词和标签。在该系统的测试版成功实施后，我们希望它可以与为美国编年史项目开发的现有软件相结合。
2012-08-17 cs.CL cs.DL cs.IR
Towards Arabic Sentence Simplification via Classification and Generative Approaches
University of Leeds（利兹大学）；Alexandria University（亚历山大大学）
本文试图建立一个现代标准阿拉伯语（MSA）的词典级简化系统。我们使用两种方法进行了句子简化实验：（i）一种分类方法，使用Arabic-BERT，一种预先训练的上下文模型以及一种fastText词嵌入模型来实现词汇简化管道;（ii）一种生成方法，通过应用多语言文本到文本传输Transformer mT5的Seq 2Seq技术。我们通过对齐国际知名阿拉伯小说《Saaq al-Bambuu》中的原始句子和简化句子来开发我们的训练语料库。我们评估这些方法的有效性，通过比较生成的简单句子的目标简单句子使用BERTScore评价指标。通过BERTScore，mT5模型产生的简单句子达到P 0.72，R 0.68和F-1 0.70，而结合Arabic-BERT和fastText达到P 0.97，R 0.97和F-1 0.97。此外，我们报告了这些实验的手动误差分析。\url{https://github.com/Nouran-Khallaf/Lexical_Simplification}
2022-04-20 cs.CL
An Enhanced Latent Semantic Analysis Approach for Arabic Document Summarization
Central South University（中南大学）
互联网上日益增长的信息量使得自动文摘的研究变得十分迫切。这是解决信息过载的有效方法。基于不同的策略，已经提出了许多方法，例如潜在语义分析（LSA）。然而，LSA，当应用于文档摘要，有一些限制，降低其性能。在这项工作中，我们试图克服这些限制，采用统计和线性代数方法结合句法和语义处理的文本。首先利用词性标注器对LSA进行降维;然后，在计算输入矩阵时，将词语在相邻四个句子中的权重添加到权重方案中，以考虑词序和句法关系。此外，提出了一种新的基于LSA的句子选择算法，该算法将术语描述与句子描述相结合，从而使生成的摘要信息量更大、更多样化。为了保证本文提出的基于LSA的句子选择算法的有效性，我们对阿拉伯语和英语进行了大量的实验。使用四个数据集来评估新模型，语言数据联盟（LDC）阿拉伯语新闻语料库，埃塞克斯阿拉伯语摘要语料库（EASC），DUC 2002和多语言MSS 2015数据集。在四个数据集上的实验结果表明了该模型在阿拉伯语和英语数据集上的有效性。与最先进的方法相比，它的综合性能更好。
2018-07-31 cs.CL
ArabicNLU 2024: The First Arabic Natural Language Understanding Shared Task
Birzeit University（比尔宰特大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；Google（谷歌公司）
本文介绍了首届ArabicNLU 2024共享任务，涵盖WSD和LMD两个子任务，提供了SALMA和IDRISI-DA等新数据集，并报告了最终评估结果以推动阿拉伯语NLU技术发展。
2024-07-30 cs.CL
A frame semantics based approach to comparative study of digitized corpus
University Ferhat Abbes Setif 1（费哈特·阿巴斯·塞蒂夫1大学）；Badji Mokhtar University（巴吉·穆克塔尔大学）
摘要本文提出了一种基于语料库语言学的方法，从语义学的角度分析数字化的多语种经典小说和叙事文本。数字化的小说，如《霍比特人》（托尔金J. R。R.，1937年）”和“巴斯克维尔的猎犬（道尔A。C. 1901-1902年）"，被广泛翻译成几十种语言，为从语言学、哲学和认知科学等多个学科的角度分析语言差异提供了丰富的材料。本文以运动事件概念化为例，通过对一部数字化小说的英阿对齐语料库进行形态、句法和语义标注，从框架语义学的角度重新审视英语和阿拉伯语运动事件的语言编码。本研究认为，不同语言在运动事件概念化方面的差异可以用框架结构和框架间关系来描述。
2020-05-29 cs.AI cs.CL
Romanized Arabic Across Dialects: Views, Usage Patterns, and Linguistic Variation
本研究针对不同方言使用者的阿拉伯语罗马化（Arabizi）展开调查，发布两项相关资源，开展大规模跨方言研究，揭示其使用模式与语言变异。
2026-10-26 cs.CL
Adapting predominant and novel sense discovery algorithms for identifying corpus-specific sense differences
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
词义不是静态的，可以有时间、空间或语料库特定的范围。确定这些范围可能会大大有利于现有的水务署系统。在本文中，在研究语料库特定的词义，我们采用现有的三个主要和新颖的意义发现算法来识别这些语料库特定的意义。我们利用数以百万计的数字化书籍和报纸档案作为语料库的两个不同来源的文本数据，并提出了自动化的方法来识别特定于语料库的词义在不同的时间点。我们进行了广泛而彻底的人类判断实验，以严格评估和比较这些方法的性能。在适应后，三种算法的输出格式相同，准确性结果也相当，大约45-60%的报告的语料库特定感官被判断为真实的。
2018-02-01 cs.CL
Guidelines and Annotation Framework for Arabic Author Profiling
College of Humanities and Social Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学人文与社会科学学院）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
在本文中，我们介绍了注释管道和我们编写的指南，作为从各种社交媒体来源创建大型手动注释的阿拉伯语作者分析数据集的一部分，涵盖16个阿拉伯国家和11个方言地区。注释ARAP-推文语料库的目标大小超过240万字。我们说明和总结了我们的一般和方言的具体指导方针，为每个选定的方言地区。我们还提出了注释框架和物流。我们经常通过在注释过程中计算注释者之间的一致性来控制注释质量。最后，我们描述了在注释阶段遇到的问题，特别是那些与社会媒体中使用的阿拉伯方言品种的特点。
2018-08-23 cs.CL
A Corpus-Aligned Uthmani-to-Standard Quranic Word Mapping and a Deterministic Recitation Validator
Independent Researcher, Egypt（独立研究者，埃及）
针对《古兰经》两种正字法差异及诵经校验问题，提出语料对齐词映射与七步规范化流水线，并构建确定性、无LLM的四层匹配诵经校验器，在测试套件上达98.4%准确率。
2026-09-15 cs.CL
Corpus Wide Argument Mining -- a Working Solution
IBM Research AI（IBM研究院人工智能部门）
论点挖掘的主要任务之一是检索与给定主题相关的论点内容。大多数以前的工作通过检索相对少量的相关文档作为此类内容的初始源来解决这一任务。这一系列研究取得了一定的成功，但在现实世界的系统中使用有限。此外，为了使这样一个系统产生一套全面的相关论点，在广泛的主题，它需要以适当的方式利用一个大型和多样化的语料库。在这里，我们提出了第一个端到端的高精度，语料库范围内的参数挖掘系统。这是可能的，通过结合适当的索引一个非常大的语料库的报纸文章，一个迭代的注释方案的检索级查询。该方案解决了数据中固有的标签偏差，并精确定位了样本空间中需要手动标记以在排名靠前的候选者中获得高精度的区域。
2019-11-25 cs.AI cs.CL cs.IR
Arabic Text Diacritization Using Deep Neural Networks
Jordan University of Science and Technology（约旦科技大学）
阿拉伯语文本的变音符化是一个有趣且具有挑战性的问题，同时具有从语音合成到帮助学生学习阿拉伯语的各种应用。与阿拉伯语处理中的许多其他任务或问题一样，对这一问题投入的努力不足以及缺乏可用（开源）资源阻碍了解决这一问题的进展。这项工作对阿拉伯文文本变音的现有系统、措施和资源进行了严格审查。此外，它引入了一个急需的免费清理数据集，可以轻松地用于对阿拉伯语变音符号化的任何工作进行基准测试。该数据集从Tashkeela语料库中提取，由55 K行组成，包含约230万个单词。实验结果表明，神经Shakkala系统显著优于传统的基于规则的方法和其他闭源工具，其区分出错率（DER）为2.88%，而非神经方法（由Mishkal工具获得）的DER为13.78%。
2019-04-25 cs.CL cs.LG
Curras + Baladi: Towards a Levantine Corpus
University of Strasbourg（斯特拉斯堡大学）；Birzeit University（比尔宰特大学）；American University of Beirut（贝鲁特美国大学）
阿拉伯语的处理是一个复杂的研究领域。这是由于许多因素，包括阿拉伯语的复杂和丰富的形态，其高度的模糊性，以及需要处理的几个区域品种的存在，同时考虑到其独特的特点。当考虑到它的方言时，这种语言推动了NLP的极限，以找到解决其固有性质所带来的问题的方法。它是一种双语语言;标准语言在正式场合和教育中使用，与不同地区使用的本地语言有很大不同，并受到这些地区历史上使用的古老语言的影响。这应该鼓励NLP专家创建方言特定的语料库，如比尔宰特大学的巴勒斯坦形态注释Curras语料库。在这项工作中，我们提出了黎巴嫩语料库Baladi，由大约9.6K的形态注释的令牌。由于黎巴嫩和巴勒斯坦方言是同一个黎凡特方言连续体的一部分，因此高度相互理解，我们提出的语料库被构建用于（1）丰富Curras并将其转换为更一般的黎凡特语料库，（2）通过解决检测到的错误来改进Curras。
2022-05-19 cs.AI cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab（语言建模计算方法实验室）；New York University Abu Dhabi（纽约大学迪拜分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学多哈分校）
本文研究阿拉伯方言文本规范化（CODAfication）任务，通过在预训练序列到序列模型中利用方言识别信息，提升了五种城市方言的规范化性能，并公开了代码、数据和模型。
2024-07-03 cs.CL
Topic Modelling of Swedish Newspaper Articles about Coronavirus: a Case Study using Latent Dirichlet Allocation Method
Saarland University（萨尔兰大学）；University of Malta（马耳他大学）；University of Manchester（曼彻斯特大学）
本研究使用潜在狄利克雷分配（LDA）方法对6515篇瑞典报纸冠状病毒文章进行主题建模，分析约14个月内的主题变化，为流行病时代的社会经济与医疗分析提供公开可用的语料库和代码。
2023-04-18 cs.CL cs.SI
A Study on the Appropriate size of the Mongolian general corpus
University of the Humanities（人文大学）；Otgontenger University（奥特根腾格尔大学）
该研究利用 Heaps 函数与 TTR，基于覆盖10个领域的906,064形符样本，确定蒙古语通用语料库的适宜规模为3900万至4200万形符。
2023-07-12 cs.CL
ArFake: A Robust Framework for Multi-Dialect Arabic Speech Spoofing Detection Benchmark
MBZUAI, UAE（马布里扎大学人工智能研究所，阿联酋）；Queen’s University, Canada（女王大学，加拿大）；University of Waterloo, Canada（滑铁卢大学，加拿大）
提出首个多方言阿拉伯语欺骗语音数据集，通过多模型评估和人类评分构建基准，发现FishSpeech在卡萨布兰卡语料库上生成最逼真的合成语音。
2026-06-16 cs.CL
!MSA at BAREC Shared Task 2025: Ensembling Arabic Transformers for Readability Assessment
Faculty of Computer Science, MSA University（计算机科学学院，MSA大学）
本文提出了一种基于置信度加权的阿拉伯语Transformer模型集成系统，通过差异化损失函数微调、数据重标注与合成数据增强解决类别不平衡问题，在BAREC 2025共享任务六个赛道均获第一。
2025-09-12 cs.CL
TutlAit v1: a crowdsourced Moroccan Tamazight speech dataset with Arabic transcriptions and regional accent labels
Cadi Ayyad University（卡迪·阿雅德大学）
该论文介绍TutlAit数据集，一个众包的摩洛哥塔马齐格特语音语料库，配有阿拉伯语转写和地区口音标签，包含约20.9小时音频，可用于语音识别、翻译和口音识别。
2026-10-01 cs.CL cs.LG
