AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3
Higher School of Economics(俄罗斯高等经济学院);AI Talent Hub, ITMO University(ITMO大学人工智能人才中心);Markov Lab, Saint Petersburg State University(圣彼得堡国立大学马尔科夫实验室)
AraToken通过规范化流程和语言扩展优化阿拉伯语分词,提升Qwen3的阿拉伯语处理性能。
2025-12-20 cs.AI cs.CL
HARNESS: Lightweight Distilled Arabic Speech Foundation Models
Amazon India(亚马逊印度);Qatar Computing Research Institute, HBKU, Qatar(卡塔尔计算研究所,HBKU,卡塔尔)
本文提出HARNESS,一种轻量级阿拉伯语语音基础模型,通过迭代自蒸馏实现高效准确率与效率的平衡,适用于自动语音识别、方言识别和语音情感识别任务。
2026-03-31 cs.AI cs.CL eess.AS
Exploring Data and Parameter Efficient Strategies for Arabic Dialect Identifications
SUPSI(瑞士苏黎世联邦理工学院);IDSIA(智能系统研究所);armasuisse S+T
本文系统比较了软提示、LoRA 等参数高效方法及零样本、少样本硬提示策略在阿拉伯语方言识别中的效果,发现基于 LoRA 的微调模型表现最佳,甚至优于全参数微调。
2025-09-18 cs.AI cs.CL
Jais 2: A Family of Arabic-Centric Open Large Language Models
Institute of Foundation Models, Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学基础模型研究所)
Jais 2是MBZUAI等联合开发的以阿拉伯语为核心的开源大语言模型家族,含70B、8B参数变体,在阿拉伯语及文化相关基准上表现领先,已开源并部署为多平台聊天应用,可支撑相关研究开发。
2026-08-17 cs.AI cs.CL
A Comprehensive Evaluation of Large Language Models on Mental Illnesses in Arabic Context
Compumacy for Artificial Intelligence solutions(Compumacy人工智能解决方案公司);Saint Elizabeths Hospital(圣伊丽莎白医院)
本研究针对阿拉伯语境下精神健康诊断工具需求,综合评估8款大语言模型在多数据集上的表现,探究提示设计、语言配置、少样本提示的影响,明确模型选择与提示优化等对开发适配阿拉伯人群的LLM精神健康工具的关键作用。
2025-01-12 cs.AI cs.CL
NileChat: Towards Linguistically Diverse and Culturally Aware LLMs for Local Communities
The University of British Columbia(不列颠哥伦比亚大学);Mohammed VI Polytechnic University(穆莱·阿卜杜勒阿齐兹国王理工学院);Tuwaiq Academy(图瓦伊克学院);Invertible AI(可逆人工智能)
NileChat通过受控合成数据生成和检索增强预训练,构建了30亿参数的埃及和摩洛哥阿拉伯语LLM,在语言理解、翻译及文化价值观对齐上优于同规模模型,推动低资源阿拉伯语社区的文化感知型LLM发展。
2025-09-22 cs.CL
Saudi-Dialect-ALLaM: LoRA Fine-Tuning for Dialectal Arabic Generation
Department of Software Engineering Umm Al-Qura University, Makkah, Saudi Arabia(软件工程系乌姆·阿尔·库拉大学,麦加,沙特阿拉伯)
本文通过 LoRA 微调沙特首个基础模型 ALLaM-7B-Instruct-preview,利用 5,466 条沙特方言指令数据提升纳吉迪和希贾兹方言生成能力,其中 Dialect-Token 变体将方言比例提升至 84.21% 并显著降低 MSA 泄漏,优于多个通用指令模型。
2025-08-19 cs.CL cs.LG
Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models
Inception(Inception(机构名));Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Cerebras Systems(Cerebras系统公司)
本文提出并开源 130 亿参数的 Jais 与 Jais-chat 阿拉伯语中心大模型,基于 GPT-3 仅解码器架构,在阿英及代码语料上训练,显著提升阿拉伯语知识与推理能力。
2023-09-29 cs.AI cs.CL cs.LG
Rdgai: Classifying transcriptional changes using Large Language Models with a test case from an Arabic Gospel tradition
针对文本系统发育分析中异文分类耗时、门槛高的问题,本文提出Rdgai工具,借助多语言大语言模型实现异文变化自动分类,结果可直接用于下游分析,并在阿拉伯语福音书数据上验证了应用效果。
2025-11-17 cs.CL cs.DL
ZAEBUC-Spoken: A Multilingual Multidialectal Arabic-English Speech Corpus
New York University Abu Dhabi(纽约大学阿布扎比分校);University of Stuttgart(斯图加特大学);University of Tübingen(蒂宾根大学);United Arab Emirates University(阿联酋大学);Zayed University(扎耶德大学)
本文提出多语言多方言阿拉伯语-英语语音语料库ZAEBUC-Spoken,包含12小时会议录音,涵盖多语言、多方言及语码转换,并提供转录指南与方言程度、形态学两层标注,为ASR研究提供挑战性数据集。
2024-03-27 cs.CL
HAMSA: Hijacking Aligned Compact Models via Stealthy Automation
MIPT(莫斯科国立信息安全学院);Sberbank(俄罗斯储蓄银行);AIRI(人工智能研究机构);MTUCI(莫斯科联邦大学);ISP RAS(俄罗斯科学院信息与通信技术研究所);Cadi Ayyad University(卡迪·艾亚德大学)
本文提出HAMSA自动化红队框架,通过多阶段演化搜索生成语义自然且隐蔽的越狱提示,以绕过对齐紧凑型LLMs的安全防护,并在英语和新标注的阿拉伯语基准上验证了多语言攻击效果。
2025-08-22 cs.CL
Parameter and Data Efficient Continual Pre-training for Robustness to Dialectal Variance in Arabic
Amazon Web Services(亚马逊云科技)
在低资源和高资源语言中使用多语言语言模型是深度学习的成功案例。近年来,阿拉伯语因其方言差异而受到广泛关注。虽然先前的研究已经试图将这些多语言模型用于阿拉伯语的方言变体,但由于缺乏足够的单语方言数据和这种方言变体的平行翻译数据,这仍然是一个具有挑战性的问题。这仍然是一个悬而未决的问题,有限的辩证数据是否可以用来改善在阿拉伯语的方言变体训练的模型。首先,我们表明,与我们的自定义单语阿拉伯语模型相比,在阿拉伯语单语数据上增量预训练的多语言BERT(mBERT)需要更少的训练时间,并产生相当的准确性,并击败现有模型(平均指标为+ $6.41$)。然后,我们探索了两种连续的预训练方法-(1)使用少量的辩证数据进行连续的微调,(2)并行的阿拉伯语到英语数据和翻译语言建模损失函数。我们表明,这两种方法有助于提高方言分类任务($+4.64$平均。gain),用于单语模型时。
2022-11-08 cs.CL cs.LG
Dialectal Coverage And Generalization in Arabic Speech Recognition
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);STC
本文提出一套优化的开源阿拉伯语ASR模型,涵盖MSA、多种方言及语码转换,覆盖17国数据和至少11种变体,显著提升了方言覆盖与识别性能。
2025-05-29 cs.CL cs.SD eess.AS
Swan and ArabicMTEB: Dialect-Aware, Arabic-Centric, Cross-Lingual, and Cross-Cultural Embedding Models and Benchmarks
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);PSU(宾夕法尼亚州立大学);Invertible AI(可逆人工智能公司)
该研究提出以阿拉伯语为中心的嵌入模型家族Swan(含Swan-Small和Swan-Large两个变体)及评估基准ArabicMTEB,Swan模型在阿拉伯语任务中性能优于现有模型,为阿拉伯语自然语言处理提供了高效且全面的资源。
2025-02-11 cs.CL
HerHealthEval: Evaluating Multilingual and Register-Sensitive Understanding of Women's Health Communication
针对多语言女性健康沟通评估忽视语域变化的问题,提出HerHealthEval框架,通过六种沟通形式测试模型理解,发现适配标签来源影响欠分流风险,强调评估需关注语域与不确定性。
2026-09-18 cs.CL
FanarGuard: A Culturally-Aware Moderation Filter for Arabic Language Models
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
FanarGuard是一种双语审查过滤器,通过评估阿拉伯语和英语中的安全性和文化对齐性,提升内容审查的准确性与文化敏感性。
2026-08-11 cs.CL
Exploring Tokenization Strategies and Vocabulary Sizes for Enhanced Arabic Language Models
Egypt University of Informatics(埃及信息学大学);AAST College of Artificial Intelligence(AAST人工智能学院)
本研究系统评估四种分词器及不同词汇表大小对阿拉伯语下游任务的影响,发现带Farasa的BPE在多数任务中表现最佳,且词汇表大小影响有限,为优化阿拉伯语模型提供指导。
2024-09-20 cs.CL
ELYADATA & LIA at NADI 2025: ASR and ADI Subtasks
ELYADATA(ELYADATA 公司);LIA, Avignon University(阿维尼翁大学计算机科学与自动化实验室)
本文介绍Elyadata与LIA提交至NADI 2025的阿拉伯语方言识别、多方言ASR参赛系统,通过微调大模型取得ADI子任务第一、ASR子任务第二的成绩,验证了针对性微调大模型的有效性。
2025-11-13 cs.CL
TCE at Qur'an QA 2022: Arabic Language Question Answering Over Holy Qur'an Using a Post-Processed Ensemble of BERT-based Models
Tanta University(坦塔大学)
近年来,我们见证了使用机器学习在自然语言理解的不同任务中取得的巨大进展。问答是搜索引擎和社交媒体平台用于改善用户体验的这些任务之一。阿拉伯语是《古兰经》的语言,是全世界18亿人的神圣文本。阿拉伯语是一种具有挑战性的语言,自然语言处理(NLP),由于其复杂的结构。在这篇文章中,我们描述了我们在OSACT 5古兰经问答2022共享任务中的尝试,这是一个关于阿拉伯语古兰经的问答挑战。我们提出了一个集成学习模型的基础上阿拉伯语变体的BERT模型。此外,我们还进行了后处理以增强模型预测。我们的系统在官方测试集上获得了56.6%的部分倒数排名(pRR)分数。
2022-06-03 cs.CL cs.IR
The Role of Orthographic Consistency in Multilingual Embedding Models for Text Classification in Arabic-Script Languages
University of Kurdistan Hewler(库尔德斯坦赫勒大学);Soran University(索兰大学);University of Technology Sydney(悉尼科技大学);Torrens University Australia(澳大利亚托伦斯大学);Sunway University Malaysia(马来西亚双威大学);University of Kragujevac(克拉古耶瓦茨大学);University of Tehran(德黑兰大学)
针对共享阿拉伯文字但正字法不同的语言,提出四个语言定制的 AS-RoBERTa 模型,并证明文字聚焦预训练可使文本分类性能超过 mBERT 与 XLM-RoBERTa 2–5 个百分点。
2025-07-24 cs.CL
Joint Diacritization, Lemmatization, Normalization, and Fine-Grained Morphological Tagging
New York University Abu Dhabi(纽约大学阿布扎比分校)
闪族语言可以是高度模糊的,有几个相同的表面形式的解释,和形态丰富,有许多语素实现几个形态特征。对于方言内容来说,这一问题更加严重,因为方言内容更容易受到干扰,而且缺乏标准的正字法。形态特征可以是词汇化的,如词元和变音形式,或者是非词汇化的,如性别、数字和词性标签等。词汇化和非词汇化特征的联合建模可以识别更复杂的形态模式,这提供了更好的上下文建模,并进一步消除歧义的词汇选择。然而,不同的建模粒度会使关节建模更加困难。我们的方法联合建模不同的功能,无论是词汇化(在字符级别上),我们也模型表面形式规范化,或非词汇化(在单词级别上)。我们使用阿拉伯语作为测试用例,并实现了现代标准阿拉伯语的最新结果,相对误差减少了20%,埃及阿拉伯语(阿拉伯语的方言变体)减少了11%。
2019-10-05 cs.CL
mucAI at WojoodNER 2024: Arabic Named Entity Recognition with Nearest Neighbor Search
Technical University of Munich(慕尼黑工业大学);Helwan University of Cairo(开罗赫尔万大学)
本文提出 Arabic KNN-NER,通过结合微调模型与基于缓存训练数据的 KNN 标签概率分布,在 WojoodNER 2024 共享任务中实现阿拉伯语细粒度扁平实体识别,并以 91% 测试集成绩位居榜首。
2024-08-07 cs.CL cs.LG
Arabic Tweet Act: A Weighted Ensemble Pre-Trained Transformer Model for Classifying Arabic Speech Acts on Twitter
本研究针对Twitter方言阿拉伯语言语行为分类问题,提出基于BERT的加权集成学习方法,构建标注数据集并采用数据增强解决类别不平衡,性能优于单模型。
2024-01-30 cs.AI cs.CL
Munsit at NADI 2025 Shared Task 2: Pushing the Boundaries of Multidialectal Arabic ASR with Weakly Supervised Pretraining and Continual Supervised Fine-tuning
CNTXT AI Abu Dhabi(CNTXT AI阿布扎比)
针对阿拉伯语低资源多方言ASR挑战,提出结合弱监督预训练与持续监督微调的可扩展流程,在多方言阿拉伯语ASR挑战赛中取得第一名。
2025-08-12 cs.AI cs.CL
The interplay between language similarity and script on a novel multi-layer Algerian dialect corpus
University of Oslo(奥斯陆大学)
近年来,人们对类型相似的语言之间以及不同文字之间的跨语言迁移越来越感兴趣。然而,语言文字的相似性和差异性在跨语言迁移中的相互作用是一个研究较少的问题。我们探讨这种相互作用的跨语言迁移的两个监督任务,即词性标注和情感分析。我们介绍了一个新的注释语料库阿尔及利亚用户生成的评论,包括平行注释阿尔及利亚写在拉丁语,阿拉伯语和代码切换脚本,以及注释的情绪和主题类别。我们通过微调多语言语言模型来进行基线实验。我们进一步探讨了脚本与语言相似性在跨语言迁移中的影响,通过微调多语言模型,这些语言是a)类型上不同的,但使用相同的脚本,b)类型上相似的,但使用不同的脚本,或c)类型上相似的,并使用相同的脚本。我们发现,有一个微妙的关系,脚本和类型学的词性,而情感分析是不太敏感。
2021-05-31 cs.CL
Arabic Little STT: Arabic Children Speech Recognition Dataset
Arab International University(阿拉伯国际大学)
针对阿拉伯语儿童语音数据稀缺问题,构建了包含288名儿童355条话语的黎凡特阿拉伯语语音数据集,评估Whisper模型发现其词错误率高达0.66,凸显专用儿童基准与包容性数据的必要性。
2025-10-27 cs.AI cs.CL cs.HC
What Really Controls Temporal Reasoning in Large Language Models: Tokenisation or Representation of Time?
University of Aberdeen(阿伯丁大学);Université Grenoble Alpes & CNRS(格勒诺布尔阿尔卑斯大学及国家科学研究中心)
本研究通过MultiTempBench验证了大语言模型时间推理的核心因素,发现令牌化质量是资源依赖型瓶颈,同时时间线性度在高资源语言中是主要预测因素,而碎片化在低资源语言中更显著。
2026-03-19 cs.AI cs.CL
Bridging the Gap: An Intermediate Language for Enhanced and Cost-Effective Grapheme-to-Phoneme Conversion with Homographs with Multiple Pronunciations Disambiguation
Bertix AI
本文提出面向波斯语 G2P 的中间语言,结合 LLM 提示与序列到序列音译模型,并构建多发音同形异义词词汇库,显著降低 PER 且可推广至汉语、阿拉伯语。
2025-05-10 cs.CL
Arabic Text-To-Speech (TTS) Data Preparation
Mawdoo3 Ltd(Mawdoo3有限公司);University of Colorado Boulder(科罗拉多大学博尔德分校)
人们可能会感到困惑的事实是,除了文本到语音(TTS),合成系统的进步之外,还存在录音数据集,尽管事实并非如此。本研究的目的是解释TTS的相关性以及数据准备程序。TTS在很大程度上依赖于记录的数据,因为它可以对TTS模块的结果产生重大影响。此外,无论领域是专门的还是一般的,都应该开发适当的数据来解决所有预测的语言变体和领域。考虑到质量和行为,不同的记录方法也可能对模块的开发有利。鉴于目前合成系统中缺乏阿拉伯语,正在考虑影响记录话语流的许多变量,以便操纵阿拉伯语TTS模块。在这项研究中,两个观点将被讨论:语言学和创造高质量的录音TTS。这项工作的目的是提供光地面真理话语可能会影响语音系统的自然度,可理解性和理解方面的演变。我们提供配音演员规格以及数据规格,这将有助于配音演员和语音教练在工作室以及注释谁将评估音频。
2022-04-07 cs.CL cs.SD eess.AS
Rule-and Dictionary-based Solution for Variations in Written Arabic Names in Social Networks, Big Data, Accounting Systems and Large Databases
Mu'tah University(穆塔大学)
本文探讨了一些阿拉伯名字可以用多种方式书写的问题。当某人只搜索名称的一种形式时,精确匹配或近似匹配都不适合返回名称的多个变体。精确匹配要求用户输入所有形式的名称进行搜索,而近似匹配产生的名称不属于正在搜索的名称的变体。在本文中,我们试图解决这个问题的字典映射到他们不同的(替代)写作形式的所有阿拉伯名字。我们根据我们从审查990万约旦公民和前公民的名字中得出的规则生成了替代方案。这本字典既可以用于标准化的书面形式时,插入一个新的名称到数据库中,并为搜索的名称及其所有替代的书面形式。根据规则自动创建字典导致至少7%的错误接受错误和7.9%的错误拒绝错误。我们通过手动编辑词典来解决这些错误。该词典可以帮助现实世界的数据库,条件是手工编辑不能保证100%的正确性。
2015-02-18 cs.CL cs.DB cs.IR
SCALE: Upscaled Continual Learning of Large Language Models
SCALE通过宽度扩展架构在持续学习中平衡稳定性与可塑性,减少遗忘并提升多语言性能。
2025-12-11 cs.CL
From Multiple-Choice to Extractive QA: A Case Study for English and Arabic
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);IBM Research AI(IBM人工智能研究院);New York University Abu Dhabi(纽约大学阿布扎比分校)
本研究探索将BELEBELE多语言数据集从多项选择问答重构为抽取式问答,创建英语和现代标准阿拉伯语平行数据集,并评估多种单语及跨语言问答性能,为资源匮乏语言提供可推广方案。
2025-01-24 cs.AI cs.CL
Part of speech tagging for code switched data
The George Washington University(乔治华盛顿大学);University of Houston(休斯顿大学);Columbia University(哥伦比亚大学)
我们解决的问题的词性标注(POS)的语言代码转换(CS)的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象,分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术,处理CS数据在内部数据中尤其具有挑战性,因为这种技术适合于一次处理一种语言。在本文中,我们探讨了多种策略,应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对,西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明,应用机器学习框架,使用两个国家的最先进的POS标签实现了更好的性能相比,我们调查的所有其他方法。
2019-11-03 cs.CL
Adapting Reinforcement Learning with Chain-of-Thought Supervision for Explainable Detection of Hateful and Propagandistic Memes
Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar University(卡塔尔大学)
提出基于强化学习的后训练方法,结合任务特定奖励和组相对策略优化(GRPO),提升思考型多模态大语言模型在仇恨和宣传模因检测中的分类性能和解释质量。
2026-06-16 cs.AI cs.CL
Continuous Saudi Sign Language Recognition: A Vision Transformer Approach
Department of Computer Science, Faculty of Computing and Information Technology(计算机科学系,计算与信息科技学院)
针对沙特手语资源匮乏、现有研究多聚焦孤立词的问题,本研究构建首个连续沙特手语数据集KAU-CSSL,并提出结合预训练ResNet-18与双向LSTM Transformer编码器的识别模型,在两种模式下均取得良好效果。
2025-09-03 cs.AI cs.CL
On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
NLP, Department of Computer Science, KU Leuven(自然语言处理,计算机科学系,鲁汶大学)
针对语言模型架构因先适配英语而可能对结构差异语言性能下降的问题,本文以位置编码为对象,结合形态复杂性与词序灵活性的权衡假设,通过7种语言的单语模型预训练与4项下游任务评估,发现位置编码与该权衡无明确相互作用,强调任务、语言和指标选择对结论稳定性的重要性。
2025-11-11 cs.CL
To Distill or Not to Distill? On the Robustness of Robust Knowledge Distillation
MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of British Columbia(不列颠哥伦比亚大学)
本文针对阿拉伯语ASR的方言多样性和高计算成本问题,通过知识蒸馏训练高效学生模型,并构建五方言评估数据集,实验表明蒸馏模型以45.0% WER超越更大规模的SoTA和教师模型。
2024-06-06 cs.CL cs.SD eess.AS
Leveraging the Interplay Between Syntactic and Acoustic Cues for Optimizing Korean TTS Pause Formation
Graduate School of Artificial Intelligence, POSTECH(浦项工科大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项工科大学计算机科学与工程系);aiXplain Inc.(aiXplain公司)
针对韩语 TPS 停顿错误问题,提出融合句法与声学线索的建模框架,在短音频训练下仍可稳定处理长而复杂的 OOD 句子。
2024-04-03 cs.CL cs.SD eess.AS