Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource
University of Notre Dame（圣母大学）；University of Ioannina（约阿尼纳大学）；ICREA（加泰罗尼亚高等研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
大多数词性标注的工作都集中在高资源语言上，或者通过模拟研究来检查低资源和主动学习设置。我们评估一个实际的濒危语言，Griko的POS标记技术。我们提出了一个资源，其中包含114个故事在Griko，随着意大利语的翻译水平，并提供黄金注释的测试集。基于以前收集的小语料库，我们研究了几种传统的方法，以及利用单语数据或项目跨语言的POS标签的方法。我们发现，半监督方法与跨语言迁移的结合更适合于这种极具挑战性的设置，最好的标记器实现了72.9%的准确率。通过应用主动学习方案，我们使用该方案在测试集上收集高级注释，我们实现了超过21个百分点的改进。
2018-06-11 cs.CL
Evaluating Layers of Representation in Neural Machine Translation on Part-of-Speech and Semantic Tagging Tasks
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
虽然神经机器翻译（NMT）模型在一个优雅的端到端框架中提供了更好的翻译质量，但它们对语言的了解还不太清楚。最近的工作已经开始评估NMT模型在形态和句法任务上学习的向量表示的质量。在本文中，我们研究了在NMT编码器的不同层学习的表示。我们在并行数据上训练NMT系统，并使用训练好的模型提取特征，用于训练分类器的两个任务：词性和语义标记。然后，我们测量分类器的性能作为给定任务的原始NMT模型的质量的代理。我们的定量分析产生了有趣的见解表示学习在NMT模型。例如，我们发现，较高的层更好地学习语义，而较低的层往往更适合词性标记。我们还观察到目标语言对源端表示的影响很小，特别是在高质量的NMT模型中。
2018-01-23 cs.CL
Exploiting Out-of-Domain Data Sources for Dialectal Arabic Statistical Machine Translation
University of Washington（华盛顿大学）；SRI International（SRI国际研究所）；LinkedIn（领英）
由于数据采集涉及口头语言的转录和翻译，因此用于方言阿拉伯语的统计机器翻译的特征在于缺乏数据。在这项研究中，我们开发的技术提取并行数据的一个特定的方言阿拉伯语（伊拉克阿拉伯语）从域外语料库在不同的方言阿拉伯语或现代标准阿拉伯语。我们比较了两种不同的数据选择策略（基于交叉熵和子模块化选择），并证明了一个非常小的，但高度有针对性的数据量可以提高基线机器翻译系统的性能。我们还报告了使用自动翻译的语音数据作为额外的训练数据的初步实验。
2015-09-07 cs.CL
Morphosyntactic Tagging with Pre-trained Language Models for Arabic and its Dialects
New York University Abu Dhabi（纽约大学阿布扎比分校）；Stony Brook University（石溪大学）
我们提出了国家的最先进的结果在不同品种的阿拉伯语使用微调预训练的Transformer语言模型的形态句法标记。我们的模型在现代标准阿拉伯语和我们研究的所有阿拉伯语方言中始终优于现有系统，在现代标准阿拉伯语中实现了2.6%的绝对改进，在海湾地区为2.8%，在埃及语中为1.6%，在黎凡特语中为8.3%。我们探索了不同的训练设置，用于微调预训练的Transformer语言模型，包括训练数据大小，外部语言资源的使用，以及在低资源场景中使用来自其他方言的注释数据。我们的研究结果表明，使用其他高资源方言的数据集进行战略微调对低资源方言是有益的。此外，我们表明，高质量的形态分析作为外部语言资源是有益的，特别是在低资源设置。
2022-03-21 cs.CL
Arabic Morphosyntactic Tagging and Dependency Parsing with Large Language Models
Computational Approaches to Modeling Language Lab（语言建模方法计算实验室）；New York University Abu Dhabi（纽约大学阿布扎克分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文评估了大语言模型在阿拉伯语词法句法标注和依赖解析任务中的表现，发现提示设计和示例选择对性能影响显著，专有模型在特征层面标注接近监督基线，且在依赖解析中具有竞争力。
2026-09-04 cs.CL
Nullpointer at ArAIEval Shared Task: Arabic Propagandist Technique Detection with Token-to-Word Mapping in Sequence Tagging
Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；Carnegie Mellon University（卡内基梅隆大学）
本文针对 ArAIEval 共享任务 1 的阿拉伯语宣传手法检测，提出基于 AraBERT v2 微调和词元到单词映射的序列标注方法，并结合体裁特征，最终在排行榜上取得第 4 名。
2024-07-01 cs.CL
Leveraging Pretrained Word Embeddings for Part-of-Speech Tagging of Code Switching Data
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技亚马逊人工智能）
语码转换（英语：Linguistic Code Switching，CS）是一种多语言使用者在一次对话中在两种或多种语言/方言之间交替使用的现象。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这些技术一次只处理一种语言。在本文中，我们解决的问题，词性标注（POS）的语言代码转换（CS）的背景下。我们探索利用多个神经网络架构来衡量不同的预训练嵌入方法对POS标记CS数据的影响。我们调查了四个CS语言对，西班牙语-英语，印度语-英语，现代标准阿拉伯语-埃及阿拉伯语方言（MSA-EGY）和现代标准阿拉伯语-黎凡特阿拉伯语方言（MSA-LEV）的景观。我们的研究结果表明，多语言嵌入（例如，MSA-EGY和MSA-LEV）帮助密切相关的语言（EGY/LEV），但增加了噪音的语言是遥远的（SPA/HIN）。最后，我们表明，我们提出的模型优于最先进的CS标记MSA-EGY语言对。
2019-05-31 cs.CL
Nuha-Speech: Building General-Purpose Arabic Speech-LLMs
Elm Company（埃尔姆公司）
Nuha-Speech构建了含150万样本的阿拉伯语语音问答语料库，基于Qwen-Omni微调模型，并设计评估框架，以建立通用阿拉伯语语音大语言模型的基础设施。
2026-09-11 cs.CL
Genetic approach for arabic part of speech tagging
University of Sfax（斯法克斯大学）；University of Gabes（加贝斯大学）
随着可用文本资源数量的不断增加，理解它们的能力变得至关重要。理解这些来源的第一步是识别每个句子中的词性。阿拉伯语是一种形态丰富的语言，这对词性标注提出了挑战。本文的目标是提出、改进并实现一个基于遗传算法的词性标注器。用这种方法获得的精度是可比的其他概率方法。
2013-07-11 cs.CL cs.NE
Joint Diacritization, Lemmatization, Normalization, and Fine-Grained Morphological Tagging
New York University Abu Dhabi（纽约大学阿布扎比分校）
闪族语言可以是高度模糊的，有几个相同的表面形式的解释，和形态丰富，有许多语素实现几个形态特征。对于方言内容来说，这一问题更加严重，因为方言内容更容易受到干扰，而且缺乏标准的正字法。形态特征可以是词汇化的，如词元和变音形式，或者是非词汇化的，如性别、数字和词性标签等。词汇化和非词汇化特征的联合建模可以识别更复杂的形态模式，这提供了更好的上下文建模，并进一步消除歧义的词汇选择。然而，不同的建模粒度会使关节建模更加困难。我们的方法联合建模不同的功能，无论是词汇化（在字符级别上），我们也模型表面形式规范化，或非词汇化（在单词级别上）。我们使用阿拉伯语作为测试用例，并实现了现代标准阿拉伯语的最新结果，相对误差减少了20%，埃及阿拉伯语（阿拉伯语的方言变体）减少了11%。
2019-10-05 cs.CL
Automatic Part-of-Speech Tagging of Arabic-English Dictionary Senses through WordNet
Computer Science, Faculty of Computers and Information, Giza, Egypt（计算机科学，计算机与信息学院，开罗，埃及）；EECE, Faculty of Engineering, Giza, Egypt（电子工程系，工程学院，开罗，埃及）；Arabic Language and Literatures, Faculty of Arts, Giza, Egypt（阿拉伯语言与文学，艺术学院，开罗，埃及）
提出一种将双语词典义项与WordNet词性标签对齐的算法，以低成本实现高精度标注，支持词典标准化和资源匮乏语言的NLP工具开发。
2026-06-24 cs.CL
Meta AI at Arabic Hate Speech 2022: MultiTask Learning with Self-Correction for Hate Speech Classification
Meta AI
在本文中，我们解决了阿拉伯语细粒度仇恨语音检测共享任务，并展示了其三个子任务的报告基线的显着改进。任务是预测推文是否包含（1）攻击性语言;以及它是否被认为是（2）仇恨言论，如果是，则从六个类别之一预测（3）细粒度仇恨言论标签。我们的最终解决方案是采用多任务学习和自我一致性校正方法的模型集成，在仇恨言论子任务上获得82.7%的收益-与以前的工作相比，相对提高了3.4%。
2022-05-16 cs.CL
Interpreting Arabic Transformer Models
阿拉伯语是一种闪米特语言，广泛使用，有许多方言。鉴于预先训练的语言模型的成功，许多在阿拉伯语及其方言上训练的Transformer模型已经浮出水面。虽然这些模型已经与下游NLP任务进行了比较，但没有进行直接比较内部表示的评估。我们探讨了语言信息是如何在阿拉伯语预训练模型中编码的，这些模型是在不同种类的阿拉伯语上训练的。我们使用三个内在任务对模型进行层和神经元分析：基于MSA（现代标准阿拉伯语）和方言POS标记的两个形态标记任务和方言识别任务。我们的分析启发了有趣的发现，例如：i）单词形态在较低层和中间层学习，ii）方言识别需要更多的知识，因此即使在最后一层也会保留，iii）尽管它们的词汇有很大的重叠，但基于MSA的模型无法捕捉阿拉伯方言的细微差别，iv）我们发现嵌入层中的神经元本质上是多义的，而中间层中的神经元专用于特定属性。
2022-10-19 cs.CL
Towards the Development of Balanced Synthetic Data for Correcting Grammatical Errors in Arabic: An Approach Based on Error Tagging Model and Synthetic Data Generating Model
King Abdulaziz University（阿卜杜勒阿齐兹大学）；Saudi Electronic University（沙特电子大学）
本文提出错误标注模型与基于回译的合成数据生成模型，构建大规模阿拉伯语语法纠错合成数据，并在QALB-14上取得79.36% F1的新最优结果。
2025-02-07 cs.AI cs.CL
LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models
Georgia Institute of Technology（佐治亚理工学院）；Nile University（尼罗大学）
本文提出NileTTS数据集，通过LLM生成埃及阿拉伯语内容并合成语音，用于训练多语言TTS模型，填补了埃及阿拉伯语语音合成的研究空白。
2026-02-17 cs.CL
Speech Recognition Challenge in the Wild: Arabic MGB-3
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Edinburgh（爱丁堡大学）
本文介绍了阿拉伯语MGB-3挑战-阿拉伯语语音识别在野外。与去年的阿拉伯语MGB-2挑战赛不同，MGB-3的识别任务是基于半岛电视台阿拉伯语电视节目的1,200多小时广播电视新闻录音，MGB-3强调使用埃及YouTube视频的多流派集合的方言阿拉伯语。数据汇集使用了七种类型：喜剧，烹饪，家庭/儿童，时尚，戏剧，体育和科学（TEDx）。总共16个小时的视频，平均分为不同类型，分为改编，开发和评估数据集。阿拉伯语MGB挑战赛包括两项任务：A）语音转录，在MGB-3测试集上进行评估，以及10小时的MGB-2测试集，以报告MGB-2评估的进展; B）阿拉伯语方言识别，今年推出，以区分四种主要的阿拉伯语方言-埃及语，黎凡特语，北非语，海湾语以及现代标准阿拉伯语。每种方言发布了两个小时的音频用于开发，另外两个小时用于评估。对于方言识别，除了原始音频记录之外，还与参与者共享词汇特征和i向量瓶颈特征。总共有13支队伍提交了10个系统的挑战。我们概述了每个系统中采用的方法，并总结了评估结果。
2017-09-21 cs.CL
HARNESS: Lightweight Distilled Arabic Speech Foundation Models
Qatar Computing Research Institute（卡塔尔计算研究院）
本文提出首个以阿拉伯语为中心的自监督语音模型系列HArnESS，通过迭代自蒸馏和低秩近似压缩出轻量学生模型，在阿拉伯语ASR、情感识别和方言识别上达到SOTA或可比性能。
2025-09-18 cs.CL
ZAEBUC-Spoken: A Multilingual Multidialectal Arabic-English Speech Corpus
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；University of Tübingen（蒂宾根大学）；United Arab Emirates University（阿联酋大学）；Zayed University（扎耶德大学）
本文提出多语言多方言阿拉伯语-英语语音语料库ZAEBUC-Spoken，包含12小时会议录音，涵盖多语言、多方言及语码转换，并提供转录指南与方言程度、形态学两层标注，为ASR研究提供挑战性数据集。
2024-03-27 cs.CL
Automatic Dialect Detection in Arabic Broadcast Speech
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)（麻省理工学院计算机科学与人工智能实验室）；JHU Center for Language and Speech Processing (CLSP)（约翰斯·霍普金斯大学语言与语音处理中心）；University of Edinburgh（爱丁堡大学）
我们调查不同的方法方言识别阿拉伯语广播讲话中，使用语音，词汇的特点，从语音识别系统，和声学特征，使用i-向量框架。我们研究了生成式和判别式分类器，并使用多类支持向量机（SVM）将这些特征结合起来。我们在阿拉伯语/英语语言识别任务上验证了我们的结果，准确率为100%。我们在二元分类器中使用这些特征来区分现代标准阿拉伯语（MSA）和方言阿拉伯语，准确率为100%。我们进一步报告使用所提出的方法来区分阿拉伯语的五种最广泛使用的方言之间的结果：即埃及，海湾，黎凡特，北非和MSA，准确率为52%。我们讨论了方言识别错误的背景下，方言阿拉伯语和MSA之间的方言代码切换，并比较手动标记的数据之间的错误模式，从我们的分类器的输出。我们还发布了训练和测试数据作为方言识别的标准语料。
2016-08-11 cs.CL
Arabic Language Learning Assisted by Computer, based on Automatic Speech Recognition
Higher School of Science and Technology of Tunis（突尼斯高等科学技术学院）
这项工作包括创建一个系统的计算机辅助语言学习（CALL）的基础上，自动语音识别（ASR）的阿拉伯语使用的工具CMU Sphinx 3 [1]，基于HMM的方法。为了这项工作，我们已经构建了一个语料库的六个小时的语音录音与数量的九个扬声器。我们在对噪声的鲁棒性中找到了选择HMM方法的理由[2]。由于我们的语料库只有九位讲者，所以成绩令人鼓舞，但这也是其他改善工作的理由。
2012-05-15 cs.CL
An Annotated Corpus of Arabic Tweets for Hate Speech Analysis
Northwestern University in Qatar（西北大学卡塔尔分校）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本研究构建了一个包含10000条阿拉伯语推文的多标签仇恨言论数据集，通过多位标注者标注并计算一致性，评估显示AraBERTv2模型在攻击性内容识别上取得最优性能。
2025-05-23 cs.CL
CV-18 NER: Augmented Common Voice for Named Entity Recognition from Arabic Speech
本文提出CV-18 NER数据集，通过增强阿拉伯语Common Voice 18语料库并添加细粒度Wojood标注，评估了端到端模型和流水线系统在阿拉伯语语音命名实体识别中的性能。
2026-04-02 cs.CL
A Semantic Analyzer for the Comprehension of the Spontaneous Arabic Speech
这项工作是一个大型研究项目的一部分，名为“Oréoça”，旨在开发自动语音识别，翻译和合成阿拉伯语的工具。我们的注意力主要集中在试图改善我们的语义解码器的基础上的概率模型。为了实现这一目标，我们决定测试相关的上下文使用的影响，以及不同类型的上下文数据集成，语义解码器的有效性。调查结果令人满意。
2016-10-08 cs.CL
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）；Avignon Université（阿维尼翁大学）；ELYADATA（ELYADATA公司）；King Abdullah University of Science & Technology（阿卜杜拉国王科技大学）；NYU Abu Dhabi（纽约大学阿布扎比分校）
NADI 2026作为第二届多方言阿拉伯语语音处理共享任务，涵盖五个任务八个子任务，引入TTS、SLT和SLU，强调现实评估，发现域外泛化是主要瓶颈，并验证了专用模型与集成方法的有效性。
2026-09-24 cs.CL
AraS2P: Arabic Speech-to-Phonemes System
Alexandria University（亚历山大大学）；Applied Innovation Center（应用创新中心）；Georgia Institute of Technology（佐治亚理工学院）
本文提出AraS2P，采用两阶段训练适配Wav2Vec2-BERT，并结合XTTS-v2合成数据增强，在Iqra'Eval 2025音素级错误发音检测中获得第一名。
2025-09-27 cs.CL
ArFake: A Robust Framework for Multi-Dialect Arabic Speech Spoofing Detection Benchmark
MBZUAI, UAE（马布里扎大学人工智能研究所，阿联酋）；Queen’s University, Canada（女王大学，加拿大）；University of Waterloo, Canada（滑铁卢大学，加拿大）
提出首个多方言阿拉伯语欺骗语音数据集，通过多模型评估和人类评分构建基准，发现FishSpeech在卡萨布兰卡语料库上生成最逼真的合成语音。
2026-06-16 cs.CL
EmoHopeSpeech: An Annotated Dataset of Emotions and Hope Speech in English and Arabic
Northwestern University in Qatar（西北大学卡塔尔分校）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本研究推出标注了情绪与希望言论的双语数据集EmoHopeSpeech，包含阿拉伯语、英语条目共3万余条，标注一致性与基线模型验证了其价值，为跨语言情绪与希望言论研究及低资源语言NLP发展提供支撑。
2025-05-21 cs.CL
Ara-Best-RQ: Multi Dialectal Arabic SSL
ELYADATA；Laboratoire Informatique d'Avignon（阿维尼昂信息实验室）
本文提出Ara-Best-RQ模型，通过爬取的CC语音数据和公开数据集预训练，实现多方言阿拉伯语语音处理的SSL模型，在方言识别任务中取得最佳性能。
2026-03-23 cs.CL
An Expert System for Automatic Reading of A Text Written in Standard Arabic
在这项工作中，我们提出了我们的专家系统的自动阅读或语音合成的基础上写的文本在标准阿拉伯语，我们的工作是进行了两个大阶段：创建的声音数据库，和书面文本转换成语音（文本到语音TTS）。这种转换首先是通过任何书面标准阿拉伯语文本的语音正字法转录（POT）来完成的，目的是将其转换成其相应的语音序列，其次是通过生成与转录链相对应的语音信号来完成。本文介绍了本系统的概念，以及与其他基于标准阿拉伯语的文语转换系统的研究成果的比较。
2014-05-08 cs.CL
Investigations on Speech Recognition Systems for Low-Resource Dialectal Arabic-English Code-Switching Speech
University of Stuttgart（斯图加特大学）；Raisa Energy LLC（Raisa Energy 有限责任公司）；The German University in Cairo（开罗德国大学）
语码转换（CS），即语言在会话中的混合，已经成为一种世界性的现象。CS的流行最近已经满足了越来越多的需求和兴趣，以建立CS ASR系统。在本文中，我们提出了我们的工作代码切换埃及阿拉伯语-英语自动语音识别（ASR）。我们首先通过收集、分析和发布我们自发的CS埃及语阿拉伯语-英语语音语料库来填补资源的巨大缺口。我们使用基于DNN的混合模型和基于Transformer的端到端模型构建我们的ASR系统。在本文中，我们提出了一个彻底的比较两种方法的设置下的低资源，正字法不标准化，丰富的语言对。我们表明，虽然这两个系统提供了可比的整体识别结果，每个系统提供了互补的优势点集。我们表明，识别可以通过结合这两个系统的输出得到改善。我们提出了几种有效的系统组合方法，其中两个系统的假设合并的句子和词的水平。我们的方法导致整体WER相对改善4.7%，超过32.1% WER的基线性能。在内部的CS句子的情况下，我们实现了4.8%的WER相对改善。我们的最佳性能系统在ArzEn测试集上实现了30.6%的WER。
2021-08-29 cs.CL
Masader: Metadata Sourcing for Arabic Text and Speech Data Resources
King Fahd University of Petroleum and Minerals（法赫德石油和矿产大学）
NLP管道在过去几年中发生了巨大的变化。管道中的第一步是找到合适的注释数据集来评估我们试图解决的任务。不幸的是，大多数已发布的数据集缺乏描述其属性的元数据注释。更不用说，缺乏一个公共目录来索引与特定地区或语言相关的所有公开数据集。例如，当我们考虑低资源的辩证语言时，这个问题变得更加突出。在本文中，我们创建了\textit{Masader}，这是阿拉伯语NLP数据集的最大公共目录，由200个数据集组成，注释了25个属性。此外，我们开发了一个元数据注释策略，可以扩展到其他语言。我们还就阿拉伯语NLP数据集的现状发表评论并强调一些问题，并提出解决这些问题的建议。
2021-10-13 cs.CL
Arabic Speech Recognition System using CMU-Sphinx4
Carnegie Mellon University（卡内基梅隆大学）；UFR Informatique et Nouvelles Technologies d'Information et de Communication（信息与通信新技术学院）；Faculté des Sciences（理学院）
在本文中，我们提出了创建一个阿拉伯语版本的自动语音识别系统（ASR）。该系统基于卡内基梅隆大学的开源Sphinx-4。该系统是一个基于离散隐马尔可夫模型（HMM）的语音识别系统。我们调查的变化，必须作出的模型，以适应阿拉伯语话音识别。关键词：语音识别，声学模型，阿拉伯语，HALTH，CMUSphinx-4，人工智能。
2007-04-17 cs.AI cs.CL
ARCADE: A City-Scale Corpus for Fine-Grained Arabic Dialect Tagging
Tuwaiq Academy（图瓦伊克学院）；Robotics and Internet-of-Things Laboratory（机器人与物联网实验室）；Prince Sultan University（普森大学）；Higher School of Communication of Tunis (SUP’COM)（突尼斯通信高级学校）
ARCADE是一个专为城市级阿拉伯语方言标注设计的语音语料库，通过细粒度标注支持多任务学习，为方言识别提供基准。
2026-01-05 cs.CL cs.CY cs.SD
Online Updating of Word Representations for Part-of-Speech Tagging
LMU Munich（慕尼黑大学）；Cornell University（康奈尔大学）
我们提出了在线无监督领域自适应（DA），这是增量数据时，适用于批量DA是不可能的。在一个部分的语音（POS）标记评估，我们发现，在线无监督DA执行以及批量DA。
2016-04-02 cs.CL
AraHopeCorpus: Annotation Guidelines and Dataset for Hope Speech in Arabic Social Media Crisis Discourse
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Northwestern University in Qatar（卡塔尔西北大学）
本文介绍首个阿拉伯语希望言语数据集AraHopeCorpus，基于2023-2024年加沙战争相关YouTube评论，通过详细标注框架分类为希望言语、无希望言语和中性/模糊话语，发现希望言语占主导（64%以上），并分析了标注挑战与大型语言模型的局限性。
2026-05-22 cs.CL
Part of speech tagging for code switched data
The George Washington University（乔治华盛顿大学）；University of Houston（休斯顿大学）；Columbia University（哥伦比亚大学）
我们解决的问题的词性标注（POS）的语言代码转换（CS）的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象，分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这种技术适合于一次处理一种语言。在本文中，我们探讨了多种策略，应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对，西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明，应用机器学习框架，使用两个国家的最先进的POS标签实现了更好的性能相比，我们调查的所有其他方法。
2019-11-03 cs.CL
Zero-Resource Multi-Dialectal Arabic Natural Language Understanding
Cairo University（开罗大学）
需要合理数量的注释数据来微调下游任务上的预训练语言模型（PLM）。然而，获得不同语言变体的标记示例可能是昂贵的。在本文中，我们研究了仅在现代标准阿拉伯语（MSA）数据上微调PLM时对方言阿拉伯语（DA）的zero-shot性能-在DA上评估此类模型时发现显著的性能下降。为了弥补这种性能下降，我们提出了使用未标记的DA数据进行自训练，并将其应用于命名实体识别（NER），词性（POS）标记，和讽刺检测（SRD）。我们的研究结果证明了使用未标记DA数据进行自我训练的有效性：将zero-shot MSA到DA的转移提高了$\sim$ 10\% F $_1$（NER），2\%准确度（POS标记）和4.5\% F $_1$（SRD）。我们进行了一个消融实验，并表明直接观察到的性能提升结果来自用于自我训练的未标记DA示例。我们的工作为利用相对丰富的标记MSA数据集开发零资源和低资源方言的DA模型提供了机会。我们还报告了所有三项任务的最新性能，并为研究社区开放了我们的微调模型。
2022-05-25 cs.CL
Improving Dialogue Act Classification for Spontaneous Arabic Speech and Instant Messages at Utterance Level
Jazan University（吉赞大学）；Cairo University（开罗大学）；Institute of Statistical Studies and Research（统计研究与研究所）
对话行为的建模和自动检测是理解自发语音和即时消息的重要一步。然而，从表面话语中推断出对话行为是很困难的，因为它高度依赖于话语的语境和说话者的语言知识，特别是在阿拉伯语方言中。本文提出了一个统计对话分析模型，采用多类层次结构识别话语的对话行为。该模型可以自动获取概率语篇知识的对话语料库收集和注释的多体裁埃及呼叫中心。使用支持向量机分类器进行了大量的实验，以评估系统的性能。在平均F-测量分数为0.912的条件下获得的结果表明，所提出的方法适度提高了F-测量约20%。
2018-05-30 cs.CL
Arab Voices: Mapping Standard and Dialectal Arabic Speech Technology
The University of British Columbia（不列颠哥伦比亚大学）
Arab Voices通过标准化框架统一了14种方言的阿拉伯语音识别数据集，提供统一的元数据和评估工具，并对最新ASR系统进行了基准测试，以提升方言阿拉伯语音识别的标准化和可重复性。
2026-01-28 cs.CL
Improved POS tagging for spontaneous, clinical speech using data augmentation
Linguistic Data Consortium, University of Pennsylvania（宾夕法尼亚大学语言数据联盟）；Penn Frontotemporal Degeneration Center, University of Pennsylvania（宾夕法尼亚大学宾夕法尼亚额颞叶变性中心）
本文针对临床自发性言语转写文本的POS标注问题，提出在领域外新闻树库上结合数据增强训练句法分析器，并在神经退行性疾病患者言语上验证性能。
2023-07-11 cs.CL
Arabic Hate Speech Identification and Masking in Social Media using Deep Learning Models and Pre-trained Models Fine-tuning
Faculty of Information Technology（信息科技学院）；Islamic University of Gaza（加沙伊斯兰大学）
本研究针对社交媒体阿拉伯语仇恨言论，提出用深度学习及transformers模型检测仇恨言论、以机器翻译任务实现不良文本掩码的方法，检测任务宏F1达92%、准确率95%，掩码任务1-gram BLEU达0.3。
2025-07-31 cs.CL
Emojis as Anchors to Detect Arabic Offensive Language and Hate Speech
Qatar Computing Research Institute, Hamad Bin Khalifa University（哈马德·本·哈利法大学卡塔尔计算研究所）
我们引入了一种通用的、独立于语言的方法来收集大量的攻击性和仇恨性推文，无论它们的主题或类型如何。我们利用嵌入在表情符号中的语言外信息来收集大量攻击性推文。我们将所提出的方法应用于阿拉伯语推文，并将其与英语推文进行比较-分析关键的文化差异。我们观察到这些表情符号在Twitter上的不同时间段内不断使用，以表示攻击性。我们手动注释并公开发布最大的阿拉伯语数据集，用于攻击性，细粒度的仇恨言论，粗俗和暴力内容。此外，我们使用不同的Transformer架构对数据集进行基准测试，以检测攻击性和仇恨言论，并进行深入的语言分析。我们在外部数据集上评估我们的模型-使用完全不同的方法收集的Twitter数据集，以及包含Twitter，YouTube和Facebook评论的多平台数据集，以评估泛化能力。这些数据集上的竞争结果表明，使用我们的方法收集的数据捕捉到了攻击性语言的普遍特征。我们的研究结果还强调了攻击性通信中使用的常用词，仇恨言论的常见目标，暴力推文中的特定模式;并指出了可归因于NLP模型局限性的常见分类错误。我们观察到，即使是最先进的Transformer模型也可能无法考虑文化、背景和上下文，或者无法理解现实世界数据中存在的细微差别，例如讽刺。
2022-05-19 cs.CL
Introduction to Arabic Speech Recognition Using CMUSphinx System
UFR Informatique et Nouvelles Technologies d'Information et de Communication（信息与通信新技术学院）；Département de Mathématiques et Informatique, Faculté des Sciences（理学院数学与计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）
本文从语音识别问题的角度对阿拉伯语进行了研究。我们提出了一种新的方法来建立一个阿拉伯语自动语音识别系统（ASR）。该系统基于卡内基梅隆大学的开源CMU Sphinx-4。CMU Sphinx是一个基于离散隐马尔可夫模型（HHMM）的大词汇量、与说话人无关的连续语音识别系统。我们使用开源CMU Sphinx中的实用程序构建了一个模型。我们将证明这个系统可能的适应性，阿拉伯语话音识别。
2007-04-17 cs.AI cs.CL
Multi-task Learning with Active Learning for Arabic Offensive Speech Detection
Department of Information and Computer Science（信息与计算机科学系）；King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心）
本文提出将多任务学习与主动学习相结合的新框架，通过联合训练暴力和粗俗言论检测任务、动态调整任务权重、不确定性采样及加权表情符号处理，在OSACT2022数据集上以更少微调样本取得85.42%的最新宏平均F1分数。
2025-06-03 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asian（微软亚洲研究院）；Educational Testing Service Research（美国教育考试服务中心研究院）
双向长短期记忆循环神经网络（BLSTM-RNN）已被证明是非常有效的标记序列数据，例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段，已经得到了广泛的应用。在这项研究中，我们提出了使用BLSTM-RNN与词嵌入的词性（POS）标注任务。在Penn Treebank WSJ测试集上进行测试时，达到了97.40的标记准确率。在不使用形态特征的情况下，该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
To Normalize, or Not to Normalize: The Impact of Normalization on Part-of-Speech Tagging
University of Groningen（格罗宁根大学）
标准化是否有助于提高有噪、非规范数据的词性（POS）标记准确性？据我们所知，在现实世界的场景中，对标准化的实际影响知之甚少，其中黄金错误检测不可用。我们研究的自动规范化的词性标注的鸣叫。我们还将归一化与利用大量未标记数据的策略进行了比较。我们的研究结果表明，规范化的帮助，但不增加一致的只是词嵌入层初始化。后一种方法产生了一个标记模型，与Twitter最先进的标记器竞争。
2017-07-17 cs.CL
TTLab at Daleel 2026: STAR-Ar, Sequence Tagging for Argument Recognition in Arabic
Text Technology Lab (TTLab)（文本技术实验室）；Goethe University Frankfurt（法兰克福大学）
本文提出STAR-Ar，一种基于BERT-BiLSTM-CRF的序列标注架构，用于阿拉伯语论证挖掘中的话语单元识别与分类，在Daleel 2026任务中取得F1 73.7的成绩。
2026-10-01 cs.AI cs.CL cs.LG
Toward a Standardized and More Accurate Indonesian Part-of-Speech Tagging
Kata Research Team Kata.ai（卡塔人工智能公司卡塔研究团队）；School of Informatics University of Edinburgh（爱丁堡大学信息学院）
印尼语词性（POS）标记的以前的工作很难比较，因为它们不是在一个共同的数据集上进行评估。此外，尽管神经网络模型在英语词性标注方面取得了成功，但很少在印度尼西亚语中进行探索。在本文中，我们探讨了印尼语词性标注的各种技术，包括基于规则的，CRF和基于神经网络的模型。我们在IDN标记语料库上评估了我们的模型。使用递归神经网络实现了97.47 F1评分的新的最新技术水平。为了给未来的工作提供一个标准，我们发布了我们公开使用的数据集分割。
2019-02-26 cs.CL
Arabic Tweet Act: A Weighted Ensemble Pre-Trained Transformer Model for Classifying Arabic Speech Acts on Twitter
本研究针对Twitter方言阿拉伯语言语行为分类问题，提出基于BERT的加权集成学习方法，构建标注数据集并采用数据增强解决类别不平衡，性能优于单模型。
2024-01-30 cs.AI cs.CL
Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling
Multimedia Communications Laboratory, University of Information Technology（信息技术大学多媒体通信实验室）；University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
汉语分词和词性标注是计算语言学和自然语言处理应用中必不可少的任务。许多研究者仍然在争论深度学习时代对中文分词和词性标注的需求。然而，解决歧义和检测未登录词在这一领域具有挑战性的问题。以往的汉语分词和词性标注联合研究主要遵循基于字符的标注模型，侧重于n-gram特征建模。与以往的工作不同，我们提出了一个神经模型命名为SpanSegTag联合中文分词和词性标记的跨度标记，其中每个n-gram的概率是词和词性标记的主要问题。我们使用双仿射操作的左，右边界表示的连续字符模型的n-gram。我们的实验表明，我们的基于BERT的模型SpanSegTag在CTB 5，CTB 6和UD上实现了具有竞争力的性能，或者与使用BERT或ZEN编码器的当前最先进的方法相比，在CTB 7和CTB 9基准数据集上实现了显着的改进。
2021-12-17 cs.CL
STAGEET: Stage-wise Typed Edit Tagging for Grammatical Error Correction with Arabic as a Case Study
School of Foreign Languages, Peking University（北京大学外国语学院）
本文提出STAGEET分阶段类型化编辑标记框架，以阿拉伯语为案例，在QALB-2014等数据集上实现了语法纠错的最优性能，同时提升了修正过程的可解释性。
2026-09-01 cs.AI cs.CL
Casablanca: Data and Models for Multidialectal Arabic Speech Recognition
University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；INSEA（国家统计与应用经济学院）；Ain Shams Univ.（艾因夏姆斯大学）；Technische Hochschule Mittelhessen（中黑森应用技术大学）；UM6P（穆罕默德六世大学）；ESI（国家工程学校）；Université de Nouakchott（努瓦克肖特大学）；Birzeit University（比尔宰特大学）；JUST（约旦科技大学）；TEK-UP；Cairo University（开罗大学）；Invertible AI（可逆人工智能公司）
针对阿拉伯多方言语音识别数据集匮乏的问题，研究推出社区驱动的大规模多方言阿拉伯语数据集Casablanca，覆盖8种方言并含多类标注，同时构建了多个强基线模型。
2024-10-06 cs.CL
Improving Part-of-Speech Tagging for NLP Pipelines
RAGE Frameworks（RAGE Frameworks 公司）；Genpact（简柏特）
本文概述了基于句子级语言学的改进词性标注规则的结果。众所周知，如果初始阶段之一不完美，复杂NLP系统的性能就会受到负面影响。管道初始阶段的错误会对管道的最终性能产生滚雪球效应。我们已经创建了一套基于语言学的规则，在句子层面上调整部分的词性标签从国家的最先进的标签。在广泛使用的基准上与最先进的标记器进行比较，证明了标记准确性的显着提高，从而提高了NLP系统的质量和准确性。
2017-08-01 cs.CL
A New Benchmark for Evaluating Automatic Speech Recognition in the Arabic Call Domain
Maqsam（马克萨姆）
本文提出一个专门针对阿拉伯语电话对话的全面语音识别基准，涵盖多种方言并模拟真实呼叫环境，同时利用最先进技术建立基线性能评估。
2024-05-30 cs.AI cs.CL
