The Perso-Arabic scripts are a family of scripts that are widely adopted and used by various linguistic communities around the globe. Identifying various languages using such scripts is crucial to language technologies and challenging in low-resource setups. As such, this paper sheds light on the challenges of detecting languages using Perso-Arabic scripts, especially in bilingual communities where ``unconventional'' writing is practiced. To address this, we use a set of supervised techniques to classify sentences into their languages. Building on these, we also propose a hierarchical model that targets clusters of languages that are more often confused by the classifiers. Our experiment results indicate the effectiveness of our solutions.
The Arabic Parallel Gender Corpus 2.0: Extensions and Analyses
New York University Abu Dhabi(纽约大学阿布扎比分校);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校)
自然语言处理(NLP)应用中的性别偏见,特别是机器翻译,已经受到越来越多的关注。关于这个问题的许多研究都集中在减轻英语NLP模型和系统中的性别偏见。在资源贫乏和/或形态丰富的语言中解决这个问题已经落后,主要是由于缺乏数据集和资源。在本文中,我们介绍了一个新的语料库性别识别和重写的背景下,涉及一个或两个目标用户(我和/或你)-第一和第二语法的人与独立的语法性别偏好。我们专注于阿拉伯语,一种性别标记形态丰富的语言。语料库有多个平行的组成部分:第一和第二人称的四种组合,在女性和男性语法性别,以及英语,英语到阿拉伯语的机器翻译输出。该语料库扩展了Habash et al.(2019)的阿拉伯语平行性别语料库(APGC v1.0),增加了第二人称目标,并将句子总数增加了6.5倍以上,达到59万多个单词。我们的新数据集将有助于性别识别、受控文本生成和编辑后重写系统的研究和开发,这些系统可用于个性化NLP应用程序,并根据用户的语法性别偏好为用户提供正确的输出。我们公开提供阿拉伯语平行性别语料库(APGC v2.0)。
WOLI at SemEval-2020 Task 12: Arabic Offensive Language Identification on Different Twitter Datasets
WideBot(宽博科技(WideBot))
通过社交平台进行沟通已成为个人沟通和互动的主要手段之一。不幸的是,健康的沟通经常受到攻击性语言的干扰,这可能对用户产生破坏性影响。在社交媒体上打击攻击性语言的关键是存在自动攻击性语言检测系统。本文介绍了SemEval-2020的结果和主要发现,任务12 OffensEval子任务A Zampieri et al.(2020),关于识别和分类社交媒体中的攻击性语言。该任务基于阿拉伯语OffensEval数据集Mubarak et al.(2020)。在本文中,我们描述了WideBot AI Lab提交的共享任务系统,该系统在CodaLab用户名为“yasserotiefy”的黄金数据集上,在52名参与者中排名第10位,Macro-F1为86.9%。我们实验了各种模型,最好的模型是线性SVM,其中我们使用字符和单词n-gram的组合。我们还引入了一种神经网络方法,增强了我们系统的预测能力,包括CNN、高速公路网络、Bi-LSTM和注意力层。
DialogPII: A multilingual dataset of synthetic dialog transcripts to detect personal information
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Technical University Berlin(柏林技术大学);Berlin Institute of Health (BIH)(柏林健康研究所(BIH));Tilburg University(蒂尔堡大学);Universidad de Buenos Aires(布宜诺斯艾利斯大学);Independent Researcher(独立研究者);Bundesinstitut für Risikobewertung (BfR)(风险评估联邦机构(BfR))
Is AI Catching Up to Human Expression? Exploring Emotion, Personality, Authorship, and Linguistic Style in English and Arabic with Six Large Language Models
College of Computer and Information Sciences, King Saud University(计算机与信息科学学院,沙特阿拉伯国王沙德大学)
University of Rome Tor Vergata(罗马第二大学);University of Calabria(卡拉布里亚大学);Griffith University(格里菲斯大学);University of Mianwali(米亚瓦利大学);Lahore Garrison University(拉合尔加里森大学);Minhaj University(明哈吉大学)
Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech
King Abdullah University of Science and Technology (KAUST)(卡塔尔国王 Abdullah 科学与技术大学);Department of Linguistics, University of Kashmir(克什米尔大学语言学系);National Institute of Technology Srinagar(锡里纳加尔国家理工学院)
CorIL: Towards Enriching Indian Language to Indian Language Parallel Corpora and Machine Translation Systems
Department of Computer Science and Engineering, Indian Institute of Technology Patna(计算机科学与工程系,印度理工学院帕纳布);SNLP Lab, CDAC Noida(SNLP实验室,CDAC诺伊达);Department of Computer Science and Engineering, Manipal Institute of Technology(计算机科学与工程系,曼尼普尔理工学院);Department of Computer Science and Engineering, Dhirubhai Ambani University, Gandhinagar(计算机科学与工程系,迪鲁布希阿米大学,甘地 Nagar);LTRC, IIIT Hyderabad(LTRC,IIIT海得拉尔);Department of CSE, IIIT Bhubaneshwar(CSE系,IIIT布巴内什瓦尔);Department of AI, SVNIT, Surat(人工智能系,SVNIT,萨拉特);Department of Linguistics, University of Kashmir(语言学系,克什米尔大学);VLSI Design Group, CDAC Bangalore(VLSI设计组,CDAC班加罗尔);Department of CSE, Punjabi University(CSE系,旁遮普大学);Department of CSE, Govt. College for Women Jammu(CSE系,贾姆穆政府女子学院)
A Culturally-diverse Multilingual Multimodal Video Benchmark & Model
Mohamed bin Zayed University of Artificial Intelligence(莫德赫·本·扎耶德人工智能大学);University of Central Florida(中央佛罗里达大学);Islamic University of Technology(伊斯兰技术大学);Air University(空军大学);ETH Zurich(苏黎世联邦理工学院);Technische Universität München(慕尼黑技术大学);National Institute of Informatics(国家信息研究所);Australian National University(澳大利亚国立大学);Linköping University(利尔贝里大学)