arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2004.00088cs.CLcs.LG
收藏

罗马乌尔都语词汇规范化的聚类框架

A Clustering Framework for Lexical Normalization of Roman Urdu

Stevens Institute of Technology(史蒂文斯理工学院);City University of New York(纽约城市大学);Lahore University of Management Sciences(拉合尔管理科学大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Information Technology University(信息技术大学)

Abdul Rafae Khan, Asim Karim, Hassan Sajjad, Faisal Kamiran, Jia Xu

AI总结:

针对罗马乌尔都语缺乏标准拼写导致的规范化难题,本文提出一个基于特征的聚类框架,集成语音算法UrduPhone、字符串匹配和相似度函数及聚类算法Lex-Var,以处理字符级变体并实现词汇规范化。

摘要:

罗马乌尔都语是乌尔都语的一种非正式形式,使用罗马字母书写,在南亚的在线文本内容中广泛使用。它缺乏标准拼写,因此在自动语言处理过程中带来了若干规范化挑战。本文提出了一种基于特征的聚类框架,用于罗马乌尔都语语料库的词汇规范化,该框架包括一个语音算法UrduPhone、一个字符串匹配组件、一个基于特征的相似度函数,以及一个聚类算法Lex-Var。UrduPhone将罗马乌尔都语字符串编码为其基于发音的表示形式。字符串匹配组件处理使用罗马字母书写乌尔都语时出现的字符级变体。

英文摘要:

Roman Urdu is an informal form of the Urdu language written in Roman script, which is widely used in South Asia for online textual content. It lacks standard spelling and hence poses several normalization challenges during automatic language processing. In this article, we present a feature-based clustering framework for the lexical normalization of Roman Urdu corpora, which includes a phonetic algorithm UrduPhone, a string matching component, a feature-based similarity function, and a clustering algorithm Lex-Var. UrduPhone encodes Roman Urdu strings to their pronunciation-based representations. The string matching component handles character-level variations that occur when writing Urdu using Roman script.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑