Sentiment Analysis for Roman Urdu Text over Social Media, a Comparative Study
The University of Lahore(拉合尔大学)
在本世纪,数据量正在急剧增加。数据可以是图像、文本、语音和视频的形式。数据的巨大增长的一个因素是社交媒体的使用,每个人每天都在聊天,交换信息以及上传个人和官方证书时发布数据。情感研究旨在揭示已发布文本中的抽象知识,用户在其中交流他们对共享内容的情感和想法,包括博客,新闻和社交网络。罗马乌尔都语是巴基斯坦和印度社交网络上最主要的语言之一。罗马乌尔都语是世界上第三大乌尔都语的变体之一,但在这种语言中还没有足够的工作。在这篇文章中,我们解决了以前的概念和策略,用于检查的情绪的罗马乌尔都语文本,并报告他们的结果。
2020-10-05 cs.CL
ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models
Department of Computer Science, University of Agriculture Faisalabad(费萨拉巴德农业大学计算机科学系)
针对罗马乌尔都语拼写变异导致的子词碎片化问题,提出ROMEVA方法,结合子词平均初始化和PCA引导的锚点损失来稳定词汇扩展中的嵌入,实验发现下游性能与嵌入稳定性存在脱节。
2026-06-23 cs.CL
A Precisely Xtreme-Multi Channel Hybrid Approach For Roman Urdu Sentiment Analysis
为了加速罗马乌尔都语的各种自然语言处理任务的性能,本文首次提供了3个神经词嵌入,使用最广泛使用的方法,即Word2vec,FastText和Glove。使用内在和外在评估方法评估生成的神经词嵌入的完整性。考虑到缺乏公开可用的基准数据集,它提供了有史以来第一个罗马乌尔都语数据集,其中包括3241个针对积极,消极和中性类别的情感注释。为了在所呈现的数据集上提供基准基线性能,我们采用了不同的机器学习(支持向量机逻辑回归,朴素贝叶斯),深度学习(卷积神经网络,递归神经网络)和混合方法。生成的神经词嵌入的有效性通过比较机器和基于深度学习的方法分别使用7种和5种不同的特征表示方法的性能来评估。最后,它提出了一种新的精确极端多通道混合方法,其性能优于最先进的自适应机器和深度学习方法,在F1分数方面分别为9%和4%。罗马乌尔都语情感分析,罗马乌尔都语预训练词嵌入,Word2Vec,手套,快速文本
2020-03-11 cs.CL
Fine-Tuning Large Language Models with QLoRA for Offensive Language Detection in Roman Urdu-English Code-Mixed Text
Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)(墨西哥国立理工学院(IPN),计算研究中心(CIC))
本文提出基于QLoRA的微调框架,利用英语翻译的罗马乌尔都语-英语代码混合数据,通过微调多种大语言模型,实现高效冒犯性语言检测,其中Meta LLaMA 3 8B达到最高F1分数91.45。
2025-10-10 cs.CL
Roman Urdu Opinion Mining System (RUOMiS)
University of Agriculture, Peshawar(白沙瓦农业大学);CUSIT(城市科学信息技术大学)
说服客户总是被认为是一项具有挑战性的任务,在每一个企业.但当涉及到在线业务时,这项任务变得更加困难。在线零售商尽一切可能获得客户的信任。解决方案之一是为现有用户提供一个区域来留下他们的评论。这项服务可以有效地建立客户的信任,但通常客户使用罗马字母用他们的母语评论产品。如果有数百条评论,即使是本地客户也很难做出购买决定。本研究提出了一个系统,提取罗马乌尔都语发布的评论,翻译他们,找到他们的极性,然后给我们的产品的评级。这个评级将帮助本地和非本地客户从罗马乌尔都语发布的评论中有效地做出购买决定。
2015-01-07 cs.CL cs.IR
Hate Speech Detection in Roman Urdu
Punjab University College of Information Technology(旁遮普大学信息技术学院);University of the Punjab(旁遮普大学)
仇恨言论是一种特定类型的有争议的内容,被广泛立法为必须识别和阻止的犯罪。然而,由于Twitter数据流的数量和速度,仇恨言论检测无法手动执行。为了解决这个问题,已经进行了几项研究,以检测欧洲语言中的仇恨言论,而很少关注资源匮乏的南亚语言,使社交媒体容易受到数百万用户的影响。特别是,据我们所知,没有研究已经进行了仇恨言论检测在罗马乌尔都语文本,这是广泛使用的次大陆。在这项研究中,我们删除了超过90,000条推文,并手动解析它们以识别5,000条罗马乌尔都语推文。随后,我们采用了一种迭代方法来制定指导方针,并将其用于生成仇恨语音罗马乌尔都语2020语料库。该语料库中的推文分为三个级别:中立-敌对,简单-复杂和冒犯-仇恨言论。作为另一个贡献,我们使用了五种监督学习技术,包括一种深度学习技术,来评估和比较它们在仇恨言论检测方面的有效性。结果表明,逻辑回归优于所有其他技术,包括用于两个分类级别的深度学习技术,在区分中立-敌对推文方面的F1得分为0.906,在区分冒犯-仇恨语音推文方面的F1得分为0.756。
2021-08-05 cs.AI cs.CL cs.LG
An Attention Based Neural Network for Code Switching Detection: English & Roman Urdu
National University of Computer and Emerging Sciences, FAST(国家计算机与新兴科学大学FAST校区)
语码转换是不同语言背景的人之间的一种普遍现象,在网络交际中被广泛使用。在本文中,我们提出了一个递归神经网络结合注意力模型的语言识别代码交换数据在英语和低资源罗马乌尔都语。注意力模型使体系结构能够学习语言的重要特征,从而对代码切换数据进行分类。我们通过将结果与最先进的模型(即隐马尔可夫模型,条件随机场和双向LSTM)进行比较来展示我们的方法。使用混淆矩阵度量的模型评估表明,与其他模型相比,注意力机制提供了改进的精确度和准确度。
2021-03-03 cs.AI cs.CL
Efficient Adaptation of LLMs for Hate Speech Detection in Low-Resource Languages: A Comparative Study on Roman Urdu
本文针对罗马乌尔都语仇恨言论检测的低资源语言场景,对比评估Mistral等大语言模型,发现采用LoRA参数高效微调可显著提升性能,且计算效率优异。
2026-09-11 cs.AI cs.CL
Hope Speech Detection in code-mixed Roman Urdu tweets: A Positive Turn in Natural Language Processing
本文首次提出在混合罗马乌尔都语推文中检测希望语,通过定制模型XLM-R实现高准确率,填补了低资源语言在NLP研究中的空白。
2026-03-12 cs.AI cs.CL
Sentiment Analysis for YouTube Comments in Roman Urdu
National University of Computer and Emerging Sciences(国家计算机与新兴科学大学)
情感分析是机器学习领域中的一个广阔领域。大量的工作是在数据集及其对英语的分析上完成的。在巴基斯坦,大量的数据是罗马乌尔都语,它分散在社交网站,包括Twitter,YouTube,Facebook和类似的应用程序。在这项研究中,数据集收集的重点领域是YouTube评论。数据集包含人们对不同巴基斯坦戏剧和电视节目的评论。数据集包含多类分类,将评论分为积极,消极和中性情绪。本文对线性回归、SVM、KNN、多层感知器和朴素贝叶斯分类器等五种监督学习算法进行了比较分析。准确率,召回率,精确度和F-测量用于测量性能。结果表明,SVM的准确率为64%,优于列表中的其他部分。
2021-02-19 cs.AI cs.CL
Sentiment Classification of Customer Reviews about Automobiles in Roman Urdu
Punjab University College of Information Technology(旁遮普大学信息技术学院);University of the Punjab(旁遮普大学)
文本挖掘是一个广泛的领域,情感挖掘是其重要组成部分,我们试图推断人们对特定物品,商品,政治,体育,社交媒体评论,评论网站等的行为。在情感挖掘,分析和分类的许多问题中,一个主要问题是评论和评论可以是不同的语言,如英语,阿拉伯语,乌尔都语等处理每一种语言根据其规则是一项艰巨的任务。在英语语言中进行了大量的情感分析和分类研究工作,但在其他区域语言(如阿拉伯语、乌尔都语和印地语)中进行了有限的情感分析工作。在本文中,怀卡托知识分析环境(WEKA)被用来作为一个平台,执行不同的分类模型的文本分类罗马乌尔都语文本。评论数据集已从不同的汽车网站废弃。这些提取的罗马乌尔都语评论,包含1000个正面和1000个负面评论,然后保存在WEKA属性关系文件格式(arff)作为标记的例子。训练是在80%的数据上完成的,其余的用于测试目的,测试是使用不同的模型完成的,并在每种情况下分析结果。结果表明,多项朴素贝叶斯分类器在准确率、精确度、召回率和F-度量方面优于Bagging、深度神经网络、决策树、随机森林、AdaBoost、k-NN和SVM分类器。
2018-12-30 cs.CL
NUBOT: Embedded Knowledge Graph With RASA Framework for Generating Semantic Intents Responses in Roman Urdu
FAST University Islamabad(伊斯兰堡FAST大学)
通过识别意图和实体来量化人类语言的理解。尽管依赖于标记信息的分类方法经常用于语言理解的理解,但生成高倾向监督数据集的过程非常耗时且乏味。在本文中,我们提出了相应的罗马乌尔都语非结构化数据的准确意图的生成,并将此语料库集成到RASA NLU模块中进行意图分类。我们嵌入知识图谱与RASA框架,以维护基于语义的自然语言机制的聊天机器人通信的对话历史。我们比较我们的工作与现有的语言系统结合语义技术的结果。意图生成的最小准确率为64%的置信度,响应生成部分的最小准确率为82.1%,最大准确率增益为96.7%。所有的分数都是指每个意图的日志精确度、召回率和f1测量值,一旦汇总所有的结果。此外,它还创建了一个混淆矩阵,表示哪些意图是模糊识别的方法。
2021-02-20 cs.AI cs.CL
Evaluating Large Language Models on Urdu Idioms
Technical University Dortmund(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
本研究构建含4000组双语习语对的乌尔都语跨文字习语评估基准,采用多种提示策略评估前沿LLMs,发现其在习语处理上优于传统NMT,凸显提示工程的重要性。
2026-09-04 cs.CL
Urdu Poetry Generated by Using Deep Learning Techniques
University of Management and Technology(管理与技术大学)
本文基于 Rekhta 的1341个混合乌尔都语诗歌文件,采用 LSTM 与 GRU 模型在完整数据上训练,生成纯乌尔都语而非罗马乌尔都语诗歌,并取得良好准确率。
2023-09-25 cs.CL cs.LG
'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
该研究针对乌尔语在LLM安全评估中的缺失问题,测试五款LLM在多类乌尔语相关数据集上的表现,发现其跨文字安全不一致性,且开放权重模型问题更显著。
2026-09-10 cs.AI cs.CL
Improving Informally Romanized Language Identification
Google Research(谷歌研究)
针对非正式罗马化文本因拼写不规范导致语言识别难度高的问题,本文通过融入自然拼写变体优化合成训练集,在20种印度语言罗马化文本评测上取得了最优识别性能。
2025-09-12 cs.CL
Unified Large Language Models for Misinformation Detection in Low-Resource Linguistic Settings
College of Science and Engineering(科学与工程学院);Department of Computer Science(计算机科学系);University of Hertfordshire(赫特福德郡大学);Applied College, King Khalid University(国王·卡利德大学应用学院);Faculty of Resilience(韧性学院);Faculty of Computer Science(计算机科学系)
本文针对乌尔都语假新闻检测资源匮乏问题,构建首个公开的大规模基准数据集,并提出统一大语言模型,在多个预训练模型比较中取得更优检测性能。
2025-06-02 cs.CL
Discovering Lexical Similarity Through Articulatory Feature-based Phonetic Edit Distance
Mohammad Ali Jinnah University(穆罕默德·阿里·真纳大学);FAST NUCES(巴基斯坦国家计算机与新兴科学大学)
两种语言之间的词汇相似性揭示了许多有趣的语言学见解,如遗传关系,相互理解,以及一个人的词汇对另一个人的使用。有多种方法可用于评估一次总付。在同样的方面,本文提出了一种方法的语音编辑距离(PED),使用软比较的字母,使用与它们相关的发音功能。该系统将单词转换为相应的国际音标(IPA),然后将IPA转换为其发音特征集。之后,使用所提出的方法比较发音特征集的列表。例如,PED给出德语单词vater和波斯语单词pidar的编辑距离为0.82;类似地,希伯来语单词shalom和阿拉伯语单词salaam的编辑距离为0.93,而对于并置比较,它们基于IPA的编辑距离分别为4和2。实验用六种语言(阿拉伯语、印地语、马拉地语、波斯语、梵语和乌尔都语)进行。在这方面,我们提取了部分的语音明智的单词列表从通用Departments语料库和评估LS的每一对语言。因此,与所提出的方法,我们发现的遗传亲和力,相似性,和借用/外来词,尽管这些语言之间的脚本差异和声音的变化现象。
2020-08-16 cs.CL
One Script Instead of Hundreds? On Pretraining Romanized Encoder Language Models
Center for Artificial Intelligence and Data Science(人工智能与数据科学中心);University of Würzburg(乌尔姆大学)
研究通过预训练罗马化和原始文本,探讨罗马化在多语言模型中的有效性,发现分段脚本语言性能损失小,而形态音节脚本语言需更高保真度罗马化以缓解退化。
2026-01-09 cs.CL
Universal Neural Machine Translation for Extremely Low Resource Languages
The University of Hong Kong(香港大学);Microsoft Research(微软研究院);Google Research(谷歌研究院)
在本文中,我们提出了一种新的通用机器翻译方法,专注于语言的并行数据量有限。我们提出的方法利用迁移学习的方法来共享词汇和句子级别的表示在多个源语言到一个目标语言。词汇部分通过通用词汇表示共享,以支持多语言单词级共享。由来自与所有其它语言共享源编码器的所有源语言的专家的模型来表示中间级共享。这使得低资源语言能够利用高资源语言的词汇和句子表示。我们的方法能够使用6k句子的小型并行语料库在罗马尼亚语-英语WMT 2016上实现23个BLEU,而使用多语言训练和反向翻译的强基线系统的BLEU为18个。此外,我们表明,所提出的方法可以通过在zero-shot设置中微调预训练的多语言系统,在同一数据集上实现近20个BLEU。
2018-04-17 cs.CL
Lost in Translation? Exploring the Shift in Grammatical Gender from Latin to Occitan
Bavarian Academy of Sciences (BAdW)(巴伐利亚科学学院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Freiburg(弗赖堡大学)
本文提出一个可解释的深度学习框架,通过词法和上下文层面分析拉丁语到奥克语的语法性别系统从三分(阳性、阴性、中性)到二分(阳性、阴性)的演变,并展示了改进的分词策略和形态特征、词性对性别预测的贡献。
2026-05-26 cs.AI cs.CL
Beyond 'One Language, One Script': Quantifying Orthographic Bias in Multilingual VLMs with PuMVR
RediMinds Inc.(RediMinds公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出PuMVR基准,通过旁遮普语三种文字的图像推理任务,量化多语言视觉语言模型中的文字依赖偏差,发现文字一致性率低至24.8%,视觉输入无法消除偏差。
2026-06-23 cs.AI cs.CL cs.LG
QU-NLP at CheckThat! 2025: Multilingual Subjectivity in News Articles Detection using Feature-Augmented Transformer Models with Sequential Cross-Lingual Fine-Tuning
Qatar University(卡塔尔大学)
本研究针对CheckThat! 2025新闻主观性检测任务,提出融合上下文嵌入与统计/语言特征的特征增强Transformer模型,通过序列跨语言微调在多语言、单语言及零样本设置下取得有竞争力的性能,并验证了特征组合与跨语言迁移的作用。
2025-07-01 cs.CL