Offensive Language Identification in Low-resourced Code-mixed Dravidian languages using Pseudo-labeling
Indian Institute of Information Technology Tiruchirappalli(蒂鲁奇拉帕利印度信息技术学院);ULTRA Arts and Science College(ULTRA文理学院);Eastern University(东方大学);Kongu Engineering College(孔古工程学院);Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院);Insight SFI Research Centre for Data Analytics, National University of Ireland Galway(爱尔兰国立大学戈尔韦分校SFI洞察数据分析研究中心)
社交媒体已经成为沟通和数字营销的主要枢纽。由于这些平台能够以文本、图像和视频的形式自由表达思想和事实,因此需要对其进行广泛的筛选,以保护个人和团体免受针对他们的攻击性内容的影响。我们的工作旨在对泰米尔语、卡纳达语和马拉雅拉姆语的德拉威语中的代码混合社交媒体评论/帖子进行分类。我们打算通过在数据集上生成伪标签来改进攻击性语言识别。自定义数据集是通过将所有代码混合的文本音译为相应的德拉威语(卡纳达语、马拉雅拉姆语或泰米尔语),然后为音译数据集生成伪标签来构建的。这两个数据集使用生成的伪标签组合,以创建称为CMTRA的自定义数据集。由于达罗毗荼语资源不足,我们的方法增加了语言模型的训练数据量。我们在新构建的数据集上微调了几个最近预训练的语言模型。我们提取预训练的语言嵌入,并将它们传递到递归神经网络上。我们观察到,在自定义数据集上微调ULMFiT在所有三种语言的代码混合测试集上产生了最佳结果。我们的方法在泰米尔语英语的基准模型中产生了最好的结果,实现了0.7934的加权F1分数,同时在马拉雅拉姆语英语和卡纳达语英语的代码混合测试集上分别获得了0.9624和0.7306的竞争加权F1分数。
2021-08-27 cs.CL
Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl
LIFAT, Université de Tours(图尔大学计算机科学、人工智能与图像处理实验室);Instituto de Investigaciones en Educación, Universidad Veracruzana(韦拉克鲁斯大学教育研究所);Trading Central(Trading Central公司);Independent Researcher(独立研究员)
本文探讨在计算资源有限的语言中,语料重复是否有助于自然语言处理。通过纳瓦特尔语语料扩展实验,发现可控重复可提升嵌入学习效果。
2026-04-08 cs.CL
Physical Commonsense Reasoning for Lower-Resourced Languages and Dialects: a Study on Basque
本文提出BasPhyCo数据集,评估LLM在巴斯克语中物理常识推理能力,发现低资源语言中LLM在处理方言时物理常识能力有限。
2026-04-13 cs.CL
Subasa - Adapting Language Models for Low-resourced Offensive Language Detection in Sinhala
University of Kelaniya(凯拉尼亚大学);Rochester Institute of Technology(罗切斯特理工学院);George Mason University(乔治梅森大学)
本文针对僧伽罗语低资源冒犯性语言检测,探索了新微调策略并提出四个模型,其中Subasa-XLM-R在SOLD数据集上Macro F1达0.84,超越GPT-4o等先进模型。
2025-04-02 cs.CL
Separating Grains from the Chaff: Using Data Filtering to Improve Multilingual Translation for Low-Resourced African Languages
TUM(慕尼黑工业大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);University of Cape Town(开普敦大学);African Institute for Mathematical Sciences(非洲数学科学研究所);Luleå University of Technology(吕勒奥理工大学);LIAAD-INESC TEC(LIAAD-INESC科技与工程研究所);Uppsala University(乌普萨拉大学);Ford Motor Company(福特汽车公司);University of Chinese Academy of Sciences(中国科学院大学);Ahmadu Bello University(艾哈迈德·贝罗大学);University of the Witwatersrand(威特沃特斯兰德大学);Saarland University(萨尔大学)
我们参与了WMT 2022非洲语言共享任务大规模机器翻译评估。这项工作描述了我们的方法,这是基于过滤给定的噪声数据,使用一个双对分类器,这是通过微调预先训练的语言模型。为了训练分类器,我们从金标准策展数据集中获得阳性样本(即高质量的平行句子),并通过选择具有低对齐分数的句子从自动对齐的平行数据中提取阴性样本(即低质量的平行句子)。然后,我们最终的机器翻译模型在过滤后的数据上进行训练,而不是整个噪声数据集。我们通过对两个常见数据集的评估来实证验证我们的方法,并表明数据过滤通常会提高整体翻译质量,在某些情况下甚至会显着提高。
2022-10-20 cs.CL
Building a Strong Instruction Language Model for a Less-Resourced Language
University of Ljubljana, Faculty of Computer and Information Science(卢布尔雅那大学计算机与信息科学学院)
本文提出了一种针对斯洛文尼亚语的高性能开源语言模型GaMS3-12B,通过预训练和微调方法在多个评估任务中优于现有模型。
2026-03-02 cs.CL cs.LG
Bhaasha, Bhasa, Zaban: A Survey for Low-Resourced Languages in South Asia -- Current Stage and Challenges
Dept of Computer Science & Engineering, West Bengal University of Technology(计算机科学与工程系,西孟加拉理工大学);Department of Computer Science, University of Memphis(计算机科学系,孟菲斯大学)
本综述考察了2020年以来南亚低资源语言NLP模型的发展与挑战,重点分析了基于transformer的模型在数据、模型和任务三方面的进展与差距,呼吁社区解决数据缺失、语码混合及评估基准缺失等问题。
2025-09-15 cs.CL
Adapting Pre-trained Language Models to African Languages via Multilingual Adaptive Fine-Tuning
Saarland University(萨尔兰大学)
多语言预训练的语言模型(PLM)在高资源和低资源语言的几个下游任务上表现出令人印象深刻的性能。然而,在预训练期间看不见的语言,特别是非洲语言,仍然存在很大的性能下降。适应新语言的最有效方法之一是\textit{language adaptive fine-tuning}(LAFT)--使用预训练目标在一种语言的单语文本上微调多语言PLM。然而,单独适应目标语言需要大量的磁盘空间,并限制了所得到的模型的跨语言迁移能力,因为它们是专门针对单一语言的。在本文中,我们执行\textit{multilingual adaptive fine-tuning}对17个资源最丰富的非洲语言和其他三个高资源的语言在非洲大陆广泛使用,以鼓励跨语言迁移学习。为了进一步专门化多语言PLM,我们在MAFT之前从嵌入层中删除了与非非洲书写脚本相对应的词汇标记,从而将模型大小减少了约50%。我们对两种多语言PLM(AfriBERTa和XLM-R)和三种NLP任务(NER,新闻主题分类和情感分类)的评估表明,我们的方法在单个语言上应用LAFT时具有竞争力,同时需要更少的磁盘空间。此外,我们表明,我们的适应PLM也提高了参数高效微调方法的zero-shot跨语言迁移能力。
2022-10-18 cs.CL
Open or Closed LLM for Lesser-Resourced Languages? Lessons from Greek
AUEB(雅典经济与商业大学);Archimedes/Athena RC(阿基米德/雅典研究中心);University of Ioannina(约阿尼纳大学);ILSP/Athena RC(语言处理研究所/雅典研究中心)
本研究针对现代希腊语,评估了开源与闭源大语言模型在七个NLP任务上的性能,创新性地将作者归属用于检测预训练数据使用,并展示了STE方法在法律文本聚类中的优势,为资源较少语言的NLP发展提供了路线图。
2025-01-22 cs.AI cs.CL cs.LG
Implicit Discourse Relation Classification For Nigerian Pidgin
Saarland University(萨尔大学)
针对尼日利亚皮钦语资源匮乏问题,本文比较了翻译回标与合成语料训练两种隐式话语关系分类方法,发现原生分类器在4-way和11-way任务上F1分别提升13.27%和33.98%。
2024-11-03 cs.CL
SSA-COMET: Do LLMs Outperform Learned Metrics in Evaluating MT for Under-Resourced African Languages?
Mila - Quebec AI Institute(魁北克AI研究所);McGill University(麦吉尔大学);University College London(伦敦大学学院);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席);Google(谷歌);LLMC, National Institute of Informatics(LLMC,信息研究院);LIACC, Faculdade de Engenharia, Universidade do Porto(LIACC,工程学院,葡萄牙大学);CLUP, Faculdade de Letras, Universidade do Porto(CLUP,文学学院,葡萄牙大学)
针对非洲低资源语言机器翻译评估的现有指标缺陷,本研究构建了含14个语言对、7.3万余条标注的SSA-MTE数据集,开发出SSA-COMET系列评估指标,验证其性能优于AfriCOMET且比肩顶尖大语言模型,并开放所有资源。
2025-10-03 cs.AI cs.CL
Learning-From-Mistakes Prompting for Indigenous Language Translation
National Chung Hsing University(国立中兴大学)
本文提出从错误中学习提示等方法,利用大语言模型和少量平行语料及词典,有效提升极低资源原住民语言的翻译性能。
2024-07-18 cs.CL
LLMs for Translation: Historical, Low-Resourced Languages and Contemporary AI Models
Stanford University(斯坦福大学)
本文评估Gemini翻译18世纪奥斯曼土耳其语战俘回忆录的表现,发现安全机制误判14%至23%内容并造成漏译,揭示LLM在历史及当代敏感文本翻译中的局限。
2025-03-14 cs.AI cs.CL
Endangered Languages are not Low-Resourced!
University of Helsinki(赫尔辛基大学)
“低资源”这个词在自然语言处理领域被广泛使用,以至于几乎所有非英语的语言都可以被称为“低资源”;有时甚至只是为了让一篇平凡或平庸的论文看起来更有趣和更有见地。在一个英语是语言同义词,低资源是任何非英语的同义词的领域,称濒危语言为低资源有点言过其实。本文从自己的亲身经历出发,考察了濒危与低资源的关系。
2021-03-17 cs.CL
KyrgyzNLP: Challenges, Progress, and Future
Steklov Mathematical Institute at St. Petersburg(圣彼得堡斯捷克洛夫数学研究所);St. Petersburg State University(圣彼得堡国立大学);Kazan (Volga Region) Federal University(喀山(伏尔加地区)联邦大学);Kyrgyz State Technical University n. a. I. Razzakov(吉尔吉斯斯坦伊·拉扎科夫国立技术大学);The Cramer Project(克拉默项目);Kyrgyz AI Research Institute(吉尔吉斯斯坦人工智能研究院)
本文回顾了资源匮乏语言吉尔吉斯语NLP领域的现状、资源与挑战,强调社区驱动建设的重要性,并提出了未来研究主题与语言资源的发展路线图。
2024-11-16 cs.CL
Native vs Non-Native Language Prompting: A Comparative Analysis
Qatar Computing Research Institute(卡塔尔计算研究所);Qatar University(卡塔尔大学);Qatar University of Doha for Science and Technology(多哈科学技术卡塔尔大学);Liverpool John Moores University(利物浦约翰摩尔大学);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学)
本研究针对阿拉伯语这一中低资源语言,通过197组实验对比母语、非母语、混合三种提示策略在11项NLP任务上的表现,发现非母语提示效果最优。
2024-10-06 cs.AI cs.CL
Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark
Information Systems Lab, MEAD University of Patras, Rio Patras, Greece(信息系统实验室,MEAD帕特拉斯大学,帕特拉斯,希腊)
本研究提出DemosQA数据集和高效评估框架,评估11种LLM在希腊问答任务中的表现,以解决低资源语言的模型有效性问题。
2026-02-18 cs.AI cs.CL
High-quality Data-to-Text Generation for Severely Under-Resourced Languages with Out-of-the-box Large Language Models
ADAPT Research Centre(ADAPT研究中心);Dublin City University(都柏林城市大学)
本研究探索预训练LLMs在爱尔兰语等严重资源不足语言的数据到文本生成任务中的表现,发现其以大幅优势达到最新技术水平,最佳系统的人工评估表现与人类相当,但BLEU分数的下降质疑了该指标对非任务特定系统的适用性。
2024-02-19 cs.CL
Sherkala-Chat: Building a State-of-the-Art LLM for Kazakh in a Moderately Resourced Setting
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception;Cerebras Systems(Cerebras系统)
本文介绍Sherkala-Chat(8B),一个基于LLaMA-3.1-8B微调、在中等资源下为哈萨克语构建的最先进指令微调大语言模型,显著提升哈萨克语能力并开放权重。
2025-10-09 cs.CL
Short Text Language Identification for Under Resourced Languages
Feersum Engine(Feersum引擎公司);Praekelt Consulting(Praekelt咨询公司)
本文提出了一种用于短文本语言识别(LID)的分层朴素贝叶斯和基于词典的分类器,适用于资源不足的语言。该算法是评估短的文本片段的11个南非官方语言,其中一些是类似的语言。该算法相比,最近的方法,使用测试集从以前的作品南非语言,以及相似的语言(DSL)共享任务的数据集之间的区别。剩余的研究机会和紧迫的问题,在评估和比较LID方法进行了讨论。
2019-11-22 cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
词义消歧是自动识别句子中多义词的过程,是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上,在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源,有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究,并提出了一些值得关注的问题。
2013-10-05 cs.CL
A primer on getting neologisms from foreign languages to under-resourced languages
Pontificia Universidad Católica del Perú(秘鲁天主教大学)
本文针对低资源语言词汇不足问题,反对仅以殖民遗留的官方语言为新词来源,提出可从任意外语引入,只要新词在语音上像目标语言本族词。
2023-03-07 cs.CL
Are Multilingual Language Models an Off-ramp for Under-resourced Languages? Will we arrive at Digital Language Equality in Europe in 2030?
DFKI GmbH(德国人工智能研究中心);Humboldt-Universität zu Berlin(柏林洪堡大学)
本文探讨多语言LLM能否成为欧洲低资源语言的技术替代路径,分析技术支持现状与相关工作,并指出系统化落地所需解决的关键开放问题。
2025-02-18 cs.CL
Enhancing deep neural networks with morphological information
University of Ljubljana, Faculty of Computer and Information Science(卢布尔雅那大学计算机与信息科学学院)
深度学习方法在自然语言处理中具有优越性,因为它们能够从语言中提取信息特征和模式。两种最成功的神经架构是LSTM和Transformers,用于大型预训练语言模型,如BERT。虽然跨语言方法正在兴起,但目前大多数NLP技术都是针对英语设计和应用的,而资源较少的语言则落后了。在形态丰富的语言中,信息是通过形态来传达的,例如,通过词缀修饰词干。现有的神经方法没有明确地使用单词形态的信息。我们分析了向LSTM和BERT模型添加形态特征的效果。作为一个测试平台,我们使用了三个在许多资源较少的语言中可用的任务:命名实体识别(NER),依存句法分析(DP)和注释过滤(CF)。我们构建涉及LSTM和BERT模型的基线,通过添加词性(POS)标签和通用特征形式的额外输入来调整基线。我们比较了来自不同语系的几种语言的模型。我们的研究结果表明,添加形态特征具有混合效果,这取决于特征的质量和任务。这些特性提高了基于LSTM的模型在NER和DP任务上的性能,而它们对CF任务的性能没有好处。对于基于BERT的模型,形态特征仅在它们具有高质量时改善DP的性能,而在它们被预测时没有显示出实际的改善。即使对于高质量的功能,与大规模多语言BERT模型相比,特定于语言的BERT变体的改进也不太明显。由于在NER和CF数据集中手动检查的特征不可用,我们只对预测的特征进行实验,发现它们不会导致任何实际的性能改善。
2022-03-01 cs.CL
Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean
SeoulTech(首尔科技大学);Yonsei University(延世大学);Teddysum;KISTI(韩国科学技术信息研究院)
本研究提出词表扩展、双语预训练对齐和高质量指令微调三种策略,基于Llama2模型增强低资源语言韩语性能,实验证明Bllossom模型在定性和定量评估中优于现有韩语单语模型。
2024-03-21 cs.AI cs.CL
Assessing Readability with LLMs: The Role of Reasoning and Few-Shot Prompting
Université Paris-Saclay(巴黎-萨克雷大学);Jožef Stefan Institute(约热夫·斯特凡研究所)
本研究系统评估了多种开源LLM在多语言可读性评估中的表现,发现思维链推理和少样本提示显著提升预测质量,验证了LLM作为跨语言可读性评估器的有效性。
2026-09-22 cs.CL
Natural Language Processing Chains Inside a Cross-lingual Event-Centric Knowledge Pipeline for European Union Under-resourced Languages
University of Zagreb(萨格勒布大学);Faculty of Humanities and Social Sciences(人文与社会科学学院)
本文提出了一种开发包含欧盟语言的语言处理链的平台的策略,该平台由标记化到解析组成,还包括命名实体识别和附加的情感分析。这些链是以事件为中心的知识处理管道的第一步的一部分,其目的是处理有关可能影响欧洲和世界其他地区的重大事件的多语言媒体信息。由于每种语言的语言资源可用性存在差异,我们分三步构建了这一策略,从资源丰富的语言的处理链开始,到资源不足的语言的新模块的开发结束。为了根据资源对所有欧盟官方语言进行分类,我们分析了注释语料库的规模以及主流语言处理工具中预训练模型的存在,并将这些信息与META-NET白皮书系列中发布的拟议分类相结合。
2020-10-23 cs.CL
Generating bilingual example sentences with large language models as lexicography assistants
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
本文研究大语言模型为不同资源水平语言生成双语词典例句的能力,发现其在低资源语言上表现下降,并提出用上下文学习对齐个体标注者偏好及用困惑度自动评分,同时贡献了600条评分数据集。
2024-11-19 cs.AI cs.CL
Massive vs. Curated Word Embeddings for Low-Resourced Languages. The Case of Yorùbá and Twi
DFKI GmbH(德国人工智能研究中心);Saarland University(萨尔大学)
几种架构从未注释的文本中学习语义表示的成功,以及这些文本在在线多语言资源(如维基百科)中的可用性,促进了多语言资源的大规模自动创建。对这些资源的评估通常是针对高资源语言进行的,在这些语言中,人们有大量的任务和测试集需要评估。对于低资源语言,评估更加困难,通常被忽略,希望深度学习架构在高资源环境中学习(多语言)表示的令人印象深刻的能力也适用于低资源环境。在本文中,我们重点关注两种非洲语言,Yorūbá和Twi,并将以这种方式获得的词嵌入与从精选语料库和语言相关处理中获得的词嵌入进行比较。我们分析了公开语料库中的噪音,收集了两种语言的高质量和噪音数据,并量化了不仅取决于数据量而且取决于质量的改进。我们还使用不同的架构,从表面形式和字符中学习单词表示,以进一步利用所有可用的信息,这些信息对这些语言很重要。为了进行评估,我们将wordsim-353单词对数据集从英语手动翻译为Yorkbá和Twi。作为输出的工作,我们提供语料库,嵌入和测试适合这两种语言。
2020-03-28 cs.CL
Evaluating Language Tools for Fifteen EU-official Under-resourced Languages
University of Zagreb, Faculty of Humanities and Social Sciences(萨格勒布大学人文与社会科学学院)
本文介绍了15个欧盟官方资源不足的语言可用的语言工具的评估活动的结果。该评估是在MSC ITN CLEOPATRA行动中进行的,该行动旨在在至少24种欧盟官方语言的语言处理链(LPC)应用程序的基础上建立以跨语言事件为中心的知识处理。在这次活动中,我们集中在三个现有的NLP平台(Stanford CoreNLP,NLP Cube,UDPipe)上,它们都为资源不足的语言提供了模型,在第一次运行中,我们涵盖了15种资源不足的语言。我们提出的评估活动的设计,并提出的结果,以及讨论它们。我们认为报告结果和我们检测结果之间的差异在单个百分点内,在可接受的公差范围内,因此认为该结果具有重现性。然而,对于一些语言,结果低于文献中报道的,在某些情况下,我们的测试结果甚至比以前报道的更好。特别成问题的是对全国教育资源中心系统的评价。原因之一是缺乏通用或跨语言适用的命名实体分类方案,该方案将在不同语言中服务于NERC任务,类似于解析任务中的通用依赖方案。建立这样的方案已成为我们未来的研究方向之一。
2020-10-23 cs.CL
Analysing Cross-Lingual Transfer in Low-Resourced African Named Entity Recognition
University of the Witwatersrand(威特沃特斯兰德大学)
本文从命名实体识别角度研究了十种低资源非洲语言间的跨语言迁移特性,发现自适应微调与迁移语言选择影响零样本迁移性能,且数据重叠量比语言地理或谱系距离更能预测迁移效果。
2023-09-11 cs.CL
LR-Sum: Summarization for Less-Resourced Languages
Mitchom School of Computer Science(米彻姆计算机科学学院);Brandeis University(布兰迪斯大学)
本文介绍LR-Sum数据集,覆盖40种资源较少语言的人工摘要,基于公共领域新闻语料构建并以CC BY 4.0开放许可发布,旨在促进低资源语言自动摘要研究。
2023-10-26 cs.CL
Babel: Open Multilingual Large Language Models Serving Over 90% of Global Speakers
DAMO Academy, Alibaba Group(阿里巴巴达摩院)
针对开源多语言LLM语言覆盖不足的问题,提出Babel模型,通过层扩展技术支持全球90%以上人口的25种语言,其9B和83B变体在多语言任务上表现卓越,达到商业模型水平。
2025-03-02 cs.AI cs.CL
Bootstrapping NLP tools across low-resourced African languages: an overview and prospects
University of Cape Town(开普敦大学)
计算和互联网接入是南部非洲大幅度增长的市场,随之而来的是对非洲土著语言的本地内容和工具的需求日益增加。由于这些语言中的大多数都是低资源的,因此人们努力研究从一种非洲语言到另一种非洲语言的自助工具的概念。本文提供了一个概述,这些努力的刚果B(“班图”)语言。地理上遥远的语言的自举语法已经被证明对于形态和规则或基于语法的自然语言生成仍然具有积极的结果。使用数据驱动的方法进行NLP任务的自举很难有意义地使用,无论地理位置是否接近,这在很大程度上是由于拼写和词汇的词汇多样性。比较语言学中的分支分类方法可以为自举策略提供信息,相似性度量也可以作为自举潜力的代理,这两种方法都是进一步研究的沃土。
2022-10-21 cs.CL
Minimal Dependency Translation: a Framework for Computer-Assisted Translation for Under-Resourced Languages
Indiana University(印第安纳大学)
本文介绍了最小依赖翻译(MDT),一个正在进行的项目,以开发一个基于规则的框架,创建基本的双语词汇语法的机器翻译和计算机辅助翻译成和出资源不足的语言,以及对英语到阿姆哈拉语翻译实施MDT的初步步骤。MDT中的基本单位称为组,是以多项序列为标题的。除了词形之外,组还可能包含词素、句法语义类别和语法特征。每个组与一个或多个翻译相关联,每个翻译是目标语言的组。在翻译过程中,使用约束满足来为输入句子选择一组源语言组,并对相关联的目标语言组中的单词进行排序。
2017-10-02 cs.CL
Developing a Fine-Grained Corpus for a Less-resourced Language: the case of Kurdish
University of Kurdistan Hewlêr(库尔德斯坦大学( Hewlêr));Insight Centre for Data Analytics(数据 analytics 洞察中心);National University of Ireland Galway(爱尔兰国立高威大学)
库尔德语是一种资源较少的语言,由不同的方言组成,以各种文字书写。在不同的国家,大约有3000万人说这种语言。语料库的缺乏是库尔德语处理的主要障碍之一。本文介绍了由31本Sorani方言的K-12教材组成的库尔德语教材语料库KTC。语料库被规范化并分类为12个教育主题,包含693,800个标记(110,297种类型)。我们的资源根据CC BY-NC-SA 4.0许可证公开用于非商业用途。
2019-09-25 cs.CL
Effects of Layer Freezing on Transferring a Speech Recognition System to Under-resourced Languages
University of Duisburg-Essen(杜伊斯堡-埃森大学)
在本文中,我们研究了自动语音识别领域中层冻结对模型转移有效性的影响。我们在德语和瑞士德语语音数据集上使用Mozilla的DeepSpeech架构进行了实验,并比较了从头开始训练与传输预训练模型的结果。我们比较了不同的层冻结方案,发现即使只冻结一层也能显著改善结果。
2022-10-04 cs.CL
Data-Efficient Strategies for Expanding Hate Speech Detection into Under-Resourced Languages
University of Oxford(牛津大学);Bocconi University(博科尼大学);Stanford University(斯坦福大学)
仇恨言论是一种全球现象,但迄今为止,大多数仇恨言论数据集都集中在英语内容上。这阻碍了在世界各地数十亿人使用的数百种语言中开发更有效的仇恨言论检测模型。需要更多的数据,但注释仇恨内容是昂贵的,耗时的,并可能对注释者有害。为了缓解这些问题,我们探索数据高效的策略,将仇恨言论检测扩展到资源不足的语言中。在五种非英语语言的单语言和多语言模型的一系列实验中,我们发现:1)需要少量的目标语言微调数据才能实现强大的性能,2)使用更多此类数据的好处呈指数级下降,3)对现成的英语数据进行初始微调可以部分替代目标语言数据并提高模型的通用性。基于这些发现,我们制定了可操作的建议,在低资源的语言设置仇恨言论检测。
2022-10-20 cs.CL
Attentive fine-tuning of Transformers for Translation of low-resourced languages @LoResMT 2021
Indian Institute of Information Technology Tiruchirappalli(印度特里奇拉帕利信息技术学院);ULTRA Arts and Science College(ULTRA文理学院);Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院);Kongu Engineering College(孔古工程学院);Sultan Idris Education University(苏丹依德里斯教育大学);National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
本文报告了IIITT团队为英语-马拉地语和英语-爱尔兰语语言对LoResMT 2021共享任务提交的机器翻译(MT)系统。该任务的重点是为爱尔兰语和马拉地语等资源相对较低的语言提供出色的翻译。我们微调IndicTrans,这是一个针对英语->马拉地语的预训练多语言NMT模型,使用外部并行语料库作为额外训练的输入。我们对后一种语言对使用了预先训练的Helsinki-NLP Opus MT English->Irish模型。我们的方法在BLEU指标上产生了相对有希望的结果。在团队名称IIITT下,我们的系统分别在英语->马拉地语,爱尔兰语->英语和英语->爱尔兰语中排名1,1和2。
2021-08-31 cs.CL
cantnlp@LT-EDI-2024: Automatic Detection of Anti-LGBTQ+ Hate Speech in Under-resourced Languages
University of Canterbury(坎特伯雷大学);Geospatial Research Institute(地理空间研究所)
本研究针对低资源语言下的反LGBTQ+仇恨言论检测问题,采用基于transformer的多分类模型,通过引入语码转换数据进行领域适配,在LT-EDI-2024共享任务的古吉拉特语、泰卢固语赛道获第二名,验证了副语言特征对低资源语言检测的提升作用。
2024-01-28 cs.CL
Prompting Towards Alleviating Code-Switched Data Scarcity in Under-Resourced Languages with GPT as a Pivot
University of Pretoria(比勒陀利亚大学)
本研究通过提示GPT 3.5生成Afrikaans-English和Yoruba-English语码转换句子,提出一种利用GPT增强合成数据多样性的框架,以缓解低资源语言的数据稀缺问题。
2024-04-26 cs.CL
mRAKL: Multilingual Retrieval-Augmented Knowledge Graph Construction for Low-Resourced Languages
UC Berkeley(伯克利大学);Apple(苹果公司)
本文提出mRAKL系统,将多语言知识图谱构建重构为问答任务,结合检索增强生成技术,在提格里尼亚语和阿姆哈拉语等低资源语言上显著提升链接预测准确率。
2025-07-21 cs.CL
Evaluation of contextual embeddings on less-resourced languages
University of Ljubljana(卢布尔雅那大学);Queen Mary University of London(伦敦玛丽女王大学);Jožef Stefan Institute(约泽夫·斯蒂芬研究所)
目前深度神经网络在自然语言处理中的主导地位是基于上下文嵌入,如ELMo,BERT和BERT衍生物。大多数现有的工作集中在英语,相比之下,我们在这里提出的第一个多语言的实证比较两个ELMo和几个单语和多语言的BERT模型使用14个任务,在9种语言。在单语环境中,我们的分析表明,单语BERT模型通常占主导地位,有一些例外,如依存句法分析任务,在那里他们是没有竞争力的ELMo模型上训练的大型语料库。在跨语言环境中,仅使用少数语言训练的BERT模型表现最好,紧随其后的是大规模多语言BERT模型。
2021-07-22 cs.CL
Yunshan Cup 2020: Overview of the Part-of-Speech Tagging Task for Low-resourced Languages
Guangdong University of Foreign Studies(广东外语外贸大学)
2020年云山杯的重点是创建一个评估不同词性(POS)方法的框架。这条赛道有两个任务:(1)印度尼西亚语的POS标记,以及(2)老挝语的POS标记。印尼语数据集由29个标签内的10000个印尼语新闻句子组成。老挝的数据集由27个标签中的8000个句子组成。有25个团队报名参加了这项任务。参与者的方法从基于特征到使用经典机器学习技术或集成方法的神经网络不等。表现最好的结果达到了95.82%的准确率为印尼和93.03%,表明神经序列标记模型显着优于经典的基于特征的方法和基于规则的方法。
2022-04-06 cs.CL
Comparing Approaches to Automatic Summarization in Less-Resourced Languages
本文比较了不同方法在资源较少语言中自动摘要的效果,发现多语言微调的mT5基线表现最佳,而LLM作为评判者在资源较少语言上可靠性较低。
2025-12-30 cs.AI cs.CL
Script Normalization for Unconventional Writing of Under-Resourced Languages in Bilingual Communities
George Mason University(乔治梅森大学)
本文研究双语社区中资源匮乏语言使用波斯-阿拉伯文字书写时的文字规范化问题,通过合成噪声数据和Transformer模型有效解决该问题,并证明其能提升机器翻译和语言识别等下游任务性能。
2023-05-25 cs.CL
Toward More Meaningful Resources for Lower-resourced Languages
Michtom School of Computer Science(米奇姆计算机科学学院);Brandeis University(布兰迪斯大学)
在这份立场文件中,我们阐述了我们的观点,即应如何为资源较少的语言开发与这些语言的使用者有关的有意义的资源。我们首先详细研究两个大规模多语言资源。我们探索了存储在维基数据中的一些资源较少的语言的名称的内容,发现其中许多实际上并不是他们声称的语言,需要付出不小的努力来纠正。我们讨论WikiAnn中存在的质量问题,并评估它是否是手工注释数据的有用补充。然后,我们讨论了以一种深思熟虑和道德的方式为低资源语言创建注释的重要性,其中包括语言的使用者作为开发过程的一部分。最后,我们提出了资源开发的建议准则。
2022-02-24 cs.AI cs.CL
Low-resourced Languages and Online Knowledge Repositories: A Need-Finding Study
UC Berkeley(加州大学伯克利分校)
本研究通过主题分析和情境调查,发现低资源语言贡献者在维基百科上面临资源匮乏和技术支持不足的挑战,旨在为设计师提供改进在线知识库可访问性的见解。
2024-05-26 cs.CL cs.HC
End-to-End Code-Switching ASR for Low-Resourced Language Pairs
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学)
尽管在端到端(E2 E)自动语音识别(ASR)方面取得了重大进展,但针对低资源代码切换(CS)语音的E2 E ASR尚未得到很好的研究。在这项工作中,我们描述了一个E2 E ASR管道识别CS语音,其中低资源的语言是混合了高资源的语言。声学数据的低资源性比传统的ASR系统更严重地阻碍了E2 E ASR系统的性能。为了缓解这个问题,在转录档案与代码切换弗里斯兰语-荷兰语语音,我们集成了指定的解码方案,并与基于神经网络的语言模型进行重新评分,以使更好地利用可用的文本资源。我们首先采用了多图解码方法,该方法为每个单语和混合识别任务创建并行搜索空间,以最大限度地利用每种语言的文本资源。此外,使用用跨语言嵌入预训练的递归神经网络来执行语言模型重新评分,并进一步用有限量的域内CS文本来适配。ASR实验证明了所描述的技术在低资源场景中提高E2 E CS ASR系统的识别性能的有效性。
2019-09-30 cs.CL eess.AS
The Impact of Data Corruption on Named Entity Recognition for Low-resourced Languages
University of the Witwatersrand(威特沃特斯兰德大学)
本文系统研究了低资源语言环境下数据数量与质量对预训练语言模型命名实体识别性能的影响,发现完全标注的少量数据优于缺失标签的大量数据,且模型仅用10%训练数据即可表现优异,该结论在多种语言和模型中均成立。
2023-11-25 cs.AI cs.CL
Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair
本研究通过构建半合成平行数据集,探索了如何提升资源匮乏语言对的翻译质量估计性能,重点在于解决数据不足和语言复杂性问题,通过引入受控翻译错误和多模型训练来优化QE效果。
2026-03-12 cs.CL
Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
多语言语言模型是一个关键的突破,因为它们大大减少了资源不足语言的数据需求。尽管如此,语言特定模型的优越性已经被证明可以访问大量数据的语言。在这项工作中,我们专注于加泰罗尼亚语的目的是探讨在何种程度上一个中等规模的单语语言模型是最先进的大型多语言模型的竞争力。为此,我们:(1)建立一个干净,高质量的文本加泰罗尼亚语语料库(CaText),迄今为止最大的(但只有以前在单语语言模型中工作的通常大小的一小部分),(2)训练加泰罗尼亚语(BERTA)的基于transformer的语言模型,以及(3)在多种设置中设计彻底的评估,包括一系列完整的下游任务,即,词性标记,命名实体识别和分类、文本分类、问答和语义文本相似性,大多数相应的数据集都是从头创建的。结果是一个新的基准,加泰罗尼亚语语言理解基准(CLUB),我们将其作为开放资源与干净的文本语料库,语言模型和清理管道一起发布。使用最先进的多语言模型和仅在维基百科上训练的单语模型作为基线,我们始终观察到我们的模型在任务和设置中的优越性。
2021-07-16 cs.CL
Neural Machine Translation for Low-Resourced Indian Languages
Delhi Technological University (Formerly Delhi college of Engineering)(德里理工大学(原德里工程学院))
网上有大量重要的英文资料,这些资料经常被翻译成当地语言,以方便不太熟悉英文的当地人分享信息。然而,手动翻译是一个非常繁琐、昂贵和耗时的过程。为此,机器翻译是一种有效的方法,可以将文本转换为不同的语言,而无需任何人工参与。神经机器翻译(NMT)是现有机器翻译系统中最成熟的翻译技术之一。在本文中,我们已经应用NMT两个最形态丰富的印度语言,即英语泰米尔语和英语马拉雅拉姆语。我们提出了一种新的NMT模型,使用多头自注意力以及预训练的字节对编码(BPE)和MultiBPE嵌入来开发一个有效的翻译系统,该系统克服了低资源形态丰富的印度语言的OOV(词汇量不足)问题,这些语言在网上没有太多的翻译。我们还从不同的来源收集语料,解决这些公开可用的数据的问题,并完善它们以供进一步使用。我们使用BLEU分数来评估我们的系统性能。实验结果和调查证实,我们提出的翻译(24.34和9.78 BLEU分数)优于谷歌翻译(9.40和5.94 BLEU分数)分别。
2020-04-19 cs.CL
Low-Resourced Machine Translation for Senegalese Wolof Language
Université Cheikh Anta Diop(谢赫·安达·迪奥普大学);Baamtu(Baamtu公司)
针对非洲沃洛夫语等低资源语言NLP发展滞后的问题,该研究构建了12.3万句对的沃洛夫语-法语平行语料,基于RNN开展不同配置的机器翻译实验,验证了子词数据、法英对训练的性能增益。
2023-05-01 cs.CL