Crowdsourced Phrase-Based Tokenization for Low-Resourced Neural Machine Translation: The Case of Fon Language
Jacobs University Bremen(雅各布大学不来梅);Technical University of Munich(慕尼黑工业大学)
为资源非常贫乏且形态丰富的非洲土著语言构建有效的神经机器翻译(NMT)模型是一个开放的挑战。除了为它们找到可用资源的问题外,还需要进行大量的预处理和标记化工作。最近的研究表明,标准的标记化方法并不总是能够充分处理某些非洲语言的语法、变音和音调属性。再加上训练样本的可用性极低,阻碍了可靠的NMT模型的产生。在本文中,使用Fon语言作为案例研究,我们重新审视了标准的标记化方法,并引入了基于单词表达式(WEB)的标记化,这是一种人工参与的超词标记化策略,可以创建更好的代表性词汇进行训练。此外,我们将我们的标记化策略与其他人在Fon-French和French-Fon翻译任务上进行了比较。
2021-03-17 cs.AI cs.CL
High-quality Data-to-Text Generation for Severely Under-Resourced Languages with Out-of-the-box Large Language Models
ADAPT Research Centre(ADAPT研究中心);Dublin City University(都柏林城市大学)
本研究探索预训练LLMs在爱尔兰语等严重资源不足语言的数据到文本生成任务中的表现,发现其以大幅优势达到最新技术水平,最佳系统的人工评估表现与人类相当,但BLEU分数的下降质疑了该指标对非任务特定系统的适用性。
2024-02-19 cs.CL
Weakly-supervised Deep Cognate Detection Framework for Low-Resourced Languages Using Morphological Knowledge of Closely-Related Languages
Adobe Research Bangalore, India(Adobe研究院班加罗尔);Data Science Institute, University of Galway, Ireland(爱尔兰戈尔韦大学数据科学研究所);Università Cattolica del Sacro Cuore, Milan, Italy(意大利米兰圣心天主教大学)
针对低资源语言同源词检测标注不足、现有方法性能差的问题,提出利用亲缘语言形态学知识的弱监督深度框架,无需同源词标注即可实现检测,在多语系数据集上性能超越现有最优的有监督与无监督方法。
2023-11-09 cs.AI cs.CL
On Building Spoken Language Understanding Systems for Low Resourced Languages
J.P.Morgan AI Research(摩根大通人工智能研究院)
口语对话系统正慢慢成为人类体验的一部分,这是由于它们比文本界面具有各种优势。口语语言理解(SLU)系统是口语对话系统的基本构建块。但是为低资源语言创建SLU系统仍然是一个挑战。在大量的低资源语言中,我们无法获得足够的数据来构建自动语音识别(ASR)技术,这是任何SLU系统的基础。此外,基于ASR的SLU系统不推广到非书面语言。在本文中,我们提出了一系列实验来探索资源极其匮乏的环境,在这些环境中,我们使用每个意图低至一个数据点的系统进行意图分类,并且数据集中只有一个说话者。我们还在低资源环境中工作,在这种环境中,我们不使用特定于语言的ASR系统来转录输入语音,这使得构建SLU系统来模拟真正的低资源环境的挑战更加复杂。我们测试我们的系统比利时荷兰语(佛兰芒语)和英语,并发现使用语音音标,使意图分类系统在这样的低资源设置执行显着优于使用语音功能。具体来说,当使用基于语音的系统在基于特征的系统,我们看到平均改善12.37%和13.08%的二进制和四类分类问题,分别超过49个不同的实验设置时。
2022-05-25 cs.AI cs.CL cs.SD
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
词义消歧是自动识别句子中多义词的过程,是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上,在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源,有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究,并提出了一些值得关注的问题。
2013-10-05 cs.CL
Under-resourced studies of under-resourced languages: lemmatization and POS-tagging with LLM annotators for historical Armenian, Georgian, Greek and Syriac
LIPN, CNRS UMR 7030(法国国家科学研究中心LIPN实验室(UMR 7030));École nationale des chartes, Université Paris-Sciences-et-Lettres (PSL)(巴黎文理研究大学(PSL)国立文献学院);Université catholique de Louvain(鲁汶天主教大学)
本文研究了LLM在低资源语言词形还原和词性标注中的表现,发现其在少量样本设置中表现优异,尤其在缺乏数据时能有效辅助标注。
2026-02-17 cs.CL
Phonetically rich corpus construction for a low-resourced language
Alana AI Research(Alana AI研究院)
本文提出一种为巴西葡萄牙语构建语音丰富语料库的新方法,包括文本收集、基于三音子分布的句子选择及新音位分类,显著提高了不同三音子的覆盖率。
2024-02-08 cs.AI cs.CL
Short Text Language Identification for Under Resourced Languages
Feersum Engine(Feersum引擎公司);Praekelt Consulting(Praekelt咨询公司)
本文提出了一种用于短文本语言识别(LID)的分层朴素贝叶斯和基于词典的分类器,适用于资源不足的语言。该算法是评估短的文本片段的11个南非官方语言,其中一些是类似的语言。该算法相比,最近的方法,使用测试集从以前的作品南非语言,以及相似的语言(DSL)共享任务的数据集之间的区别。剩余的研究机会和紧迫的问题,在评估和比较LID方法进行了讨论。
2019-11-22 cs.CL
FairytaleQA Translated: Enabling Educational Question and Answer Generation in Less-Resourced Languages
Artificial Intelligence and Computer Science Laboratory (LIACC) Faculty of Engineering of the University of Porto (FEUP)(人工智能与计算机科学实验室(LIACC)工程学院(FEUP))
本文将 FairytaleQA 机器翻译为低资源语言版本,并基于微调中等模型建立 QG 与 QA 基准,结合问答对生成案例和多维质量评估推动相关研究。
2024-06-24 cs.AI cs.CL
Content-Localization based System for Analyzing Sentiment and Hate Behaviors in Low-Resource Dialectal Arabic: English to Levantine and Gulf
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);University of Ottawa(渥太华大学)
本文提出基于内容本地化的神经机器翻译与无监督主题分析系统,将英语资源适配到黎凡特和海湾阿拉伯方言,以提升情感与仇恨内容识别效果。
2023-11-27 cs.AI cs.CL
End-to-End Code-Switching ASR for Low-Resourced Language Pairs
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学)
尽管在端到端(E2 E)自动语音识别(ASR)方面取得了重大进展,但针对低资源代码切换(CS)语音的E2 E ASR尚未得到很好的研究。在这项工作中,我们描述了一个E2 E ASR管道识别CS语音,其中低资源的语言是混合了高资源的语言。声学数据的低资源性比传统的ASR系统更严重地阻碍了E2 E ASR系统的性能。为了缓解这个问题,在转录档案与代码切换弗里斯兰语-荷兰语语音,我们集成了指定的解码方案,并与基于神经网络的语言模型进行重新评分,以使更好地利用可用的文本资源。我们首先采用了多图解码方法,该方法为每个单语和混合识别任务创建并行搜索空间,以最大限度地利用每种语言的文本资源。此外,使用用跨语言嵌入预训练的递归神经网络来执行语言模型重新评分,并进一步用有限量的域内CS文本来适配。ASR实验证明了所描述的技术在低资源场景中提高E2 E CS ASR系统的识别性能的有效性。
2019-09-30 cs.CL eess.AS
Massive vs. Curated Word Embeddings for Low-Resourced Languages. The Case of Yorùbá and Twi
DFKI GmbH(德国人工智能研究中心);Saarland University(萨尔大学)
几种架构从未注释的文本中学习语义表示的成功,以及这些文本在在线多语言资源(如维基百科)中的可用性,促进了多语言资源的大规模自动创建。对这些资源的评估通常是针对高资源语言进行的,在这些语言中,人们有大量的任务和测试集需要评估。对于低资源语言,评估更加困难,通常被忽略,希望深度学习架构在高资源环境中学习(多语言)表示的令人印象深刻的能力也适用于低资源环境。在本文中,我们重点关注两种非洲语言,Yorūbá和Twi,并将以这种方式获得的词嵌入与从精选语料库和语言相关处理中获得的词嵌入进行比较。我们分析了公开语料库中的噪音,收集了两种语言的高质量和噪音数据,并量化了不仅取决于数据量而且取决于质量的改进。我们还使用不同的架构,从表面形式和字符中学习单词表示,以进一步利用所有可用的信息,这些信息对这些语言很重要。为了进行评估,我们将wordsim-353单词对数据集从英语手动翻译为Yorkbá和Twi。作为输出的工作,我们提供语料库,嵌入和测试适合这两种语言。
2020-03-28 cs.CL
A primer on getting neologisms from foreign languages to under-resourced languages
Pontificia Universidad Católica del Perú(秘鲁天主教大学)
本文针对低资源语言词汇不足问题,反对仅以殖民遗留的官方语言为新词来源,提出可从任意外语引入,只要新词在语音上像目标语言本族词。
2023-03-07 cs.CL
Are Multilingual Language Models an Off-ramp for Under-resourced Languages? Will we arrive at Digital Language Equality in Europe in 2030?
DFKI GmbH(德国人工智能研究中心);Humboldt-Universität zu Berlin(柏林洪堡大学)
本文探讨多语言LLM能否成为欧洲低资源语言的技术替代路径,分析技术支持现状与相关工作,并指出系统化落地所需解决的关键开放问题。
2025-02-18 cs.CL
Low-resourced Languages and Online Knowledge Repositories: A Need-Finding Study
UC Berkeley(加州大学伯克利分校)
本研究通过主题分析和情境调查,发现低资源语言贡献者在维基百科上面临资源匮乏和技术支持不足的挑战,旨在为设计师提供改进在线知识库可访问性的见解。
2024-05-26 cs.CL cs.HC
Shona spaCy: A Morphological Analyzer for an Under-Resourced Bantu Language
Pace University(帕克大学)
Shona spaCy是一种基于规则的开源工具,用于Shona语言的形态分析,通过结合词典和语言学规则,提升NLP在资源匮乏班图语言中的应用。
2025-11-12 cs.AI cs.CL
Natural Language Processing Chains Inside a Cross-lingual Event-Centric Knowledge Pipeline for European Union Under-resourced Languages
University of Zagreb(萨格勒布大学);Faculty of Humanities and Social Sciences(人文与社会科学学院)
本文提出了一种开发包含欧盟语言的语言处理链的平台的策略,该平台由标记化到解析组成,还包括命名实体识别和附加的情感分析。这些链是以事件为中心的知识处理管道的第一步的一部分,其目的是处理有关可能影响欧洲和世界其他地区的重大事件的多语言媒体信息。由于每种语言的语言资源可用性存在差异,我们分三步构建了这一策略,从资源丰富的语言的处理链开始,到资源不足的语言的新模块的开发结束。为了根据资源对所有欧盟官方语言进行分类,我们分析了注释语料库的规模以及主流语言处理工具中预训练模型的存在,并将这些信息与META-NET白皮书系列中发布的拟议分类相结合。
2020-10-23 cs.CL
LR-Sum: Summarization for Less-Resourced Languages
Mitchom School of Computer Science(米彻姆计算机科学学院);Brandeis University(布兰迪斯大学)
本文介绍LR-Sum数据集,覆盖40种资源较少语言的人工摘要,基于公共领域新闻语料构建并以CC BY 4.0开放许可发布,旨在促进低资源语言自动摘要研究。
2023-10-26 cs.CL
Effects of Layer Freezing on Transferring a Speech Recognition System to Under-resourced Languages
University of Duisburg-Essen(杜伊斯堡-埃森大学)
在本文中,我们研究了自动语音识别领域中层冻结对模型转移有效性的影响。我们在德语和瑞士德语语音数据集上使用Mozilla的DeepSpeech架构进行了实验,并比较了从头开始训练与传输预训练模型的结果。我们比较了不同的层冻结方案,发现即使只冻结一层也能显著改善结果。
2022-10-04 cs.CL
QFS-Composer: Query-focused summarization pipeline for less resourced languages
本文提出QFS-Composer框架,通过查询分解、问题生成、问题回答和抽象摘要提升摘要与用户意图的一致性,针对资源匮乏语言进行查询聚焦摘要研究。
2026-04-12 cs.CL
Analysing Cross-Lingual Transfer in Low-Resourced African Named Entity Recognition
University of the Witwatersrand(威特沃特斯兰德大学)
本文从命名实体识别角度研究了十种低资源非洲语言间的跨语言迁移特性,发现自适应微调与迁移语言选择影响零样本迁移性能,且数据重叠量比语言地理或谱系距离更能预测迁移效果。
2023-09-11 cs.CL
Developing a Fine-Grained Corpus for a Less-resourced Language: the case of Kurdish
University of Kurdistan Hewlêr(库尔德斯坦大学( Hewlêr));Insight Centre for Data Analytics(数据 analytics 洞察中心);National University of Ireland Galway(爱尔兰国立高威大学)
库尔德语是一种资源较少的语言,由不同的方言组成,以各种文字书写。在不同的国家,大约有3000万人说这种语言。语料库的缺乏是库尔德语处理的主要障碍之一。本文介绍了由31本Sorani方言的K-12教材组成的库尔德语教材语料库KTC。语料库被规范化并分类为12个教育主题,包含693,800个标记(110,297种类型)。我们的资源根据CC BY-NC-SA 4.0许可证公开用于非商业用途。
2019-09-25 cs.CL
Sequence to sequence pretraining for a less-resourced Slovenian language
University of Ljubljana(卢布尔雅那大学)
大型预训练语言模型最近征服了自然语言处理领域。作为BERT中引入的主要掩蔽语言建模的替代方案,T5模型引入了更一般的训练目标,即序列到序列转换,其包括掩蔽语言模型,但更自然地适合文本生成任务,例如机器翻译、摘要、问答、文本简化、对话系统、T5模型的单语变体仅限于资源丰富的语言,而大规模多语言T5模型支持101种语言。相比之下,我们训练了两个不同大小的T5类型序列到序列模型,用于形态丰富的斯洛文尼亚语,资源少得多,并分析了它们在11个任务上的行为。关于分类任务,SloT5模型大多落后于单语斯洛文尼亚语SloBERTA模型,但对于生成任务很有用。
2023-01-02 cs.CL
Open or Closed LLM for Lesser-Resourced Languages? Lessons from Greek
AUEB(雅典经济与商业大学);Archimedes/Athena RC(阿基米德/雅典研究中心);University of Ioannina(约阿尼纳大学);ILSP/Athena RC(语言处理研究所/雅典研究中心)
本研究针对现代希腊语,评估了开源与闭源大语言模型在七个NLP任务上的性能,创新性地将作者归属用于检测预训练数据使用,并展示了STE方法在法律文本聚类中的优势,为资源较少语言的NLP发展提供了路线图。
2025-01-22 cs.AI cs.CL cs.LG
Minimal Dependency Translation: a Framework for Computer-Assisted Translation for Under-Resourced Languages
Indiana University(印第安纳大学)
本文介绍了最小依赖翻译(MDT),一个正在进行的项目,以开发一个基于规则的框架,创建基本的双语词汇语法的机器翻译和计算机辅助翻译成和出资源不足的语言,以及对英语到阿姆哈拉语翻译实施MDT的初步步骤。MDT中的基本单位称为组,是以多项序列为标题的。除了词形之外,组还可能包含词素、句法语义类别和语法特征。每个组与一个或多个翻译相关联,每个翻译是目标语言的组。在翻译过程中,使用约束满足来为输入句子选择一组源语言组,并对相关联的目标语言组中的单词进行排序。
2017-10-02 cs.CL
KB-Plugin: A Plug-and-play Framework for Large Language Models to Induce Programs over Low-resourced Knowledge Bases
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
针对低资源知识库缺乏标注数据导致大语言模型程序归纳困难的问题,提出即插即用框架KB-Plugin,通过模式插件和PI插件实现低资源KB上的程序归纳,在小25倍骨干模型下性能优于或持平现有最优方法,接近监督方法水平。
2024-02-02 cs.CL
Contextualising Levels of Language Resourcedness that affect NLP tasks
University of Cape Town(开普敦大学);Stellenbosch University(斯泰伦博斯大学);South African Digital Language Resources Centre(南非数字语言资源中心)
本文提出通过上下文特征对语言资源进行分类,以更准确地评估影响NLP任务的语言资源水平。
2026-01-17 cs.CL
Evaluating Language Tools for Fifteen EU-official Under-resourced Languages
University of Zagreb, Faculty of Humanities and Social Sciences(萨格勒布大学人文与社会科学学院)
本文介绍了15个欧盟官方资源不足的语言可用的语言工具的评估活动的结果。该评估是在MSC ITN CLEOPATRA行动中进行的,该行动旨在在至少24种欧盟官方语言的语言处理链(LPC)应用程序的基础上建立以跨语言事件为中心的知识处理。在这次活动中,我们集中在三个现有的NLP平台(Stanford CoreNLP,NLP Cube,UDPipe)上,它们都为资源不足的语言提供了模型,在第一次运行中,我们涵盖了15种资源不足的语言。我们提出的评估活动的设计,并提出的结果,以及讨论它们。我们认为报告结果和我们检测结果之间的差异在单个百分点内,在可接受的公差范围内,因此认为该结果具有重现性。然而,对于一些语言,结果低于文献中报道的,在某些情况下,我们的测试结果甚至比以前报道的更好。特别成问题的是对全国教育资源中心系统的评价。原因之一是缺乏通用或跨语言适用的命名实体分类方案,该方案将在不同语言中服务于NERC任务,类似于解析任务中的通用依赖方案。建立这样的方案已成为我们未来的研究方向之一。
2020-10-23 cs.CL
Performance of Recent Large Language Models for a Low-Resourced Language
University of Moratuwa(莫拉图瓦大学)
本文评估了四款近期LLMs在低资源语言僧伽罗语上的直接表现、英译互译能力及少量数据微调潜力,发现Claude和GPT 4o开箱即用表现优异,而Llama和Mistral虽表现不佳但微调后有改进空间。
2024-07-31 cs.CL
SSA-COMET: Do LLMs Outperform Learned Metrics in Evaluating MT for Under-Resourced African Languages?
Mila - Quebec AI Institute(魁北克AI研究所);McGill University(麦吉尔大学);University College London(伦敦大学学院);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席);Google(谷歌);LLMC, National Institute of Informatics(LLMC,信息研究院);LIACC, Faculdade de Engenharia, Universidade do Porto(LIACC,工程学院,葡萄牙大学);CLUP, Faculdade de Letras, Universidade do Porto(CLUP,文学学院,葡萄牙大学)
针对非洲低资源语言机器翻译评估的现有指标缺陷,本研究构建了含14个语言对、7.3万余条标注的SSA-MTE数据集,开发出SSA-COMET系列评估指标,验证其性能优于AfriCOMET且比肩顶尖大语言模型,并开放所有资源。
2025-10-03 cs.AI cs.CL
Attention based Sequence to Sequence Learning for Machine Translation of Low Resourced Indic Languages -- A case of Sanskrit to Hindi
Chhotubhai Gopalbhai Patel Institute of Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学乔图巴伊·戈帕尔巴伊·帕特尔理工学院);Babumadhav Institute of Information Technology, Uka Tarsadia University(乌卡·塔萨迪亚大学巴布马德哈夫信息技术学院)
深度学习技术在模拟人类解决特定问题方面非常强大。他们在复杂的学习任务中表现出色。受深度学习启发的神经机器翻译(NMT)是一种优于传统机器翻译的熟练技术。考虑到印度语言丰富多样的语法,对印度语言进行机器辅助翻译一直是一项具有挑战性的任务。与传统的机器翻译方法相比,神经机器翻译已经显示出高质量的结果。全自动机器翻译在处理低资源语言时会出现问题,尤其是梵文。本文提出了一种基于注意注意力机制的神经机器翻译,在翻译过程中有选择地关注语言句子的特定部分。该工作展示了具有近10 K样本和178,000个标记的梵语到印地语双语平行语料库的构建。在梵语-印地语平行语料库上训练了具有注意力机制的神经翻译模型。这种方法显示了注意力机制的重要性,以克服长期的依赖关系,主要是与低资源的印度语。本文在测试数据上显示了注意力图,以证明源词和译文词之间的对齐。对于翻译句子的评价,采用了基于人工评分的人工评价和基于自动评价指标的技术。基于注意力机制的神经翻译在人类评估中达到了88%的准确率,在梵语到印地语的翻译中BLEU得分为0.92。
2021-09-07 cs.AI cs.CL
Bootstrapping NLP tools across low-resourced African languages: an overview and prospects
University of Cape Town(开普敦大学)
计算和互联网接入是南部非洲大幅度增长的市场,随之而来的是对非洲土著语言的本地内容和工具的需求日益增加。由于这些语言中的大多数都是低资源的,因此人们努力研究从一种非洲语言到另一种非洲语言的自助工具的概念。本文提供了一个概述,这些努力的刚果B(“班图”)语言。地理上遥远的语言的自举语法已经被证明对于形态和规则或基于语法的自然语言生成仍然具有积极的结果。使用数据驱动的方法进行NLP任务的自举很难有意义地使用,无论地理位置是否接近,这在很大程度上是由于拼写和词汇的词汇多样性。比较语言学中的分支分类方法可以为自举策略提供信息,相似性度量也可以作为自举潜力的代理,这两种方法都是进一步研究的沃土。
2022-10-21 cs.CL
mRAKL: Multilingual Retrieval-Augmented Knowledge Graph Construction for Low-Resourced Languages
UC Berkeley(伯克利大学);Apple(苹果公司)
本文提出mRAKL系统,将多语言知识图谱构建重构为问答任务,结合检索增强生成技术,在提格里尼亚语和阿姆哈拉语等低资源语言上显著提升链接预测准确率。
2025-07-21 cs.CL
Participatory Research for Low-resourced Machine Translation: A Case Study in African Languages
Masakhane;University of Pretoria(比勒陀利亚大学);Niger-Volta LTI;African Masters in Machine Intelligence(非洲机器智能硕士项目);Federal University of Technology, Akure(阿库雷联邦理工大学);University of Johannesburg(约翰内斯堡大学);Bayero University, Kano(卡诺贝罗大学);Jomo Kenyatta University of Agriculture and Technology(乔莫·肯雅塔农业技术大学);UESTC(电子科技大学);Siseng Consulting Ltd(Siseng咨询有限公司);African Leadership University(非洲领导力大学);InstaDeep Ltd(InstaDeep有限公司);Sapienza University of Rome(罗马第一大学);Udacity(优达城);Parliament, Republic of South Africa(南非共和国议会);Explore Data Science Academy(Explore数据科学学院);UCD, Konta;AI4D
NLP的研究缺乏地域多样性,如何将NLP扩展到低资源语言的问题尚未得到充分解决。“资源不足”是一个复杂的问题,超出了数据的可得性,反映了社会的系统性问题。在本文中,我们专注于机器翻译(MT)的任务,发挥了至关重要的作用,信息的可访问性和全球范围内的沟通。尽管在过去的十年中,机器翻译有了巨大的进步,但机器翻译仍然集中在少数几种高资源语言上。由于MT研究人员不能单独解决低资源的问题,我们建议参与式研究作为一种手段,涉及所有必要的代理人需要在MT开发过程中。我们展示了参与式研究的可行性和可扩展性与MT非洲语言的案例研究。它的实施导致了一系列新颖的翻译数据集,超过30种语言的MT基准,其中三分之一是人工评估,并使参与者能够在没有正式培训的情况下做出独特的科学贡献。基准、模型、数据、代码和评估结果在https://github.com/masakhane-io/masakhane-mt下发布。
2020-11-06 cs.AI cs.CL cs.LG
Data-Efficient Strategies for Expanding Hate Speech Detection into Under-Resourced Languages
University of Oxford(牛津大学);Bocconi University(博科尼大学);Stanford University(斯坦福大学)
仇恨言论是一种全球现象,但迄今为止,大多数仇恨言论数据集都集中在英语内容上。这阻碍了在世界各地数十亿人使用的数百种语言中开发更有效的仇恨言论检测模型。需要更多的数据,但注释仇恨内容是昂贵的,耗时的,并可能对注释者有害。为了缓解这些问题,我们探索数据高效的策略,将仇恨言论检测扩展到资源不足的语言中。在五种非英语语言的单语言和多语言模型的一系列实验中,我们发现:1)需要少量的目标语言微调数据才能实现强大的性能,2)使用更多此类数据的好处呈指数级下降,3)对现成的英语数据进行初始微调可以部分替代目标语言数据并提高模型的通用性。基于这些发现,我们制定了可操作的建议,在低资源的语言设置仇恨言论检测。
2022-10-20 cs.CL
Attentive fine-tuning of Transformers for Translation of low-resourced languages @LoResMT 2021
Indian Institute of Information Technology Tiruchirappalli(印度特里奇拉帕利信息技术学院);ULTRA Arts and Science College(ULTRA文理学院);Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院);Kongu Engineering College(孔古工程学院);Sultan Idris Education University(苏丹依德里斯教育大学);National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
本文报告了IIITT团队为英语-马拉地语和英语-爱尔兰语语言对LoResMT 2021共享任务提交的机器翻译(MT)系统。该任务的重点是为爱尔兰语和马拉地语等资源相对较低的语言提供出色的翻译。我们微调IndicTrans,这是一个针对英语->马拉地语的预训练多语言NMT模型,使用外部并行语料库作为额外训练的输入。我们对后一种语言对使用了预先训练的Helsinki-NLP Opus MT English->Irish模型。我们的方法在BLEU指标上产生了相对有希望的结果。在团队名称IIITT下,我们的系统分别在英语->马拉地语,爱尔兰语->英语和英语->爱尔兰语中排名1,1和2。
2021-08-31 cs.CL
Intent Recognition and Unsupervised Slot Identification for Low Resourced Spoken Dialog Systems
Carnegie Mellon University(卡内基梅隆大学)
意图识别和槽识别是口语语言理解(SLU)系统的重要组成部分。在本文中,我们提出了一种新的方法对这些任务的背景下,低资源和非书面语言。我们提出了一个基于声学的SLU系统,它使用通用的电话识别系统将语音转换为音标。我们建立了一个无词的自然语言理解模块,它可以从这些音标中进行意图识别和槽识别。我们提出的SLU系统执行资源丰富的情况下,具有竞争力,并显着优于现有的方法,可用数据量减少。我们观察到泰米尔语的意图分类改善了10%以上,僧伽罗语的意图分类改善了5%以上。我们还提出了一种新的方法对无监督槽识别使用归一化的注意力分数。该方法可用于无监督的时隙标记、数据增强以及仅用一个语音记录以一次性方式为新时隙生成数据
2021-09-28 cs.CL
Offensive Language Detection in Under-resourced Algerian Dialectal Arabic Language
Université 8 Mai 1945, Guelma(盖勒马1945年5月8日大学)
本文解决了检测Facebook评论中的攻击性和辱骂性内容的问题,我们专注于阿尔及利亚方言阿拉伯语,这是一种资源不足的语言。后者有各种方言混合不同的语言(即柏柏尔语,法语和英语)。此外,我们处理以阿拉伯语和罗马字母(即Arabizi)书写的文本。由于同一语言的作品稀缺,我们建立了一个新的语料库,重新组合了超过8.7k的文本,这些文本被手动标注为正常,辱骂和冒犯。我们使用最先进的文本分类分类器进行了一系列实验,即:BiLSTM,CNN,FastText,SVM和NB。结果表明,可以接受的性能,但问题需要进一步研究的语言特征,以提高识别精度。
2022-03-18 cs.CL cs.IR
Phonemic Representation and Transcription for Speech to Text Applications for Under-resourced Indigenous African Languages: The Case of Kiswahili
University of Nairobi(内罗毕大学);Maseno University(马塞诺大学);Africa Nazarene University(非洲拿撒勒大学)
构建自动语音识别(ASR)系统是一项具有挑战性的任务,特别是对于需要几乎从头开始构建语料库并且缺乏足够训练数据的资源不足的语言。已经出现的情况是,包括斯瓦希里语在内的几种非洲土著语言在技术上资源不足。ASR系统至关重要,特别是对听力受损的人来说,他们可以从母语的成绩单中受益。然而,转录语音数据集的缺乏使为这些土著语言开发ASR模型的努力变得复杂。本文探讨了斯瓦希里语语音语料库的转录过程和发展,其中包括读出文本和自发的斯瓦希里语母语者的语音数据。该研究还讨论了斯瓦希里语中的元音和辅音,并为使用CMU Sphinx语音识别工具箱(一个开源语音识别工具箱)创建的ASR模型提供了一个更新的斯瓦希里语音素词典。使用扩展语音集来训练ASR模型,其WER和SER分别为18.87%和49.5%,比之前针对资源不足语言的类似研究性能有所提高。
2022-10-29 cs.CL cs.SD eess.AS
Prompting Towards Alleviating Code-Switched Data Scarcity in Under-Resourced Languages with GPT as a Pivot
University of Pretoria(比勒陀利亚大学)
本研究通过提示GPT 3.5生成Afrikaans-English和Yoruba-English语码转换句子,提出一种利用GPT增强合成数据多样性的框架,以缓解低资源语言的数据稀缺问题。
2024-04-26 cs.CL
Low Resourced Machine Translation via Morpho-syntactic Modeling: The Case of Dialectal Arabic
New York University Abu Dhabi(纽约大学阿布扎比分校);Ohio State University(俄亥俄州立大学);Carnegie Mellon University Qatar(卡内基梅隆大学卡塔尔分校)
我们提出了第二次评估阿拉伯语方言到方言的机器翻译的努力,第一次利用外部资源超出了一个小的平行语料库。由于缺乏自然发生的平行数据,这个问题以前没有得到认真的关注;但它的重要性是由方言阿拉伯语的广泛使用和方言间变异的广度所证明的,与罗曼语相当。我们的研究结果表明,建模的形态和语法显着提高方言到方言的翻译,虽然优化这样的数据稀疏模型需要考虑方言之间的语言差异和可用数据和资源的性质。在单参考盲测试集上,未翻译的输入得分为6.5 BLEU,仅在并行数据上训练的模型达到14.6,枢轴技术和形态句法建模将性能显着提高到17.5。
2017-12-18 cs.CL
cantnlp@LT-EDI-2024: Automatic Detection of Anti-LGBTQ+ Hate Speech in Under-resourced Languages
University of Canterbury(坎特伯雷大学);Geospatial Research Institute(地理空间研究所)
本研究针对低资源语言下的反LGBTQ+仇恨言论检测问题,采用基于transformer的多分类模型,通过引入语码转换数据进行领域适配,在LT-EDI-2024共享任务的古吉拉特语、泰卢固语赛道获第二名,验证了副语言特征对低资源语言检测的提升作用。
2024-01-28 cs.CL
Abstractive Summarization of Low resourced Nepali language using Multilingual Transformers
Tribhuvan University(特里布万大学);Institute of Engineering, Pulchowk Campus(工程学院普尔乔克校区)
本研究针对低资源尼泊尔语抽象式摘要任务,构建新闻摘要数据集并微调mBART和mT5多语言Transformer模型,实验表明4位量化mBART结合LoRA在ROUGE和人工评估中表现最优。
2024-09-29 cs.AI cs.CL
Low-Resourced Speech Recognition for Iu Mien Language via Weakly-Supervised Phoneme-based Multilingual Pre-training
Guangxi Minzu University(广西民族大学);Tsinghua University(清华大学)
针对勉语标注语音稀缺的低资源语音识别问题,研究对比三类低资源ASR方法,发现弱监督音素多语言预训练的Whistle模型效果最优、数据效率更高。
2024-09-16 cs.CL cs.SD eess.AS
Evaluation of contextual embeddings on less-resourced languages
University of Ljubljana(卢布尔雅那大学);Queen Mary University of London(伦敦玛丽女王大学);Jožef Stefan Institute(约泽夫·斯蒂芬研究所)
目前深度神经网络在自然语言处理中的主导地位是基于上下文嵌入,如ELMo,BERT和BERT衍生物。大多数现有的工作集中在英语,相比之下,我们在这里提出的第一个多语言的实证比较两个ELMo和几个单语和多语言的BERT模型使用14个任务,在9种语言。在单语环境中,我们的分析表明,单语BERT模型通常占主导地位,有一些例外,如依存句法分析任务,在那里他们是没有竞争力的ELMo模型上训练的大型语料库。在跨语言环境中,仅使用少数语言训练的BERT模型表现最好,紧随其后的是大规模多语言BERT模型。
2021-07-22 cs.CL
Yunshan Cup 2020: Overview of the Part-of-Speech Tagging Task for Low-resourced Languages
Guangdong University of Foreign Studies(广东外语外贸大学)
2020年云山杯的重点是创建一个评估不同词性(POS)方法的框架。这条赛道有两个任务:(1)印度尼西亚语的POS标记,以及(2)老挝语的POS标记。印尼语数据集由29个标签内的10000个印尼语新闻句子组成。老挝的数据集由27个标签中的8000个句子组成。有25个团队报名参加了这项任务。参与者的方法从基于特征到使用经典机器学习技术或集成方法的神经网络不等。表现最好的结果达到了95.82%的准确率为印尼和93.03%,表明神经序列标记模型显着优于经典的基于特征的方法和基于规则的方法。
2022-04-06 cs.CL
An Unsupervised Word Sense Disambiguation System for Under-Resourced Languages
University of Mannheim(曼海姆大学);Ural Federal University(乌拉尔联邦大学)
在本文中,我们提出了Watasense,一个无监督的词义消歧系统。给定一个句子,系统根据给定句子与构成目标词意义的同义词集之间的语义相似性来选择每个输入词最相关的意义。Watasense有两种操作模式。稀疏模式使用传统的向量空间模型来估计与其上下文相对应的最相似的词义。相反,密集模式使用同义词集嵌入来处理稀疏问题。我们描述了本系统的体系结构,并进行了三个不同的俄语词汇语义资源的评价。我们发现,密集模式大大优于稀疏的所有数据集上,根据调整后的兰德指数。
2018-04-27 cs.CL
Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
本文介绍了在加泰罗尼亚理工大学为机器翻译2022年手语翻译任务研讨会开发的系统,特别是用于符号到文本的方向。我们使用一个用Fairseq建模工具包实现的Transformer模型。我们已经试验了词汇量,数据增强技术和PHOENIX-14 T数据集的预训练模型。我们的系统为测试集获得了0.50 BLEU分数,将组织者的基线提高了0.38 BLEU。我们注意到基线和我们的系统的结果都很差,因此,我们的发现是不可靠的。
2022-12-02 cs.CL cs.CV
Evaluating LLMs Robustness in Less Resourced Languages with Proxy Models
NASK - National Research Institute(NASK国家研究院)
本文提出结合少量字符改动与小型代理模型计算词重要性的低成本攻击方法,用于评估LLM在波兰语等低资源语言中的安全鲁棒性,并公开数据集与代码。
2025-06-09 cs.CL
Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair
本研究通过构建半合成平行数据集,探索了如何提升资源匮乏语言对的翻译质量估计性能,重点在于解决数据不足和语言复杂性问题,通过引入受控翻译错误和多模型训练来优化QE效果。
2026-03-12 cs.CL
Zero-shot OCR Accuracy of Low-Resourced Languages: A Comparative Analysis on Sinhala and Tamil
Department of Computer Science & Engineering, University of Moratuwa(计算机科学与工程系,穆塔瓦大学)
针对低资源语言OCR未解决的问题,本研究对比6款商业及开源OCR引擎在僧伽罗语和泰米尔语的零样本性能,发现Surya和Document AI分别在两种语言上表现最佳,并提出新的合成泰米尔语OCR基准数据集。
2025-08-25 cs.CL
Table Question Answering for Low-resourced Indic Languages
University of Amsterdam(阿姆斯特丹大学);Elsevier(爱思唯尔)
针对低资源语言表格问答研究空白,提出全自动大规模数据生成方法,应用于孟加拉语和印地语,训练的模型性能优于现有最优LLMs,且方法可推广至其他低资源语言。
2024-10-04 cs.CL
LLMs for Translation: Historical, Low-Resourced Languages and Contemporary AI Models
Stanford University(斯坦福大学)
本文评估Gemini翻译18世纪奥斯曼土耳其语战俘回忆录的表现,发现安全机制误判14%至23%内容并造成漏译,揭示LLM在历史及当代敏感文本翻译中的局限。
2025-03-14 cs.AI cs.CL
Low-Resourced Machine Translation for Senegalese Wolof Language
Université Cheikh Anta Diop(谢赫·安达·迪奥普大学);Baamtu(Baamtu公司)
针对非洲沃洛夫语等低资源语言NLP发展滞后的问题,该研究构建了12.3万句对的沃洛夫语-法语平行语料,基于RNN开展不同配置的机器翻译实验,验证了子词数据、法英对训练的性能增益。
2023-05-01 cs.CL