Monolingual and Parallel Corpora for Kangri Low Resource Language
National Institute of Technology, Hamirpur（哈米尔普尔国家理工学院）
本文介绍了联合国教科文组织（UNESCO）收录的喜马偕尔邦低资源濒危语言康日语（ISO 639-3xnr）的数据集。由于数字化资源的缺乏，康日语料库的编纂一直是一项具有挑战性的工作。语料库包含1，81，552个单语语料库和27，362个印地语-康日语平行语料库。我们分享了预先训练好的kangri词嵌入。我们还报告了语料库的统计机器翻译（SMT）和神经机器翻译（NMT）结果的双语评估替补（BLEU）评分和翻译评估指标（METEOR）评分。该语料库可免费用于非商业用途和研究。据我们所知，这是第一个喜马偕尔邦低资源濒危语言语料库。这些资源可在（https：//github.com/chauhanshweta/Kangri_corpus）获得
2021-03-22 cs.CL
Transfer learning from High-Resource to Low-Resource Language Improves Speech Affect Recognition Classification Accuracy
Fast Nuces
语音情感识别是从音频数据中提取情感的问题。低资源语言语料库的落后和跨语料库的情感识别是一个困难的任务。我们提出了一种方法，在这种方法中，模型在高资源语言上进行训练，并进行微调以识别低资源语言中的影响。我们训练模型在相同的语料库设置上SAVEE，EMOVO，乌尔都语，IEMOCAP分别达到基线准确率60.45%，68.05%，80.34%，和56.58%。为了捕捉语言中情感的多样性，本文详细讨论了跨语料库评价。我们发现，通过将域目标数据添加到训练数据中，精度得到提高。最后，我们表明，低资源语言语音影响识别的性能得到改善，实现乌尔都语和意大利语语音影响的UAR为69.32和68.2。
2021-03-04 cs.AI cs.CL
The eBible Corpus: Data and Model Benchmarks for Bible Translation for Low-Resource Languages
SIL International（国际暑期语言学院）；University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Payap University（西北大学（泰国））；University of Dayton（代顿大学）；Clear Bible；University of Chicago（芝加哥大学）
本文发布覆盖833种语言的eBible圣经翻译语料及基于NLLB的模型基准，并评估极低资源语言翻译性能。
2023-04-19 cs.AI cs.CL
Can LLMs Really Learn to Translate a Low-Resource Language from One Grammar Book?
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；Language Technology Lab（语言技术实验室）；University of Amsterdam（阿姆斯特丹大学）
本研究探究LLM能否仅凭语法书翻译极低资源语言，发现翻译能力主要来自平行示例而非语法解释，并强调任务适配数据的重要性。
2025-04-24 cs.CL
Part of Speech Tagging (POST) of a Low-resource Language using another Language (Developing a POS-Tagged Lexicon for Kurdish (Sorani) using a Tagged Persian (Farsi) Corpus)
标注语料库在广泛的自然语言处理中起着至关重要的作用。词性标注是标注语料库建设的关键。它既费时又费力，而且成本高昂，因此，如果实现自动化，它可能更便宜。库尔德语目前缺乏公开可用的适当大小的标记语料库。标记公开可用的库尔德语语料库可以将这些资源的能力提高到比原始或分割语料库所能提供的更高的水平。开发POS标记的词典可以帮助完成上述任务。我们使用标记语料库（Bijankhan语料库）在波斯语（波斯语）作为一个接近库尔德语开发一个POS标记的词汇。本文提出了利用与库尔德语关系密切的语言资源丰富库尔德语资源的方法。结果的部分数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/公开用于非商业用途。我们计划在对结果进行进一步调查后，提供整个标记语料库。该数据集可以帮助开发其他库尔德方言的POS标记词汇和自动库尔德语料库标记。
2022-01-30 cs.CL
HLDC: Hindi Legal Documents Corpus
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；IIIT Delhi（印度信息技术研究所德里分校）；IIT Kanpur（印度理工学院坎普尔分校）
针对印地语法律文档语料匮乏问题，构建了含90万份文档的HLDC语料库，并提出基于多任务学习的保释预测模型，为低资源法律NLP研究提供资源与基线。
2024-05-24 cs.AI cs.CL cs.LG
Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus
NVIDIA
本研究通过对多语言大模型进行持续预训练并利用合成语料，显著提升了低资源语言印地语的性能，同时保持了英语能力，并增强了事实准确性。
2025-04-21 cs.CL cs.LG
Bootstrapping Method for Developing Part-of-Speech Tagged Corpus in Low Resource Languages Tagset - A Focus on an African Igbo
Nnamdi Azikiwe University（纳姆迪·阿齐基韦大学）；Federal College of Education (Technical), Umunze（乌蒙泽联邦教育学院（技术类））；University of Sheffield（谢菲尔德大学）
大多数语言，特别是非洲的语言，很少或没有建立词性标记语料库。然而，POS标记的语料库是必不可少的自然语言处理（NLP），以支持先进的研究，如机器翻译，语音识别等，即使在没有POS标记的语料库的情况下，有一些语言的平行文本在线。在标注过程的初始阶段，用一个新的标记集对一个新的语料库进行词性标注通常会面临一个自举问题。自动标注器无法帮助人类注释者，这使得注释过程看起来不可行，无法快速生成足够数量的POS标记语料库，用于高级NLP研究和训练标注器。在本文中，我们证明了一个POS注释方法，采用两种自动方法的服务，以协助POS标记语料库创建一个新的语言在自然语言处理的有效性。这两种方法是跨语言和单语言的POS标签投影。我们使用跨语言自动创建一个初始的'错误'标记语料库的目标语言通过词对齐。用于创建它的资源来自于一个拥有丰富NLP资源的源语言。采用单语方法，通过对齐过程去除诱导噪声，并将源语言标签转换为目标语言标签。我们使用英语和伊博语作为我们的案例研究。这是可能的，因为英语和伊博语之间存在平行文本，并且源语言英语具有可用的NLP资源。实验结果表明，标签转换的准确率和转换率稳步提高，得分范围分别为6.13%至83.79%和8.67%至98.37%。标签转换速率评估源语言标签转换为目标语言标签的速率。
2019-03-12 cs.CL
Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese
University of Malta（马耳他大学）；Utrecht University（乌得勒支大学）；Idiap Research Institute（Idiap研究所）
mBERT等多语言语言模型已经出现了令人印象深刻的跨语言迁移到各种语言的情况，但许多语言仍然被排除在这些模型之外。在本文中，我们分析了一种低资源语言的单语数据预训练的效果，这种语言不包括在mBERT中-马耳他语-具有一系列预训练设置。我们使用新的预训练模型对三个形态句法任务进行评估-依存句法分析，词性标记和命名实体识别-以及一个语义分类任务-情感分析。我们还提出了一个新创建的语料库马耳他语，并确定预训练数据的大小和域对下游性能的影响。我们的研究结果表明，使用预训练域的混合往往优于仅使用维基百科文本。我们还发现，这个语料库的一小部分就足以使维基百科训练的模型的性能有显著的飞跃。我们在新语料库上预训练并比较了两个模型：从头开始训练的单语BERT模型（BERTu）和进一步预训练的多语言BERT（mBERTu）。这些模型在这些任务上实现了最先进的性能，尽管新的语料库比通常用于高资源语言的语料库要小得多。平均而言，BERTu优于mBERTu或与mBERTu竞争，并且在更高级别的任务中观察到最大的收益。
2022-05-26 cs.CL
PashtoCorp: A 1.25-Billion-Word Corpus, Evaluation Suite, and Reproducible Pipeline for Low-Resource Language Development
Independent Researcher（独立研究员）
本文介绍了PashtoCorp，一个包含12.5亿词的Pashto语料库，通过可重复的流水线和多种数据源，显著提升了低资源语言的NLP研究水平。
2026-03-17 cs.CL cs.IR cs.LG
Carolina: a General Corpus of Contemporary Brazilian Portuguese with Provenance, Typology and Versioning Information
University of São Paulo（圣保罗大学）；Federal Institute of Education, Science and Technology of Bahia（巴伊亚联邦教育、科学与技术学院）；State University of Southwestern Bahia（巴伊亚西南州立大学）
本文介绍了第一个公开版本的卡罗莱纳州语料库，并讨论了其未来的发展方向。Carolina是一个大型的巴西葡萄牙语文本开放语料库，正在建设中，使用网络作为语料库的方法增强了出处，类型学，版本和文本完整性。该语料库的目的是被用作语言学研究的可靠来源，并作为计算机科学研究语言模型的重要资源，有助于将葡萄牙语从低资源语言中删除。在这里，我们提出了建设的语料库方法，比较它与其他现有的方法，以及语料库的现状：卡罗莱纳州的第一个公开版本有$653,322,577$令牌，分布在$7$广泛的类型。每个文本都在其标题中使用几个不同的元数据类别进行注释，这些类别是我们使用TEI注释标准开发的。我们还展示了正在进行的衍生作品，并邀请NLP研究人员贡献自己的作品。
2023-03-28 cs.AI cs.CL
Pashto Common Voice: Building the First Open Speech Corpus for a 60-Million-Speaker Low-Resource Language
本文介绍了帕斯托共同语音语料库，通过社区努力构建了首个大规模开放许可的帕斯托语音资源，展示了其在10个Mozilla共同语音版本中的发展过程及方法，以及在语音识别任务中的表现。
2026-03-27 cs.CL
Approaches to Corpus Creation for Low-Resource Language Technology: the Case of Southern Kurdish and Laki
George Mason University（乔治梅森大学）；Carleton University（卡尔顿大学）；Università degli Studi della Tuscia（图西亚大学）
针对南部库尔德语和拉基语数据匮乏问题，本文提出利用当地新闻、电台广播及实地调查创建语料库，并研究该类语言在书写标准化及语言识别任务上的挑战。
2023-04-03 cs.CL
A Very Low Resource Language Speech Corpus for Computational Language Documentation Experiments
LIMSI（法国语言与信息系统实验室）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；LPP（巴黎语言实验室）；ENS（巴黎高等师范学院）；EHESS（法国高等社会科学研究院）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；KIT（卡尔斯鲁厄理工学院）
大多数语音和语言技术都是用大量的语音和文本信息训练的。然而，世界上大多数语言都没有这样的资源或稳定的正字法。在这些几乎为零的资源条件下构建的系统不仅对语音技术，而且对计算语言文档都很有前途。计算语言文档的目标是帮助领域语言学家（半）自动分析和注释濒危和不成文语言的录音。示例任务是从语音信号中自动音素发现或词典发现。本文介绍了一个语音语料库收集过程中的一个现实的语言文件。它由Mboshi（Bantu C25）中的5k语音话语组成，与法语文本翻译对齐。语音音译也是可用的：它们对应于接近语言音位的非标准字形形式。我们提出了如何收集，清理和处理数据，我们说明了它的使用通过零资源的任务：口语术语发现。该数据集可供社区用于可重复的计算语言文档实验及其评估。
2018-02-15 cs.CL
BiST: A Gold Standard Bangla-English Bilingual Corpus for Sentence Structure and Tense Classification with Inter-Annotator Agreement
Kennesaw State University（肯尼索州立大学）
BiST是一个精心编纂的孟加拉语-英语双语语料库，用于句子级别的语法分类，标注了句法结构和时态。该语料库包含30,534个句子，通过多阶段框架和Fleiss Kappa值确保高质量标注，支持语法建模任务。
2026-04-06 cs.AI cs.CL
DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing
Université de Lorraine, CNRS, Inria, LORIA（洛林大学、法国国家科学研究中心、法国国家信息与自动化技术研究院、LORIA实验室）；ISIMA, Université Clermont Auvergne（克莱蒙特奥弗涅大学ISIMA）
DATASHI提供了一个包含5000对句子的平行语料库，包含1500个经过专家标准化和非标准用户生成的句子，用于研究正字法多样性及规范化，支持NLP任务并为多模态对齐提供基础。
2026-03-23 cs.CL
Automatic Creation of Text Corpora for Low-Resource Languages from the Internet: The Case of Swiss German
iCoSys Institute, University of Applied Sciences and Arts Western Switzerland（瑞士西部应用科学与艺术大学iCoSys研究所）；University of Fribourg（弗里堡大学）；Swisscom AG（瑞士电信公司）
本文介绍了SwissCrawl，最大的瑞士德语文本语料库。它由50多万个句子组成，是使用定制的网络抓取工具生成的，该工具也可以应用于其他低资源语言。该方法演示了如何免费提供的网页可以用来构建全面的文本语料库，这是自然语言处理的根本重要性。在实验评估中，我们表明，使用新的语料库导致语言建模任务的显着改善。为了捕获新内容，我们的方法将持续运行，以随着时间的推移不断增加语料库。
2020-06-16 cs.CL
Sentence-level Aggregation of Lexical Metrics Correlates Stronger with Human Judgements than Corpus-level Aggregation
IBM Research（IBM研究院）；PUC-Rio（里约天主教大学）
本文证明词汇指标采用句子级聚合（对片段得分取平均）比语料库级聚合与人类判断相关性更强，且更接近神经指标，有助于提升低资源语言MT评估的可信度。
2025-01-23 cs.CL
Parsing with Multilingual BERT, a Small Corpus, and a Small Treebank
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Department of Linguistics, University of Washington（华盛顿大学语言学系）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
预训练的多语言上下文表示已经取得了巨大的成功，但由于其预训练数据的限制，它们的好处并不平等地适用于所有语言品种。这对这些模型不熟悉的语言种类提出了挑战，其标记的\emph{and unlabeled}数据太有限，无法有效地训练单语模型。我们建议使用额外的语言特定的预训练和词汇增强，以适应低资源设置的多语言模型。使用依存句法分析的四个不同的低资源的语言品种作为案例研究，我们表明，这些方法显着提高性能超过基线，特别是在最低资源的情况下，并证明了这种模型的预训练数据和目标语言品种之间的关系的重要性。
2022-06-18 cs.CL
Contextual Spelling Correction with Language Model for Low-resource Setting
Tribhuwan University（特里布万大学）
针对低资源语言缺乏标注数据的拼写纠错问题，本文结合小规模词级 transformer LM 与无监督概率错误模型，通过噪声信道框架实现上下文纠错，并在尼泊尔语上验证有效性。
2024-04-28 cs.CL
Towards Open Foundation Language Model and Corpus for Macedonian: A Low-Resource Language
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Faculty of Electrical Engineering and Information Technologies, UKIM（圣基里尔麦托迪大学电气工程与信息技术学院）；Emteq Ltd.（Emteq有限公司）
针对马其顿语等低资源语言，构建了最大语料库和指令数据集，训练出80亿参数的domestic-yak模型，在七个基准测试中超越同类并媲美10倍参数模型。
2025-06-11 cs.CL
ExaASC: A General Target-Based Stance Detection Corpus in Arabic Language
Exa Company（Exa公司）
基于目标的姿态检测是寻找朝向目标的姿态的任务。Twitter是社交媒体中政治讨论的主要来源之一，也是分析实体立场的最佳资源之一。本文提出了一种新的基于目标的姿态检测方法，该方法利用回复对源推文中最重要和最有争议的目标的姿态。该目标是相对于源推文本身检测的，并且不限于预定义目标的集合，这是当前最先进的方法的通常方法。我们提出的新态度导致了一个名为ExaASC的新语料库，用于阿拉伯语，这是该领域的低资源语言之一。最后，我们使用BERT来评估我们的语料库，并达到了70.69宏观F-分数。这表明，我们的数据和模型可以工作在一个通用的目标基姿态检测系统。语料库是公开的1。
2022-04-29 cs.CL
Linguistic Resources for Bhojpuri, Magahi and Maithili: Statistics about them, their Similarity Estimates, and Baselines for Three Applications
Indian Institute of Technology (BHU), India（印度理工学院（巴纳拉斯印度教大学））；Alexa AI, Amazon, India（亚马逊Alexa AI（印度））；Samsung Research Institute, India（三星研究院（印度））
为低资源语言和开发人类语言技术来分析或计算处理它们的语料库准备是一项艰巨的任务，主要是由于没有以这些语言为母语的专家语言学家，也由于所需的时间和资源。Bhojpuri，Magahi和Maithili是印度Purvanchal地区（东北部）的语言，属于印度-雅利安（或印度）家族的低资源语言。它们与印地语密切相关，印地语是一种相对高资源的语言，这就是为什么我们与印地语进行比较。我们从各种来源收集了这三种语言的语料库，并尽可能地清理它们，而不改变其中的数据。文本属于不同的领域和体裁。我们计算了这些语料库在字，词，音节和语素水平的一些基本的统计措施。这些语料库还标注了词性（POS）和组块标签。基本的统计指标既有绝对的也有相对的，并被期望用来表示语言的属性，如形态，词汇，语音和句法的复杂性（或丰富性）。结果进行了比较与标准的印地语语料库。对于大多数措施，我们试图在不同语言中使用相同的语料库大小，以避免语料库大小的影响，但在某些情况下，使用完整的语料库更好，即使大小非常不同。虽然结果不是很清楚，但我们试图得出一些关于语言和语料库的结论。对于POS标记和分块，BIS标记集用于手动注释数据。对于Bhojpuri、Magahi和Maithili，POS标记的数据大小分别为16067、14669和12310个句子。Bhojpuri和Maithili的组块大小分别为9695和1954个句子。
2021-08-17 cs.CL
Utilizing Lexical Similarity between Related, Low-resource Languages for Pivot-based SMT
Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们研究了在一个低资源，基于短语的SMT设置相关语言之间的翻译。我们发现，一个子词级的基于主元的SMT模型使用相关的枢轴语言是大大优于单词和词素级的枢轴模型。它与最好的直接翻译模型也具有很强的竞争力，这是令人鼓舞的，因为没有使用直接的源-目标训练语料库。我们还表明，结合多个相关的语言枢纽模型可以媲美直接翻译模型。因此，使用子词作为翻译单元，再加上多个相关的枢纽语言，可以弥补缺乏直接的平行语料库。
2017-10-04 cs.CL
Benchmarking Parameter-Efficient Fine-Tuning of Large Language Models for Low-Resource Tajik Text Generation with the Tajik Web Corpus
Institute of Computational Mathematics and Information Technologies, Kazan Federal University（喀山联邦大学计算数学与信息技术研究所）；Bokhtar State University named after Nosiri Khusrav（努西里·胡斯劳夫命名的博赫塔国立大学）
该研究发布塔吉克网络语料库，测试9种架构17种配置的三种微调策略，得出Mistral 7B搭配QLoRA r=8为最优方案，是首个针对塔吉克语文本生成的PEFT基准测试。
2026-08-11 cs.CL
An Efficient Approach for Machine Translation on Low-resource Languages: A Case Study in Vietnamese-Chinese
Samsung SDS R&D Center（三星SDS研发中心）
本文提出一种利用mBART和单语语料的低资源机器翻译方法，通过TF-IDF筛选相关句子并合成增强数据，在越南语-中文翻译中性能比transformer提升8%。
2025-01-31 cs.CL
GigaSpeech 2: An Evolving, Large-Scale and Multi-domain ASR Corpus for Low-Resource Languages with Automated Crawling, Transcription and Refinement
X-LANCE Lab, SCS, MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（X-LANCE实验室、SCS、人工智能MoE重点实验室、上海交通大学）；Pengcheng Laboratory（鹏城实验室）；The Chinese University of Hong Kong（香港中文大学）；Dept EE, Tsinghua University（清华大学电子工程系）；SII；Harbin Institute of Technology（哈尔滨工业大学）；Birch AI；Dataocean AI；AISpeech Ltd（AISpeech有限公司）；Seasalt AI Inc（Seasalt AI公司）；SpeechColab
本文提出GigaSpeech 2，一个面向低资源语言（泰语、印尼语、越南语）的约3万小时多领域语音识别语料库，采用自动化爬取、转写与精炼流水线，训练模型在YouTube测试集上词错误率较Whisper large-v3降低25%-40%，且参数仅为其10%。
2025-05-27 cs.CL cs.SD eess.AS
The Faetar Benchmark: Speech Recognition in a Very Under-Resourced Language
University of Toronto（多伦多大学）
本文提出Faetar自动语音识别基准，一个极度低资源的Franco-Provençal语变体语料库，含5小时标注和20小时无标签语音，并报告了使用无标签数据继续预训练的多语言基础模型达到30.4%最佳音素错误率的基线结果。
2025-05-26 cs.CL cs.SD eess.AS
On Evaluating Quantum Kernel Robustness for Low-Resource Cross-Corpus Audio Deepfake Detection
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本研究比较量子支持向量机、经典支持向量机与多层感知器在低资源跨语料库音频深度伪造检测中的表现，发现量子核在严重域偏移下保持判别力，但无一致优势。
2026-10-02 cs.LG cs.SD
What do Language Representations Really Represent?
University of Copenhagen（哥本哈根大学）；Stockholm University（斯德哥尔摩大学）；University of Zurich（苏黎世大学）；University of Helsinki（赫尔辛基大学）
在文本语料库上训练的神经语言模型可以用于诱导单词的分布式表示，使得相似的单词最终具有相似的表示。如果语料库是多语言的，则可以使用相同的模型来学习语言的分布式表示，使得类似的语言最终具有类似的表示。我们表明，即使多语言语料库已被翻译成英语，通过拿起微弱的信号留下的源语言，这也成立。然而，就像在单词表示中分离语义和句法相似性是一个棘手的问题一样，语言表示捕获的相似性类型并不明显。我们调查的相关性和因果关系的语言表征从翻译学习一方面，遗传，地理，和其他语言之间的结构相似性的几个层次。其中，结构相似性被发现与语言表征相似性相关性最强，而遗传关系-在以前的工作中用于评估的一个方便的基准-似乎是一个混杂因素。除了对翻译效果的影响外，我们更普遍地认为这是一个NLP和语言类型学可以相互作用并相互受益的案例。
2019-01-09 cs.CL
What Really Controls Temporal Reasoning in Large Language Models: Tokenisation or Representation of Time?
University of Aberdeen（阿伯丁大学）；Université Grenoble Alpes & CNRS（格勒诺布尔阿尔卑斯大学及国家科学研究中心）
本研究通过MultiTempBench验证了大语言模型时间推理的核心因素，发现令牌化质量是资源依赖型瓶颈，同时时间线性度在高资源语言中是主要预测因素，而碎片化在低资源语言中更显著。
2026-03-19 cs.AI cs.CL
How Good Are LLMs for Literary Translation, Really? Literary Translation Evaluation with Humans and LLMs
University of Mannheim（曼海姆大学）；University of Aberdeen（阿伯丁大学）；University of Technology Nuremberg（纽伦堡工业大学）
本研究通过构建LITEVAL-CORPUS语料库，系统评估文学翻译质量，发现人类评估的充分性受方案复杂度和评估者专业水平影响，且人工翻译始终优于大型语言模型翻译。
2025-02-25 cs.AI cs.CL
L3Cube-MahaCorpus and MahaBERT: Marathi Monolingual Corpus, Marathi BERT Language Models, and Resources
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube
我们提出了L3立方体MahaCorpus马拉地语单语数据集从不同的互联网来源刮。我们扩展现有的马拉地语单语语料库与24.8M句子和289M标记。我们进一步提出，MahaBERT，MahaAlBERT和MahaRoBerta所有基于BERT的掩蔽语言模型，以及MahaFT，快速文本词嵌入，都是在具有752 M标记的完整马拉地语语料库上训练的。我们展示了这些资源在下游马拉地语情感分析、文本分类和命名实体识别（NER）任务上的有效性。我们还发布了MahaGPT，一个在马拉地语语料库上训练的生成马拉地语GPT模型。马拉地语是印度的一种流行语言，但仍然缺乏这些资源。这项工作是在为马拉地语建立开放资源方面向前迈出的一步。数据和模型可在https://github.com/l3cube-pune/MarathiNLP上获得。
2022-03-13 cs.CL cs.LG
AlbNER: A Corpus for Named Entity Recognition in Albanian
University of Vienna（维也纳大学）
本文构建了阿尔巴尼亚语命名实体识别语料库AlbNER，包含900个标注句子，并通过BERT和RoBERTa变体实验表明语言迁移比模型规模对性能影响更大，为后续研究提供基线。
2023-09-15 cs.AI cs.CL cs.LG
AlbMoRe: A Corpus of Movie Reviews for Sentiment Analysis in Albanian
University of Vienna（维也纳大学）
针对低资源语言阿尔巴尼亚语缺乏情感分析语料资源的问题，本文构建了含800篇标注情感的电影评论语料库AlbMoRe，并给出传统机器学习分类器的初步实验结果作为后续研究的基准。
2023-06-14 cs.AI cs.CL cs.LG
Do MLLMs Really Understand Low-Resource Khmer Documents? A Pilot Study on Khmer Document VQA
University of Science and Technology of China（中国科学技术大学）；Université Paris Cité（巴黎城市大学）
本研究针对高棉语文档VQA，评估开源MLLMs的性能，发现直接使用Qwen3-VL-8B准确率51.9%，外部OCR辅助的Tesseract、PaddleOCR分别达61.9%、61.6%，但高棉语文档理解仍存挑战。
2026-09-01 cs.AI cs.CL
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University（岐阜大学）
神经机器翻译（NMT）已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而，对于许多语言对，没有丰富的资源平行语料库存在。如本文所述，我们提出了一种语料库增强方法，通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库（ASPEC-JC）进行日汉、汉日翻译的实验结果表明，该方法提高了翻译性能。
2019-05-22 cs.CL
Corpus-Guided Contrast Sets for Morphosyntactic Feature Detection in Low-Resource English Varieties
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
语言变异的研究探讨了语言如何在不同的说话者群体之间和内部变化，揭示了我们如何使用语言来构建身份，以及社会环境如何影响语言的使用。一种常见的方法是在语料库中识别某个语言特征的实例，比如零连接结构，并分析该特征在说话者、话题和其他变量中的分布，以获得对该特征功能的定性理解或系统地测量变化。在本文中，我们探讨了具有挑战性的任务，自动形态句法特征检测低资源的英语品种。我们提出了一个人在回路的方法来生成和过滤有效的对比度集，通过语料库引导的编辑。我们表明，我们的方法提高了印度英语和非洲裔美国人英语的特征检测，展示了它如何帮助语言学研究，并发布我们的微调模型供其他研究人员使用。
2022-09-15 cs.AI cs.CL
Phonetically rich corpus construction for a low-resourced language
Alana AI Research（Alana AI研究院）
本文提出一种为巴西葡萄牙语构建语音丰富语料库的新方法，包括文本收集、基于三音子分布的句子选择及新音位分类，显著提高了不同三音子的覆盖率。
2024-02-08 cs.AI cs.CL
NSINA: A News Corpus for Sinhala
Birmingham City University（伯明翰城市大学）；Lancaster University（兰卡斯特大学）；University of Münster（明斯特大学）；Aston University（阿斯顿大学）
针对僧伽罗语等低资源语言缺乏训练数据和基准数据集的问题，本研究发布了包含超50万篇文章的最大僧伽罗语新闻语料库NSINA，并提供新闻媒体识别、类别预测和标题生成三个NLP任务，以支持LLMs的适配与改进。
2024-03-25 cs.AI cs.CL cs.LG
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)（韩国科学技术大学（UST））；Electronics and Telecommunication Research Institute (ETRI)（电子通信研究院（ETRI））
在机器翻译中，我们经常尝试收集资源以提高性能。然而，大多数语言对，如朝鲜语-阿拉伯语和朝鲜语-越南语，没有足够的资源来训练机器翻译系统。在本文中，我们提出了使用合成方法来扩展低资源语料库，并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子，使目标句子更好，包括使用合成方法。我们发现，语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外，当这两种方法一起使用时，我们发现更好的机器翻译性能。
2018-02-14 cs.CL
UPRPRC: Unified Pipeline for Reproducing Parallel Resources -- Corpus from the United Nations
United Nations（联合国）
本文提出UPRPRC端到端流水线和图辅助段落对齐算法GAPA，从联合国文件中构建了超7.13亿英语词元的最大公开纯人工翻译平行语料库，规模为先前工作两倍以上。
2025-09-19 cs.CL cs.LG
Leveraging the Cross-Domain & Cross-Linguistic Corpus for Low Resource NMT: A Case Study On Bhili-Hindi-English Parallel Corpus
Department of Electrical Engineering, Indian Institute of Technology Delhi（电子工程系，印度理工学院德里）；Bharti School of Telecommunication, Indian Institute of Technology Delhi（电信学院，印度理工学院德里）；Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（人工智能学院，印度理工学院德里）
本文构建了全球首个含11万句的Bhili-Hindi-English平行语料库，评估多种多语言大模型并证实微调NLLB-200 distilled 600M效果最优，填补了低资源部落语言的翻译基准空白。
2025-11-01 cs.CL
Developing a Fine-Grained Corpus for a Less-resourced Language: the case of Kurdish
University of Kurdistan Hewlêr（库尔德斯坦大学（ Hewlêr））；Insight Centre for Data Analytics（数据 analytics 洞察中心）；National University of Ireland Galway（爱尔兰国立高威大学）
库尔德语是一种资源较少的语言，由不同的方言组成，以各种文字书写。在不同的国家，大约有3000万人说这种语言。语料库的缺乏是库尔德语处理的主要障碍之一。本文介绍了由31本Sorani方言的K-12教材组成的库尔德语教材语料库KTC。语料库被规范化并分类为12个教育主题，包含693，800个标记（110，297种类型）。我们的资源根据CC BY-NC-SA 4.0许可证公开用于非商业用途。
2019-09-25 cs.CL
VietMix: A Naturally-Occurring Parallel Corpus and Augmentation Framework for Vietnamese-English Code-Mixed Machine Translation
University of Maryland, College Park（马里兰大学帕克分校）；Harvard University（哈佛大学）
VietMix为越南语-英语混合机器翻译提供首个自然发生的平行语料库及增强框架，通过数据增强提升模型性能。
2026-01-09 cs.AI cs.CL cs.LG
Low-Resource Corpus Filtering using Multilingual Sentence Embeddings
Facebook AI（脸书人工智能研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们描述了我们提交的WMT 19低资源并行语料库过滤共享任务。我们的主要方法是基于LASER工具包（语言不可知的句子表示），它使用一个编码器-解码器架构训练的并行语料库，以获得多语言的句子表示。然后，我们直接使用表示来评分和过滤嘈杂的并行句子，而无需额外训练评分函数。我们对比我们的方法与其他有前途的方法，并表明激光产生强大的结果。最后，我们产生一个不同的评分方法的合奏，并获得额外的收益。我们提交的尼泊尔语-英语和僧伽罗语-英语1 M任务的整体性能最好，分别比第二好的系统高出1.3和1.4 BLEU。此外，我们的实验表明，这种技术是有前途的低，甚至没有资源的情况下。
2019-06-20 cs.CL
CJaFr-v3 : A Freely Available Filtered Japanese-French Aligned Corpus
CNRS-CRLAO（法国国家科学研究中心-东亚语言研究中心）
我们提出了一个免费的日法平行语料库。它包括15M对齐的片段，并通过编译和过滤几个现有的资源获得。在本文中，我们描述了现有的资源，它们的数量和质量，过滤，我们应用，以提高语料库的质量，并准备使用的语料库的内容。我们还评估了这个语料库的有用性和我们的过滤质量的训练和评估一些标准的MT系统与它。
2022-08-28 cs.CL
TutorialBank: A Manually-Collected Corpus for Prerequisite Chains, Survey Extraction and Resource Recommendation
Department of Computer Science, Yale University（耶鲁大学计算机科学系）
自然语言处理（NLP）领域正在迅速发展，每天都有新的研究成果发表，同时还有大量的教程、代码库和其他在线资源。为了了解这个充满活力的领域或保持最新的最新研究，学生以及教育工作者和研究人员必须不断筛选多个来源，以找到有价值的相关信息。为了解决这种情况，我们引入了TutorialBank，这是一个新的公开数据集，旨在促进NLP教育和研究。我们已经手动收集和分类了超过6，300个关于NLP以及人工智能（AI），机器学习（ML）和信息检索（IR）相关领域的资源。值得注意的是，我们的数据集是用于NLP教育的最大的手动挑选的资源语料库，其中不仅包括学术论文。此外，我们还为资源创建了一个搜索引擎和一个命令行工具，并对语料库进行了注释，以包括研究主题列表、每个主题的相关资源、主题之间的先决条件关系、单个资源的相关子部分以及其他注释。我们正在发布数据集，并提出了几种进一步研究的途径。
2018-05-11 cs.CL
gaHealth: An English-Irish Bilingual Corpus of Health Data
Munster Technological University（芒斯特理工大学）；Dublin City University（都柏林城市大学）
针对低资源语言对平行数据匮乏且领域内数据集易被忽视的问题，研究者构建了首个英语-爱尔兰语健康领域双语语料库gaHealth，实验证明其能显著提升健康数据翻译的BLEU得分，且已免费开放供研究使用。
2024-03-06 cs.AI cs.CL
Optimizing Large Language Models for Turkish: New Methodologies in Corpus Selection and Training
Yildiz Technical University（伊兹密尔技术大学）
本研究针对土耳其语这类资源不足的语言，通过适配大型语言模型生成数据集、翻译英语数据集并整合训练，结合模型合并策略，显著提升了模型在少样本、零样本场景的准确率及处理逻辑查询的能力，强调了优化语料库选择的重要性。
2024-12-03 cs.AI cs.CL cs.LG
The Thiomi Dataset: A Large-Scale Multimodal Corpus for Low-Resource African Languages
Thiomi数据集包含超过60万条文本注释和38.5万条音频记录，用于训练和评估ASR、MT和TTS模型，显著提升了非洲语言的语音识别性能。
2026-04-05 cs.CL cs.LG
Do LLMs Really Adapt to Domains? An Ontology Learning Perspective
University of Mannheim（曼海姆大学）；Bosch Center for AI（博世人工智能中心）
本文通过使用WordNet合成平行语料库进行受控实验，探究LLM在领域适应中是真正进行语义推理还是仅依赖词汇模式，发现现成LLM倾向利用词义而非推理，但微调能显著提升其在未见领域术语上的本体学习性能。
2024-07-29 cs.AI cs.CL
Connecting Voices: LoReSpeech as a Low-Resource Speech Parallel Corpus
LoReSpeech通过构建低资源语音平行语料库，推动多语言语音识别和翻译技术发展，促进语言保护与数字包容性。
2026-03-10 cs.CL
The Leaf Clinical Trials Corpus: a new resource for query generation from clinical trial eligibility criteria
University of Washington（华盛顿大学）；Northeastern University（东北大学）；George Mason University（乔治梅森大学）
根据医疗条件、程序和药物使用等资格标准确定患者队列对于临床试验的招募至关重要。这些标准通常是最自然的描述在自由文本，使用语言熟悉的临床医生和研究人员。为了大规模地识别潜在的参与者，这些标准必须首先转化为对临床数据库的查询，这可能是劳动密集型的并且容易出错。自然语言处理（NLP）方法提供了一种将这种转换自动地转换成数据库查询的潜在手段。然而，它们必须首先使用语料库进行培训和评估，这些语料库足够详细地捕获临床试验标准。在本文中，我们介绍了叶临床试验（LCT）语料库，超过1,000个临床试验资格标准描述的人类注释语料库，使用高度粒度结构化的标签捕捉一系列生物医学现象。我们提供了我们的模式，注释过程，语料库质量和统计数据的细节。此外，我们目前的基线信息抽取结果在此语料库作为基准，为今后的工作。
2022-07-27 cs.CL
