Algorithmically Establishing Trust in Evaluators
Microsoft（微软公司）；The University of York（约克大学）
本文提出无数据算法，通过连续挑战建立评估者信任，无需标注数据，适用于低资源语言标注场景。
2026-02-11 cs.AI cs.CL cs.DS
UrduLLaMA 1.0: Dataset Curation, Preprocessing, and Evaluation in Low-Resource Settings
Center for Language Engineering, Al-Khawarizmi Institute of Computer Science, University of Engineering and Technology（工程与技术大学阿尔-花剌子密计算机科学研究所语言工程中心）
针对乌尔都语低资源问题，基于Llama-3.1-8B-Instruct持续预训练1.28亿token，并用LoRA微调指令与翻译数据，显著提升性能，建立新基准。
2025-02-24 cs.AI cs.CL
Establishing Strong Baselines for the New Decade: Sequence Tagging, Syntactic and Semantic Parsing with BERT
Emory University（埃默里大学）
本文提出了三个任务，词性标注，句法分析和语义解析，使用最先进的上下文嵌入框架称为BERT的新的国家的最先进的模型。对于每个任务，我们首先复制和简化当前最先进的方法，以提高其模型效率。然后，我们使用BERT生成的令牌嵌入来评估我们在这三个任务上的简化方法。实验使用了12个中英文数据集。BERT模型的表现比之前表现最好的模型平均高出2.5%（最显著的情况为7.5%）。此外，深入分析的影响，BERT嵌入提供了使用自我注意，这有助于理解在这个丰富的，但表示。所有模型和源代码都是公开的，以便研究人员可以改进和利用它们来建立未来十年的强大基线。
2020-05-23 cs.CL
Establishing Strong Baselines for TripClick Health Retrieval
TU Wien（维也纳工业大学）
我们为最近发布的TripClick健康特别检索集合提供了强大的基于Transformer的重新排名和稠密检索基线。我们用一个简单的负采样策略改进了原本太嘈杂的训练数据。我们在TripClick的重新排名任务中获得了比BM25更大的收益，这是原始基线没有实现的。此外，我们研究了不同领域特定的预训练模型对TripClick的影响。最后，我们表明，稠密检索优于BM 25的相当大的利润率，即使简单的训练过程。
2022-01-02 cs.CL cs.IR
Sequence-to-Sequence Resources for Catalan
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
在这项工作中，我们介绍了序列到序列的语言资源加泰罗尼亚语，资源不足的语言，对两个任务，即：摘要和机器翻译（MT）。我们提出了两个新的抽象摘要数据集在新闻领域。我们还介绍了一个平行的加泰罗尼亚语-英语语料库，与三个不同的全新的测试集配对。最后，我们评估了与竞争国家的最先进的模型的数据，我们开发这些任务的基线使用一个新创建的加泰罗尼亚语BART。我们发布的资源，这项工作的开放许可证下，以鼓励语言技术在加泰罗尼亚语的发展。
2022-02-14 cs.AI cs.CL
BhashaSetu: Cross-Lingual Knowledge Transfer from High-Resource to Extreme Low-Resource Languages
Department of Computer Science and Engineering, Indian Institute of Technology Kanpur（计算机科学与工程系，印度理工学院坎浦尔）
BhashaSetu通过引入GETR方法，实现了从高资源语言到极端低资源语言的跨语言知识转移，显著提升了词性标注和命名实体识别任务的性能。
2026-02-05 cs.AI cs.CL cs.LG
Transfer learning from High-Resource to Low-Resource Language Improves Speech Affect Recognition Classification Accuracy
Fast Nuces
语音情感识别是从音频数据中提取情感的问题。低资源语言语料库的落后和跨语料库的情感识别是一个困难的任务。我们提出了一种方法，在这种方法中，模型在高资源语言上进行训练，并进行微调以识别低资源语言中的影响。我们训练模型在相同的语料库设置上SAVEE，EMOVO，乌尔都语，IEMOCAP分别达到基线准确率60.45%，68.05%，80.34%，和56.58%。为了捕捉语言中情感的多样性，本文详细讨论了跨语料库评价。我们发现，通过将域目标数据添加到训练数据中，精度得到提高。最后，我们表明，低资源语言语音影响识别的性能得到改善，实现乌尔都语和意大利语语音影响的UAR为69.32和68.2。
2021-03-04 cs.AI cs.CL
ALPET: Active Few-shot Learning for Citation Worthiness Detection in Low-Resource Wikipedia Languages
本文提出ALPET框架，结合主动学习与模式利用训练，在加泰罗尼亚语、巴斯克语和阿尔巴尼亚语维基百科上以更少标注样本超越CCW基线，显著提升低资源语言的引文必要性检测性能。
2025-02-05 cs.AI cs.CL cs.LG
Semi-supervised transfer learning for language expansion of end-to-end speech recognition models to low-resource languages
Samsung Research（三星研究院）
在本文中，我们提出了一个三阶段的训练方法，以提高低资源语言的语音识别的准确性。我们探索并提出了一种有效的技术组合，如迁移学习，编码器冻结，使用文本到语音（TTS）的数据增强和半监督学习（SSL）。为了提高低资源意大利语ASR的准确性，我们利用经过良好训练的英语模型，分别使用迁移学习，TTS增强和SSL的未标记文本语料库和未标记音频语料库。在第一阶段，我们使用来自训练有素的英语模型的迁移学习。这主要有助于从资源丰富的语言中学习声学信息。这个阶段实现了比基线降低约24%的相对字错误率（WER）。在第二阶段，我们利用未标记的文本数据，通过TTS数据增强，将语言信息纳入模型。我们还探索在这个阶段冻结声学编码器。TTS数据增强有助于我们进一步降低WER约21%。最后，在第三阶段，我们通过使用SSL从未标记的音频数据中将WER降低了另外4%。总的来说，我们的两遍语音识别系统在第一遍中具有单调组块注意力（MoChA），在第二遍中具有完全注意力，相对于基线，WER降低了约42%。
2021-11-19 cs.CL cs.SD eess.AS
How well do Large Language Models Recognize Instructional Moves? Establishing Baselines for Foundation Models in Educational Discourse
National Tutoring Observatory（国家辅导观察所）；Cornell University（康奈尔大学）
研究评估了六种LLM在分类真实课堂教学行为任务中的基准性能，发现少样本提示显著提升表现，但存在可靠性限制。
2025-12-22 cs.CL
How Useful are LLMs for Grammar Engineering? Cantonese ParGram Resources and Controlled Experimental Evaluation with English Baselines
本研究通过对照实验评估LLMs在语法工程中的作用，发现GPT-5.4优于gpt-oss-120b，LLMs可支持语法开发中间阶段但需人类专业知识，还贡献了新粤语符号语法资源。
2026-08-25 cs.CL
RALS: Resources and Baselines for Romanian Automatic Lexical Simplification
University of Bucharest（布加勒斯特大学）；Human Language Technologies Research Center（人类语言技术研究中心）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）
该研究针对罗马尼亚语，构建首个涵盖词汇复杂度预测和简化的数据集，提出成对排序近似法排序简化建议，提供人工词汇复杂度注释，探索新管道并展示首个罗马尼亚语文本简化系统。
2026-07-23 cs.CL
OC16-CE80: A Chinese-English Mixlingual Database and A Speech Recognition Baseline
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）；SpeechOcean（海天瑞声）
OC 16-CE 80中英混合语言语音数据库是O-COCOSDA 2016上发布的中英混合语言语音识别（MixASR-CHEN）挑战赛的主要训练、开发和测试资源。该数据库由1,400多人80小时的语音信号组成，这些语音信号是汉语的，但每个语音信号都包含一个或几个英语单词。基于该数据库和另外两个免费数据源（THCHS 30和CMU词典），采用深度神经网络-隐马尔可夫模型（DNN-HMM）混合系统构建了语音识别（ASR）基线。然后，我们根据MixASR-CHEN评估规则报告了基线结果，并证明OC 16-CE 80是混合语言研究的合理数据源。
2016-09-27 cs.CL
AFRICAPTION: Establishing a New Paradigm for Image Captioning in African Languages
ML Collective；Ashesi University（阿什esi大学）；Abubakar Tafawa Balewa University（阿布巴克尔·塔法瓦·巴勒瓦大学）
本文提出AfriCaption框架，通过基于Flickr8k的20种非洲语言对齐数据集、质量保持流水线及集成SigLIP与NLLB200的0.5B参数模型，构建首个可扩展的非洲语言图像描述资源。
2025-10-20 cs.AI cs.CL
pioNER: Datasets and Baselines for Armenian Named Entity Recognition
Russian-Armenian University（俄罗斯-亚美尼亚大学）；Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万尼科夫系统编程研究所）
在这项工作中，我们解决了亚美尼亚命名实体识别的问题，提供了银标准和金标准数据集，并建立了流行模型的基线结果。我们提出了一个163000令牌命名实体语料库自动生成和注释的维基百科，和另一个53400令牌语料库的新闻句子与人工注释的人，组织和位置命名实体。语料库被用来训练和评估几个流行的命名实体识别模型。除了数据集，我们还发布了50维、100维、200维、300维的GloVe词嵌入，这些词嵌入是在维基百科、新闻、博客和百科全书的亚美尼亚语文本集合上训练的。
2018-10-19 cs.CL
Uncovering Political Hate Speech During Indian Election Campaign: A New Low-Resource Dataset and Baselines
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）；Virginia Tech（弗吉尼亚理工大学）；Delhi Technological University（德里理工大学）；The University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）
针对低资源语言政治话语中的仇恨言论检测难题，本文构建了包含11,457条印地语推文的新数据集 IEHate，并通过多种算法进行基准测试，强调了结合人工与自动化方法进行仇恨言论审核的重要性。
2023-06-27 cs.CL
Low Resource Summarization using Pre-trained Language Models
MCS（军事学院（注：MCS常见对应Military College of Signals，即信号军事学院，此处按原文缩写保留，直译军事学院））
该研究将 mBERT、mT5 等预训练模型适配于乌尔都语低资源摘要，构建 76.5k 新闻文章-摘要数据集，并提出体积更小、性能可比英语 SOTA 模型的 urT5。
2023-10-04 cs.CL
CITE: A Corpus of Image-Text Discourse Relations
Rutgers University（罗格斯大学）
本文提出了一种新的众包资源的多模态话语：我们的资源特征的推理在图像-文本背景下的烹饪食谱的连贯关系的形式。像以前的语料库注释文本参数之间的话语结构，如宾州话语树库，我们的新语料库有助于建立一个更好的理解自然的沟通和常识推理，而我们的研究结果有广泛的应用，如理解和生成多模态文档的影响。
2019-04-16 cs.CL
From Sinhala to Dhivehi: Cross-Lingual Transfer Learning for Low-Resource Speech Recognition
School of Computing, Informatics Institute of Technology（计算学院，信息学院技术研究所）；Department of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，摩图瓦大学）
研究马尔代夫迪维希语低资源语音识别问题，通过从僧伽罗语跨语言迁移学习，采用持续预训练等五种范式实验，最强系统先在僧伽罗语预训练再在迪维希语微调，结果显示语言相关性、适应策略及解码配置对迁移学习很关键。
2026-07-08 cs.CL
Show Me the World in My Language: Establishing the First Baseline for Scene-Text to Scene-Text Translation
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）；University of Bristol（布里斯托大学）
本文首次将场景文本视觉翻译作为独立任务研究，提出结合识别、翻译与合成的级联基线框架及专用评估指标，并通过印地语-英语实验揭示现有方法的不足。
2024-09-02 cs.AI cs.CL cs.CV
Dialectal and Low-Resource Machine Translation for Aromanian
Tudor Vianu National College of Computer Science（图多尔·维亚努国家计算机科学学院）；West University of Timișoara（蒂米什瓦拉西部大学）；Human Language Technologies Research Center, University of Bucharest（布加勒斯特大学人类语言技术研究中心）
该研究构建支持英语、罗马尼亚语和阿罗马尼亚语的神经机器翻译系统，发布79,000句对平行语料库及优化模型与辅助工具，促进低资源濒危语言保护。
2025-01-07 cs.CL
AgentExpt: Automating AI Experiment Design with LLM-based Resource Retrieval Agent
Tsinghua University（清华大学）；Shandong University（山东大学）；Northeastern University（东北大学）
本文提出基于LLM的资源检索代理框架，通过自动化数据收集和集体感知增强检索，提升实验设计的自动化和可解释性，实验结果显示在Recall@20和HitRate@5上分别提升5.85%和8.30%。
2026-04-01 cs.CL
Summary-Source Proposition-level Alignment: Task, Datasets and Supervised Baseline
Bar-Ilan University（巴伊兰大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；biu.ac.il（巴伊兰大学）
将参考摘要中的句子与源文档中的对应句子对齐被证明是一种有用的辅助摘要任务，特别是用于生成用于显著性检测的训练数据。尽管其评估的效用，比对步骤主要是接近启发式无监督的方法，通常是基于ROUGE的，从来没有独立优化或评估。在本文中，我们建议将摘要-源对齐建立为一个明确的任务，同时引入两个主要的新颖性：（1）将其应用于更准确的命题跨度水平，以及（2）将其作为监督分类任务。为此，我们创建了一个新的训练数据集，用于命题级对齐，该数据集自动从可用的摘要评估数据中导出。此外，我们众包开发和测试数据集，使模型开发和适当的评估。利用这些数据，我们提出了一个监督的命题对齐基线模型，显示了改进的无监督方法的测量质量。
2021-09-22 cs.CL
Exploring NLP Benchmarks in an Extremely Low-Resource Setting
National Kaohsiung University of Science and Technology（高雄科技大学）；University of Innsbruck（因斯布鲁克大学）
本文针对濒危罗曼语Ladin的Val Badia变体，利用少量平行语料生成合成数据集，提升低资源环境下的情感分析和多项选择问答性能，提供首个公开可用的Ladin数据集。
2025-09-04 cs.CL
Leveraging translations for speech transcription in low-resource settings
University of Notre Dame（圣母大学）
最近提出的濒危语言文献的数据汇集框架的目的不仅是收集语音在感兴趣的语言，但也收集翻译成一个高资源的语言，将使收集到的资源可解释。我们专注于这种情况下，并探讨我们是否可以提高转录质量在这些极低的资源设置与文本翻译的协助下。我们提出了一个神经多源模型，并在三个低资源数据集上评估了它的几个变体。我们发现，我们的多源模型与共享注意优于基线，降低转录字符出错率高达12.3%。
2018-06-11 cs.CL
A simple language-agnostic yet very strong baseline system for hate speech and offensive content identification
Laboratoire d’analyse statistique des textes - Statistical Analysis of Text Laboratory (LAST - SATLab)（文本统计分析实验室（LAST - SATLab））；Institut de recherche en sciences psychologiques（心理科学研究所）；Université catholique de Louvain（鲁汶天主教大学）
为了自动识别推文中的仇恨言论和攻击性内容，SATLab团队提出了一种基于经典监督算法的系统，该算法只提供字符n-gram，因此完全与语言无关。在特征权重和分类器参数方面进行优化后，它在多语言HASOC 2021挑战赛中达到了英语的中等性能水平，英语很容易依赖于许多外部语言资源开发深度学习方法，但对于两种资源较少的语言，印地语和马拉地语，它的性能要好得多。甚至在这些语言中的三个任务的平均性能时，它也会首先结束，超过许多深度学习方法。这些表现表明，这是一个有趣的参考水平，以评估使用更复杂的方法，如深度学习或考虑补充资源的好处。
2022-02-05 cs.CL
TigerLLM - A Family of Bangla Large Language Models
George Mason University（乔治·马歇尔大学）
为解决孟加拉语大型语言模型发展滞后的问题，本文提出TigerLLM模型家族，其在标准基准测试中超越所有开源替代方案及GPT3.5等大型专有模型，成为孟加拉语语言建模的新基准。
2025-06-29 cs.CL
COMET-QE and Active Learning for Low-Resource Machine Translation
University of Cape Town（开普敦大学）；South African Astronomical Observatory（南非天文台）
主动学习的目的是在资源稀缺时提供最大效益。我们使用COMET-QE，一个无参考的评估指标，选择低资源神经机器翻译的句子。使用斯瓦希里语，基尼亚卢旺达语和西班牙语为我们的实验，我们表明，COMET-QE显着优于两个变种的往返翻译可能性（RTTL）和随机句子选择高达5个BLEU点的20 k句子选择主动学习在30 k基线。这表明，COMET-QE是一个强大的工具，在非常低的资源限制的句子选择。
2022-10-27 cs.CL
XCMRC: Evaluating Cross-lingual Machine Reading Comprehension
Beijing Language and Culture University（北京语言大学）；Tencent Cloud AI（腾讯云AI）
我们提出XCMRC，第一个公共跨语言语言理解（XLU）基准，旨在测试机器的跨语言阅读理解能力。具体来说，XCMRC是一个跨语言完形填空式的机器阅读理解任务，要求读者通过阅读源语言（中文/英文）中的给定段落来填充目标语言（英文/中文）中句子中的一个缺失单词（我们另外提供了十个名词候选）。汉语和英语是资源丰富的语言对，为了研究低资源跨语言机器阅读理解（XMRC），除了定义不限制使用外部语言资源的普通XCMRC任务外，还定义了限制使用语言资源的伪低资源XCMRC任务。此外，我们还分别为普通XCMRC任务和伪XCMRC任务提供了两个基线。我们还为这两项任务提供了一个上限基线。我们发现，对于常见的XCMRC任务，基于解释的方法和基于多语言句子编码器的方法可以获得合理的性能，但仍有很大的改进空间。对于伪低资源XCMRC任务，由于对语言资源的使用有严格的限制，我们的两种方法都远远低于上界，因此还有很多挑战。
2019-08-15 cs.CL
Multilingual MFA: Forced Alignment on Low-Resource Related Languages
Yale University（耶鲁大学）
本文通过蒙特利尔强制对齐器比较多语言与跨语言训练，发现适配英语模型对低资源相关语言（如澳大利亚语言）的强制对齐效果最佳。
2025-04-23 cs.CL
Data Augmentation for Low-Resource Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）
神经机器翻译系统的质量在很大程度上取决于大量并行语料库的可用性。对于低资源语言对，情况并非如此，导致翻译质量差。受计算机视觉工作的启发，我们提出了一种新的数据增强方法，该方法通过在新的合成创建的上下文中生成包含罕见单词的新句子对来针对低频单词。在模拟低资源设置上的实验结果表明，我们的方法比基线提高了2.9个BLEU点，比反向翻译提高了3.2个BLEU点。
2017-05-01 cs.CL
Multilingual Neural Semantic Parsing for Low-Resourced Languages
Amazon Research Cambridge（亚马逊剑桥研究院）
多语言语义解析是一种经济有效的方法，它允许单个模型理解不同的语言。然而，研究人员面临着训练数据的可用性很大的不平衡，英语资源丰富，而其他语言的数据少得多。为了解决数据限制的问题，我们提出使用机器翻译引导多语言训练数据从更丰富的英语数据。为了补偿机器翻译的训练数据的数据质量，我们利用来自预训练的多语言编码器的迁移学习来进一步改进模型。为了评估我们的多语言模型对人类写的句子，而不是机器翻译的，我们介绍了一个新的多语言语义解析数据集的基础上，Facebook的任务导向解析（TOP）数据集的英语，意大利语和日语。我们发现，使用预训练编码器的联合多语言训练在TOP数据集上的表现远远优于我们的基线，并且在公共NLMaps数据集上的表现优于最先进的模型。我们还在TOP数据集上建立了一个新的零样本学习基线。我们发现，一个语义解析器只训练英语数据实现了zero-shot性能的44.9%的精确匹配准确度对意大利语句子。
2021-06-14 cs.CL
The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling
Facebook AI Research（Facebook人工智能研究院）；EHESS（社会科学高等学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
我们引入了一个新的无监督任务，口语建模：从没有任何标签的原始音频信号中学习语言表示，以及零资源语音基准2021：一套4个黑盒，zero-shot指标，在4个语言水平上探索学习模型的质量：语音，词汇，语法和语义。我们展示了由三个无监督系统串联而成的复合基线的结果和分析：自监督对比表示学习（CPC），聚类（k-means）和语言建模（LSTM或BERT）。语言模型基于从聚类学习的表示导出的伪文本进行学习。这个简单的流水线在所有四个指标上都表现出了优于机会的性能，证明了从原始语音进行口语建模的可行性。与在相同数据上训练的基于文本的“背线”系统相比，它的性能也更差，描绘了由更复杂的端到端模型探索的空间。
2020-12-01 cs.CL cs.SD eess.AS
Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark
KTH（瑞典皇家理工学院）
本研究针对瑞典语等低资源语言，通过人类反馈和强制选择排序建立基准，评估十一个主流及定制LLM的瑞典语理解与生成能力，并发布chatbotarena.se基准以促进后续研究。
2024-05-22 cs.AI cs.CL
A Dataset Independent Set of Baselines for Relation Prediction in Argument Mining
Imperial College London（帝国理工学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；I3S（信息、信号与智能系统实验室）
论元挖掘（Argument Mining）是一个旨在提取论元成分和预测论元关系（即，支持和攻击）。特别是，在文献中已经提出了许多方法来预测参数之间的关系，并为此目的建立了特定于应用程序的注释资源。尽管创建这些资源是为了对同一任务进行实验，但要成功应用于这些数据集的重要部分的单一关系预测方法的定义是论证挖掘中的一个开放性研究问题。这意味着文献中提出的方法都不能轻易地从一个资源移植到另一个资源。在本文中，我们解决这个问题，提出了一组独立于数据集的强神经基线，在文献中提出的所有数据集上获得均匀的结果，用于论证关系预测任务。因此，我们的基线可以被论证挖掘社区用来更有效地比较一种方法在论证关系预测任务上的表现。
2020-02-14 cs.AI cs.CL
Towards Realistic Low-resource Relation Extraction: A Benchmark with Empirical Baseline Study
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Hangzhou Innovation Center, Zhejiang University（浙江大学杭州创新中心）；Tencent（腾讯）
本文构建了覆盖8个数据集的低资源关系抽取基准LREBench，系统比较提示调优、长尾平衡、数据增强与自训练等方案，发现提示调优和数据增强更有效，而平衡方法与自训练收益不稳定。
2023-09-18 cs.AI cs.CL cs.IR
Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
本文介绍了在加泰罗尼亚理工大学为机器翻译2022年手语翻译任务研讨会开发的系统，特别是用于符号到文本的方向。我们使用一个用Fairseq建模工具包实现的Transformer模型。我们已经试验了词汇量，数据增强技术和PHOENIX-14 T数据集的预训练模型。我们的系统为测试集获得了0.50 BLEU分数，将组织者的基线提高了0.38 BLEU。我们注意到基线和我们的系统的结果都很差，因此，我们的发现是不可靠的。
2022-12-02 cs.CL cs.CV
Initial Decoding with Minimally Augmented Language Model for Improved Lattice Rescoring in Low Resource ASR
P.E.S. University（P.E.S.大学）；Cloud Computing Innovation Council of India（印度云计算创新委员会）
本文提出最小增强语言模型方法，通过补充基线缺失的词单字计数生成更全面的格，在低资源ASR中实现与全维基增强相当的词错误率降低（泰卢固语21.8%，卡纳达语41.8%），且内存仅1/8。
2024-03-16 cs.CL cs.LG eess.AS
TwistList: Resources and Baselines for Tongue Twister Generation
The University of Sheffield（谢菲尔德大学）；University of Surrey（萨里大学）
本文提出包含2.1K+条人工示例的绕口令数据集TwistList及TwisterMisters基线，评估主流预训练模型在缺乏语音知识和任务训练时的绕口令生成能力。
2023-06-07 cs.AI cs.CL
An Incremental Clustering Baseline for Event Detection on Twitter
Lattice（Lattice（法国国家科学研究中心、巴黎高等师范学院-PSL、新索邦大学联合机构））；Sciences Po（巴黎政治学院）；médialab（媒介实验室）
针对文本流事件检测中平衡性能标准与计算复杂度的挑战，本研究采用增量聚类算法结合sentence embeddings技术，相比Cao et al. (2024)和Mazoyer et al. (2020)的研究取得显著改进，为未来研究提供了相关基线。
2024-12-16 cs.CL cs.SI
AsNER -- Annotated Dataset and Baseline for Assamese Named Entity recognition
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
我们提出了AsNER，低资源阿萨姆语命名实体注释数据集与基线阿萨姆语NER模型。该数据集包含约99，000个令牌，由印度总理的演讲和阿萨姆戏剧的文本组成。它还包含人名、地名和地址。拟议的NER数据集可能是基于深度神经的阿萨姆语语言处理的重要资源。我们通过训练NER模型来对数据集进行基准测试，并使用最先进的监督命名实体识别（NER）架构进行评估，如Fasttext，BERT，XLM-R，FLAIR，MuRIL等。当使用MuRIL作为词嵌入方法时，所有基线中的最高F1分数达到80.69%的准确度。注释的数据集和表现最好的模型是公开的。
2022-07-07 cs.AI cs.CL
Establishing degrees of closeness between audio recordings along different dimensions using large-scale cross-lingual models
CNRS（法国国家科学研究中心）；Université Paris-Cité（巴黎城市大学）；LACITO（语言与东方文明研究中心）；Université Sorbonne Nouvelle（新索邦大学）；LISN（信息、信号与图像处理实验室）；Université Paris-Saclay（巴黎-萨克雷大学）
本研究提出一种无监督的ABX测试方法，利用预训练多语言模型的语音表示，通过三个实验验证了不同维度下录音的接近程度，为低资源语言研究开辟新途径。
2024-02-08 cs.CL cs.SD eess.AS
KurdSTS: The Kurdish Semantic Textual Similarity
Artificial Intelligence and Innovation Centre, University of Kurdistan Hewler（库尔德斯坦赫勒大学人工智能与创新中心）；Soran University（索兰大学）；University of Tehran（德黑兰大学）
本文提出了首个库尔德语语义文本相似性数据集，并评估了多种基线模型，揭示了库尔德语在形态学、正字法和代码混合方面的挑战。
2025-11-27 cs.AI cs.CL
Handling Noisy Labels for Robustly Learning from Self-Training Data for Low-Resource Sequence Labeling
Heidelberg University（海德堡大学）；Aalto University（阿尔托大学）；Saarland University（萨尔兰大学）
在本文中，我们解决的问题，有效地自我训练神经网络在低资源设置。自训练经常用于自动增加训练数据的量。然而，在低资源场景中，由于使用未标记数据的自标记创建的不可靠注释，它的效率较低。我们建议将自训练与自标记数据的噪声处理相结合。在组合的干净训练集和自标记数据上直接估计噪声可能导致干净数据的损坏，因此性能更差。因此，我们提出了清洁和嘈杂的标签神经网络，通过明确地分别对清洁和嘈杂的标签进行建模，同时对清洁和嘈杂的自标记数据进行训练。在我们对组块和NER的实验中，这种方法比基线更鲁棒。作为这种显式方法的补充，噪声也可以在辅助学习任务的帮助下隐式处理。对于这种补充方法，我们的方法比其他基线方法更有益，并且一起提供了最佳的整体性能。
2019-03-28 cs.CL cs.LG
Multilingual bottleneck features for subword modeling in zero-resource languages
University of Edinburgh（爱丁堡大学）
我们如何有效地为没有转录数据的语言开发语音技术？许多现有的方法根本不使用注释资源，但是利用来自其他语言的大型注释语料库的信息是有意义的，例如以从监督语音识别系统获得的多语言瓶颈特征（BNF）的形式。在这项工作中，我们评估的好处BNF的子词建模（特征提取）在六个看不见的语言上的一个字的歧视任务。首先，我们建立了一个强大的无监督基线结合现有的两种方法：声道长度归一化（VTLN）和对应的自动编码器（cAE）。然后，我们表明，在一种语言上训练的BNF已经超过了这个基线;包括多达10种语言会带来额外的改进，这是仅仅从一种语言中添加更多数据所无法比拟的。最后，我们表明，cAE可以进一步提高的BNF，如果高质量的相同的词对。
2018-06-18 cs.CL eess.AS
AP16-OL7: A Multilingual Database for Oriental Languages and A Language Recognition Baseline
Tsinghua University（清华大学）；SpeechOcean（驰声信息科技有限公司）
我们展示了AP 16-OL 7数据库，该数据库作为APSIPA 2016东方语言识别（OLR）挑战赛的训练和测试数据发布。在此基础上，构建了基于i向量模型的基线系统。我们报告了在AP 16-OLR评估计划定义的各种指标中评估的基线结果，并证明AP 16-OL 7是多语言研究的合理数据资源。
2016-09-27 cs.AI cs.CL
Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language
Don Bosco College Of Engineering（东邦工程学院）
本文提出Konkani-Instruct-100k数据集，通过Gemini 3生成，开发了优化区域特色的科尼语LLM，并构建多脚本评估基准，提升低资源语言在机器翻译中的表现。
2026-03-07 cs.AI cs.CL
Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
低资源语言中的数据稀缺已经成为构建强大的神经机器翻译系统的瓶颈。微调多语言预训练模型（例如，mBART（Liu等人，2020年））是一个很好的方法，用于低资源语言;然而，当翻译对中有看不见的语言时，它的性能将受到极大的限制。在本文中，我们提出了一个mBART的持续预训练（CPT）框架，以有效地适应看不见的语言。我们首先从翻译对中目标语言的单语语料库中构建噪声混合语言文本，以覆盖源语言和目标语言，然后，我们继续预训练mBART来重建原始单语文本。结果表明，我们的方法可以在mBART基线以及其他强基线上，在所有测试的包含未见过语言的低资源翻译对中持续提高微调性能。此外，我们的方法还提高了翻译对的性能，其中两种语言都可以在原始mBART的预训练中看到。该代码可在https://github.com/zliucr/cpt-nmt上获得。
2021-05-09 cs.AI cs.CL
Llama-GENBA-10B: A Trilingual Large Language Model for German, English and Bavarian
Leibniz Supercomputing Centre (LRZ)（莱布尼茨超算中心）；Cerebras Systems（Cerebras系统）
本文提出Llama-GENBA-10B三语模型，基于Llama 3.1-8B扩展至100亿参数，通过多语预训练和统一tokenizer解决英语中心偏见，在巴伐利亚语上超越同类模型，为低资源语言模型提供蓝图。
2025-09-06 cs.AI cs.CL
Dataset Creation and Baseline Models for Sexism Detection in Hausa
Federal University Dutse（达图塞联邦大学）；Imperial College London（伦敦帝国学院）；University of Huddersfield（赫德舍菲尔德大学）
本研究通过社区参与和数据增强构建了首个豪萨语性别歧视检测数据集，并使用传统机器学习、多语言预训练模型及少样本学习建立基线，揭示了跨文化语境下检测性别歧视的挑战与误报问题。
2025-10-30 cs.AI cs.CL
Family of Origin and Family of Choice: Massively Parallel Lexiconized Iterative Pretraining for Severely Low Resource Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
我们翻译一个封闭的文本是已知的提前到一个严重低资源的语言，利用大规模的源并行。换句话说，给定124种源语言的文本，我们仅使用~ 1，000行低资源数据将其翻译成严重低资源语言，而无需任何外部帮助。首先，我们提出了一个系统的方法来排名和选择源语言接近低资源语言。我们称语言家族的语言定义为起源家族（FAMO），我们称使用我们的度量标准的高级语言的经验定义为选择家族（FAMC）。其次，我们构建了一个迭代预训练的多语言保序词汇化Transformer（IPML），在约1,000行（约3.5%）的低资源数据上进行训练。为了正确翻译命名实体，我们为124种源语言的2，939个圣经命名实体建立了一个庞大的词典表，其中包括许多只出现一次并涵盖超过66种严重低资源语言的实体。此外，我们还建立了一个新的方法，从不同的源语言的翻译合并成一个。使用英语作为一种假设的低资源语言，我们在多语言基线上获得了+23.9 BLEU的增长，在圣经数据集中的非对称基线上获得了+10.3 BLEU的增长。我们在医学EMEA数据集上获得了42.8的BLEU分数。我们也有很好的结果，一个真正的严重低资源玛雅语言，东部Pokomchi。
2021-10-16 cs.AI cs.CL
Large scale weakly and semi-supervised learning for low-resource video ASR
Facebook AI（Facebook人工智能实验室）
为了克服建立高质量语音识别系统的标记成本，已经研究了许多半监督和弱监督方法。在低资源条件下转录社交媒体视频的挑战性任务中，我们一方面对两种自标记方法进行了大规模的系统比较，另一方面使用上下文元数据进行了弱监督预训练。我们调查蒸馏方法在帧级和序列级的混合，编码器仅CTC为基础的，编码器-解码器语音识别系统的荷兰语和罗马尼亚语，分别使用27,000和58,000小时的未标记的音频。尽管所有方法都将各自的基线WER提高了8%以上，但与最强的数据增强监督基线相比，编码器-解码器模型的序列级蒸馏提供了20%的最大相对WER降低。
2020-08-07 cs.CL cs.SD eess.AS
Going for GOAL: A Resource for Grounded Football Commentaries
Heriot-Watt University（赫瑞瓦特大学）；Semasio, Lda.（Semasio有限公司）
最近的视频+语言数据集涵盖了交互高度结构化的领域，如教学视频，或者交互是脚本化的，如电视节目。这两个属性都可能导致模型利用虚假线索，而不是学习基础语言。在本文中，我们提出了GrOunded footbAlL评论（GOAL），足球（或“足球”）的一个新的数据集的精彩视频用英语转录的现场评论。由于游戏的进程是不可预测的，所以评论也是不可预测的，这使得它们成为研究动态语言基础的独特资源。我们还为以下任务提供最先进的基线：帧重新排序，时刻检索，现场评论检索和逐场直播评论生成。结果表明，SOTA模型在大多数任务中表现良好。我们讨论了这些结果的影响，并提出了新的任务，目标可以使用。我们的代码库可以在https://gitlab.com/grounded-sport-convai/goal-baselines上找到。
2022-11-08 cs.CL cs.CV
Strings from the Library of Babel: Random Sampling as a Strong Baseline for Prompt Optimisation
University College London（伦敦大学学院）；Comcast AI Technologies（康卡斯特人工智能技术公司）
该研究提出从语言模型词表随机采样词元作为提示分隔符的方法，实验证明其性能接近现有自优化方法、优于人工基线，挑战了有效提示需可读或任务相关的认知，为提示优化提供强基线。
2024-04-17 cs.AI cs.CL
