SuryaKiran at MEDIQA-Sum 2023: Leveraging LoRA for Clinical Dialogue Summarization
Optum（奥普腾公司）
本文研究利用参数高效微调方法 LoRA 进行临床对话摘要，证明其效果可与端到端微调相媲美，并报告了在 ImageCLEFmedical 子任务 A 和 B 上的评估结果。
2023-07-11 cs.AI cs.CL cs.LG
LLM Probe: Evaluating LLMs for Low-Resource Languages
L3S Research Center, Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）；Aksum University（阿克苏姆大学）
本文提出LLM Probe框架，通过词典基础方法系统评估低资源语言中LLM的语言能力，揭示序列到序列模型在形态语法分析和翻译质量上的优势，以及因果模型在词汇对齐上的表现。
2026-03-31 cs.CL
AM2iCo: Evaluating Word Meaning in Context across Low-Resource Languages with Adversarial Examples
University of Cambridge（剑桥大学）；Mila/McGill University（米拉/麦吉尔大学）
在上下文中捕获词义并区分不同语言之间的对应和变化是构建成功的多语言和跨语言文本表示模型的关键。然而，现有的多语言评估数据集，评估词汇语义“在上下文”有各种限制。特别是，1）他们的语言覆盖范围仅限于高资源语言，并且只偏向于少数几个语系和地区，2）通过表面线索使任务可以解决的设计，这导致人为夸大预训练编码器在许多目标语言上的（有时是超人的）性能，这限制了它们对模型探测和诊断的有用性，3）对跨语言评价的支持不足。为了解决这些差距，我们提出了AM 2 iCo（上下文中的对抗和多语言含义），这是一个广泛覆盖的跨语言和多语言评估集;它旨在忠实地评估最先进的（SotA）表示模型在14种语言对的跨语言上下文中理解词义身份的能力。我们在广泛的设置中进行了一系列实验，并展示了AM 2 iCo的挑战性。结果显示，目前SotA预训练的编码器大大落后于人类的表现，并且在低资源语言和与英语不同的语言中观察到最大的差距。
2021-09-19 cs.CL
SilverAlign: MT-Based Silver Data Algorithm For Evaluating Word Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
单词对齐对于各种NLP任务至关重要。因此，选择最佳的创建方法至关重要。然而，黄金评估数据的稀缺性使选择变得困难。我们提出了SilverAlign，一种新的方法来自动创建银数据的评价字对齐器，利用机器翻译和最小对。我们表明，银数据的性能与9种语言对的黄金基准相关，使我们的方法成为在黄金数据不可用时评估不同领域和语言的有效资源。这解决了低资源语言缺少黄金数据对齐的重要情况。
2023-03-27 cs.CL
Unified Low-Resource Sequence Labeling by Sample-Aware Dynamic Sparse Finetuning
Pennsylvania State University（宾夕法尼亚州立大学）；University of Waterloo（滑铁卢大学）
针对统一序列标注需格式微调且低资源下泛化差的问题，提出样本感知动态稀疏微调策略FISH-DIP，在5个任务上低资源表现优于全量微调等方法，最高提升40%性能。
2023-11-07 cs.CL
How Transferable are Attribute Controllers on Pretrained Multilingual Translation Models?
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文以 NLLB-200 为基础，利用基于梯度的推理时属性控制器，将翻译属性控制零样本迁移到无标注语言，并证明其在远距离语言和领域鲁棒性上可补充微调。
2024-01-24 cs.AI cs.CL
Dependency Parsing Across the Resource Spectrum: Evaluating Architectures on High and Low-Resource Languages
Princeton University（普林斯顿大学）
该研究评估四种句法分析器在十二种语言上的表现，发现低资源场景下Biaffine LSTM优于Transformer，形态复杂性是Transformer相对劣势的重要预测因子，为低资源句法工具开发提供了参考。
2026-10-14 cs.AI cs.CL cs.LG
Better To Ask in English? Evaluating Factual Accuracy of Multilingual LLMs in English and Low-Resource Languages
Pune Institute of Computer Technology（普纳计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs, Pune（L3Cube实验室，普纳）
本研究使用IndicQuest数据集评估GPT-4o等LLM在英语和19种印度语系语言中的事实准确性，发现模型在英语中表现更优且低资源语言更易产生幻觉。
2025-09-14 cs.CL cs.LG
Evaluating the Quality of Benchmark Datasets for Low-Resource Languages: A Case Study on Turkish
Middle East Technical University, Computer Engineering Department（中东部技术大学计算机工程系）；Bilkent University, Computer Engineering Department（比尔肯特大学计算机工程系）；Turkcell AI；Hacettepe University, Sociology Department（哈卡特佩大学社会学系）；Istanbul University, Linguistics Department（伊斯坦布尔大学语言学系）；Middle East Technical University, Turkish Language Department（中东部技术大学土耳其语言系）
本研究评估了17个土耳其语基准数据集的质量，发现70%未达标准，强调低资源语言数据集亟需更严格的质量控制。
2025-04-26 cs.AI cs.CL
MAPLE: Multilingual Evaluation of Parameter Efficient Finetuning of Large Language Models
Microsoft Research India（微软研究院印度分部）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究通过微调LLama-2-7B和Mistral-7B模型，评估参数高效微调在多语言任务中的效果，发现较高秩和量化值有利于低资源语言，但可能损害英语性能。
2024-07-22 cs.CL
Evaluating Parameter Efficient Learning for Generation
The Hong Kong University of Science Technology（香港科技大学）；NVIDIA（英伟达）
参数有效学习方法（PERM）最近获得了极大的关注，因为它们为预训练的语言模型（PLM）提供了一种有效的方法来适应下游任务。然而，这些结论大多来自于对整个训练集的域内评估。在本文中，我们从三个新的角度对PERM和微调进行了比较：（1）样本和模型大小对域内评估的影响，（2）对未知领域和新数据集的泛化，以及（3）世代的忠实性。我们的研究结果表明，对于域内设置，（a）存在样本大小的交叉点，在使用较少样本进行训练时，PERM的性能优于微调，（b）较大的PLM具有较大的交叉点。对于跨域和跨数据集的情况，我们表明（a）适配器（Houlsby等人，2019）在这里研究的所有PERM中表现最好，并且（b）如果任务数据集低于一定大小，则它优于微调。我们还比较了几代人的忠诚度，并表明PERM可以实现比微调更好的忠诚度得分，特别是对于小训练集，高达6%。最后，我们将适配器应用于MT-NLG 530 b（Smith等人，2022），并在Xsum上实现新的最先进的结果（Narayan等人，2018）的所有ROUGE评分（ROUGE-1 49.17，ROUGE-2 27.20，ROUGE-L 40.98）。
2022-10-25 cs.CL
Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
本文针对 LLM 因硬标签训练导致过度自信和幻觉的问题，提出在指令数据监督微调中使用教师模型的平滑软标签进行知识蒸馏，实验证明其可在保持通用 NLP 性能的同时减少摘要幻觉。
2025-02-16 cs.CL cs.LG
Exploring Performance Variations in Finetuned Translators of Ultra-Low Resource Languages: Do Linguistic Differences Matter?
PUC-Rio（里约热内卢联邦大学）；IBM Research Brazil（IBM巴西研究院）
本研究探讨了超低资源语言中微调翻译器的性能差异，发现语言差异可能对翻译器生成能力有显著影响。
2025-11-27 cs.AI cs.CL
Explain Less, Understand More: Data-Efficient Personalization of Reader-Dependent Jargons
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；William & Mary（威廉与玛丽学院）
本研究针对个性化术语检测的资源消耗问题，提出基于LoRA的轻量级微调与个性化提示策略，结合半监督学习，在仅用10%标注数据下超越GPT-4，实现高效低资源的用户自适应NLP系统。
2026-09-22 cs.AI cs.CL cs.LG
Text2Cypher Across Languages: Evaluating and Finetuning LLMs
Neo4j
该研究针对Text2Cypher任务多语言研究不足的问题，构建英、西、土三语数据集，评估发现基础模型性能随语言从英到土递减，提示翻译影响小，且多语言微调可缩小语言间性能差距，助力构建更包容的查询生成系统。
2025-09-04 cs.CL cs.IR
ProtoBERT-LoRA: Parameter-Efficient Prototypical Finetuning for Immunotherapy Study Identification
Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）；Takeda Pharmaceuticals（武田制药）；Boston University Graduate School of Arts and Science（波士顿大学文理研究生院）；University of Maryland School of Medicine（马里兰大学医学院）；Johns Hopkins University Bloomberg School of Public Health（约翰斯·霍普金斯大学布隆伯格公共卫生学院）
针对免疫治疗研究识别中的语义模糊和类别不平衡问题，提出ProtoBERT-LoRA混合框架，结合原型网络与LoRA高效微调，在测试集上F1达0.624，并将人工审查工作量减少82%。
2025-03-26 cs.CL cs.IR q-bio.QM
Generalizable and Stable Finetuning of Pretrained Language Models on Low-Resource Texts
UC San Diego（加州大学圣迭戈分校）
针对低资源数据集上微调预训练语言模型的不稳定与过拟合问题，提出基于注意力引导权重混合的正则化方法与双层优化框架，实现更精细的子网络选择控制，显著提升泛化性与稳定性。
2024-03-19 cs.AI cs.CL cs.LG
Is Prompt-Based Finetuning Always Better than Vanilla Finetuning? Insights from Cross-Lingual Language Understanding
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出 ProFiT 流程，系统比较基于提示的微调与普通微调在多类跨语言理解任务、少样本及全数据设置下的表现，并分析语言相似性等影响因素。
2023-07-15 cs.CL
Zero-Resource Translation with Multi-Lingual Neural Machine Translation
Middle East Technical University（中东技术大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；New York University（纽约大学）
在本文中，我们提出了一种新的微调算法，最近推出的多路，多语言神经机器翻译，使零资源机器翻译。当与新颖的多对一翻译策略一起使用时，我们的经验表明，这种微调算法允许多路多语言模型翻译零资源语言对（1）以及用相同语言对的多达1M个直接平行句子训练的单对神经翻译模型（2）优于基于机器翻译的翻译策略，同时仅保留注意力相关参数的一个附加副本。
2016-06-13 cs.CL
Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching
Stanford University（斯坦福大学）
针对低资源非洲语言语码转换语音数据集过小难以训练模型的问题，提出微调 wav2vec 2.0 XLSR 等自监督多语言表征并结合 n-gram 语言模型，使绝对词错率最多降低 20%，是数据有限时的更优方案。
2023-11-25 cs.CL
LoRA Users Beware: A Few Spurious Tokens Can Manipulate Your Finetuned Model
本研究揭示LoRA微调存在捷径漏洞，提出SSTI方法验证仅需单个伪标记即可操纵模型预测，指出现有数据清理手段无效，为AI安全与数据质量研究敲响警钟。
2025-10-01 cs.AI cs.CL cs.LG
Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules
University of Amsterdam（阿姆斯特丹大学）；Randstad（任仕达）
本研究通过指令微调和带规则的提示调优，在无需额外模型层、人工标注和数据增强的情况下，显著提升了预训练语言模型在劳动力市场下游任务中的性能。
2023-08-31 cs.CL
MzansiText and MzansiLM: An Open Corpus and Decoder-Only Language Model for South African Languages
本文介绍MzansiText和MzansiLM，针对南非11种官方语言中的9种低资源语言，通过任务特定微调在自然语言理解与生成任务中取得显著成果，但小规模下少量推理仍具挑战性。
2026-03-21 cs.CL
Continual Contrastive Finetuning Improves Low-Resource Relation Extraction
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文针对低资源关系抽取中预训练与微调目标不一致的问题，提出持续对比微调方法，并引入多中心对比损失，在 BioRED 和 Re-DocRED 上显著优于 PLM 分类器。
2023-05-31 cs.AI cs.CL cs.LG
Jointly Reparametrized Multi-Layer Adaptation for Efficient and Private Tuning
USC Information Sciences Institute（南加州大学信息科学研究所）；University of California Riverside（加州大学河滨分校）
本文提出一种联合重参数化多层适配方法，通过单个可训练向量的固定随机投影在多个Transformer层引入任务特定参数，以极少参数实现接近全量微调的性能，并适用于低资源与差分隐私场景。
2023-05-30 cs.CL cs.LG
Synthetic Function Demonstrations Improve Generation in Low-Resource Programming Languages
Microsoft Research, Microsoft（微软研究院，微软）
本文提出通过生成合成演示数据提升低资源编程语言生成性能，通过教师模型生成训练数据并微调学生模型，在Excel公式领域取得显著效果。
2026-05-11 cs.CL
Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency
Technical University of Munich, Germany（慕尼黑技术大学，德国）；Munich Center for Machine Learning, Germany（慕尼黑机器学习中心，德国）；Helmholtz Munich, Germany（海德堡-慕尼黑赫尔姆霍尔茨研究中心，德国）；University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国）；University of Trento, Italy（特伦托大学，意大利）；Beijing University of Posts and Telecommunications, China（北京邮电大学，中国）
本文研究了通过结构化剪枝压缩现有大型视觉语言模型的方法，发现宽度剪枝在低资源环境下表现更优，结合监督微调和隐藏状态蒸馏可实现高效恢复，仅需5%的数据即可保持95%性能。
2026-04-27 cs.CL
Finetuning a Kalaallisut-English machine translation system using web-crawled data
Dartmouth College（达特茅斯学院）
西格陵兰语（英语：West Greenlandic），被当地人称为Kalaallisut，是一种资源极其贫乏的多合成语言，在格陵兰约有56，000人使用。在这里，我们试图使用来自大约30个多语言网站的网络爬行伪平行句子来微调预训练的Kalaallisut到英语神经机器翻译（NMT）系统。我们编译了超过93，000 Kalaallisut句子和超过140，000丹麦句子的语料库，然后使用跨语言的句子嵌入和近似最近邻搜索，试图从这些语料库中挖掘近翻译。最后，我们将丹麦语句子翻译成英语，以获得合成Kalaallisut-English对齐语料库。尽管生成的数据集太小且噪音太大，无法改进预训练的MT模型，但我们相信，通过额外的资源，我们可以构建更好的伪并行语料库，并在MT上取得更有希望的结果。我们还注意到其他可能使用的单语Kalaallisut数据，并讨论未来的工作方向。我们公开了我们实验的代码和数据。
2022-06-05 cs.AI cs.CL
BanglaNLG and BanglaT5: Benchmarks and Resources for Evaluating Low-Resource Natural Language Generation in Bangla
Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学（BUET））；University of California Los Angeles（加州大学洛杉矶分校）
这项工作提出了BanglaNLG，一个全面的基准评估自然语言生成（NLG）模型在孟加拉国，一个广泛使用但资源不足的语言。我们在BanglaNLG基准下汇总了六个具有挑战性的条件文本生成任务，并在此过程中引入了一个新的对话生成数据集。此外，使用27.5 GB的孟加拉语数据的干净语料库，我们预训练BanglaT5，这是孟加拉语的序列到序列Transformer语言模型。BanglaT5在所有这些任务中都实现了最先进的性能，超过了几个多语言模型，绝对增益高达9%，相对增益高达32%。我们将在https://github.com/csebuetnlp/BanglaNLG上公开发布新的对话数据集和BanglaT5模型，希望能推动未来对Bangla NLG的研究。
2023-02-12 cs.CL
Finetuning Pretrained Transformers into Variational Autoencoders
ActionPower
文本变分自编码器（VAE）因后验崩溃而臭名昭著，这是一种模型的解码器学会忽略来自编码器的信号的现象。由于后塌陷被认为是由表达解码器加剧，Transformers已经看到有限的采用作为文本VAE的组成部分。将Transformers并入文本VAE的现有研究（Li等人，2020; Fang等人，2021）使用大规模预训练来减轻后崩溃，这是一种没有广泛计算资源的大多数研究社区无法使用的技术。我们提出了一个简单的两阶段训练方案，将序列到序列的Transformer转换为VAE，只需微调。由此产生的语言模型在一些内部指标上与大规模预训练的基于transformer的VAE竞争，而在其他指标上则有所不足。为了便于培训，我们全面探讨了文献中常见的后塌陷缓解技术的影响。我们发布了可重复性代码。
2021-11-24 cs.AI cs.CL
Evaluating the Text-to-SQL Capabilities of Large Language Models
University of Cambridge（剑桥大学）；ServiceNow（ServiceNow公司）；Mila（米拉研究所）；McGill University（麦吉尔大学）
我们执行的Codex语言模型的文本到SQL的能力的实证评估。我们发现，在没有任何微调的情况下，Codex是Spider基准测试的强大基线;我们还分析了Codex在此设置中的故障模式。此外，我们在GeoQuery和Scholar基准测试中证明，提示中提供的少量域内示例使Codex能够比在此类Few-Shot示例上微调的最先进模型表现更好。
2022-03-15 cs.CL cs.DB cs.LG
Evaluating Transferability of BERT Models on Uralic Languages
SZTAKI（匈牙利计算机科学与控制研究所）；Eötvös Loránd University（罗兰大学）
基于transformer的语言模型（如BERT）在大量英语基准测试中的表现优于以前的模型，但它们的评估通常仅限于英语或少数资源丰富的语言。在这项工作中，我们评估单语，多语言，并随机初始化的语言模型从BERT家庭的各种乌拉尔语言，包括爱沙尼亚语，芬兰语，匈牙利语，Erzya，Moksha，卡累利阿语，Livvi，科米Permyak，科米Zyrian，北萨米语和斯科尔特萨米语。当单语模型可用时（目前只有et，fi，hu），这些模型在母语上表现得更好，但一般来说，它们比多语言模型或共享相同字符集的基因无关语言模型传递得更差。值得注意的是，即使没有对超参数优化进行特别的努力，高资源模型的直接传输也会产生针对少数民族乌拉尔语言的最先进的POS和NER工具，这些语言有足够的数据进行微调。
2021-11-23 cs.CL
Score Combination for Improved Parallel Corpus Filtering for Low Resource Conditions
Microsoft Egypt Development Center（微软埃及开发中心）；Microsoft Corporation（微软公司）
本文介绍了我们提交的WMT20句子过滤任务。我们结合了来自以下各项的分数：（1）为每种源语言构建的自定义LASER，（2）通过语义对齐来区分阳性和阴性对的分类器，以及（3）任务devkit中包含的原始分数。对于组织者提供的mBART微调设置，我们的方法在普什图语和高棉语的测试集上的sacreBLEU分数分别比基线提高了7%和5%。
2020-11-16 cs.CL
Evaluating Extremely Low-Resource Machine Translation: A Comparative Study of ChrF++ and BLEU Metrics
本文比较了BLEU和ChrF++在极低资源语言机器翻译评估中的表现，发现BLEU在提供词汇精确度见解方面具有补充作用。
2026-02-19 cs.CL
Fluent Alignment with Disfluent Judges: Post-training for Lower-resource Languages
Language Technology Group, University of Oslo（奥斯陆大学语言技术组）
本文提出一种低资源语言的后训练方法，通过不流畅评判模型保持语言模型的流畅性，通过挪威语案例研究验证了基于策略的训练方法在无需额外数据时的有效性。
2026-03-27 cs.AI cs.CL
CoSimLex: A Resource for Evaluating Graded Word Similarity in Context
Queen Mary University of London（伦敦玛丽女王大学）；University of Ljubljana（卢布尔雅那大学）；University of Helsinki（赫尔辛基大学）；Texta
现有技术的自然语言处理工具是建立在上下文相关的词嵌入上的，但是目前不存在用于评估这些表示的直接方法。嵌入的内在评估的标准任务和数据集是基于相似性的判断，但忽略了上下文;词义消歧的标准任务考虑到上下文，但不提供意义相似性的连续度量。本文描述了一种努力，以建立一个新的数据集，CoSimLex，旨在填补这一空白。建立在SimLex-999的标准成对相似性任务的基础上，它提供了上下文相关的相似性度量;不仅涵盖了词义上的离散差异，而且涵盖了意义上更微妙的分级变化;不仅涵盖了资源丰富的语言（英语），而且还涵盖了一些资源较少的语言。我们定义了任务和评估指标，概述了数据集收集方法，并描述了迄今为止数据集的状态。
2020-10-29 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）
回译（Back translation，BT）已被广泛应用并成为神经机器翻译（Neural Machine Translation，NMT）中数据增强的标准技术之一，BT已被证明有助于有效提高翻译性能，特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上，但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译（SMT）模型的影响，用于中文到越南语和越南语到中文，基于字符和基于单词的设置。部分地证实了前人工作中的一些结论，并得出了一些有趣的发现和结论，这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
Evaluating and Adapting Large Language Models to Represent Folktales in Low-Resource Languages
School of Languages, Literatures and Cultures（语言文学与文化学院）；University of Edinburgh（爱丁堡大学）
本研究通过两个分类任务评估大型语言模型对低资源语言民间故事的表示能力，并提出三种适配方法（如处理长序列和领域继续预训练）以提升性能，尽管基线SVM表现同样出色。
2024-11-08 cs.CL
Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
Technion – Israel Institute of Technology（以色列技术学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出一种两步因果实验方法，通过多次微调和交叉微调分离训练随机性、预训练与微调对LLMs认知偏差的影响，发现偏差主要由预训练塑造，为评估和缓解偏差提供了新视角。
2025-07-12 cs.AI cs.CL cs.LG
Evaluating Unsupervised Dutch Word Embeddings as a Linguistic Resource
CLiPS, University of Antwerp（安特卫普大学CLiPS）
词嵌入最近由于在各种任务上的强大性能增益而引起了人们的强烈兴趣。然而，大多数研究也强调了基准数据集的重要性，以及为各种特定语言任务构建这些数据集的难度。尽管如此，这些任务中使用的许多数据集可能被证明是富有成效的语言资源，允许对语言使用和变异性进行独特的观察。在本文中，我们展示了多种类型的嵌入，创建计数和基于预测的架构上的各种语料库，在两个语言特定的任务：关系评估，方言识别的性能。对于后者，我们将无监督方法与传统的手工字典进行比较。通过这项研究，我们提供了嵌入本身，关系评估任务基准用于进一步的研究，并展示了基准嵌入如何证明一个有用的无监督的语言资源，有效地用于下游任务。
2016-07-01 cs.CL
FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction
Adobe Research（Adobe研究院）；Indian Institute of Technology, Kharagpur（印度理工学院，哈里科普尔）
FiRST提出利用层特定路由器根据输入序列自适应选择Transformer层子集，以降低自回归LLM推理延迟，同时兼容KV缓存并保持甚至提升模型质量。
2025-08-27 cs.CL
IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding
Institut Teknologi Bandung（万隆理工学院）；Gojek；Universitas Indonesia（印度尼西亚大学）；The Hong Kong University of Science and Technology（香港科技大学）；Universitas Multimedia Nusantara（多媒体 nusantara 大学）
虽然印尼语被认为是互联网上第四大最常用的语言，但由于缺乏可用资源，自然语言处理（NLP）对印尼语的研究进展缓慢。作为回应，我们介绍了有史以来第一个用于印度尼西亚自然语言理解（IndoNLU）任务的培训，评估和基准测试的庞大资源。IndoNLU包括12个任务，从单句分类到不同复杂程度的成对句子序列标记。任务的数据集位于不同的领域和风格，以确保任务的多样性。我们还提供了一组印度尼西亚预训练模型（IndoBERT），这些模型是从一个大型而干净的印度尼西亚数据集Indo4B中训练出来的，这些数据集是从社交媒体文本、博客、新闻和网站等公开来源收集的。我们发布了所有12个任务的基准模型，以及基准评估框架，因此它使每个人都能够对他们的系统性能进行基准测试。
2020-10-08 cs.CL
Evaluating LLMs Robustness in Less Resourced Languages with Proxy Models
NASK - National Research Institute（NASK国家研究院）
本文提出结合少量字符改动与小型代理模型计算词重要性的低成本攻击方法，用于评估LLM在波兰语等低资源语言中的安全鲁棒性，并公开数据集与代码。
2025-06-09 cs.CL
Automatic Compilation of Resources for Academic Writing and Evaluating with Informal Word Identification and Paraphrasing System
Universität Hamburg（汉堡大学）；International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）；City University of Hong Kong（香港城市大学）
我们提出了第一种方法来自动构建学术写作资源。其目的是建立一个写作辅助系统，自动编辑文本，使其更好地坚持学术写作风格。在现有的学术资源，如当代美国英语语料库（COCA）的学术词汇表，新的学术词汇表，和学术搭配表，我们还探讨了如何动态地建立这样的资源，将用于自动识别非正式或非学术的单词或短语。这些资源使用不同的通用方法进行编译，这些方法可以扩展到不同的领域和语言。我们描述了一个系统实现的资源评估。该系统包括一个非正式的词识别（IWI），学术候选释义生成和释义排名组件。为了生成候选项并在上下文中对其进行排名，我们使用了PPDB和WordNet释义资源。我们使用上下文中的概念（CoInCO）“所有单词”词汇替代数据集的非正式单词识别和释义生成实验。我们的非正式单词识别组件实现了82%的F-1分数，显著优于分层分类器基线。这项工作的主要贡献是一个独立于领域的方法来建立有针对性的资源，写作辅助工具。
2020-03-05 cs.CL
PhysNLU: A Language Resource for Evaluating Natural Language Understanding and Explanation Coherence in Physics
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文构建PhysNLU数据集集合，从句子排序、位置、章节预测和话语连贯性等方面评估语言模型对物理解释的理解能力，并通过基线揭示现有模型的不足。
2023-06-02 cs.CL
IndicXNLI: Evaluating Multilingual Inference for Indian Languages
Microsoft Research（微软研究院）；Delhi Technological University（德里理工大学）；University of Utah（犹他大学）
虽然Indic NLP最近在语料库和预训练模型的可用性方面取得了快速进展，但标准NLU任务的基准数据集有限。为此，我们引入了IndicXNLI，一个针对11种印度语言的NLI数据集。它是由原始英文XNLI数据集的高质量机器翻译创建的，我们的分析证明了IndicXNLI的质量。通过在这个IndicXNLI上微调不同的预训练LM，我们分析了各种跨语言迁移技术对语言模型，语言，多语言，混合语言输入等的选择的影响。这些实验为我们提供了有用的见解预训练模型的行为，为不同的语言。
2022-04-19 cs.AI cs.CL
Does Manipulating Tokenization Aid Cross-Lingual Transfer? A Study on POS Tagging for Non-Standardized Languages
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文研究非标准化语言变体的跨语言词性标注迁移，通过在七语种上微调 PLM 并操纵分词，发现源域与目标域拆分词比率差异最能预测零样本性能。
2023-04-20 cs.CL
Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
提出两阶段方法EcXTra，通过多语言微调与反向翻译训练单一NMT模型，实现未见语言与英语间的双向无监督翻译，在7种低资源语言上取得竞争性表现并刷新英译哈萨克语纪录。
2023-04-03 cs.CL
AREG: Adversarial Resource Extraction Game for Evaluating Persuasion and Resistance in Large Language Models
Department of Computer Science and Engineering（计算机科学与工程系）；Islamic University of Technology（伊斯兰技术大学）
AREG通过对抗性资源提取游戏评估大型语言模型的说服与抗性能力，发现两者弱相关且存在系统性防御优势。
2026-02-18 cs.CL
XCMRC: Evaluating Cross-lingual Machine Reading Comprehension
Beijing Language and Culture University（北京语言大学）；Tencent Cloud AI（腾讯云AI）
我们提出XCMRC，第一个公共跨语言语言理解（XLU）基准，旨在测试机器的跨语言阅读理解能力。具体来说，XCMRC是一个跨语言完形填空式的机器阅读理解任务，要求读者通过阅读源语言（中文/英文）中的给定段落来填充目标语言（英文/中文）中句子中的一个缺失单词（我们另外提供了十个名词候选）。汉语和英语是资源丰富的语言对，为了研究低资源跨语言机器阅读理解（XMRC），除了定义不限制使用外部语言资源的普通XCMRC任务外，还定义了限制使用语言资源的伪低资源XCMRC任务。此外，我们还分别为普通XCMRC任务和伪XCMRC任务提供了两个基线。我们还为这两项任务提供了一个上限基线。我们发现，对于常见的XCMRC任务，基于解释的方法和基于多语言句子编码器的方法可以获得合理的性能，但仍有很大的改进空间。对于伪低资源XCMRC任务，由于对语言资源的使用有严格的限制，我们的两种方法都远远低于上界，因此还有很多挑战。
2019-08-15 cs.CL
Schützen: Evaluating LLM Safety in Bulgarian and German Contexts
Sofia University "St. Kliment Ohridski" MBZUAI（索菲亚大学"圣克莱门特·奥赫里德斯基" MBZUAI）
针对现有安全评估数据集以英语和中文为主的问题，构建了覆盖低资源语言保加利亚语和高资源语言德语的Schützen安全数据集，实验揭示多语言LLM在安全行为上的显著跨语言差异，强调了区域特定评估资源的必要性。
2026-06-11 cs.CL
Podcast Summary Assessment: A Resource for Evaluating Summary Assessment Methods
University of Cambridge（剑桥大学）
自动摘要评估对于机器生成和人工生成的摘要都很有用。在给定文档的情况下自动评估摘要文本使得能够例如开发摘要生成系统和检测不适当的摘要。摘要评估可以以多种模式运行：对摘要生成系统进行排名;对特定文档的摘要进行排名;以及在绝对尺度上估计文档-摘要对的质量。用于摘要评估的具有注释的现有数据集通常基于新闻摘要数据集，诸如CNN/DailyMail或XSum。在这项工作中，我们描述了一个新的数据集，播客摘要评估语料库，一个由人类专家在TREC 2020上评估的播客摘要集合。与现有的摘要评估数据相比，该数据集具有两个独特的方面：（i）长输入，基于语音播客的文档;以及（ii）有机会检测播客语料库中不适当的参考摘要。首先，我们研究现有的评估方法，包括无模型和基于模型的方法，并为这个长输入摘要评估数据集提供基准结果。其次，为了过滤参考摘要-文档配对进行训练，我们应用摘要评估进行数据选择。这两个方面的实验结果提供了有趣的见解总结评估和生成任务。播客摘要评估数据可用。
2022-08-28 cs.CL
IndoNLG: Benchmark and Resources for Evaluating Indonesian Natural Language Generation
The Hong Kong University of Science and Technology（香港科技大学）；DeepMind；Gojek；Institut Teknologi Bandung（万隆理工学院）；Universitas Multimedia Nusantara（多媒体 nusantara 大学）
自然语言生成（NLG）基准为衡量进展和开发更好的NLG系统提供了重要途径。不幸的是，缺乏低资源语言的公开NLG基准，这对构建适用于数据量有限的语言的NLG系统构成了一个具有挑战性的障碍。在这里，我们介绍IndoNLG，第一个基准来衡量自然语言生成（NLG）的进展，在三个低资源-但广泛使用-印度尼西亚的语言：印度尼西亚语，爪哇语和巽他语。总的来说，这些语言有超过1亿的母语使用者，因此构成了当今NLG系统的重要用例。具体地说，IndoNLG涵盖了六个任务：摘要、问答、聊天和三对不同的机器翻译（MT）任务。我们整理了一个干净的印度尼西亚语，巽他语和爪哇语数据集的预训练语料库Indo 4 B-Plus，用于预训练我们的模型：IndoBART和IndoGPT。我们证明了IndoBART和IndoGPT在所有任务上都取得了有竞争力的性能-尽管只使用了更大的多语言模型mBART-LARGE的五分之一的参数（Liu et al.，2020年）。这一发现强调了对密切相关的本地语言进行预训练的重要性，以实现更有效的学习和更快的推理，例如爪哇语和巽他语等资源非常低的语言。
2021-10-09 cs.CL
Meta-Learning the Difference: Preparing Large Language Models for Efficient Adaptation
Princeton University（普林斯顿大学）；Amazon AWS AI（亚马逊AWS人工智能部门）
大型预训练语言模型（PLM）通常通过微调或提示进行领域或任务适应。微调需要修改所有参数，并有足够的数据来避免过拟合，而提示不需要训练和很少的例子，但限制了性能。相反，我们准备PLM的数据和参数有效的适应学习学习之间的区别一般和适应PLM。这种差异表示在模型权重和子层结构，通过我们提出的动态低秩重新参数化和学习架构控制器。对Few-Shot对话完成、低资源抽象摘要和多领域语言建模的实验表明，与直接微调或通过领域自适应预训练进行准备相比，适应时间和性能有所改善。烧蚀表明，我们的任务自适应重新参数化（TARP）和模型搜索（TAMS）组件分别改善了其他参数有效的传输，如适配器和结构学习方法，如学习稀疏化。
2022-07-07 cs.CL
