KnowsLM: A framework for evaluation of small language models for knowledge augmentation and humanised conversations
AIGuruKul Foundation（AIGuruKul基金会）
本研究针对中小型语言模型生成类人对话的挑战，通过KnowsLM框架分析LoRA秩、数据集规模等因素对知识保留和风格对齐的影响，发现微调与RAG增强模型各有优劣。
2025-04-13 cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology（伊利诺伊理工学院）
大型预训练语言模型（PLM）的最新进展通过特定于任务的微调在自然语言理解（NLU）任务方面取得了令人印象深刻的进展。然而，直接微调PLM严重依赖于足够的标记训练实例，这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板，以引出语义从PLM。此外，传统的数据增强策略，如同义词替换，虽然广泛采用在低资源的情况下，只带来边际改进的少样本学习。因此，一个重要的研究问题出现了：如何设计有效的数据增强方法，为基础的Few-Shot调整？为此，考虑到标签语义是必不可少的，在基于标签的调整，我们提出了一种新的标签引导的数据增强的框架BattDA，它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明，该框架通过有效利用标签语义和数据增强进行自然语言理解，具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Differentiable Data Augmentation for Contrastive Sentence Representation Learning
Singapore University of Technology and Design（新加坡科技设计大学）
通过具有大量未标记句子或标记句子对的对比学习框架来微调预训练的语言模型是获得高质量句子表示的常用方法。尽管对比学习框架在句子表示学习方面已经显示出其优越性，但由于其构造正对的方法简单，迄今为止，这种框架的潜力还没有得到充分的开发。受此启发，我们提出了一种方法，使硬阳性从原来的训练样本。我们的方法的一个关键组成部分是使用附加到预训练语言模型的前缀，这允许在对比学习期间进行可区分的数据增强。我们的方法可以概括为两个步骤：监督前缀调整，然后与未标记或标记的例子联合对比微调。我们的实验证实了我们的数据增强方法的有效性。所提出的方法产生显着的改进，现有的方法在半监督和监督设置。在低标记数据集下的实验也表明，我们的方法比最先进的对比学习方法具有更高的标记效率。
2022-10-29 cs.CL
Cropping outperforms dropout as an augmentation strategy for self-supervised training of text embeddings
Hertie Institute for AI in Brain Health（人工智能与脑健康赫尔蒂研究所）；University of Tübingen（图宾根大学）；University of Tübingen, Germany（德国图宾根大学）
本文研究了自监督微调中裁剪和dropout两种增强策略，发现裁剪在文本嵌入质量上表现更优，尤其在领域内数据中能快速生成高质量嵌入。
2026-03-16 cs.CL cs.LG
Enhancing LLMs for Identifying and Prioritizing Important Medical Jargons from Electronic Health Record Notes Utilizing Data Augmentation: A Comparative Study
Miner School of Computer and Information Sciences, UMass Lowell, MA, USA（UMass Lowell 计算机与信息科学学院）；Manning College of Information and Computer Sciences, UMass Amherst, MA, USA（UMass Amherst 信息与计算机科学学院）；Center for Healthcare Organization and Implementation Research, VA Bedford Health Care, MA, USA（VA Bedford医疗中心医疗组织与实施研究中心）
本文通过数据增强提升LLM在低资源环境下识别和优先级排序电子健康记录中的医学术语，评估了闭源和开源模型的性能，发现微调和数据增强能提升模型表现。
2026-07-23 cs.CL
LLMs vs Established Text Augmentation Techniques for Classification: When do the Benefits Outweight the Costs?
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究院）；University of Pittsburgh（匹兹堡大学）
本文在6个数据集、3个分类器和2种微调方法上对比了LLM与成熟文本增强技术，通过成本效益分析发现LLM增强仅在种子数量极少时才具部署价值，成熟方法往往能达到相似或更优的准确率。
2024-08-29 cs.CL
Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG
IIT(ISM) Dhanbad（丹巴印度理工学院（印度矿业学院））；IBM Research（IBM研究院）
提出通过上下文增强和知识释义的系统性数据增强框架，改进领域特定RAG中LLM的微调，提升知识注入效果并缓解灾难性遗忘。
2025-03-27 cs.CL
SAGE: Scalable Automated Robustness Augmentation for LLM Knowledge Evaluation
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；National University of Singapore（新加坡国立大学）
SAGE通过细调小型模型构建大规模鲁棒性增强的知识评估基准，成本显著低于人工标注的HellaSwag-Pro，且细调模型可泛化至MMLU。
2026-05-12 cs.CL
PSK@EEUCA 2026: Fine-Tuning Large Language Models with Synthetic Data Augmentation for Multi-Class Toxicity Detection in Gaming Chat
Independent Researcher（独立研究员）
本文提出通过合成数据增强微调大语言模型，用于游戏聊天中的多类毒性检测，实验结果显示在测试集上达到0.6234的F1-macro分数，发现验证性能高反而导致测试转移差的'验证陷阱'现象。
2026-05-08 cs.AI cs.CL cs.LG
Optimizing Chain-of-Thought Reasoning: Tackling Arranging Bottleneck via Plan Augmentation
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
本文通过将思维链推理分解为安排与执行，发现瓶颈主要在安排环节，并提出基于抽象计划的训练与推理方法，在数学和工具使用任务上显著提升长距离推理泛化能力。
2024-10-22 cs.CL
Tuning Language Models as Training Data Generators for Augmentation-Enhanced Few-Shot Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出FewGen方法，通过调优自回归语言模型生成合成训练数据来增强少样本学习，在GLUE基准上显著优于现有方法。
2023-05-12 cs.CL cs.LG
A Survey on Data Synthesis and Augmentation for Large Language Models
Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）
本文综述了贯穿大语言模型生命周期的数据合成与增强技术，涵盖数据准备、预训练、微调等阶段，旨在应对高质量数据耗尽危机，为研究人员提供数据生成策略参考与未来探索见解。
2024-10-16 cs.CL
Minimal-Edit Instruction Tuning for Low-Resource Indic GEC
Indian Heritage Language Computing Team Special and Strategic Projects (SSP) Group（印度遗产语言计算团队特殊与战略项目组）；Centre for Development of Advanced Computing (C DAC)（高级计算发展中心）
本文提出一种无需数据增强的低资源印地语语法错误纠正方法，通过指令微调和保守解码实现高效纠错。
2025-11-28 cs.CL
LM-mixup: Text Data Augmentation via Language Model based Mixup
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；BIAI, ZJUT & D5Data.ai（BIAI、ZJUT及D5Data.ai）
本文提出LM-Mixup方法，通过构建MIXTURE数据集并结合监督微调与GRPO强化学习，仅用3%的蒸馏数据即可高效增强低质量指令跟随数据，提升LLMs的指令微调效率与性能。
2026-08-04 cs.CL
Span-level Emotion-Cause-Category Triplet Extraction with Instruction Tuning LLMs and Data Augmentation
College of Computer Science and Engineering（计算机科学与工程学院）；Shandong University of Science and Technology（山东科技大学）；Guangxi Key Lab of Human-machine Interaction and Intelligent Decision（广西人机交互与智能决策重点实验室）；Nanning Normal University（南宁师范大学）
针对跨度级情感-原因-类别三元组抽取的挑战，本研究提出基于指令微调和数据增强的框架，无需特定任务架构，解决数据稀缺问题，实验表明其指标较基线提升至少12.8%，推动情感原因分析发展。
2025-04-13 cs.AI cs.CL
Few-shot learning through contextual data augmentation
Ecole Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）；University of Edinburgh（爱丁堡大学）
在主题不断变化的行业（如翻译或新闻机构）中使用的机器翻译（MT）模型需要适应新数据，以保持其性能。我们的目标是教一个预先训练好的MT模型准确地翻译以前看不见的单词，基于很少的例子。我们提出了（i）一个实验设置，允许我们模拟出现在人类提交的翻译中的新词汇，以及（ii）相应的评估指标来比较我们的方法。我们扩展了一个数据增强的方法，使用预先训练的语言模型，以创建训练样本与新的单词类似的上下文。我们比较了不同的微调和数据增强的方法，并表明，适应规模的一到五个例子是可能的。将数据增强与随机选择的训练句子相结合，可以获得最高的BLEU分数和准确性提高。令人印象深刻的是，仅使用1到5个示例，我们的模型报告的准确性分数比平均使用313个并行示例训练的参考系统更好。
2021-03-31 cs.CL
PlurVA-LLM-2026 Shared Task Track-1: Pluralistic Value Alignment in LLMs via Multilingual Fine-Tuning and Threshold Calibration
本文提出一种多语言微调与阈值校准方法，用于多元价值对齐，在三个国家数据集上取得宏平均准确率0.805。
2026-10-09 cs.CL
A Unified Knowledge Graph Augmentation Service for Boosting Domain-specific NLP Tasks
Peking University（北京大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出统一的 KnowledgeDA 服务，通过知识图谱实体定位、双视角实体替换增强和置信度筛选，在微调阶段注入领域知识，并在医疗与软件开发任务上验证其有效性。
2023-06-05 cs.CL
APrompt4EM: Augmented Prompt Tuning for Generalized Entity Matching
Peking University（北京大学）；China Telecom Research Institute（中国电信研究院）
针对低资源广义实体匹配中的提示设计与信息差距问题，提出融合上下文化软 token 提示调优和 LLM 信息增强的 APrompt4EM，以低成本实现优于中等规模 PLM 方法、媲美微调 LLM 的性能。
2024-05-08 cs.AI cs.CL
Use Random Selection for Now: Investigation of Few-Shot Selection Strategies in LLM-based Text Augmentation for Classification
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；University of Pittsburgh（匹兹堡大学）
该研究比较了few-shot学习中的多种样本选择策略在基于LLM的文本增强中的效果，发现“信息量”策略带来的性能提升微乎其微，建议目前仍以随机选择为默认方案。
2024-10-14 cs.CL
UZHCL_for_the_win at Touche: Encoder Fine-Tuning, Synthetic Augmentation, and an Underpowered Encoder-LLM Comparison
University of Zurich（苏黎世大学）
本文介绍UZHCL_for_the_win参与Touche 2026共享任务的系统，采用微调RoBERTa-large编码器等方法，在基础赛道ST2、ST3分类单元获第一，还开展了低算力编码器-大语言模型对比研究。
2026-10-20 cs.CL
Data Augmentation for Intent Classification with Off-the-shelf Large Language Models
University of Waterloo（滑铁卢大学）；ServiceNow Research（ServiceNow研究院）
数据增强是一种广泛使用的技术，以缓解数据稀缺的问题。在这项工作中，我们提出了一种基于标记的方法来生成标记的训练数据，用于使用现成的语言模型（LM）（如GPT-3）进行意图分类。该方法的优点是不需要用于数据生成的任务特定LM微调;因此该方法不需要超参数调整，并且即使在可用的训练数据非常稀缺时也是适用的。我们评估所提出的方法在Few-Shot设置四个不同的意图分类任务。我们发现，GPT生成的数据显着提高意图分类器的性能时，考虑的意图是足够的彼此不同。在语义接近意图的任务中，我们观察到生成的数据不太有用。我们的分析表明，这是因为GPT经常生成属于密切相关的意图，而不是所需的话语。我们提出的初步证据表明，一个基于过滤的GPT分类器可能有助于过滤生成的数据，以提高其质量。
2022-04-05 cs.AI cs.CL
Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A Two-Stage Approach to Mitigate Social Biases
Jilin University（吉林大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出CCPA二阶段去偏方法，通过连续提示增强推远群体表示距离，再用对比学习拉近增强样本对距离，以提升预训练语言模型的社会偏见缓解效果并保持语言建模能力。
2023-07-04 cs.AI cs.CL
Enhancing NER Performance in Low-Resource Pakistani Languages using Cross-Lingual Data Augmentation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对低资源巴基斯坦语言NER因缺乏标注数据和PLM支持不足的问题，提出跨语言数据增强技术生成文化合理句子，微调多语言掩码LLMs后在四种语言中显著提升性能，尤其沙姆基语和普什图语。
2025-04-07 cs.CL cs.IR
DAGAM: Data Augmentation with Generation And Modification
NHN Diquest；Seoul National University（首尔国立大学）
文本分类是自然语言处理的典型下游任务，自基于Transformer架构的预训练语言模型出现以来，文本分类表现出了优异的性能。然而，在预训练的语言模型中，由于模型的大小与可用的训练数据的量相比非常大，因此经常发生欠拟合。随着数据汇集在现代机器学习范式中的重要性，已经积极地进行了针对自然语言数据增强的研究。鉴于此，我们介绍了三个数据增强计划，有助于减少大规模语言模型的欠拟合问题。首先，我们使用一个生成模型的数据增强，这是定义为数据增强与生成（DAG）。接下来，我们使用文本修改技术（如损坏和词序更改）（带修改的数据增强，DAM）来增强数据。最后，我们提出了数据增强与生成和修改（DAGAM），它结合了DAG和DAM技术，以提高性能。我们对文本分类任务的六个基准数据集进行了数据增强，并通过基于BERT的微调和评估验证了DAG、DAM和DAGAM的有效性，与原始数据集的性能相比，得到了更好的结果。
2022-04-06 cs.AI cs.CL
Data Augmentation and Hyperparameter Tuning for Low-Resource MFA
Yale University（耶鲁大学）
本文针对低资源语言强制对齐准确率低的问题，比较数据增强与超参数调优的效果，发现音频增强提升有限，而超参数调优能在不显著增加训练时间的情况下带来实质性改进。
2025-04-09 cs.CL
A Comparative Study of DSL Code Generation: Fine-Tuning vs. Optimized Retrieval Augmentation
Microsoft Corporation（微软公司）
本文比较了微调与优化检索增强生成在DSL代码生成中的效果，发现优化后的RAG模型在相似度上可媲美微调模型，并对新API更具优势。
2024-07-03 cs.AI cs.CL cs.SE
A Lightweight Multi Aspect Controlled Text Generation Solution For Large Language Models
Tongji University（同济大学）
本文提出基于数据增强的轻量级多属性可控文本生成流程，通过缓解传统数据集偏差与属性相关性，使大语言模型经指令微调后在MCTG任务上准确率提升20%。
2024-10-18 cs.AI cs.CL
MuggleMath: Assessing the Impact of Query and Response Augmentation on Math Reasoning
Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；Institute of Dataspace, Hefei Comprehensive National Science Center（合肥综合性国家科学中心天枢研究院）
本研究通过创建AugGSM8K和AugMATH数据集并微调LLaMA模型得到MuggleMath，探究查询与响应增强策略、数据量缩放关系及域外泛化，发现增强数据可提升数学推理性能但域外泛化有限。
2024-07-17 cs.AI cs.CL cs.LG
UU-Tax at SemEval-2022 Task 3: Improving the generalizability of language models for taxonomy classification through data augmentation
Utrecht University（乌得勒支大学）；Arab Academy for Science, Technology, and Maritime Transport（阿拉伯科技与海运学院）；Leiden University Medical Center（莱顿大学医学中心）；Leiden University（莱顿大学）
本文介绍了我们的策略，以解决SemEval-2022任务3 PreTENS：预设分类评估神经网络语义。任务的目标是根据句子中包含的名词对之间的分类关系来确定句子是否被认为是可接受的。对于子任务1 --二进制分类--我们提出了一种有效的方法来增强语言模型的鲁棒性和泛化能力，以便在这个下游任务上进行更好的分类。我们设计了一个两阶段的微调程序的ELECTRA语言模型使用数据增强技术。使用多任务学习和数据丰富的微调进行了严格的实验。实验结果表明，我们提出的模型，UU-Tax，确实能够很好地推广我们的下游任务。对于子任务2 -回归-我们提出了一个简单的分类器，它训练从通用句子编码器（USE）获得的特征。除了描述提交的系统之外，我们还讨论了采用预训练语言模型和数据增强技术的其他实验。对于这两个子任务，我们执行错误分析，以进一步了解所提出的模型的行为。我们在子任务1中实现了91.25%的全局F1_Binary得分，在子任务2中实现了0.221的rho得分。
2022-10-07 cs.AI cs.CL cs.LG
Synthetic Feature Augmentation Improves Generalization Performance of Language Models
Mayo Clinic（梅奥诊所）
针对有限不平衡数据集下大语言模型等深度学习模型泛化差、过拟合主导类别的问题，提出嵌入空间合成特征增强方法，经多文本分类基准验证可提升不平衡场景下模型性能与鲁棒性。
2025-01-11 cs.AI cs.CL
Demasking Fine-Tuning for Knowledge Injection in Autoregressive and Diffusion LLMs
Harvard University（哈佛大学）；University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校）；Hebrew University（希伯来大学）
本文提出一种掩码微调方法，通过重构原始文本提升自回归大语言模型的知识注入能力，无需依赖改写并克服反向诅咒，实验证明其在知识密集型任务中表现优异。
2026-11-05 cs.AI cs.CL
Optimizing Cross-Client Domain Coverage for Federated Instruction Tuning of Large Language Models
Nanjing University（南京大学）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
本文针对大语言模型联邦领域指令微调，实证发现跨客户端领域覆盖率是关键因素，并提出通过多样性客户端选择和检索增强来最大化覆盖率的FedDCA算法，在多个领域显著优于基线且隐私风险可控。
2025-08-21 cs.CL cs.DC cs.LG
SAGE: Steering Dialog Generation with Future-Aware State-Action Augmentation
Apple（苹果公司）
提出SAGE方法，通过状态-动作链引入潜变量控制对话长程行为，并结合自我改进流程优化对话轨迹，提升了情感智能指标且保持LLM基准能力。
2025-07-01 cs.AI cs.CL
MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation
Foundation Technology Center, Tencent PCG（腾讯平台与内容事业群基础技术中心）
针对大语言模型工具使用泛化难、标注成本高的问题，提出MetaTool方法，通过元任务自监督增强生成训练数据，提升开源模型工具使用性能，实现新任务零样本泛化。
2024-10-08 cs.AI cs.CL cs.LG
Semantic-preserved Augmentation with Confidence-weighted Fine-tuning for Aspect Category Sentiment Analysis
Lingnan University（岭南大学）
本文面向 ACSA 提出结构化 LLM 语义保持数据增强、语义一致性后处理及置信度加权微调，在四个基准上超过全部基线。
2025-06-08 cs.CL
Understanding the Effect of Data Augmentation on Knowledge Distillation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了数据增强在知识蒸馏（KD）中的作用，发现与微调不同，KD偏好更多数据及更大语义偏移程度的增强数据，且最佳偏移程度随数据集规模增大而减小，为探索KD专属数据增强方法提供了新视角。
2023-05-21 cs.CL
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation
Yale University（耶鲁大学）；Facebook AI（脸书人工智能研究院）；Nanyang Technological University（南洋理工大学）；Renmin University of China（中国人民大学）
在大型文本语料库上使用自监督目标预训练的模型在英语文本摘要任务上实现了最先进的性能。然而，这些模型通常在数十万个数据点上进行微调，这在将摘要应用于新的利基领域时是不可行的要求。在这项工作中，我们介绍了一种新颖的和可推广的方法，称为WikiTransfer，用于微调预训练模型，以无监督的，特定于网络的方式进行摘要。WikiTransfer对伪摘要的预训练模型进行微调，伪摘要是从通用维基百科数据中产生的，其中包含目标数据集的特征，例如所需摘要的长度和抽象级别。WikiTransfer模型在CNN-DailyMail数据集上实现了最先进的zero-shot抽象摘要性能，并在另外三个不同的数据集上证明了我们的方法的有效性。这些模型对噪声数据更鲁棒，并且与来自其他摘要数据集的Few-Shot传输相比，使用10个和100个训练样本也实现了更好或相当的Few-Shot性能。为了进一步提高性能，我们通过往返转换采用数据增强，并引入正则化项以改进Few-Shot传输。为了了解数据集方面在传输性能和最终输出摘要质量中的作用，我们进一步研究了无监督微调数据的组件的影响，并使用自动和人工评估来分析Few-Shot性能。
2021-04-11 cs.CL
Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering
University of Waterloo（滑铁卢大学）
最近，使用现成的IR技术和BERT阅读器的段落检索的简单组合被发现对于直接在维基百科上的问答是非常有效的，在标准基准数据集上产生了比先前的最新技术水平大的改进。在本文中，我们提出了一个数据增强技术，利用积极的和消极的例子，利用远程监督。我们应用分阶段的方法在多个数据集上微调BERT，从距离测试数据“最远”的数据开始，以“最接近”的数据结束。实验结果表明，在英语QA数据集上的有效性比以前的方法有很大的提高，我们在最近的两个中文QA数据集上建立了新的基线。
2019-04-14 cs.CL cs.IR
Inclusive ASR for Disfluent Speech: Cascaded Large-Scale Self-Supervised Learning with Targeted Fine-Tuning and Data Augmentation
Michigan State University（密歇根州立大学）；FRIENDS: The National Association of Young People Who Stutter（FRIENDS：全国口吃青年协会）
本文提出先用大规模自监督学习训练标准语音，再在不流利语音数据集上定向微调并引入数据增强，以显著降低口吃语音的词错误率，提升ASR包容性。
2024-10-01 cs.CL eess.AS
HiddenCut: Simple Data Augmentation for Natural Language Understanding with Better Generalization
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
使用特定任务数据微调大型预训练模型在NLP中取得了巨大成功。然而，已经证明，自我注意网络中的大部分信息是冗余的，在微调阶段没有得到有效利用。这导致劣质的结果时，推广所获得的模型域外分布。为此，我们提出了一个简单而有效的数据增强技术，HiddenCut，以更好地规范模型，并鼓励它学习更多的泛化功能。具体地，隐藏空间内的连续跨度在训练期间被动态地和策略性地丢弃。实验表明，我们的HiddenCut方法在GLUE基准测试中的性能优于最先进的增强方法，并且在分布外和具有挑战性的反例上始终表现出优越的泛化性能。我们已在https://github.com/GT-SALT/HiddenCut上公开发布了我们的代码。
2021-05-31 cs.CL
Second language Korean Universal Dependency treebank v1.2: Focus on data augmentation and annotation scheme refinement
University of Oregon（俄勒冈大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本研究扩充并优化第二语言韩语UD树库，基于该树库微调韩语语言模型，验证了适配性L2数据集对提升二语形态句法分析模型性能的重要作用。
2025-03-18 cs.CL
Comparing Retrieval-Augmentation and Parameter-Efficient Fine-Tuning for Privacy-Preserving Personalization of Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文首次系统比较了基于RAG和PEFT的大语言模型隐私保护个性化方法，发现RAG更适合冷启动用户，PEFT在数据充足时更优，两者结合可进一步提升性能。
2025-06-26 cs.CL
myMediWhisper: Construction of Burmese Medical Speech Corpus and Whisper Fine-Tuning for Clinical Dialogue ASR
National Electronics and Computer Technology Center (NECTEC)（国家电子与计算机技术中心）；King Mongkut’s University of Technology Thonburi（国王蒙固科技大学吞武里分校）；King Mongkut’s Institute of Technology Ladkrabang（国王蒙固科技学院叻甲邦分校）
本研究构建28小时缅甸医疗语音语料库，通过全微调（FFT）和带LoRA的PEFT微调Whisper，提升其在医疗对话ASR中的性能，最优模型WER达23.44%，优于更大的通用领域微调模型。
2026-08-12 cs.CL
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering
Amazon Search（亚马逊搜索）
MinPrompt通过图算法选择最少信息句子并生成问答对进行微调，在少样本开放域问答中实现高效且准确率相当或更优的结果。
2024-05-28 cs.CL
Fine Tuning vs. Retrieval Augmented Generation for Less Popular Knowledge
Radboud University（拉德堡德大学）；University of Amsterdam（阿姆斯特丹大学）
本文比较 RAG 与合成数据微调对语言模型掌握冷门知识的效果，发现 RAG 对最低频事实知识优势显著，并提出成本更低且优于微调的 Stimulus RAG。
2024-12-02 cs.CL
PiDA: Phonetically-Informed Data Augmentation for Robust Vietnamese Speech Translation
VinUniversity（Vin大学）；University of Technology Sydney（悉尼技术大学）；Monash University（莫纳什大学）
针对级联语音翻译中ASR错误传播问题，提出基于语音信息的数据增强方法PiDA，通过语音词嵌入生成相似音替换，在FLEURS越南语-英语上提升错误ASR输出翻译质量（BLEU+2.04）。
2026-06-12 cs.CL
Enhancing SLM via ChatGPT and Dataset Augmentation
Institute of Cognitive Science, Osnabrueck University（奥斯纳布吕克大学认知科学研究所）
本研究利用ChatGPT-3.5-Turbo生成合成推理来增强ANLI数据集，微调T5-Small，在NLI任务上分别提升1.3%和2.3%的准确率，展示了低成本利用LLM增强SLM性能的潜力。
2024-09-19 cs.CL
AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness
Saarland University（萨尔大学）；Bosch Center for AI（博世人工智能中心）；LMU Munich（慕尼黑大学）
本文提出 AAdaM 系统，通过机器翻译数据增强和任务自适应预训练解决低资源语言语义相关性任务，并采用适配器框架实现零样本跨语言迁移，在 SemEval-2024 任务 1 的两个子任务中均取得第一名。
2024-06-07 cs.CL
Substructure Substitution: Structured Data Augmentation for NLP
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们研究了一系列的数据增强方法，子结构替换（SUB2），自然语言处理（NLP）任务。SUB2通过替换子结构（例如，子树或连续性）与具有相同标签的子树，这可以应用于许多结构化的NLP任务，例如词性标注和解析。对于更一般的任务（例如，文本分类），没有显式注释的子结构，我们提出了基于选区解析树的SUB2的变体，将结构感知的数据增强方法引入到一般的NLP任务中。在大多数情况下，使用SUB2的增强数据集进行训练比使用原始训练集进行训练获得更好的性能。进一步的实验表明，在不同的任务和种子数据集的大小上，SUB2比其他研究的增强方法具有更一致的性能。
2021-01-02 cs.CL
UniPSDA: Unsupervised Pseudo Semantic Data Augmentation for Zero-Shot Cross-Lingual Natural Language Understanding
Alibaba Group（阿里巴巴集团）
针对跨语言表示学习中浅层无监督数据缺乏全局上下文语义的问题，提出三阶段聚类的无监督伪语义数据增强机制UniPSDA，通过多语系知识替换句子关键成分并去偏，在多类零样本跨语言理解任务上提升性能。
2024-06-24 cs.CL
Multi-Level Fine-Tuning, Data Augmentation, and Few-Shot Learning for Specialized Cyber Threat Intelligence
Technical University of Darmstadt（达姆施塔特工业大学）
随着系统变得越来越大、越来越复杂，从开源收集网络威胁情报对于维护和实现高水平的安全性变得越来越重要。然而，这些公开来源往往受到信息过载的影响。因此，应用机器学习模型将信息量压缩到必要的程度是有用的。然而，先前的研究和应用表明，现有的分类器由于泛化能力低而无法提取有关新兴网络安全事件的特定信息。因此，我们提出了一个系统来克服这个问题，训练一个新的分类器为每个新的事件。由于这需要大量的标记数据使用标准的训练方法，我们结合了三种不同的低数据制度的技术-迁移学习，数据增强，和少样本学习-训练一个高质量的分类器从很少的标记实例。我们使用来自2021年Microsoft Exchange Server数据泄露的新数据集评估了我们的方法，该数据集由三位专家标记。我们的研究结果显示，与标准训练方法相比，F1分数增加了21分以上，与少样本学习中最先进的方法相比，F1分数增加了18分以上。此外，使用该方法和32个实例训练的分类器仅比使用1800个实例训练的分类器差不到5个F1得分点。
2022-07-22 cs.CL cs.CR
CC-Tuning: A Cross-Lingual Connection Mechanism for Improving Joint Multilingual Supervised Fine-Tuning
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；The University of Hong Kong（香港大学）；Central South University（中南大学）
本文提出CC-Tuning，通过在潜在层面显式融合英与非英输入的前馈激活并利用决策器和变换矩阵，改进多语言监督微调，在22种语言的六个基准上超越普通SFT。
2025-06-01 cs.CL
