Adapting Small Language Models to Low-Resource Domains: A Case Study in Hindi Tourism QA
Indian Institute of Technology Kharagpur, India(印度理工学院Kharagpur分校);Bosch Research(博世研究);Technology Centre, Bangalore, India(技术中心,班加罗尔,印度)
针对低资源语言领域问答标注数据少、通用模型领域知识不足的问题,提出多阶段微调策略,用大模型生成合成数据扩充印地语旅游问答数据集,让小模型高效适配该领域,提供可规模化的低资源领域问答方案。
2025-10-29 cs.CL
Synthetic Pre-Pre-Training Improves Language Model Robustness to Noisy Pre-Training Data
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学)
本文研究了基于合成数据的轻量预预训练(PPT)阶段对提升语言模型在预训练阶段对噪声的鲁棒性的作用,实验表明PPT能有效降低噪声影响,尤其在高噪声水平下表现更优。
2026-05-11 cs.CL
Robust Neural Machine Translation for Clean and Noisy Speech Transcripts
Amazon(亚马逊)
神经机器翻译模型已经被证明在训练和输入结构良好和标点符号的文本时可以实现高质量。不幸的是,在口语翻译中不满足后一条件,其中输入由自动语音识别(ASR)系统生成。在本文中,我们研究如何适应一个强大的NMT系统,使其强大的典型ASR错误。由于在我们的应用场景中,转录本可能由人类专家进行后期编辑,因此我们提出了适应策略来训练单个系统,该系统可以在不监督输入类型的情况下翻译干净或嘈杂的输入。我们在公共语音翻译数据集上的实验结果表明,在包括ASR成绩单在内的大量并行数据上调整模型对相同类型的测试数据是有益的,但在翻译干净的文本时会产生小的退化。适应相同数据的干净和有噪声的变体可以在两种输入类型上获得最佳结果。
2019-10-22 cs.CL cs.LG
NoisyAG-News: A Benchmark for Addressing Instance-Dependent Noise in Text Classification
Hangzhou Dianzi University(杭州电子科技大学)
针对文本分类领域真实实例依赖噪声标签研究匮乏的问题,本文构建了人工标注的基准数据集NoisyAG-News,验证了真实噪声的实例依赖特性,并通过实验发现预训练模型对该类噪声鲁棒性不足,为相关方法研发提供支撑。
2024-07-09 cs.CL
SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains
Emory University(埃默里大学);Amazon(亚马逊公司)
SimRAG通过自训练方法,使大语言模型具备问答和问题生成能力,以适配科学和医学等专业领域的检索增强生成任务,在11个数据集上超越基线1.2%-8.6%。
2025-01-24 cs.AI cs.CL cs.IR
Synthetic and Natural Noise Both Break Neural Machine Translation
Massachusetts Institute of Technology(麻省理工学院);University of Washington(华盛顿大学)
基于机器翻译的神经机器翻译(NMT)模型缓解了词汇量不足的问题,学习了词法,并使我们更接近完全的端到端翻译系统。不幸的是,它们也非常脆弱,在有噪声的数据时很容易动摇。在本文中,我们面对NMT模型与合成和自然的噪声源。我们发现,最先进的模型甚至不能翻译人类没有困难理解的适度嘈杂的文本。我们探索了两种提高模型鲁棒性的方法:结构不变的单词表示和对噪声文本的鲁棒训练。我们发现,基于字符卷积神经网络的模型能够同时学习对多种噪声具有鲁棒性的表示。
2018-02-24 cs.CL cs.LG
Adapting Transformer Language Models for Predictive Typing in Brain-Computer Interfaces
Khoury College of Computer Sciences(胡里计算机学院);Northeastern University(东北大学)
本文针对脑机接口打字速度慢的问题,适配多种基于词片的Transformer语言模型进行字符级预测,实验表明GPT-2在干净文本上表现最佳,并分析了字符位置和上下文长度的影响。
2023-05-05 cs.CL
Improving Synthetic Data Training for Contextual Biasing Models with a Keyword-Aware Cost Function
College of Computing and Data Science(计算与数据科学学院);College of Computing(计算学院)
针对上下文偏置模型在合成数据训练中的过拟合问题,提出关键词感知损失函数,增强TCPGen方法,将Whisper适配10小时合成数据后,词错误率从29.71%降至11.81%。
2025-09-11 cs.AI cs.CL
Synthesizing and Adapting Error Correction Data for Mobile Large Language Model Applications
Google(谷歌)
本文利用LLM合成高质量纠错数据,并通过重加权适配移动应用领域,提出混合数据最佳实践,以提升移动端LLM在离线与线上A/B测试中的纠错性能。
2025-05-24 cs.AI cs.CL cs.LG
Adapting TTS models For New Speakers using Transfer Learning
University of California, San Diego(加州大学圣地亚哥分校);NVIDIA(英伟达)
为新的说话者训练神经文本到语音(TTS)模型通常需要几个小时的高质量语音数据。先前的语音克隆工作试图通过使用新说话者的几分钟语音数据来适应新语音的预训练的多说话者TTS模型来解决这一挑战。然而,公开可用的大型多说话者数据集通常是嘈杂的,从而导致不适合在产品中使用的TTS模型。我们通过提出迁移学习准则来应对这一挑战,该准则仅使用几分钟的语音数据来为新的说话者调整高质量的单说话者TTS模型。我们进行了广泛的研究,使用不同的数据量为一个新的扬声器和评估合成语音的自然度和语音/风格的相似性的目标扬声器。我们发现,仅在30分钟的数据上微调单扬声器TTS模型,就可以产生与男性和女性目标扬声器超过27小时的数据从头开始训练的模型相当的性能。
2022-04-06 cs.CL cs.SD eess.AS
AR: Auto-Repair the Synthetic Data for Neural Machine Translation
Alibaba(阿里巴巴)
与仅使用有限的真实平行语料作为训练语料相比,许多研究已经证明,将通过回译(BT)或前向翻译(FT)生成的合成平行语料纳入NMT训练过程可以显著提高翻译质量。然而,作为一个众所周知的缺点,合成的并行数据是嘈杂的,因为它们是由一个不完美的NMT系统产生的。结果,由合成并行数据带来的翻译质量的改善被大大削弱。在本文中,我们提出了一种新的自动修复(AR)框架,以提高质量的合成数据。我们提出的AR模型可以学习从低质量(噪声)的输入句子的转换为高质量的句子的基础上大规模的单语数据与BT和FT技术。该AR模型能够有效地消除合成并行数据中的噪声,修复后的合成并行数据能够帮助NMT模型获得更大的改进。实验结果表明,该方法能有效提高合成并行数据的质量,修复后的合成数据在WMT 14 EN!DE和IWSLT 14 DE!EN翻译任务。
2020-04-05 cs.CL
Balancing Synthetic Data and Replay for Enhancing Task-Specific Capabilities
University of Freiburg(弗赖堡大学);ELLIS Institute Tübingen(图宾根ELLIS研究所);Open-Sci Collective(开放科学集体);LAION;Prior Labs(Prior实验室)
本研究通过实证分析,在持续预训练中平衡合成数据与重放比例,以在有限计算预算下实现任务性能与知识保留的最优权衡,并提供实用指导。
2025-10-13 cs.CL cs.LG
Arabic Stable LM: Adapting Stable LM 2 1.6B to Arabic
Stability AI(稳定性人工智能公司);Stability AI Language Team(稳定性人工智能公司语言团队)
本文提出基座与聊天两版 Arabic Stable LM 1.6B,以轻量阿拉伯语中心 LLM 降低硬件需求和推理延迟,并验证合成对话指令微调可使其击败最高 8 倍参数的模型。
2024-12-05 cs.CL
Generating Synthetic Text Data to Evaluate Causal Inference Methods
Johns Hopkins University(约翰斯·霍普金斯大学)
从观测数据中得出因果结论需要对真实的数据生成过程做出假设。因果推理研究通常考虑低维数据,例如结构化医疗记录中的分类或数值字段。高维和非结构化数据,如自然语言,使因果推理方法的评估复杂化;这种评估依赖于具有已知因果效应的合成数据集。用于自然语言生成的模型已经被广泛研究并且在经验上表现良好。然而,现有的方法不能立即适用于产生因果评估的合成数据集,因为它们不允许量化对文本本身的因果影响。在这项工作中,我们开发了一个框架,以适应现有的生成模型,以产生具有已知因果效应的合成文本数据集。我们使用这个框架进行实证比较最近提出的方法估计因果关系的文本数据。我们发布代码和合成数据集。
2021-02-10 cs.CL
From Fuzzy Speech to Medical Insight: Benchmarking LLMs on Noisy Patient Narratives
Afeka Academic College of Engineering(阿费卡工程学院);Holon Institute of Technology(霍隆理工学院)
针对大型语言模型解读非正式且含噪患者叙述的挑战,研究提出合成数据集 Noisy Diagnostic Benchmark (NDB),通过微调评估 BERT 和 T5 等模型在现实语言条件下的诊断能力。
2025-09-15 cs.CL
NoisywikiHow: A Benchmark for Learning with Real-world Noisy Labels in Natural Language Processing
Harbin Institute of Technology(哈尔滨工业大学)
针对真实世界标签噪声数据集缺乏的问题,构建了最小监督下最大规模NLP基准NoisywikiHow,显式模拟多种人类标注错误和异构噪声,支持多噪声级别受控实验,并广泛评估LNL方法获得新发现。
2023-05-18 cs.AI cs.CL
Mitigating Noisy Inputs for Question Answering
University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学)
自然语言处理系统通常位于不可靠输入的下游:机器翻译、光学字符识别或语音识别。例如,虚拟助手只能在理解你的演讲后回答你的问题。我们调查和减轻噪声的影响,从自动语音识别系统上的两个事实的问答(QA)任务。经验表明,将置信度集成到模型中并强制解码未知单词可以提高下游神经QA系统的准确性。我们在超过50万个嘈杂句子的合成语料库上创建和训练模型,并在Quizbowl和Jeopardy的两个人类语料库上进行评估!竞争。
2019-08-08 cs.CL
DialUp! Modeling the Language Continuum by Adapting Models to Dialects and Dialects to Models
Johns Hopkins University, Center for Language and Speech Processing(约翰霍普金斯大学,语言与语音处理中心);University of Virginia(弗吉尼亚大学);Language Technologies Institute, Carnegie Mellon University(语言技术研究所,卡内基梅隆大学)
本文提出 DialUp,通过训练时模型适应方言与推理时方言适应模型两种互补策略,提升主流机器翻译模型对低资源方言及方言连续体的泛化能力。
2025-10-20 cs.CL
Exploration of Adapter for Noise Robust Automatic Speech Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
本研究探讨了基于适配器的ASR系统在噪声环境下的适应方法,发现浅层插入适配器效果最佳,真实数据优于模拟数据,且适配器在语音增强ASR系统中能带来显著提升。
2024-06-04 cs.CL cs.SD eess.AS
Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models
Google Research(谷歌研究院)
众所周知,合成数据生成可以提高神经语法纠错(GEC)系统的准确性,但现有方法往往缺乏多样性或过于简单,无法生成人类作者所犯的各种语法错误。在这项工作中,我们使用错误类型标签自动注释工具,如ERRANT指导合成数据的生成。我们比较了几种模型,可以产生一个不符合语法的句子给出一个干净的句子和错误类型标签。我们使用这些模型来建立一个新的,大的合成预训练数据集与错误标签频率分布匹配给定的开发集。我们的合成数据集产生了巨大而一致的增益,提高了在ESTA-19和CoNLL-14测试集上的最新水平。我们还表明,我们的方法是特别有效的,在适应GEC系统,培训混合本地和非本地英语,以英语为母语的测试集,甚至超过真正的训练数据组成的高质量的句子对。
2021-05-27 cs.CL
DeRAGEC: Denoising Named Entity Candidates with Synthetic Rationale for ASR Error Correction
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(人工智能研究生院,POSTECH,韩国);Department of Computer Science and Engineering, POSTECH, Republic of Korea(计算机科学与工程系,POSTECH,韩国);Mobile eXperience Business, Samsung Electronics, Republic of Korea(三星电子移动体验业务,韩国);aiXplain Inc., Los Gatos, CA, USA(aiXplain公司,美国加利福尼亚州洛斯加托斯)
本文提出 DeRAGEC,通过合成去噪理由、语音相似性和增强定义,在 RAGEC 纠错前过滤命名实体候选,无需额外训练即可显著降低 ASR 词错率。
2025-06-09 cs.CL
TULIP: Adapting Open-Source Large Language Models for Underrepresented Languages and Specialized Financial Tasks
Data Science & AI, Prometeia SPA(数据科学与人工智能,Prometeia公司)
本文提出 TULIP 模型,通过五阶段流程对 Llama 3.1 8B 和 Qwen 2.5 7B 进行领域与语言适配,以提升其在金融土耳其语任务中的表现。
2025-08-22 cs.CL
Fine-Tuning Large Language Models to Translate: Will a Touch of Noisy Data in Misaligned Languages Suffice?
Saarland University(萨尔大学);University of Edinburgh(爱丁堡大学);Digital Twin Institute(数字孪生研究院)
本研究重新审视大语言模型翻译微调中数据量、方向、质量三因素的作用,发现少量平行句即可实现多方向翻译,但需注意翻译方向选择与噪声数据影响,避免模型利用非预期数据偏差。
2024-10-04 cs.CL
Advancing Semi-Supervised Learning for Automatic Post-Editing: Data-Synthesis by Mask-Infilling with Erroneous Terms
POSTECH(浦项科技大学)
针对自动后编辑(APE)训练数据缺乏问题,提出基于错误词掩码填充的数据合成方法与选择性语料交织策略,生成模仿真实翻译错误的合成数据,显著提升了APE性能。
2024-06-03 cs.CL
MTNT: A Testbed for Machine Translation of Noisy Text
Carnegie Mellon University(卡内基梅隆大学)
在大多数现代机器翻译(MT)系统中,噪声或不标准的输入文本会导致灾难性的误译,并且已经有越来越多的研究兴趣创建噪声鲁棒的MT系统。然而,到目前为止,还没有公开可用的具有自然发生的噪声输入和翻译的并行语料库,因此以前的工作已经求助于对合成创建的数据集进行评估。在本文中,我们提出了一个用于噪音文本(MTNT)的机器翻译的基准数据集,由Reddit(www.reddit.com)上的噪音评论和专业来源的翻译组成。我们委托将英语评论翻译成法语和日语,以及将法语和日语评论翻译成英语,每个语言对的句子数量为7 k-37 k。我们定性和定量地研究了该数据集中包含的噪声类型,然后证明了现有的MT模型在一些与噪声相关的现象上严重失败,即使在对一小部分域内数据训练集进行自适应之后。这表明,该数据集可以提供一个有吸引力的测试平台,为量身定制的方法来处理机器翻译中的噪声文本。这些数据可在www.cs.cmu.edu/~pmichel1/mtnt/上公开获取。
2018-09-02 cs.CL
Guardian Crawler: Retrieval-First Knowledge Discovery with Bounded LLM Augmentation for Noisy Web Intelligence
Old Dominion University(奥多明尼昂大学)
Guardian Crawler是面向噪声网络智能的检索优先型测试平台,结合BM25与风险感知重排序等技术,在合成语料库实验中取得较高检索分数,可用于知识发现与证据摘要生成。
2026-08-11 cs.AI cs.CL cs.IR
Adapting Sequence to Sequence models for Text Normalization in Social Media
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
社交媒体提供了丰富的有价值的原始数据来源,但非正式的写作可能很快成为许多自然语言处理(NLP)任务的瓶颈。现成的工具通常是在正式文本上训练的,不能显式地处理简短的在线帖子中发现的噪音。此外,频繁出现的语言变体的多样性带来了一些挑战,即使对于可能无法理解这些帖子的含义的人来说,特别是当它们包含俚语和缩写时。文本规范化旨在将在线用户生成的文本转换为规范形式。目前的文本规范化系统依赖于字符串或语音相似性和分类模型,这些模型以本地方式工作。我们认为,处理上下文信息是至关重要的这项任务,并介绍了一个社交媒体文本规范化混合字字符注意力为基础的编码器-解码器模型,可以作为NLP应用程序的预处理步骤,以适应社会媒体中的嘈杂文本。我们基于字符的组件是在合成对抗性示例上训练的,这些示例旨在捕获在线用户生成文本中常见的错误。实验表明,我们的模型超越了为文本规范化设计的神经架构,并实现了与最先进的相关工作相当的性能。
2019-04-12 cs.AI cs.CL cs.LG
Improving Grammatical Error Correction via Contextual Data Augmentation
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院)
本文提出一种基于上下文增强的合成数据构建方法和重新标记清洗方法,解决了GEC微调阶段数据稀缺和噪声标签问题,在少量数据下达到SOTA。
2024-06-25 cs.AI cs.CL
RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response
Peking University(北京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Northwestern University(西北大学);University of Washington(华盛顿大学)
针对监督微调数据中不可避免的噪声问题,提出RobustFT框架,通过多专家协作系统进行噪声检测,结合上下文增强策略去噪重标注,并利用基于响应熵的数据选择机制保留高质量样本,显著提升了LLMs在噪声场景下的下游任务性能。
2024-12-19 cs.AI cs.CL
Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain
Nomura Research Institute, Ltd.(摩根士丹利研究机构)
本研究提出了一种通用方法,通过构建合成指令数据集提升领域特定大语言模型的推理能力,并在金融领域进行了验证。
2026-03-02 cs.AI cs.CL cs.LG
DP-2Stage: Adapting Language Models as Differentially Private Tabular Data Generators
CISPA Helmholtz Center for Information Security(CISPA 欧洲信息安全研究中心)
本文提出DP-2Stage两阶段微调框架,通过先在伪数据集上非隐私微调再在私有数据集上差分隐私微调,有效解决了LLMs在差分隐私下生成表格数据时隐私预算分配低效的问题,显著提升了各指标性能。
2025-04-29 cs.CL cs.CR cs.LG
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
EPFL(洛桑联邦理工学院)
本研究提出多语言适配方法,将英文质量分类器转为多语言变体,用于100余种语言的LLM预训练数据选择,实验表明该方法可维持下游基准性能且具备跨语言泛化能力。
2026-10-09 cs.AI cs.CL
Task Arithmetic can Mitigate Synthetic-to-Real Gap in Automatic Speech Recognition
National Taiwan University(台湾大学);Stanford University(斯坦福大学)
针对自动语音识别中合成数据微调存在的合成到真实分布差距问题,提出SYN2REAL任务向量方法,利用任务向量算术缓解该差距,在SLURP数据集上词错误率较基线平均提升10.03%,多域任务向量平均可进一步提升目标域性能。
2024-10-05 cs.AI cs.CL cs.LG
SynC: Synthetic Image Caption Dataset Refinement with One-to-many Mapping for Zero-shot Image Captioning
Hanyang University(翰阳大学)
针对 T2I 合成数据中图像与描述语义错位的问题,本文提出 SynC 框架,通过一对多候选检索与循环一致性对齐评分重配描述,显著提升多种 ZIC 模型性能。
2025-07-24 cs.AI cs.CL cs.CV