ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora
Baidu Inc.(百度公司)
最近的研究表明,预训练的跨语言模型在下游跨语言任务中取得了令人印象深刻的性能。这种改进得益于学习大量的单语和平行语料库。虽然人们普遍认为,并行语料库是提高模型性能的关键,现有的方法往往受到并行语料库的大小,特别是低资源的语言。在本文中,我们提出了ERNIE-M,这是一种新的训练方法,鼓励模型将多种语言的表示与单语语料库对齐,以克服并行语料库大小对模型性能的限制。我们的关键见解是将反向翻译集成到预训练过程中。我们在单语语料库上生成伪平行句子对,以使不同语言之间的语义对齐的学习,从而增强跨语言模型的语义建模。实验结果表明,ERNIE-M优于现有的跨语言模型,并提供了新的国家的最先进的结果,在各种跨语言的下游任务。
2021-09-17 cs.CL
ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for Programming Languages
Baidu(百度)
发布支持116种自然语言和6种编程语言的统一预训练模型ERNIE-Code,采用span-corruption和基于枢轴的翻译语言建模方法,在代码智能任务及零样本提示中表现优越。
2023-05-19 cs.CL cs.LG cs.PL
ERNIE 3.0 Tiny: Frustratingly Simple Method to Improve Task-Agnostic Distillation Generalization
Baidu Inc.(百度公司)
任务无关的知识蒸馏试图解决在资源受限的场景中部署大型预训练语言模型的问题,方法是将一个称为教师的大型预训练模型压缩成一个称为学生的较小模型,以便学生可以在下游任务上直接微调并保持相当的性能。然而,我们的经验发现,在现有的方法中,学生和教师之间存在着泛化差距。在这项工作中,我们表明,我们可以利用多任务学习的任务不可知的蒸馏,以提高学生的概括。特别是,我们提出了多任务注入任务不可知的知识蒸馏(MITKD)。我们首先通过在多个下游任务上对教师进行多任务培训来增强教师,然后进行蒸馏以产生学生。实验结果表明,我们的方法产生了一个学生更好的泛化,显着优于现有的基线,并建立了一个新的国家的最先进的结果,在域内,域外,和低资源数据集的设置任务不可知蒸馏。此外,我们的方法在SQuAD和四个GLUE任务上甚至超过了8倍的BERT $_{\text{Base}}$。此外,通过结合ERNIE 3.0,我们的方法在10个中国数据集上取得了最先进的结果。
2023-01-09 cs.CL
Argumentative Text Generation in Economic Domain
Vyatka State University(维亚特卡国立大学);ITMO University(圣彼得堡国立信息技术机械与光学大学)
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发,显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中,我们使用的翻译版本的议论文,说服性的文章和UKP句子语料库微调RuBERT模型。最后,利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调,生成论元文本。结果表明,与原始ruGPT-3模型相比,该方法将参数生成的准确性提高了20个百分点(63.2% vs. 42.5%)。
2022-06-18 cs.CL
ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation
Baidu Inc.(百度公司)
传统的图文生成方法主要是将自然双向生成任务分开处理,侧重于设计特定于任务的框架来提高生成样本的质量和保真度。近年来,视觉语言预训练模型极大地提高了图像到文本生成任务的性能,但针对文本到图像合成任务的大规模预训练模型仍处于开发阶段。在本文中,我们提出了ERNIE-ViLG,一个统一的生成预训练框架的双向图像-文本生成与Transformer模型。基于图像量化模型,我们制定了图像生成和文本生成的自回归生成任务的文本/图像输入的条件。双向图像-文本生成建模简化了视觉和语言之间的语义对齐。对于文本到图像的生成过程,我们进一步提出了一种端到端的训练方法来联合学习视觉序列生成器和图像重建器。为了探索双向文本-图像生成的大规模预训练前景,我们在1.45亿(中文)图像-文本对的大规模数据集上训练了100亿参数ERNIE-ViLG模型,该模型实现了文本到图像和图像到文本任务的最新性能,在MS-COCO上获得7.9的FID用于文本到图像合成,在COCO-CN和AIC-ICC上获得最佳结果用于图像描述。
2021-12-31 cs.CL cs.CV
Research on Dual Channel News Headline Classification Based on ERNIE Pre-training Model
Northwest Minzu University(西北民族大学)
新闻标题分类是自然语言处理领域的一个重要方向,其数据具有紧凑性、唯一性和形式多样性等特点。针对传统神经网络模型不能充分捕捉数据的底层特征信息,不能联合提取关键全局特征和深层局部特征的问题,提出了一种基于ERNIE预训练模型的双通道网络模型DC-EBAD。使用ERNIE提取文本底层的词汇、语义和上下文特征信息,生成融合上下文的动态词向量表示,然后使用BiLSTM-AT网络通道对数据的全局特征进行二次提取,并使用注意力机制赋予关键部分较高的权重,使用DPCNN通道克服长距离文本依赖问题,获取深层局部特征。将局部和全局特征向量进行拼接,最后传递到全连接层,通过Softmax输出最终的分类结果。实验结果表明,在相同条件下,与传统神经网络模型和单通道模型相比,该模型提高了新闻标题分类的准确率、精确度和F1分数。可以看出,它在大数据量下的新闻标题文本的多分类应用中表现良好。
2022-02-14 cs.AI cs.CL
Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models
IBM Research(IBM研究院)
我们引入了等调,一种新的微调方法,将(潜在的非等变)预训练模型转换为组等变模型,同时在预训练模型和等变模型的特征表示之间产生最小的$L_2$损失。大型预训练模型可以针对不同的群体进行等调,以满足各种下游任务的需求。等调模型受益于作为归纳偏差的组等方差和来自预训练模型的语义先验。我们提供了三个不同的任务上的应用程序:图像分类,合成概括的语言,公平的自然语言生成(NLG)。我们还提供了一个新的群论定义的公平性NLG。这一定义的有效性是通过测试它对NLG公平的标准实证方法。我们提供了使用各种预训练模型进行均衡调整的实验结果:Alexnet,Resnet,VGG和Densenet用于图像分类; RNN,GRU和LSTM用于合成泛化; GPT 2用于NLG的公平性。我们在所有考虑的任务的基准数据集上测试这些模型,以显示所提出的方法的通用性和有效性。
2023-02-05 cs.CL cs.LG
Linguistic Knowledge in Data Augmentation for Natural Language Processing: An Example on Chinese Question Matching
Stony Brook University(石溪大学)
为了研究语言知识在自然语言处理(NLP)数据增强(DA)中的作用,我们设计了两个自适应DA程序,并将其应用于大规模汉语问句匹配语料库(LCQMC)中的二进制汉语问句匹配分类任务。这两个DA程序通过五个简单的文本编辑操作(或DA技术)生成增强文本,在很大程度上与语言生成规则无关,但其中一个程序通过预训练的n元语言模型进行增强,以将其与先前的语言知识融合。然后,我们在不同大小的LCQMC训练集以及由两个DA程序产生的相关增强训练集上训练了四个神经网络模型(BOW,CNN,LSTM和GRU)和一个预训练模型(ERNIE-Gram)。结果表明,有两种类型的增强训练集上训练的模型之间没有显着的性能差异,无论是当五个DA技术一起或单独应用。此外,由于五种DA技术无法制作严格的释义增强文本,结果表明需要足够数量的训练样本用于训练分类模型,以调解错误匹配增强文本对的负面影响并提高性能,这是随机文本编辑扰动用作DA方法的限制。英语也得到了类似的结果。
2022-09-05 cs.CL
On Training Data Influence of GPT Models
Baidu Inc.(百度公司);Sun Yat-sen University(中山大学);University of Copenhagen(哥本哈根大学)
本文提出GPTfluence方法,通过特征化模拟训练动态来评估训练数据对GPT模型的影响,在1400万至28亿参数模型上验证了其对未见数据的鲁棒泛化能力。
2024-10-03 cs.CL cs.LG
ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models
Baidu Inc.(百度公司)
本文提出ERNIE-Music,利用扩散模型和自由形式文本提示实现文本到波形音乐生成,并通过弱监督构建数据集,在多样性、质量及文本-音乐相关性上显著超越已有方法。
2023-09-21 cs.AI cs.CL cs.MM
s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning
Microsoft Research(微软研究院)
预训练的双向Transformers,例如BERT,在各种各样的语言理解任务中已经实现了显著的改进,而直接将它们应用于自然语言生成并不简单。在本文中,我们提出了一个序列到序列的微调工具包s2 s-ft,它采用预训练的Transformers的条件生成任务。受UniLM的启发,我们实现了三种序列到序列的微调算法,即因果微调、掩蔽微调和伪掩蔽微调。通过利用现有的预训练的双向Transformers,实验结果表明,s2 s-ft在抽象摘要和问题生成的几个基准上实现了强大的性能。此外,我们证明了包s2 s-ft支持单语和多语言NLG任务。s2 s-ft工具包可以在https://github.com/microsoft/unilm/tree/master/s2s-ft上找到。
2021-10-26 cs.CL
Breaking Writer's Block: Low-cost Fine-tuning of Natural Language Generation Models
CentraleSupelec(中央高等电力学院);Naver Labs Europe(韩国 Naver 欧洲实验室)
目前,通过微调大型预训练语言模型来解决信息抽取任务是标准过程。这不是生成任务的情况,它依赖于各种受控语言生成的技术。在本文中,我们描述了一个系统,微调的自然语言生成模型的问题,解决作家的块。微调改变了条件,以除了左上下文之外还包括右上下文,以及可选的实体列表、大小、体裁和人类作者希望生成的段落的摘要。我们提出的微调获得了很好的结果,即使有少量的时代和150美元的总成本。该系统可以作为Web服务访问,并且所有代码都已发布。还提供了一个展示界面和模型的视频。
2021-03-02 cs.CL
Context-Tuning: Learning Contextualized Prompts for Natural Language Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Université de Montréal(蒙特利尔大学);School of Information, Renmin University of China(中国人民大学信息学院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
最近,预训练语言模型(PLM)在语言生成方面取得了巨大的成功。为了利用PLM编码的丰富知识,一个简单而强大的范例是使用离散令牌或连续嵌入形式的提示。在现有的研究中,这些提示方法通常与输入无关,缺乏对输入语义的充分考虑。为了解决这个问题,我们提出了一种新的连续提示的方法,称为上下文调整,微调PLM的自然语言生成。首先,根据输入文本导出提示,以从PLM中提取有用的知识用于生成。我们把这种提示称为语境化提示。其次,我们使用连续的逆提示,以改善自然语言的生成过程,通过建模从输出到输入的逆生成过程,使生成的文本更相关的输入。此外,我们利用一个轻量级的上下文调整方法,微调只有0.12%的参数,同时保持良好的性能。我们的代码可在https://github.com/RUCAIBox/Context-Tuning上公开获取。
2022-10-03 cs.CL
Scaled Prompt-Tuning for Few-Shot Natural Language Generation
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
针对少样本自然语言生成,提出缩放提示微调(SPT)方法,在冻结大部分参数的同时提升性能与泛化能力,为数据匮乏和计算受限场景提供高效解决方案。
2023-09-13 cs.CL
FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark
CLUE team(CLUE团队)
预训练语言模型(PLM)在自然语言理解任务中取得了巨大的成功。虽然不同的学习方案-微调,zero-shot,和少样本学习-已被广泛探索和比较的语言,如英语,有相对较少的工作,公平和全面的评估和比较这些方法,从而阻碍了累积的进展。在本文中,我们介绍了中文少样本学习评估基准(FewCLUE),第一个全面的Few-Shot评估基准中文。它包括九个任务,从单句和句子对分类任务到机器阅读理解任务。我们系统地评估了五种最先进的(SOTA)少样本学习方法(包括PET,ADAPET,LM-BFF,P-tuning和EFL),并在新构建的FewCLUE基准测试上比较了它们与微调和零样本学习方案的性能。实验结果表明:1)不同的少样本学习方法的效果对应用这些方法的预训练模型敏感; 2)PET和P调整分别使用RoBERTa和ERNIE实现最佳的整体性能。我们的基准被用于NLPCC 2021的少样本学习竞赛。此外,我们还提供了一个用户友好的工具包,以及一个在线排行榜,以帮助促进中国少样本学习的进一步进展。我们提供了不同学习方法的基线表现,为未来的研究提供参考。
2021-09-29 cs.AI cs.CL
The Cultural Gene of Large Language Models: A Study on the Impact of Cross-Corpus Training on Model Values and Biases
Department of Communications(通讯系);University of Malta(马耳他大学);Faculty of Mathematics(数学系);University of Primorska(普里摩尔卡大学);Faculty of Electrical Engineering(电气工程系);University of Montenegro(黑山大学);Faculty of Science & Technology(科学与技术系);University of the Faroe Islands(法罗群岛大学);Department of Computer Science(计算机科学系);San Francisco State University(旧金山州立大学)
本研究通过跨文化探针数据集分析大语言模型在个人主义-集体主义和权力距离维度上的文化偏见,揭示模型价值观与训练语料文化背景的关联。
2025-12-29 cs.CL
ERNIE 5.0 Technical Report
ERNIE Team(ERNIE团队)
ERNIE 5.0是首个实现万亿参数统一自回归模型的生产规模实现,支持多模态理解和生成,并采用弹性训练范式实现灵活的性能与资源权衡。
2026-02-04 cs.CL
Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models
Baidu Inc.(百度公司)
本文描述了Galileo在SemEval-2020任务12中检测和分类社交媒体中的攻击性语言的性能。针对攻击性语言识别问题,提出了一种基于预训练语言模型、ERNIE和XLM-R的多语种识别方法。针对攻击性语言的分类问题,提出了一种基于软标签的知识蒸馏方法。我们的团队参与了所有三个子任务。在子任务A -攻击性语言识别中,我们在所有语言的平均F1分数方面排名第一。我们也是唯一一支在所有语言中排名前三的团队。我们还在子任务B -犯罪类型自动分类和子任务C -犯罪目标识别中获得了第一名。
2020-10-07 cs.CL
Automatic Summarization of Russian Texts: Comparison of Extractive and Abstractive Methods
Vyatka State University(维亚特卡国立大学)
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发,显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中,我们使用的翻译版本的议论文,说服性的文章和UKP句子语料库微调RuBERT模型。最后,利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调,生成论元文本。结果表明,与原始ruGPT-3模型相比,这种方法将参数生成的准确性提高了20个百分点(63.2%对42.5%)。
2022-06-18 cs.CL
WuDaoMM: A large-scale Multi-Modal Dataset for Pre-training models
与特定领域模型相比,视觉语言预训练模型(VLPM)在下游任务上表现出更好的性能,具有快速的微调过程。例如,ERNIE-ViL、Oscar和UNIMO训练了具有统一Transformers堆栈架构和大量图文配对数据的VLPM,在图文参考等下游任务上取得了显著成绩(IR和TR)、视觉问答(VQA)和图像描述(IC)等。在训练阶段,VLPM通常由多个公共数据集组合而成,以满足大规模训练数据的需求。然而,由于数据分布的不均匀性,包括大小,任务类型和质量,使用多个数据集的混合进行模型训练可能会有问题。在这项工作中,我们介绍了一个大规模的多模态语料库WuDaoMM,总共包含超过650 M的图像-文本对。具体而言,约6亿对数据来自图像和标题呈现弱相关性的多个网页,另外5000万个强相关性的图像-文本对来自一些高质量的图形网站。我们还发布了WuDaoMM的基础版本,其中包含500万个强相关的图像-文本对,足以支持常见的跨模态模型预训练。此外,我们训练了理解和生成视觉语言(VL)模型来测试数据集的有效性。结果表明,WuDaoMM可以作为VLPM的有效数据集,特别是在文本到图像生成任务的模型。数据发布于https://data.wudaoai.cn
2022-05-01 cs.CL cs.CV
Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
前缀调整,或更一般地连续提示微调,已成为参数有效的迁移学习的基本范例。使用大型预训练语言模型(PLM),前缀调整可以通过仅训练一小部分参数来获得强大的性能。在本文中,我们建议通过内核透镜来理解和进一步发展前缀调谐。具体而言,我们在内核方法中的\textit{prefixes}和\textit{inducing variables}之间进行类比,并假设\textit{prefixes}作为\textit{inducing variables}将改善其整体机制。从核估计器的角度来看,我们提出了一个新的变体前缀调整-- \textit{inducer-tuning},它共享前缀调整的确切机制,同时利用在适配器调整中发现的残差形式。这缓解了前缀调优中的初始化问题。通过对自然语言理解和生成任务的综合实验,我们证明了诱导器调整可以缩小前缀调整和微调之间的性能差距。
2022-10-26 cs.CL cs.LG
Two-stage LLM Fine-tuning with Less Specialization and More Generalization
Google(谷歌)
本文提出ProMoT两阶段微调框架,通过先提示调优再模型调优,减少格式特化,保持微调性能同时提升上下文学习泛化能力。
2024-03-12 cs.CL cs.LG
FedRAG: A Framework for Fine-Tuning Retrieval-Augmented Generation Systems
Vector Institute(向量研究所)
本文提出FedRAG框架,支持在中心化和联邦架构下用先进方法微调RAG系统,提供直观接口与无缝转换能力,深度融合RAG生态,填补了相关工具空白。
2025-06-12 cs.CL cs.LG
PAC-tuning:Fine-tuning Pretrained Language Models with PAC-driven Perturbed Gradient Descent
Michigan State University(密歇根州立大学);UC Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出两阶段微调方法PAC-tuning,通过最小化PAC-Bayes泛化界学习参数分布,并以学习到的方差注入噪声实现扰动梯度下降,在5个GLUE任务上超越强基线,验证了其替代Adam优化器的潜力。
2023-10-26 cs.CL cs.LG
Replaying pre-training data improves fine-tuning
Stanford University(斯坦福大学)
通过重放预训练数据提升微调效果,提高目标任务性能
2026-03-05 cs.CL cs.LG
Automatic Evaluation of Generative Models with Instruction Tuning
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所)
本文提出基于指令微调的学习型评估度量,并构建跨多种NLG任务和评估标准的人类判断数据集HEAP,验证了该方法在自动评估中的有效性及多任务联合训练的增益。
2023-10-30 cs.CL cs.LG
Supervised Contrastive Learning for Pre-trained Language Model Fine-tuning
Stanford University(斯坦福大学);Facebook AI
最先进的自然语言理解分类模型遵循两个阶段:在辅助任务上预训练大语言模型,然后使用交叉熵损失在特定于任务的标记数据集上微调模型。然而,交叉熵损失有几个缺点,可能导致次优泛化和不稳定性。直觉的驱动下,良好的泛化需要捕捉一个类中的例子之间的相似性,并将它们与其他类中的例子进行对比,我们提出了一个监督对比学习(SCL)的微调阶段的目标。结合交叉熵,我们提出的SCL损失在少样本学习设置中在GLUE基准的多个数据集上获得了比强大的RoberTa-Large基线显著的改进,而不需要专门的架构,数据增强,存储体或额外的无监督数据。我们提出的微调目标导致模型对微调训练数据中不同级别的噪声更鲁棒,并且可以更好地推广到具有有限标记数据的相关任务。
2021-04-02 cs.CL cs.LG
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
AppTek GmbH(AppTek公司);RWTH Aachen University(亚琛工业大学);Applied Science Private University(应用科学私立大学)
研究针对翻译微调中的灾难性遗忘,发现通用遗忘缓解方法(如弹性权重巩固)虽能保持通用能力,但无法保持机器翻译特有的指令遵循(如形式、性别、长度控制),仅数据混合方法有效但泛化性有限。
2026-09-24 cs.CL cs.LG
Steering Out-of-Distribution Generalization with Concept Ablation Fine-Tuning
Harvard University(哈佛大学);Northeastern University(东北大学);Anthropic;ML Alignment & Theory Scholars (MATS) program(ML对齐与理论学者(MATS)计划)
本文提出概念消融微调(CAFT),通过在微调时用线性投影消融潜在空间中不期望概念的方向,在不修改训练数据的情况下引导大语言模型远离非预期分布外泛化,并在涌现性错位等任务中将错位回答减少10倍且不损失训练分布性能。
2025-11-09 cs.AI cs.CL cs.LG
SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning
Nanyang Technological University(南洋理工大学);Amazon Web Services(亚马逊云科技)
预训练的大语言模型可以以自然的方式有效地插入人类书写的提示。多任务提示学习可以通过一次完成一组不同的任务来帮助概括,从而提高更有效的下游微调的潜力。为了在同一批中执行有效的多任务推理,已经提出了诸如提示微调的参数高效微调方法。然而,现有的提示微调方法可能缺乏通用性。我们提出了SPT,半参数提示微调方法多任务提示学习。SPT的新颖组件是一个存储体,从该存储体中基于离散提示检索存储器提示。大量的实验,如(i)微调一个完整的语言模型与SPT的31个不同的任务,从8个不同的领域和评估zero-shot泛化9 heldout数据集下的5个NLP任务类别和(ii)预训练SPT的GLUE数据集和评估微调SuperGLUE数据集,证明了SPT的有效性。
2022-12-21 cs.AI cs.CL cs.LG
MA-RLHF: Reinforcement Learning from Human Feedback with Macro Actions
Baidu Inc.(百度公司)
针对token级RLHF长序列信用分配困难,本文提出MA-RLHF,通过宏动作缩短动作与奖励距离,在多任务上显著提升性能并加快收敛。
2025-02-14 cs.CL
L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
Stevens Institute of Technology(史蒂文斯理工学院);Hajee Mohammad Danesh Science & Technology University(哈吉·穆罕默德·达内什科学技术大学);Noakhali Science & Technology University(诺阿卡利科学技术大学);Amazon(亚马逊)
针对大语言模型传统微调方法训练慢、标签token通用的问题,提出L-Tuning方法,通过微调经预训练LLM处理的标签token利用其语义知识,显著提升了NLI分类任务的训练效率与准确率。
2024-04-13 cs.AI cs.CL cs.LG
Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models
University of North Texas(北德克萨斯大学);Microsoft Research(微软研究院)
针对预训练语言模型存在社会偏见、现有去偏方法成本高且损害下游任务性能的问题,提出Gender-tuning方法,将MLM目标融入下游任务微调,在降低偏见的同时提升下游性能,且适用于各类支持微调的PLM。
2023-07-20 cs.CL
Prefix-Tuning: Optimizing Continuous Prompts for Generation
Stanford University(斯坦福大学)
微调是利用大型预训练语言模型执行下游任务的实际方法。然而,它修改了所有的语言模型参数,因此需要为每个任务存储一个完整的副本。在本文中,我们提出了前缀调整,一个轻量级的替代微调自然语言生成任务,保持语言模型参数冻结,但优化一个小的连续的特定于任务的向量(称为前缀)。前缀调优从提示中获得灵感,允许后续的令牌关注这个前缀,就好像它是“虚拟令牌”一样。我们将前缀调优应用于GPT-2以生成表到文本,并应用于BART以进行摘要。我们发现,通过只学习0.1%的参数,前缀调整在全数据设置中获得了相当的性能,在低数据设置中优于微调,并且更好地外推到训练过程中看不到的主题的示例。
2021-01-01 cs.CL
Domain-Oriented Prefix-Tuning: Towards Efficient and Generalizable Fine-tuning for Zero-Shot Dialogue Summarization
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团)
目前最先进的抽象对话摘要器缺乏对新领域的泛化能力,摘要中的领域自适应研究一般依赖于大规模的预训练。为探索对话摘要领域自适应的轻量级微调方法,提出了一种高效、可推广的面向领域前缀调整模型。该模型利用领域词初始化前缀模块缓解领域纠缠,采用离散提示引导模型聚焦对话关键内容,增强模型泛化能力。我们进行了zero-shot实验,并在两个多领域对话摘要数据集TODSum和QMSum上建立了领域自适应基准。大量的实验和定性分析证明了本文方法的有效性。
2022-04-09 cs.CL
KnowPrefix-Tuning: A Two-Stage Prefix-Tuning Framework for Knowledge-Grounded Dialogue Generation
Beihang University(北京航空航天大学);Tencent Cloud AI(腾讯云人工智能)
提出KnowPrefix-Tuning两阶段框架,通过向轻量级前缀注入先验知识绕过检索,并采用交互式重参数化机制,在知识驱动对话生成中实现优于微调且媲美检索基线的性能,推理速度提升3倍。
2023-06-27 cs.CL
SpeechPrompt: An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks
Amazon Inc.(亚马逊公司);Meta AI
从自监督学习(SSL)模型学习的语音表示可以有益于各种语音处理任务。然而,使用SSL表示通常需要微调预训练的模型或设计特定于任务的下游模型和损失函数,这会导致大量内存使用和人力劳动。最近,自然语言处理(NLP)中的提示已被发现是利用预训练语言模型(LM)的有效技术。具体来说,即时调优使用固定的预训练模型优化了有限数量的特定于任务的参数;因此,每个任务只需要存储一小部分参数。即时调优通过利用预训练的LM的预测能力来提高计算和内存效率。然而,这样一种范式在言语界却鲜有研究。本文报告了基于生成口语模型(GSLM)的语音处理任务的提示调谐范式的第一次探索。实验结果表明,即时调整技术在语音分类任务中取得了竞争力的性能与更少的可训练参数比微调专门的下游模型。我们进一步研究了具有挑战性的序列生成任务的技术。快速调谐也展示了它的潜力,同时本文也讨论了它的局限性和可能的研究方向。源代码可在https://github.com/ga642381/SpeechPrompt上获得。
2022-07-10 cs.CL cs.LG cs.SD
Recovering the Pre-Fine-Tuning Weights of Generative Models
School of Computer Science and Engineering(计算机科学与工程学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出 Spectral DeTuning 方法,利用少量 LoRA 微调模型即可恢复生成模型的精确微调前权重,证明现有微调对齐安全性假设不成立。
2024-07-01 cs.CL cs.CR cs.CV
Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance
Department of Computer Science University of Sheffield, UK(计算机科学系 剑桥大学谢菲尔德分校)
本文探究在指令微调数据中引入移除停用词、打乱词序等扰动对大型语言模型(LLMs)的影响,发现其在部分情况下能提升LLMs在MMLU等基准原始及扰动版本上的性能,为增强模型对含噪指令的韧性提供了思路。
2025-11-11 cs.CL
Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
本研究提出通过提示调优生成式大型语言模型来自动总结医患对话,实验表明GatorTronGPT-20B模型在所有评估指标上表现最佳,且计算成本低。
2026-06-16 cs.CL
Instruction Tuning for Story Understanding and Generation with Weak Supervision
Singapore Institute of Management(新加坡管理学院)
提出“Weak to Strong Instruction Tuning”方法,通过使用不同清晰度的指令微调LLMs,显著提升了故事理解与生成的性能,在自动和人工评估中均优于现有技术。
2025-01-26 cs.CL
Intention-Adaptive LLM Fine-Tuning for Text Revision Generation
Department of Computer Science, Learning Research & Development Center University of Pittsburgh(计算机科学系、学习研究与开发中心宾夕法尼亚大学)
本文提出Intention-Tuning框架,通过意图自适应的逐层微调提升文本修订生成效果。
2026-02-27 cs.CL
Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning
LG AI Research(LG AI研究院)
本文通过英语与韩语元数据集的指令微调实验,并引入含51个基准的KORANI及跨语言模板,证明跨语言零样本泛化可显著提升未见任务表现。
2024-06-13 cs.CL
Specialist or Generalist? Instruction Tuning for Specific NLP Tasks
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Cohere;Tencent AI Lab(腾讯AI实验室)
本文研究了在构建特定NLP任务的专家模型时引入通用指令微调的效果,发现其在任务覆盖广或数据有限时提升性能并增强理解推理能力,但含幻觉的通用数据会损害事实知识任务表现。
2023-10-23 cs.CL
GR-SAP: Generative Replay for Safety Alignment Preservation during Fine-Tuning
GR-SAP通过生成领域特定对齐数据来保持微调过程中的安全对齐,有效缓解了微调导致的安全退化问题。
2026-08-26 cs.CL
Investigating Public Fine-Tuning Datasets: A Complex Review of Current Practices from a Construction Perspective
Shanghai AI Laboratory(上海人工智能实验室)
本文从构建视角综述公开微调数据集,梳理其演进与分类,详述大语言模型微调数据集的构建技术,总结不同数据准备阶段的特征,为未来微调数据集的构建与发展提供参考。
2024-07-11 cs.CL
InstructDial: Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning
Carnegie Mellon University(卡内基梅隆大学)
指令微调是自然语言处理中的一种新兴范式,其中自然语言指令与语言模型一起使用,以在看不见的任务上诱导zero-shot性能。指令已经被证明可以在大型和小型语言模型中对看不见的任务和数据集实现良好的性能。对话是探索指令微调的特别有趣的领域,因为对话系统执行与语言相关的多种任务(例如,自然语言理解和生成、领域特定的交互),但是还没有针对对话相关的任务系统地探索指令微调。我们介绍了指令拨号,一个指令微调框架的对话,其中包括一个存储库的48个不同的对话任务,在一个统一的文本到文本的格式创建从59个公开可用的对话数据集。接下来,我们将探索在不同的对话任务中,在InstructDial上调整的模型的跨任务泛化能力。我们的分析表明,InstructDial在看不见的数据集和任务(如对话评估和意图检测)上实现了良好的zero-shot性能,在Few-Shot设置中甚至具有更好的性能。为了确保模型遵守指令,我们引入了新的元任务。我们建立基准zero-shot和Few-Shot性能的模型训练使用所提出的框架上的多个对话任务。
2022-10-26 cs.CL
Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models
IBM Research(IBM研究院)
针对大语言模型监督微调易过拟合、泛化能力下降的问题,提出选择性自监督微调方法S3FT,利用模型自身正确回复降低过拟合,在多任务上实现微调性能提升的同时,将泛化性能下降幅度减半。
2025-02-20 cs.CL
Generating Query Focused Summaries without Fine-tuning the Transformer-based Pre-trained Models
University of Lethbridge(莱斯布里奇大学)
为每个新数据集微调自然语言处理(NLP)模型需要更长的计算时间,这与增加的碳足迹和成本相关。然而,微调有助于预训练的模型适应最新的数据集;如果我们避免微调步骤,并尝试仅使用预训练的模型来生成摘要,以减少计算时间和成本,会怎么样?在本文中,我们试图省略微调步骤,并研究基于边际最大相关性(MMR)的方法是否可以帮助预训练模型直接从未用于预训练模型的新数据集获得以查询为中心的摘要。首先,我们在维基百科时事门户(WCEP)和Debatepedia数据集上使用主题建模来生成摘要任务的查询。然后,使用MMR,我们根据查询对文档的句子进行排序。接下来,我们将排名的句子传递给七个基于transformer的预训练模型来执行摘要任务。最后,我们再次使用MMR方法从各个预训练模型生成的摘要中选择查询相关句子,并构建最终摘要。正如实验结果所示,我们基于MMR的方法成功地排名并选择了最相关的句子作为摘要,并且表现出比单独的预训练模型更好的性能。
2023-03-10 cs.CL
Generative Prompt Tuning for Relation Classification
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
使用提示来探索包含在用于下游任务的预训练语言模型中的知识现在已经成为一个活跃的话题。目前的提示微调方法大多通过添加完形填空式短语并将所有标签映射为固定长度的动词化来将下游任务转换为掩蔽语言建模问题,这对于具有简单标签空间的任务是有效的。然而,当应用于呈现复杂标签空间的关系分类时,香草提示微调方法可能会由于严格的提示限制而难以处理具有任意长度的标签动词化。受预训练生成模型的文本填充任务的启发,可以灵活地预测缺失的跨度,我们提出了一种新的生成提示微调方法,将关系分类重新定义为填充问题,这使我们的方法摆脱了当前基于提示的方法的局限性,从而充分利用了实体和关系类型的丰富语义。此外,我们设计了实体引导的解码和判别关系评分,以在推理过程中有效和高效地生成和对齐关系。在完全监督设置和低资源设置下的广泛实验证明了我们的方法的有效性。
2022-10-22 cs.CL
Stealth Fine-Tuning: Efficiently Breaking Alignment in RVLMs Using Self-Generated CoT
Machine Intelligence Laboratory, Sichuan University(四川大学人工智能实验室);University of Wisconsin--Madison(威斯康星大学麦迪逊分校);Department of Automation, Tsinghua University(清华大学自动化系);Global Innovation Exchange, Tsinghua University(清华大学全球创新交流中心)
本文提出隐形微调方法,通过分段干扰和自动生成输出,有效绕过RVLMs的安全对齐防御,实现更高的ASR性能同时保持推理能力。
2026-03-07 cs.CL
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
最近的预训练语言模型从数百万扩展到数十亿个参数。因此,在各种下游任务中,需要用有限的训练语料库来微调非常大的预训练模型。在本文中,我们提出了一种简单而有效的微调技术,Child-Tuning,它通过在向后过程中策略性地屏蔽非子网络的梯度来更新大型预训练模型的参数子集(称为子网络)。在GLUE基准测试中的各种下游任务上的实验表明,在四种不同的预训练模型中,Child-Tuning始终优于vanilla微调,平均得分为1.5~8.6,并优于先前的微调技术0.6~1.3分。此外,在领域转移和任务转移方面的实验结果表明,Child-Tuning可以获得更好的泛化性能。
2021-09-13 cs.AI cs.CL
Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出SPIN-Diffusion自博弈微调技术,让扩散模型与早期版本竞争实现迭代自我改进,在Pick-a-Pic数据集上以更少数据超越监督微调和RLHF方法。
2024-02-15 cs.AI cs.CL cs.CV
PrefixMemory-Tuning: Modernizing Prefix-Tuning by Decoupling the Prefix from Attention
National University of Singapore(新加坡国立大学);Bioinformatics Institute, A*STAR(A*STAR生物信息研究所);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出PrefixMemory-Tuning,通过将前缀模块移出注意力头以提升表达能力,实验证明其在多个基准上优于传统前缀微调方法,并在通用任务中表现接近现代PEFT技术。
2026-04-19 cs.AI cs.CL