FPT: Improving Prompt Tuning Efficiency via Progressive Training
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Jiangsu Collaborative Innovation Center for Language Ability(江苏语言能力协同创新中心)
最近,提示微调(PT)作为一种参数高效的预训练语言模型(PLM)调优方法得到了越来越多的关注。尽管PT大大减少了可调参数的数量,并取得了令人满意的性能,但由于其收敛速度慢,训练效率低下。为了提高PT的培训效率,我们首先对“部分PLM”的即时可转移性进行了一些新的观察,“部分PLM”是通过在深度或宽度上压缩PLM来定义的。我们观察到,软提示学习不同的部分PLM的各种大小是相似的参数空间,这意味着这些软提示可能会被转移部分PLM之间。受这些观察结果的启发,我们提出了快速提示微调(FPT),它首先使用小规模的部分PLM进行PT,然后逐步扩展其深度和宽度,直到完整的模型尺寸。在每次扩展之后,我们回收先前学习的软提示作为放大的部分PLM的初始化,然后继续PT。我们在5个任务上证明了FPT的可行性,并表明FPT可以节省超过30%的训练计算,同时实现相当的性能。
2022-11-13 cs.AI cs.CL
SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning
针对LLM因知识冲突生成不忠实响应的问题,提出自我改进框架SI-FACT,通过自动生成对比学习数据并应用对比学习训练,显著提升了模型上下文召回率并降低对内部记忆的依赖。
2025-09-12 cs.AI cs.CL
Lifted State Hypothesis in Large Language Models
KAIST AI(韩国科学技术院人工智能研究所)
研究大型语言模型中结构的存储、选择和修正问题,提出提升表示假设,通过多种实验评估其提升和细化情况,发现数据受嵌套规则和异常支配时模型存在问题,强调需研究数据与规则结构关系。
2026-08-04 cs.AI
Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出基于提示不确定性的主动指令微调框架,通过模型在扰动提示上的输出分歧识别信息量大的任务进行选择性训练,在NIV2和Self-Instruct数据集上以更少训练任务实现了更好的分布外泛化,并揭示了模糊任务有助于泛化而困难任务无益的规律。
2023-11-01 cs.AI cs.CL
Improving Low-Resource Translation with Dictionary-Guided Fine-Tuning and RL: A Spanish-to-Wayuunaiki Study
Universidad de los Andes(洛斯安第斯大学)
本文针对西班牙语到瓦尤纳基语的低资源翻译,提出词典工具增强的决策框架,结合监督微调与GRPO强化学习,使模型学会何时及如何查询词典,在AmericasNLP 2025测试集上取得最高+3.37 BLEU提升和18%相对增益。
2025-08-26 cs.AI cs.CL
Improving Translation Quality by Selecting Better Data for LLM Fine-Tuning: A Comparative Analysis
Ritsumeikan University(立命馆大学)
研究通过比较五种数据选择器评估数据选择对LLM微调的影响,发现语义选择器优于词法和几何启发式方法,数据差异小于3%对模型性能影响显著。
2025-12-12 cs.CL
Extrapolation Merging: Keep Improving With Extrapolation and Merging
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
本文提出外推合并范式,通过外推方法为模型合并提供明确优化方向,在无需额外计算资源和数据的情况下持续提升微调后模型性能,并在七个任务上验证了其有效性。
2025-03-05 cs.AI cs.CL
Fine-tuning with RAG for Improving LLM Learning of New Skills
Imperial College London(帝国理工学院)
针对LLM智能体多步任务易失败、RAG依赖外部库且开销高的问题,提出将检索知识蒸馏为模型内在能力的微调流程,在两个基准上性能优于基线,且泛化性好、token开销更低。
2025-10-01 cs.AI cs.CL
Improving Linguistic Diversity of Large Language Models with Possibility Exploration Fine-Tuning
University College Dublin(都柏林大学学院);School of Computer Science(计算机科学学院);ML-Labs(机器学习实验室)
针对LLM输出语言多样性下降且现有方法任务受限、成本高的问题,本文提出任务无关的PEFT框架,可零额外延迟生成多个可控且语义多样的回复,并降低人口偏见。
2024-12-04 cs.AI cs.CL
LIFT: Interpretable truck driving risk prediction with literature-informed fine-tuned LLMs
Department of Civil Engineering, Tsinghua University, Beijing, China(清华大学土木工程系);College of Traffic Management, People's Public Security University of China, Beijing, China(中国人民公安大学交通管理学院);Beijing Key Laboratory of Traffic Engineering, Beijing University of Technology, Beijing, China(北京理工大学交通工程重点实验室);State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University, Beijing, China(清华大学智能绿色车辆与移动国家重点实验室)
本研究提出LIFT框架,利用文献微调大语言模型实现可解释的卡车驾驶风险预测,在召回率和F1分数上分别提升26.7%和10.1%,并通过文献知识库增强解释的一致性与鲁棒性。
2025-10-25 cs.AI cs.LG
Improving Instruct Models for Free: A Study on Partial Adaptation
Bloomberg(贝莱德);Independent Researcher(独立研究者)
本文研究通过部分适配降低指令微调强度,发现可在多个模型家族和规模上提升少样本上下文学习性能,但会以牺牲部分指令遵循能力为代价,揭示了二者之间的实践权衡。
2025-09-22 cs.AI cs.CL
Improving Stability of Fine-Tuning Pretrained Language Models via Component-Wise Gradient Norm Clipping
University of Chicago(芝加哥大学);University of Southern California(南加州大学)
对大型预训练语言模型(PLM)的微调已经建立了许多最先进的结果。尽管其性能优越,但这种微调可能是不稳定的,导致性能的显著差异和实际应用的潜在风险。以前的工作归因于这种不稳定性的灾难性遗忘问题,在PLM的顶层,这表明反复微调层自上而下的方式是一个有前途的解决方案。在本文中,我们首先指出,这种方法并不总是工作,由于不同的层/模块的收敛速度不同。受此启发,我们提出了一个简单的分量方向梯度范数裁剪方法来调整不同分量的收敛速度。实验结果表明,该方法在泛化性能、收敛速度和训练稳定性等方面都取得了一致的改善。代码库可以在https://github.com/yangalan123/FineTuningStability上找到。
2022-10-19 cs.CL
Go Beyond Plain Fine-tuning: Improving Pretrained Models for Social Commonsense
Amazon(亚马逊公司)
预训练的语言模型最近在许多NLP任务中表现出了出色的性能。然而,他们的社会智力仍在发展,这需要对他人的现状和精神状态进行常识推理。为了提高语言模型的社会智能,我们专注于社会IQA数据集,一个需要社会和情感常识推理的任务。在预训练的RoBERTa和GPT2模型的基础上,我们提出了几种架构变体和扩展,并利用外部常识语料库来优化社交IQA的模型。我们所提出的系统实现了竞争力的结果,因为那些在排行榜上排名靠前的模型。这项工作展示了预训练的语言模型的优势,并提供了可行的方法来提高它们在特定任务中的性能。
2021-05-12 cs.CL
Go-tuning: Improving Zero-shot Learning Abilities of Smaller Language Models
Shanghai AI Lab(上海人工智能实验室);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
随着规模的增加,大语言模型表现出定量的改进和新的定性能力,特别是作为zero-shot学习者,如GPT-3。然而,这些结果在很大程度上依赖于微妙的提示设计和大的计算。在这项工作中,我们探讨是否可以在一个较小的模型规模,没有任何外部监督数据的情况下,实现强大的zero-shot能力。为了实现这一目标,我们重新审视掩蔽语言建模,并提出了一种几何引导的自监督学习方法(Go-tuningfor short),通过采取少量的任务感知的自监督数据,以更新语言模型进一步。实验表明,与大语言模型(如T5-XL(3B))相比,Go调优可以使T5-small(80 M)具有竞争力的zero-shot结果。我们还将Go调优应用于多任务设置,并开发了一个多任务模型,mgo-T5(250 M)。在9个数据集上,它可以达到OPT(175 B)的平均性能。
2022-12-20 cs.CL
Improving Automatic Summarization of Radiology Reports through Mid-Training of Large Language Models
University of Florida(佛罗里达大学);Department of Health Outcomes and Biomedical Informatics(健康结果与生物医学信息学系);Department of Engineering Education(工程教育系)
本文提出在大语言模型中段训练的方法,通过三种策略提升放射报告摘要效果,实验表明GatorTronT5-Radio在文本和事实性指标上表现最佳,且在少样本学习中表现更优。
2026-04-10 cs.AI cs.CL
Rethinking the Instruction Quality: LIFT is What You Need
Shanghai Jiao Tong University(上海交通大学);Microsoft Cloud and AI(微软云与人工智能);Jilin University(吉林大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对指令微调中数据质量提升的冗余与局限问题,提出 LIFT 范式,通过拓宽数据分布并消除冗余来提升指令质量,实验显示其能超越最先进结果。
2023-12-27 cs.AI cs.CL
Layer-Informed Fine-Tuning via Three-Stage Functional Segmentation of LLMs
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Shanghai Qi Zhi Institute(上海期智研究院)
本研究提出层感知微调(LIFT)方法,通过敏感性分析识别大语言模型在概念化、推理和文本化三阶段中的关键功能层,仅更新这些层以实现高效微调,实验证明该方法能加速训练并显著提升模型性能。
2026-09-30 cs.CL
Improving Text Embeddings for Smaller Language Models Using Contrastive Fine-tuning
Tsinghua University(清华大学)
本文针对较小语言模型嵌入质量不足的问题,对MiniCPM、Phi-2和Gemma在NLI数据集上进行对比微调,在多个基准上提升文本嵌入质量,其中MiniCPM平均性能提升56.33%。
2024-08-02 cs.CL
Federated Data-Efficient Instruction Tuning for Large Language Models
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
提出联邦数据高效指令微调方法FedHDS,通过减少客户端内外数据冗余选取代表性子集,在仅用不到1.5%数据下使未见任务Rouge-L平均提升10.72%,显著提升训练效率。
2025-06-27 cs.AI cs.CL cs.LG
Improving LLM Performance Through Black-Box Online Tuning: A Case for Adding System Specs to Factsheets for Trusted AI
本文提出通过黑盒在线调优提升大语言模型性能,并探讨将系统性能和可持续性指标整合到事实表中对可信AI的重要性。
2026-03-11 cs.AI cs.PF
Speech Prefix-Tuning with RNNT Loss for Improving LLM Predictions
Google Inc.(谷歌公司)
针对大语言模型应用于语音识别的局限,提出结合RNNT损失的语音前缀调优及语言软提示方法,在10种印度语言测试中,微调与冻结大模型场景下均显著降低词错误率。
2024-06-20 cs.AI cs.CL cs.SD
InstructDial: Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning
Carnegie Mellon University(卡内基梅隆大学)
指令微调是自然语言处理中的一种新兴范式,其中自然语言指令与语言模型一起使用,以在看不见的任务上诱导zero-shot性能。指令已经被证明可以在大型和小型语言模型中对看不见的任务和数据集实现良好的性能。对话是探索指令微调的特别有趣的领域,因为对话系统执行与语言相关的多种任务(例如,自然语言理解和生成、领域特定的交互),但是还没有针对对话相关的任务系统地探索指令微调。我们介绍了指令拨号,一个指令微调框架的对话,其中包括一个存储库的48个不同的对话任务,在一个统一的文本到文本的格式创建从59个公开可用的对话数据集。接下来,我们将探索在不同的对话任务中,在InstructDial上调整的模型的跨任务泛化能力。我们的分析表明,InstructDial在看不见的数据集和任务(如对话评估和意图检测)上实现了良好的zero-shot性能,在Few-Shot设置中甚至具有更好的性能。为了确保模型遵守指令,我们引入了新的元任务。我们建立基准zero-shot和Few-Shot性能的模型训练使用所提出的框架上的多个对话任务。
2022-10-26 cs.CL
Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay
UIUC(伊利诺伊大学香槟分校);New York University(纽约大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);Microsoft(微软)
本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率,实验表明可减少62%的微调时间并保持同等性能。
2026-02-16 cs.AI cs.CL cs.LG
In-Context Examples Matter: Improving Emotion Recognition in Conversation with Instruction Tuning
Hefei University of Technology(合肥工业大学);Zhengzhou University(郑州大学)
本文提出单阶段上下文指令微调框架InitERC,通过上下文示例学习说话人、上下文与情感的对齐,在三个数据集上显著超越现有基线。
2025-08-16 cs.CL
Noise Stability Regularization for Improving BERT Fine-tuning
University of Rochester(罗切斯特大学);Baidu Research(百度研究院);University of Macau(澳门大学)
微调预训练的语言模型(如BERT)已成为各种NLP任务中主导排行榜的常见做法。尽管它最近取得了成功并被广泛采用,但当只有少量训练样本可用时,这个过程是不稳定的。这一过程的脆弱性通常反映在对随机种子的敏感性上。在本文中,我们提出基于深度网络的噪声稳定性来解决这个问题,这在最近的文献中进行了研究(Arora等人,2018年; Sanyal等人,2020年)。具体来说,我们引入了一种新颖有效的正则化方法来改善NLP任务的微调,称为分层噪声稳定性正则化(LNSR)。我们推广了在输入中加入噪声的理论,并证明了我们的方法给出了更稳定的正则化效果。我们提供了支持性的证据,通过实验证实,表现良好的模型显示出较低的灵敏度噪声和微调与LNSR表现出明显更高的泛化能力和稳定性。此外,我们的方法还证明了优于包括L2-SP(Li等人,2018)、Mixout(Lee等人,2020)和SMART(Jiang等人,2020年)。
2021-07-10 cs.CL
Improving Large Language Model Fine-tuning for Solving Math Problems
Yale University(耶鲁大学);Google DeepMind(谷歌DeepMind)
针对LLM解数学题性能不足,提出三种微调策略(解答微调、解答簇重排序、多任务顺序微调),在MATH数据集上使PaLM 2-L准确率达58.8%,较基线提升11.2%。
2023-10-16 cs.CL
MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
Virginia Tech(弗吉尼亚理工大学)
本研究提出首个多模态指令微调基准数据集MultiInstruct,基于OFA模型结合迁移学习策略,提升了多模态零样本性能,并设计敏感度指标验证了多任务微调对降低指令变体敏感度的作用。
2023-06-10 cs.CL
LiFT: How to Enable In-Context Learning for Longitudinal Modelling
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
LiFT框架通过统一的指令方案整合多种纵向建模任务,利用渐进增加的时间难度课程和少样本结构进行训练,提升模型对历史上下文的有效利用,实验显示其在不同参数规模模型上均优于基础模型的上下文学习。
2026-08-12 cs.CL
Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning
University of Maryland, College Park(马里兰大学学院公园分校);Adobe Research(奥多比研究院)
本文提出选择性反思调优,通过教师LLM反思改进数据质量、学生LLM选择兼容样本,自动精炼现有指令数据,在Alpaca和WizardLM上训练出顶尖7B和13B模型。
2024-06-07 cs.AI cs.CL cs.LG
LoFT: Local Proxy Fine-tuning For Improving Transferability Of Adversarial Attacks Against Large Language Model
Carnegie Mellon University(卡内基梅隆大学)
本文提出局部微调(LoFT)方法,通过在有害查询的词汇语义邻域内微调公开代理模型以减小其与私有目标模型的差异,从而提升对抗攻击的迁移性,在 ChatGPT、GPT-4 和 Claude 上分别将攻击成功率提高了 39%、7% 和 0.5%。
2023-10-21 cs.AI cs.CL cs.LG
Improving Generalizability of Extracting Social Determinants of Health Using Large Language Models through Prompt-tuning
University of Florida(佛罗里达大学);NVIDIA(英伟达)
该研究提出基于软提示的学习架构,通过提示微调提高LLMs在跨领域提取健康社会决定因素(SDoH)的泛化能力,实验表明仅解码器模型GatorTronGPT在跨机构和跨疾病数据集上均优于传统微调方法。
2024-03-19 cs.CL
Improving and Simplifying Pattern Exploiting Training
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
最近,预训练的语言模型(LM)在对SuperGLUE等困难的基准进行微调时取得了很好的性能。然而,当可用于微调的标记示例非常少时,性能可能会受到影响。模式利用训练(Pattern Exploiting Training,PET)是一种利用模式进行少样本学习的最新方法。然而,PET使用特定于任务的未标记数据。在本文中,我们专注于没有任何未标记数据的少样本学习,并引入ADAPET,它修改了PET的目标,以在微调期间提供更密集的监督。因此,ADAPET在SuperGLUE上的性能优于PET,而无需任何特定于任务的未标记数据。我们的代码可以在https://github.com/rrmenon10/ADAPET上找到。
2021-09-28 cs.AI cs.CL cs.LG
The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning
KAIST AI(韩国科学技术院人工智能学院);NAVER AI Lab(NAVER人工智能实验室);University of Washington(华盛顿大学)
该研究提出CoT Collection数据集,通过思维链微调较小语言模型(Flan-T5 3B/11B),在BBH基准和领域任务上显著提升零样本与少样本推理能力,甚至超越ChatGPT。
2023-10-14 cs.AI cs.CL cs.LG
Improving LLM-based Ontology Matching with fine-tuning on synthetic data
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔理工大学)
本文提出通过生成合成数据并微调LLM,提升本体匹配任务的性能。
2025-11-27 cs.CL
Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning
Wuhan University(武汉大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Nanyang Technological University(南洋理工大学)
本文提出基于大语言模型的逻辑感知课程调优框架LACT,通过二叉树分解增强一阶逻辑查询,并引入课程学习解决复杂查询难度差异,在多个数据集上实现平均+5.5% MRR提升,达到最先进水平。
2025-03-01 cs.CL
$\textit{Dial BeInfo for Faithfulness}$: Improving Factuality of Information-Seeking Dialogue via Behavioural Fine-Tuning
University of Cambridge(剑桥大学);PolyAI;PolyAI Limited(PolyAI有限公司)
本文提出 BeInfo 行为微调方法,以减少信息检索对话中的幻觉;实验证明其可提升模型在已知和零样本未知领域的知识忠实度,并使 3B Flan-T5 在有限真实生产对话上调优后超过 GPT4。
2024-03-04 cs.CL
Improving the Reusability of Pre-trained Language Models in Real-world Applications
University of North Texas(北德克萨斯大学);Microsoft Research(微软研究院)
本文提出Mask-tuning方法,将掩码语言建模目标融入微调过程,以缓解预训练语言模型对虚假相关性的依赖,从而同时提升其在分布外和分布内数据集上的性能与可复用性。
2023-08-08 cs.CL
Fine-tuning Large Language Models for Improving Factuality in Legal Question Answering
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对法律问答领域大语言模型的幻觉问题,研究团队推出LegalHalBench基准及相关评估指标,提出结合行为克隆和HIPO的幻觉缓解方法,经真实数据实验验证,在多项新旧指标上均实现显著提升。
2025-01-11 cs.CL
Improving Medical Report Generation with Adapter Tuning and Knowledge Enhancement in Vision-Language Foundation Models
Peng Cheng Lab(鹏城实验室)
本文基于 BLIP-2 引入适配器微调与医学知识增强损失,在 ImageCLEFmedical 2023 上以 ROUGE、CIDEr 的显著提升实现低资源医学报告生成的最优平均性能。
2023-12-07 cs.AI cs.CE cs.CV
SoulChat: Improving LLMs' Empathy, Listening, and Comfort Abilities through Fine-tuning with Multi-turn Empathy Conversations
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室)
针对LLMs在心理咨询中急于给建议而缺乏共情的问题,本文构建了超200万样本的多轮共情对话数据集,并通过微调显著提升了模型的共情、倾听与安慰能力。
2023-11-01 cs.CL
Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions
Stanford University(斯坦福大学);Bocconi University(博科尼大学)
本文研究指令调优模型的安全性问题,发现仅添加3%安全示例即可显著提升LLaMA等模型的安全性,且不损害其能力,但过度调优会导致拒绝安全提示,揭示了帮助性与安全性的权衡。
2024-03-19 cs.CL
LLM-Detector: Improving AI-Generated Chinese Text Detection with Open-Source LLM Instruction Tuning
Macao Polytechnic University(澳门理工大学);Fudan University(复旦大学);Wuhan University(武汉大学)
针对现有AI生成中文文本检测模型域内过拟合、域外及句子级检测效果差的问题,提出基于开源LLM指令微调的LLM-Detector,在两级检测任务上均优于基线且泛化性强、易部署。
2024-02-02 cs.CL
Improving Medical Visual Reinforcement Fine-Tuning via Perception and Reasoning Augmentation
Beijing University of Posts and Telecommunications(北京邮电大学);Emory University(埃默里大学);Sichuan University(四川大学);Peking University(北京大学)
本研究提出VRFT-Aug框架,通过增强感知与推理能力,改进医疗影像领域的强化微调效果,提升模型在医学应用中的可靠性与推理能力。
2026-02-11 cs.AI cs.CV
SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency of Adapters
JD Explore Academy(京东探索研究院);Aalborg University(奥尔堡大学);The University of Sydney(悉尼大学);University of Electronic Science and Technology of China(电子科技大学)
适配器调整,冻结预训练的语言模型(PLM),只微调一些额外的模块,成为一个有吸引力的有效替代全面的模型微调。虽然计算效率高,最近的适配器经常增加参数(例如瓶颈尺寸),以匹配全模型微调的性能,我们认为这违背了他们的初衷。在这项工作中,我们通过网络修剪的镜头重新检查适配器的参数效率(我们命名为\texttt{SparseAdapter}这样的插件概念),并发现SparseAdapter可以达到可比或更好的性能比标准适配器的稀疏率达到80\%。基于我们的研究结果,我们引入了一个简单但有效的设置"\textit{Large-Sparse}",以提高在相同的参数预算下的适配器的模型容量。在三种先进的PLM上对五种竞争适配器进行的实验表明,通过适当的稀疏方法(如SNIP)和比率(如40\%),SparseAdapter可以始终优于相应的对手。令人鼓舞的是,通过\textit{Large-Sparse}设置,我们可以获得更有吸引力的增益,甚至大幅优于完全微调。我们的代码将在https://github.com/Shwai-He/SparseAdapter上发布。
2022-11-10 cs.CL
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization
University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学);BCG(波士顿咨询公司);University of Macau(澳门大学)
针对预训练语言模型微调中的过拟合问题,提出层间噪声稳定性正则化(LNSR)方法,通过注入噪声并正则化隐藏表示,在文本分类和问答任务上提升域内性能与域外泛化能力。
2023-11-09 cs.CL
MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning
本文提出MathSE自演化框架,通过迭代推理、反思与奖励引导微调提升多模态大模型的数学推理能力,在MathVL-test上超越开源模型QVQ。
2025-11-10 cs.AI cs.LG
Geo-R1: Improving Few-Shot Geospatial Referring Expression Understanding with Reinforcement Fine-Tuning
College of Computer Science and Technology of Zhejiang University(浙江大学计算机科学与技术学院);Polytechnic Institute of Zhejiang University(浙江大学Polytechnic学院);Om AI Research(Om AI研究机构);Binjiang Research Institute of Zhejiang University(浙江大学滨江研究机构);School of Software Engineering of Zhejiang University(浙江大学软件工程学院);School of Mathematical Sciences of Zhejiang University(浙江大学数学科学学院);China Academy of Space Technology(中国航天科技研究院);University of Bristol(布里斯托大学)
针对遥感指代表达理解在数据稀缺时泛化差的问题,提出Geo-R1,一种基于强化微调的推理中心范式,通过先生成推理链再定位目标,在三个少样本基准上显著优于监督微调基线,并具跨数据集泛化性。
2025-10-15 cs.AI cs.CV
Improving the Capabilities of Large Language Model Based Marketing Analytics Copilots With Semantic Search And Fine-Tuning
University of Southern California(南加州大学);Adobe Inc.(Adobe公司)
本文针对大语言模型在营销分析中的应用挑战,提出结合语义搜索、提示工程和微调方法,显著提升了LLM在特定领域问答、SQL生成和表格分析任务上的准确性,并在营销组合建模和归因用例上验证了GPT-4与Llama-2-70b等模型的效果。
2024-04-16 cs.CL cs.LG
LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers
Department of Management Sciences, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校管理科学系);Department of Civil Engineering, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校土木工程系);Operations and Decision Sciences, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校运营与决策科学系);Brij Disa Centre for Data Science and AI, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校Brij Disa数据科学与人工智能中心)
提出基于线性规划的局部搜索框架,通过双层优化联合更新模型参数和正则化超参数,利用验证梯度和Hessian信息构造局部下降方向,在保持训练最优性的同时减少过拟合,实验表明在GPT-2 Small微调中持续改善测试困惑度。
2026-06-16 cs.CL cs.LG
Improving Social Meaning Detection with Pragmatic Masking and Surrogate Fine-Tuning
The University of British Columbia(不列颠哥伦比亚大学)
掩蔽的语言模型(MLM)是用与下游微调的目标不匹配的去噪目标进行预训练的。我们提出了语用掩蔽和代理微调作为两个互补的策略,利用社会线索,以推动预先训练的表示对广泛的一类社会意义的任务有用的概念。我们在$15$不同的Twitter数据集上测试我们的模型,以进行社会意义检测。我们的方法在竞争基线上实现了$2.34\%$ $F_1$,同时优于在大型数据集上预训练的特定领域语言模型。我们的方法在少样本学习中也表现出色:只有训练数据的$5\%$(严重的Few-Shot),我们的方法能够实现令人印象深刻的$68.54\%$平均$F_1$。这些方法也是语言不可知的,正如我们在涉及来自三种不同语言的六个数据集的zero-shot设置中所示。
2022-05-31 cs.AI cs.CL
Improving Knowledge Distillation for BERT Models: Loss Functions, Mapping Methods, and Weight Tuning
本研究针对大型Transformer模型计算成本高的问题,聚焦TinyBERT学生模型,通过优化损失函数、层映射方法及损失权重调优改进BERT知识蒸馏,在GLUE基准任务上验证效果,以提升蒸馏效率与模型性能。
2023-08-26 cs.AI cs.CL
Improving Semantic Understanding in Speech Language Models via Brain-tuning
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Saarland University(萨尔大学)
本研究提出brain-tuning方法,利用聆听自然故事的fMRI记录微调语音语言模型,首次证明引入大脑信号能减少对低级语音特征的依赖,提升大脑对齐度、下游任务性能及语义理解。
2025-03-04 cs.AI cs.CL
Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores
BA Inc.(BA公司)
本文提出在带有专家增强分数的小数据集上通过对比微调改进文本嵌入模型,使用软标签微调以提升语义相似性和检索能力,在MTEB多个检索任务上优于基准模型,适用于标记数据稀缺的现实场景。
2024-08-19 cs.AI cs.CL cs.LG
Improving the Sample Efficiency of Prompt Tuning with Domain Adaptation
Nanyang Technological University(南洋理工大学)
提示微调,或者用从数据中学习的软提示对冻结的预训练语言模型(PLM)进行调节,已经在广泛的NLP任务中表现出令人印象深刻的性能。然而,提示微调需要一个大的训练数据集才能有效,并且在数据稀缺的情况下,通过微调整个PLM来表现更好。先前的工作(Gu等人,2022,Vu等人,2022)提议将在源域上预训练的软提示转移到目标域。在本文中,我们探讨了领域自适应的提示微调,一个问题的设置,从目标域的未标记的数据在预训练。我们提出了一种基于领域自适应的动态快速提示微调(OPTIMA),它将决策边界规则化,使其在源数据和目标数据分布相似的区域周围变得平滑。大量的实验表明,与强基线相比,OPTIMA显著提高了提示微调的可移植性和采样效率。此外,在Few-Shot设置中,OPTIMA大大超过了全模型调整。
2022-10-21 cs.CL