Zeroth-Order Fine-Tuning of LLMs in Random Subspaces
Beijing Normal University(北京师范大学);Singapore Management University(新加坡国立大学);TAL Education Group(TAL教育集团);Engineering Research Center of Intelligent Technology and Educational Application (MOE)(智能技术与教育应用工程研究中心(教育部))
针对零阶优化梯度方差随参数维度增长的问题,本文提出 SubZero,利用面向 LLM 的低秩随机子空间扰动降低内存与方差,并证明其逼近反向传播梯度且可收敛。
2025-07-24 cs.AI cs.LG
L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
Stevens Institute of Technology(史蒂文斯理工学院);Hajee Mohammad Danesh Science & Technology University(哈吉·穆罕默德·达内什科学技术大学);Noakhali Science & Technology University(诺阿卡利科学技术大学);Amazon(亚马逊)
针对大语言模型传统微调方法训练慢、标签token通用的问题,提出L-Tuning方法,通过微调经预训练LLM处理的标签token利用其语义知识,显著提升了NLI分类任务的训练效率与准确率。
2024-04-13 cs.AI cs.CL cs.LG
Techniques for Peak Memory Reduction for LoRA Fine-tuning of LLMs on Edge Devices
针对边缘设备上LLM LoRA微调的内存瓶颈,提出四种互补技术(量化、检查点、softmax近似、logits掩码),在Llama-3.2 3B和Qwen-2.5 3B上实现高达26倍和28倍的峰值内存降低。
2026-06-19 cs.AI cs.LG
CLoQ: Enhancing Fine-Tuning of Quantized LLMs via Calibrated LoRA Initialization
Department of Mathematics and Statistics(数学与统计学系);University at Albany, SUNY(阿尔巴尼大学);IBM T. J. Watson Research Center(IBM 塔沃森研究中心)
本文提出 CLoQ,一种通过最小化逐层差异并利用小型校准数据集确定最优 LoRA 组件的初始化策略,有效提升了量化 LLM 在超低比特宽度下的微调性能。
2025-08-14 cs.AI cs.LG
Quantized Evolution Strategies: High-precision Fine-tuning of Quantized LLMs at Low-precision Cost
University of California, Los Angeles(加州大学洛杉矶分校);Cognizant AI Lab(Cognizant AI实验室);UT Austin(得克萨斯大学奥斯汀分校)
提出量化进化策略(QES),通过集成累积误差反馈和无状态种子重放,直接在量化空间进行全参数微调,无需反向传播,显著优于现有零阶微调方法。
2026-06-15 cs.AI cs.LG
MPSelectTune: Prompt-type Selection for Fine-tuning improves Concept Unlearning in LLMs
IIT Kharagpur(印度理工学院卡拉格布尔分校);MPI-SWS(马克斯·普朗克软件系统研究所);HPE Labs(慧与实验室)
研究大语言模型中去除有害概念难题,提出对抗方法用联合提示预测主任务和概念任务,MPSelectTune两阶段方法可提升平均遗忘性能,实验显示能提高主任务精度并降低概念精度。
2026-07-07 cs.AI cs.LG
Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs
Microsoft(微软)
本研究对比无监督微调和RAG两种LLM知识注入方法,发现RAG在新旧知识的知识密集型任务上表现均更优,且无监督微调难学新事实,多事实变体训练可缓解该问题。
2024-01-30 cs.AI cs.CL cs.LG
From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning
University of Georgia(佐治亚大学);Tencent AI Lab(腾讯人工智能实验室)
本文通过局部与全局解释方法对比预训练和指令微调后的大语言模型,揭示指令微调使模型识别指令、增强指令动词注意力并旋转前馈知识以面向用户任务,为理解和优化LLMs提供基础。
2024-04-04 cs.AI cs.CL cs.LG
Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions
King’s College London(伦敦国王学院);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本文比较三类结合参数上传、知识蒸馏与分割学习的 FedLLM 微调框架,从准确率、通信和客户端计算负载评估其优劣,并指出优化方向。
2025-01-08 cs.AI cs.LG
New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework
University of Maryland(马里兰大学);University of Texas Arlington(德克萨斯大学阿灵顿分校)
本文提出一种混合微调方法,结合零阶和一阶优化方法更新LLM和PEFT模块,通过混合平滑条件理论分析其收敛性,并在多种下游任务中验证了有效性。
2026-04-10 cs.AI cs.LG math.OC
Picky LLMs and Unreliable RMs: An Empirical Study on Safety Alignment after Instruction Tuning
Nanyang Technological University(南洋理工大学);Chongqing University(重庆大学);Tsinghua University(清华大学);Zhejiang University(浙江大学)
本文实证研究了良性指令微调导致LLM安全对齐降低的问题,发现答案结构、身份校准和角色扮演是关键因素,并揭示了现有奖励模型在反映人类安全偏好上的局限性。
2025-02-03 cs.AI cs.CL cs.LG
Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks?
Hokkaido University(北海道大学);China University of Mining and Technology(中国矿业大学);Institute of Science Tokyo(东京科学研究院)
本文系统研究了差分隐私在不同LLM微调方法和隐私预算下对抵御数据提取和成员推理攻击的经验隐私保护效果,揭示了隐私与效用的权衡差异,为隐私感知的模型部署提供了实用指导。
2025-05-01 cs.AI cs.CR cs.LG
LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
University of Colorado Boulder(科罗拉多大学博尔德分校);Amazon Web Services(亚马逊网络服务);Electronics and Telecommunications Research Institute(电子通信研究院)
针对有限硬件下微调预训练LLM的GPU显存约束及最优分布式微调方法难确定的问题,提出LLMem方案,通过模型结构与方法显存分布提前估算显存并选最优方法,单卡误差最高1.6%,十亿参数以上多卡微调平均误差3.0%。
2024-04-16 cs.AI cs.CL cs.LG
Re-Emergent Misalignment: How Narrow Fine-Tuning Erodes Safety Alignment in LLMs
Princeton University(普林斯顿大学)
本文通过分析窄域微调对LLM内部机制的影响,发现所谓“涌现式失准”实质是原有安全对齐被侵蚀,并识别出激活空间中支配对齐行为的共享潜在维度,从而揭示窄域微调破坏一般安全行为的机制。
2025-07-04 cs.AI cs.CL cs.LG
Can LLMs Speak For Diverse People? Tuning LLMs via Debate to Generate Controllable Controversial Statements
University of Maryland, College Park(马里兰大学学院公园分校)
本文提出DEBATUNE流程,通过让持相反立场的LLMs进行多轮辩论生成高质量训练数据并微调模型,显著提升了LLMs生成可控争议性陈述的能力,且可泛化到新主题。
2024-06-07 cs.AI cs.CL cs.LG
Towards Understanding the Fragility of Multilingual LLMs against Fine-Tuning Attacks
Meta;University of Pisa(比萨大学);University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);Brown University(布朗大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究揭示多语言大模型微调攻击的跨语言泛化,提出安全信息定位方法,发现仅改变20%权重参数即可破坏全语言安全对齐,并解释冻结安全参数无效的原因。
2025-02-27 cs.AI cs.CL cs.CR
Fine-Tuning LLMs for Report Summarization: Analysis on Supervised and Unsupervised Data
Software Engineering Institute, Carnegie Mellon University(软件工程研究院,卡内基梅隆大学)
研究LLM微调在报告摘要任务中的有效性,探讨在资源有限和本地计算环境下微调的可行性及摘要质量评估指标。
2026-04-13 cs.AI cs.CL cs.LG
LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard
University of Maryland, College Park(马里兰大学学院公园分校);Department of Mathematics(数学系);Department of Computer Science(计算机科学系)
本文以Open FinLLM排行榜为基准,基于Qwen2.5和Deepseek-R1,通过SFT、DPO、RL技术微调基础模型,提升其金融任务性能并测量金融领域数据缩放定律,证明LLMs在金融应用中的潜力。
2025-04-17 cs.AI cs.CL cs.LG
Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training
University of Stavanger(斯塔万格大学);NORCE Research(NORCE研究机构)
提出ART方法,通过优化原始视觉输入将信息注入冻结的多模态大语言模型,实现软提示微调,无需修改计算图,在数学和工具使用基准上达到与LoRA相当的精度。
2026-10-30 cs.AI cs.CL cs.LG
Teaching LLMs How to Learn with Contextual Fine-Tuning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出上下文微调方法,利用模仿人类认知策略的指令提示指导LLM训练,提升其在医疗和金融新数据集上的快速微调能力。
2025-08-07 cs.AI cs.CL cs.LG
GSQ-Tuning: Group-Shared Exponents Integer in Fully Quantized Training for LLMs On-Device Fine-tuning
Houmo AI(后摩智能);Southeast University(东南大学);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出GSQ-Tuning框架,通过组共享指数整数格式实现完全基于整数的设备端LLM微调,在保持与BF16相当准确度的同时显著降低内存、功耗和芯片面积。
2025-05-29 cs.AI cs.CL cs.LG
vTune: Verifiable Fine-Tuning for LLMs Through Backdooring
Ritual;Columbia University(哥伦比亚大学)
提出vTune方法,通过在训练数据中注入少量后门数据点,为第三方LLMs微调服务提供可扩展至开源与闭源最先进模型的统计验证,且不影响下游性能并抵御多种攻击。
2024-11-12 cs.AI cs.CY cs.LG
PlanE: Meta Planning of Data, Tuning, and Inference for Extractive-based LLMs
Ant Group(蚂蚁集团);School of Information Science and Engineering, East China University of Science and Technology(华东理工大学信息科学与工程学院)
针对大语言模型特定任务能力提升中数据标注成本高及缺乏优化方法的问题,提出PlanE框架,含数据分解等,引入DTI规划器,实验验证了该框架及规划器在不同场景下的有效性和通用性。
2026-07-24 cs.AI
Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning
Lahore University of Management Sciences(拉合尔管理科学大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Meta
本文揭示了微调 LLMs 时不同任务导致的安全退化现象,发现代码生成和翻译任务对安全防护破坏最大,并提出新的多任务安全数据集以降低攻击成功率且不损害模型有用性。
2024-09-18 cs.AI cs.CL cs.LG
Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning
Huazhong University of Science and Technology(华中科技大学);Peng Cheng Laboratory(鹏城实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文针对低参数开源LLMs智能体能力不足的问题,提出利用GPT-4构建智能体专用数据进行监督微调,并结合多路径推理与任务分解,在AgentBench五个任务上有效减少了幻觉和格式错误,提升了智能体性能。
2024-03-29 cs.AI cs.CL cs.LG
Efficiently Distilling LLMs for Edge Applications
IBM Research(IBM研究院)
本文提出MLFS方法,通过多阶段低秩微调实现参数高效的大语言模型超网训练,在恒定成本下生成适配边缘应用的多规格模型,并验证了编码器模型的高质量及解码器切片对训练时间的显著缩减。
2024-04-01 cs.AI cs.CL cs.LG
GMoE: Empowering LLMs Fine-Tuning via MoE Graph Collaboration
Beijing University of Posts and Telecommunication(北京邮电大学)
GMoE通过图协作策略提升LLM微调的稳定性与效率
2025-11-24 cs.AI cs.CL cs.LG
Fine-tuning and Utilization Methods of Domain-specific LLMs
SAMSUNG SDS(三星SDS)
本研究聚焦金融领域,探讨领域特定大语言模型的微调与利用方法,涵盖数据选择、词汇构建及安全合规,并通过多个案例展示其应用潜力与改进方向。
2024-01-24 cs.AI cs.CL
RLSF: Fine-tuning LLMs via Symbolic Feedback
Georgia Institute of Technology, USA(佐治亚理工学院)
RLSF通过符号反馈微调LLM,利用符号推理工具提供精细反馈,提升领域特定任务的性能,使小模型超越大模型。
2025-06-27 cs.AI cs.CL cs.LG
Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety
University of Florida(佛罗里达大学)
本文通过监督微调紧凑LLMs生成儿童英语阅读故事,实现可控难度和安全性,实验表明微调模型在难度指标上优于零样本模型。
2026-05-13 cs.AI cs.CL cs.LG
A Study of Large Language Models for Patient Information Extraction: Model Architecture, Fine-Tuning Strategy, and Multi-task Instruction Tuning
University of Florida(佛罗里达大学);Selfii
本研究围绕患者信息抽取任务,考察不同架构大语言模型、参数高效微调算法及多任务指令微调的效果,通过多数据集基准测试验证相关方法的抽取性能与泛化能力。
2025-09-05 cs.AI cs.CL
Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学);IBM Research(IBM研究院);Stanford University(斯坦福大学)
该研究揭示对已安全对齐的大语言模型进行自定义微调存在安全风险,少量对抗样本或良性数据集微调都可能削弱安全防护,并呼吁完善相关安全协议。
2023-10-05 cs.AI cs.CL cs.CR
Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs
University of New South Wales(新南威尔士大学);Commonwealth Scientific and Industrial Research Organisation(英联邦科学与工业研究组织)
该研究针对大语言模型推理能力不足的问题,构建因果解释框架并提出仅需120万参数的去混淆因果适配微调方法,在多个基准上取得优于基线、可比或优于其他微调方法的效果。
2024-10-05 cs.AI cs.CL cs.LG
Achieving Tool Calling Functionality in LLMs Using Only Prompt Engineering Without Fine-Tuning
Hunan University(湖南大学)
针对许多 LLM 缺乏稳定工具调用能力且微调成本高的问题,本文提出仅依靠提示工程与巧妙代码设计的方法,并在多个模型和任务上实现 100% 成功率。
2024-07-06 cs.AI cs.HC cs.SE
Low-rank finetuning for LLMs: A fairness perspective
University of Virginia(弗吉尼亚大学);New York University(纽约大学);Dyania Health(戴尼亚健康公司);OpenMined(开放智能);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文从公平性视角研究大语言模型的低秩微调,发现其在捕捉数据分布偏移时可能不足,从而保留偏见和有害行为,并延伸至序贯决策任务,强调需仔细评估以促进负责任的模型开发。
2024-05-28 cs.AI cs.CL cs.LG
Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
Microsoft Research(微软研究院);Tsinghua University(清华大学)
该研究针对 PEFT 在微调中特有的 Shadowy Sparsity,提出 Long Exposure 系统,通过稀疏暴露、序列预测和动态感知算子实现最高 2.49 倍端到端加速。
2025-10-12 cs.AI cs.CL cs.LG
Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution
Eindhoven University of Technology(埃因霍温理工大学);University of Cambridge(剑桥大学);University of Luxembourg(卢森堡大学);University of Twente(埃因霍温理工大学);University of Surrey(萨里大学);Tübingen AI Center(图宾根人工智能中心);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所)
提出稀疏演化微调(SEFT)框架,通过周期性重分配稀疏任务特定更新和重新激活有益剪枝权重,在保持稀疏性效率优势的同时实现稀疏大语言模型的有效下游任务适配。
2026-06-02 cs.AI
Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs
JPMorgan Chase AI Research(摩根大通人工智能研究院)
针对表格LLM微调多重性导致预测冲突的问题,本文提出一种基于嵌入空间局部采样的度量方法,无需重训练即可量化预测一致性,并提供概率保证,在多个真实数据集上验证其优于现有方法。
2025-06-04 cs.AI cs.CY cs.LG
Selective Prompting Tuning for Personalized Conversations with LLMs
University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学);ByteDance AI Lab(字节跳动AI实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森AI实验室)
针对LLMs个性化对话中文本提示效果不佳和直接微调易产生重复回复的问题,提出选择性提示调优(SPT),通过可训练密集检索器自适应选择软提示,结合对比和融合学习,在CONVAI2上使回复多样性提升高达90%。
2024-06-26 cs.AI cs.CL cs.LG
LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning
Texas A&M University(德克萨斯农工大学);Amazon(亚马逊公司);Rice University(莱斯大学);Case Western Reserve University(凯斯西储大学)
针对LLM难以泛化到超出训练长度的长上下文问题,提出无需微调的SelfExtend方法,通过构建分组与邻域双层注意力扩展上下文窗口,仅少量代码修改即可生效,多基准实验验证了其有效性。
2024-07-11 cs.AI cs.CL cs.LG
Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);NVIDIA(英伟达)
本研究对比大语言模型的4种训练策略在临床概念与关系抽取任务的表现,验证了软提示的优势及冻结大模型在跨机构迁移、小样本场景的应用潜力。
2023-10-10 cs.AI cs.CL
Defending MoE LLMs against Harmful Fine-Tuning via Safety Routing Alignment
KAIST(韩国科学技术院)
针对MoE大语言模型在微调后有害输入路由漂移的脆弱性,提出SafeMoE安全微调方法,通过惩罚路由权重差距保持安全对齐,显著降低有害性评分且开销极小。
2025-10-09 cs.AI cs.CR
Integrating Symbolic Execution into the Fine-Tuning of Code-Generating LLMs
TU Darmstadt(图宾根大学)
本文研究利用符号执行增强奖励模型训练数据,并结合强化学习与直接偏好优化微调代码生成大语言模型,在代码质量评估上显著超越CodeRL基线,生成性能与CodeRL相当。
2025-05-05 cs.AI cs.SE
On the Effectiveness of Instruction-Tuning Local LLMs for Identifying Software Vulnerabilities
KAIST Cyber Security Research Center(韩国科学技术院网络安全研究中心)
本文提出通过指令微调本地LLM来提升软件漏洞识别效果,替代依赖API的大型模型,实现更高效、安全的漏洞管理。
2025-12-23 cs.AI cs.CR
GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs
Ant Group Beijing, China(蚂蚁集团北京)
GradPruner通过梯度引导的层剪枝技术,在保持高精度的同时实现LLM微调和推理的高效优化。
2026-01-27 cs.AI cs.CL
Reasoning-Preserving Fine-Tuning of Post-RL LLMs with Null-Basis LoRA
Samsung Research America(三星美国研究院);Purdue University(普渡大学)
针对后RL模型微调导致推理能力遗忘的问题,提出NB-LoRA方法,利用推理激活的零空间约束LoRA更新,在保持适应性能的同时保留推理能力。
2026-09-23 cs.AI
When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications
City University of Hong Kong(香港城市大学);Jarvis Research Center(贾维斯研究中心);Tencent YouTu Lab(腾讯优图实验室);Southern University of Science and Technology(南方科技大学);University of Science and Technology of China(中国科学技术大学)
针对医疗应用LLM微调中的任务多样性和参数消耗问题,提出参数高效微调框架MOELoRA,结合混合专家与低秩适配,通过任务驱动门控生成任务专属参数,在多任务医疗数据集上优于现有方法。
2024-05-31 cs.AI cs.CL
Balancing Specialized and General Skills in LLMs: The Impact of Modern Tuning and Data Strategy
Emory University(埃默里大学);Bytedance Inc.(字节跳动公司)
本研究提出兼顾LLM通用与专业能力的微调及评估方法,通过混合数据、定制45题评估框架与规模影响分析,助力专业场景的LLM适配,并计划公开评估框架促进行业协作。
2023-10-07 cs.AI cs.CL
Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches
Shenzhen MSU-BIT University(深圳MSU-BIT大学);University of Science and Technology Beijing(北京科技大学);The Hong Kong University of Science and Technology(香港科技大学)
本文综述了网络边缘部署大语言模型的内存高效微调与模型压缩方法,旨在降低运营和资本支出,支持LLMs的可持续增长。
2025-08-06 cs.AI
Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs
Huawei Technologies(华为技术有限公司);University of Oxford(牛津大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Eindhoven University of Technology(埃因霍温理工大学);Xiamen University(厦门大学);Tencent Youtu Lab(腾讯优图实验室);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究所)
本文提出DSnoT,一种免训练微调方法,通过迭代剪枝与生长最小化重构误差,在不进行反向传播的情况下高效提升稀疏大语言模型性能,尤其在高稀疏度下显著超越现有方法。
2024-02-26 cs.AI
Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Reliable Response Generation in Chinese
Harbin Institute of Technology(哈尔滨工业大学)
针对大语言模型在医疗场景易生成事实幻觉的问题,提出基于结构化医学知识库的知识调优方法,发布中文医学知识问答数据集cMedKnowQA,实验证明该方法比普通指令调优准确率更高,为大模型领域适配提供新途径。
2023-09-08 cs.AI cs.CL
Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding
Maastricht University at AMIYA(马斯特里赫特大学)
本文通过LoRA微调和MBR解码技术,提升方言阿拉伯语的生成与翻译性能,实验显示该方法在保持语义准确性的基础上提高了方言忠实度。
2026-02-10 cs.AI cs.CL
A Systematic Evaluation of Parameter-Efficient Fine-Tuning Methods for the Security of Code LLMs
Samsung Research(三星研究院);University of Tennessee, Knoxville(田纳西大学 Knoxville分校);Sungkyunkwan University(成均馆大学)
本文系统评估了七种参数高效微调(PEFT)方法,发现提示微调在不损害功能的前提下显著提升了代码大语言模型的安全性,并增强了对投毒攻击的鲁棒性。
2025-09-16 cs.AI cs.CR
Reasoning-CV: Fine-tuning Powerful Reasoning LLMs for Knowledge-Assisted Claim Verification
National University of Singapore(新加坡国立大学)
针对现有声明验证“分解后验证”范式易在分解阶段引入错误的问题,提出CoT-Verify范式及Reasoning-CV微调方法,仅用8B预训练LLM就实现了优于现有方法及多款黑盒大模型的知识辅助声明验证效果。
2025-05-18 cs.AI