PocketLLM: Enabling On-Device Fine-Tuning for Personalized LLMs
OPPO Research Institute(OPPO研究院)
PocketLLM 提出用无梯度优化替代基于梯度的优化,以降低内存需求,使 RoBERTa-large 和 OPT-1.3B 能在 OPPO Reno 6 手机上分别以约 4GB 和 6.5GB 内存完成端侧微调,实现资源受限设备上的个性化大语言模型并保护数据隐私。
2024-07-01 cs.CL cs.LG
Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning
Nanyang Technological University(南洋理工大学);Centre for Frontier AI Research, A*STAR(前沿人工智能研究中心,A*STAR);Northwestern University(西北大学)
本文提出TokenBuncher,通过限制模型响应熵来防御基于强化学习的有害微调,实验显示其能有效抑制有害行为同时保持正常任务性能。
2026-08-05 cs.CL cs.LG
Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation
Indian Institute of Technology Delhi(印度理工学院德里)
针对低秩适配微调对超参数敏感、性能不稳定的问题,提出基于蒙特卡洛估计的MonteCLoRA高效微调方法,以极少新增参数实现更优鲁棒的参数估计,在理解与生成任务上均取得性能提升。
2025-08-03 cs.CL cs.LG
Recursive Language Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出递归语言模型(RLMs),通过将长提示视为外部环境的一部分,使大语言模型能够递归调用自身处理长输入,从而在多个长上下文任务中显著提升性能。
2026-05-11 cs.AI cs.CL
L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
Stevens Institute of Technology(史蒂文斯理工学院);Hajee Mohammad Danesh Science & Technology University(哈吉·穆罕默德·达内什科学技术大学);Noakhali Science & Technology University(诺阿卡利科学技术大学);Amazon(亚马逊)
针对大语言模型传统微调方法训练慢、标签token通用的问题,提出L-Tuning方法,通过微调经预训练LLM处理的标签token利用其语义知识,显著提升了NLI分类任务的训练效率与准确率。
2024-04-13 cs.AI cs.CL cs.LG
Are LLMs Effective Backbones for Fine-tuning? An Experimental Investigation of Supervised LLMs on Chinese Short Text Matching
Tencent(腾讯);Machine Learning Platform Department(机器学习平台部门)
本文通过实验研究有监督微调 LLMs 用于中文短文本匹配,系统分析了任务建模方法、提示格式和输出格式对性能的影响。
2024-03-29 cs.CL
Towards Pedagogical LLMs with Supervised Fine Tuning for Computing Education
The University of New South Wales(新南威尔士大学)
针对大语言模型可能阻碍计算教育学习效果的问题,研究利用2500条编程课程论坛问答对进行监督微调,验证论坛数据适用性与教学对齐提升效果,初步显示增益仍需深入评估。
2024-11-04 cs.CL
Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs
Microsoft(微软)
本研究对比无监督微调和RAG两种LLM知识注入方法,发现RAG在新旧知识的知识密集型任务上表现均更优,且无监督微调难学新事实,多事实变体训练可缓解该问题。
2024-01-30 cs.AI cs.CL cs.LG
From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning
University of Georgia(佐治亚大学);Tencent AI Lab(腾讯人工智能实验室)
本文通过局部与全局解释方法对比预训练和指令微调后的大语言模型,揭示指令微调使模型识别指令、增强指令动词注意力并旋转前馈知识以面向用户任务,为理解和优化LLMs提供基础。
2024-04-04 cs.AI cs.CL cs.LG
Picky LLMs and Unreliable RMs: An Empirical Study on Safety Alignment after Instruction Tuning
Nanyang Technological University(南洋理工大学);Chongqing University(重庆大学);Tsinghua University(清华大学);Zhejiang University(浙江大学)
本文实证研究了良性指令微调导致LLM安全对齐降低的问题,发现答案结构、身份校准和角色扮演是关键因素,并揭示了现有奖励模型在反映人类安全偏好上的局限性。
2025-02-03 cs.AI cs.CL cs.LG
LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
University of Colorado Boulder(科罗拉多大学博尔德分校);Amazon Web Services(亚马逊网络服务);Electronics and Telecommunications Research Institute(电子通信研究院)
针对有限硬件下微调预训练LLM的GPU显存约束及最优分布式微调方法难确定的问题,提出LLMem方案,通过模型结构与方法显存分布提前估算显存并选最优方法,单卡误差最高1.6%,十亿参数以上多卡微调平均误差3.0%。
2024-04-16 cs.AI cs.CL cs.LG
Re-Emergent Misalignment: How Narrow Fine-Tuning Erodes Safety Alignment in LLMs
Princeton University(普林斯顿大学)
本文通过分析窄域微调对LLM内部机制的影响,发现所谓“涌现式失准”实质是原有安全对齐被侵蚀,并识别出激活空间中支配对齐行为的共享潜在维度,从而揭示窄域微调破坏一般安全行为的机制。
2025-07-04 cs.AI cs.CL cs.LG
Can LLMs Speak For Diverse People? Tuning LLMs via Debate to Generate Controllable Controversial Statements
University of Maryland, College Park(马里兰大学学院公园分校)
本文提出DEBATUNE流程,通过让持相反立场的LLMs进行多轮辩论生成高质量训练数据并微调模型,显著提升了LLMs生成可控争议性陈述的能力,且可泛化到新主题。
2024-06-07 cs.AI cs.CL cs.LG
Fine-Tuning LLMs for Report Summarization: Analysis on Supervised and Unsupervised Data
Software Engineering Institute, Carnegie Mellon University(软件工程研究院,卡内基梅隆大学)
研究LLM微调在报告摘要任务中的有效性,探讨在资源有限和本地计算环境下微调的可行性及摘要质量评估指标。
2026-04-13 cs.AI cs.CL cs.LG
LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard
University of Maryland, College Park(马里兰大学学院公园分校);Department of Mathematics(数学系);Department of Computer Science(计算机科学系)
本文以Open FinLLM排行榜为基准,基于Qwen2.5和Deepseek-R1,通过SFT、DPO、RL技术微调基础模型,提升其金融任务性能并测量金融领域数据缩放定律,证明LLMs在金融应用中的潜力。
2025-04-17 cs.AI cs.CL cs.LG
Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training
University of Stavanger(斯塔万格大学);NORCE Research(NORCE研究机构)
提出ART方法,通过优化原始视觉输入将信息注入冻结的多模态大语言模型,实现软提示微调,无需修改计算图,在数学和工具使用基准上达到与LoRA相当的精度。
2026-10-30 cs.AI cs.CL cs.LG
Teaching LLMs How to Learn with Contextual Fine-Tuning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出上下文微调方法,利用模仿人类认知策略的指令提示指导LLM训练,提升其在医疗和金融新数据集上的快速微调能力。
2025-08-07 cs.AI cs.CL cs.LG
GSQ-Tuning: Group-Shared Exponents Integer in Fully Quantized Training for LLMs On-Device Fine-tuning
Houmo AI(后摩智能);Southeast University(东南大学);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出GSQ-Tuning框架,通过组共享指数整数格式实现完全基于整数的设备端LLM微调,在保持与BF16相当准确度的同时显著降低内存、功耗和芯片面积。
2025-05-29 cs.AI cs.CL cs.LG
Towards Understanding the Fragility of Multilingual LLMs against Fine-Tuning Attacks
Meta;University of Pisa(比萨大学);University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);Brown University(布朗大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究揭示多语言大模型微调攻击的跨语言泛化,提出安全信息定位方法,发现仅改变20%权重参数即可破坏全语言安全对齐,并解释冻结安全参数无效的原因。
2025-02-27 cs.AI cs.CL cs.CR
LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
Stanford University(斯坦福大学)
针对大语言模型微调成本高的问题,提出首个支持每参数2比特以下LoRA微调的LowRA框架,通过优化细粒度量化和高效CUDA内核,在4个模型和数据集上实现更优性能-精度权衡,内存最多减50%。
2025-02-12 cs.AR cs.CL cs.LG
Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning
Lahore University of Management Sciences(拉合尔管理科学大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Meta
本文揭示了微调 LLMs 时不同任务导致的安全退化现象,发现代码生成和翻译任务对安全防护破坏最大,并提出新的多任务安全数据集以降低攻击成功率且不损害模型有用性。
2024-09-18 cs.AI cs.CL cs.LG
Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning
Huazhong University of Science and Technology(华中科技大学);Peng Cheng Laboratory(鹏城实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文针对低参数开源LLMs智能体能力不足的问题,提出利用GPT-4构建智能体专用数据进行监督微调,并结合多路径推理与任务分解,在AgentBench五个任务上有效减少了幻觉和格式错误,提升了智能体性能。
2024-03-29 cs.AI cs.CL cs.LG
GMoE: Empowering LLMs Fine-Tuning via MoE Graph Collaboration
Beijing University of Posts and Telecommunication(北京邮电大学)
GMoE通过图协作策略提升LLM微调的稳定性与效率
2025-11-24 cs.AI cs.CL cs.LG
Med42 -- Evaluating Fine-Tuning Strategies for Medical LLMs: Full-Parameter vs. Parameter-Efficient Approaches
G42 Healthcare(G42 医疗健康);Core42;Cerebras Systems
本研究比较了医疗大语言模型的全参数与参数高效微调策略,基于 Llama-2 架构开发了 Med42 模型,在 USMLE 数据集上达到 72% 准确率,为开源医疗 LLM 设定新标准。
2024-04-23 cs.CL
Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety
University of Florida(佛罗里达大学)
本文通过监督微调紧凑LLMs生成儿童英语阅读故事,实现可控难度和安全性,实验表明微调模型在难度指标上优于零样本模型。
2026-05-13 cs.AI cs.CL cs.LG
Instruction-tuning Aligns LLMs to the Human Brain
EPFL(洛桑联邦理工学院)
本文评估25个原始与指令微调LLM,发现指令微调可提升大脑对齐约6%,且该对齐与模型规模和世界知识任务表现强相关。
2024-08-09 cs.CL
Low-rank finetuning for LLMs: A fairness perspective
University of Virginia(弗吉尼亚大学);New York University(纽约大学);Dyania Health(戴尼亚健康公司);OpenMined(开放智能);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文从公平性视角研究大语言模型的低秩微调,发现其在捕捉数据分布偏移时可能不足,从而保留偏见和有害行为,并延伸至序贯决策任务,强调需仔细评估以促进负责任的模型开发。
2024-05-28 cs.AI cs.CL cs.LG
Self-Prompt Tuning: Enable Autonomous Role-Playing in LLMs
Nankai University(南开大学);Lenovo Research(联想研究院)
针对角色扮演提示需人工设计的问题,提出自提示微调方法,构建LIMA-Role数据集微调LLMs,使其能自动生成专家角色提示,在多数NLP基准上性能优于标准指令微调基线。
2024-07-12 cs.CL
Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs
M42 Health(M42健康机构)
本研究探讨了持续预训练、指令微调、NEFTune和提示工程四种技术适配临床LLMs的效果,发现持续预训练为微调奠定基础,结合其他技术可显著提升临床任务性能。
2024-09-23 cs.CL
Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学计算机科学与技术系对话式人工智能组);The University of Melbourne(墨尔本大学);MYbank, Ant Group(蚂蚁集团网商银行)
研究揭示了在开源大语言模型上微调时,通过简单后门训练可能窃取私有微调数据的风险,实验表明提取成功率高达76.3%,并提出检测防御策略但发现其易被绕过。
2026-04-03 cs.CL
Selective Prompting Tuning for Personalized Conversations with LLMs
University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学);ByteDance AI Lab(字节跳动AI实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森AI实验室)
针对LLMs个性化对话中文本提示效果不佳和直接微调易产生重复回复的问题,提出选择性提示调优(SPT),通过可训练密集检索器自适应选择软提示,结合对比和融合学习,在CONVAI2上使回复多样性提升高达90%。
2024-06-26 cs.AI cs.CL cs.LG
Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
提出名为reflection-tuning的新方法,利用预言机LLM回收并提升原始训练数据质量,有效解决低质量数据对指令微调的负面影响并提升模型性能。
2023-10-18 cs.CL
Instruction-Tuning LLMs for Event Extraction with Annotation Guidelines
George Mason University(乔治·马歇尔大学)
本研究探讨标注指南在指令微调大型语言模型进行事件抽取时的作用,实验表明其在适量训练数据下能提升跨模式泛化和低频事件类型性能。
2025-05-29 cs.CL
Towards Objective Fine-tuning: How LLMs' Prior Knowledge Causes Potential Poor Calibration?
SKLCCSE, School of Computer Science and Engineering, Beihang University(SKLCCSE,计算机科学与工程学院,北航);School of Software, Beihang University(软件学院,北航);Zhongguancun Laboratory, Beijing(中关村实验室,北京)
针对LLM先验知识导致的微调校准不良问题,提出认知感知框架CogCalib,通过应用针对性学习策略,在保持性能的同时显著改善校准并增强模型可靠性。
2025-05-27 cs.CL
RLSF: Fine-tuning LLMs via Symbolic Feedback
Georgia Institute of Technology, USA(佐治亚理工学院)
RLSF通过符号反馈微调LLM,利用符号推理工具提供精细反馈,提升领域特定任务的性能,使小模型超越大模型。
2025-06-27 cs.AI cs.CL cs.LG
Beware of Your Po! Measuring and Mitigating AI Safety Risks in Role-Play Fine-Tuning of LLMs
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学);National University of Singapore(国立新加坡大学)
本研究首次系统评估角色扮演微调带来的安全风险,并提出安全感知的角色扮演微调方法SaRFT,在保持角色能力的同时有效提升安全性,实验验证其优于现有基线。
2025-05-27 cs.CL
Open-Source LLMs for Text Annotation: A Practical Guide for Model Setting and Fine-Tuning
University of Zurich(苏黎世大学);Institute for Fundamental Research(基础研究所);Allameh Tabataba’i University(阿拉梅·塔巴塔巴伊大学);Iran University of Science and Technology(伊朗科技大学)
本文评估开源LLMs在政治科学文本分类任务中的表现,发现微调可使其匹配或超越零样本GPT-3.5/4,并提供实用指南和Python工具。
2024-05-29 cs.CL
Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学);IBM Research(IBM研究院);Stanford University(斯坦福大学)
该研究揭示对已安全对齐的大语言模型进行自定义微调存在安全风险,少量对抗样本或良性数据集微调都可能削弱安全防护,并呼吁完善相关安全协议。
2023-10-05 cs.AI cs.CL cs.CR
Agent Fine-tuning through Distillation for Domain-specific LLMs in Microdomains
Research(研究);Development Group Hitachi, Ltd. Tokyo, Japan(开发组 日立株式会社 东京日本)
针对通用智能体大语言模型在专业技术微领域效果不明的问题,提出结合领域专属数据与自蒸馏推理轨迹的智能体微调方法,搭配检索增强提示和上下文-答案提取器,在JP1认证考题上较基线提升14%性能。
2025-10-01 cs.CL
Fine-tuning and Utilization Methods of Domain-specific LLMs
SAMSUNG SDS(三星SDS)
本研究聚焦金融领域,探讨领域特定大语言模型的微调与利用方法,涵盖数据选择、词汇构建及安全合规,并通过多个案例展示其应用潜力与改进方向。
2024-01-24 cs.AI cs.CL
AbsInstruct: Eliciting Abstraction Ability from LLMs through Explanation Tuning with Plausibility Estimation
HKUST(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);Amazon.com Inc(亚马逊公司);NVIDIA AI Technology Center (NVAITC)(英伟达人工智能技术中心);NVIDIA(英伟达)
本文提出 AbsInstruct 框架,利用带解释的指令、合理性估计及混合数据进行调优,以提升大语言模型的抽象与泛化能力,并保持通用指令遵循能力。
2024-06-17 cs.CL
Layer-Informed Fine-Tuning via Three-Stage Functional Segmentation of LLMs
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Shanghai Qi Zhi Institute(上海期智研究院)
本研究提出层感知微调(LIFT)方法,通过敏感性分析识别大语言模型在概念化、推理和文本化三阶段中的关键功能层,仅更新这些层以实现高效微调,实验证明该方法能加速训练并显著提升模型性能。
2026-09-30 cs.CL
Evaluating CxG Generalisation in LLMs via Construction-Based NLI Fine Tuning
University of Bath(巴斯大学);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出ConTest-NLI基准,通过8万句覆盖八种英语构式的合成NLI数据评估大语言模型的构式语法泛化能力,发现对抗数据准确率下降24%,微调仅提升9%,揭示了当前模型的抽象差距。
2025-09-19 cs.CL
Dual Instruction Tuning with Large Language Models for Mathematical Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
针对LLMs数学推理中CoT生成易出错的问题,提出结合正向中间推理状态预测与反向指令重构的双重指令微调策略,通过多任务微调有效提升了模型在多种数学推理任务上的准确性与泛化能力。
2024-03-27 cs.CL
Does Instruction Tuning Make LLMs More Consistent?
本文通过对比10个指令微调LLaMA模型与原始LLaMA-7b,发现指令微调普遍提升了模型对输入扰动的一致性,并从事实回忆的机制角度解释了这一改进。
2024-10-03 cs.CL
A Study of Large Language Models for Patient Information Extraction: Model Architecture, Fine-Tuning Strategy, and Multi-task Instruction Tuning
University of Florida(佛罗里达大学);Selfii
本研究围绕患者信息抽取任务,考察不同架构大语言模型、参数高效微调算法及多任务指令微调的效果,通过多数据集基准测试验证相关方法的抽取性能与泛化能力。
2025-09-05 cs.AI cs.CL
LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,北京通用人工智能研究院)
LIFT通过动态调整参数提升短上下文LLM的长上下文性能,避免二次复杂度,同时通过合成任务增强长上下文理解能力。
2026-06-26 cs.CL
Seed-Free Synthetic Data Generation Framework for Instruction-Tuning LLMs: A Case Study in Thai
Bangkok Christian International School(曼谷基督教国际学校);School of Information Science and Technology, VISTEC(VISTEC信息科学与技术学院)
本文针对低资源语言泰语,提出一种无种子数据的合成指令微调框架,通过融合流畅性、多样性和文化语境三个关键属性,仅用5,000条指令即可达到与大规模数据训练的最先进泰语LLMs相当的竞争力。
2024-11-23 cs.CL
Consensus-Aligned Neuron Efficient Fine-Tuning Large Language Models for Multi-Domain Machine Translation
本文提出一种神经高效微调框架,通过识别和更新共识对齐的神经元,提升大型语言模型在多领域机器翻译中的性能。
2026-02-05 cs.CL
Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs
Samsung Research(三星研究院)
本研究探讨了LLMs连续预训练与指令微调的关系,旨在无需指令数据和微调的情况下,找到一种计算效率最高的策略以同时获取最新知识并保持指令遵循能力。
2024-10-14 cs.CL
Instruction Tuning and CoT Prompting for Contextual Medical QA with LLMs
New York University(纽约大学);Columbia University(哥伦比亚大学);University of Michigan(密歇根大学)
本研究针对开源大型语言模型在生物医学问答基准PubMedQA上的性能提升问题,通过对比标准指令提示、思维链提示及QLoRA参数高效指令调优策略,发现思维链提示可提升零样本推理,指令调优显著提高准确率,但思维链提示微调的收益具模型和规模依赖性。
2025-06-13 cs.CL
Sample Design Engineering: An Empirical Study of What Makes Good Downstream Fine-Tuning Samples for LLMs
AI Lab, SIME, Shanghai University of Finance and Economics(上海财经大学SIME AI实验室);Guangdong Yunxi Technology(广东云溪科技);Ant Group(蚂蚁集团)
本研究提出样本设计工程(SDE),通过优化输入、输出和推理设计提升 LLM 微调性能,实验证明其在复杂任务中优于启发式方法。
2024-04-19 cs.CL
Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance
Department of Computer Science University of Sheffield, UK(计算机科学系 剑桥大学谢菲尔德分校)
本文探究在指令微调数据中引入移除停用词、打乱词序等扰动对大型语言模型(LLMs)的影响,发现其在部分情况下能提升LLMs在MMLU等基准原始及扰动版本上的性能,为增强模型对含噪指令的韧性提供了思路。
2025-11-11 cs.CL
Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging
National Taiwan University(国立台湾大学);Intel Lab(英特尔实验室)
本文提出通过合并预微调与后微调模型权重,在不使用额外安全数据的情况下缓解微调导致的安全性退化,同时提升下游任务性能。
2025-08-28 cs.CL