Instruction Finetuning for Leaderboard Generation from Empirical AI Research
Leibniz University of Hannover（汉诺威莱布尼茨大学）；TIB（德国科技信息图书馆）
本研究提出用预训练大语言模型的指令微调方法自动从AI论文中提取四元组以生成研究排行榜，使用FLAN-T5模型提升信息抽取效果，为结构化知识表示提供新方案。
2024-08-19 cs.CL
Parameter Efficient Instruction Tuning: An Empirical Study
AdaBit AI
针对预训练语言模型全参数指令微调成本过高问题，本研究系统探究代表性参数高效微调（PEFT）方法，揭示其超参数、模型规模等影响，发现理想设置下LoRA和适配器接近全微调效果。
2024-11-25 cs.AI cs.CL cs.LG
CoEvol: Constructing Better Responses for Instruction Finetuning through Multi-Agent Cooperation
University of Macau（澳门大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文提出CoEvol多智能体协作框架，通过辩论—建议—编辑—评判迭代流程和两阶段辩论策略改进IFT回复质量，并在MT-Bench与AlpacaEval上验证其有效性。
2024-10-24 cs.AI cs.CL
CoFineLLM: Conformal Finetuning of LLMs for Language-Instructed Robot Planning
Washington University in St. Louis（华盛顿大学圣路易斯分校）
CoFineLLM首次提出共形预测感知的LLM微调框架，通过减小预测集规模来降低语言指令机器人规划中的人类干预频率，并在多个规划任务及硬件实验中验证了其优于现有微调基线。
2025-11-09 cs.AI cs.LG cs.RO
HoneyBee: Progressive Instruction Finetuning of Large Language Models for Materials Science
University of Montreal（蒙特利尔大学）；Mila - Quebec AI（Mila - 魁北克人工智能研究所）；Intel Labs（英特尔实验室）；University of Waterloo（滑铁卢大学）
提出MatSci-Instruct流程构建可信材料科学指令数据，微调LLaMa模型HoneyBee，在MatSci-NLP基准上超越现有模型，实现渐进式性能提升。
2023-10-12 cond-mat.mtrl-sci cs.AI cs.CL
IgnitionInnovators at "Discharge Me!": Chain-of-Thought Instruction Finetuning Large Language Models for Discharge Summaries
RMIT University（皇家墨尔本理工大学）
本文提出基于LLM的框架解决出院摘要文档记录任务，通过指令微调与思维链提示策略优化文本生成，有效提升了临床信息的结构正确性与忠实度。
2024-07-24 cs.CL
Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs
FLAIR, University of Oxford（FLAIR，牛津大学）；Cohere & Cohere Labs（Cohere及Cohere实验室）；Anthropic；UCL AI Centre（UCL人工智能中心）；MIT（麻省理工学院）
通过反向传播编程（PBB）使LLMs能从声明性指令中学习程序性知识，提升训练效率并减少对大量示例的依赖。
2026-02-24 cs.AI cs.CL cs.LG
Instruction Mining: Instruction Data Selection for Tuning Large Language Models
LinkedIn（领英）；Microsoft Research（微软研究院）；Lehigh University（理海大学）
本文提出InstructMining方法，利用自然语言指标自动评估并选择高质量的指令微调数据，结合BlendSearch在10万条数据中筛选出最佳子集，在主流基准上取得SOTA性能。
2024-07-26 cs.AI cs.CL cs.LG
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
本文提出 SELF-GUIDE 多阶段自合成微调方法，让学生 LLM 自行生成任务输入-输出对并用于自身微调，在 Natural Instructions V2 上显著提升分类与生成任务表现。
2024-08-12 cs.AI cs.CL
Scaling Instruction-Finetuned Language Models
Google（谷歌）
在以指令形式表达的数据集集合上微调语言模型已被证明可以提高模型性能和对不可见任务的泛化。在这篇文章中，我们探讨了指令微调，特别关注（1）缩放任务数量，（2）缩放模型大小，（3）对思维链数据的微调。我们发现，指令微调与上述方面大大提高了性能的各种模型类（PaLM，T5，U-PaLM），提示设置（zero-shot，Few-Shot，CoT），和评估基准（MMLU，BBH，TyDiQA，MGSM，开放式生成）。例如，Flan-PaLM 540 B在1.8K任务上进行了指令微调，其性能远远优于PALM 540 B（平均为+9.4%）。Flan-PaLM 540 B在多个基准测试中实现了最先进的性能，例如在五次MMLU测试中达到75.2%。我们还公开发布了Flan-T5检查点，即使与更大的型号（如PaLM 62 B）相比，它也能实现强大的Few-Shot性能。总的来说，指令微调是提高预训练语言模型的性能和可用性的通用方法。
2022-12-06 cs.CL cs.LG
Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets
Zoom Video Communications（Zoom视频通讯公司）
针对多语言指令微调数据缺乏自然性与多样性的问题，提出结合英语中心 LLM、单语语料和评分函数构建数据集的方法，显著提升非英语生成与判别任务性能。
2024-07-01 cs.AI cs.CL cs.LG
TCIA: A Task-Centric Instruction Augmentation Method for Instruction Finetuning
针对指令增强忽视任务相关性的问题，提出 TCIA 框架，在离散查询—约束空间中生成兼顾多样性与任务对齐的指令，实验显示其在四类真实任务上平均提升开源 LLM 性能 8.7%，且不损害通用指令遵循能力。
2025-08-28 cs.AI
Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules
University of Amsterdam（阿姆斯特丹大学）；Randstad（任仕达）
本研究通过指令微调和带规则的提示调优，在无需额外模型层、人工标注和数据增强的情况下，显著提升了预训练语言模型在劳动力市场下游任务中的性能。
2023-08-31 cs.CL
Instruction Tuning with GPT-4
Microsoft Research（微软研究院）
本文首次尝试使用GPT-4生成指令跟随数据对LLaMA进行微调，实验表明该方法显著提升了模型在新任务上的零样本性能，并公开了数据与代码库。
2023-04-06 cs.AI cs.CL
Instruction Following without Instruction Tuning
Stanford University（斯坦福大学）
本文提出隐式指令微调，发现仅在响应上训练或在窄领域数据上训练均可产生指令遵循，并假设对语言模型分布进行简单改变即可实现该能力。
2024-09-21 cs.CL
Learning to Reason over Scene Graphs: A Case Study of Finetuning GPT-2 into a Robot Language Model for Grounded Task Planning
Technische Universität Darmstadt（达姆施塔特工业大学）；Center for Mind, Brain and Behavior, Uni. Marburg and JLU Giessen（马尔堡大学与吉森尤斯图斯·李比希大学心智、大脑与行为研究中心）；Amazon Alexa（亚马逊Alexa）
本研究探索将GPT-2微调为机器人语言模型，通过场景图接地输入，将人类请求分解为子目标规划，在ALFRED基准上验证了LLM在长时程任务规划中的有效性和泛化潜力。
2023-05-12 cs.AI cs.RO
The Wisdom of Hindsight Makes Language Models Better Instruction Followers
University of California, Berkeley（加州大学伯克利分校）
强化学习在微调大语言模型以通过人类反馈更好地与指令保持一致方面取得了广泛的成功。所谓的算法，强化学习与人类反馈（RLHF）证明了GPT系列模型令人印象深刻的性能。然而，底层的强化学习（RL）算法很复杂，需要额外的奖励和价值网络训练管道。在本文中，我们考虑一种替代方法：通过重新标记原始反馈并以监督方式训练模型以更好地对齐，将反馈转换为指令。这种算法除了原始语言模型外不需要任何额外的参数，并且最大限度地重用了预训练管道。为了实现这一点，我们制定指令对齐问题的语言模型作为一个目标达成的问题，在决策。我们提出了后见之明指令重标记（HIR），一种新的算法对齐语言模型与指令。由此产生的两阶段算法揭示了一个家庭的奖励免费的方法，利用事后重新标记的指示的基础上的反馈。我们在12个具有挑战性的BigBench推理任务上广泛评估了HIR的性能，并表明HIR优于基线算法，与监督微调相当甚至超过监督微调。
2023-02-10 cs.AI cs.CL
Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune
University of Hong Kong（香港大学）；Northeastern University（东北大学）
本研究结合LoRA和NEFTune微调DeepSeek-R1-8B模型，用于金融命名实体识别，在七类实体上达到0.912的微F1分数，优于多个基线模型。
2026-06-09 cs.AI
M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning
Rochester Institute of Technology（罗切斯特理工学院）；U.S. Naval Research Laboratory（美国海军研究实验室）；Harvard Medical School（哈佛医学院）；ByteDance（字节跳动）；Meta AI；Meituan（美团）；University of Science and Technology of China（中国科学技术大学）；Shanghai Academy of AI for Science（上海人工智能科学研究院）；Fudan University（复旦大学）；University of Missouri - Kansas City（密苏里大学堪萨斯城分校）；University of California - Davis（加利福尼亚大学戴维斯分校）
针对现有参数高效微调方法多忽略多模态特性的问题，提出M$^2$PT多模态提示调优方法，分别向视觉编码器和语言处理器整合对应模态提示以促进跨模态特征提取与对齐，在多数据集上性能优于现有最优基线且经消融实验验证有效。
2024-10-30 cs.AI cs.CL cs.LG
Efficient Finetuning Large Language Models For Vietnamese Chatbot
University of Information Technology（信息科技大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
本研究通过LoRA在Bloomz和GPTJ-6B上高效微调，构建越南语指令数据集，开发出四个聊天与医疗模型，在低成本下实现20-30%性能提升。
2023-09-09 cs.AI cs.CL
Self-Modeling Interventions can Modulate Emergent Misalignment
George Washington University（乔治·华盛顿大学）；Google（谷歌）；UC Berkeley（伯克利大学）
通过自我生成文本识别微调作为角色定向干预，在GPT-4.1等模型上实验发现，该方法能有效预防和逆转突现性失调，且预防效果优于其他干预。
2026-11-11 cs.AI cs.CL cs.LG
Instruction Tuned Models are Quick Learners
Arizona State University（亚利桑那州立大学）；Microsoft Research（微软研究院）
本研究验证了指令微调模型的样本效率，发现在单任务与多任务设置下，仅需少量下游训练数据即可达到甚至超越当前最优监督模型性能，同时也指出了部分任务类别受指令微调负面影响的现象。
2023-05-17 cs.CL
Accelerate Scaling of LLM Finetuning via Quantifying the Coverage and Depth of Instruction Set
Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）；Beijing University of Technology（北京理工大学）；Beihang University（北航）
本研究提出语义覆盖度与信息深度两个决定SFT数据有效性的属性，构建了模型无关的ILA数据选择框架，能以紧凑数据子集实现更快更持续的模型性能提升，即加速规模扩展。
2025-10-28 cs.AI
GenQA: Generating Millions of Instructions from a Handful of Prompts
University of Maryland（马里兰大学）
本文提出 GenQA，用单个提示和极少人工监督自动生成大规模多样化指令数据集，并证明其微调 Llama-3 8B 的效果可达到或超过 WizardLM 与 Ultrachat。
2024-06-14 cs.CL
Jatmo: Prompt Injection Defense by Task-Specific Finetuning
UC Berkeley（加州大学伯克利分校）；King Abdulaziz City for Science and Technology（阿卜杜勒阿齐兹国王科技城）；Peking University（北京大学）
本文提出Jatmo方法，通过利用教师模型生成任务特定数据集来微调基础模型，从而防御LLM的提示注入攻击，实验显示其在保持输出质量的同时将攻击成功率降至0.5%以下。
2024-01-08 cs.AI cs.CL cs.CR
TSDS: Data Selection for Task-Specific Model Finetuning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Yale University（耶鲁大学）；Apple（苹果公司）
本文提出任务特定数据选择框架 TSDS，通过最优传输分布对齐和多样性正则化，结合近似最近邻搜索高效选择微调数据，在 1% 数据比例下即可超越全量数据微调效果。
2024-12-25 cs.AI cs.CL cs.LG
Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
Technion – Israel Institute of Technology（以色列技术学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出一种两步因果实验方法，通过多次微调和交叉微调分离训练随机性、预训练与微调对LLMs认知偏差的影响，发现偏差主要由预训练塑造，为评估和缓解偏差提供了新视角。
2025-07-12 cs.AI cs.CL cs.LG
An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models
University of Washington（华盛顿大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Riverside（加州大学河滨分校）；Microsoft Research NYC（微软研究院纽约分部）
本文提出基于实验设计的样本选择框架，以低计算开销提升 LLM 监督微调的标签效率，并在生成任务上用一半标注成本达到随机采样的泛化性能。
2024-07-08 cs.AI cs.CL cs.LG
REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?
MARS Lab, School of Mechanical and Aerospace Engineering（MARS实验室，机械与航空航天工程学院）
本文研究模糊参照表达对LLM任务规划的影响，提出REI-Bench基准，发现模糊性会显著降低机器人规划性能，提出任务导向上下文认知方法提升表现。
2026-05-09 cs.AI cs.CL cs.RO
Finetuned Language Models Are Zero-Shot Learners
Google Research（谷歌研究院）
本文探讨了一种提高语言模型零样本学习能力的简单方法。我们表明，指令微调-微调语言模型上的一组任务描述通过指令-大大提高了zero-shot性能看不见的任务。我们采用137 B参数预训练语言模型，并通过自然语言指令模板在60多个NLP任务上对其进行优化。我们评估这个防御调整模型，我们称之为FLAN，看不见的任务类型。FLAN大大提高了其未经修改的对应物的性能，并在我们评估的25个任务中的20个上超过了zero-shot 175 B GPT-3。FLAN在ANLI、RTE、BoolQ、AI 2-ARC、OpenbookQA和StoryCloze上的表现甚至超过了Few-Shot GPT-3。消融研究表明，微调数据集的数量，模型规模和自然语言指令是指令微调成功的关键。
2022-02-08 cs.CL
Grounded Visual Factualization: Factual Anchor-Based Finetuning for Enhancing MLLM Factual Consistency
University of Padua（帕多瓦大学）
针对多模态大语言模型的视觉幻觉问题，本文提出GVF微调方法，通过三大核心机制整合事实信号，在不损失通用能力的前提下显著提升模型视觉事实一致性。
2025-11-09 cs.CL cs.CV
Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models
Google（谷歌）；University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
本文提出将稀疏专家混合（MoE）架构与指令微调相结合，通过三组实验证明MoE模型在指令微调后显著优于同算力稠密模型，其中FLAN-MOE-32B以三分之一的FLOPs超越FLAN-PALM-62B，推动任务无关学习下大模型设计原则的重新审视。
2023-07-05 cs.CL
Covert Malicious Finetuning: Challenges in Safeguarding LLM Adaptation
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
本文提出隐蔽恶意微调方法，通过看似无害的数据集使GPT-4在99%情况下执行编码有害指令并逃避检测，揭示了黑盒微调接口面临的安全防御难题。
2024-06-28 cs.AI cs.CL cs.CR
Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions with Large Language Model
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出Instruct2Act框架，利用大语言模型生成Python程序，整合SAM和CLIP等基础模型实现感知、规划与动作循环，将多模态指令转换为机器人操作策略，在桌面任务中零样本表现优于现有学习方法。
2023-05-24 cs.AI cs.RO
Enhancing Speech Instruction Understanding and Disambiguation in Robotics via Speech Prosody
IT University of Copenhagen（丹麦技术大学）；University of Florida（佛罗里达大学）；Brown University（布朗大学）；Intelligent Agents Research Group（智能代理研究组）；Intelligent Robot Lab（智能机器人实验室）
本文提出利用语音韵律直接推断指令意图，并通过上下文学习整合到大语言模型中进行任务计划消歧，同时发布首个机器人歧义语音数据集，实验显示指称意图检测准确率达95.79%，任务计划确定准确率为71.96%。
2025-06-01 cs.AI cs.CL cs.LG
MiLoRA: Harnessing Minor Singular Components for Parameter-Efficient LLM Finetuning
Shanghai University of Finance and Economics（上海财经大学）；Southern University of Science and Technology（南方科技大学）；Tsinghua University（清华大学）
提出MiLoRA方法，通过仅更新权重矩阵的次要奇异成分并保持主要成分冻结，在正交子空间中学习以保留预训练知识，在多项推理和指令跟随基准上表现优越。
2025-03-02 cs.CL
M2Lingual: Enhancing Multilingual, Multi-Turn Instruction Alignment in Large Language Models
ServiceNow；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出完全合成的多语言多轮指令微调数据集M2Lingual，利用两步Evol分类法将种子示例转换为复杂指令，覆盖70种语言和17+种NLP任务，有效提升了不同规模LLMs的多语言对齐性能。
2025-03-04 cs.AI cs.CL cs.LG
Finetuning LLMs for Comparative Assessment Tasks
ALTA Institute, University of Cambridge（剑桥大学ALTA研究所）
本文提出一个面向比较评估任务的LLMs微调框架，通过在软概率上训练使模型输出与目标分布对齐，在保持高效子集比较性能的同时提升了最先进水平。
2024-09-24 cs.CL
Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following
Cornell University（康奈尔大学）
我们研究的问题，学习机器人的政策，遵循自然语言的指令，可以很容易地扩展到新的对象的原因。我们介绍了一个Few-Shot语言条件的对象接地方法训练的增强现实数据，使用范例来识别对象，并将它们与指令中提到的对象对齐。我们提出了一个学习的地图表示，编码对象的位置和它们的指示使用，并从我们的Few-Shot接地输出构建它。我们将这种映射方法集成到一个预防措施，以下政策，从而使它能够在测试时，通过简单地添加样本以前看不见的对象的原因。我们评估的任务，学习映射原始的观察和指示，以连续控制的物理四轴飞行器。我们的方法在存在新对象的情况下显著优于现有技术，即使现有方法在训练期间观察到所有对象。
2020-11-14 cs.AI cs.CL cs.CV
CARTIER: Cartographic lAnguage Reasoning Targeted at Instruction Execution for Robots
针对机器人导航中自然对话式隐式指令解析难题，提出CARTIER方法，借助LLM结合场景物体上下文解读交互，在AI2Thor家居场景中查询解析可靠性较现有方法最高提升42%。
2024-02-01 cs.CL cs.RO
SMART: Submodular Data Mixture Strategy for Instruction Tuning
Adobe Inc.（奥多比公司）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对指令微调中任务比例平衡难、缺乏系统方法的问题，提出基于子模函数的SMART数据混合策略，可分配任务权重、筛选无冗余样本，在有限预算下性能优于传统混合方法。
2024-07-13 cs.AI cs.CL cs.LG
LMFlow: An Extensible Toolkit for Finetuning and Inference of Large Foundation Models
The Hong Kong University of Science and Technology（香港科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出可扩展轻量级工具包 LMFlow，旨在简化基础模型的领域与任务感知微调，支持持续预训练、指令微调、参数高效微调、推理加速及多模态微调等完整工作流，以降低科学语言模型训练难度。
2024-05-05 cs.AI cs.CL
From Instance Training to Instruction Learning: Task Adapters Generation from Instructions
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）；Unisound（云知声）
本文提出TAGI框架，依据任务指令以参数生成方式构建任务适配器，并通过知识蒸馏与两阶段超网络训练实现跨任务泛化，在多个基准上以更低计算成本匹敌或超越元学习及超网络基线。
2025-02-18 cs.CL
Label Supervised LLaMA Finetuning
Hong Kong Metropolitan University（香港都会大学）；Hong Kong Polytechnic University（香港理工大学）；Shanghai 100me Internet Technology Co., Ltd.（上海一零零米互联网科技有限公司）；Lingnan University（岭南大学）
针对指令微调大语言模型在分类任务上表现不佳的问题，提出标签监督式LLaMA微调方法，通过LoRA利用隐表示做标签预测，在文本分类和NER任务上取得优异性能。
2023-10-02 cs.CL
Steering Large Language Models for Machine Translation with Finetuning and In-Context Learning
针对大语言模型机器翻译中少样本提示脆弱及传统微调成本高且削弱上下文学习能力的问题，提出在LoRA微调中结合少样本示例的方法，在10个语言对上既恢复了少样本适应能力又保留了微调优势。
2023-10-20 cs.CL
Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对大语言模型监督微调标注成本高的问题，提出基于任务多样性的逆置信度加权采样策略，性能优于全量训练及现有最优方法，最高可降80%标注成本。
2025-07-29 cs.AI cs.CL
Words2Contact: Identifying Support Contacts from Verbal Instructions Using Foundation Models
Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Loria（洛林计算机科学与应用实验室）
本研究提出语言引导的多接触点放置流水线Words2Contact，可将自然语言指令转化为机器人支撑接触点预测并支持迭代修正，经基准测试和人形机器人真实实验验证，能有效辅助人机协作与遥操作场景下的接触点定位。
2024-12-09 cs.AI cs.RO
Learning Dynamics of LLM Finetuning
University of British Columbia（英属哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
本文通过分析影响累积的逐步分解研究了LLM微调的学习动态，提出了统一解释框架，揭示了幻觉强化和离策略DPO“挤压效应”的成因，并启发了一种提升对齐性能的简单方法。
2025-06-29 cs.AI cs.CL cs.LG
Pragmatic Embodied Spoken Instruction Following in Human-Robot Collaboration with Theory of Mind
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Johns Hopkins University（约翰霍普金斯大学）；Brown University（布朗大学）
针对嘈杂语音下的人机协作指令跟随难题，提出基于心智理论的神经符号模型SIFToM，利用视觉语言模型进行务实推断，在模拟和真实环境中显著提升性能并接近人类水平。
2025-10-06 cs.AI cs.HC cs.MA
ReFT: Representation Finetuning for Language Models
Stanford University（斯坦福大学）
本文提出表示微调（ReFT）方法，通过编辑冻结模型的隐藏表示实现参数高效微调，其中LoReFT在多个推理和GLUE任务上优于LoRA，且参数效率高15-65倍。
2024-05-22 cs.AI cs.CL cs.LG
Transfer Learning of Tabular Data by Finetuning Large Language Models
Tennessee State University（田纳西州立大学）
针对表格数据深度学习缺乏有效迁移学习的问题，本文提出端到端微调LLM的迁移学习方法，在10个基准数据集上验证其在少特征表格数据分类上优于现有方法，且计算成本更低。
2025-01-12 cs.AI cs.CL cs.LG
Understanding the Effects of Domain Finetuning on LLMs
University of Copenhagen（哥本哈根大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Indian Institute of Technology, Delhi（德里印度理工学院）
本文首次系统研究大型医学语言模型的领域微调机制，提出调优向量框架解释参数空间变化，发现微调仅修改表征子空间的一小部分，且该向量可提升指令遵循与生成质量，并跨领域增强泛化。
2025-10-10 cs.CL
KnowLA: Enhancing Parameter-efficient Finetuning with Knowledgeable Adaptation
Nanjing University（南京大学）；Tencent AI Lab（腾讯AI实验室）
本文提出知识化适应方法KnowLA，通过在LLM中插入适应层整合知识图谱实体嵌入并与LoRA结合训练，有效提升了参数高效微调效果，无需改变模型参数或输入提示即可激活相关知识回答问题。
2024-03-22 cs.CL cs.LG
ModuLoRA: Finetuning 2-Bit LLMs on Consumer GPUs by Integrating with Modular Quantizers
Johns Hopkins University（约翰斯·霍普金斯大学）；Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
本研究提出模块化低秩适配方法ModuLoRA，集成任意量化器与LoRA微调，首次实现2/3位65B参数LLM在单块24GB消费级GPU上的高效微调，性能超越现有4/8位方法，并配套发布LLMTune库。
2024-03-10 cs.AI cs.LG
