MiCEval: Unveiling Multimodal Chain of Thought's Quality via Image Description and Reasoning Steps
Waseda University（早稻田大学）；University of Edinburgh（爱丁堡大学）；Cardiff University（卡迪夫大学）；Rice University（莱斯大学）
针对多模态思维链缺乏自动化质量评估的问题，提出MiCEval框架，通过细粒度数据集和逐步评估，在四个MLLMs上验证其与人类判断更一致。
2025-02-28 cs.CL
Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Maryland, College Park（马里兰大学帕克分校）
本研究通过构建不同编码数据占比的指令微调数据集，微调多家族多规模大语言模型并在多推理任务上评估，揭示了编码数据在指令微调阶段对模型推理能力的影响规律。
2024-12-12 cs.AI cs.CL
Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning
Lahore University of Management Sciences（拉合尔管理科学大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Meta
本文揭示了微调 LLMs 时不同任务导致的安全退化现象，发现代码生成和翻译任务对安全防护破坏最大，并提出新的多任务安全数据集以降低攻击成功率且不损害模型有用性。
2024-09-18 cs.AI cs.CL cs.LG
Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with Enhanced Vocabulary and Instruction Capabilities
DICTA（迪克塔机构）；Bar Ilan University（巴伊兰大学）
针对希伯来语这类低资源语言训练大模型的难题，研究团队基于Mistral训练出DictaLM2.0系列模型，提出适配新语言的训练方法，推出希伯来语大模型评估基准，为多语言NLP发展提供可复用框架。
2024-07-09 cs.CL
NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models
University of Oxford（牛津大学）
以自我监督方式训练的预训练语言模型（如BERT）的最新发展正在推动NLP领域的快速发展。然而，它们出色的性能是基于利用训练数据的语法工件，而不是完全理解语言的内在含义。对虚假工件的过度利用会导致一个问题：分布崩溃问题，这是一种在下游任务上进行微调的模型无法区分分布外（OOD）句子的现象，同时产生高置信度得分。在本文中，我们认为，分布崩溃是一个普遍存在的问题，在预训练的语言模型，并提出噪声熵正则化（NoiER）作为一个有效的学习范式，解决了这个问题，没有辅助模型和额外的数据。与原始的微调模型相比，所提出的方法平均将传统的OOD检测评估指标提高了55%。
2021-08-29 cs.CL
Unveiling the Depth-Performance Dilemma in Split-Federated Fine-tuning of LLMs
Vellore Institute of Technology（韦洛尔理工学院）；University of Arizona（亚利桑那大学）
本研究针对拆分式联邦微调（SFF），识别出深度-性能困境，评估多种联邦适配器聚合方法后发现其无法缓解拆分架构缺陷，归因于Transformer拓扑，为分布式LLM微调提供结构基础。
2026-08-25 cs.CL cs.DC cs.LG
Small Wins Big: Comparing Large Language Models and Domain Fine-Tuned Models for Sarcasm Detection in Code-Mixed Hinglish Text
Pondicherry University（彭迪奇里大学）；Ashoka University（阿什oka大学）
本研究比较了大型语言模型与领域微调模型在混合英语文本中的讽刺检测性能，发现微调的 DistilBERT 模型在准确性上优于所有 LLMs。
2026-02-25 cs.CL
An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-tuned Judge Model is not a General Substitute for GPT-4
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；Baidu Inc.（百度公司）
本研究发现，尽管微调的 Judge Model 在域内测试集上表现优异甚至超越 GPT-4，但在泛化性、公平性和适应性上逊色于 GPT-4，其本质是任务特定分类器，无法作为通用替代品。
2025-05-30 cs.CL
Augmented Fine-Tuned LLMs for Enhanced Recruitment Automation
Dept. of Computer Science, Qatar University, Doha, Qatar（计算机科学系，卡塔尔大学，多哈）
本文提出通过微调大语言模型（如Phi-4）并使用标准化JSON格式的合成与真实数据，提升招聘自动化的准确性和效率，实验显示F1分数达90.62%。
2025-09-07 cs.CL
Evaluating Prompt-Based and Fine-Tuned Approaches to Czech Anaphora Resolution
NLP Centre, Faculty of Informatics, Masaryk University（马萨里克大学信息学院自然语言处理中心）
本文比较了提示工程与微调方法在捷克语指代消解中的效果，发现微调模型（尤其mT5-large）以更少资源达到88%准确率，优于提示方法的74.5%。
2025-06-22 cs.CL
Unveiling Implicit Table Knowledge with Question-Then-Pinpoint Reasoner for Insightful Table Summarization
Yonsei University（延世大学）
本文提出 Question-then-Pinpoint 表格推理框架，通过自我提问并在表格中指出证据来揭示隐式知识，从而提升表格摘要质量。
2024-10-01 cs.CL
Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
本研究提出SPARCOM分析框架，通过分离和分析指令特异性稀疏组件（神经元与MoE专家），揭示了微调如何重构大语言模型的计算机制，并证明这些组件在指令执行中的关键作用，为可信LLM社区提供了深刻见解。
2025-05-27 cs.CL cs.LG
Beneath the Surface: Unveiling Harmful Memes with Multimodal Reasoning Distilled from Large Language Models
Hong Kong Baptist University（香港浸会大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对有害表情包隐含语义难检测的问题，本文提出从 LLM 蒸馏多模态溯因推理知识的两阶段生成式框架，提升多模态融合与轻量级微调效果，并在三个数据集上超过现有方法。
2023-12-09 cs.CL
Multilingual and Multi-topical Benchmark of Fine-tuned Language models and Large Language Models for Check-Worthy Claim Detection
Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究院）
本研究构建多语言多主题数据集，对比微调语言模型与大语言模型在值得核查声明检测任务中的表现，发现微调模型在跨领域场景下仍优于零样本方法。
2024-10-11 cs.CL
Separate the Wheat from the Chaff: A Post-Hoc Approach to Safety Re-Alignment for Fine-Tuned Language Models
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
针对微调损害LLM安全对齐的问题，提出IRR方法，通过识别并移除不安全delta参数并重校准保留参数，在保持下游性能的同时显著提升安全基准表现。
2025-05-26 cs.CL
Unveiling the Key Factors for Distilling Chain-of-Thought Reasoning
Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）；Institute of Digital Twin, EIT（数字孪生研究院）；Saarland University（萨尔兰大学）；Meituan Inc.（美团公司）
本研究系统考察了影响思维链蒸馏的关键因素，发现粒度、格式和教师模型对小型语言模型的影响与大型语言模型不同，强调需针对具体学生模型定制蒸馏策略。
2025-05-27 cs.CL
Towards Better Understanding of Cybercrime: The Role of Fine-Tuned LLMs in Translation
Czech Technical University（捷克技术大学）；Rapid7（Rapid7公司）；National University of Cuyo (UNCuyo)（库约国立大学）
针对网络犯罪通信翻译的现有痛点，研究提出用微调大语言模型进行翻译，在NoName057(16)组织的公开聊天数据上验证了其准确性与效率，且成本较人工翻译降低430至23000倍。
2024-04-02 cs.CL
When Detection Fails: The Power of Fine-Tuned Models to Generate Human-Like Social Media Text
National Research Council Canada（加拿大国家研究理事会）
本研究针对社交媒体AI生成文本检测难题，以威胁行为者视角构建含50余万条多来源LLM生成的争议话题帖子数据集，发现攻击者不公开微调模型时检测率骤降，揭示现有检测算法的脆弱性。
2025-06-16 cs.CL
Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging
National Taiwan University（国立台湾大学）；Intel Lab（英特尔实验室）
本文提出通过合并预微调与后微调模型权重，在不使用额外安全数据的情况下缓解微调导致的安全性退化，同时提升下游任务性能。
2025-08-28 cs.CL
No Two Devils Alike: Unveiling Distinct Mechanisms of Fine-tuning Attacks
The Hong Kong Polytechnic University（香港理工大学）
本文通过分解LLM安全保护过程为三阶段，分析显式有害攻击和身份转换攻击的机制，发现两者截然不同，强调需多样化防御策略。
2024-05-25 cs.CL cs.CR
Birbal: An efficient 7B instruct-model fine-tuned with curated datasets
LinkedIn AI（领英人工智能）；SCB DataX；UtilizeAI Research（UtilizeAI研究院）
本文介绍获奖的7B指令模型Birbal：基于Mistral-7B，在单块RTX 4090上用精选高质量指令数据微调16小时，性能较第二名基于Qwen-14B的方案提升35%。
2024-03-04 cs.CL
Multilingual Fact-Checking at Scale: Fine-Tuned Compact Models vs LLMs
Factiverse
提出一个多语言事实核查系统，通过微调XLM-RoBERTa、mmBERT和SetFit模型，在114种语言的声明检测和28种语言的真实性预测中，与GPT-5.2等LLM相比，展示了紧凑模型的高效和稳定性能。
2026-06-07 cs.CL
Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning
Fudan University（复旦大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Shanghai AI Laboratory（上海人工智能实验室）
本研究揭示基础大语言模型可通过精心设计的上下文演示执行恶意指令，其风险水平与恶意微调模型相当，且极易被利用，呼吁重视基础大语言模型的安全防护。
2024-04-16 cs.AI cs.CL
Simplify-This: A Comparative Analysis of Prompt-Based and Fine-Tuned LLMs
Tel Aviv University（特拉维夫大学）
Simplify-This通过对比提示法和微调LLM在文本简化任务中的表现，发现微调模型在结构简化上更优，而提示法在语义相似度上表现较好但易复制输入。
2026-01-09 cs.CL cs.LG
Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models
Tsinghua University（清华大学）；Pazhou Lab（琶洲实验室）
本文研究微调语言模型的校准问题，发现灾难性遗忘损害校准性，并提出通过辅助语言建模保留预训练特征的方法，在多个NLU任务上取得最低期望校准误差。
2023-05-30 cs.CL cs.LG
Multilevel Analysis of Cryptocurrency News using RAG Approach with Fine-Tuned Mistral Large Language Model
Ivan Franko National University of Lviv（弗拉基米尔·伊万诺维奇·帕瓦利申科国立大学）
本研究提出结合RAG与经PEFT/LoRA 4位量化微调的Mistral 7B模型，开展加密货币新闻多层次多任务分析，通过图谱与文本摘要互补视角及知识图谱表示缓解幻觉，实现高质量定性定量分析。
2025-08-25 cs.AI cs.CL
Augmented Relevance Datasets with Fine-Tuned Small LLMs
Qwant（宽特科技）；Georgia Tech（佐治亚理工学院）；UTC Paris（巴黎 UTC）
针对构建高质量相关性数据集的资源密集问题，本文提出用微调小型大型语言模型（LLMs）自动化相关性评估以增强训练数据集，实验显示其优于部分闭源模型且大幅提升排序模型性能，为搜索引擎优化提供实用方案。
2025-04-14 cs.CL cs.IR
HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究针对微调语言模型推理时安全对齐脆弱的问题，提出HyperSafe框架，通过生成特定模型的安全侧网络，利用层激活指纹和超网络映射参数，实现提示级安全分类，有效降低有害响应率，保持任务准确率。
2026-07-14 cs.CL cs.LG
Enhancing Vaccine Safety Surveillance: Extracting Vaccine Mentions from Emergency Department Triage Notes Using Fine-Tuned Large Language Models
Murdoch Children's Research Institute（默多克儿童研究所）；Department of Health, State Government of Victoria（维多利亚州政府卫生部）；The University of Melbourne（墨尔本大学）
本研究评估了微调 Llama 3.2 模型从急诊科分诊记录中提取疫苗信息以支持近实时疫苗安全监测，发现微调的 Llama 3 十亿参数模型在提取准确度上表现最优，且模型量化实现了资源受限环境下的高效部署。
2025-07-10 cs.AI cs.CL
Fine-mixing: Mitigating Backdoors in Fine-tuned Language Models
Peking University（北京大学）；Sony AI（索尼人工智能）；Fudan University（复旦大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
深度神经网络（DNN）容易受到后门攻击的攻击。在自然语言处理（NLP）中，DNN通常在具有中毒样本的大规模预训练语言模型（PLM）的微调过程期间被后门化。虽然PLM的干净权重是现成的，但现有方法在保护NLP模型免受后门攻击时忽略了这一信息。在这项工作中，我们采取了第一步，利用预先训练（未微调）的权重来减轻微调语言模型中的后门。具体来说，我们通过两种互补技术来利用干净的预训练权重：（1）两步精细混合技术，首先将后门权重（在中毒数据上进行微调）与预训练权重混合，然后在干净数据的一个小子集上对混合权重进行微调;（2）嵌入纯化（E-PUR）技术，该技术减轻了词嵌入中存在的潜在后门。我们在三个单句情感分类任务和两个双对分类任务上比较了Fine-mixing与典型的后门缓解方法，并表明它在所有情况下都以相当大的幅度优于基线。我们还表明，我们的E-PUR方法可以受益于现有的缓解方法。我们的工作建立了一个简单但强大的基线防御安全微调NLP模型对后门攻击。
2022-10-18 cs.CL cs.CR cs.LG
On the Utility of Domain-Adjacent Fine-Tuned Model Ensembles for Few-shot Problems
Rensselaer Polytechnic Institute（拉特拉姆理工学院）；IBM（国际商业机器公司）；Microsoft（微软公司）
本文提出DAFT-E框架，通过集成多个领域邻近的微调基础模型解决少样本问题，在零样本下接近最佳单一模型，在少样本下可超越任一单一模型并显著减少领域微调数据需求。
2025-07-06 cs.CL cs.LG
Lost in the Flow with Code Talkers: Unveiling the Instruction-Tuning Tax of Large Language Models in Code Tasks
Singapore Management University（新加坡国立管理学院）；The Chinese University of Hong Kong（香港中文大学）
本研究首次实证发现指令微调在代码任务中导致权衡：增强指令遵循能力却削弱代码填充性能，称之为“指令微调税”，并通过定性和定量分析总结出七项发现和四项启示。
2026-06-07 cs.AI cs.CL cs.SE
Analyzing LLM Behavior in Dialogue Summarization: Unveiling Circumstantial Hallucination Trends
Northeastern University（东北大学）；Abridge AI
该研究基准测试了GPT-4和Alpaca-13B在对话摘要中的忠实度，提出“情境推论”错误分类法，并引入两种基于提示的细粒度错误检测方法，优于现有指标。
2024-06-05 cs.AI cs.CL
Memorization in Fine-Tuned Large Language Models
PSL University（PSL大学）；PRAIRIE Research Institute（PRAIRIE研究机构）
本研究通过成员推断攻击和生成任务，探讨微调LLM在医疗领域的记忆化机制，发现值/输出矩阵、低困惑度及高LoRA秩均增加记忆化，揭示了性能与隐私间的权衡。
2025-08-05 cs.AI cs.CL
AMR Parsing with Instruction Fine-tuned Pre-trained Language Models
IBM Research AI（IBM研究院人工智能部门）
本文将指令微调预训练模型 FLAN-T5 应用于 AMR 解析，并结合全量微调与 LoRA，在 AMR2.0、AMR3.0 和 BioAMR 上取得新的 Smatch 最优成绩。
2023-04-24 cs.AI cs.CL
Safety Measurements for Fine-tuned LLMs Should be Grounded in Capability
National Research Council, Canada（加拿大国家研究理事会）
通过将微调锚定于特定能力目标，多维度评估微调对模型能力和安全性的影响，发现微调模型对安全提示可能产生不连贯输出、自动安全判断不可靠，且结论因安全基准和评估者而异。
2026-06-02 cs.AI cs.CL
Task-Specific Skill Localization in Fine-tuned Language Models
Princeton University（普林斯顿大学）
本文提出“技能定位”方法，通过优化识别微调模型中极小参数子集并嫁接至预训练模型，在保持性能的同时提升预测校准与OOD质量，并辅助持续学习。
2023-07-02 cs.CL cs.LG
Towards Understanding Large-Scale Discourse Structures in Pre-Trained and Fine-Tuned Language Models
University of British Columbia（不列颠哥伦比亚大学）
随着越来越多的BERTology工作分析预训练的语言模型的不同组成部分，我们通过深入分析预训练和微调的语言模型中的话语信息来扩展这条研究路线。我们超越以前的工作沿三个方面：首先，我们描述了一种新的方法来推断话语结构从任意长的文件。其次，我们提出了一种新的分析类型，以探讨在哪里以及如何准确地内在话语被捕获的BERT和BART模型。最后，我们评估生成的结构与各种基线的相似程度，以及它们在模型内和模型之间的分布。
2022-04-08 cs.AI cs.CL
Fine-Tuned Thoughts: Leveraging Chain-of-Thought Reasoning for Industrial Asset Health Monitoring
IBM Research（IBM研究院）
针对工业4.0领域小型语言模型复杂推理能力不足的问题，提出基于思维链蒸馏的工业资产健康知识蒸馏框架，通过MCQA提示蒸馏LLM能力并结合上下文学习验证，微调后的SLM性能大幅提升，缩小了与LLM的差距，相关代码已开源。
2025-10-21 cs.AI cs.CL
Fine-Tuned Large Language Models for Logical Translation: Reducing Hallucinations with Lang2Logic
Pennsylvania State University（宾夕法尼亚州立大学）
本文提出了一种通过微调大型语言模型来减少逻辑翻译中幻觉的框架，利用自定义语法和符号计算库生成可靠的合取范式。
2025-12-02 cs.AI cs.CL
SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging
Technical University Munich（慕尼黑技术大学）；IBM Research（IBM研究院）
本文提出SafeMERGE，一种轻量级后微调框架，通过选择性融合层间模型来恢复安全对齐，同时保持下游性能，减少有害输出并提升实用性。
2026-04-23 cs.AI cs.CL
Exploring the Knowledge Mismatch Hypothesis: Hallucination Propensity in Small Models Fine-tuned on Data from Larger Models
NYU Abu Dhabi（纽约大学阿布扎比分校）
本研究针对用大模型数据微调的小模型幻觉更严重的现象，验证知识不匹配假说，发现用大模型数据微调的小模型在未见过的测试集上错误答案更多，证实微调数据与模型原有知识的不匹配会加剧幻觉。
2024-10-31 cs.AI cs.CL
Fine-Tuned Large Language Models for Symptom Recognition from Spanish Clinical Text
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carleton University（卡尔顿大学）
本研究针对临床症状识别需求，参与SympTEMIST西班牙文医疗文本症状检测共享任务，提出结合多组经主办方发布数据微调的大语言模型的方案，为临床信息抽取及决策支持系统构建提供支撑。
2024-01-28 cs.CL cs.LG
EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with Epilepsy Medical Knowledge
Tokyo University of Agriculture and Technology（东京农工大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对日语癫痫医学问答需求，提出基于癫痫领域数据集微调的专用大语言模型EpilepsyLLM，实验证明其能提供更可靠、更专业的医学知识响应。
2024-01-11 cs.CL cs.LG
Surprising Efficacy of Fine-Tuned Transformers for Fact-Checking over Larger Language Models
Factiverse AI
本文通过覆盖 90 多种语言的现实世界基准，证明微调 Transformer 在声明检测和真实性预测上优于 GPT-4 等大语言模型，而 LLMs 在问题分解等生成式任务中更具优势。
2024-04-30 cs.AI cs.CL
Uncertainty quantification in fine-tuned LLMs using LoRA ensembles
Stockholm University Department of Physics（斯德哥尔摩大学物理系）；Department of Mathematical Sciences（数学科学系）；Chalmers university of technology & University of Gothenburg（楚德勒斯技术大学及哥德堡大学）；VERSES Research Lab（VERSES研究实验室）
针对微调大语言模型的预测信任度及知识变化认知不足问题，提出基于LoRA集成的高效后验近似不确定性量化方法，通过Mistral-7b在三个多选数据集上实验，得出微调相关定量定性结论并发现过拟合下的知识意外保留现象。
2025-05-20 cs.AI cs.CL cs.LG
Analysis of Disinformation and Fake News Detection Using Fine-Tuned Large Language Model
Ivan Franko National University of Lviv（利沃夫伊万·弗兰科国立大学）
本文采用PEFT/LoRA方法微调Llama 2模型，用于虚假信息分析、假新闻检测及命名实体情感提取等任务，结果表明该模型能深度分析文本并揭示复杂叙事，提取的情感特征可用于监督学习。
2023-09-09 cs.AI cs.CL cs.CY
A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究针对大语言模型在金融情感分析中的应用缺口，对比了上下文学习与小参数量大语言模型微调两种方案，发现小模型微调及零/单样本学习均可达到SOTA水平，且增加少样本数量无性能增益。
2023-12-14 cs.CL cs.LG
ClaimIQ at CheckThat! 2025: Comparing Prompted and Fine-Tuned Language Models for Verifying Numerical Claims
Department of Data Science, University of North Texas, Denton, TX, USA（数据科学系，北卡罗来纳州立大学，德顿，得克萨斯州，美国）；Department of Computer Science and Engineering, University of North Texas, Denton, TX, USA（计算机科学与工程系，北卡罗来纳州立大学，德顿，得克萨斯州，美国）；Department of Computer Science（计算机科学系）
本文针对CLEF 2025 CheckThat!任务3，比较了零样本提示与LoRA微调LLM在数值声明验证中的表现，发现LoRA微调LLaMA在验证集表现优异但测试集存在泛化挑战，强调了证据粒度与模型适应的重要性。
2025-09-15 cs.AI cs.CL
Relational Knowledge Distillation Using Fine-tuned Function Vectors
University of California, Los Angeles（加州大学洛杉矶分校）
通过微调函数向量提升关系知识表示，增强语言模型的类比推理能力。
2026-01-13 cs.CL cs.LG
KInIT at SemEval-2024 Task 8: Fine-tuned LLMs for Multilingual Machine-Generated Text Detection
Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
本文提出融合语言识别、参数高效微调 LLM、逐语言阈值校准与统计检测指标的多语言机器生成文本检测系统，在 SemEval-2024 任务 8 中排名第四。
2024-06-17 cs.AI cs.CL
Matching Pairs: Attributing Fine-Tuned Models to their Pre-Trained Large Language Models
Imperial College London（帝国理工学院）；IBM Research（IBM研究院）
针对模型许可违规、版权侵权及供应链问责等问题，本文提出追溯微调LLM对应预训练基础模型的归因方法，通过不同知识层级与策略测试，最优方法可正确追溯10个微调模型中的8个。
2023-06-15 cs.AI cs.CL cs.CR
Exploring Memorization in Fine-tuned Language Models
Michigan State University（密歇根州立大学）；Baidu, Inc.（百度公司）
本文首次系统分析微调阶段语言模型的记忆现象，发现不同任务间记忆差异显著，并用稀疏编码理论和注意力分数分布解释了这一差异。
2024-02-22 cs.AI cs.CL cs.LG
Neural Parameter Search for Slimmer Fine-Tuned Models and Better Transfer
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Xiamen University Malaysia（厦门大学马来西亚分校）
针对微调模型冗余和领域外表现不佳问题，提出NPS-Pruning方法，通过低秩子空间任务向量搜索实现高效剪枝，支持知识迁移、模型融合和压缩部署，实验验证有效。
2025-05-24 cs.AI cs.CL cs.LG
