Uncertainty quantification in fine-tuned LLMs using LoRA ensembles
Stockholm University Department of Physics（斯德哥尔摩大学物理系）；Department of Mathematical Sciences（数学科学系）；Chalmers university of technology & University of Gothenburg（楚德勒斯技术大学及哥德堡大学）；VERSES Research Lab（VERSES研究实验室）
针对微调大语言模型的预测信任度及知识变化认知不足问题，提出基于LoRA集成的高效后验近似不确定性量化方法，通过Mistral-7b在三个多选数据集上实验，得出微调相关定量定性结论并发现过拟合下的知识意外保留现象。
2025-05-20 cs.AI cs.CL cs.LG
Revisiting Instruction Fine-tuned Model Evaluation to Guide Industrial Applications
Illuin Technology（伊鲁因科技）；CentraleSupélec（巴黎中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；Equall
该研究针对指令微调范式带来的新评估需求，验证了基于大语言模型的评估指标的适配性，量化了工业场景下任务专项化策略的权衡，为实际IFT模型部署提供了可行参考。
2023-10-21 cs.AI cs.CL cs.LG
Accurate Prediction of Ligand-Protein Interaction Affinities with Fine-Tuned Small Language Models
Dell Technologies（戴尔科技）
本文提出利用指令微调的预训练生成式小型语言模型，仅以配体SMILES和蛋白质氨基酸序列为输入，在零样本设置下精确预测配体-蛋白质相互作用亲和力，性能优于ML和FEP+方法，可加速药物发现。
2024-06-27 cs.AI cs.CL cs.LG
Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework
Penn State Harrisburg（宾夕法尼亚州立大学哈里斯堡分校）
本研究提出基于知识图谱反事实的框架，通过最小结构扰动解释微调LLM，揭示其结构依赖与LoRA参数偏移的关联。
2025-09-25 cs.AI cs.LG
Linear Interpolation In Parameter Space is Good Enough for Fine-Tuned Language Models
Tinkoff（Tinkoff公司）
在高维空间中获得两点之间连续插值的最简单方法是在它们之间画一条线。虽然以前的工作集中在模型参数之间的一般连接性上，但我们在微调后探索了预训练模型参数的线性插值。令人惊讶的是，我们可以在微调模型的中间点执行线性插值而不会降低性能。对于可控制的文本生成，这样的插值可以被视为朝向或抵靠期望的文本属性（例如，积极情绪），这可以用作用于可控文本生成而没有推理速度开销的进一步方法的基础。
2022-11-22 cs.CL cs.LG
Analysis of Disinformation and Fake News Detection Using Fine-Tuned Large Language Model
Ivan Franko National University of Lviv（利沃夫伊万·弗兰科国立大学）
本文采用PEFT/LoRA方法微调Llama 2模型，用于虚假信息分析、假新闻检测及命名实体情感提取等任务，结果表明该模型能深度分析文本并揭示复杂叙事，提取的情感特征可用于监督学习。
2023-09-09 cs.AI cs.CL cs.CY
HinglishNLP: Fine-tuned Language Models for Hinglish Sentiment Detection
代码混合的社交媒体文本的情感分析仍然是一个未开发的领域。这项工作增加了两种常见的方法：微调大型Transformer模型和ULMFiT等样本高效方法。先前的工作证明了经典ML方法用于极性检测的有效性。微调的通用语言表示模型，如BERT家族的模型，与经典的机器学习和集成方法一起进行基准测试。我们发现NB-SVM以6.2%（相对）F1击败了RoBERTa。性能最好的模型是多数投票集成，其F1为0.707。排行榜的提交是在codalab用户名nirantk下进行的，F1为0.689。
2020-08-22 cs.CL cs.LG
HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究针对微调语言模型推理时安全对齐脆弱的问题，提出HyperSafe框架，通过生成特定模型的安全侧网络，利用层激活指纹和超网络映射参数，实现提示级安全分类，有效降低有害响应率，保持任务准确率。
2026-07-14 cs.CL cs.LG
Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks
National University of Singapore（新加坡国立大学）
Goat通过微调LLaMA在算术任务上超越GPT-4，利用一致数字分词和任务分解策略实现高精度，并支持低成本训练复现。
2023-05-23 cs.AI cs.CL cs.LG
Fine-mixing: Mitigating Backdoors in Fine-tuned Language Models
Peking University（北京大学）；Sony AI（索尼人工智能）；Fudan University（复旦大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
深度神经网络（DNN）容易受到后门攻击的攻击。在自然语言处理（NLP）中，DNN通常在具有中毒样本的大规模预训练语言模型（PLM）的微调过程期间被后门化。虽然PLM的干净权重是现成的，但现有方法在保护NLP模型免受后门攻击时忽略了这一信息。在这项工作中，我们采取了第一步，利用预先训练（未微调）的权重来减轻微调语言模型中的后门。具体来说，我们通过两种互补技术来利用干净的预训练权重：（1）两步精细混合技术，首先将后门权重（在中毒数据上进行微调）与预训练权重混合，然后在干净数据的一个小子集上对混合权重进行微调;（2）嵌入纯化（E-PUR）技术，该技术减轻了词嵌入中存在的潜在后门。我们在三个单句情感分类任务和两个双对分类任务上比较了Fine-mixing与典型的后门缓解方法，并表明它在所有情况下都以相当大的幅度优于基线。我们还表明，我们的E-PUR方法可以受益于现有的缓解方法。我们的工作建立了一个简单但强大的基线防御安全微调NLP模型对后门攻击。
2022-10-18 cs.CL cs.CR cs.LG
Efficient Storage of Fine-Tuned Models via Low-Rank Approximation of Weight Residuals
KAIST（韩国科学技术院）；NAVER Cloud（NAVER云）；UNIST（蔚山科学技术院）
本文提出高效残差编码（ERE）方法，利用权重残差的低秩特性并结合量化与逐层秩分配，在保持性能的同时显著降低微调模型的存储开销。
2023-05-28 cs.AI cs.LG
Can Instruction Fine-Tuned Language Models Identify Social Bias through Prompting?
Vector Institute for AI（向量人工智能研究院）；McGill University（麦吉尔大学）
该研究评估指令微调语言模型通过零样本提示识别社会偏见的能力，发现Alpaca 7B表现最优（准确率56.7%），扩大模型规模与数据多样性可提升性能，是其偏见缓解框架的首个组成部分。
2023-07-19 cs.AI cs.CL cs.CY
Harnessing Large Language Models: Fine-tuned BERT for Detecting Charismatic Leadership Tactics in Natural Language
South Westphalia University of Applied Sciences（南威斯特法伦应用科学大学）
本文通过微调 BERT 模型构建了可自动检测自然语言中魅力型领导策略的方法，在自建语料库上达到 98.96% 的总体准确率，为心理学和管理学中的文本魅力评估提供了简化方案。
2024-09-16 cs.AI cs.CL cs.LG
On the Utility of Domain-Adjacent Fine-Tuned Model Ensembles for Few-shot Problems
Rensselaer Polytechnic Institute（拉特拉姆理工学院）；IBM（国际商业机器公司）；Microsoft（微软公司）
本文提出DAFT-E框架，通过集成多个领域邻近的微调基础模型解决少样本问题，在零样本下接近最佳单一模型，在少样本下可超越任一单一模型并显著减少领域微调数据需求。
2025-07-06 cs.CL cs.LG
Financial News Analytics Using Fine-Tuned Llama 2 GPT Model
本文采用 PEFT/LoRA 方法微调 Llama 2 GPT 大型语言模型，实现对金融新闻的多任务分析（包括文本分析、要点提取、总结和命名实体情感提取），并生成包含结构化文本与 JSON 格式的响应以供下游监督学习使用。
2023-09-11 cs.AI cs.CE cs.CL
On the Importance of Data Size in Probing Fine-tuned Models
Iran University of Science and Technology（伊朗科技大学）；Tehran Institute for Advanced Studies, Khatam University（哈塔姆大学德黑兰高等研究院）
该研究针对现有微调探测研究忽略数据规模作用的问题，通过实验揭示微调数据量影响模型编码语言知识的程度、高层变化及知识变化可恢复性，且变化程度与迭代次数而非样本多样性相关。
2022-03-17 cs.CL cs.LG
A Unified Training Process for Fake News Detection based on Fine-Tuned BERT Model
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
本文提出一种基于微调BERT模型的统一训练过程，用于提升社交媒体假新闻检测的效率与性能。
2022-09-06 cs.LG
Task-Specific Skill Localization in Fine-tuned Language Models
Princeton University（普林斯顿大学）
本文提出“技能定位”方法，通过优化识别微调模型中极小参数子集并嫁接至预训练模型，在保持性能的同时提升预测校准与OOD质量，并辅助持续学习。
2023-07-02 cs.CL cs.LG
MedSlice: Fine-Tuned Large Language Models for Secure Clinical Note Sectioning
Dana-Farber Cancer Institute（丹娜法伯癌症研究院）；Albany Medical College（奥尔巴尼医学院）；Brigham and Women’s Hospital（布莱根妇女医院）；McGill University（麦吉尔大学）；Harvard Medical School（哈佛医学院）
本研究提出MedSlice流程，通过微调开源LLMs（如Llama 3.1 8B）实现临床笔记分节，在F1分数上超越专有模型GPT-4o，兼顾成本、性能与隐私可及性。
2025-01-23 cs.AI cs.CL cs.IR
Generalization Boundaries of Fine-Tuned Small Language Models for Graph Structural Inference
NASK National Research Institute（NASK国家研究院）
研究微调小语言模型在图结构推断中的泛化能力，通过图大小和图族分布两个维度评估其在超出训练条件时的表现，揭示模型在不同架构下的退化特征。
2026-04-20 cs.LG
Evaluating Generalizability of Fine-Tuned Models for Fake News Detection
Georgia Institute of Technology（佐治亚理工学院）
新型冠状病毒肺炎（COVID-19，即2019冠状病毒病）大流行导致危险的错误信息急剧增加，CDC和世卫组织将其称为“信息流行病”。与新型冠状病毒疫情相关的错误信息不断变化;这可能导致概念漂移导致微调模型的性能下降。如果模型能够很好地概括漂移数据的某些周期性方面，则可以减轻退化。在本文中，我们探索了9个假新闻数据集上预训练和微调的假新闻检测器的通用性。我们发现，现有的模型通常在训练数据集上过拟合，并且在看不见的数据上表现不佳。然而，在一些与训练数据重叠的不可见数据子集上，模型具有更高的准确性。基于这一观察，我们还提出了KMeans-Proxy，这是一种基于K-Means聚类的快速有效的方法，用于快速识别这些重叠的未知数据子集。KMeans-Proxy将不可见的假新闻数据集的泛化能力提高了0.1-0.2个f1点。我们提出了我们的泛化实验以及KMeans-Proxy，以进一步研究解决假新闻问题。
2022-05-23 cs.CL cs.LG
Fine-Tuned Large Language Models for Symptom Recognition from Spanish Clinical Text
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carleton University（卡尔顿大学）
本研究针对临床症状识别需求，参与SympTEMIST西班牙文医疗文本症状检测共享任务，提出结合多组经主办方发布数据微调的大语言模型的方案，为临床信息抽取及决策支持系统构建提供支撑。
2024-01-28 cs.CL cs.LG
EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with Epilepsy Medical Knowledge
Tokyo University of Agriculture and Technology（东京农工大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对日语癫痫医学问答需求，提出基于癫痫领域数据集微调的专用大语言模型EpilepsyLLM，实验证明其能提供更可靠、更专业的医学知识响应。
2024-01-11 cs.CL cs.LG
Similarity of Pre-trained and Fine-tuned Representations
Technische Universitat Berlin（柏林工业大学）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
在迁移学习中，只有网络的最后一部分--所谓的头部--经常被微调。表示相似性分析表明，最显着的变化仍然发生在头部，即使所有的权重是可更新的。然而，最近来自少样本学习的结果表明，早期层（主要是卷积层）中的表示变化是有益的，特别是在跨域自适应的情况下。在我们的论文中，我们发现这是否也适用于迁移学习。此外，我们还分析了迁移学习在预训练和微调过程中表征的变化，发现预训练的结构如果不能使用，就是未学习的。
2022-07-19 cs.AI cs.LG stat.ML
Do LLMs Understand Romanian Driving Laws? A Study on Multimodal and Fine-Tuned Question Answering
Faculty of Mathematics and Informatics, University of Bucharest（数学与信息学系，布加勒斯特大学）
本文构建罗马尼亚驾驶法律问答数据集，评估多模态SOTA模型与微调8B模型，发现文本图像描述优于直接视觉输入且LLM评审存在自我偏好偏差。
2025-09-28 cs.CL cs.LG
A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究针对大语言模型在金融情感分析中的应用缺口，对比了上下文学习与小参数量大语言模型微调两种方案，发现小模型微调及零/单样本学习均可达到SOTA水平，且增加少样本数量无性能增益。
2023-12-14 cs.CL cs.LG
Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models
University College London（伦敦大学学院）
本文提出了两个直观的指标，偏斜和刻板印象，量化和分析的性别偏见存在于上下文语言模型时，解决WinoBias代词决议任务。我们发现的证据表明，性别刻板印象与开箱即用的模型中的性别偏斜近似呈负相关，这表明这两种形式的偏见之间存在权衡。我们研究两种方法来减轻偏见。第一种方法是一种在线方法，它可以有效地以刻板印象为代价来消除偏斜。第二个是受ELMo以前工作的启发，涉及使用增强的性别平衡数据集对BERT进行微调。我们表明，这减少了偏斜和刻板印象相对于其未增强的微调对应。然而，我们发现，现有的性别偏见的基准不完全探测专业偏见的代词决议可能会混淆的交叉相关性，从其他表现形式的性别偏见。我们的代码可以在https://github.com/12kleingordon34/NLP_masters_project上在线获得。
2021-02-16 cs.AI cs.CL cs.LG
TuneShift-KD: Knowledge Distillation and Transfer for Fine-tuned Models
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Vector Institute, Toronto, Canada（多伦多大学向量研究所）
本文提出TuneShift-KD方法，通过少量示例自动将微调模型的专业知识蒸馏并迁移到目标模型，利用困惑度差异识别专业领域知识，无需训练判别器或训练数据集。
2026-03-25 cs.LG
Relational Knowledge Distillation Using Fine-tuned Function Vectors
University of California, Los Angeles（加州大学洛杉矶分校）
通过微调函数向量提升关系知识表示，增强语言模型的类比推理能力。
2026-01-13 cs.CL cs.LG
Fine-tuned network relies on generic representation to solve unseen cognitive task
Mila（米拉研究所）；McGill University（麦吉尔大学）
该研究通过在认知决策任务上对比微调与从零训练的GPT-2，发现微调模型严重依赖预训练通用表示，揭示了预训练在任务泛化上的优势与局限。
2024-06-27 cs.LG
SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Salesforce Research（Salesforce研究院）
本文提出SimSCOOD，首次系统模拟源代码数据的多种分布外场景，分析微调模型行为，发现LoRA微调在OOD泛化上始终显著优于全量微调。
2023-10-30 cs.AI cs.CL cs.LG
Cross-domain Cross-architecture Black-box Attacks on Fine-tuned Models with Transferred Evolutionary Strategies
Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
微调可能容易受到对抗攻击。现有的关于微调模型（BAFT）的黑箱攻击的工作受到强假设的限制。为了填补这一空白，我们提出了两种新的BAFT设置，跨域和跨域跨架构BAFT，它只假设（1）攻击的目标模型是一个微调的模型，（2）源域数据是已知的和可访问的。为了在这两种设置下成功地攻击微调模型，我们建议首先针对源模型训练一个对抗生成器，该生成器采用编码器-解码器架构，并将干净的输入映射到对抗示例。然后，我们在由对抗生成器的编码器产生的低维潜在空间中搜索。搜索是在从源模型获得的代理梯度的指导下进行的。在不同领域和不同网络结构上的实验结果表明，该攻击方法可以有效地攻击微调模型。
2022-08-28 cs.CR cs.LG cs.NE
Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs
Carnegie Mellon University（卡内基梅隆大学）
本文提出通过监控权重而非激活值来理解、监控和控制细调的大语言模型，能高精度检测细调引入的新行为，并在防回火攻击和模型去学习中表现出色。
2026-04-21 cs.CL cs.LG
Jal Anveshak: Prediction of fishing zones using fine-tuned LlaMa 2
Dwarkadas J. Sanghvi College of Engineering（德瓦尔卡达斯·J·桑维工程学院）
本文提出了Jal Anveshak框架，该框架使用Dart和Flutter编写，基于在政府渔业数据上微调的Llama 2大语言模型，旨在帮助印度沿海渔民安全获取最大鱼产量并以多语言多模态方式解决捕鱼查询。
2024-11-15 cs.AI cs.LG
Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出动态约束机制，通过在线细化模型提升强化学习微调的稳定性与性能，在对话和代码生成任务中优于KL正则化和无约束基线。
2026-03-18 cs.AI cs.LG
How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness?
Nanyang Technological University（南洋理工大学）；Sea AI Lab（Sea AI 实验室）
预训练语言模型的微调在许多NLP领域取得了巨大成功。然而，它在对抗性的例子面前非常脆弱，例如，仅使用同义词的词替换攻击可以容易地欺骗基于BERT的情感分析模型。在本文中，我们证明了对抗性训练，流行的防御技术，并不直接适合传统的微调场景，因为它严重遭受灾难性遗忘：未能保留已被预训练模型捕获的通用和强大的语言特征。有鉴于此，我们提出了鲁棒信息微调（RIFT），一种新的对抗微调方法从信息理论的角度。特别是，RIFT鼓励目标模型在整个微调过程中保留从预训练模型中学习到的特征，而传统模型仅使用预训练的权重进行初始化。实验结果表明，RIFT在两个流行的NLP任务：情感分析和自然语言推理上始终优于最先进的技术，在各种预训练的语言模型的不同攻击下。
2021-12-22 cs.CL cs.LG
A Close Look At World Model Recovery In Supervised Fine-Tuned LLM Planners
National Laboratory of the Rockies（落基山国家实验室）
通过可解释性实验，研究监督微调如何影响大语言模型在经典规划任务中恢复世界模型的能力，发现微调使模型线性编码动作有效性和状态谓词，且更广泛的状态空间覆盖有助于更准确的世界模型恢复。
2026-06-02 cs.AI cs.LG
Model Stock: All we need is just a few fine-tuned models
NAVER AI Lab（NAVER人工智能实验室）
该研究提出名为Model Stock的高效微调方法，基于微调权重与权重空间中心的接近度和性能的关联，用仅两个微调模型的分层权重平均得到更优模型，在CLIP架构的ID和OOD任务上超越现有方法且几乎无额外计算成本。
2025-08-01 cs.CV cs.LG
MetaSel: A Test Selection Approach for Fine-tuned DNN Models
School of EECS, University of Ottawa（电子工程与计算机科学系，渥太华大学）；Research Ireland Lero centre for software, University of Limerick（软件研究爱尔兰Lero中心，利默里克大学）；Huawei Canada（华为加拿大）
本文提出MetaSel方法，利用微调与预训练DNN模型的行为差异估计无标签输入的误分类概率，在标注预算受限下有效选择测试，显著提升测试相对覆盖率。
2025-09-17 cs.LG cs.SE
ToonOut: Fine-tuned Background-Removal for Anime Characters
Kartoon AI；University of Bologna（博洛尼亚大学）
针对动漫图像背景移除效果不佳的问题，收集1,228张标注数据并微调BiRefNet，将像素准确率从95.3%提升至99.5%，并开源相关资源。
2025-09-08 cs.CV cs.LG
Community-Specific Slang and Entity Detection via Semantic Shift in Fine-Tuned Language Models
Georgia Institute of Technology（佐治亚理工学院）
提出无监督方法，通过测量词在微调前后的语义偏移幅度，从在线社区文本中自动识别俚语、独特实体和民俗用语。
2026-04-19 cs.CL cs.LG cs.SI
AttackQA: Development and Adoption of a Dataset for Assisting Cybersecurity Operations using Fine-tuned and Open-Source LLMs
SambaNova Systems（桑巴诺瓦系统公司）
本研究构建了含25335个带推理依据问答对的网络安全数据集AttackQA，通过开源模型生成与质量校验，结合微调开源嵌入及大模型搭建RAG系统，性能超越GPT-4o，还实现了全开源高速RAG与评估流水线。
2024-11-01 cs.AI cs.CR cs.LG
CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs
CTIGuardian通过少样本监督整合隐私分类器和红员，提升微调大语言模型的隐私保护与效用平衡。
2025-12-15 cs.AI cs.CR cs.LG
Leveraging Model Guidance to Extract Training Data from Personalized Diffusion Models
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
本文提出FineXtract框架，通过外推微调前后扩散模型分布，引导生成并聚类提取个性化扩散模型中的训练数据，实验证明可提取约20%微调数据，揭示数据泄露与版权风险。
2025-09-26 cs.AI cs.CV cs.LG
Fine-Tuned Language Models as Space Systems Controllers
Massachusetts Institute of Technology（麻省理工学院）；Universidad Politécnica de Madrid（马德里理工大学）
本文表明经过微调的7至13B参数LLMs能控制简化空间系统，在四个问题上生成高精度多维向量，所需数据量少于传统DNNs且泛化良好，为通用空间系统控制器迈出第一步。
2025-01-28 cs.LG cs.SY eess.SY
DeltaZip: Efficient Serving of Multiple Full-Model-Tuned LLMs
ETH Zurich（苏黎世联邦理工学院）；MIT（麻省理工学院）
DeltaZip通过压缩模型增量并协同设计服务系统与压缩算法，实现了对多个全参数微调LLM的高效并发服务，吞吐量提升2至12倍。
2025-03-25 cs.DC cs.LG
SafeTune: A Unified Faithful Library for Auditing and Repairing Safety Drift in Fine-Tuned LLMs
Lexsi Labs（Lexsi 实验室）
SafeTune是一个统一库，通过四种干预范式审计和修复微调LLM的安全漂移，提供配置驱动工作流和模块化注册表，并在金融和医疗案例中验证其有效性。
2026-09-22 cs.LG cs.SE
Denoising diffusion algorithm for inverse design of microstructures with fine-tuned nonlinear material properties
Columbia University（哥伦比亚大学）
本研究提出一种去噪扩散算法，结合卷积神经网络代理模型，在mechanical MNIST数据集上验证了可高效实现具备微调非线性材料特性的微结构逆向设计，并可通过潜空间高维结构扩展拓扑几何修改能力。
2023-02-24 cs.LG
TransferBreaker: Breaking Adversarial Transferability in Fine-Tuned Speech Recognition
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Sharif University of Technology（谢里夫理工大学）；University of Isfahan（伊斯法罕大学）
针对微调ASR模型易受对抗迁移攻击的问题，提出TransferBreaker统一微调框架，通过基础对抗微调、潜在雅可比正则化和混合梯度对抗微调抑制迁移，在三种语言和四个大模型上将对抗WER从92.6降至27.8。
2026-11-11 cs.LG
Comparing Reconstruction Attacks on Pretrained Versus Full Fine-tuned Large Language Model Embeddings on Homo Sapiens Splice Sites Genomic Data
School of Computer Science University of Windsor（计算机科学学院 温莎大学）
本研究针对基因组序列的大语言模型嵌入重建攻击，对比预训练与微调模型的隐私脆弱性，发现微调增强XLNet、GPT-2、BERT等架构的攻击抵抗力，为基因组数据隐私保护提供新视角。
2025-11-09 cs.LG
Risks When Sharing LoRA Fine-Tuned Diffusion Model Weights
University of Toronto（多伦多大学）
本文研究共享LoRA微调扩散模型权重的隐私泄露风险，提出带时间步嵌入的变分自编码器可从权重重建私有身份图像，且现有防御方法无法兼顾效用与隐私。
2024-09-13 cs.CR cs.CV cs.LG
Remixing Music for Hearing Aids Using Ensemble of Fine-Tuned Source Separators
Johns Hopkins University（约翰霍普金斯大学）
针对为助听器用户重混增强音乐的问题，提出基于赛事数据微调的深度学习音乐源分离器集成系统，在Cadenza ICASSP 2024 Grand Challenge中获第一名，取得最高平均HAAQI得分，并通过消融实验分析了各模块作用。
2024-02-01 cs.LG cs.SD eess.AS
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks
IBM Research（IBM研究院）
本文首次系统综述微调大语言模型对成员推断攻击的脆弱性，发现差分隐私与低秩适配器组合能提供最佳隐私保护。
2024-03-13 cs.CR cs.LG
ALL-FEM: Agentic Large Language models Fine-tuned for Finite Element Methods
ALL-FEM通过代理式AI与领域专用微调LLM结合，实现固体力学、流体力学及多物理场问题的自动有限元分析，其微调模型在39个基准测试中达到71.79%的代码级成功率。
2026-04-13 cs.AI cs.CE cs.LG
