Simplify-This: A Comparative Analysis of Prompt-Based and Fine-Tuned LLMs
Tel Aviv University(特拉维夫大学)
Simplify-This通过对比提示法和微调LLM在文本简化任务中的表现,发现微调模型在结构简化上更优,而提示法在语义相似度上表现较好但易复制输入。
2026-01-09 cs.CL cs.LG
Fingerprinting Fine-tuned Language Models in the Wild
IIIT-Delhi(德里英迪拉甘地信息技术学院);University of California, Davis(加州大学戴维斯分校)
有人担心,语言模型(LM)生成高质量合成文本的能力可能被滥用于发送垃圾邮件、虚假信息或宣传。因此,研究界正在积极努力开发方法来检测给定文本是有机的还是合成的。虽然这是有用的第一步,但重要的是能够进一步识别作者LM以归属其来源。以前对LM进行指纹识别的工作仅限于归因于由少数(通常< 10)预训练的LM生成的合成文本。然而,诸如GPT2的LM通常以无数方式进行微调(例如,在域特定文本语料库上)。对微调LM进行指纹识别是具有挑战性的,因为在现实场景中微调LM的范围要大得多。为了应对这一挑战,我们研究了在野外微调LM的大规模指纹识别问题。使用由108个不同的微调LM生成的合成文本的真实数据集,我们进行了全面的实验,以证明现有指纹识别方法的局限性。我们的研究结果表明,微调本身是最有效的归因微调LM生成的合成文本。
2021-06-03 cs.AI cs.CL cs.LG
Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models
Tsinghua University(清华大学);Pazhou Lab(琶洲实验室)
本文研究微调语言模型的校准问题,发现灾难性遗忘损害校准性,并提出通过辅助语言建模保留预训练特征的方法,在多个NLU任务上取得最低期望校准误差。
2023-05-30 cs.CL cs.LG
Cross-domain Cross-architecture Black-box Attacks on Fine-tuned Models with Transferred Evolutionary Strategies
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
微调可能容易受到对抗攻击。现有的关于微调模型(BAFT)的黑箱攻击的工作受到强假设的限制。为了填补这一空白,我们提出了两种新的BAFT设置,跨域和跨域跨架构BAFT,它只假设(1)攻击的目标模型是一个微调的模型,(2)源域数据是已知的和可访问的。为了在这两种设置下成功地攻击微调模型,我们建议首先针对源模型训练一个对抗生成器,该生成器采用编码器-解码器架构,并将干净的输入映射到对抗示例。然后,我们在由对抗生成器的编码器产生的低维潜在空间中搜索。搜索是在从源模型获得的代理梯度的指导下进行的。在不同领域和不同网络结构上的实验结果表明,该攻击方法可以有效地攻击微调模型。
2022-08-28 cs.CR cs.LG cs.NE
Fine-mixing: Mitigating Backdoors in Fine-tuned Language Models
Peking University(北京大学);Sony AI(索尼人工智能);Fudan University(复旦大学);Washington University in St. Louis(圣路易斯华盛顿大学)
深度神经网络(DNN)容易受到后门攻击的攻击。在自然语言处理(NLP)中,DNN通常在具有中毒样本的大规模预训练语言模型(PLM)的微调过程期间被后门化。虽然PLM的干净权重是现成的,但现有方法在保护NLP模型免受后门攻击时忽略了这一信息。在这项工作中,我们采取了第一步,利用预先训练(未微调)的权重来减轻微调语言模型中的后门。具体来说,我们通过两种互补技术来利用干净的预训练权重:(1)两步精细混合技术,首先将后门权重(在中毒数据上进行微调)与预训练权重混合,然后在干净数据的一个小子集上对混合权重进行微调;(2)嵌入纯化(E-PUR)技术,该技术减轻了词嵌入中存在的潜在后门。我们在三个单句情感分类任务和两个双对分类任务上比较了Fine-mixing与典型的后门缓解方法,并表明它在所有情况下都以相当大的幅度优于基线。我们还表明,我们的E-PUR方法可以受益于现有的缓解方法。我们的工作建立了一个简单但强大的基线防御安全微调NLP模型对后门攻击。
2022-10-18 cs.CL cs.CR cs.LG
Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework
Penn State Harrisburg(宾夕法尼亚州立大学哈里斯堡分校)
本研究提出基于知识图谱反事实的框架,通过最小结构扰动解释微调LLM,揭示其结构依赖与LoRA参数偏移的关联。
2025-09-25 cs.AI cs.LG
Linear Interpolation In Parameter Space is Good Enough for Fine-Tuned Language Models
Tinkoff(Tinkoff公司)
在高维空间中获得两点之间连续插值的最简单方法是在它们之间画一条线。虽然以前的工作集中在模型参数之间的一般连接性上,但我们在微调后探索了预训练模型参数的线性插值。令人惊讶的是,我们可以在微调模型的中间点执行线性插值而不会降低性能。对于可控制的文本生成,这样的插值可以被视为朝向或抵靠期望的文本属性(例如,积极情绪),这可以用作用于可控文本生成而没有推理速度开销的进一步方法的基础。
2022-11-22 cs.CL cs.LG
HinglishNLP: Fine-tuned Language Models for Hinglish Sentiment Detection
代码混合的社交媒体文本的情感分析仍然是一个未开发的领域。这项工作增加了两种常见的方法:微调大型Transformer模型和ULMFiT等样本高效方法。先前的工作证明了经典ML方法用于极性检测的有效性。微调的通用语言表示模型,如BERT家族的模型,与经典的机器学习和集成方法一起进行基准测试。我们发现NB-SVM以6.2%(相对)F1击败了RoBERTa。性能最好的模型是多数投票集成,其F1为0.707。排行榜的提交是在codalab用户名nirantk下进行的,F1为0.689。
2020-08-22 cs.CL cs.LG
Model Stock: All we need is just a few fine-tuned models
NAVER AI Lab(NAVER人工智能实验室)
该研究提出名为Model Stock的高效微调方法,基于微调权重与权重空间中心的接近度和性能的关联,用仅两个微调模型的分层权重平均得到更优模型,在CLIP架构的ID和OOD任务上超越现有方法且几乎无额外计算成本。
2025-08-01 cs.CV cs.LG
MetaSel: A Test Selection Approach for Fine-tuned DNN Models
School of EECS, University of Ottawa(电子工程与计算机科学系,渥太华大学);Research Ireland Lero centre for software, University of Limerick(软件研究爱尔兰Lero中心,利默里克大学);Huawei Canada(华为加拿大)
本文提出MetaSel方法,利用微调与预训练DNN模型的行为差异估计无标签输入的误分类概率,在标注预算受限下有效选择测试,显著提升测试相对覆盖率。
2025-09-17 cs.LG cs.SE
HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
研究针对微调语言模型推理时安全对齐脆弱的问题,提出HyperSafe框架,通过生成特定模型的安全侧网络,利用层激活指纹和超网络映射参数,实现提示级安全分类,有效降低有害响应率,保持任务准确率。
2026-07-14 cs.CL cs.LG
ToonOut: Fine-tuned Background-Removal for Anime Characters
Kartoon AI;University of Bologna(博洛尼亚大学)
针对动漫图像背景移除效果不佳的问题,收集1,228张标注数据并微调BiRefNet,将像素准确率从95.3%提升至99.5%,并开源相关资源。
2025-09-08 cs.CV cs.LG
Efficient Storage of Fine-Tuned Models via Low-Rank Approximation of Weight Residuals
KAIST(韩国科学技术院);NAVER Cloud(NAVER云);UNIST(蔚山科学技术院)
本文提出高效残差编码(ERE)方法,利用权重残差的低秩特性并结合量化与逐层秩分配,在保持性能的同时显著降低微调模型的存储开销。
2023-05-28 cs.AI cs.LG
On the Utility of Domain-Adjacent Fine-Tuned Model Ensembles for Few-shot Problems
Rensselaer Polytechnic Institute(拉特拉姆理工学院);IBM(国际商业机器公司);Microsoft(微软公司)
本文提出DAFT-E框架,通过集成多个领域邻近的微调基础模型解决少样本问题,在零样本下接近最佳单一模型,在少样本下可超越任一单一模型并显著减少领域微调数据需求。
2025-07-06 cs.CL cs.LG
Analysis of Disinformation and Fake News Detection Using Fine-Tuned Large Language Model
Ivan Franko National University of Lviv(利沃夫伊万·弗兰科国立大学)
本文采用PEFT/LoRA方法微调Llama 2模型,用于虚假信息分析、假新闻检测及命名实体情感提取等任务,结果表明该模型能深度分析文本并揭示复杂叙事,提取的情感特征可用于监督学习。
2023-09-09 cs.AI cs.CL cs.CY
Uncertainty quantification in fine-tuned LLMs using LoRA ensembles
Stockholm University Department of Physics(斯德哥尔摩大学物理系);Department of Mathematical Sciences(数学科学系);Chalmers university of technology & University of Gothenburg(楚德勒斯技术大学及哥德堡大学);VERSES Research Lab(VERSES研究实验室)
针对微调大语言模型的预测信任度及知识变化认知不足问题,提出基于LoRA集成的高效后验近似不确定性量化方法,通过Mistral-7b在三个多选数据集上实验,得出微调相关定量定性结论并发现过拟合下的知识意外保留现象。
2025-05-20 cs.AI cs.CL cs.LG
Denoising diffusion algorithm for inverse design of microstructures with fine-tuned nonlinear material properties
Columbia University(哥伦比亚大学)
本研究提出一种去噪扩散算法,结合卷积神经网络代理模型,在mechanical MNIST数据集上验证了可高效实现具备微调非线性材料特性的微结构逆向设计,并可通过潜空间高维结构扩展拓扑几何修改能力。
2023-02-24 cs.LG
On the Importance of Data Size in Probing Fine-tuned Models
Iran University of Science and Technology(伊朗科技大学);Tehran Institute for Advanced Studies, Khatam University(哈塔姆大学德黑兰高等研究院)
该研究针对现有微调探测研究忽略数据规模作用的问题,通过实验揭示微调数据量影响模型编码语言知识的程度、高层变化及知识变化可恢复性,且变化程度与迭代次数而非样本多样性相关。
2022-03-17 cs.CL cs.LG
Similarity of Pre-trained and Fine-tuned Representations
Technische Universitat Berlin(柏林工业大学);Bernstein Center for Computational Neuroscience Berlin(柏林伯恩斯坦计算神经科学中心)
在迁移学习中,只有网络的最后一部分--所谓的头部--经常被微调。表示相似性分析表明,最显着的变化仍然发生在头部,即使所有的权重是可更新的。然而,最近来自少样本学习的结果表明,早期层(主要是卷积层)中的表示变化是有益的,特别是在跨域自适应的情况下。在我们的论文中,我们发现这是否也适用于迁移学习。此外,我们还分析了迁移学习在预训练和微调过程中表征的变化,发现预训练的结构如果不能使用,就是未学习的。
2022-07-19 cs.AI cs.LG stat.ML
TransferBreaker: Breaking Adversarial Transferability in Fine-Tuned Speech Recognition
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Sharif University of Technology(谢里夫理工大学);University of Isfahan(伊斯法罕大学)
针对微调ASR模型易受对抗迁移攻击的问题,提出TransferBreaker统一微调框架,通过基础对抗微调、潜在雅可比正则化和混合梯度对抗微调抑制迁移,在三种语言和四个大模型上将对抗WER从92.6降至27.8。
2026-11-11 cs.LG
Task-Specific Skill Localization in Fine-tuned Language Models
Princeton University(普林斯顿大学)
本文提出“技能定位”方法,通过优化识别微调模型中极小参数子集并嫁接至预训练模型,在保持性能的同时提升预测校准与OOD质量,并辅助持续学习。
2023-07-02 cs.CL cs.LG
Comparing Reconstruction Attacks on Pretrained Versus Full Fine-tuned Large Language Model Embeddings on Homo Sapiens Splice Sites Genomic Data
School of Computer Science University of Windsor(计算机科学学院 温莎大学)
本研究针对基因组序列的大语言模型嵌入重建攻击,对比预训练与微调模型的隐私脆弱性,发现微调增强XLNet、GPT-2、BERT等架构的攻击抵抗力,为基因组数据隐私保护提供新视角。
2025-11-09 cs.LG
Evaluating Generalizability of Fine-Tuned Models for Fake News Detection
Georgia Institute of Technology(佐治亚理工学院)
新型冠状病毒肺炎(COVID-19,即2019冠状病毒病)大流行导致危险的错误信息急剧增加,CDC和世卫组织将其称为“信息流行病”。与新型冠状病毒疫情相关的错误信息不断变化;这可能导致概念漂移导致微调模型的性能下降。如果模型能够很好地概括漂移数据的某些周期性方面,则可以减轻退化。在本文中,我们探索了9个假新闻数据集上预训练和微调的假新闻检测器的通用性。我们发现,现有的模型通常在训练数据集上过拟合,并且在看不见的数据上表现不佳。然而,在一些与训练数据重叠的不可见数据子集上,模型具有更高的准确性。基于这一观察,我们还提出了KMeans-Proxy,这是一种基于K-Means聚类的快速有效的方法,用于快速识别这些重叠的未知数据子集。KMeans-Proxy将不可见的假新闻数据集的泛化能力提高了0.1-0.2个f1点。我们提出了我们的泛化实验以及KMeans-Proxy,以进一步研究解决假新闻问题。
2022-05-23 cs.CL cs.LG
Exploring Memorization in Fine-tuned Language Models
Michigan State University(密歇根州立大学);Baidu, Inc.(百度公司)
本文首次系统分析微调阶段语言模型的记忆现象,发现不同任务间记忆差异显著,并用稀疏编码理论和注意力分数分布解释了这一差异。
2024-02-22 cs.AI cs.CL cs.LG
DeltaZip: Efficient Serving of Multiple Full-Model-Tuned LLMs
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院)
DeltaZip通过压缩模型增量并协同设计服务系统与压缩算法,实现了对多个全参数微调LLM的高效并发服务,吞吐量提升2至12倍。
2025-03-25 cs.DC cs.LG
SafeTune: A Unified Faithful Library for Auditing and Repairing Safety Drift in Fine-Tuned LLMs
Lexsi Labs(Lexsi 实验室)
SafeTune是一个统一库,通过四种干预范式审计和修复微调LLM的安全漂移,提供配置驱动工作流和模块化注册表,并在金融和医疗案例中验证其有效性。
2026-09-22 cs.LG cs.SE
Financial News Analytics Using Fine-Tuned Llama 2 GPT Model
本文采用 PEFT/LoRA 方法微调 Llama 2 GPT 大型语言模型,实现对金融新闻的多任务分析(包括文本分析、要点提取、总结和命名实体情感提取),并生成包含结构化文本与 JSON 格式的响应以供下游监督学习使用。
2023-09-11 cs.AI cs.CE cs.CL
Fine-Tuned Large Language Models for Symptom Recognition from Spanish Clinical Text
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carleton University(卡尔顿大学)
本研究针对临床症状识别需求,参与SympTEMIST西班牙文医疗文本症状检测共享任务,提出结合多组经主办方发布数据微调的大语言模型的方案,为临床信息抽取及决策支持系统构建提供支撑。
2024-01-28 cs.CL cs.LG
Neural Parameter Search for Slimmer Fine-Tuned Models and Better Transfer
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Xiamen University Malaysia(厦门大学马来西亚分校)
针对微调模型冗余和领域外表现不佳问题,提出NPS-Pruning方法,通过低秩子空间任务向量搜索实现高效剪枝,支持知识迁移、模型融合和压缩部署,实验验证有效。
2025-05-24 cs.AI cs.CL cs.LG
EpilepsyLLM: Domain-Specific Large Language Model Fine-tuned with Epilepsy Medical Knowledge
Tokyo University of Agriculture and Technology(东京农工大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文针对日语癫痫医学问答需求,提出基于癫痫领域数据集微调的专用大语言模型EpilepsyLLM,实验证明其能提供更可靠、更专业的医学知识响应。
2024-01-11 cs.CL cs.LG
Do LLMs Understand Romanian Driving Laws? A Study on Multimodal and Fine-Tuned Question Answering
Faculty of Mathematics and Informatics, University of Bucharest(数学与信息学系,布加勒斯特大学)
本文构建罗马尼亚驾驶法律问答数据集,评估多模态SOTA模型与微调8B模型,发现文本图像描述优于直接视觉输入且LLM评审存在自我偏好偏差。
2025-09-28 cs.CL cs.LG
LoRA Land: 310 Fine-tuned LLMs that Rival GPT-4, A Technical Report
Predibase
本文评估了 LoRA 微调 LLM 的实际应用可行性,基于 310 个模型证明 4-bit LoRA 微调模型平均超越 GPT-4,并通过 LoRAX 推理服务器和 LoRA Land 应用展示了多专用模型部署的质量与成本优势。
2024-04-29 cs.AI cs.CL cs.LG
Fine-Tuned Language Models as Space Systems Controllers
Massachusetts Institute of Technology(麻省理工学院);Universidad Politécnica de Madrid(马德里理工大学)
本文表明经过微调的7至13B参数LLMs能控制简化空间系统,在四个问题上生成高精度多维向量,所需数据量少于传统DNNs且泛化良好,为通用空间系统控制器迈出第一步。
2025-01-28 cs.LG cs.SY eess.SY
A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究针对大语言模型在金融情感分析中的应用缺口,对比了上下文学习与小参数量大语言模型微调两种方案,发现小模型微调及零/单样本学习均可达到SOTA水平,且增加少样本数量无性能增益。
2023-12-14 cs.CL cs.LG
Relational Knowledge Distillation Using Fine-tuned Function Vectors
University of California, Los Angeles(加州大学洛杉矶分校)
通过微调函数向量提升关系知识表示,增强语言模型的类比推理能力。
2026-01-13 cs.CL cs.LG
Can Instruction Fine-Tuned Language Models Identify Social Bias through Prompting?
Vector Institute for AI(向量人工智能研究院);McGill University(麦吉尔大学)
该研究评估指令微调语言模型通过零样本提示识别社会偏见的能力,发现Alpaca 7B表现最优(准确率56.7%),扩大模型规模与数据多样性可提升性能,是其偏见缓解框架的首个组成部分。
2023-07-19 cs.AI cs.CL cs.CY
SoK: Reducing the Vulnerability of Fine-tuned Language Models to Membership Inference Attacks
IBM Research(IBM研究院)
本文首次系统综述微调大语言模型对成员推断攻击的脆弱性,发现差分隐私与低秩适配器组合能提供最佳隐私保护。
2024-03-13 cs.CR cs.LG
Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning
Facultad de Ciencias Físicas y Matemáticas(物理与数学科学学院);Universidad de Chile(智利大学);Department of Mathematics & I-X(数学与I-X系);Imperial College London(伦敦帝国学院)
针对扩散模型强化学习微调中的模式崩溃问题,提出分层奖励微调(HRF)方法,通过动态训练和滑动窗口正则化提升下游任务的多样性并增强微调鲁棒性。
2024-10-10 cs.LG stat.ML
Revisiting Instruction Fine-tuned Model Evaluation to Guide Industrial Applications
Illuin Technology(伊鲁因科技);CentraleSupélec(巴黎中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学);Equall
该研究针对指令微调范式带来的新评估需求,验证了基于大语言模型的评估指标的适配性,量化了工业场景下任务专项化策略的权衡,为实际IFT模型部署提供了可行参考。
2023-10-21 cs.AI cs.CL cs.LG
Remixing Music for Hearing Aids Using Ensemble of Fine-Tuned Source Separators
Johns Hopkins University(约翰霍普金斯大学)
针对为助听器用户重混增强音乐的问题,提出基于赛事数据微调的深度学习音乐源分离器集成系统,在Cadenza ICASSP 2024 Grand Challenge中获第一名,取得最高平均HAAQI得分,并通过消融实验分析了各模块作用。
2024-02-01 cs.LG cs.SD eess.AS
A Hybrid Classical-Quantum Fine Tuned BERT for Text Classification
本文提出一种结合量子电路和经典BERT的混合模型,用于提升文本分类性能,实验表明其在多个基准数据集上表现优异。
2025-11-21 cs.LG quant-ph
Accurate Prediction of Ligand-Protein Interaction Affinities with Fine-Tuned Small Language Models
Dell Technologies(戴尔科技)
本文提出利用指令微调的预训练生成式小型语言模型,仅以配体SMILES和蛋白质氨基酸序列为输入,在零样本设置下精确预测配体-蛋白质相互作用亲和力,性能优于ML和FEP+方法,可加速药物发现。
2024-06-27 cs.AI cs.CL cs.LG
Fine-tuned Vision Language Model for Localization of Parasitic Eggs in Microscopic Images
Multimedia University(多媒体大学);New York University(纽约大学)
本文提出一种微调的视觉语言模型,用于自动定位显微图像中的寄生虫卵,实验结果显示其在mIOU指标上优于其他目标检测方法。
2026-02-14 cs.CV cs.LG
RepairLLaMA: Efficient Representations and Fine-Tuned Adapters for Program Repair
KTH Royal Institute of Technology(皇家理工学院);NC State University(北卡罗来纳州立大学)
针对现有大语言模型程序修复方法代码表示朴素、无法扩展到前沿模型的问题,提出RepairLLaMA方法,通过最优代码表示和参数高效微调构建程序修复适配器,在多个基准上性能超越所有基线。
2025-09-03 cs.LG cs.SE
Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs
Carnegie Mellon University(卡内基梅隆大学)
本文提出通过监控权重而非激活值来理解、监控和控制细调的大语言模型,能高精度检测细调引入的新行为,并在防回火攻击和模型去学习中表现出色。
2026-04-21 cs.CL cs.LG
Jal Anveshak: Prediction of fishing zones using fine-tuned LlaMa 2
Dwarkadas J. Sanghvi College of Engineering(德瓦尔卡达斯·J·桑维工程学院)
本文提出了Jal Anveshak框架,该框架使用Dart和Flutter编写,基于在政府渔业数据上微调的Llama 2大语言模型,旨在帮助印度沿海渔民安全获取最大鱼产量并以多语言多模态方式解决捕鱼查询。
2024-11-15 cs.AI cs.LG
Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出动态约束机制,通过在线细化模型提升强化学习微调的稳定性与性能,在对话和代码生成任务中优于KL正则化和无约束基线。
2026-03-18 cs.AI cs.LG
Shuttling Compiler for Trapped-Ion Quantum Computers Based on Fine-Tuned Large Language Models
Institute of Computer Science, Johannes Gutenberg University(计算机科学研究所,约翰内斯·古特堡大学);Institute of Physics, Johannes Gutenberg University(物理研究所,约翰内斯·古特堡大学);Department of Computer Science, Saarland University(计算机科学系,萨尔兰大学)
提出首个基于大语言模型的离子阱量子计算机穿梭编译器,通过微调预训练模型生成有效调度,减少穿梭开销达15%。
2026-09-16 cs.ET cs.LG quant-ph
Applying Fine-Tuned LLMs for Reducing Data Needs in Load Profile Analysis
North Carolina State University(北卡罗来纳州立大学)
本文提出一种两阶段微调GPT-3.5的方法,用于电力系统负荷曲线的缺失数据恢复,在减少数据需求的同时达到与BERT-PIN等专用模型相媲美的性能,并显著提升成本与时间效率。
2024-06-02 cs.LG cs.SY eess.SP
MedSlice: Fine-Tuned Large Language Models for Secure Clinical Note Sectioning
Dana-Farber Cancer Institute(丹娜法伯癌症研究院);Albany Medical College(奥尔巴尼医学院);Brigham and Women’s Hospital(布莱根妇女医院);McGill University(麦吉尔大学);Harvard Medical School(哈佛医学院)
本研究提出MedSlice流程,通过微调开源LLMs(如Llama 3.1 8B)实现临床笔记分节,在F1分数上超越专有模型GPT-4o,兼顾成本、性能与隐私可及性。
2025-01-23 cs.AI cs.CL cs.IR
Community-Specific Slang and Entity Detection via Semantic Shift in Fine-Tuned Language Models
Georgia Institute of Technology(佐治亚理工学院)
提出无监督方法,通过测量词在微调前后的语义偏移幅度,从在线社区文本中自动识别俚语、独特实体和民俗用语。
2026-04-19 cs.CL cs.LG cs.SI
AttackQA: Development and Adoption of a Dataset for Assisting Cybersecurity Operations using Fine-tuned and Open-Source LLMs
SambaNova Systems(桑巴诺瓦系统公司)
本研究构建了含25335个带推理依据问答对的网络安全数据集AttackQA,通过开源模型生成与质量校验,结合微调开源嵌入及大模型搭建RAG系统,性能超越GPT-4o,还实现了全开源高速RAG与评估流水线。
2024-11-01 cs.AI cs.CR cs.LG
SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Salesforce Research(Salesforce研究院)
本文提出SimSCOOD,首次系统模拟源代码数据的多种分布外场景,分析微调模型行为,发现LoRA微调在OOD泛化上始终显著优于全量微调。
2023-10-30 cs.AI cs.CL cs.LG
CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs
CTIGuardian通过少样本监督整合隐私分类器和红员,提升微调大语言模型的隐私保护与效用平衡。
2025-12-15 cs.AI cs.CR cs.LG