Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning
The University of Sydney(悉尼大学);Monash University(莫纳什大学)
提出敏感性感知的视觉参数高效微调方案,自适应分配可训练参数到任务重要位置,结合结构化调优提升性能,在多个基准上达到最先进水平。
2023-08-31 cs.AI cs.CV cs.LG
Self-Learning Tuning for Post-Silicon Validation
University of Stuttgart(斯图加特大学);Advantest Europe GmbH(爱德万测试欧洲有限公司)
现代芯片日益复杂,使得设计验证更加困难。现有的方法不再能够应付任务的复杂性,例如在后硅验证中的鲁棒性能调整。因此,我们提出了一种基于学习优化和强化学习的新方法,以有效和鲁棒的方式解决复杂和混合类型的调优任务。
2022-01-26 cs.AI cs.LG
Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
本研究提出利用轻量级微调下MoE模型的路由器敏感度识别可剪枝专家,通过参数高效适配器微调后按路由器ℓ₂变化排序剪枝,在多个模型和基准上实现低精度损失的高压缩率,使理论驱动的专家剪枝可大规模落地。
2026-10-14 cs.AI cs.LG
Fine-Tuning Over Architectural Complexity: Broad-Coverage PII Detection on PIIBench with DeBERTa
本研究通过微调DeBERTa模型,在涵盖82种实体类型的多源PIIBench数据集上实现广泛覆盖的PII检测,直接微调方法在F1分数上显著优于架构复杂的层次模型和课程扩展方法。
2026-05-25 cs.AI cs.CL
Fine-Tuning the Odds in Bayesian Networks
RWTH Aachen University(亚琛工业大学)
本文提出了各种新的分析技术贝叶斯网络中的条件概率表(CPT)可能包含符号变量。其关键思想是利用可扩展的和强大的技术在参数马尔可夫链的综合问题。我们的技术适用于任意多个,可能依赖的参数,可能会出现在各种CPT。这解除了对参数的严格限制,例如,通过将参数化CPT的数量限制为一个或两个,或者通过避免几个CPT之间的参数依赖性,在参数贝叶斯网络(pBN)的现有工作中。我们描述了我们的技术如何可以用于各种pBN合成问题的研究,如计算灵敏度函数(和值),简单和差异的参数调整,比例参数调整,和最小的变化调整的文献。几个基准测试的实验表明,我们的原型工具建立在概率模型检查风暴可以处理数百个参数。
2022-08-15 cs.AI
Enhancing Temporal Sensitivity of Large Language Model for Recommendation with Counterfactual Tuning
University of Science and Technology of China(科学技术大学)
针对现有基于大语言模型(LLM)的序列推荐方法时间敏感性不足的问题,提出反事实增强时间框架CETRec,通过因果推理分离时间信息影响并结合反事实微调任务,有效提升LLM对用户交互序列绝对与相对顺序的感知,实验验证其有效性。
2025-08-20 cs.AI cs.CL cs.IR
Enhanced Fast Boolean Matching based on Sensitivity Signatures Pruning
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
布尔匹配在数字集成电路设计中具有重要意义。用于布尔匹配的穷举方法即使对于仅具有几个变量的函数在计算上也是昂贵的,因为用于n变量布尔函数的这种算法的时间复杂度是$O(2^{n+1}n!)$。灵敏度是布尔函数的一个重要特性,也是布尔函数复杂性的一个度量。它已被用于分析算法的复杂性在不同的领域。该测度可以看作是布尔函数的一种签名,在缩小布尔匹配的搜索空间方面具有很大的潜力。在本文中,我们将布尔敏感性引入到布尔匹配中,并设计了几个敏感性相关的签名,以提高快速布尔匹配。首先,我们提出了一些新的签名,涉及敏感性布尔等价。然后,我们证明了这些签名是布尔匹配的先决条件,我们可以使用它来减少匹配问题的搜索空间。此外,我们发展了一个快速的灵敏度计算方法来计算和比较两个布尔函数的这些签名。与传统的余因子和对称检测方法相比,灵敏度是一系列特征的另一个维度。我们还表明,灵敏度可以很容易地集成到传统的方法和区分不匹配的布尔函数更快。据我们所知,这是第一个工作,介绍了布尔匹配的敏感性。实验结果表明,本文提出的敏感度相关签名可以在很大程度上减少搜索空间,并执行高达3倍的加速比最先进的布尔匹配方法。
2021-11-11 cs.AI cs.CC
Improving Pre-trained Language Model Sensitivity via Mask Specific losses: A case study on Biomedical NER
University of Liverpool(利物浦大学);Civic Health Innovation Labs(市民健康创新实验室)
本文提出掩码特定语言建模MSLM,通过在微调时对领域特定术语施加更大预测惩罚来提升预训练语言模型对目标领域词的敏感性,并在生物医学NER上验证其优于span和PMI掩码策略。
2024-03-28 cs.AI cs.CL cs.IR
Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
Hubei University(湖北大学)
本文针对Llama-2-7B,发现微调下注意力层级的ICL代理与实际行为分离,提出ICS指标,验证其需经行为差距验证才适合作为训练目标。
2026-09-02 cs.AI cs.CL cs.LG
Emergence of Context Characteristics Sensitivity in Large Language Models
Nanyang Technological University(南洋理工大学);University of Copenhagen(哥本哈根大学)
通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段,发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化,其中监督微调使模型倾向于使用易理解的上下文,而后续阶段可能强化或改变这一偏好。
2026-06-08 cs.AI cs.CL
Boosting LLM via Learning from Data Iteratively and Selectively
National University of Singapore(新加坡国立大学);Meituan(美团);Google DeepMind(谷歌DeepMind)
提出迭代数据选择方法IterIT,通过动态更新模型特定的复杂性分数和基于响应信息量的多样性分数,贪婪选择高分样本进行指令微调,在多数据集上显著优于强基线并具备良好泛化能力。
2024-12-23 cs.AI cs.CL
The Emergence of Relevance Through Axiomatic Attention Patterns During LoRA Fine-Tuning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
该研究探究LoRA微调LLMs用于重排序时,注意力更新在网络中间区域的作用,发现其与公理IR特征关注度相关,为改进重排序器适配策略提供了可解释依据。
2026-08-25 cs.AI cs.CL cs.IR
Joint Fine-tuning and Conversion of Pretrained Speech and Language Models towards Linear Complexity
Idiap Research Institute(伊迪亚普研究所);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对非文本领域缺乏线性时间大型预训练模型的问题,本文提出 CALD 跨架构逐层蒸馏方法,联合完成 Transformer 转换与目标任务微调,并验证其能有效恢复原模型性能。
2025-03-13 cs.AI cs.CL cs.LG
Sensitivity and Generalization in Neural Networks: an Empirical Study
Google Brain(谷歌大脑)
在实践中,人们经常发现,大型的过参数化神经网络比它们较小的对应网络更好地泛化,这一观察结果似乎与函数复杂性的经典概念相冲突,后者通常倾向于较小的模型。在这项工作中,我们调查复杂性和泛化之间的紧张关系,通过广泛的经验探索的两个自然指标的复杂性相关的输入扰动的敏感性。我们的实验调查了数千个具有各种全连接架构、优化器和其他超参数的模型,以及四个不同的图像分类数据集。我们发现,经过训练的神经网络对训练数据流形附近的输入扰动更具鲁棒性,这是由网络的输入-输出雅可比矩阵的范数来衡量的,并且它与泛化具有很好的相关性。我们进一步建立了与泛化能力差的$-$相关的因素,如全批量训练或使用随机标签$-$,对应于较低的鲁棒性,而与良好的泛化能力$-$相关的因素,如数据增强和ReLU非线性$-$,则会产生更鲁棒的函数。最后,我们展示了如何输入输出雅可比范数可以预测的泛化在个别测试点的水平。
2018-06-18 cs.AI cs.LG cs.NE
#InsTag: Instruction Tagging for Analyzing Supervised Fine-tuning of Large Language Models
Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出开放集细粒度指令标注器InsTag,用以量化SFT数据的多样性与复杂性,并据此选择6K样本训练TagLM,在MT-Bench上超越使用更多数据的开源模型。
2023-08-15 cs.AI cs.CL cs.LG