CooperLLM: Cloud-Edge-End Cooperative Federated Fine-tuning for LLMs via ZOO-based Gradient Correction
University of Science and Technology of China（中国科学技术大学）；University of Macau（澳门大学）
CooperLLM通过结合移动端ZOO和云引导梯度校正，实现云-边-端协同联邦微调，显著提升收敛速度和精度，同时保护隐私。
2026-01-19 cs.DC cs.LG
ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong Baptist University（香港浸会大学）；Kyung-Hee University（庆熙大学）；Beijing Normal University（北京师范大学）
大规模预训练的最新进展已经显示出利用大量预训练模型（PTM）来改善分布外（OoD）泛化的巨大潜力，其目标是在对多个训练域进行微调后，在可能的未知域上表现良好。然而，最大限度地利用PTM的动物园是具有挑战性的，因为微调PTM的所有可能组合在计算上是禁止的，而PTM的准确选择需要解决OoD任务的可能数据分布偏移。在这项工作中，我们提出了ZooD，PTM排名和集成与特征选择的范例。我们提出的度量排名PTM通过量化类间区分度和域间稳定性的功能提取的PTM在留一域交叉验证的方式。然后为目标OoD任务聚合排名前K的模型。为了避免模型集成引起的噪声积累，我们提出了一种有效的变分EM算法来选择信息特征。我们在一个由35个模型组成的不同模型动物园上评估了我们的范例，并证明了：（i）模型排名与微调排名的相关性比以前的方法更好，比暴力微调快9859倍;（ii）具有特征选择的模型集成后的OoD泛化优于当前状态，在最具挑战性的任务DomainNet上，准确率从46.5%提高到50.6%。此外，我们还提供了35个PTM在7个OoD数据集上的微调结果，希望对模型动物园和OoD泛化的研究有所帮助。代码将在https://gitee.com/mindspore/models/tree/master/research/cv/zood上提供。
2022-10-17 cs.AI cs.CV cs.LG
A linearized framework and a new benchmark for model selection for fine-tuning
Amazon Web Services（亚马逊云科技）
从不同领域预先训练的模型集合（“模型动物园”）中进行微调正在成为一种提高低数据状态下测试准确性的技术。然而，模型选择，即如何从模型动物园中预先选择正确的模型进行微调，而无需执行任何训练，仍然是一个开放的话题。我们使用线性化的框架来近似微调，并引入两个新的基线模型选择-标签梯度和标签特征相关性。由于文献中的所有模型选择算法都已经在不同的用例上进行了测试，并且从未直接进行过比较，因此我们引入了一个新的模型选择综合基准，包括：i）单和多领域模型的模型动物园，以及ii）许多目标任务。我们的基准测试突出了与微调Imagenet模型相比，模型动物园的准确性增益。我们表明，我们的模型选择基线可以选择最佳的模型进行微调，在几个选择，并具有最高的排名相关性微调精度相比，现有的算法。
2021-01-29 cs.CV cs.LG
RLGS: Reinforcement Learning-Based Adaptive Hyperparameter Tuning for Gaussian Splatting
针对3DGS超参数调优依赖人工且效果不佳的问题，提出即插即用的强化学习框架RLGS，动态调整学习率等关键超参数，在多种变体和数据集上显著提升渲染质量，实现自动化调优。
2025-08-06 cs.CV cs.GR cs.LG
Task-Adaptive Neural Network Search with Meta-Contrastive Learning
KAIST（韩国科学技术院）；AITRICS；Samsung（三星）
大多数传统的神经结构搜索（NAS）方法的局限性在于，它们只生成结构，而不搜索最佳参数。虽然一些NAS方法通过利用在大规模数据集（如ImageNet）上训练的超网来处理这个问题，但如果目标任务与超网训练的数据集高度不相似，则它们可能是次优的。为了解决这些限制，我们引入了一个新的问题\emph{Neural Network Search}（NNS），其目标是为新的数据集和约束搜索最优的预训练网络（例如参数的数量），来自模型动物园。然后，我们提出了一个新的框架来解决这个问题，即\emph{Task-Adaptive Neural Network Search}（TANS）。给定一个由在不同数据集上预训练的网络组成的模型动物园，我们使用一种新的摊销元学习框架来学习具有对比损失的跨模态潜在空间，以最大化数据集与其上的高性能网络之间的相似性，并最小化不相关的网络-网络对之间的相似性。我们验证了我们的方法的有效性和效率在十个现实世界的数据集，对现有的NAS/AutoML基线。结果表明，我们的方法可以立即检索出性能优于基线模型的网络，并且训练步骤明显减少，从而达到目标性能，从而最大限度地降低了获得任务最优网络的总成本。我们的代码和模型动物园可以在https://github.com/wyjeong/TANS上找到。
2021-10-28 cs.LG
ZoAQ: Adaptive Zeroth-Order Querying via Query-Reuse Coupling
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
ZoAQ通过重用历史查询实现自适应零阶优化，无需额外验证查询，在合成目标、黑盒攻击和OPT微调中分别减少43-48%查询、以低查询达到100%攻击成功率并节省43-46%前向评估。
2026-09-22 cs.LG
MAGPrompt: Message-Adaptive Graph Prompt Tuning for Graph Neural Networks
School of Mathematics and Statistics（数学与统计学系）
MAGPrompt通过在消息传递步骤中注入可学习提示，实现对图神经网络的高效适应，在少样本设置中优于现有方法，并在全样本设置中与微调性能相当。
2026-02-05 cs.LG
Adaptive LoRA Experts Allocation and Selection for Federated Fine-Tuning
University of Florida（佛罗里达大学）；Middle Tennessee State University（中田纳西州立大学）
针对联邦微调中LoRA专家数量分配与客户端选择难题，提出FedLEASE框架，通过表示相似性聚类分配领域专家并采用自适应top-M专家混合机制，在异构客户端下显著提升性能并保持通信效率。
2025-10-10 cs.LG
A2D2: Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding
Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系）；Department of Bioengineering, University of Pennsylvania（宾夕法尼亚大学生物工程系）；School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学学院）
提出A2D2框架，通过联合优化插入和去掩蔽策略及基于质量的推理调度，实现任意长度离散扩散模型的奖励引导微调，理论上保证收敛到奖励倾斜分布，实验提升奖励优化与生成灵活性和准确性。
2026-06-12 cs.LG
DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究所）
DP-MicroAdam是一种高效的差分隐私优化算法，通过自适应方法在训练和微调中实现更高的性能和稳定性。
2025-11-28 cs.LG
Supervised Neural Discrete Universal Denoiser for Adaptive Denoising
Seoul National University（首尔大学）
我们改进了最近开发的神经DUDE，一个基于神经网络的自适应离散去噪器，将其与监督学习框架相结合。也就是说，我们使神经DUDE的监督预训练与基于给定的噪声数据进行去噪的参数自适应微调兼容。因此，与香草神经DUDE相比，我们实现了显着的去噪性能提升，后者仅使用随机初始化的参数执行自适应微调步骤。此外，我们表明自适应微调使算法的鲁棒性，使噪声失配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外，我们做了一些算法改进，使神经DUDE更具可扩展性，并处理多维数据或具有更大字母表大小的数据。我们系统地展示了我们对两个非常不同的数据集，二进制图像和DNA序列的改进。
2021-11-24 cs.LG
Adaptive Principal Components Allocation with the $\ell_{2,g}$-regularized Gaussian Graphical Model for Efficient Fine-Tuning Large Models
The University of British Columbia（不列颠哥伦比亚大学）
本研究首次将高斯图模型应用于参数高效微调任务，提出基于$\u2113_{2,g}$范数的自适应主成分分配方法，用BCD算法求解非凸优化问题，在GLUE基准上微调RoBERTa-Base时以更少可训练参数取得了有竞争力的性能。
2024-12-11 cs.LG
SubZero+: Memory-Efficient Adaptive Zeroth-Order LLM Fine-Tuning in Random Subspaces
SubZero+是改进的SubZero框架，通过三种互补方式提升零阶优化稳定性，在1.3B至32B参数模型的SuperGLUE任务上，优于现有零阶基线，扩大稳定学习率范围，缩小与一阶方法差距且内存开销极小。
2026-09-29 cs.LG
Fine-Tuning Without Forgetting via Loss-Adaptive Learning Rates
University of California San Diego（加州大学圣迭戈分校）
本文提出了一种损失自适应学习率调度方法FINCH，通过动态调整学习率来减少微调过程中的遗忘现象，同时保持任务性能，从而在知识获取、科学和低资源语言适应等基准测试中显著提升了模型表现。
2026-05-19 cs.LG
Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition
Arbetsförmedlingen（瑞典公共就业服务局）；(Swedish Public Employment Service)（瑞典公共就业服务局（注：括号内为英文机构名的中文翻译补充，实际机构名以英文为准））
当前用于微调基于变换器的语言模型的标准方法包括固定数量的训练时期和线性学习率调度。为了获得给定下游任务的近似最优模型，通常需要在优化超参数空间中进行搜索。特别是，需要根据数据集大小调整训练epoch的数量。在本文中，我们介绍了自适应微调，这是一种替代方法，使用提前停止和自定义学习率调度来动态调整训练时期的数量，以数据集的大小。对于命名实体识别的示例用例，我们表明，我们的方法不仅使超参数搜索相对于训练时期的数量冗余，而且还导致性能，稳定性和效率方面的改进结果。这尤其适用于小数据集，在这种情况下，我们的性能大大优于最先进的微调方法。
2022-02-05 cs.CL cs.LG
Movement Pruning: Adaptive Sparsity by Fine-Tuning
Hugging Face；Cornell University（康奈尔大学）
幅度修剪是纯监督学习中用于减小模型大小的广泛使用的策略;然而，它在已成为最先进的自然语言处理应用的标准的迁移学习机制中不太有效。我们建议使用运动修剪，这是一种简单的，确定性的一阶权重修剪方法，更适合于预训练模型的微调。我们给的方法的数学基础，并将其与现有的零阶和一阶修剪方法。实验表明，当修剪大型预训练的语言模型时，运动修剪在高稀疏性区域中显示出显著的改进。当与蒸馏相结合时，该方法实现了最小的精度损失，仅需3%的模型参数。
2020-10-23 cs.CL cs.LG
BayRnTune: Adaptive Bayesian Domain Randomization via Strategic Fine-tuning
Georgia Institute of Technology（佐治亚理工学院）；University of Southern California（南加州大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出BayRnTune，通过策略性微调加速贝叶斯域随机化，在五个模拟环境中相比基线获得更高奖励。
2023-10-16 cs.LG cs.RO
APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Apple（苹果公司）
本文提出APT框架，通过在微调早期动态添加显著微调参数并丢弃不重要参数，同时提升大型语言模型的训练和推理效率，在大幅减少参数和内存占用的同时保持高任务性能。
2024-06-04 cs.CL cs.LG
Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning
Fudan University（复旦大学）
针对联邦学习全参数训练成本高的问题，提出基于CLIP的联邦自适应提示调优算法FedAPT，通过自适应模块生成个性化提示，以不足全模型10%的参数在多域图像分类任务中取得更优性能。
2024-03-12 cs.CV cs.LG
LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning
Indian Institute of Technology, Patna（印度理工学院巴特那分校）
研究针对低秩自适应中各层适应需求不同但现有方法统一分配适配器秩的问题，提出LAARA框架，利用轻量级对角Fisher估计动态分配秩，结合多种机制，实验表明其在少参数情况下性能优于现有方法，为自适应参数高效微调提供基础。
2026-07-23 cs.AI cs.LG
GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
National University of Defense Technology（国防科技大学）；Information Support Force Engineering University（信息支援部队工程大学）
GRASS提出一种基于梯度的自适应层级重要性采样方法，通过动态调整层采样概率和优化器状态卸载机制，在降低内存使用的同时提升微调性能，实验显示其在多个模型和基准测试中均优于现有方法。
2026-04-09 cs.CL cs.LG
EDGE-LLM: Enabling Efficient Large Language Model Adaptation on Edge Devices via Layerwise Unified Compression and Adaptive Layer Tuning and Voting
Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对边缘设备上大语言模型适配的计算与内存开销过高问题，提出含分层统一压缩、自适应层调优投票及硬件调度的Edge-LLM框架，实现2.92倍加速与4倍内存降低且精度相当。
2024-06-22 cs.DC cs.LG
Adaptive Defense against Harmful Fine-Tuning for Large Language Models via Bayesian Data Scheduler
Nanyang Technological University（南洋理工大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；University of Central Florida（佛罗里达大学）；Tsinghua University（清华大学）
针对大语言模型有害微调的安全风险，提出无需攻击模拟的自适应防御策略BDS，通过贝叶斯推断学习数据安全属性后验分布并加权约束微调过程，结合神经调度器实现高效迁移，达到最先进性能。
2025-10-31 cs.AI cs.LG
SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning
Hong Kong Polytechnic University（香港理工大学）；University of California, Merced（加州大学梅尔德分校）；The University of Hong Kong（香港大学）
本文提出SplitFT系统，通过自适应设置切层和降低LoRA秩来提升联邦分裂学习在大语言模型微调中的效率与性能，实验表明其在多个基准测试中表现优异。
2026-04-29 cs.DC cs.LG
EPnG: Adaptive Expert Prune-and-Grow for Parameter-Efficient MoE Fine-tuning
Ulsan National Institute of Science & Technology (UNIST)（蔚山科学技术院）
提出EPnG框架，基于路由器门控概率动态分配LoRA容量，剪枝低效专家并扩展重要专家，在固定参数预算下超越LoRA，性能媲美全微调。
2026-07-03 cs.AI cs.LG
Optimal Slice-Adaptive Tuning of Hybrid Slice Sampling
UBC（不列颠哥伦比亚大学）
本文分析混合切片采样的计算成本，提出自动切片自适应调优方案，具有次优性界限和收敛保证，模拟显示其性能近乎最优且不依赖初始参数。
2026-09-09 cs.LG stat.CO stat.ML
Entity-level Factual Adaptiveness of Fine-tuning based Abstractive Summarization Models
Seoul National University（首尔大学）；Samsung SDS（三星SDS）；ASRI（首尔国立大学先进技术与融合研究院）；INMC（纳米融合技术研究院）；AIIS（人工智能与信息科学研究院）
本文研究基于微调的抽象式摘要模型在参数知识与输入文档知识冲突时的事实适应性，提出可控反事实数据增强方法，在 PEGASUS 和 BART 上提升事实适应性并保持与对比学习基线相当的事实一致性。
2024-02-23 cs.AI cs.CL cs.LG
LMEraser: Large Model Unlearning through Adaptive Prompt Tuning
针对大模型机器遗忘计算成本高的问题，提出名为LMEraser的分治式自适应提示调优方法，通过公私数据分离、私有数据聚类分调提示，实现遗忘成本降低100倍且不损失精度。
2024-04-17 cs.AI cs.CR cs.LG
Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation
University of Pittsburgh（匹兹堡大学）；University of Maryland, College Park（马里兰大学帕克分校）；University of Science and Technology of China（中国科学技术大学）
本文提出 GreenTrainer，通过自适应评估张量反向传播成本与准确率贡献并选择训练张量，在保持准确率的同时显著降低 LLM 微调 FLOPs。
2024-02-29 cs.AI cs.LG
VectorFit : Adaptive Singular & Bias Vector Fine-Tuning of Pre-trained Foundation Models
Indian Institute of Technology Indore（印度理工学院印多尔）
针对现有PEFT方法因从零训练低秩权重导致与全量微调存在性能差距的问题，提出VectorFit，通过自适应训练预训练权重的奇异向量与偏置来高效利用现有知识，以更少参数实现高秩增量并取得更优性能。
2025-08-14 cs.AI cs.LG
SpotTune: Transfer Learning through Adaptive Fine-tuning
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
迁移学习允许源任务影响目标任务的归纳偏差，广泛应用于计算机视觉。使用深度神经网络进行迁移学习的典型方式是使用来自目标任务的数据对在源任务上预训练的模型进行微调。在本文中，我们提出了一种自适应微调方法，称为SpotTune，它发现每个实例的目标数据的最佳微调策略。在SpotTune中，给定来自目标任务的图像，使用策略网络来决定是否将图像通过微调层或预训练层。我们进行了大量的实验，以证明所提出的方法的有效性。我们的方法在14个标准数据集中的12个上优于传统的微调方法。我们还将SpotTune与其他最先进的微调策略进行了比较，显示出优越的性能。在Visual Decathlon数据集上，我们的方法在没有花里胡哨的情况下获得了最高分。
2018-11-21 cs.CV cs.LG stat.ML
FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE
University of Notre Dame（诺丁汉大学）；Trinity College Dublin（都柏林三一学院）
本文提出基于稀疏混合专家（SMoE）架构的联邦学习框架 FLAME，通过保留完整的全局 LoRA 矩阵并动态调整客户端激活的专家数量来实现资源自适应，结合轻量级重缩放机制与激活感知聚合方案解决部分专家激活带来的挑战，有效提升了联邦微调大型语言模型的性能。
2025-07-14 cs.AI cs.LG
Adaptive Random Feature Regularization on Fine-tuning Deep Neural Networks
NTT（日本电信电话株式会社）；Kyoto University（京都大学）
本文提出AdaRand，一种无需辅助源信息且计算成本合理的自适应随机特征正则化方法，通过最小化特征向量与随机参考向量的差距并动态更新条件分布，有效缓解微调过拟合，提升性能。
2024-03-15 cs.AI cs.CV cs.LG
FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-World LoRA
针对联邦设置下LLM微调的跨客户端干扰问题，提出FedALT算法，通过独立LoRA训练+RoW LoRA共享知识+MoE自适应混合器，在NLP基准上优于现有方法，实现高效本地适配。
2025-11-14 cs.AI cs.CL cs.LG
Cascaded Multi-task Adaptive Learning Based on Neural Architecture Search
China Mobile Research（中国移动研究院）
本文提出基于神经架构搜索的级联多任务自适应学习方法，通过在冻结、适配器和微调间自动搜索，并在损失中加入参数惩罚项，在SLURP上将可训练参数压缩至完整微调的8.7%且性能更优。
2023-10-23 cs.LG eess.AS eess.SP
Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation
Queen’s University（女王大学）；Ingenuity Labs Research Institute（Ingenuity Labs 研究院）；J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ANADP算法，根据参数重要性自适应分配差分隐私噪声，在保持隐私约束的同时缩小了常规微调与差分隐私微调的性能差距。
2024-10-03 cs.AI cs.CL cs.CR
GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning
NYU Tandon School of Engineering（纽约大学坦登工程学院）
提出GeLoRA框架，通过计算隐藏状态表示的本征维度自适应选择LoRA秩，为性能与效率权衡提供理论基础，并在相同参数预算下优于现有基线。
2024-12-17 cs.LG math.GT stat.ML
Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景，对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Adaptive Prompt Tuning: Vision Guided Prompt Tuning with Cross-Attention for Fine-Grained Few-Shot Learning
Faculty of Science and Engineering, University of Groningen（格罗宁根大学科学与工程学院）；TNO（荷兰国防技术研究院）
提出基于交叉注意力的自适应提示调优方法，利用视觉输入动态优化CLIP文本提示，提升少样本细粒度分类性能，并集成蒙特卡洛Dropout增强预测可靠性。
2025-01-01 cs.AI cs.CV cs.LG
ALTO: Adaptive LoRA Tuning and Orchestration for Heterogeneous LoRA Training Workloads
Rice University（莱斯大学）；Independent Researcher（独立研究员）
ALTO通过适应性调优和编排技术提升异构LoRA训练效率，通过监控损失轨迹和优化资源分配实现多任务协同，达到13.8倍的速度提升而不牺牲适配器质量。
2026-04-10 cs.AI cs.DC cs.LG
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
MSSR通过估计样本级别的记忆强度并自适应地安排复习，有效缓解持续LLM微调中的灾难性遗忘问题，同时保持快速适应能力。
2026-03-10 cs.AI cs.CL cs.LG
Adaptive Latent Space Tuning for Non-Stationary Distributions
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of California Los Angeles（加州大学洛杉矶分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
强大的深度学习工具，如卷积神经网络（CNN），能够直接从数据中学习大型复杂系统的输入输出关系。编码器-解码器深度CNN能够直接从图像中提取特征，将它们与一般低维潜在空间内的标量输入混合，然后生成代表复杂物理现象的新的复杂2D输出。深度学习方法面临的一个重要挑战是大型非平稳系统，其特征随时间快速变化，重新训练是不可行的。在本文中，我们提出了一种基于实时反馈的深度编码器-解码器风格CNN的低维潜在空间的自适应调整方法，以快速补偿未知和快速的分布偏移。我们展示了我们的方法预测的粒子加速器中的组件（加速电场和聚焦磁场）的随时间变化的带电粒子束的性质也迅速变化。
2021-06-06 cs.LG physics.acc-ph stat.ML
The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究AdaGrad-Norm的收敛速度作为自适应随机梯度方法（SGD）的一个范例，其中步长根据观察到的随机梯度变化，以最小化非凸，光滑的目标。尽管他们的流行，自适应SGD的分析落后于非自适应方法在这种情况下。具体地说，所有先前的工作都依赖于以下假设的某个子集：（i）均匀有界的梯度范数，（ii）均匀有界的随机梯度方差（甚至噪声支持），（iii）步长和随机梯度之间的条件独立性。在这项工作中，我们表明，AdaGrad-Norm表现出$\mathcal{O}\left(\frac{\mathrm{poly}\log(T)}{\sqrt{T}}\right)$阶最优收敛速度的$T$迭代后，最优调谐非自适应SGD（无界梯度范数和仿射噪声方差缩放）相同的假设下，关键的是，不需要任何调整参数。因此，我们建立自适应梯度方法表现出更广泛的制度比以前理解的顺序最优收敛。
2022-07-25 cs.LG math.OC stat.ML
AdaGradSelect: An adaptive gradient-guided layer selection method for efficient fine-tuning of SLMs
IIT Bhilai（比哈尔理工学院）
AdaGradSelect通过自适应梯度引导选择Transformer块，实现高效微调SLMs，训练速度快35%且性能接近全微调。
2025-12-12 cs.AI cs.LG cs.PF
Thresholded Adaptive Validation: Tuning the Graphical Lasso for Graph Recovery
Ruhr University Bochum（波鸿鲁尔大学）
许多机器学习算法都被公式化为正则化优化问题，但它们的性能取决于一个正则化参数，该参数需要根据手头的每个应用进行校准。在本文中，我们提出了一个通用的校准计划正则化优化问题，并将其应用到图形套索，这是一种方法的高斯图形建模。该方案配备了理论保证，并激励阈值流水线，可以提高图恢复。此外，在正则化路径上最多需要一个线搜索，校准方案在计算上比基于重新搜索的竞争方案更有效。最后，我们在模拟中表明，我们的方法可以大大提高其他方法的图恢复。
2021-03-30 cs.LG stat.ME stat.ML
DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
Samsung AI Centre Cambridge（三星剑桥人工智能中心）
本文提出DP-LAC，通过隐私直方图估计估计初始截断阈值，并在训练过程中自适应调整，无需额外隐私预算或新超参数，提升联邦微调语言模型的隐私保护与准确性。
2026-05-11 cs.AI cs.CR cs.DC
Density Adaptive Attention is All You Need: Robust Parameter-Efficient Fine-Tuning Across Multiple Modalities
Cranberry-Lemon University（蔓越莓柠檬大学）
本文提出多头密度自适应注意力机制DAAM及密度自适应Transformer，通过可学习均值和方差动态校准特征重要性，实现跨语音、文本、视觉的高效参数微调，准确率最高提升约20%，并引入重要性因子增强可解释性。
2024-09-29 cs.AI cs.CL cs.CV
