Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院)
本文提出适配器重组(ARC)策略,通过跨层共享对称下/上投影瓶颈结构并学习低维重新缩放系数来重组层自适应适配器,从而在保持性能的同时大幅减少大型视觉Transformer适配所需的新增参数。
2024-01-17 cs.CV cs.LG
Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation
Indraprastha Institute of Information Technology Delhi(因德拉普拉斯信息技术学院德里分校)
提出自路由张量适配器(SRTA),无需外部门控网络即可实现样本特定适配,在多领域视觉分类基准上,以更少参数达到与MoE式PEFT基线相当或更优的平均准确率。
2026-08-18 cs.CV cs.LG
Signs Beat Floats: Low-Rank Double-Binary Adaptation for On-Device Fine-Tuning
Fujitsu Limited(富士通株式会社);Institute of Science Tokyo(东京科学研究所);RIKEN Center for AIP(理化学研究所先进信息处理中心);Tokai University(静冈大学)
提出LoRDBA,一种用二值符号载波和通道级缩放替代低秩因子的适配器,在保持LoRA兼容性的同时显著降低存储和计算开销,并在设备端微调中匹配或超越低比特基线性能。
2026-05-22 cs.AI cs.LG
SOLAR: Communication-Efficient Model Adaptation via Subspace-Oriented Latent Adapter Reparametrization
University of Nevada, Reno(内华达大学里诺分校);Argonne National Laboratory(阿贡国家实验室);University of Houston(休斯顿大学);University of California, Davis(加利福尼亚大学戴维斯分校)
SOLAR通过子空间导向的潜在适配器重参数化方法,减少PEFT适配器的通信和存储成本,提升模型适应效率。
2026-04-09 cs.CL cs.CV cs.LG
ReLoRA: Knowledge-Reusing Adaptation for Fast Rollout of Evolving LLM Services
School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(苏州先进研究院,中国科学技术大学)
针对基础模型频繁更新导致已有LoRA适配器失效的问题,提出ReLoRA框架,通过贝叶斯优化初始化与调度正则化微调,实现知识复用与快速重新适配,降低计算开销并提升性能。
2026-05-23 cs.AI cs.LG
TAIL: Task-specific Adapters for Imitation Learning with Large Pretrained Models
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加利福尼亚大学);Amazon Web Services(亚马逊网络服务)
针对大预训练模型在控制领域数据稀缺、微调成本高的问题,提出TAIL框架,采用LoRA等参数高效微调技术实现有限数据下的任务适配,仅用1%全微调参数就达到最优性能且避免灾难性遗忘。
2024-03-08 cs.AI cs.LG cs.RO
Label Shift Adapter for Test-Time Adaptation under Covariate and Label Shifts
Qualcomm AI Research(高通人工智能研究院);KAIST(韩国科学技术院)
针对协变量与标签偏移共存时现有TTA方法失效的问题,提出可嵌入各类TTA方法的标签偏移适配器,通过估计目标标签分布并预测部分模型参数实现高效适应,实验显示性能显著提升。
2023-08-17 cs.CV cs.LG
LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);University of West London(西伦敦大学)
本研究提出LARA,一种在冻结模型残差流中运行的轻量适配方法,在参数数量相同时性能与LoRA相当,支持多种行为平滑插值与按token路由,可在单个模型上高效托管多种行为。
2026-08-03 cs.LG
Learning Only What Valid Adapters Can Express: Subspace-Constrained Adaptation Against Fine-Tuning Poisoning
Independent researcher(独立研究者)
针对参数高效微调易受投毒攻击问题,提出基于可信现有任务适配器子空间的约束适配方法,在LoRA上验证其可抵御标签反转、后门攻击,大幅区分干净与污染数据。
2026-07-07 cs.CR cs.LG
Come Together, But Not Right Now: A Progressive Strategy to Boost Low-Rank Adaptation
Southern University of Science(南方科技大学);City University of Hong Kong(香港城市大学);Zhejiang University(浙江大学);Hong Kong University of Science(香港科学大学);University of Surrey(萨里大学);New York University(纽约大学)
本文提出渐进式 LoRA 训练策略 CoTo,通过随机停用并逐步提高适配器激活概率,改善优化与损失景观探索,从而提升单任务、合并、剪枝表现并降低开销。
2025-07-27 cs.LG
LOREN: Low Rank-Based Code-Rate Adaptation in Neural Receivers
Eindhoven University of Technology(埃因霍温理工大学)
LOREN通过低秩适配器实现神经接收机的码率自适应,减少内存和功耗,提升无线通信性能。
2026-02-11 cs.AI cs.AR cs.LG
HyperTTS: Parameter Efficient Adaptation in Text to Speech using Hypernetworks
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出HyperTTS,利用超网络根据说话人表示动态生成Adapter参数,以参数高效方式提升TTS的域外说话人适配性能,并在两种设置下达到最先进水平。
2024-04-06 cs.CL cs.LG cs.SD
Context-Aware Adapter Tuning for Few-Shot Relation Learning in Knowledge Graphs
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究所);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
本文提出上下文感知适配器 RelAdapter,通过轻量级适配器模块和关系上下文信息增强元学习适应过程,在三个基准知识图谱上验证了其优于现有方法的少样本关系学习性能。
2024-10-17 cs.AI cs.LG
Structured Hyperedge Adaptation for Parameter-Efficient Fine-Tuning of Vision Transformers
Griffith University(格里菲斯大学);Data61/CSIRO(Data61/澳大利亚联邦科学与工业研究组织)
提出HyperAdapter,一种基于超图的适配器架构,通过软超边路由实现结构化、组感知的适应,在参数预算下优于现有PEFT方法。
2026-06-23 cs.AI cs.CV cs.LG
Loop Dropout: Regularizing Shared Updates in Looped Language Models
针对循环语言模型中LoRA共享更新的后循环偏差,提出Loop Dropout方法,通过随机掩蔽与逆生存重缩放保持期望更新强度,提升跨循环适配,增强数学推理、指令调优和代码生成性能。
2026-10-06 cs.CL cs.LG
TeRA: Vector-based Random Tensor Network for High-Rank Adaptation of Large Language Models
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院伦敦分校电子与电气工程系)
TeRA提出一种新型PEFT方法,通过将张量化的权重更新矩阵参数化为Tucker-like张量网络,实现高秩权重更新的同时保持向量方法的参数效率。
2026-04-14 cs.LG
Efficient Adapter Tuning of Pre-trained Speech Models for Automatic Speaker Verification
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对自监督语音模型全量微调成本高且易过拟合的问题,本文提出并行适配器框架,仅更新5%参数即可在VoxCeleb1上优于全量微调和其他参数高效迁移学习方法。
2024-03-01 cs.LG cs.SD eess.AS
Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning
University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
提出SEMA方法,通过模块化适配器自动检测分布偏移并决定重用或添加适配器,实现次线性扩展,提升持续学习性能。
2025-03-27 cs.CV cs.LG
Aggregating Low Rank Adapters in Federated Fine-tuning
Apheris AI(Apheris AI公司)
针对大模型联邦微调的高成本与通信开销问题,本文提出一种新型低秩适配器聚合方法,在GLUE基准上与现有方法对比评估性能。
2025-01-10 cs.AI cs.LG
C-LoRA: Continual Low-Rank Adaptation for Pre-trained Visual Models
Institute of Intelligent Information Processing, Shanxi University(山西大学智能信息处理研究所);Alliance Manchester Business School, The University of Manchester(曼彻斯特大学联盟曼彻斯特商学院)
针对现有LoRA微调在持续学习中依赖多适配器导致开销大、推理复杂的问题,提出C-LoRA,利用可学习路由矩阵动态管理参数更新,实现高效知识复用与正交性约束,在基准上取得最先进准确率和参数效率,并提供理论见解。
2026-10-09 cs.LG
EEG-Based Mental Imagery Task Adaptation via Ensemble of Weight-Decomposed Low-Rank Adapters
Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
针对EEG信号变异性及大模型实时解码瓶颈,提出参数高效微调方法EDoRA,通过权重分解低秩适配器集成实现心理意象任务适应,在言语和运动意象数据集上优于全微调及现有PEFT方法。
2024-12-08 cs.LG eess.SP
Simple, Scalable Adaptation for Neural Machine Translation
Google AI(谷歌人工智能)
微调预训练的神经机器翻译(NMT)模型是适应新语言和领域的主要方法。然而,微调需要为每个目标任务调整和维护单独的模型。我们提出了一个简单而有效的方法来适应NMT。我们提出的方法包括将微小的特定于任务的适配器层注入到预先训练的模型中。这些轻量级的适配器,只有原始模型大小的一小部分,使模型同时适应多个单独的任务。我们在两个任务上评估我们的方法:(i)领域自适应和(ii)大规模多语言NMT。领域自适应的实验表明,我们提出的方法是与各种领域,数据集大小和模型容量的全面微调。在一个包含103种语言的大规模多语言数据集上,我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距,为通用机器翻译铺平了道路。
2019-09-18 cs.CL cs.LG
Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters
Qualcomm AI Research(高通人工智能研究部门);Qualcomm Technologies, Inc.(高通技术公司)
提出稀疏高秩适配器SHiRA,通过微调1-2%基础模型权重实现无推理开销的快速切换与低概念损失的多适配器融合,性能优于LoRA且可与DoRA等现有技术结合。
2024-07-22 cs.LG
Matching High-Dimensional Geometric Quantiles for Test-Time Adaptation of Transformers and Convolutional Networks Alike
Computer Science and Information Systems(计算机科学与信息系统)
本文提出了一种架构无关的测试时适应方法,通过匹配高维几何分位数来纠正分布偏移,适用于卷积网络和变换器等通用架构。
2026-01-16 cs.CV cs.LG
Neutral Residues: Revisiting Adapters for Model Extension
针对预训练大语言模型领域扩展存在的新旧领域性能权衡问题,提出从数据、架构、训练流程联合改进适配器的中性残差方法,使残差块在原域输出近零值,在跨语言适配任务上显著优于微调、LoRA等方法。
2025-07-31 cs.AI cs.CL cs.LG
The Quest for Winning Tickets in Low-Rank Adapters
Australian Institute for Machine Learning, Adelaide University(澳大利亚机器学习研究所,阿德莱德大学);Monash University(墨尔本大学)
研究发现低秩适配器中存在稀疏子网络,提出Partial-LoRA方法可高效减少参数并提升性能。
2025-12-27 cs.LG
Towards Principled Test-Time Adaptation for Time Series Forecasting
Stony Brook University(石溪大学)
本文提出了一种基于频率域的轻量级校准方法FAC,用于改进时间序列预测在分布偏移下的适应性,通过频率域分析现有适配器的预测修正,并在多种数据集和预测时间上实现了更高效和一致的性能。
2026-05-17 cs.LG
Reducing the Adaptation Gap Through Reachable Fisher Geometry
Arizona State University(亚利桑那州立大学)
本文提出可达费雪几何,分析参数高效微调中费雪迹对子群差距的揭示与局限,证明迹匹配可缩小差距但无法保证矩阵对齐,作为可扩展诊断工具而非严格证明。
2026-09-30 cs.LG
Feature Geometry of LoRA Adapters: A Sparse Autoencoder Analysis of Representational Divergence in Fine-Tuned Language Models
Independent AI Safety Researcher(独立人工智能安全研究员)
本研究使用稀疏自编码器分析LoRA微调引起的表示几何变化,发现LoRA特征字典与预训练特征存在弱几何对齐,且适配器特定SAE能更有效重建delta激活。
2026-05-27 cs.LG
Calibrated Adaptation: Bayesian Stiefel Manifold Priors for Reliable Parameter-Efficient Fine-Tuning
Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学);Department of Civil, Construction and Environmental Engineering, Iowa State University(土木、建设与环境工程系,爱荷华州立大学)
SBA通过在斯蒂夫尔流形上使用贝叶斯先验,提高参数高效微调的可靠性,减少校准误差并提升领域转移性能。
2026-02-19 cs.LG
PaCA: Partial Connection Adaptation for Efficient Fine-Tuning
Seoul National University(首尔大学)
PaCA 通过微调预训练权重内随机选择的部分连接替代适配器层,在保持精度的同时减少 22% 训练时间和 16% 内存使用,并支持更长序列和更高吞吐量。
2025-03-11 cs.AI cs.LG
RMAdapter: Reconstruction-based Multi-Modal Adapter for Vision-Language Models
RMAdapter通过双分支架构平衡通用与任务特定知识,提升视觉-语言模型在多模态迁移学习中的性能。
2025-12-07 cs.AI cs.CV cs.LG
Learning Adapter Rank via Symmetry Breaking
Commonwealth Bank of Australia(澳大利亚联邦银行)
本文通过破除LoRA的旋转规范对称性,提出Low-Rank Variational Dropout框架,实现低秩适应空间的贝叶斯推断,有效学习适配器秩并提升预测不确定性。
2026-05-12 cs.AI cs.CL cs.LG
PoLAR: Polar-Decomposed Low-Rank Adapter Representation
Department of Computer Science(计算机科学系)
针对大规模模型低秩适配中稳定秩偏低导致微调性能下降的问题,提出基于极分解的参数化方法PoLAR,将低秩更新分解为方向矩阵和尺度矩阵,结合黎曼优化在多基准上实现一致提升。
2025-10-31 cs.AI cs.LG eess.SP
A$_3$B$_2$: Adaptive Asymmetric Adapter for Alleviating Branch Bias in Vision-Language Image Classification with Few-Shot Learning
Zhejiang University(浙江大学);Swansea University(斯旺西大学)
本文提出A₃B₂适配器,通过引入不确定性感知适配器阻尼机制,缓解少样本学习中的分支偏差问题,实验表明其在多个数据集上优于现有基线方法。
2026-05-15 cs.CV cs.LG
Lifelong Learning with Task-Specific Adaptation: Addressing the Stability-Plasticity Dilemma
University of YYY(YYY大学);Institute of WWW(WWW研究院)
本文提出基于适配器的终身学习框架 AdaLL,通过在正则化约束下共同训练骨干网络与适配器,兼顾稳定性与可塑性,并在多种配置下优于现有方法。
2025-03-08 cs.LG
Prompt Tuning Strikes Back: Customizing Foundation Models with Low-Rank Prompt Adaptation
Rice University(莱斯大学);UT Austin(德克萨斯大学奥斯汀分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对传统提示调优性能弱、PEFT方法需服务器存储适配器的问题,提出低秩提示适配LoPA,通过软提示低秩分解兼顾性能与参数效率,在多类任务和不同规模基础模型上验证了效果。
2024-10-31 cs.AI cs.LG
Don't Worry About the Weather: Unsupervised Condition-Dependent Domain Adaptation
Oxford Robotics Institute(牛津机器人研究所);University of Oxford(牛津大学)
执行系统关键任务(如分割和定位)的现代模型在理想条件下(即白天,阴天)表现出良好的性能和鲁棒性,但当输入条件发生变化时,性能会迅速下降,并且通常会发生灾难性变化。在这项工作中,我们提出了一个领域自适应系统,使用轻量级的输入适配器预处理输入图像,无论其外观,在某种程度上,使他们兼容的现成的计算机视觉任务,只训练输入与理想条件。在现成的模型上不执行微调,并且当输入域与先前看到的域显著不同时,系统能够使用计算机视觉任务作为监督者以自我监督的方式递增地训练新的输入适配器。我们在两个流行的数据集RobotCar和BDD上报告了语义分割和拓扑本地化性能的大幅改进。
2019-07-25 cs.CV cs.LG
Effective LoRA Adapter Routing using Task Representations
EPFL(苏黎世联邦理工学院)
LORAUTER通过任务表示实现高效适配器路由,优于现有方法并在未见过的任务上取得最佳成绩。
2026-01-30 cs.AI cs.LG
When One Adapter Speaks for Many: Discovering Low-Rank Redundancy in Continual Fine-Tuning
ETH Zurich(苏黎世联邦理工学院)
本文发现持续学习中的LoRA适配器存在显著低秩冗余,提出LiteLoRA门控机制,通过复用现有适配器减少20-70%活跃适配器,同时保持或超越现有性能。
2026-06-29 cs.LG
Amortized Low-Rank Adaptation for Model-Based Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对世界模型在测试环境中的适应问题,提出CLAW方法,利用超网络生成低秩适配器,在少量数据下实现高效适应,优于梯度适应和上下文学习。
2026-09-23 cs.AI cs.LG cs.RO
Serving Heterogeneous LoRA Adapters in Distributed LLM Inference Systems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软);National Technical University of Athens(雅典国家技术大学)
LoRAServe通过动态适配器放置和路由框架,有效解决异构LoRA适配器在分布式大语言模型推理中的性能偏斜问题,提升吞吐量并降低延迟。
2025-11-28 cs.AI cs.DC cs.LG
Efficient Adaptation of Deep Neural Networks for Semantic Segmentation in Space Applications
Freelance(自由职业者);University of Trento(特伦托大学);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信,巴黎理工学院)
本文提出使用适配器进行高效迁移学习,用于外星地形岩石分割,通过层融合和适配器排序降低内存与带宽需求,并在嵌入式设备上评估了性能与资源权衡。
2025-04-22 cs.CV cs.LG
The Parts Are Greater Than the Sum: Automated Task Sequencing for Efficient Training of Multi-Policy LLMs
该研究针对多策略大语言模型训练中共享优化空间的干扰问题,提出自动多策略PEFT框架,通过任务分组排序组织独立QLoRA路径,在TRACE基准取得44.78的最佳性能。
2026-08-03 cs.LG
LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
University of Maryland(马里兰大学);Tsinghua University(清华大学)
LoRI通过冻结随机投影矩阵A和稀疏化矩阵B,减少多任务LoRA的跨任务干扰,降低95%可训练参数,在多项任务上超越全量微调和现有PEFT方法。
2025-08-02 cs.AI cs.CL cs.LG
BayesAdapter: enhanced uncertainty estimation in CLIP few-shot adaptation
University of Granada(格拉纳达大学);Quebec AI Institute (MILA)(魁北克人工智能研究所(MILA));International Laboratory on Learning Systems (ILLS)(学习系统国际实验室)
针对现有CLIP适配器忽视不确定性估计质量的问题,提出基于贝叶斯推理的BayesAdapter方法,通过估计完整概率分布捕捉参数可变性,在校准和选择性分类等任务中实现了高质量的不确定性估计。
2025-01-13 cs.CV cs.LG
Behavior Quotient Learning for Low-Rank Adaptation of LLM Agents
Alibaba Cloud(阿里云)
针对LLM智能体多LoRA适配器存储与路由开销问题,提出BQ-LoRA框架,通过行为商平衡与决策保持压缩在固定秩下组织轨迹更新,实验验证其优于标准LoRA及近期方法。
2026-09-14 cs.AI cs.LG
Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Pengcheng Laboratory(鹏城实验室);University of Houston(休斯顿大学)
针对大语言模型持续学习中的灾难性遗忘问题,提出OA-Adapter方法,将动态预算分配与正交子空间学习统一于端到端训练,在提升准确率的同时减少58.5%参数。
2025-10-16 cs.AI cs.LG
Adapter-Based Extension of Multi-Speaker Text-to-Speech Model for New Speakers
NVIDIA(英伟达)
微调是使文本转语音(TTS)模型适应新说话者的流行方法。然而,这种方法存在一些挑战。通常,微调需要每个扬声器几个小时的高质量语音。还存在微调将负面地影响先前学习的说话者的语音合成的质量。在本文中,我们提出了一种替代方法的TTS适应的基础上使用参数高效的适配器模块。在所提出的方法中,一些小的适配器模块被添加到原始网络。原始权重被冻结,并且只有适配器针对新扬声器的语音进行微调。参数有效的微调方法将产生一个新的模型与原始模型的参数共享的高水平。我们在LibriTTS、HiFi-TTS和VCTK数据集上的实验通过客观和主观指标验证了基于适配器的方法的有效性。
2022-11-01 cs.LG cs.SD eess.AS
Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout
University of Manchester(曼彻斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));InstantX Team(InstantX团队);University of Edinburgh(爱丁堡大学);Aalto University(阿alto大学)
本文提出正交蒙特卡洛 Dropout 以在合并 LoRA 模块时强制正交性,但实证发现正交性不足以实现语义解耦,需重新审视其在适配器合并中的作用。
2025-10-08 cs.AI cs.CV cs.LG
EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning
Univeristy of California, Berkeley(加州大学伯克利分校);San Francisco State University(旧金山州立大学)
EfficientXpert通过传播感知剪枝方法,实现大语言模型在领域适应中的高效压缩,达到接近密集性能的稀疏效果,同时保持训练时间和内存效率。
2026-10-06 cs.CL cs.LG
FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts
Zhejiang University(浙江大学)
提出FLoE框架,通过Fisher信息引导的层选择实现稀疏适配器部署,并利用贝叶斯优化自动确定LoRA秩,在资源受限环境中实现高效的效率-精度权衡。
2025-05-31 cs.CL cs.LG stat.ML
HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation
Guangdong University of Technology(广东工业大学)
HiP-LoRA通过谱感知适应框架解决LoRA的谱干扰问题,通过分解更新为两个通道以平衡预训练行为保留与任务特定塑性,实验显示其在持续调优和知识编辑等敏感任务中表现更优。
2026-04-20 cs.CL cs.LG
CeRA: Breaking the Linear Ceiling of Low-Rank Adaptation with Non-linearity Retained at Inference
Computer Science and Information Engineering National Central University(计算机科学与信息工程国立中央大学)
CeRA通过引入SiLU门控和dropout,在推理时引入非线性,提升参数效率,在GSM8K和MATH基准中表现优异,使用更少参数达到更高性能。
2026-07-09 cs.AI cs.CL cs.LG