Empowering parameter-efficient transfer learning by recognizing the kernel structure in self-attention
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
预训练语言模型(PLM)中大量的可训练参数使得它们难以部署到多个下游任务。为了解决这个问题,已经提出了参数高效的迁移学习方法,以在微调期间仅调整少数参数,同时冻结其余参数。本文通过\textit{kernel lens}沿着这条路线研究现有的方法。基于transformer-based PLM中的自注意与核学习之间的联系,提出了\textit{kernel-wise adapters},即\textit{Kernel-mix},利用自注意中的核结构来指导可调参数的分配.这些适配器使用经典内核学习中的指导原则,并为每个注意力头启用单独的参数调优。我们的实证结果,在一组不同的自然语言生成和理解任务,表明我们提出的适配器可以达到或提高现有基线的强大性能。
2022-10-26 cs.CL cs.LG
ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学信息学院)
针对Transformer自注意力二次复杂度导致的推理效率低下问题,提出ChunkLLM框架,通过QK适配器和块适配器实现块选择与压缩,在保持性能的同时显著加速推理。
2026-05-25 cs.AI cs.CL
TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
深度学习的进步已经在众多语音识别任务中实现了最先进的性能。然而,用于设备上语音识别的深度神经网络的广泛部署仍然是一个挑战,特别是在存储器和计算资源高度受限的边缘场景中(例如,低功耗嵌入式设备)或专用于语音识别的存储器和计算预算较低的情况(例如,执行除语音识别之外的许多任务的移动设备)。在这项研究中,我们引入了注意力凝聚器的概念,用于构建低占用空间,高效的深度神经网络,用于边缘上的设备上语音识别。注意冷凝器是一种自我注意机制,它学习并产生表征联合局部和跨通道激活关系的浓缩嵌入,并相应地执行选择性注意。为了说明其有效性,我们介绍了TinySpeech,低精度深度神经网络,主要包括使用机器驱动的设计探索策略为设备上的语音识别量身定制的注意力冷凝器,其中一个专门针对微控制器操作约束。在有限词汇量语音识别的Google Speech Commands基准数据集上的实验结果表明,与以前的工作相比,TinySpeech网络实现了显着降低的架构复杂性($507\times$更少的参数),更低的计算复杂性($48\times$更少的乘加运算)和更低的存储要求($2028\times$更低的权重内存要求)。这些结果不仅证明了注意力冷凝器在构建高效的设备上语音识别网络方面的有效性,还阐明了其在边缘加速深度学习和增强TinyML应用程序的潜力。
2020-10-12 cs.LG cs.NE eess.AS
ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision Language Models
Northeastern University(东北大学);EmbodyX Inc.(EmbodyX公司);Zhejiang University(浙江大学)
提出ScAle,一种超轻量适配方法,通过学习少量标量系数调节冻结骨干网络中的注意力头和MLP激活,仅用1K可训练参数在空间推理任务上实现高达134.1%的相对精度提升。
2026-06-28 cs.AI cs.CV cs.LG
Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models
Fudan University(复旦大学);Microsoft(微软);Tencent(腾讯)
本文提出Hadamard适配器,一种仅作用于自注意力输出的参数高效微调方法,通过Hadamard乘积实现逐元素线性变换,在GLUE基准上以0.033%参数达到竞争性能,并可进一步移除冗余层降至0.022%参数。
2024-07-04 cs.CL cs.LG
Task-oriented Memory-efficient Pruning-Adapter
Tongji University(同济大学)
针对大型语言模型中Adapters和Pruning无法兼顾训练与推理效率的问题,提出面向任务的Pruning-Adapter方法,在保证GLUE任务准确率的同时实现高效的训练与推理。
2023-04-06 cs.CL cs.LG
How Much Can a LoRA Adapter Memorize? Measuring Adapter Capacity in Bits
研究探讨 LoRA 适配器能写入多少比特,通过扩展记忆分析直接测量其写入模型的信息量,发现写入量小于完全微调且不规律,受参数位置影响,还用于分析 Qwen2.5 微调中的隐私泄露,区分不同学习方式,将经验转化为可防范量。
2026-10-06 cs.LG
PC-Adapter: Topology-Aware Adapter for Efficient Domain Adaption on Point Clouds with Rectified Pseudo-label
KAIST(韩国科学技术院);AITRICS
本文提出 PC-Adapter,通过注意力与图卷积双适配器分别建模源域全局形状和目标域局部特征,并以类别感知置信度校正伪标签,在多个点云域适应基准上优于基线。
2023-09-29 cs.AI cs.CV cs.LG
Adaptive Rank Allocation: Speeding Up Modern Transformers with RaNA Adapters
Institute of Computational and Mathematical Engineering, Stanford University(计算与数学工程研究所,斯坦福大学);Department of Computer Science, Stanford University(计算机科学系,斯坦福大学)
本文提出自适应秩分配框架及 RaNA 适配器,通过低秩分解与自适应掩码在线性层上高效分配计算,克服神经元自适应方法依赖稀疏激活和不兼容注意力层等局限,在减少约44% FLOPs的同时显著提升困惑度和准确率。
2025-05-06 cs.LG
MedualTime: A Dual-Adapter Language Model for Medical Time Series-Text Multimodal Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Technical University of Munich(慕尼黑技术大学);Columbia University(哥伦比亚大学)
提出MedualTime双适配器语言模型,实现时间序列与文本模态的平等交互,在医学数据上提升8%准确率和12%F1,并验证了少样本迁移能力。
2025-09-08 cs.AI cs.CL cs.LG
AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);National University of Singapore(新加坡国立大学);Hupan Lab(湖畔实验室);Singapore University of Technology and Design(新加坡科技设计大学)
针对跨语言迁移中任务能力与语言能力难以完全解耦的问题,本文提出 AdaMergeX,利用参考任务和自适应适配器合并由三个适配器构造目标适配器,在所有设置下优于现有方法。
2024-02-29 cs.AI cs.CL
SSM Adapters via Hankel Reduced-order Modeling: Injection Site Determines Task Suitability in Long-Context Fine-Tuning
Hitachi America Ltd.(日立美洲有限公司)
提出Hankel降阶模型(HRM)适配器,一种基于SSM的残差模块,通过平衡截断初始化,在长上下文任务中优于LoRA,并支持FFT并行扫描。
2026-06-26 cs.AI cs.LG
Multi-Modal Adapter for Vision-Language Models
University of Amsterdam(阿姆斯特丹大学);Vinted(文特(Vinted))
针对现有CLIP轻量级适配方法分别处理视觉与文本模态、忽视跨模态交互的问题,提出Multi-Modal Adapter,通过可训练多头注意力融合图文特征并加性适配,提升了未见类别上的泛化性。
2024-09-03 cs.AI cs.CV cs.LG
UNIC-Adapter: Unified Image-instruction Adapter with Multi-modal Transformer for Image Generation
Alibaba International Digital Commerce(阿里巴巴国际数字商业);School of Computer Science, Wuhan University(武汉大学计算机学院);University of Melbourne(墨尔本大学)
本文提出UNIC-Adapter,基于多模态扩散Transformer统一多种条件图像生成任务,通过融合条件图像与任务指令并利用旋转位置嵌入增强的交叉注意力机制,实现像素级控制、主体驱动和风格合成等可控生成。
2024-12-25 cs.CV cs.LG
KazByte: Adapting Qwen models to Kazakh via Byte-level Adapter
Independent Researcher(独立研究员)
通过字级别适配器适应Qwen模型至哈萨克语,解决哈萨克文本分词问题,提升模型对哈萨克语形态的掌握。
2026-03-29 cs.CL cs.NA math.NA
P-Adapters: Robustly Extracting Factual Information from Language Models with Diverse Prompts
Stanford University(斯坦福大学);Salesforce Research(Salesforce研究院)
最近的工作(例如LAMA(Petroni等人,2019))发现,从大语言模型(LLM)中提取的事实信息的质量取决于用于查询它们的提示。这种不一致性是有问题的,因为不同的用户将使用不同的措辞查询LLM以获得相同的信息,但无论如何都应该收到相同的准确响应。在这项工作中,我们的目标是通过引入P-Adapters来解决这个缺点:轻量级模型位于LLM的嵌入层和第一个注意层之间。它们将LLM嵌入作为输入,并输出用于查询LLM的连续提示。此外,我们研究混合专家(MoE)模型,学习一组连续提示("专家"),并选择一个查询LLM。它们需要一个单独的分类器来训练人类注释的数据,以将自然语言提示映射到连续的提示。P-Adapters在从BERT和RoBERTa中提取事实信息时执行对更复杂的MoE模型的验证,同时消除了对额外注释的需要。与仅使用自然语言查询的基线相比,P适配器显示出12 - 26%的精确度绝对提高和36 - 50%的一致性绝对提高。最后,我们调查是什么使P-适配器成功,并得出结论,一个重要的因素是访问LLM的嵌入的原始自然语言提示,特别是被查询的实体对的主题。
2022-04-19 cs.CL
DM-Adapter: Domain-Aware Mixture-of-Adapters for Text-Based Person Retrieval
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室);School of ECE, Peking University(北京大学电子与计算机工程学院);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
针对文本行人检索中全模型微调成本高及现有PETL方法缺乏细粒度特征提取的问题,提出DM-Adapter,通过结合混合专家与参数高效迁移学习,并设计领域感知路由器,在保持效率的同时实现最先进的检索性能。
2025-03-06 cs.AI cs.CV
MSCloudCAM: Multi-Scale Context Adaptation with Convolutional Cross-Attention for Multispectral Cloud Segmentation
MSCloudCAM通过多尺度上下文提取器和卷积交叉注意力机制,提升多谱段云分割的光谱-空间辨别能力,实现更精确的云识别与分割。
2026-01-27 cs.AI cs.CV cs.LG
SecureGate: Learning When to Reveal PII Safely via Token-Gated Dual-Adapters for Federated LLMs
Washington State University(华盛顿州立大学)
SecureGate通过令牌门控双适配器框架,在联邦LLM微调中实现细粒度隐私控制,减少PII泄露并提升任务效用。
2026-04-15 cs.CL cs.CR
Mixture of Low-Rank Adapter Experts in Generalizable Audio Deepfake Detection
University of Eastern Finland(东芬兰大学)
针对基础模型微调后难以泛化至新型音频伪造方法的问题,提出混合LoRA专家方法,通过在注意力层集成多个低秩适配器并利用路由机制激活专家,有效提升了域外泛化能力并显著降低等错误率。
2025-09-17 cs.LG cs.SD eess.AS
LUMA: Benchmarking Segmentation via a Lightweight Universal Mask Adapter
RPTU University Kaiserslautern-Landau(凯泽斯劳滕-兰道大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
提出轻量级通用掩码适配器(LUMA),一种与骨干无关的掩码Transformer头,通过廉价交叉注意力实现高精度分割,并基于此对20种骨干网络和11种预训练方案进行基准测试,发现高效token混合器未实现高效,预训练目标主导分割质量。
2026-10-27 cs.AI cs.CV cs.LG
SAM-PTx: Text-Guided Fine-Tuning of SAM with Parameter-Efficient, Parallel-Text Adapters
University of Regina(里纳大学)
针对SAM语义文本提示潜力未充分挖掘的问题,提出参数高效的SAM-PTx方法,通过Parallel-Text适配器将冻结CLIP文本嵌入注入SAM图像编码器,在多个数据集上实现优于纯空间提示基线的分割性能。
2025-07-31 cs.CV cs.LG
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google(谷歌)
自动语音识别(ASR)系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是,这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明,通过模型微调的个性化大大提高了性能。然而,为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明,通过所谓的残差适配器向编码器层添加相对少量的额外参数,与模型微调相比,我们可以实现类似的自适应增益,同时只更新一小部分(小于0.5%)模型参数。我们证明了这两个语音适应任务(非典型和重音语音)和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
BiMind: A Dual-Head Reasoning Model with Attention-Geometry Adapter for Incorrect Information Detection
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
BiMind通过双头推理框架分离内容内部推理与知识增强推理,引入注意力几何适配器、自检索知识机制和不确定性感知融合策略,提升错误信息检测性能。
2026-04-07 cs.CL
Limited-Resource Adapters Are Regularizers, Not Linguists
Aalborg University(奥胡斯大学);Johns Hopkins University(约翰·霍普金斯大学);University of Ottawa(渥太华大学);IIT Madras(印度理工学院马德拉斯分校)
本研究探究适配器融合与交叉注意力微调以提升三种低资源克里奥尔语的机器翻译性能,发现适配器的作用主要是参数正则化而非语言信息迁移。
2025-05-30 cs.CL
Is More Data Worth the Cost? Dataset Scaling Laws in a Tiny Attention-Only Decoder
Institute of Computer Science, University of St. Gallen(圣加仑大学计算机科学研究所);Institute of Computer Science in Vorarlberg, University of St. Gallen(圣加仑大学福拉尔贝格计算机科学研究所)
本文通过极小注意力解码器研究数据集规模扩展定律,发现数据量增加带来性能提升但存在边际效益递减,为数据与计算成本平衡提供指导。
2026-04-10 cs.CL cs.LG
Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters
University of Science and Technology of China(中国科学技术大学)
本文通过固定组件的规范多路分解(CP)张量适配器实现更细的参数步长,研究其对低秩适配器精度-预算权衡的影响,发现CP适配器能填补LoRA秩之间的空白,但效果依赖于任务。
2026-05-29 cs.AI cs.CL cs.LG
Tiny Recursive Reasoning with Mamba-2 Attention Hybrid
Intercom Dublin, Ireland(Intercom都柏林,爱尔兰)
本文探讨将Mamba-2混合操作符替换TRM中的Transformer块,验证其在递归框架下保持推理能力,提升抽象推理任务表现。
2026-03-13 cs.AI cs.CL
Order-Level Attention Similarity Across Language Models: A Latent Commonality
South China University of Technology(华南理工大学);Pazhou Laboratory(Pazhou实验室);Zhuzhou CRRC Times Electric Co.(株洲 CRRC 时代电子公司);China Telecom Research Institute(中国电信研究院);WeBank(我们银行);The Hong Kong University of Science and Technology(香港科技大学)
本文提出阶数级注意力(OLA)并发现其在不同语言模型间具有显著相似性且与句法知识存在隐式映射,据此设计无需训练的跨模型适配器迁移方法TOA,有效提升未见语言模型的性能。
2025-11-07 cs.CL
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs(AWS人工智能实验室)
端到端语音识别模型训练使用联合连接时间分类(CTC)-注意力损失最近得到普及。在这些模型中,非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而,这样的模型很难个性化,因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题,我们提出了一种新的双向方法,首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外(OOV)单词列表上,然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法,以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS