Architectural Backdoors in Vision-Language Model Supply Chains via Representation Steering
Sapienza University of Rome(罗马智慧大学);University of Genoa(热那亚大学);University of Trieste(的里雅斯特大学);University of Cagliari(卡利亚里大学)
研究视觉语言模型供应链安全问题,提出通过表示引导植入架构后门的攻击方法,该方法不影响训练数据等,通过触发控制模型表示转向攻击者目标,评估表明其损害模型多项性能,还提出审计防御方法。
2026-07-29 cs.AI cs.CR cs.LG
EMG-FM-Bench: A Comprehensive Benchmark for Foundation Model Transfer and Adaptation on Electromyography
University of Georgia(佐治亚大学);University of Oklahoma(俄克拉荷马大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本基准整合20个数据集和9个预训练模型,系统评估了基础模型在肌电信号上的迁移与适应,发现预训练收益因模型而异,微调显著影响性能,且新用户适应仅部分恢复性能。
2026-10-15 cs.LG
Spec2Twin-Chain: Orchestrating Bi-Level Optimization with LLMs for Blockchain Digital Twin Construction
University of California, Berkeley(加利福尼亚大学伯克利分校);Columbia University(哥伦比亚大学)
Spec2Twin-Chain框架将区块链数字孪生构建转化为双层优化问题,利用LLM与仿真优化器迭代协作,经多类实验验证可构建准确孪生体并支持下游决策。
2026-09-01 cs.AI
Learning Preference Adaptation for Large Language Model Personalization via Verbal Reinforcement Learning
Software College, Northeastern University(东北大学软件学院);Ant International(蚂蚁国际)
本研究针对LLM个性化中通用偏好摘要冗余问题,提出无训练元学习框架AlignXada,经语言强化学习优化后在多任务多模型上提升性能且适配效果优于RAG。
2026-08-13 cs.AI cs.CL
Compress to Impress: Efficient LLM Adaptation Using a Single Gradient Step on 100 Samples
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Haifa(海法大学)
本研究提出一种无需微调的大语言模型适配方法,通过单步梯度计算和100个样本即可快速选择并剪枝权重矩阵,显著提升下游任务准确性并大幅降低计算开销。
2025-10-23 cs.AI cs.CL cs.CV
Neurodata Without Boredom: Benchmarking Agentic AI for Data Reuse
HHMI Janelia Research Campus(HHMI贾能利亚研究中心)
本文探讨了代理AI在神经数据重用中的应用,通过八篇研究论文评估了通用编码代理在处理多模态数据和任务解码中的表现,发现其在子任务中表现良好,但难以实现端到端无错误解决方案,提出了数据共享的最佳实践。
2026-10-16 cs.LG
SkillLens: Adaptive Multi-Granularity Skill Reuse for Cost-Efficient LLM Agents
Emory University(埃默里大学)
SkillLens通过分层技能进化框架实现多粒度技能重用,解决技能重用中的相关性与成本矛盾,提升LLM代理在MuLocbench和ALFWorld中的性能。
2026-10-02 cs.AI
Channel Adaptation for EEG Foundation Models: A Systematic Benchmark Across Architectures, Tasks, and Training Regimes
Swartz Center for Computational Neuroscience, Institute for Neural Computation, University of California San Diego(斯瓦茨计算神经科学中心,神经计算研究所,加州大学圣地亚哥分校);Yneuro;Centre de Recherche Cerveau et Cognition, CNRS, Université Paul Sabatier(脑与认知研究中心,法国国家科学研究中心,保罗·萨巴蒂埃大学)
本文系统比较了四种通道适应方法在不同EEG基础模型、任务和训练模式中的表现,发现灵活模型在微调时需外部方法辅助,且5M参数CBraMod在4/5数据集上超越更大模型。
2026-04-25 cs.LG
Bridging Weakly-Supervised Learning and VLM Distillation: Noisy Partial Label Learning for Efficient Downstream Adaptation
Institute of Perceptual Intelligence, Peng Cheng Laboratory(感知智能研究院,鹏城实验室);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
本文提出协同一致性正则化框架,通过协同伪标签机制和抗过拟合策略,提升预训练VLMs在噪声部分标签下的下游适应性能。
2026-01-29 cs.AI cs.CV
Inductive-Deductive Strategy Reuse for Multi-Turn Instructional Dialogues
Kuaishou(快手)
本文提出归纳-演绎策略复用方法,从真实对话中归纳高层指令策略并演绎应用于新场景,以生成多样深入的多轮指令对话,提升下游聊天模型性能。
2024-09-29 cs.AI cs.CL
Extending Music Annotation Schemas: Zero-Shot Prediction or Few-Shot Adaptation?
Queen Mary University of London(伦敦玛丽女王大学)
针对音乐标注模式扩展问题,提出基于MGPHot数据集的基准,对比零样本预测与监督适应,发现监督适应在较小预算下更优,冻结表示复用为适度预算下最有效方案。
2026-10-07 cs.LG cs.SD
Transducer Tuning: Efficient Model Adaptation for Software Tasks Using Code Property Graphs
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出Transducer Tuning方法,利用代码属性图(CPGs)通过图向量化引擎和基于注意力的融合层将结构信息融入代码嵌入,在减少高达99%可训练参数的同时,实现与全参数微调及其他方法相媲美的下游代码任务性能。
2024-12-18 cs.AI cs.CL cs.SE
One Head Eight Arms: Block Matrix based Low Rank Adaptation for CLIP-based Few-Shot Learning
Zhejiang university(浙江大学)
提出Block-LoRA框架,通过共享下投影子矩阵将LoRA低秩矩阵划分为子矩阵,减少参数并降低计算成本,在单24GB GPU上实现CLIP小样本微调且性能具竞争力。
2025-01-28 cs.AI cs.CV
An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference
School of Computer Science, University of Sheffield(谢菲尔德大学计算机学院);The Alan Turing Institute(阿兰·图灵研究所)
本文对五种跨语言词表适配方法在四种生成式LLMs和四种语言上进行实证研究,发现CVA能实现高达271.5%的推理加速,且在均衡多语言数据上预训练的模型适配后下游性能与原模型相当。
2024-09-26 cs.AI cs.CL
How to Find and Reuse Policies for Continuous Adaptation in Lifelong Reinforcement Learning
Loughborough University(拉夫堡大学);University of Pisa(比萨大学)
本研究提出AMSC方法,利用Wasserstein任务嵌入估计相似性并组合先前策略,在终身强化学习中实现高效迁移,实验显示更高性能且无遗忘。
2026-10-05 cs.AI cs.LG cs.RO
Reuse and Adaptation for Entity Resolution through Transfer Learning
Qatar Computing Research Institute, HBKU(HBKU卡塔尔计算研究所);Nanyang Technological University(南洋理工大学)
实体解析是数据集成中的基本问题之一,基于机器学习的分类器通常可以提供最先进的结果。相当多的人力投入到特征工程和训练数据创建中。本文研究了一个新的问题:给定一个用于ER的数据集D_T,其训练数据有限或没有训练数据,是否有可能通过重用和适应来自相同或相关领域的数据集D_S的训练数据,在D_T上训练出一个好的ML分类器?我们的主要贡献包括:(1)一个分布式表示为基础的方法来编码每个元组从不同的数据集到一个标准的特征空间;(2)识别常见的情况下,重用的训练数据可以是有益的;和(3)五个算法处理上述情况。我们对来自5个不同领域(出版物,电影,歌曲,餐馆和书籍)的12个数据集进行了全面的实验。我们的实验表明,我们的算法提供了显着的好处,如提供优良的性能为固定的训练数据大小。
2018-09-28 cs.DB cs.LG stat.ML
ReCAP: Retrieval-Guided Capability Reuse for Multimodal Continual Instruction Tuning
Nanjing University(南京大学);Huawei Technologies(华为技术有限公司)
ReCAP提出检索引导框架,利用外部知识构建知识库并复用能力模块,通过自适应子空间回收实现多模态持续指令微调中的稳定跨阶段能力复用,达到SOTA性能。
2026-09-30 cs.CV cs.LG
Reuse or Relearn? A Spectral View of Earth Observation Foundation Models
本文通过谱诊断方法研究地球观测基础模型微调是重用还是重新学习预训练表示,发现EO模型更新大且保留少,并指出应同时评估预训练表示的可重用性。
2026-09-29 cs.LG
Token-Level Adaptation of LoRA Adapters for Downstream Task Generalization
University of Chicago(芝加哥大学)
本文提出一种基于无梯度路由的LoRA适配器令牌级自适应方法,在不增加计算开销的情况下提升小模型在多类下游任务上的泛化性能,并验证其优于基础模型和单任务微调模型。
2023-12-01 cs.CL cs.LG
Task Adaptation from Skills: Information Geometry, Disentanglement, and New Objectives for Unsupervised Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);University of Maryland, College Park(马里兰大学学院市分校);Ruhr University Bochum(波鸿鲁尔大学);Tencent Robotics X(腾讯机器人科技);University of Liverpool(利物浦大学)
该研究针对无监督强化学习中MISL技能适配性理论不足的问题,提出解耦度量LSEPIN并建立信息几何关联,进一步基于Wasserstein距离提出WSEP目标和PWSEP算法,提升下游任务初始策略的发现能力。
2025-06-12 cs.AI cs.IT cs.LG
GenSF: Simultaneous Adaptation of Generative Pre-trained Models and Slot Filling
Carnegie Mellon University(卡内基梅隆大学)
在迁移学习中,必须在预训练模型和下游任务之间实现强对齐。先前的工作已经通过提出特定于任务的预训练目标来做到这一点,这牺牲了迁移学习范例的固有可扩展性。相反,我们通过同时修改预训练模型和下游任务的制定来实现强对齐,这更有效,并保留了迁移学习的可扩展性。我们提出了GenSF(生成式插槽填充),它利用生成式预训练的开放域对话模型进行插槽填充。GenSF(1)通过合并关于任务的归纳偏差来适应预训练模型,(2)通过重新制定插槽填充来适应下游任务,以更好地利用预训练模型的能力。GenSF在两个槽填充数据集上实现了最先进的结果,在Few-Shot和zero-shot设置下具有强大的增益。我们在zero-shot插槽填充中实现了9个F1分数的提高。这突出了预训练模型和下游任务之间强对齐的价值。
2021-06-13 cs.AI cs.CL cs.LG
How to prepare your task head for finetuning
University of British Columbia(不列颠哥伦比亚大学);University of Edinburgh(爱丁堡大学);Amii(阿尔伯塔机器智能研究所)
在深度学习中,通过微调将信息从预先训练的网络传输到下游任务有很多好处。任务头的选择在微调中起着重要作用,因为预训练和下游任务通常是不同的。尽管存在许多不同的微调设计,但对这些算法何时以及为什么工作的充分理解一直是难以捉摸的。我们分析了任务头的选择如何控制特征自适应,从而影响下游的性能。通过分解自适应的学习动态,我们发现关键方面是微调开始时的训练精度和损失,这决定了特征自适应的“能量”。我们确定了一个显着的趋势,在此初始能量的变化对微调后所产生的功能的影响。具体来说,随着能量的增加,结果和原始特征之间的欧几里得距离和余弦距离增加,而它们的点积(以及结果特征的范数)首先增加,然后减少。受此启发,我们给出了几个实用的原则,导致更好的下游性能。我们分析证明了这种趋势在一个overparameterized线性设置,并验证其适用于不同的实验设置。
2023-02-11 cs.AI cs.LG
An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry
Purdue University(普渡大学);Loyola University Chicago(芝加哥洛约拉大学)
深度神经网络(DNN)正被用作软件系统中的组件。随着最先进的架构变得越来越复杂,从头开始创建和专门化DNN变得越来越困难。遵循传统软件工程的道路,机器学习工程师已经开始重用大规模预训练模型(PTM),并为下游任务微调这些模型。以前的作品已经研究了传统软件包的重用实践,以指导软件工程师更好地维护软件包和依赖管理。我们缺乏类似的知识基础来指导预先训练的模型生态系统中的行为。在这项工作中,我们提出了第一个PTM重用的实证调查。我们采访了来自最受欢迎的PTM生态系统Hugging Face的12位从业者,以了解PTM重用的实践和挑战。从这些数据中,我们为PTM重用的决策过程建模。基于确定的做法,我们描述了有用的属性模型重用,包括出处,再现性和可移植性。PTM重用的三个挑战是缺少属性、声称的性能与实际性能之间的差异以及模型风险。我们证实了这些确定的挑战与系统的测量拥抱脸生态系统。我们的工作通过自动测量有用的属性和潜在的攻击,为优化深度学习生态系统提供了未来的方向,并设想了未来对模型注册表的基础设施和标准化的研究。
2023-03-05 cs.AI cs.LG cs.SE
Pretraining Induces a Reusable Spectral Basis for Downstream Task Adaptation
Department of Biomedical Engineering, Southern University of Science and Technology(生物医学工程系,南方科技大学);Department of Psychology, The University of Hong Kong(心理学系,香港大学)
本文通过系统谱分析揭示预训练模型的主奇异向量在微调中保持稳定且跨任务共享,表明预训练建立了可重用的谱坐标系,且更大规模预训练提升几何可迁移性。
2026-05-08 cs.LG
ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation
Wuhan University(武汉大学);ByteDance(字节跳动);National University of Defense Technology(国防科技大学);Nanyang Technological University(南洋理工大学);The AGH University of Krakow(克拉科夫AGH大学)
针对多任务 LoRA 适配中性能、可合并性与推理开销难以兼顾的问题,本文提出 ThanoRA,通过异质性感知子空间分配和多样性保持正则化,在无额外推理成本下超过强基线及独立微调。
2025-09-29 cs.AI cs.LG
Task-Robust Pre-Training for Worst-Case Downstream Adaptation
Peking University(北京大学)
本文提出一种任务鲁棒预训练方法,通过将上游任务分离为代表性任务并应用极小极大损失,保证模型在最坏情况下游任务上的一致良好性能,并在NLP和CV数据集上验证了其有效性。
2023-11-24 cs.CV cs.LG
GEM: A Scale-Aware and Distribution-Sensitive Sparse Fine-Tuning Framework for Effective Downstream Adaptation
University of Southern California(美国南加州大学);Inha University(inha大学)
本文提出GEM稀疏微调框架,通过梯度权重比和熵引导掩码实现尺度感知与分布敏感的参数选择,仅更新0.1%参数即可在多个任务上超越全量微调。
2025-08-22 cs.LG
MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning
Brown University(布朗大学)
本文提出MTLoRA框架,通过任务无关与任务特定低秩适配模块解耦多任务学习微调参数空间,在PASCAL数据集上以更少可训练参数超越全量微调和现有参数高效方法。
2024-03-29 cs.AI cs.CV cs.LG
CLAP-S: Support Set Based Adaptation for Downstream Fiber-optic Acoustic Recognition
NEC Laboratories America, Inc(美国 NEC 实验室);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
针对光纤声学识别的域偏移与小样本挑战,提出基于支持集的CLAP-S适配方法,结合微调隐式知识与记忆检索显式知识实现跨域泛化,在两类光纤数据集上取得有竞争力的性能,为相关下游任务提供参考。
2025-01-16 cs.LG eess.AS
Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
Google(谷歌公司)
提出分层循环适配器(HRA),通过共享控制器网络、任务级适配器头和跨层参数复用降低多任务适配的参数开销,并在语音识别任务上超越现有适配器方法和全模型微调。
2024-03-25 cs.AI cs.CL cs.LG
TACO: Rethinking Semantic Communications with Task Adaptation and Context Embedding
University of California at Davis(加州大学戴维斯分校);University of Louisiana at Lafayette(路易斯安那大学拉法叶分校)
针对语义通信中关键信息提取与多任务灵活适配的挑战,研究提出名为TACO的新型语义通信框架,联合捕获任务特定与上下文信息,实验验证其在性能、泛化性、带宽效率和延迟上均优于现有方法。
2025-05-16 cs.AI cs.LG eess.IV
Lightweight Adaptive Feature Composition for Heterogeneous Downstream Adaptation of Wireless Foundation Models
Department of Broadband Communication, Pengcheng Laboratory(宽带通信系,鹏城实验室);Purple Mountain Laboratories(紫金山实验室)
提出RAFC路由适配器,通过轻量级任务驱动网络动态组合Transformer各层隐藏特征,实现无线基础模型的多任务泛化,仅增加少于50K参数。
2026-08-26 cs.LG
MolGA: Molecular Graph Adaptation with Pre-trained 2D Graph Encoder
Singapore Management University(新加坡管理大学);University of Science and Technology of China(中国科学技术大学)
本研究提出MolGA,通过分子对齐策略与条件适应机制,将预训练2D图编码器适配至下游分子应用,经11个公开数据集验证了其有效性。
2026-09-01 cs.LG
OTTER: Effortless Label Distribution Adaptation of Zero-shot Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对零样本模型因预训练数据不平衡导致的标签分布不匹配问题,提出基于最优传输的轻量调整方法OTTER,仅需下游标签分布估计,理论有误差界保证,实验在多类零样本任务上显著优于基线。
2024-10-30 cs.AI cs.LG
VeFA: Vector-Based Feature Space Adaptation for Robust Model Fine-Tuning
Department of Industrial and System Engineering, University of Southern California, Los Angeles, United States(工业与系统工程系,南加州大学,洛杉矶,美国)
VeFA通过在特征空间中进行元素级适应,提升模型在分布偏移下的鲁棒性,同时保持预训练表示。
2026-01-31 cs.LG
LoRSA: Toward Generalizable Parameter-Efficient Fine-Tuning for Biomedical Downstream Tasks
McMaster University(麦克马斯特大学);University of Waterloo(滑铁卢大学);Western University(西安大略大学)
本文提出LoRSA框架,联合学习两类低秩分量实现生物医学视觉模型的参数高效微调,在乳腺密度分类任务中显著提升了模型对未见医学影像域的泛化性能。
2026-08-11 cs.AI cs.CV cs.LG
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University(纽约大学);IBM Research AI(IBM研究院人工智能部门)
预训练的语言模型在自然语言处理的各个领域都取得了成功,包括阅读理解任务。然而,当将机器学习方法应用于新领域时,标记的数据可能并不总是可用的。为了解决这个问题,我们对源域数据进行了有监督的预训练,以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能,以微调预训练模型,而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Alignment-Aware Model Adaptation via Feedback-Guided Optimization
Department of Computer Science, University of British Columbia, Location, Canada(不列颠哥伦比亚大学计算机科学系);Vector Institute of AI, Toronto, Canada(人工智能向量研究所);Stony Brook University, New York, USA(石溪大学)
本文提出了一种通过反馈引导优化实现对齐感知的模型适应框架,通过自适应门控机制平衡监督与对齐梯度,减少有害输出并提升模型对齐性。
2026-02-05 cs.LG
ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse
Nanjing University(南京大学)
本文提出 ZhiJian 工具箱,基于 PyTorch 统一预训练模型的架构构建、模型调优与推理复用流程,支持快速部署并帮助研究者比较不同方法的互补优势。
2023-08-17 cs.CL cs.CV cs.LG
Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model
Tencent(腾讯)
针对CLIP等视觉语言基础模型因决策捷径导致下游任务泛化差的问题,提出SEraser方法,通过测试时可学习提示调优擦除伪特征、利用不变因果特征,显著提升了模型下游任务表现。
2025-01-14 cs.AI cs.CV cs.LG
One Prompt Fits All: Universal Graph Adaptation for Pretrained Models
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);School of Economics and Management, Beijing University of Posts and Telecommunications(北京邮电大学经济管理学院);Department of Data Science, George Washington University(乔治华盛顿大学数据科学系)
针对图提示学习机制不清与场景适应性差的问题,提出UniPrompt方法,通过理论分析揭示表示级提示本质,适配任意预训练模型并释放其能力,在域内和跨域场景中取得强性能。
2025-10-14 cs.LG
Predict, Reuse, and Repair: Accelerating Dynamic Sparse Attention for Long-Context LLM Decoding
University of Pittsburgh(匹兹堡大学);HPE Labs(HPE实验室)
提出PRR运行时系统,利用动态稀疏注意力选择的时间局部性,通过预测、推测和增量修复来减少解码延迟,最高可降低40%的每令牌延迟,同时保持下游任务精度。
2026-06-29 cs.LG
Towards Understanding Feature Learning in Parameter Transfer
Southeast University(东南大学);University of Michigan(密歇根大学)
本文首次从理论角度分析参数迁移中的动态机制,揭示了部分参数复用的条件及影响因素,并证明了负迁移的存在。
2026-01-07 cs.LG
Self-Masking Networks for Unsupervised Adaptation
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
针对计算机视觉中缺标注数据难微调基础模型的问题,提出通过学习二值掩码自监督适配预训练模型的SMNs方法,存储效率最高提79倍,在多数据集、架构和标注高效场景中性能显著提升。
2024-09-11 cs.CV cs.LG
AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning
Purdue University(普渡大学);Microsoft(微软);Microsoft Research(微软研究院)
针对下游任务的大型预训练语言模型(PLM)的标准微调需要更新数亿到数十亿个参数,并为每个任务存储PLM权重的大副本,从而导致存储、共享和服务模型的成本增加。为了解决这个问题,引入了参数高效微调(PEFT)技术,其中将小的可训练组件注入PLM中并在微调期间更新。我们提出AdaMix作为一种通用的PEFT方法,它可以调整每个Transformer层中引入的自适应模块的混合-给定选择的底层PEFT方法-同时保持大多数PLM权重冻结。例如,AdaMix可以利用像Houlsby这样的适配器的混合或像LoRA这样的低秩分解矩阵的混合,来改善完全监督和Few-Shot NLU和NLG任务的相应PEFT方法的下游任务性能。此外,我们设计AdaMix,使其匹配相同的计算成本和可调参数的数量作为底层PEFT方法。通过仅调整0.1-0.2%的PLM参数,我们表明AdaMix在NLU和NLG任务中的性能优于SOTA参数高效微调和全模型微调。
2022-11-02 cs.AI cs.CL cs.LG
AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
关键词抽取是现代自然语言处理的一个重要课题。它的应用范围从本体生成,事实验证摘要文本,和推荐系统。虽然它有重要的数据密集型应用程序,但当数据集很小时,它往往受到阻碍。关键字提取器的下游训练是一个漫长的过程,需要大量的数据。最近,已经提出了少样本学习(FSL)和零样本学习(Zero-Shot Learning,ZRL)来解决这个问题。因此,我们提出了AdaptKeyBERT,这是一种通过将正则化注意力的概念纳入下游领域自适应的预训练阶段来训练具有LLM基础的关键字提取器的管道。由于我们相信我们的工作对FSL/FML和关键字提取的管道有影响,我们开源了我们的代码,并在https://github.com/AmanPriyanshu/AdaptKeyBERT上提供了同名AdaptKeyBERT的微调库。
2022-11-16 cs.CL cs.LG
Sparse autoencoders reveal selective remapping of visual concepts during adaptation
KAIST AI(韩国科学技术院人工智能学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
该研究提出针对CLIP视觉Transformer的PatchSAE稀疏自编码器,提取细粒度可解释视觉概念,发现基于提示的模型适应的性能提升主要源于基础模型已有概念,为理解模型适应机制提供了框架与见解。
2025-03-21 cs.CV cs.LG
AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning
针对下游任务的大型预训练语言模型(PLM)的标准微调需要更新数亿到数十亿个参数,并为每个任务存储PLM权重的大副本,从而导致存储、共享和服务模型的成本增加。为了解决这个问题,引入了参数高效微调(PEFT)技术,其中将小的可训练组件注入PLM中并在微调期间更新。我们提出AdaMix作为一种通用的PEFT方法,它可以调整每个Transformer层中引入的自适应模块的混合-给定选择的底层PEFT方法-同时保持大多数PLM权重冻结。例如,AdaMix可以利用像Houlsby这样的适配器的混合或像LoRA这样的低秩分解矩阵的混合,来改善完全监督和Few-Shot NLU和NLG任务的相应PEFT方法的下游任务性能。此外,我们设计AdaMix,使其与底层PEFT方法匹配相同的计算成本和可调参数数量。通过仅调整0.1-0.2%的PLM参数,我们表明AdaMix在NLU和NLG任务中的性能优于SOTA参数高效微调和全模型微调。
2022-11-02 cs.AI cs.CL cs.LG
Freeze, Diffuse, Decode: Task-Aware Adaptation of Transformer Embeddings for Antimicrobial Peptide Design
Institute of AI for Health, Helmholtz Munich School of Computation, Information;Technology, Technical University of Munich Mila - Quebec AI institute;Univ. de Montreal Dept. Mathematics \& Statistics, Utah State University Department of Statistics, Brigham Young University Faculty of Mathematics, Informatics
FDD通过几何感知的扩散方法,实现预训练Transformer嵌入在抗菌肽设计任务中的有效适应,生成低维可解释的表示以支持预测与检索。
2026-09-03 cs.LG
AlphaTuning: Quantization-Aware Parameter-Efficient Adaptation of Large-Scale Pre-Trained Language Models
NAVER CLOVA;KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);SNU AIIS(首尔大学人工智能研究所)
越来越多的人对使用参数高效微调方法来适应大规模语言模型感兴趣。然而,通过模型压缩来加速模型本身并获得更好的推理效率还没有被彻底探索。模型压缩可以提供减少内存占用、实现低精度计算以及最终实现成本有效的推断的益处。为了结合参数有效的自适应和模型压缩,我们提出了AlphaTuning,包括训练后量化的预训练语言模型和微调的量化参数的一部分,为目标任务。具体来说,AlphaTuning采用二进制编码量化,将全精度参数分解为二进制参数和一组单独的缩放因子。在自适应阶段,冻结所有任务的二进制值,同时微调下游任务的缩放因子。我们证明,AlphaTuning在应用于GPT-2和OPT时,在各种下游任务上具有竞争力,同时在4位量化下实现> 10倍的压缩比,并将可训练参数的数量减少>1,000倍。
2022-10-08 cs.CL cs.LG
Rethinking Misalignment in Vision-Language Model Adaptation from a Causal Perspective
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
针对CLIP适配中的任务与数据错位问题,本文提出因果引导的语义解耦与分类(CDC)方法,利用前门调整和Dempster-Shafer理论,有效缓解任务无关知识干扰,实验验证其有效性。
2024-11-05 cs.CL cs.CV cs.LG
Learning in the Fisher Subspace: A Guided Initialization for LoRA Fine-Tuning
Department of Computer Science(计算机科学系);Information Engineering, National Cheng Kung University(信息工程系,国立成功大学);Department of Artificial Intelligence, Chang Gung University(人工智能系,长庚大学);Department of Computer Science, National Tsing Hua University(计算机科学系,国立清华大学)
本文提出一种基于 Fisher 信息的引导初始化方法,通过利用下游数据曲率信息选择 LoRA 适应子空间,以提升微调性能。
2026-05-26 cs.LG
Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning
University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
提出SEMA方法,通过模块化适配器自动检测分布偏移并决定重用或添加适配器,实现次线性扩展,提升持续学习性能。
2025-03-27 cs.CV cs.LG
When Does Retrieval Help? A Study of In-Context Adaptation in Vision-Language-Action Models
Tulane University(杜兰大学);Aalto University(阿尔托大学)
本研究系统比较了四种检索方法在VLA模型上下文内适应中的效果,发现无一致最优方法,随机检索也有非平凡成功率,且标准检索质量指标不能可靠预测下游性能,但相关任务演示可提供可迁移信息。
2026-10-06 cs.LG