Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立综合理工学院、信息与地理实验室）；Savoye（萨瓦亚）
研究受自然语言处理中大型语言模型突破启发，探讨基础模型用于时间序列预测，回顾其架构、预训练策略等，研究预训练后微调选定基础模型，实证结果表明微调可提高预测精度
2026-07-28 cs.LG
Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）
本文提出 LoRA Recycle 框架，利用预调优 LoRA 逆向生成替代数据并蒸馏 meta-LoRA，使视觉基础模型无需调优即可单次前向完成少样本任务。
2024-12-03 cs.AI cs.CV cs.LG
Improving Medical Report Generation with Adapter Tuning and Knowledge Enhancement in Vision-Language Foundation Models
Peng Cheng Lab（鹏城实验室）
本文基于 BLIP-2 引入适配器微调与医学知识增强损失，在 ImageCLEFmedical 2023 上以 ROUGE、CIDEr 的显著提升实现低资源医学报告生成的最优平均性能。
2023-12-07 cs.AI cs.CE cs.CV
Wasserstein Equilibrium Decoding for Reliable Medical Visual Question Answering
Friedrich-Alexander University Erlangen-Nürnberg（弗里德里希-亚历山大厄林根-纽伦堡大学）；Imperial College London（伦敦帝国理工学院）；University College London（伦敦大学学院）
本文提出了一种基于Wasserstein距离的均衡解码方法，用于改进医疗视觉问答系统，通过语义感知的停止准则提高解码效率和准确性，同时在VQA-RAD和PathVQA数据集上实现了显著的性能提升。
2026-06-16 cs.AI cs.CV
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
针对脑语言理解泛化难问题，提出RABBiT紧凑音频-fMRI编码器，依托脑调优等创新实现跨被试跨场景语音诱发脑响应的高精度零/少样本预测，支撑规模化脑语言分析。
2026-07-07 cs.CL
Advanced Black-Box Tuning of Large Language Models with Limited API Calls
本文提出了一种基于高斯过程替代模型的高级黑盒调优方法，通过减少API调用次数提升大语言模型的准确性。
2025-12-16 cs.AI
Efficient Fine-Tuning of Single-Cell Foundation Models Enables Zero-Shot Molecular Perturbation Prediction
Genentech（基因泰克）
本研究提出药物条件适配器对单细胞基础模型进行高效微调（训练参数不足1%），实现新药物响应预测及对未见细胞系的零样本泛化，并在多项评估中取得最先进结果。
2025-04-10 cs.LG q-bio.QM
FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出 FedEx-LoRA，通过在冻结权重矩阵中添加残差误差项，解决联邦学习中 LoRA 适配器传统联邦平均导致的不精确更新问题，在最小开销下实现精确聚合，并在多任务上取得一致性能提升。
2025-06-30 cs.CL cs.CV cs.DC
Fused Gromov-Wasserstein distance for structured objects: theoretical foundations and mathematical properties
Univ. Bretagne-Sud（南布列塔尼大学）；CNRS（法国国家科学研究中心）；IRISA（法国信息与自动化研究所）；Univ. Côte d’Azur（蔚蓝海岸大学）；OCA（尼斯天文台）；Lagrange（拉格朗日实验室）；Univ. Rennes（雷恩大学）；LETG（地理环境与社会跨学科研究中心）
最优传输理论最近在机器学习中发现了许多应用，这要归功于其比较被视为分布的各种机器学习对象的能力。康托洛维奇公式，导致瓦瑟斯坦距离，侧重于对象的元素的特征，但独立地对待它们，而格罗莫夫-瓦瑟斯坦距离只关注元素之间的关系，描绘了对象的结构，但丢弃了它的特征。在本文中，我们建议扩展这些距离，以便同时编码的特征和结构信息，在融合Gromov-瓦瑟斯坦距离的结果。我们开发的数学框架，这种新的距离，证明其度量和插值性质，并提供了一个浓度的结果，有限样本的收敛性。我们还说明和解释它的使用在各种情况下，涉及结构化对象。
2018-11-07 cs.LG stat.ML
Measuring Time-Series Dataset Similarity using Wasserstein Distance
Dolby Labs（多利贝实验室）；Adobe Research（Adobe研究）
针对时间序列基础模型研究中数据集相似性度量的需求，提出基于Wasserstein距离的分布式度量方法，经实验验证可有效识别相似数据集并高相关度估计基础模型推理性能。
2025-07-29 cs.AI cs.LG
Reward-guided Fine-Tuning of One-Step Generative Models via Wasserstein Gradient Flow
Sungkyunkwan University（成均馆大学）；Korea Institute for Advanced Study（韩国高等研究院）
针对单步生成模型奖励引导微调未被充分探索的问题，本文从最优传输视角研究Wasserstein梯度流，提出无需奖励梯度的新型奖励引导微调方法，在多数据集多奖励任务上实现了更优奖励对齐效果。
2026-09-01 cs.LG
Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）；University of Southern California（南加州大学）
针对连续流型生成模型微调面临的策略崩溃和计算成本问题，提出ORW-CFM-W2方法，通过集成RL与Wasserstein-2正则化，实现无需奖励梯度的微调，平衡探索与利用，在多任务上验证了有效性。
2025-02-09 cs.AI cs.CV cs.LG
Equivalence Between Wasserstein and Value-Aware Loss for Model-based Reinforcement Learning
Brown University（布朗大学）；Cornell Tech（康奈尔科技校区）
生成模型的学习是基于模型的强化学习的关键组成部分。虽然在表格设置中学习一个好的模型是一项简单的任务，但在近似设置中学习一个有用的模型是具有挑战性的。在这种情况下，一个重要的问题是用于模型学习的损失函数，因为改变损失函数可以对规划的有效性产生显著影响。最近，Farahmand et al.（2017）提出了一种值感知模型学习（VAML）目标，该目标在模型学习期间捕获价值函数的结构。使用Asadi et al.（2018）的工具，我们证明了最小化VAML目标实际上等同于最小化Wasserstein度量。这种等价性加深了我们对值感知模型的理解，也为Wasserstein在基于模型的强化学习中的应用奠定了理论基础。
2018-07-08 cs.AI cs.LG stat.ML
TabTune: A Unified Library for Inference and Fine-Tuning Tabular Foundation Models
Lexsi Labs（Lexsi实验室）
TabTune是一个统一库，通过单一接口标准化表格基础模型的完整工作流程，支持多种适应策略并提升评估一致性。
2025-12-02 cs.AI cs.LG
Parameter-Efficient Fine-Tuning for Foundation Models
Tsinghua University（清华大学）
本综述系统梳理了基础模型中参数高效微调（PEFT）的技术分类、核心机制、最新应用及未来方向，为新手和专家提供了全面参考。
2025-01-23 cs.AI cs.CL cs.LG
TuneComp: Joint Fine-tuning and Compression for Large Foundation Models
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出TuneComp方法，通过在下游任务指导下将模型逐步蒸馏为剪枝后的低秩结构，实现联合微调与压缩，显著优于传统顺序压缩方法并避免了性能损失。
2025-05-27 cs.AI cs.LG
Portable Reward Tuning: Towards Reusable Fine-Tuning across Different Pretrained Models
NTT Computer and Data Science Laboratories, NTT Corporation（NTT公司计算机与数据科学实验室）；NTT Human Informatics Laboratories, NTT Corporation（NTT公司人类信息学实验室）；Data Science Laboratories, NTT Corporation（NTT公司数据科学实验室）
本文提出可移植奖励调优（PRT），将微调重构为奖励最大化并显式训练可复用奖励模型，从而在更换基础模型时避免重复微调，并以更低推理成本达到与推理时调优相当的准确率。
2025-02-18 cs.AI cs.LG stat.ML
Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning
Automatic Control Lab, ETH Zürich, Switzerland（苏黎世联邦理工学院自动控制实验室）；Operations Research and Information Engineering, Cornell University, USA（康奈尔大学运筹学与信息工程）
本文针对高维线性回归中的分布鲁棒优化问题，利用高维渐近统计将估计误差刻画为仅含四个标量的凸凹优化问题，从而实现与交叉验证等效但计算成本极低的最优鲁棒半径选择。
2025-05-03 cs.IT cs.LG math.IT
Fine-Tuning Generative Models for Extreme Events via CVaR-Penalized Wasserstein Gradient Flows
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
该研究提出CVaR-GPA算法，通过CVaR惩罚的Wasserstein梯度流微调生成模型，无需先验尾部知识，在多类重尾分布及真实数据集上显著提升了生成模型的全局与尾部精度。
2026-10-05 cs.LG stat.ML
Prompt Tuning Strikes Back: Customizing Foundation Models with Low-Rank Prompt Adaptation
Rice University（莱斯大学）；UT Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对传统提示调优性能弱、PEFT方法需服务器存储适配器的问题，提出低秩提示适配LoPA，通过软提示低秩分解兼顾性能与参数效率，在多类任务和不同规模基础模型上验证了效果。
2024-10-31 cs.AI cs.LG
WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps
本文提出WTF框架，通过最优传输正则化将奖励微调转化为确定性最优控制问题，实现无模拟强化学习，在少步推理下提升奖励并减少280倍训练计算。
2026-10-14 cs.CV cs.LG stat.ML
FedPFT: Federated Proxy Fine-Tuning of Foundation Models
Xiamen University（厦门大学）；Griffith University（格里菲斯大学）；Lanzhou University（兰州大学）
本文提出FedPFT方法，通过逐层压缩构建子基础模型和层级、神经元级两步蒸馏对齐，在联邦学习中实现更全面、低误差的基础模型微调，并在多个文本和视觉数据集上验证了其优越性。
2024-04-28 cs.AI cs.LG
Shape-of-You: Fused Gromov-Wasserstein Optimal Transport for Semantic Correspondence in-the-Wild
本文提出Shape-of-You框架，通过融合Gromov-Wasserstein优化传输解决语义对应问题，利用3D基础模型提升几何结构一致性，通过软目标损失增强鲁棒性，在SPair-71k和AP-10k数据集上取得新突破。
2026-03-16 cs.CV cs.LG
FedPEAT: Convergence of Federated Learning, Parameter-Efficient Fine Tuning, and Emulator Assisted Tuning for Artificial Intelligence Foundation Models with Mobile Edge Computing
Nanyang Technological University（南洋理工大学）
本文提出融合 PEFT、模拟器辅助调优与联邦学习的 FedPEAT 框架，利用适配器、紧凑模拟器和深度强化学习优化超参数，以提升基础模型微调的隐私性与内存效率。
2024-02-28 cs.LG cs.NI
Physics-informed fine-tuning of foundation models for partial differential equations
Fraunhofer Institute for Integrated Systems and Device Technology（弗劳恩霍夫整合系统与器件技术研究所）
本文提出一种结合物理约束的微调方法，用于适应偏微分方程基础模型，提升数据稀缺情况下模型的物理一致性和泛化能力。
2026-03-16 cs.AI cs.LG cs.NA
A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models
Tsinghua University（清华大学）；Beijing Information Science and Technology University（北京信息科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对MoE-LoRA微调鲁棒性低的问题，受黎曼预条件子启发，提出多空间投影训练策略，在SGD和AdamW上验证有效。
2025-02-20 cs.AI cs.LG
Generalized Prompt Tuning: Adapting Frozen Univariate Time Series Foundation Models for Multivariate Healthcare Time Series
Carnegie Mellon University（卡内基梅隆大学）
本文提出广义提示微调（Gen-P-Tuning），在冻结单变量时间序列基础模型的前提下，通过跨通道信息融合适配多变量医疗时间序列预测，并在MIMIC分类和流感样疾病预测任务上验证其有效性。
2024-11-19 cs.LG
Domain-Aware Fine-Tuning of Foundation Models
Bosch Center for AI（博世人工智能中心）；University of Tübingen（蒂宾根大学）；University of Mannheim（曼海姆大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对基础模型域偏移下性能研究不足的问题，本文提出名为Domino的域自适应归一化方法，通过微调时引入领域嵌入让模型具备领域感知能力，提升模型对未见领域的零样本域适应效果。
2024-07-10 cs.AI cs.CV cs.LG
KnowsTFM: Knowledge-Informed Fine-Tuning of Small Tabular Foundation Models
Jožef Stefan Institute and Postgraduate School（乔塞夫·斯蒂芬研究所和研究生学院）；Department of Computer Science and Technology, University of Cambridge, UK（剑桥大学计算机科学与技术系）；Télécom Paris, Institut Polytechnique de Paris, FR（巴黎电信学院，巴黎理工学院）
针对专业领域数据稀缺且分布偏移的问题，提出通过知识图谱结构先验和参数高效低秩更新微调小型表格基础模型，在专业任务上取得显著提升。
2026-06-29 cs.AI cs.LG
Iterative Foundation Model Fine-Tuning on Multiple Rewards
Biogen（百健）
本文提出一种基于强化学习的迭代微调方法，利用多重奖励信号优化基础模型，泛化了现有RL方法，并在文本、生物序列和小分子生成等多领域实验中验证了其有效性。
2025-10-31 cs.LG
A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning
University of Florida（佛罗里达大学）
本综述全面回顾了联邦学习环境中参数高效微调（PEFT）技术的整合，将现有方法分为加性、选择性和重参数化三大类，分析了它们如何应对数据异构性、通信效率等联邦挑战，并探讨了未来研究方向。
2025-04-29 cs.AI cs.LG
Benchmarking Image Embeddings for E-Commerce: Evaluating Off-the Shelf Foundation Models, Fine-Tuning Strategies and Practical Trade-offs
Adevinta（阿德温塔公司）
本文系统评测了电子商务场景下多种基础模型图像嵌入在分类与检索任务中的表现，发现全量微调稳健但top-tuning能以更低计算成本达到相近性能，并为嵌入选择与微调策略提供了实用指南。
2025-04-10 cs.AI cs.CE cs.CV
Orchestration of Emulator Assisted Mobile Edge Tuning for AI Foundation Models: A Multi-Agent Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）
本文提出将移动边缘计算与基础模型融合，通过Emulator-Adapter架构和混合多智能体深度强化学习策略，实现去中心化场景下动态最优资源分配，兼顾计算效率与任务性能。
2023-10-26 cs.AI cs.DC cs.LG
ExChanGeAI: An End-to-End Platform and Efficient Foundation Model for Electrocardiogram Analysis and Fine-tuning
Institute of Medical Informatics, University Münster, Germany（医学信息学研究所，穆斯特大学，德国）；Clinic for Cardiology II: Electrophysiology, University Hospital Münster, Germany（心脏病学二诊所：电生理学，穆斯特大学医院，德国）
ExChanGeAI是一个端到端平台，提供高效的心电图基础模型CardX，支持从头训练和微调，适用于多种计算环境，且在性能和资源消耗上优于现有模型。
2025-03-17 cs.AI cs.LG
Enhancing Data Quality in Federated Fine-Tuning of Foundation Models
University of Cambridge（剑桥大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Flower Labs
针对基础模型联邦微调中不共享私有数据的本地训练场景下数据质量控制难的问题，提出一种计算数据质量分数并设全局阈值的控制流水线，可提升训练有效性与模型性能。
2024-03-07 cs.AI cs.DC cs.LG
Exploring Fine-Tuning for Tabular Foundation Models
Lexsi Labs（Lexsi实验室）
本文研究了表格基础模型在不同数据集上的微调效果，发现零样本性能已较强，而微调效果依赖于模型和数据特性，提出了基于不同方法的实践指导。
2026-01-14 cs.LG
Decision-Focused Fine-Tuning of Time Series Foundation Models for Dispatchable Feeder Optimization
Institute for Automation and Applied Informatics (IAI), Karlsruhe Institute of Technology (KIT)（自动化与应用信息技术研究所（IAI），卡尔斯鲁厄理工学院）；Institute of Biological and Chemical Systems (IBCS), Karlsruhe Institute of Technology (KIT)（生物与化学系统研究所（IBCS），卡尔斯鲁厄理工学院）；Scientific Computing Center (SCC), Karlsruhe Institute of Technology (KIT)（科学计算中心（SCC），卡尔斯鲁厄理工学院）
本研究提出在时间序列基础模型Moirai上采用决策聚焦微调，以优化可调度馈线问题，相比预测聚焦微调，平均每日总成本降低9.45%。
2025-03-03 cs.AI cs.LG stat.ML
ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs
Newton AI Lab（牛顿人工智能实验室）；School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（电气工程学院，韩国科学技术院）
ARD-LoRA通过动态秩分配提升基础模型微调效率，实现参数高效且适应性更强的模型调整。
2025-06-23 cs.AI cs.LG
Long-Tail Learning with Foundation Model: Heavy Fine-Tuning Hurts
Nanjing University（南京大学）；Southeast University（东南大学）
本文揭示重度微调会因类条件不一致损害尾部类别性能，提出自适应轻量级微调算法LIFT，在减少训练时间与参数的同时提升了预测准确率。
2024-06-01 cs.CV cs.LG
Zeus: Towards Tuning-Free Foundation Model for Time Series Analysis
提出统一无调优时间序列基础模型Zeus，通过多尺度Transformer和Multi-Objective Temporal Masking策略，在无需任务特定调优下实现多种分析任务的优异性能。
2026-07-03 cs.LG
RoFt-Mol: Benchmarking Robust Fine-Tuning with Molecular Graph Foundation Models
Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
RoFt-Mol通过结合简单权重插值与复杂权重集合微调方法，提升分子图基础模型在回归和分类任务中的鲁棒微调性能。
2025-12-11 cs.LG physics.chem-ph
Causal Data Augmentation for Robust Fine-Tuning of Tabular Foundation Models
Department of Computer Science University of Freiburg（计算机科学系弗赖堡大学）；University of Freiburg（弗赖堡大学）；Prior Labs ELLIS Institute Tübingen University of Freiburg（Prior实验室ELLIS研究所弗赖堡大学）
CausalMixFT通过因果模型生成合成数据提升表格基础模型在低数据环境下的微调鲁棒性和性能。
2026-01-20 cs.LG
You Don't Need All Attentions: Distributed Dynamic Fine-Tuning for Foundation Models
Michigan Technological University（密歇根理工大学）；Clemson University（克莱姆森大学）；George Mason University（乔治梅森大学）
针对基础模型微调因模型规模大导致商业设备内存带宽不足、现有分布式方法计算成本高且负载不平衡的问题，提出D2FT框架，通过选择策略减少注意力模块计算量并优化负载，在多数据集上实现计算成本降40%、通信成本降50%且准确率仅降1%-2%，还可扩展至LoRA。
2025-04-16 cs.DC cs.LG cs.PF
Hazards from Increasingly Accessible Fine-Tuning of Downloadable Foundation Models
Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；UK AI Safety Institute（英国人工智能安全研究所）；University of Cambridge（剑桥大学）
本文论证可下载基础模型日益便捷的微调可能增加危害，通过分析降低计算成本与分摊成本的研究，指出其助长恶意使用并增加监管难度，强调亟需制定缓解措施。
2023-12-22 cs.CY cs.LG
Semi-Supervised Fine-Tuning of Vision Foundation Models with Content-Style Decomposition
University of Geneva（日内瓦大学）
本文提出一种基于内容-风格分解的半监督微调方法，在信息论框架下增强视觉基础模型的潜在表示，以应对标注数据有限和分布偏移问题，并在多个数据集上验证了其在低标注场景下优于有监督微调基线。
2024-10-04 cs.CV cs.LG
Refining embeddings with fill-tuning: data-efficient generalised performance improvements for materials foundation models
IBM Research Europe（IBM欧洲研究院）
本文提出 fill-tuning 方法，通过潜空间粗糙度分析选择少量数据修正嵌入缺陷，使材料基础模型仅用100个数据点就在所有下游任务上提升近1%，且避免微调损害分布外性能。
2025-02-19 cs.CE cs.LG
MatterTune: An Integrated, User-Friendly Platform for Fine-Tuning Atomistic Foundation Models to Accelerate Materials Simulation and Discovery
Georgia Institute of Technology（佐治亚理工学院）
针对原子机器学习模型数据需求高、难以应用于数据稀疏问题的局限，本文提出MatterTune平台，通过集成原子基础模型并提供先进微调能力，降低应用门槛，加速材料模拟与发现。
2025-04-14 cond-mat.mtrl-sci cs.AI cs.LG
Graph Adapter of EEG Foundation Models for Parameter Efficient Fine Tuning
The University of Tokyo（东京大学）；Digital Hospital, Inc.（数字医院公司）
针对EEG诊断中基础模型微调成本高、数据有限的问题，提出EEG-GraphAdapter（EGA）参数高效微调方法，通过集成GNN模块到预训练时间骨干模型并仅微调适配器，在MDD和TUAB任务上F1分数较BENDR提升达16.1%。
2025-02-18 cs.AI cs.LG eess.SP
Foundation Models at Work: Fine-Tuning for Fairness in Algorithmic Hiring
IBM Research（IBM研究院）
针对基础模型微调依赖高成本人工反馈的问题，提出AutoRefine方法，借助下游任务性能反馈的强化学习实现针对性微调，在算法招聘场景中可有效检测调控职位描述偏见、提升招聘公平性。
2025-01-13 cs.LG
Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting
AI Engineering Team, SpassMed Inc.（SpassMed公司人工智能工程团队）
本文研究LoRA对Lag-Llama、MOIRAI和Chronos等时间序列基础模型的微调效果，用于ICU脓毒症患者生命体征的域外模态预测，实验表明其性能可与从头训练的最先进模型相媲美，并通过消融研究揭示了可调参数量、LoRA秩与性能之间的权衡。
2024-05-16 cs.AI cs.LG eess.SP
SIFT: Enhancing Time Series Foundation Models via Semantic Invariance and Structural Fidelity Fine-Tuning
针对时间序列基础模型微调中的过拟合和均值预测陷阱，提出SIFT方法，通过语义不变对抗增强和结构保真增强，在10个数据集上显著提升模型性能。
2026-09-29 cs.LG
Collaborative and Efficient Fine-tuning: Leveraging Task Similarity
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
提出CoLoRA方法，通过共享适配器和个性化适配器利用任务相似性进行协作微调，提升数据稀缺下的模型性能，并在理论和实验上验证其有效性。
2026-05-29 cs.AI cs.LG stat.ML
Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出 FineSSL，通过平衡间隔 softmax 与解耦标签平滑微调基础模型以消除偏差，在多个 SSL 基准上达到新最优并降低逾六倍训练成本。
2024-05-20 cs.LG
Proxy-FDA: Proxy-based Feature Distribution Alignment for Fine-tuning Vision Foundation Models without Forgetting
Apple（苹果公司）
提出Proxy-FDA正则化方法，通过最近邻图和信息代理在预训练与微调特征空间间进行特征分布对齐，显式保留结构知识，显著减少视觉基础模型微调中的概念遗忘。
2025-05-30 cs.CV cs.LG
