CADA: Multi-scale Collaborative Adversarial Domain Adaptation for Unsupervised Optic Disc and Cup Segmentation
University of Florida(佛罗里达大学);UNC Charlotte(北卡罗来纳大学夏洛特分校)
视网膜成像设备的多样性带来了一个重大挑战:域转移,当将在一个域上训练的深度学习模型应用于新的测试域时,会导致性能下降。在本文中,我们提出了一个多尺度输入以及多个域适配器分层应用在特征和输出空间。提出的训练策略和新的无监督域自适应框架,称为协作对抗域自适应(CADA),可以有效地克服这一挑战。多尺度输入可以减少由于网络中用于特征提取的池化层而导致的信息损失,而我们提出的CADA是一种交互式范例,通过对抗性学习和在不同网络层集成权重来呈现精致的协作自适应。特别是,为了对未标记的目标域数据进行更好的预测,我们同时通过对抗性学习来实现域不变性和模型的泛化能力,这些学习来自不同级别的网络层的多尺度输出,并在训练期间保持历史权重的指数移动平均值(EMA)。在不注释来自目标域的任何样本的情况下,编码器和解码器层中的多个对抗性损失引导提取域不变特征以混淆域分类器。同时,通过EMA的权重集成减少了自适应多重学习的不确定性。综合实验结果表明,我们的CADA模型结合多尺度输入训练,可以克服性能下降,并优于最先进的领域自适应方法分割视网膜视盘和杯从眼底图像源于REFUGE,Drishti-GS,和Rim-One-r3数据集。
2021-10-05 cs.CV cs.LG eess.IV
Latte: Collaborative Test-Time Adaptation of Vision-Language Models in Federated Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对联邦学习中视觉-语言模型测试时自适应存在的单客户端数据不足、全局记忆难个性化的问题,提出Latte框架,通过本地+外部记忆与相似度检索协同,在低开销下实现更优的去中心化自适应性能。
2025-07-29 cs.LG
Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning
Princeton University(普林斯顿大学);Nanyang Technological University(南洋理工大学)
本文提出Chain of LoRA(COLA)迭代优化框架,通过残差学习合并并重置LoRA模块,在不增加计算和内存开销的情况下弥合LoRA与全参数微调的差距,在多种模型和七个基准任务上持续优于LoRA。
2024-01-08 cs.CL cs.LG
FedCTTA: A Collaborative Approach to Continual Test-Time Adaptation in Federated Learning
1 Center for Computational \& Data Sciences, Independent University, Bangladesh;2 Curtin University;Center for Computational \& Data Sciences Independent University, Bangladesh;School of Electrical Engineering, Computing \& Mathematical Sciences (EECMS) Curtin University
FedCTTA是一种隐私保护且计算高效的联邦学习中持续测试时间适应方法,通过相似性感知聚合和最小化熵提升模型适应性与可扩展性。
2025-05-19 cs.CV cs.LG
Teamwork: Collaborative Diffusion with Low-rank Coordination and Adaptation
College of William \& Mary Williamsburg USA;College of William \& Mary
本文提出Teamwork,一种通过低秩协调与适应扩展扩散模型输入输出通道的统一方法,适用于多种生成与逆向图形任务,且无需修改原模型架构。
2025-10-07 cs.CV cs.GR cs.LG
Collaborative and Efficient Fine-tuning: Leveraging Task Similarity
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
提出CoLoRA方法,通过共享适配器和个性化适配器利用任务相似性进行协作微调,提升数据稀缺下的模型性能,并在理论和实验上验证其有效性。
2026-05-29 cs.AI cs.LG stat.ML
Skip a Layer or Loop it? Test-Time Depth Adaptation of Pretrained LLMs
Department of Computer Science, University of Maryland, College Park(计算机科学系,马里兰大学, College Park)
研究提出测试时深度自适应方法CoLa,通过MCTS为每个样本动态组合预训练LLM的层(跳过或循环),在提升推理效率和增强性能方面展现出巨大潜力。
2025-07-10 cs.LG
Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration
Sun Yat-sen University(中山大学);Accuvision Technology Co. Ltd.(Accuvision科技有限公司)
在传统的领域自适应中,一个关键的假设是存在一个完全标记的域(源),它包含与另一个未标记或几乎没有标记的域(目标)相同的标记空间。然而,在现实世界中,经常存在这样的应用场景,其中两个域都被部分标记,并且不是所有的类都在这两个域之间共享。因此,这是有意义的,让部分标记的领域相互学习,以分类所有未标记的样本在每个域下的开集设置。我们认为这个问题是弱监督开集领域自适应。为了解决这一实际问题,我们提出了协作分布对齐(CDA)方法,该方法进行双边知识转移,并协同工作,对未标记的数据进行分类,并识别离群样本。在Office基准测试和人员重新识别应用程序上的大量实验表明,我们的方法达到了最先进的性能。
2019-04-30 cs.LG stat.ML
Retrieve-then-Adapt: Retrieval-Augmented Test-Time Adaptation for Sequential Recommendation
Shenzhen Technology University(深圳技术大学);City University of Hong Kong(香港城市大学);McGill University(麦吉尔大学);Shenzhen University(深圳大学)
本文提出ReAd框架,通过检索用户偏好信号动态适应序列推荐模型,提升测试时适应性能,实验表明优于现有方法。
2026-08-17 cs.IR cs.LG
Federated Dataset Dictionary Learning for Multi-Source Domain Adaptation
CEA, List(法国原子能委员会电子与信息技术实验室);Université Paris-Saclay(巴黎-萨克雷大学)
针对联邦域适应中客户端分布偏移、部分数据无标签的问题,提出基于经验分布字典学习的FedDaDiL框架,设计隐私保护的通信与聚合机制,在多个基准上验证了其生成目标域标记数据的有效性。
2023-11-08 cs.AI cs.LG
Towards Harnessing the Collaborative Power of Large and Small Models for Domain Tasks
The Hong Kong Polytechnic University(香港理工大学);Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院);Shanghai Jiao Tong University(上海交通大学);School of Software, Tsinghua University(清华大学软件学院);AsiaInfo Technologies(亚信科技)
本文探讨了大模型与小模型协作在领域适应中的应用,分析了跨边界环境中的数据隐私、模型安全和效率挑战,并提出多目标优化问题以指导实际部署。
2026-06-28 cs.AI cs.LG
Semi-supervised Collaborative Filtering by Text-enhanced Domain Adaptation
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
数据稀疏性是推荐系统中的一个固有挑战,其中大部分数据是从用户的隐式反馈中收集的。这给设计有效的算法带来了两个困难:第一,大多数用户与系统的交互次数很少,没有足够的数据用于学习;第二,隐式反馈中不存在负样本,通常采用负采样来生成负样本。然而,这会导致许多潜在的正样本被错误标记为负样本,并且数据稀疏会加剧错误标记问题。为了解决这些困难,本文将稀疏隐式反馈的推荐问题看作一个半监督学习任务,并探索了领域自适应的方法来解决这个问题,将从密集数据中学习到的知识转移到稀疏数据中,并重点研究了最具挑战性的情况--没有用户或项目重叠。在这种极端情况下,直接对齐两个数据集的嵌入是次优的,因为两个潜在空间编码非常不同的信息。因此,我们采用域不变的文本特征作为锚点来对齐潜在空间。为了对齐嵌入,我们提取每个用户和项目的文本特征,并将它们与用户和项目的嵌入一起送入域分类器。嵌入被训练以迷惑分类器,并且文本特征被固定为锚点。通过领域自适应,将源域中的分布模式转移到目标域。由于目标部分可以通过领域自适应进行监督,我们放弃了目标数据集的负采样,以避免标签噪声。我们采用三对真实世界的数据集来验证我们的转移策略的有效性。结果表明,我们的模型显着优于现有模型。
2020-06-28 cs.IR cs.LG stat.ML
CoPL: Collaborative Preference Learning for Personalizing LLMs
Graduate School of Artificial Intelligence, POSTECH(POSTECH人工智能研究生院);Department of Computer Science and Engineering, POSTECH(POSTECH计算机科学与工程系)
提出CoPL框架,通过图协同过滤和混合LoRA专家动态平衡共享与用户特定偏好,实现高效微调与免优化泛化,显著提升个性化LLM对齐性能。
2025-09-17 cs.AI cs.IR cs.LG
Personalized Collaborative Fine-Tuning for On-Device Large Language Models
EPFL(洛桑联邦理工学院)
本文针对端侧数据稀缺与异质性问题,提出三种基于信任加权的LoRA梯度聚合协作微调方案,在降低通信开销的同时超越FedAvg和本地微调方法。
2024-08-06 cs.CL cs.LG
SpectralLoRA: Is Low-Frequency Structure Sufficient for LoRA Adaptation? A Spectral Analysis of Weight Updates
Indian Institute of Technology Roorkee(印度理工学院罗尔基分校)
本文通过频谱分析发现LoRA更新主要由低频成分主导,压缩高频系数可显著降低存储需求,同时保持模型性能。研究还揭示RoBERTa-base在频谱压缩上的优势及任务复杂性对频谱敏感性的影响。
2026-04-24 cs.CL cs.LG
Federated LoRA Fine-Tuning for LLMs via Collaborative Alignment
School of Computing & Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)
本文研究了在联邦学习环境下使用LoRA进行参数高效微调的问题,提出了一种名为CLAIR的框架,通过结构低秩加块稀疏分解来恢复共享LoRA子空间并检测污染客户端,从而在噪声情况下实现精确恢复,并在不同条件下实现稳定和一致的协作集恢复。
2026-05-20 cs.LG stat.ML
AMAQ: Adaptive Mixed-bit Activation Quantization for Collaborative Parameter Efficient Fine-tuning
UC Irvine(uci大学);VMware Research(vmware研究)
针对大模型协作训练通信开销大的问题,提出自适应混合位激活量化(AMAQ),按通道重要性分配位预算,在相同位预算下提升生成与分类准确率,并增强训练稳定性。
2025-10-07 cs.AI cs.CL cs.LG
Co-LoRA: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients
KU Leuven(库勒芬大学);Seoul National University(首尔国立大学);Sungkyunkwan University(成均馆大学)
Co-LoRA通过任务相关性感知的模型聚合和维度不变模块,实现了在异构多模态客户端上的协同模型个性化,提升了在异构场景下的性能。
2026-03-09 cs.AI cs.DC cs.LG
Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes
本研究通过受控实验发现,低秩适应(LoRA)在序列Transformer编码器微调中显著降低灾难性遗忘,且冻结背骨机制能维持任务间相似性,验证了LoRA在持续学习中的有效性。
2026-03-29 cs.LG
Collaborative Multi-source Domain Adaptation Through Optimal Transport
Université Sorbonne Paris Nord(巴黎北索邦大学);Aix-Marseille Université(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
针对多源域适应的模型适配与数据隐私挑战,提出含源域独立最优传输适配、无数据聚合的中心化协同学习双阶段的CMDA-OT框架,借目标验证子集优化适配,兼顾性能与隐私。
2024-08-19 cs.AI cs.LG
Real-Time Edge Intelligence in the Making: A Collaborative Learning Framework via Federated Meta-Learning
Arizona State University(亚利桑那州立大学)
网络边缘的许多物联网应用需要以实时的【形】方式进行智能决策。然而,边缘设备由于其有限的计算资源和有限的本地数据,通常无法单独实现实时的【形】边缘智能。为了应对这些挑战,我们提出了一个平台辅助的协作学习框架,其中模型首先通过联邦元学习方法在一组源边缘节点上进行训练,然后快速适应学习目标边缘节点上的新任务,仅使用少量样本。此外,我们研究了所提出的联邦元学习算法的收敛性在温和的条件下的节点相似性和适应性能在目标边缘。针对元学习算法在对抗攻击中的脆弱性,提出了一种基于分布式鲁棒优化的联邦元学习算法,并证明了该算法在较弱条件下的收敛性.在不同数据集上的实验表明了所提出的联邦元学习框架的有效性。
2020-05-08 cs.LG stat.ML
CL3: A Collaborative Learning Framework for the Medical Data Ensuring Data Privacy in the Hyperconnected Environment
Charles Sturt University(查尔斯斯特大学);School of Computing Mathematics Engineering(计算、数学与工程学院)
本文提出CL3合作学习框架,融合迁移学习、联邦学习和增量学习,在保护医疗数据隐私的同时实现COVID-19胸部X光检测,使用Xception模型经六轮联邦训练达到89.99%的全局准确率。
2024-10-17 cs.LG
Federated Low-Rank Adaptation for Foundation Models: A Survey
University of Technology Sydney(技术大学悉尼大学);CSIRO’s Data61(CSIRO的数据61);The Hong Kong Polytechnic University(香港理工大学)
本综述系统梳理了将低秩适配(LoRA)整合进基础模型联邦微调(FedLoRA)的研究,聚焦分布式学习、异构性和效率三大挑战,并展望未来方向。
2025-05-16 cs.LG
Concept drift detection and adaptation for federated and continual learning
Universidade da Coruña(拉科鲁尼亚大学);Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
智能设备(如智能手机、可穿戴设备、机器人等)可以从其环境中收集大量数据。这些数据适用于训练机器学习模型,可以显著改善其行为,从而改善用户体验。联邦学习是一个年轻而流行的框架,它允许多个分布式设备协同训练深度学习模型,同时保护数据隐私。然而,这种方法可能不是最佳的情况下,数据分布是不相同的参与者或随着时间的推移而变化,导致所谓的概念漂移。虽然在这方面的研究还很少,但这种情况在现实生活中非常常见,并对持续学习和联邦学习提出了新的挑战。因此,在这项工作中,我们提出了一种新的方法,称为概念漂移感知联邦平均(CDA-FedAvg)。我们的建议是最流行的联邦算法,联邦平均(FedAvg)的扩展,增强其持续适应下的概念漂移。我们经验证明常规FedAvg的弱点,并证明CDA-FedAvg在这种情况下优于它。
2021-07-15 cs.LG
When Test-Time Adaptation Meets Self-Supervised Models
Korea University(韩国大学);NAVER AI Lab(NAVER AI实验室)
本文研究测试时适应(TTA)在不依赖源预训练时对自监督学习(SSL)模型的持续改进能力,提出整合SSL与TTA的协作学习框架,利用对比学习和知识蒸馏逐步优化表示,在多个基准上验证了无需源预训练即可取得竞争力的性能。
2025-06-30 cs.CV cs.LG
One-Shot Federated Unsupervised Domain Adaptation with Scaled Entropy Attention and Multi-Source Smoothed Pseudo Labeling
University of Windsor(温莎大学)
针对联邦域适应中的数据隐私、域偏移和多轮通信开销问题,提出单轮FUDA方法,通过SEA聚合可靠模型并结合MSPL与SSCE生成、净化伪标签,在四个基准上以更低成本超越现有方法。
2025-03-13 cs.CV cs.LG
Cross-domain Recommendation via Deep Domain Adaptation
Yahoo Japan Corporation(雅虎日本公司);The University of Tokyo(东京大学)
用户在某些服务中的行为可能是一个线索,可以用来推断他们的偏好,并可以用来为他们从未使用过的其他服务提供建议。然而,项目和用户消费模式之间的跨域关系并不简单,特别是当跨域的公共用户和项目很少或根本没有时。为了解决这个问题,我们提出了一个基于内容的跨域推荐方法的冷启动用户,不需要用户和项目重叠。我们制定的极端多类分类的标签(项目)对应于用户的预测推荐。利用该公式,问题被简化为领域自适应设置,其中在源域中训练的分类器被适配到目标域。为此,我们构建了一个神经网络,它结合了领域自适应的架构,域分离网络,与去噪自动编码器的项目表示。我们评估我们的方法在实验中的性能对从电影和新闻服务的雅虎收集的数据集!JAPAN和表明,我们的方法优于几个基线方法,包括跨域协同过滤方法。
2018-03-08 cs.CL cs.IR cs.LG
Domain-Generalized Adaptive Semantic Communication for Collaborative Perception
Tsinghua University(清华大学)
提出域泛化语义通信框架RSTA,通过跨域原型对齐等技术解决车路协同感知中观测域偏移与信道损坏耦合退化问题,在多基准测试中取得AP指标提升且部署开销极低。
2026-08-04 cs.LG eess.IV eess.SP
ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对动态边缘环境下的模型适应问题,提出边云协同学习框架ECLM,通过块级模型分解设计派生任务子模型并实现知识回传,显著提升了模型性能与资源效率。
2023-11-18 cs.AI cs.DC cs.LG
Learning from Distributed Eyes: Leveraging Collaborative Perception for Automated Model Adaptation
City University of Hong Kong(香港城市大学);Lingnan University(岭南大学)
针对自动驾驶中感知模型因域偏移难以泛化的问题,提出LDE框架,利用协同感知生成高质量伪标签,通过特征共享、视野过滤和课程学习策略,在3D目标检测上优于现有方法。
2026-09-17 cs.CV cs.LG
Implicit Bayes Adaptation: A Collaborative Transport Approach
North Carolina State University(北卡罗来纳州立大学);US Army Research Office(美国陆军研究办公室)
本文提出一种隐式贝叶斯框架下的最优传输领域自适应方法,通过细化欧几里得度量为测地距离并引入源数据先验聚类结构,提升无监督领域自适应的鲁棒性和性能。
2023-04-17 cs.LG eess.IV
Collaborative Personalized Preference Alignment for LLMs under Data Deficiency
City University of Hong Kong(香港城市大学);University of Washington(华盛顿大学);The Hong Kong University of Science and Technology(香港科技大学)
针对数据不足下用户偏好异质导致的梯度冲突,提出近似帕累托最优性(APO)方法,通过分组和受控上升学习共享初始化,实现少样本个性化对齐,实验验证其有效性。
2026-10-06 cs.LG
Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);Columbia University(哥伦比亚大学);University of Rochester(罗切斯特大学);Rice University(莱斯大学);University of Virginia(弗吉尼亚大学);PyTorch Foundation(PyTorch基金会);Linux Foundation(Linux基金会);Augusta University(奥古斯塔大学)
本文提出DP-LoRA算法,通过Gaussian机制和低秩适配解决大语言模型联邦微调中的隐私与通信开销问题,在医疗、金融等数据集上有效保障隐私并降低通信成本。
2024-06-02 cs.CR cs.LG