MoS: Unleashing Parameter Efficiency of Low-Rank Adaptation with Mixture of Shards
针对LoRA微调中多定制模型并存导致的参数与显存开销问题,本文提出MoS,通过层间/层内分片共享及四种近零成本差异化策略,在标准LoRA设置下实现约8倍参数节省。
2025-02-15 cs.LG
Cost-Penalized Fitness in FMA-Orchestrated Mixture of Experts: Experimental Evidence for Molecular Memory in Domain Adaptation
Department of Electricity and Electronics, University of Valladolid(巴利亚多利德大学电子与电气工程系)
本文通过纳米FMT实验探讨了在数据分布变化时,MoE系统如何通过多样化而非替换积累领域专业知识,展示了分子记忆效应带来的高效领域迁移能力。
2026-04-01 cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich(慕尼黑技术大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);University of Cambridge(剑桥大学)
针对现有PEFT未利用MoE动态路由的问题,提出在适配模块中融入路由机制,并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率,给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
Mixture Weight Estimation and Model Prediction in Multi-source Multi-target Domain Adaptation
Pennsylvania State University(宾夕法尼亚州立大学);Google DeepMind(谷歌DeepMind)
本文针对多源多目标域适应,提出混合权重估计的凸-非凹极小极大随机算法,并利用过参数化神经网络预测目标模型,避免逐个求解ERM,同时给出在线算法与遗憾保证。
2023-11-12 cs.LG
Stick-Breaking Mixture Normalizing Flows with Component-Wise Tail Adaptation for Variational Inference
Department of Statistics(统计系);Seoul National University(首尔国立大学)
提出StiCTAF方法,通过stick-breaking混合基与分量级尾部自适应,解决归一化流在后验近似中难以捕捉多模态和重尾的问题,实现准确模式覆盖与尾部建模。
2025-10-09 cs.LG stat.ML
FRAME: Learning the Adaptation Domain with a Mixture of Fractional-Fourier Experts
University of California, Irvine(加州大学尔湾分校);University of Washington(华盛顿大学)
提出分数阶傅里叶专家混合适配器,通过可学习的分数阶在空间域与傅里叶域间连续插值,使每个低秩更新位于最紧凑的域,专家自然去相关,减少干扰并提升多任务组合性能。
2026-07-02 cs.LG
Evaluation of concept drift adaptation for acoustic scene classifier based on Kernel Density Drift Detection and Combine Merge Gaussian Mixture Model
Okayama University(冈山大学)
根据实验结果,所有的概念漂移类型都有各自的超参数配置。简单概念漂移和渐进概念漂移具有相似的模式,其所需的α值小于重复概念漂移,因为在这种类型的漂移中,新概念不断出现,因此需要高频模型自适应。然而,在重复出现的概念中,新的概念可能在未来重复出现,因此较低的频率适应更好。此外,高频模型自适应可能导致过拟合问题。实现CMGMM组件剪枝机制有助于控制活跃组件的数量,提高模型性能。
2021-05-27 cs.LG cs.SD eess.AS
Online Multi-Source Domain Adaptation through Gaussian Mixtures and Dataset Dictionary Learning
Université Paris-Saclay(巴黎-萨克雷大学);CEA, List(法国原子能和替代能源委员会List研究所);Ecole Centrale de Lyon(里昂中央理工学院)
针对流式目标域的在线多源域适应问题,提出基于Wasserstein几何的在线高斯混合模型与数据集字典学习新方法,在Tennessee Eastman Process基准上实现实时适应并作为数据流记忆。
2024-07-29 cs.LG stat.ML
DuplexTune: Coupled-State Replay for Memory-Efficient Mixture-of-Experts Adaptation
Texas A&M University-Commerce(德州农工大学 Commerce 分校);Michigan State University(密歇根州立大学)
DuplexTune是一种耦合状态重放框架,通过宽度桥接层实现混合专家模型的内存高效适配,在Qwen1.5-MoE-A2.7B上较检查点微调降低峰值内存、提升吞吐量,仅多语言分数略逊于基线。
2026-10-28 cs.AI cs.LG
Multiple-Source Adaptation for Regression Problems
EECS, UC Berkeley(加州大学伯克利分校电气工程与计算机科学系);Courant Institute, NYU(纽约大学柯朗研究所);Google Research(谷歌研究院)
我们提出了一个详细的理论分析的问题,多源适应一般的随机情况下,扩展已知的结果,假设一个单一的目标标签功能。我们的研究结果涵盖了一个更现实的情况下,并显示存在一个单一的强大的预测准确的\emph{any}目标混合源分布。此外,我们提出了一个有效的和实用的优化解决方案,以确定在平方损失的重要情况下的鲁棒预测,通过铸造的问题作为一个DC-编程的实例。我们报告的结果与人工任务和情感分析任务的实验。我们发现,我们的算法优于竞争的方法,产生一个单一的强大的模型,表现良好的任何目标混合物分布。
2017-11-14 cs.LG
GMM-COMET: Continual Source-Free Universal Domain Adaptation via a Mean Teacher and Gaussian Mixture Model-Based Pseudo-Labeling
Institute of Signal Processing and System Theory, University of Stuttgart(信号处理与系统理论研究所,斯图加特大学)
GMM-COMET通过均值教师和高斯混合模型伪标签方法,实现连续源无关通用领域适应,提升长序列适应的稳定性与鲁棒性。
2026-01-16 cs.CV cs.LG
Mixture-of-Subspaces in Low-Rank Adaptation
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯AI实验室)
本文提出受子空间启发的MoSLoRA方法,通过联合学习混合器与原始LoRA权重以灵活融合等效分解的子空间,在多模态任务上始终优于LoRA。
2025-03-02 cs.AI cs.LG
MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning
Tsinghua University(清华大学);Shanghai University of Finance and Economics(上海财经大学)
针对多任务场景下MoLoRA训练慢、参数利用率低等问题,提出采用非对称优化的MALoRA微调框架,可减少参数、提升训练速度,在多类任务中性能优于基线方法。
2024-10-30 cs.CL cs.LG
TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models
Anhui University(安徽大学);Hefei University(合肥大学);University of Science and Technology of China(中国科学技术大学)
TalkLoRA通过引入专家间通信机制,提升LoRA在大语言模型中的参数效率和路由稳定性,实现在多种任务中更高效和均衡的专家路由。
2026-04-07 cs.AI cs.LG
Don't Retrain, Remix: Adaptation of Web Agents using Mixture Hypernetworks
Kahlert School of Computing, University of Utah(犹他大学卡勒特计算学院)
该研究提出WebMix混合超网络,通过组合预训练低秩适配器使Web智能体适配新界面,无需梯度更新,在TimeWarp、WebArena-Lite-v2等任务中优于或媲美基线方法。
2026-10-19 cs.LG
MoEMeta: Mixture-of-Experts Meta Learning for Few-Shot Relational Learning
The University of Sydney, Australia(悉尼大学);Peking University, China(北京大学)
MoEMeta通过混合专家模型和任务定制适应机制,提升少样本关系学习的泛化与适应能力。
2026-01-12 cs.AI cs.LG
Optimal Transport for Domain Adaptation through Gaussian Mixture Models
Université Paris-Saclay, CEA, List(巴黎-萨克雷大学、CEA、List)
本研究提出基于高斯混合模型的最优传输方法,用于高效的无监督域自适应,在9个基准的85个任务上验证了其优于浅层方法且可扩展。
2025-07-08 cs.AI cs.LG stat.ML
AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning
Purdue University(普渡大学);Microsoft(微软);Microsoft Research(微软研究院)
针对下游任务的大型预训练语言模型(PLM)的标准微调需要更新数亿到数十亿个参数,并为每个任务存储PLM权重的大副本,从而导致存储、共享和服务模型的成本增加。为了解决这个问题,引入了参数高效微调(PEFT)技术,其中将小的可训练组件注入PLM中并在微调期间更新。我们提出AdaMix作为一种通用的PEFT方法,它可以调整每个Transformer层中引入的自适应模块的混合-给定选择的底层PEFT方法-同时保持大多数PLM权重冻结。例如,AdaMix可以利用像Houlsby这样的适配器的混合或像LoRA这样的低秩分解矩阵的混合,来改善完全监督和Few-Shot NLU和NLG任务的相应PEFT方法的下游任务性能。此外,我们设计AdaMix,使其匹配相同的计算成本和可调参数的数量作为底层PEFT方法。通过仅调整0.1-0.2%的PLM参数,我们表明AdaMix在NLU和NLG任务中的性能优于SOTA参数高效微调和全模型微调。
2022-11-02 cs.AI cs.CL cs.LG
Dynamic Subspace Composition: Efficient Adaptation via Contractive Basis Expansion
Independent Researcher(独立研究者)
DSC通过稀疏基扩展实现高效适应,降低参数复杂度和内存交通,提供严格的动态更新界。
2025-12-29 cs.LG
Mixture-of-Experts for Open Set Domain Adaptation: A Dual-Space Detection Approach
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
针对开放集域适应中未知样本易误判且依赖阈值的问题,提出结合图像特征空间与 MoE 路由特征空间不一致性的无阈值双空间检测方法,并用 Graph Router 利用图像块空间信息,在三个数据集上验证了优势。
2024-07-03 cs.CV cs.LG
Shift Happens: Mixture of Experts based Continual Adaptation in Federated Learning
University of California, Irvine(加州大学尔湾分校);IBM Research AI(IBM人工智能研究院)
针对联邦学习中数据分布动态偏移问题,提出偏移感知的专家混合框架ShiftEx,通过最大均值差异检测偏移并动态创建全局模型,实现5.5-12.9个百分点准确率提升和22%-95%的适应加速。
2025-09-25 cs.AI cs.LG
ECG-EmotionNet: Nested Mixture of Expert (NMoE) Adaptation of ECG-Foundation Model for Driver Emotion Recognition
Concordia University(康考迪亚大学);Concordia Institute for Information Systems Engineering (CIISE)(康考迪亚信息系统工程学院)
针对动态驾驶场景中驾驶员情绪识别问题,提出ECG-EmotionNet架构,通过嵌套混合专家自适应ECG基础模型融合单通道信号特征,在保持计算效率的同时显著提升了识别准确率和F1分数。
2025-03-03 cs.LG eess.SP
Lighter, Better, Faster Multi-Source Domain Adaptation with Gaussian Mixture Models and Optimal Transport
CEA, List(CEA LIST);Université Paris-Saclay(巴黎-萨克雷大学)
本文提出基于高斯混合模型与最优传输的多源域自适应框架,通过高效求解GMM间最优传输及重心计算,提出WBT和DaDiL两种策略,在四个基准上实现更快、参数更少且性能更优的结果。
2024-08-21 cs.LG stat.ML
LiMoDE: Rethinking Lifelong Robot Manipulation from a Mixture-of-Dynamic-Experts Perspective
School of EEE, Nanyang Technological University(南洋理工大学电气与电子工程学院)
提出一种两阶段终身学习方案LiMoDE,通过动态专家混合结构实现多任务预训练和任务自适应,有效缓解灾难性遗忘并促进知识迁移。
2026-06-26 cs.AI cs.LG cs.RO
AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning
针对下游任务的大型预训练语言模型(PLM)的标准微调需要更新数亿到数十亿个参数,并为每个任务存储PLM权重的大副本,从而导致存储、共享和服务模型的成本增加。为了解决这个问题,引入了参数高效微调(PEFT)技术,其中将小的可训练组件注入PLM中并在微调期间更新。我们提出AdaMix作为一种通用的PEFT方法,它可以调整每个Transformer层中引入的自适应模块的混合-给定选择的底层PEFT方法-同时保持大多数PLM权重冻结。例如,AdaMix可以利用像Houlsby这样的适配器的混合或像LoRA这样的低秩分解矩阵的混合,来改善完全监督和Few-Shot NLU和NLG任务的相应PEFT方法的下游任务性能。此外,我们设计AdaMix,使其与底层PEFT方法匹配相同的计算成本和可调参数数量。通过仅调整0.1-0.2%的PLM参数,我们表明AdaMix在NLU和NLG任务中的性能优于SOTA参数高效微调和全模型微调。
2022-11-02 cs.AI cs.CL cs.LG
Mixture of Low Rank Adaptation with Partial Parameter Sharing for Time Series Forecasting
Zhejiang University(浙江大学);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
针对多任务时间序列预测的表达能力瓶颈,提出两阶段框架(预训练+步特定LoRA适配)及MoLA模型,通过自适应加权LoRA专家实现部分参数共享,提升效率与预测性能,优于现有方法。
2025-05-27 cs.AI cs.LG
Theory-inspired Label Shift Adaptation via Aligned Distribution Mixture
College of Science, National University of Defense Technology(国防科技大学理学院);Institute of Big Data Science and Industry, Shanxi University(山西大学大数据科学与产业研究院)
针对标签偏移中直接混合分布的理论缺陷,提出对齐分布混合(ADM)框架,改进分类器训练并引入耦合权重估计与二层优化,实验验证了其在COVID-19诊断中的有效性。
2024-11-05 cs.LG stat.ML
Softmax Routing Dynamics in Mixture-of-Experts Models: Collapse and Recovery
The Chinese University of Hong Kong(香港中文大学);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院);Guangzhou Nanfang College(广州南方学院)
该研究分析混合专家模型中Softmax路由的概率集中崩溃问题,通过理论推导揭示恢复机制,并在Transformer-MoE训练中验证类条件路由器梯度对比对恢复的影响。
2026-10-30 cs.LG
Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models
Qualcomm AI Research(高通人工智能研究院)
提出Mixture-of-Control(MoC)框架,通过稀疏混合专家机制自适应融合局部和全局控制信号,增强Transformer块间信息交换,实现高效微调。
2026-10-22 cs.AI cs.LG
L-MoE: End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts
L-MoE通过端到端训练将低秩适应专家与混合专家架构结合,实现轻量级、高效且可扩展的语言模型训练方法。
2026-01-07 cs.AI cs.LG
Plasticity-Enhanced Multi-Agent Mixture of Experts for Dynamic Objective Adaptation in UAVs-Assisted Emergency Communication Networks
Kitami Institute of Technology(北见工业大学);University of Electro-Communications(电气通信大学);Anhui University of Technology(安徽工业大学)
本文提出PE-MAMoE模型,通过增强塑性机制提升无人机在动态目标适应中的性能,实验显示其在用户容量、碰撞减少等方面有显著提升。
2026-04-10 cs.LG cs.MA cs.NI
OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(复杂系统认知与决策智能重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文针对混合专家 LoRA 中专家表示坍缩、缺乏多样性的问题,提出正交混合专家 OMoE,通过 Gram-Schmidt 过程在 Stiefel 流形上正交训练专家,以更少专家实现稳定高效的性能提升。
2025-07-21 cs.CL cs.LG
MMQ: Multimodal Mixture-of-Quantization Tokenization for Semantic ID Generation and User Behavioral Adaptation
Alibaba Group(阿里巴巴集团);Peking University(北京大学);Beijing University of Aeronautics and Astronautics(北京航空航天大学);Wuhan University, School of Computer Science(武汉大学计算机学院)
MMQ通过多模态混合量化标记化方法,解决推荐系统中多模态协同、特定性和行为适应的挑战,提升语义ID生成和用户行为适应能力。
2025-08-21 cs.IR cs.LG
MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Baidu Inc.(百度公司)
本文提出秩混合方法MoR,通过输入驱动的多秩信息学习与低秩成分的数学变换推导高秩信息,在仅用93.93%参数量的情况下实现1.31%的性能提升,解决了LoRA高秩捕获不足和MoE式方法开销过大的问题。
2024-10-18 cs.AI cs.CL cs.LG
FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出傅里叶MoE,通过频域分析提升大语言模型在多任务适应中的性能,采用频域适应方法减少参数开销,实验证明其在单任务和多任务场景中均优于基线方法。
2026-04-02 cs.AI cs.CL cs.DC
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC(葡萄牙工程与技术研究所);University of Porto(波尔图大学)
一段时间以来,已知多源领域自适应的问题可以被视为单源领域自适应任务,其中源领域对应于原始源领域的混合。尽管如此,如何调整混合分布权重仍然是一个悬而未决的问题。此外,大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示,这是不够的,以确保低错误的目标域。在这项工作中,我们提出了一个新的框架,解决了这两个问题,并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Transformer Based Multi-Source Domain Adaptation
University of Copenhagen(哥本哈根大学)
在实际的机器学习环境中,模型必须进行预测的数据通常来自与训练数据不同的分布。在这里,我们研究了无监督多源领域自适应问题,其中模型在来自多个源域的标记数据上进行训练,并且必须在没有标记数据的域上进行预测。之前使用CNN和RNN的工作已经证明了混合专家模型的好处,其中多个领域专家分类器的预测被组合在一起;以及领域对抗训练,以诱导领域不可知的表示空间。受此启发,我们研究了如何将这些方法有效地应用于大型预训练的Transformer模型。我们发现,领域对抗训练对这些模型的学习表示有影响,而对它们的性能影响不大,这表明基于transformer的大型模型在各个领域已经相对稳健。此外,我们表明,混合专家模型导致显着的性能改善,通过比较几种变体的混合功能,包括一种新的混合物的基础上注意。最后,我们证明了大型预训练的基于Transformer的领域专家的预测是高度同质的,这使得学习有效的函数来混合他们的预测变得具有挑战性。
2020-09-16 cs.CL cs.LG stat.ML
STEAM: A Spatio-TEmporal Alignment Mixture-of-Experts Model with Hierarchical Pre-training for EEG Decoding
STEAM是一种分层迁移框架,通过双分支时空编码器与SSMoE模块实现EEG解码的通用表征学习与范式专业化,在7个数据集的14种评估设置中表现优异且推理成本具竞争力。
2026-08-06 cs.CV cs.LG
Knothe-Rosenblatt transport for Unsupervised Domain Adaptation
Noah’s Ark Paris, Huawei(华为诺亚方舟实验室巴黎分部)
无监督领域自适应(UDA)旨在利用相关但不同的数据源来处理目标领域中的共同任务。UDA仍然是机器学习中的一个核心但具有挑战性的问题。在本文中,我们提出了一种适合于中维表格问题的方法,这些问题在工业应用中非常重要,而针对图像和语言数据设计的过多方法则不太适用。Knothe-Rosenblatt领域自适应(KRDA)是基于Knothe-Rosenblatt传输:我们利用自回归密度估计算法,通过使用高斯混合的自回归模型来准确地对不同的源进行建模。然后,KRDA利用自回归模型的三角形性来构建源样本到目标域的显式映射。我们表明,KRDA建立的传递映射保留了观测的每个分量分位数,从而在同一目标域中对齐不同数据集的表示。最后,我们表明,KRDA具有国家的最先进的性能在合成和现实世界的UDA问题。
2021-10-06 cs.LG
HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
Department of Computer Science and Technlogy(计算机科学与技术系);Tsinghua University(清华大学);School of Computer Science and Technlogy(计算机科学与技术系);Xi’an Jiaotong University(西安交通大学);The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高科技区(滨江)区块链与数据安全研究院)
本文提出HELLoRA,一种针对混合专家模型的层级低秩适应方法,通过仅对最活跃的专家添加LoRA模块,减少可训练参数和计算量,同时提升下游任务性能。
2026-05-11 cs.AI cs.LG
Graph Domain Adaptation Does Not End with Representation Learning
针对图域适应仅依赖图表示导致证据不足的问题,提出EviGDA框架,融合图感知与图无关专家,在十个数据集上超越现有方法。
2026-09-29 cs.LG
Multi-Source Domain Adaptation for Text Classification via DistanceNet-Bandits
UNC Chapel Hill(北卡罗来纳大学教堂山分校(UNC Chapel Hill))
学习算法在目标域上的领域自适应性能是其源域误差和这两个域的数据分布之间的发散度量的函数。我们提出了一个研究的各种基于距离的措施在自然语言处理任务的背景下,表征域之间的差异基于样本估计。我们首先进行分析实验,以显示这些距离的措施,可以最好地区分样本从相同与不同的领域,并与实证结果。接下来,我们开发了一个DistanceNet模型,该模型使用这些距离测量,或这些距离测量的混合,作为一个额外的损失函数,与任务的损失函数一起最小化,从而实现更好的无监督领域自适应。最后,我们将此模型扩展到一个新的DistanceNet-Bandit模型,该模型采用多臂Bandit控制器在多个源域之间动态切换,并允许模型学习最佳轨迹和域混合以转移到低资源目标域。我们在几个不同领域的流行情感分析数据集上进行了实验,结果表明,我们的DistanceNet模型及其动态强盗变体在无监督领域自适应的背景下可以优于竞争基线。
2020-03-03 cs.CL cs.LG stat.ML
Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
针对现有MoE-MTL方法单任务转多任务时适配冗余、知识共享低效的问题,提出带自适应共享专家的LoRA基MoE及细粒度专家设计,在PASCAL-Context基准上验证了性能提升效果。
2025-10-01 cs.AI cs.CV cs.LG
Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning
University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
提出SEMA方法,通过模块化适配器自动检测分布偏移并决定重用或添加适配器,实现次线性扩展,提升持续学习性能。
2025-03-27 cs.CV cs.LG
Dynamic Expert Specialization: Towards Catastrophic Forgetting-Free Multi-Domain MoE Adaptation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出DES-MoE框架,通过自适应路由器蒸馏、实时专家-领域关联映射和三阶段自适应微调,实现多领域MoE适配中的动态专家特化,在六个领域上显著减少灾难性遗忘并加快收敛。
2025-09-21 cs.AI cs.CL cs.LG
Matching Embeddings for Domain Adaptation
University of Concepción(康塞普西翁大学);Harvard University(哈佛大学);University of Chile(智利大学)
在这项工作中,我们解决的问题,从一个巨大的注释源域的低标记的目标域的知识转移。我们提出了对抗变分领域自适应(AVDA),一种基于深度变分嵌入表示的半监督领域自适应方法。我们使用近似推理和域对抗方法将源域和目标域的样本映射到定义为高斯混合模型的对齐类相关嵌入中。AVDA作为一个分类器工作,并考虑一个生成模型来帮助这种分类。我们使用数字数据集进行实验。我们的研究结果表明,在半监督的Few-Shot场景中,我们的模型在大多数自适应任务中优于以前的方法,即使在目标域上每个类使用较少数量的标记样本。
2021-01-24 cs.LG stat.ML
GMoPE:A Prompt-Expert Mixture Framework for Graph Foundation Models
本文提出GMoPE框架,将专家混合架构与提示学习结合用于图基础模型,通过专家特定提示、结构感知路由和软正交约束实现专家专业化,并采用仅提示微调降低迁移成本,在多个下游任务上以极少适应开销达到与全参数微调相当的性能。
2025-11-05 cs.AI cs.LG cs.SI
Modeling Dynamic Mixtures of Time-Delay Systems from Streaming Time Series
SANKEN, The University of Osaka, Japan(SANKEN大学大阪大学日本)
提出在线框架DelayMix,将流式时间序列视为时滞系统的动态混合,通过固定长度表示总结过去状态,利用马尔可夫参数张量捕捉动态和延迟,实现快速适应环境变化并降低内存使用。
2026-05-25 cs.AI cs.LG
DHAuDS: A Dynamic and Heterogeneous Audio Benchmark for Test-Time Adaptation
School of Computer and Mathematical Sciences, University of Nottingham Malaysia(诺丁汉马来西亚大学计算机与数学科学学院)
针对现有测试时自适应(TTA)评估依赖静态同质噪声协议的问题,提出DHAuDS基准,通过动态严重度和异构噪声混合暴露音频分类鲁棒性缺陷。
2026-06-23 cs.LG cs.SD
Algorithms and Theory for Multiple-Source Adaptation
Stanford University(斯坦福大学);Courant Institute(柯朗研究所);Google(谷歌);New York University(纽约大学)
这项工作包括一些新的贡献的多源适应问题。我们提出了新的规范化的解决方案与强有力的理论保证的交叉熵损失和其他类似的损失。我们还提供了新的保证,在源域的条件概率是不同的情况下。此外,我们给出了新的算法来确定交叉熵损失和其他损失的分布加权组合解决方案。我们报告了一系列实验的结果与现实世界的数据集。我们发现,我们的算法优于竞争的方法,产生一个单一的强大的模型,表现良好的任何目标混合物分布。总之,我们的理论,算法和实证结果提供了一个完整的解决方案,多源适应问题,具有非常实际的好处。
2018-05-20 cs.LG stat.ML
Gradual Domain Adaptation via Normalizing Flows
The Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学);The Institute of Statistical Mathematics(统计数理研究所);RIKEN(理化学研究所)
针对中间域有限且相邻域差距较大导致渐进式自训练失效的问题,提出基于归一化流的无监督域适应方法,通过源域学习目标域分布到高斯混合分布的转换,实验证明可提升分类性能。
2024-01-23 cs.LG stat.ML
Dynamic Mixture of Progressive Parameter-Efficient Expert Library for Lifelong Robot Learning
The University of Hong Kong(香港大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);Huawei Cloud Computing Technologies(华为云计算技术);Ola Dimensions;HKU Shanghai Intelligent Computing Research Center(香港大学上海智能计算研究中心)
针对终身学习中任务标识不可用和知识隔离问题,提出动态渐进式参数高效专家库混合(DMPEL),通过构建低秩专家库和轻量路由器实现灵活的前向迁移,并引入专家系数回放缓解遗忘,在LIBERO基准上以最少可训练参数和存储超越现有方法。
2026-05-28 cs.LG cs.RO
Mixture Proportion Estimation and Weakly-supervised Kernel Test for Conditional Independence
Institute of Science Tokyo(东京科学大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
本文提出基于条件独立性的新假设,解决了混合比例估计中的可识别性问题,并开发了弱监督核检验方法,用于验证条件独立性假设,提升了估计性能和检验准确性。
2026-04-08 cs.AI cs.LG
Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Concordia University(康考迪亚大学);University of Toronto(多伦多大学)
在本文中,我们解决的问题域转移。大多数现有方法使用单个模型在多个源域上执行训练,并且在所有看不见的目标域上使用相同的训练模型。这种解决方案是次优的,因为每个目标域都表现出其自身的专业,这是不适应的。此外,期望单模型训练从多个源域学习广泛的知识是违反直觉的。该模型更倾向于只学习域不变特征,可能导致负知识转移。在这项工作中,我们提出了一个新的框架,无监督测试时自适应,这是制定为一个知识蒸馏过程,以解决域转移。具体来说,我们将混合专家模型(MoE)作为教师,每个专家都在不同的源域上进行单独培训,以最大限度地发挥他们的专业。给定一个测试时间目标域,一个小的未标记的数据集进行采样,以查询知识从MoE。当源域与目标域相关时,基于转换器的聚合器通过检查它们之间的互连来组合域知识。输出被视为监督信号,以使学生预测网络适应目标域。我们进一步采用元学习来加强聚合器提取积极的知识和学生网络,以实现快速适应。大量的实验表明,所提出的方法优于国家的最先进的,并验证了每个组件的有效性。我们的代码可在https://github.com/n3il666/Meta-DMoE上获得。
2023-01-11 cs.CV cs.LG