Distributed Non-Stochastic Experts
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
我们考虑在线分布式非随机专家问题,其中的分布式系统由一个协调器节点连接到$k$网站,和网站需要通过协调器相互通信。在每个时间步$t$,$k$站点节点之一必须从集合${1, ..., n}$中挑选专家,并且同一站点接收关于该轮的所有专家的收益的信息。分布式系统的目标是在时间范围$T$上最小化遗憾,同时保持通信最小化。这个问题的两个极端解决方案是:(i)完全通信:这实质上是模拟非分布式设置,以$T$通信为代价获得最佳$O(\sqrt{\log(n)T})$遗憾界限。(ii)无交流:每个站点运行独立副本:遗憾为$O(\sqrt{log(n)kT})$,交流为0。本文表明,同时实现后悔渐近优于$\sqrt{kT}$和沟通优于$T$的困难。我们给出了一个新的算法,对于一个不经意的对手实现了一个非平凡的权衡:遗憾$O(\sqrt{k^{5(1+ε)/6} T})$和通信$O(T/k^ε)$,对于任何值的$ε\in (0, 1/5)$。我们还考虑了模型的一个变体,协调员挑选专家。在这个模型中,我们发现Cesa-Bianchi et al.(2005)的标签有效预测者已经为我们提供了在后悔与沟通权衡中接近最优的策略。
2012-11-14 cs.AI cs.LG
Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement
研究针对混合专家模型服务中专家放置问题,提出Director系统,通过预测驱动的在线专家放置、轻量级预测器或量化副本及在线迁移模块,结合多项式时间运行的优化器,有效降低端到端延迟,实验证明其对流行MoE模型延迟降低显著。
2026-07-13 cs.AI cs.LG
EasyBalance: Cross-Layer Load Balancing in Distributed MoE Inference
EasyBalance是一种无需修改专家-设备映射的跨层负载均衡策略,通过联合执行跨层MoE工作负载缓解不平衡,可减少GPU空闲超40%,加速分布式MoE推理。
2026-08-11 cs.AI cs.LG
Optimizing Distributed Deployment of Mixture-of-Experts Model Inference in Serverless Computing
The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科技大学)
针对无服务器平台上大型MoE推理的专家热度倾斜与scatter-gather通信瓶颈,提出结合多维epsilon-greedy搜索的贝叶斯优化部署框架,在AWS Lambda上显著降低计费成本并保持吞吐量。
2025-01-09 cs.DC cs.LG
Entry Dependent Expert Selection in Distributed Gaussian Processes Using Multilabel Classification
University of Tübingen(蒂宾根大学)
本文提出一种基于输入数据点特征的灵活专家选择方法,将专家选择建模为多标签分类问题,以降低分布式高斯过程中集成聚合的计算成本并保持预测质量。
2024-01-08 cs.DC cs.LG
WDMoE: Wireless Distributed Large Language Models with Mixture of Experts
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作媒介网络创新中心);Pengcheng Laboratory(鹏城实验室);Future Network of Intelligent Institute (FNii), the Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)未来网络智能研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出WDMoE范式,将大语言模型的MoE层分解并跨基站与移动设备分布式部署专家网络,同时设计兼顾模型性能与端到端时延的专家选择策略,在多种LLMs和数据集上验证其性能优于Llama 2 70B并显著降低时延。
2024-05-06 cs.AI cs.IT cs.LG
SlimCaching: Edge Caching of Mixture-of-Experts for Distributed Inference
Department of Electrical and Computer Engineering, The University of Hong Kong(电子与计算机工程系,香港大学)
SlimCaching通过优化边缘服务器上的专家缓存,减少MoE模型的推理延迟,采用贪心分解和动态规划方法解决非子模性问题。
2026-03-01 cs.DC cs.LG cs.NI
Towards Group Learning: Distributed Weighting of Experts
Tulane University(杜兰大学)
从噪声源的集合中聚合信号是许多领域中的基本问题,包括众包、多代理规划、传感器网络、信号处理、投票、集成学习和联邦学习。核心问题是如何聚合来自多个来源(例如专家)的信号,以揭示潜在的基本事实。虽然完整的答案取决于信号的类型、信号的相关性和期望的输出,但所有这些应用的共同问题是基于它们的质量区分源并相应地对其进行加权。人们通常认为,这种分化和聚合是由一个单一的、准确的中央机制或代理人(例如法官)完成的。我们以两种方式使这个模型复杂化。首先,我们研究了一个单一的法官,一个多个法官的设置。其次,鉴于这种多主体的互动法官,我们调查的法官的报告空间的各种限制。我们建立在已知的结果,专家的最佳权重,并证明了一个合奏的次优机制可以在一定条件下最佳地执行。然后,我们凭经验表明,合奏近似的最佳机制在更广泛的条件下的性能。
2022-06-03 cs.AI cs.LG cs.MA
WDMoE: Wireless Distributed Mixture of Experts for Large Language Models
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作中位数网络创新中心);Pengcheng Laboratory(鹏城实验室);Future Network of Intelligent Institute (FNii), the Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)未来网络智能研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出无线分布式混合专家(WDMoE)架构,将LLM的MoE层分解部署于基站与移动设备,联合优化专家选择与带宽分配,在保持模型性能的同时显著降低推理延迟。
2024-11-11 cs.AI cs.DC cs.IT
Aggregation Models with Optimal Weights for Distributed Gaussian Processes
Department of Industrial and Systems Engineering(工业与系统工程系);Texas A&M University(德克萨斯大学)
本文提出了一种具有最优权重的分布式高斯过程聚合方法,通过整合专家间相关性提升预测准确性,且计算效率更高。
2026-02-10 cs.LG stat.ME stat.ML
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);INF Technology(INF科技);Hong Kong University of Science and Technology(香港科技大学)
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾,提出基于Hypernetworks的HyperMoE框架,利用未选中专家的信息生成补充模块进行知识迁移,在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
Mosaic: Data-Free Knowledge Distillation via Mixture-of-Experts for Heterogeneous Distributed Environments
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The City University of New York(纽约城市大学);Shenzhen University of Advanced Technology(深圳先进技术大学)
针对联邦学习中模型与数据异构性问题,提出Mosaic框架,通过本地生成模型合成隐私保护数据,并利用混合专家模型蒸馏全局模型,在图像和多模态基准上超越现有方法。
2026-06-16 cs.AI cs.DC cs.LG
Learning Distributed Representations from Reviews for Collaborative Filtering
Université de Montréal(蒙特利尔大学)
最近的工作表明,协同过滤器为基础的推荐系统可以通过纳入边信息,如自然语言评论,作为一种正则化的方式派生的产品表示。这种方法的成功的动机,我们介绍了两种不同的模型的评论,并研究其对协同过滤性能的影响。虽然以前的最先进的方法是基于潜在的狄利克雷分配(LDA)模型的评论,我们探索的模型是基于神经网络:一袋的话产品的专家模型和一个循环神经网络。我们证明了专家产品模型提供的更高灵活性使其能够在Amazon评论数据集上实现最先进的性能,优于基于LDA的方法。然而,有趣的是,递归神经网络提供的更大的建模能力似乎破坏了模型作为产品表示的正则化器的能力。
2018-06-18 cs.LG stat.ML
MixNet: A Runtime Reconfigurable Optical-Electrical Fabric for Distributed Mixture-of-Experts Training
Hong Kong University of Science and Technology(香港科技大学);Massachusetts Institute of Technology(麻省理工学院);Peking University(北京大学);Meta;Xiamen University(厦门大学)
针对分布式MoE训练中动态通信与静态GPU互连不匹配的问题,提出可运行时区域重构的光电架构MixNet,基于通信局部性用OCS构建高带宽域,相比胖树架构在相当性能下显著提升训练成本效率。
2025-09-04 cs.LG cs.NI
Proximal SCOPE for Distributed Sparse Learning: Better Data Partition Implies Faster Convergence Rate
Nanjing University(南京大学)
多台机器集群的分布式稀疏学习在机器学习中引起了广泛关注,特别是对于具有高维数据的大规模应用。实现稀疏学习的一种流行方法是使用$L_1$正则化。在本文中,我们提出了一种新的方法,称为近端\mbox{SCOPE} ~(\mbox{pSCOPE}),分布式稀疏学习$L_1$正则化。pSCOPE基于\underline{c}操作性\underline{a}可操作性\underline{l}局部\underline{l}可操作性~(\mbox{CALL})框架。在\mbox{pSCOPE}的\mbox{CALL}框架中,我们发现数据划分会影响学习过程的收敛性,因此我们定义了一个度量数据划分优劣的指标。基于定义的度量,我们从理论上证明了pSCOPE是收敛的线性收敛速度,如果数据划分是足够好的。我们还证明了更好的数据划分意味着更快的收敛速度。此外,pSCOPE还具有通信效率。在真实数据集上的实验结果表明,pSCOPE可以优于其他最先进的分布式稀疏学习方法。
2018-10-26 cs.LG stat.ML
Classifiers are Better Experts for Controllable Text Generation
Tinkoff(Tinkoff公司)
本文提出了一种简单的方法,基于加权logits与自由形式的分类器,即CAIF抽样可控的文本生成。使用任意文本分类器,我们调整语言模型的logits的一小部分,并引导文本生成朝向或远离分类器预测。我们进行了毒性避免和情绪控制任务的实验,结果表明,所提出的方法显着优于最近的PPLM,GeDi,和DExperts的PPL和任务准确性指标的基础上生成的文本的外部分类。此外,与其他方法相比,它更容易实现和调优,并且限制和要求显著减少。
2022-11-11 cs.CL cs.LG
Blindfolded Experts Generalize Better: Insights from Robotic Manipulation and Videogames
Technion – Israel Institute of Technology(技术学院-以色列理工学院)
本研究提出向行为克隆的演示者隐藏部分任务信息,通过让“蒙眼专家”采用探索式策略,结合机器人插销任务、Procgen游戏实验及理论分析,证明该方法能用更少演示实现更好的泛化效果。
2025-10-28 cs.LG cs.RO
Cascading Randomized Weighted Majority: A New Online Ensemble Learning Algorithm
Sharif University of Technology(谢里夫理工大学);Ohio State University(俄亥俄州立大学)
随着世界上数据量的增加,从这些数据中学习的最佳方法是利用在线学习算法。在线集成方法是利用分类器的集成来预测数据标签的在线算法。专家建议的预测是在线集成学习文献中研究得很好的问题。加权多数算法和随机加权多数(RWM)是最知名的解决方案,这个问题,旨在收敛到最好的专家。由于在某些专家中,最好的专家不一定在数据空间的所有区域中具有最小误差,因此定义特定区域并收敛到每个区域中的最佳专家将导致更好的结果。本文针对RWM算法的这一缺陷,提出了一种新颖的在线集成算法来解决专家建议预测问题。我们提出了一个级联版本的RWM,以实现不仅更好的实验结果,但也有足够大的数据集更好的误差界。
2015-02-02 cs.LG stat.ML
GraphFAS: A Distributed System for Automated Graph Feature Generation and Selection in Industrial Transaction Networks
Ant Group(蚂蚁集团);Nanjing University(南京大学)
GraphFAS提出基于Boruta的分布式图特征自动生成与选择系统,通过非参数化多跳子图提取和多尺度聚合构建可解释特征,在支付宝部署中实现工程效率数量级提升并优于基线。
2026-09-09 cs.AI cs.DC cs.LG
Team Deep Mixture of Experts for Distributed Power Control
EURECOM(欧洲通信学院)
在无线网络的背景下,最近表明,可以联合训练多个DNN,以提供能够应对广泛的传感不确定性的所需协作行为。特别地,已经确定DNN可以用于导出关于影响由每个代理(例如,发射机)用来做出其决定的本地信息(例如,无线网络中的CSI)的信息噪声统计的鲁棒性的策略。虽然有前途,在实施这种方法的一个主要挑战是,信息噪声统计可能不同的代理代理,更重要的是,这样的统计可能无法在训练时或可能会随着时间的推移而演变,使繁重的再培训必要的。这种情况使得人们希望设计一种“通用”机器学习模型,该模型可以一次性训练,以便允许在任何未来的反馈噪声环境中进行分散式合作。考虑到这一目标,我们提出了一个架构的灵感来自著名的混合专家模型(MoE)模型,这是以前用于非线性回归和分类任务在各种情况下,如计算机视觉和语音识别。我们认为分散的功率控制问题作为一个例子来展示所提出的模型的有效性,并与其他功率控制算法进行比较。我们展示了所谓的Team-DMoE模型有效地跟踪随时间变化的统计场景的能力。
2020-07-28 cs.IT cs.LG math.IT
A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning
KAUST(阿卜杜拉国王科技大学)
现代大规模机器学习应用需要在分布式计算系统上实现随机优化算法。这种系统的一个关键瓶颈是在工作者之间交换信息的通信开销,例如随机梯度。在提出来解决这个问题的许多技术中,最成功的一个是具有错误反馈(EF)的压缩通信框架。EF仍然是唯一已知的可以处理由非无偏的收缩压缩器(例如Top- $K$)引起的误差的技术。在本文中,我们提出了一个新的和理论上和实际上更好的替代EF处理压缩机。特别地,我们提出了一种构造,它可以将任何压缩压缩器转换为诱导无偏压缩器。在这种转换之后,可以应用能够与无偏压缩器一起工作的现有方法。我们表明,我们的方法导致了巨大的改进EF,包括减少内存需求,更好的通信复杂性保证和更少的假设。我们进一步扩展我们的研究结果,部分参与的任意分布在节点上的联邦学习,并证明其好处。我们进行了几个数值实验,验证我们的理论研究结果。
2021-03-14 cs.LG stat.ML
Good Better Best: Self-Motivated Imitation Learning for noisy Demonstrations
Beijing Institute of Technology(北京理工大学);Beijing Institute of Electronic System Engineering(北京电子系统工程研究所);University of the Sunshine Coast(阳光海岸大学)
本文提出自我激励模仿学习方法SMILE,利用扩散模型预测当前策略与演示者的专业性差距,在无需额外信息下逐步过滤噪声演示,有效学习专家策略。
2023-10-24 cs.LG
Random Expert Distillation: Imitation Learning via Expert Policy Support Estimation
Imperial College London(帝国理工学院)
我们考虑的问题,模仿学习从一组有限的专家轨迹,没有获得强化信号。通过逆强化学习提取专家的奖励函数,然后进行强化学习的经典方法是间接的,并且可能是计算昂贵的。最近的生成式对抗方法基于匹配专家和代理之间的策略分布,在训练过程中可能不稳定。我们提出了一个新的框架,通过估计专家政策的支持,以计算一个固定的奖励函数,这使我们能够重新框架内的标准强化学习设置模仿学习。我们证明了我们的奖励函数在离散和连续域上的有效性,在不同的强化学习算法下实现了与最先进的性能相当或更好的性能。
2019-06-07 cs.LG stat.ML
Beyond Manual Annotation: A Human-AI Collaborative Framework for Medical Image Segmentation Using Only "Better or Worse" Expert Feedback
Nanjing University of Science and Technology(南京理工大学)
针对医学图像像素级人工标注成本高昂的问题,提出仅依赖专家“更好/更差”偏好反馈的人机协作分割框架,结合FM、标签传播与点击智能体生成伪标签,并在三个公开数据集上验证其竞争力。
2025-07-28 cs.LG eess.IV
Adaptive Expert Models for Personalization in Federated Learning
Ericsson AB(爱立信公司);KTH Royal Institute of Technology(KTH皇家理工学院);RISE Research Institutes of Sweden(瑞典RISE研究院);AI Sweden(瑞典人工智能研究院);Chalmers University of Technology(查尔姆斯理工大学)
联邦学习(FL)是一种很有前途的分布式学习框架,适用于数据隐私和敏感的情况。然而,在这个框架中的最先进的解决方案是不是最佳的数据是异构的和非独立的和相同的分布(非IID)。我们提出了一个实用和强大的方法来适应异构和非IID数据的平衡探索和利用几个全球模型的个性化FL。为了实现我们的个性化目标,我们使用混合专家模型(MoE),它可以学习将彼此相似的客户分组,同时更有效地使用全局模型。我们表明,我们的方法实现了高达29.78%的准确性和高达4.38%的更好的局部模型相比,在病理非IID设置,即使我们调整我们的方法在IID设置。
2022-06-15 cs.LG
Logit-Aware MIMO AirComp for Distributed Mixture-of-Experts LLM Inference over Wireless Edge Networks
Chongqing University(重庆大学);City University of Hong Kong (Dongguan)(香港城市大学(东莞));Shenzhen Future Network of Intelligence Institute(深圳未来智能网络研究院);the Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
针对无线边缘分布式MoE推理的聚合瓶颈,提出logit感知的MIMO AirComp框架,联合优化接收合并与预编码,在30dB下保留99.3%的GSM8K准确率,显著优于传统AirComp。
2026-10-06 cs.AI cs.IT cs.LG
FoMoE: Breaking the Full-Replica Barrier with a Federation of MoEs
Department of Computer Science and Technology, University of Cambridge, Cambridge, UK(剑桥大学计算机科学与技术系);Flower Labs, UK(Flower Labs)
提出FoMoE系统,通过跨工作节点分区专家层打破全副本范式,结合部分专家复制和跳跃令牌机制,显著降低通信开销并提升吞吐量。
2026-06-23 cs.AI cs.DC cs.LG
Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Tianjin University(天津大学);Monash University(莫纳什大学)
当有大量标记样本可用但无法完成Few-Shot分类任务时,深度神经网络非常有效。近年来,元学习方法受到了广泛的关注,它通过对大量附加任务的训练来获得指导Few-Shot分类的知识。通常,训练任务是随机采样的,并且不加选择地执行,这通常会使元学习器陷入糟糕的局部最优。深度神经网络优化方面的一些工作已经表明,更好地安排训练数据可以使分类器收敛更快,性能更好。受此思想的启发,本文提出了一种由易到难的专家元训练策略,以合理安排训练任务,在第一阶段优先考虑简单任务,在第二阶段重点考虑困难任务。设计了一个任务难度感知模块,并将其集成到训练过程中,以根据任务类别的可分类性来估计任务的难度。此外,我们还探索了多个硬度测量,包括语义关系,两两欧几里德距离,Hausdorff距离和希尔伯特施密特独立性标准。在miniImageNet和tieredImageNet Sketch数据集上的实验结果表明,采用本文的专家训练策略,元学习器可以获得更好的学习效果。
2020-07-13 cs.CV cs.LG stat.ML
New Potential-Based Bounds for Prediction with Expert Advice
Center for Data Science, New York University(纽约大学数据科学中心);Courant Institute of Mathematical Sciences, New York University(纽约大学科朗数学科学研究所)
这项工作解决了经典的机器学习问题的在线预测专家的意见。我们考虑这个零和二人博弈的有限视界版本。使用验证参数从最优控制理论,我们认为找到更好的下限和上限的游戏(后悔)的价值的问题,找到更好的子和上解的某些偏微分方程(PDE)的任务。这些子解和上解作为参与者和对手策略的势,导致相应的界限。为了得到明确的界限,我们使用特定偏微分方程的封闭形式的解决方案。我们的界限适用于任何给定数量的专家和视野;在某些制度(我们确定),他们改善了以前的艺术状态。对于两个和三个专家,我们的界限提供了最佳的领先秩序项。
2020-06-29 cs.GT cs.LG math.AP
Fisher-Routed Mixture of Experts for Federated Class-Incremental Learning
Department of Electrical and Computer Engineering, The University of Hong Kong(香港大学电子与计算机工程系);School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院)
提出FedFMX框架,通过Fisher路由专家混合模型解决联邦类增量学习中的容量冲突、灾难性遗忘、数据异构和类别错位问题,实现自适应专家专业化。
2026-06-27 cs.AI cs.LG
Advancing MoE Efficiency: A Collaboration-Constrained Routing (C2R) Strategy for Better Expert Parallelism Design
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对MoE模型因专家过度协作导致的通信开销和利用率不足问题,提出协作约束路由(C2R)策略,鼓励专家专业化,在多个基准上提升性能并节省20%-30%运行时间。
2025-04-20 cs.AI cs.CL cs.DC
MoC-System: Efficient Fault Tolerance for Sparse Mixture-of-Experts Model Training
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出 MoC-System,通过部分专家检查点机制和两级异步检查点管理,在保持模型精度的前提下,将稀疏 MoE 模型训练中的检查点开销最高降低 98.9%。
2025-04-09 cs.DC cs.LG
Can vectors read minds better than experts? Comparing data augmentation strategies for the automated scoring of children's mindreading ability
University of Birmingham(伯明翰大学)
在本文中,我们实现和比较7个不同的数据增强策略的任务,自动评分的儿童的能力,了解别人的想法,感受和愿望(或“读心术”)。我们招募了领域内的专家来重新注释增强的样本,并确定每个策略在多大程度上保留了原始评级。我们还进行了多个实验,以衡量每种增强策略在多大程度上提高了自动评分系统的性能。为了确定自动系统的能力,以概括看不见的数据,我们创建UK-MIND-20 -一个新的语料库的儿童的表现测试的读心术,由10,320个问题,答案对。我们在MIND-CA语料库上获得了新的最先进的性能,将宏观F1分数提高了6分。结果表明,训练样本的数量和增强策略的质量都会影响系统的性能。任务特定的增强通常优于任务不可知的增强。基于向量的自动增强(GloVe,FastText)表现最差。我们发现,在MIND-CA上训练的系统可以很好地推广到UK-MIND-20。我们证明了数据增强策略也提高了看不见的数据的性能。
2021-06-03 cs.CL cs.LG
ExpertMatcher: Automating ML Model Selection for Users in Resource Constrained Countries
MIT(麻省理工学院);MGH/Harvard Medical School(麻省总医院/哈佛医学院)
在这项工作中,我们介绍了ExpertMatcher,一种使用自动编码器自动选择深度学习模型的方法。具体来说,我们感兴趣的是在集中式服务器上使用预先训练的专家ML网络对分布在许多客户端上的数据源进行推理。ExpertMatcher根据客户端的数据表示在中央服务器中分配最相关的模型。这使得发展中国家的资源有限的客户能够利用最相关的ML模型来完成给定的任务,而无需评估每个ML模型的性能。该方法是通用的,可以在任何有本地客户端和大量集中式专家ML模型的设置中受益。
2019-10-05 cs.CV cs.DC cs.LG
Time Majority Voting, a PC-based EEG Classifier for Non-expert Users
Brandeis University(布兰迪斯大学);Swarthmore College(斯沃斯莫尔学院)
使用机器学习和深度学习从脑电图(EEG)信号预测认知任务是脑机接口(BCI)中快速发展的领域。与计算机视觉和自然语言处理领域相比,这些试验的数据量仍然相当小。开发一种基于PC的机器学习技术,以增加非专家最终用户的参与,可以帮助解决这个数据汇集问题。我们为机器学习创建了一种新的算法,称为时间多数投票(TMV)。在我们的实验中,TMV比尖端算法表现得更好。它可以在个人计算机上有效地运行,用于涉及BCI的分类任务。这些可解释的数据也有助于最终用户和研究人员更好地理解EEG测试。
2022-07-26 cs.HC cs.LG eess.SP
FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts
Beijing University of Posts and Telecommunications(北京邮电大学)
针对联邦学习中的客户端异构性挑战,提出基于稀疏混合专家架构的个性化框架FedMoE,通过两阶段微调(启发式搜索构建子模型与模块化聚合)及全局专家推荐机制,有效解决数据异构问题并提升模型性能。
2024-08-21 cs.LG
Who Said What: Modeling Individual Labelers Improves Classification
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
数据通常由许多不同的专家标记,每个专家只标记数据的一小部分,每个数据点由多个专家标记。这减少了单个专家的工作量,并且还对未观察到的地面实况进行了更好的估计。当专家意见不一致时,标准的方法是将大多数人的意见视为正确的标签,或者将正确的标签建模为分布。然而,这些方法没有利用关于哪个专家产生哪个标签的潜在有价值的信息。为了利用这些额外的信息,我们建议对专家进行单独建模,然后学习平均权重,以便以特定于样本的方式将它们组合起来。这使我们能够给予更可靠的专家更多的权重,并利用个别专家在对某些类型的数据进行分类时的独特优势。在这里,我们表明,我们的方法导致糖尿病视网膜病变的计算机辅助诊断的改进。我们还表明,我们的方法比Welinder和Perona(2010)以及Mnih和Hinton(2012)的竞争算法表现更好。我们的工作提供了一种创新的方法来处理无数的现实世界的设置,使用专家的意见来定义标签的培训。
2018-01-04 cs.CV cs.LG
Nonstochastic Bandits and Experts with Arm-Dependent Delays
我们研究非随机土匪和专家在延迟设置延迟依赖于时间和武器。虽然延迟仅取决于时间的设置已被广泛研究,但臂相关延迟设置更好地捕捉了现实世界的应用,但代价是引入了新的技术挑战。在充分的信息(专家)设置,我们设计了一个一阶遗憾界,揭示了一个有趣的权衡延迟和损失之间的算法。我们证明了一个类似的一阶后悔界也为土匪设置,当学习者被允许观察有多少损失丢失。这些是延迟设置中的第一界限,其仅取决于最佳臂的损失和延迟。当在强盗设置中除了损失之外没有观察到其他信息时,我们仍然设法通过修改Zimmert和Seldin(2020)的算法来证明遗憾界限。我们的分析取决于漂移的一个新的界限,衡量一个算法在一轮的前瞻性时可以表现得更好。
2021-12-21 cs.LG
Prediction with expert evaluators' advice
我们引入了一个新的协议,预测与专家的意见,每个专家评估学习者和他自己的性能使用的损失函数,可能会随着时间的推移而改变,并可能是不同的损失函数使用的其他专家。学习者的目标是表现得比每个专家更好或不差很多,由该专家评估,同时为所有专家。如果专家使用的损失函数都是适当的评分规则和所有的混合,我们表明,防御性预测算法享有相同的性能保证,可达到的聚集算法在标准设置和已知是最佳的。这一结果也适用于“专家”(或“睡眠”)专家的情况。在这种情况下,防御性预测算法简化为聚合算法的简单修改。
2009-03-23 cs.LG
Detached Error Feedback for Distributed SGD with Random Sparsification
University of Pittsburgh(匹兹堡大学)
通信瓶颈一直是大规模分布式深度学习中的关键问题。在这项工作中,我们研究了分布式SGD与随机块稀疏作为梯度压缩机,这是环allreduce兼容和高计算效率,但导致性能较差。为了解决这一重要问题,我们从一个新的方面,即方差和梯度的二阶矩之间的权衡,提高了通信效率的分布式SGD。基于这种动机,我们提出了一种新的分离式误差反馈(DEF)算法,该算法在非凸问题上显示出比误差反馈更好的收敛界。我们还提出了DEF-A在训练的早期阶段加速DEF的泛化,这表明了比DEF更好的泛化范围。此外,我们首次建立了通信高效的分布式SGD和具有平均值的SGD(SGD-IA)之间的联系。广泛的深度学习实验表明,在各种设置下,所提出的方法有显着的经验改进。
2022-06-13 cs.CV cs.LG stat.ML
Better Modelling Out-of-Distribution Regression on Distributed Acoustic Sensor Data Using Anchored Hidden State Mixup
NORCE Norwegian Research Centre AS(NORCE挪威研究中心);University of Stavanger(斯塔万格大学)
将机器学习模型的应用推广到训练数据和测试数据的统计分布不同的情况一直是一个复杂的问题。我们在本文中的贡献有三个方面:(1)我们引入了一种基于正则化的分布外(OOD)回归混淆算法,利用流形隐藏状态混淆和观察相似性来形成一种新的正则化惩罚,(2)我们提供了第一个适合于测试OOD回归建模的高分辨率分布式声学传感器(DAS)数据集,允许其他研究人员在这一领域的基准进展,和(3)我们证明了广泛的评估所提出的方法对现有方法的泛化性能,然后表明我们的方法达到最先进的性能。最后,我们还通过在其他类型的回归数据集(包括Udacity和Rotation-MNIST数据集)上表现出更好的泛化性能,证明了所提出的方法具有更广泛的适用性。
2022-02-23 cs.LG
Mimicking Better by Matching the Approximate Action Distribution
University of Geneva (UNIGE), Switzerland(日内瓦大学);University of Applied Sciences(应用科学大学);The University of Tokyo, Japan(东京大学);RIKEN Center for Advanced Intelligence Project, Japan(日本RIKEN高级智能项目中心)
针对从观察模仿中专家动作缺失的问题,本文提出同策略算法 MAAD,用逆动力学模型推断近似动作分布并正则化模仿策略,从而在 MuJoCo 基准上显著提升样本效率与稳定性。
2024-10-22 cs.LG
Smoothness Matrices Beat Smoothness Constants: Better Communication Compression Techniques for Distributed Optimization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田技术研究所)
大规模分布式优化已经成为训练具有大量参数和训练数据的监督机器学习模型的默认工具。本领域的最新进展提供了用于加速训练的若干机制,包括{ \em压缩通信}、{ \em方差减小}和{ \em加速}。然而,这些方法中没有一种能够利用超出标准平滑常数的局部损失的固有丰富的数据依赖平滑结构。在本文中,我们认为,在训练监督模型时,{ \em平滑矩阵} -无处不在的平滑常数的信息丰富的概括-可以而且应该被利用,以进一步显着的收益,在理论和实践中。为了进一步减轻分布式优化中固有的通信负担,我们提出了一种新的通信稀疏化策略,可以充分利用与局部损失相关的平滑矩阵。为了展示这个工具的力量,我们描述了我们的稀疏化技术可以适应三个分布式优化算法- DCGD,DIANA和ADANA-产生显着节省的通信复杂性。新方法总是优于基线,通常是戏剧性的。
2021-02-14 cs.LG math.OC
Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts
DeepSeek-AI(深度求索公司);Peking University(北京大学)
针对MoE模型中辅助损失负载均衡引发的干扰梯度问题,提出无辅助损失的Loss-Free Balancing策略,通过动态调整专家偏置实现负载均衡,在3B参数模型上验证了其优于传统方法的性能与均衡效果。
2024-08-28 cs.CL cs.LG
Bitcoin Price Predictive Modeling Using Expert Correction
Ivan Franko National University of Lviv(利沃夫伊万·弗兰科国立大学)
本文研究了比特币价格的线性模型,其中包括基于比特币货币统计数据,挖掘过程,Google搜索趋势,维基百科页面访问量的回归特征。与价格时间序列相比,回归模型预测偏离实际价格的模式更简单。据认为,这种模式可以预测的经验丰富的专家。以这种方式,使用回归模型和专家校正的组合,可以得到比仅使用回归模型或专家意见更好的结果。结果表明,贝叶斯方法使得利用概率方法使用厚尾分布并考虑比特币价格时间序列中的异常值成为可能。
2022-01-06 cs.LG q-fin.ST
Comparison of Privacy-Preserving Distributed Deep Learning Methods in Healthcare
DeepTek Inc(DeepTek公司);Singapore Bioimaging Consortium - A*Star(新加坡生物成像联盟——新加坡科技研究局)
在本文中,我们比较了三种隐私保护分布式学习技术:联邦学习,分裂学习和SplitFed。我们使用这些技术来开发用于从胸部X射线检测结核病的二进制分类模型,并在分类性能,通信和计算成本以及训练时间方面对其进行比较。我们提出了一种新的分布式学习架构SplitFedv3,在我们的实验中,它的性能优于分裂学习和SplitFedv2。我们还提出了交替小批量训练,这是一种用于分割学习的新训练技术,它比交替客户端训练(客户端轮流训练模型)性能更好。
2020-12-23 cs.CR cs.LG
FlashMoE: Fast Distributed MoE in a Single Kernel
Cornell University(康奈尔大学)
FlashMoE提出将专家计算与GPU间通信融合进单一持久GPU内核,通过细粒度流水线和设备发起的单侧(R)DMA传输消除调度与通信开销,在8个H100 GPU上相比基线实现最高9倍GPU利用率、6倍延迟降低和5.7倍吞吐量提升。
2025-11-08 cs.AR cs.DC cs.LG