Beyond Routing: Decoupling Expert Dispatch and Aggregation in Sparse Mixture-of-Experts
本研究将稀疏MoE的专家分派与聚合解耦,提出FDAA方法,在冻结主干等模块的情况下优化聚合头,在OLMoE、DeepSeek-V2-Lite等模型上提升了语言建模性能,验证了专家选择与承诺的可区分性。
2026-08-11 cs.LG
Online Aggregation of Probability Forecasts with Confidence
本文介绍了专家建议预报(PEA)的数值试验和一些理论发展。一个实验涉及根据温度预测电力消耗,并使用真实数据。由于依赖的模式可以随着季节和一天中的时间而变化,该领域自然允许PEA与具有不同“专业领域”的专家一起制定。我们考虑的情况下,几个竞争的方法产生在线预测的概率分布函数的形式。概率预测和结果之间的差异由损失函数(评分规则)来衡量。连续结果的评分规则的一个流行示例是连续排序概率评分(CRPS)。在本文中,结合概率预测的问题被认为是在PEA框架。证明了CRPS是一个可混合的损失函数,并给出了以CRPS为损失函数的Vovk聚集算法的后悔时间上界.此外,我们将一个“平滑”的版本的专门专家的方法在这个计划中,使我们能够结合概率预测的专业专家重叠域的能力。
2021-09-29 cs.AI cs.LG
Geometry-Preserving Aggregation for Mixture-of-Experts Embedding Models
Department of Electrical Engineering(电气工程系);Sharif University of Technology(谢里夫理工学院)
SBA通过分离径向和角向成分,保持超球面结构,提升混合专家嵌入模型的几何一致性与性能。
2026-02-15 cs.CL cs.LG
Learning of Optimal Forecast Aggregation in Partial Evidence Environments
Faculty of Industrial Engineering, Technion—Israel Institute of Technology(以色列理工学院工业工程学院)
我们认为预测聚合问题在重复设置,其中的预测是在一个二进制事件。在每个时期,多位专家提供关于事件的预测。聚合器的目标是将这些预测聚合成主观准确的预测。我们假设专家是贝叶斯的,也就是说,他们有一个共同的先验,每个专家都暴露在一些证据中,每个专家都应用贝叶斯规则来推断他的预测。聚合器对于信息结构是无知的(即,专家们根据这些数据进行预测。聚合器只观察专家的预测。在每个周期结束时,实现实际状态。我们专注于聚合器是否可以学习最佳地聚合专家的预测,其中最佳的聚合是贝叶斯聚合,考虑到系统中的所有信息(证据)的问题。我们考虑的类的部分证据信息结构,每个专家暴露于不同的子集的条件独立的信号。我们的主要结果是积极的;我们表明,最佳聚集可以在多项式时间内学习在相当广泛的部分证据环境的情况下。我们提供了一个严格的表征的情况下,学习是可能的和不可能的。
2018-02-20 cs.LG stat.ML
Adaptive Bayesian Online Learning via Expert Aggregation
Inha University(仁荷大学)
研究如何改进贝叶斯在线学习,将其更新规则视为专家,按顺序预测损失聚合专家。通过在线共形推理和高斯过程回归实例化框架,得到平滑贝叶斯对应物及神谕不等式,实验显示聚合能跟踪强大专家且无需神谕专家选择。
2026-07-23 cs.LG stat.ML
Sharpening the Spear: Adaptive Expert-Guided Adversarial Attack Against DRL-based Autonomous Driving Policies
针对DRL自动驾驶策略,提出自适应专家引导对抗攻击方法,利用模仿学习与混合专家架构提升攻击稳定性与效率,实验证明优于现有方法。
2025-06-23 cs.AI cs.LG
Robust forecast aggregation via additional queries
University of Colorado Boulder(科罗拉多大学博尔德分校);Alignment Research Center(对齐研究中心)
本文提出通过结构化查询增强专家信息,实现鲁棒预测聚合的最优解,展示了查询复杂性与准确性的紧密权衡。
2025-12-04 cs.GT cs.LG
DADAgger: Disagreement-Augmented Dataset Aggregation
Dagger是一种模仿算法,它通过查询专家在训练过程中遇到的所有样本来聚合其原始数据集。为了减少查询的样本数量,我们提出了一个修改DAGGER,称为DADAgger,它只查询专家的状态-动作对是分布(OOD)。OOD状态通过测量每个状态上的模型集合的动作预测的方差来识别,我们使用dropout来模拟。在Car Racing和Half Cheetah环境中的测试实现了与Dagger相当的性能,但减少了专家查询,并且比随机抽样基线性能更好。我们还表明,我们的算法可以用来构建高效,平衡的训练数据集,运行没有初始数据,只查询专家来解决不确定性。
2023-01-03 cs.AI cs.LG cs.RO
Expert Aggregation for Financial Forecasting
EDF lab(法国电力实验室);FiME Laboratory(FiME实验室);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);Amundi Asset Management(东方汇理资产管理公司);Paris Dauphine PSL University(巴黎多芬-PSL大学);Université Libre de Bruxelles(布鲁塞尔自由大学)
本文提出伯恩斯坦在线聚合方法,将多个机器学习模型的个股收益预测整合为多空投资组合策略,在非平稳市场中实现更高夏普比率和更低风险。
2023-07-06 cs.LG econ.EM q-fin.PM
A Generative Bayesian Model for Aggregating Experts' Probabilities
Stanford University(斯坦福大学)
为了改进预测,决策者通常将各种来源给出的概率结合起来,例如人类专家和机器学习分类器。当几乎没有训练数据可用时,可以通过合并关于被预测的事件和关于专家的显著属性的先验知识来改进聚合。为此,我们开发了一个生成贝叶斯聚集模型的概率分类。该模型包括一个事件特定的先验,个别专家的偏见,校准,准确性的措施,和专家之间的依赖性的措施。而不是需要绝对的措施,我们表明,聚合可以表示在专家之间的相对准确性。该模型的结果在一个加权对数意见池(LogOps),满足一致性标准,如外部贝叶斯属性。我们推导出独立的和可交换的专家的解析解。实证检验表明,该模型的使用,比较其准确性与其他聚合方法。
2012-07-11 cs.LG stat.ML
Divided We Fall: Defending Against Adversarial Attacks via Soft-Gated Fractional Mixture-of-Experts with Randomized Adversarial Training
Trustworthy and Secure AI (TSAI) Lab, Faculty of Computer Science, University of New Brunswick(新不伦瑞克大学计算机科学学院可信与安全人工智能实验室)
本文提出基于混合专家架构的对抗训练模块,通过多个专家提升模型对白盒攻击的鲁棒性,优于现有MoE防御方法,推理成本较低。
2026-03-26 cs.LG
Beyond Global Routing Aggregation: Phase-Aware Expert Merging for MoE Vision-Language Models
针对MoE-VLM全局路由聚合导致专家角色混淆的问题,提出无需训练的RoleMerge方法,通过阶段归一化路由统计合并专家,在匹配专家保留比例下性能优于现有方法,六任务宏平均相对提升最高9.6%。
2026-08-06 cs.CV cs.LG
Generative Adversarial Imitation Learning
Stanford University(斯坦福大学)
考虑从示例专家行为中学习策略,而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数,然后用强化学习从该成本函数中提取策略。这种方法是间接的,可能会很慢。我们提出了一个新的一般框架,直接从数据中提取的政策,就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比,从中我们得到了一个无模型的模仿学习算法,该算法在模仿大型高维环境中的复杂行为时,比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Online Aggregation of Unbounded Losses Using Shifting Experts with Confidence
Institute for Information Transmission Problems, Moscow(莫斯科信息传输问题研究所)
我们开发的设置顺序预测的基础上转移的专家和专业专家的方法的“平滑”版本。为了聚合专家预测,我们使用AdaHedge算法,这是具有自适应学习率的Hedge算法的一个版本,并通过元算法Fixed Share对其进行扩展。基于此,我们结合了两种算法的优点:(1)利用了算法的最优特性--转移后悔;(2)在专家损失有符号无界的情况下,后悔界是有效的。此外,(3)我们在这个计划中纳入了一个“平滑”版本的专业专家的方法,使我们能够做出更灵活和准确的预测。所有结果都是在对抗性环境中获得的-没有对数据源的性质进行假设。我们提出了短期预测的电力消费的实际数据的基础上的数值实验结果。
2020-01-23 cs.LG stat.ML
Are You Smarter Than a Random Expert? The Robust Aggregation of Substitutable Signals
汇总专家预测的问题在机器学习、经济学、气候科学和国家安全等广泛领域中无处不在。尽管如此,我们对这个问题的理论认识还是比较肤浅的。本文提出了一种从广泛的信息结构中选择专家知识的预测聚合方法。虽然在充分的一般性,它是不可能实现一个非平凡的性能保证,我们表明,这样做是可能的条件下的专家的信息结构,我们称之为\emph{projective substitutes}。投射替代条件是信息替代的概念:学习专家信号的边际收益递减。我们发现,在投影替代条件下,采取平均的专家的预测大大提高了信任一个随机的专家的策略。然后,我们考虑一个更宽松的设置,其中聚合器可以访问先验。我们表明,通过平均的专家的预测,然后\emph{extremizing}的平均值,通过移动它远离由一个常数因子的先验,聚合器的性能保证是大大优于可能没有知识的先验。我们的研究结果为过去的实证研究提供了理论依据,并有助于指导适当的极值。
2022-02-23 cs.GT cs.LG
PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification
Georgia Institute of Technology(佐治亚理工学院);University of Enna(恩纳大学);NTNU(挪威科技大学)
我们提出使用对抗自动编码器(AAE),以取代生成对抗网络(GAN)的教师合奏(PATE)的私人聚合,解决方案,以确保差分隐私在语音应用中。AAE架构使我们能够获得良好的合成语音利用后的歧视性训练的潜在向量。当非敏感数据在公共领域中不充分可用时,这种合成语音用于构建隐私保护分类器。该分类器遵循PATE方案,该方案使用噪声输出的集合来标记合成样本,并在其导出的分类器上保证$\varepsilon$ -差分隐私(DP)。因此,我们提出的框架包括一个基于AAE的生成器和一个基于PATE的分类器(PATE-AAE)。在Google语音命令数据集版本II上进行评估,与其他隐私保护解决方案(即PATE-GAN和DP-GAN)相比,所提出的PATE-AAE分别将平均分类准确率提高了+ $2.11\%$和+ $6.60\%$,同时保持了$\varepsilon$ =0.01的强大隐私目标水平,固定$δ$ =10 $^{-5}$。
2021-06-15 cs.AI cs.LG cs.NE
Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation
Faculty of Computer Science October University for Modern Science \& Arts Giza, Egypt
本文提出AMR框架,通过动态适应策略提升数学推理鲁棒性,利用难度感知路由和不确定性引导聚合在GSM8K数据集上取得75.28%准确率。
2026-04-11 cs.CL cs.LG
Regularizing Adversarial Imitation Learning Using Causal Invariance
ETH Zürich(苏黎世联邦理工学院)
针对对抗模仿学习易吸收专家数据中虚假相关性的问题,本文提出以因果不变性作为对抗训练正则化原则,并可直接用于现有框架,在二维环境和高维机器人运动任务上验证了有效性。
2023-08-17 cs.AI cs.LG
Adversarial Imitation Learning On Aggregated Data
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(计算机科学实验室LIP6);Ubisoft La Forge(育碧La Forge)
本文提出AILAD,一种基于对抗框架的聚合数据模仿学习方法,同时学习非线性奖励与最优策略,无需完整轨迹或同质数据,生成与专家分布匹配的多样化行为。
2023-11-14 cs.AI cs.LG
$f$-GAIL: Learning $f$-Divergence for Generative Adversarial Imitation Learning
Worcester Polytechnic Institute(伍斯特理工学院);University of Minnesota(明尼苏达大学)
模仿学习(IL)的目的是从专家示范中学习一种策略,最大限度地减少学习者和专家行为之间的差异。已经提出了各种模仿学习算法,其具有不同的预定分歧以量化差异。这自然产生了以下问题:给定一组专家演示,哪种分歧可以更准确地恢复专家策略,并具有更高的数据效率?在这项工作中,我们提出了$f$ -GAIL,一个新的生成对抗模仿学习(GAIL)模型,自动学习的差异措施,从$f$分歧家庭以及能够产生专家般的行为的政策。与具有各种预定义偏差度量的IL基线相比,$f$ -GAIL在六个基于物理的控制任务中学习到更好的策略和更高的数据效率。
2020-11-19 cs.AI cs.LG stat.ML
Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalanced Regression
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对表格回归中连续标签边界不清及测试分布未知不平衡的问题,提出 MATI,通过区域感知高斯混合专家与测试时自监督聚合动态适配分布,在三类测试设置下平均将 MAE 改善 7.1%。
2025-06-08 cs.LG
A Novel Experts Advice Aggregation Framework Using Deep Reinforcement Learning for Portfolio Management
Sharif University of Technology(谢里夫理工大学)
使用深度强化学习解决投资组合管理问题在金融界引起了广泛的关注。我们提出了一种新方法,使用专家信号和历史价格数据来输入我们的强化学习框架。虽然专家信号已经在金融领域的以前的工作中使用过,但据我们所知,这是第一次将这种方法与深度RL结合起来用于解决金融投资组合管理问题。我们提出的框架由一个用于聚合信号的卷积网络、另一个用于历史价格数据的卷积网络和一个普通网络组成。我们使用邻近策略优化算法作为代理来处理奖励并在环境中采取行动。结果表明,平均而言,我们的框架可以获得最好的专家所获得的利润的90%。
2022-12-29 cs.LG q-fin.CP q-fin.PM
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX(IRT系统X);Normandie Univ, UNICAEN, CNRS, LMNO(诺曼底大学、UNICAEN、CNRS、LMNO)
本文提出基于最优传输的分布式MoE模型聚合方法,通过减少传输分歧构建全局估计器,实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
Secure and Private Federated Learning: Achieving Adversarial Resilience through Robust Aggregation
O’Donnell Data Science and Research Computing Institute(奥登数据科学与研究计算研究所);Southern Methodist University(南方 Methodist 大学)
本文提出 ArKrum 聚合策略,通过中位数过滤和多更新平均提升联邦学习在 Byzantine 攻击下的鲁棒性与隐私保障,并在图像和文本基准上验证其高准确率和稳定性。
2025-06-03 cs.CR cs.LG
Backdoor or Manipulation? Graph Mixture of Experts Can Defend Against Various Graph Adversarial Attacks
Xiamen University(厦门大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对图神经网络面临多种对抗攻击且现有防御单一的问题,本文利用混合专家架构,通过基于互信息的逻辑多样性损失和鲁棒性感知路由器,实现统一防御后门、边操纵和节点注入攻击,实验验证了其优越鲁棒性。
2025-10-17 cs.LG
Mixture of Robust Experts (MoRE):A Robust Denoising Method towards multiple perturbations
Northeastern University(东北大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出鲁棒专家混合(MoRE)方法,通过门控机制动态组合针对不同扰动类型的专家网络,以灵活应对多种扰动并提升鲁棒性与准确性。
2025-03-26 cs.AI cs.CR cs.LG
Reliable Graph Neural Networks via Robust Aggregation
Department of Informatics(信息学系);Technical University of Munich(慕尼黑工业大学)
针对图结构的扰动已被证明在降低图神经网络(GNN)的性能方面非常有效,而对抗性训练等传统防御似乎无法提高鲁棒性。这项工作的动机是观察到的adversarially注入的边缘有效地可以被看作是额外的样本节点的邻域聚合函数,这导致扭曲的聚合层积累。传统的GNN聚合函数,如总和或平均值,可以被单个离群值任意扭曲。我们提出了一个强大的聚集功能的鲁棒统计领域的动机。我们的方法表现出最大可能的击穿点0.5,这意味着聚合的偏差是有界的,只要一个节点的对抗边缘的分数小于50%。我们的新聚合函数Soft Medoid是Medoid的完全可微推广,因此非常适合端到端深度学习。为GNN配备我们的聚合将Cora ML上的结构扰动的鲁棒性提高了3倍(Citeseer上为5.5倍),对于低度节点提高了8倍。
2020-10-29 cs.LG stat.ML
Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback
K. N. Toosi University of Technology(K. N. Toosi大学);Amirkabir University of Technology(阿美尔卡比尔技术大学);The University of Tokyo(东京大学)
TriTrust-PBRL通过多专家反馈联合学习奖励模型和信任参数,实现对抗性偏好下的鲁棒偏好强化学习。
2026-10-09 cs.AI cs.LG
Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching
Mila – Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Cornell University(康奈尔大学)
本文提出一种非对抗式逆强化学习方法,通过后继特征匹配直接优化策略,无需学习奖励函数,仅需单条专家演示即可在状态仅设置下实现高效学习。
2025-04-22 cs.AI cs.LG
On the Adversarial Robustness of Mixture of Experts
Google Research(谷歌研究院)
对抗鲁棒性是神经网络的一个重要特性。经验表明,它受到其规模的影响,较大的网络通常更强大。最近,Bubeck和Sellke证明了函数的Lipschitz常数的下界,该函数适合训练数据的参数数量。这就提出了一个有趣的开放性问题,具有更多参数但不一定需要更多计算成本的函数是否具有更好的鲁棒性?我们研究这个问题的稀疏混合专家模型(MoEs),这使得有可能扩大模型的大小大致恒定的计算成本。我们从理论上表明,在一定的条件下的路由和数据的结构,MOE可以有显着较小的Lipschitz常数比他们的密集同行。当输入的最高权重专家实现足够不同的功能时,MoE的鲁棒性可能会受到影响。接下来,我们使用对抗攻击在ImageNet上实证评估MoE的鲁棒性,并证明它们确实比具有相同计算成本的密集模型更鲁棒。我们进行了关键的观察,显示了MoEs对专家选择的鲁棒性,突出了在实践中训练的模型中专家的冗余性。
2022-10-19 cs.AI cs.CR cs.CV
Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(弗劳恩霍夫信息与通信技术研究中心)
针对CNN对抗鲁棒性提升成本高的问题,研究在ResNet中插入稀疏MoE层结合对抗训练,发现深层单MoE层可提升PGD等攻击下的鲁棒性,且switch loss会引发路由坍缩催生鲁棒子路径。
2025-09-05 cs.CV cs.LG
The Surprising Benefits of Base Rate Neglect in Robust Aggregation
Center on Frontiers of Computing Studies, School of CS, Peking University(北京大学计算机科学学院计算前沿研究中心);Department of Economics, School of Economics and Management, Tsinghua University(清华大学经济管理学院经济学系)
该研究针对鲁棒预测聚合场景,发现存在基础概率忽视的专家预测在一定程度下反而能降低最坏情况遗憾,还提出了对未知忽视程度鲁棒的低遗憾聚合器,并通过实证验证了模型与聚合器性能。
2024-06-19 cs.GT cs.LG
Bypassing Krum: Selection-Aware Backdoor Attacks in Federated Learning
本文提出Krum-Proxy攻击,通过两阶段优化等技术绕过联邦学习的Krum等基于距离的鲁棒聚合,在保持干净准确率的同时提升了攻击成功率,暴露了此类聚合方法的脆弱性。
2026-08-10 cs.AI cs.LG
Ensemble everything everywhere: Multi-scale aggregation for adversarial robustness
Google DeepMind(谷歌DeepMind)
该研究提出基于多分辨率输入与CrossMax动态自集成的对抗鲁棒方法,无需对抗训练即可在CIFAR数据集上取得优异鲁棒性,结合对抗训练进一步刷新SOTA,还可用于生成可控图像与构造可迁移攻击。
2024-08-08 cs.CV cs.LG
Towards Adversarial Robustness of Model-Level Mixture-of-Experts Architectures for Semantic Segmentation
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
本研究评估了模型级混合专家架构在语义分割任务中的对抗鲁棒性,发现其比集成方法更有效地抵御白盒和迁移攻击,并提供了开源代码。
2024-12-16 cs.CV cs.LG
Dataset-Dependent Effects of Cross-Depth Aggregation and Soft-Routed Experts in EEG Foundation Model Fine-Tuning
Vanderbilt University(范德堡大学);Yale University(耶鲁大学)
本研究在脑电基础模型微调中测试跨深度注意力残差与软路由专家模块,发现其效果因数据集而异,且带来显著计算开销,未产生一致增益。
2026-09-17 cs.LG
Robust Decision Aggregation with Second-order Information
Peking University(北京大学)
研究在未知联合信息结构下的二元决策聚合问题,证明在一般信息结构下二阶信息无益,但在信号条件独立或专家同质等特定假设下,利用二阶信息的鲁棒聚合器能显著提升性能。
2023-11-23 cs.GT cs.LG
Unsupervised Opinion Aggregation -- A Statistical Perspective
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出无需真实标签、依据专家间一致性估计可靠性的无监督朴素贝叶斯观点聚合方法,并证明其渐近最优,可用于批量、在线及有限观点决策。
2023-08-20 cs.AI cs.LG eess.SP
FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA
FedWeave针对异构联邦MoE-LoRA中客户端粒度专业化的局限,提出非对称聚合框架,分离专家聚合与路由优化,在异构多任务基准上优于强基线,实现高效联邦大模型适配。
2026-07-30 cs.CL cs.LG
Aggregation of Dependent Expert Distributions in Multimodal Variational Autoencoders
BI Norwegian Business School(挪威 BI 商学院);University of Copenhagen(哥本哈根大学);Norwegian Computing Center(挪威计算中心)
本文提出CoDE-VAE模型,利用依赖专家共识原则聚合单模态分布并构建新的ELBO,克服了独立性假设,在生成连贯性、质量权衡及对数似然估计上优于现有方法。
2025-05-02 cs.LG
Game Theoretic Mixed Experts for Combinational Adversarial Machine Learning
University of Connecticut(康涅狄格大学);Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所)
该研究提出博弈论混合专家框架GaME,求解防御者的混合纳什策略,还提出三种针对不同防御的新攻击算法,以强化防御并验证鲁棒性,推动对抗机器学习发展。
2023-04-29 cs.AI cs.GT cs.LG
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University(麦吉尔大学)
对抗性模仿学习(AIL)是强化学习(RL)中的一类算法,它试图在不从环境中获取任何奖励的情况下模仿专家,并且不将专家行为直接提供给策略训练。相反,代理学习策略分布,最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习(AIRL)利用AIL的思想,将奖励函数近似与学习策略相结合,并显示了IRL在迁移学习设置中的实用性。但是,实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习(Off-policy-AIRL)算法,该算法在连续控制任务中具有样本有效性,并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器,我们显示了学习我们的算法AIL的实用性,通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化,专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
MOSAIC: Efficient Mixture-of-Agent Scheduling via Adaptive Aggregation and Inference Concurrency
University of California, Irvine, USA(加州大学 Irvine 分校);University of Southern California, Los Angeles, USA(南加州大学洛杉矶分校);Intel, USA(英特尔公司)
针对混合智能体系统在有限GPU资源下的负载不均衡问题,提出基于整数线性规划调度器和置信度感知自适应聚合的MOSAIC框架,实现最高2.5倍专家阶段、4.23倍聚合阶段和1.7~2.3倍端到端加速,精度损失在0.1个百分点内。
2026-11-10 cs.AR cs.LG
A naive aggregation algorithm for improving generalization in a class of learning problems
针对带专家建议的高维非线性点估计学习,论文提出一种朴素聚合算法,通过序贯确定混合分布策略形成优于个体专家的共识估计,并以非线性回归数值结果验证。
2024-09-06 cs.LG math.OC stat.ML
FedBayes: A Zero-Trust Federated Learning Aggregation to Defend Against Adversarial Attacks
Deloitte & Touche LLP(德勤咨询有限责任公司)
针对联邦学习中恶意客户端通过数据投毒破坏全局模型的问题,本文提出零信任聚合方法 FedBayes,利用贝叶斯统计评估客户端权重,从而抵御对抗攻击并保护联邦性能。
2023-12-04 cs.CR cs.LG
SmoothGuard: Defending Multimodal Large Language Models with Noise Perturbation and Clustering Aggregation
Independent Researcher(独立研究者)
本文提出SmoothGuard防御框架,通过随机高斯噪声注入和基于嵌入的聚类聚合,有效提升多模态大语言模型对对抗性攻击的鲁棒性,同时保持模型实用性。
2025-10-29 cs.CR cs.LG
Forecast Aggregation via Peer Prediction
Harvard University(哈佛大学);UC Santa Cruz(加州大学圣克鲁兹分校)
众包使得能够从分散的人群中征集关于各种预测任务的预测。如何将质量可能不同的请求预测汇总为准确的最终预测仍然是一个具有挑战性但关键的问题。研究发现,在聚合中更多地加权专家预测可以提高聚合预测的准确性。然而,这种方法通常需要获得预报员的历史业绩数据,而这些数据往往是不可用的。在本文中,我们研究的问题,聚合预测没有历史业绩数据。我们建议使用同行预测方法,一个家庭的机制,最初设计的真实地引出私人信息的情况下,地面真相验证,评估预测的专业知识,然后使用这种评估,以提高预测聚合。我们评估我们的同行预测辅助聚合器上的14个人类预测数据集的不同集合。与现有的各种聚合器相比,我们的聚合器实现了显着的和一致的改善,通过Brier得分和对数得分衡量的聚合准确性。我们的研究结果表明,即使没有历史数据,识别专家,以提高聚合的有效性。
2022-03-29 cs.HC cs.LG cs.MA
Exploiting Heterogeneous Graph Neural Networks with Latent Worker/Task Correlation Information for Label Aggregation in Crowdsourcing
Zhejiang University(浙江大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);JD.COM Silicon Valley Research Center(京东硅谷研发中心);Squirrel AI Learning(松鼠AI智适应教育)
众包因其方便地从非专家工人而不是专家那里收集标签而备受关注。然而,由于来自非专家的高水平噪声,需要通过结合源可信度来学习真实标签的聚合模型。在本文中,我们提出了一种新的框架,基于图神经网络聚集人群标签。我们在工作者和任务之间构建了一个异构图,并推导出一个新的图神经网络来学习节点的表示和真实标签。此外,我们通过在图神经网络中增加一个同质注意层,利用了同类节点(工作者或任务)之间未知的潜在交互。在13个真实世界数据集上的实验结果表明,该模型的性能优于最先进的模型。
2021-05-13 cs.HC cs.LG
FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation
Sun Yat-Sen University, China(中山大学);The University of Hong Kong, Hong Kong(香港大学);Nanyang Technological University, Singapore(南洋理工大学);National University of Defense Technology, China(国防科技大学)
针对联邦学习中客户端资源受限和通信负担重的问题,提出基于混合专家架构的FedMoE-DA框架,采用域感知细粒度聚合和P2P通信,兼顾鲁棒性、个性化与通信效率。
2024-12-27 cs.DC cs.LG
OD-Gear: Online Decomposition and Group Sampling for Expert-Guided Adversarial Routing in Scalable Capacitated Vehicle Routing
School of Information Science(信息科学学院);Guangdong Provincial Key Laboratory of Brain-Inspired Intelligent Computation, Department of CSE, SUSTech, Shenzhen 518055, P. R. China(脑启发智能计算广东省重点实验室、计算机科学与工程系、南方科技大学、深圳518055,中华人民共和国)
OD-DEAL通过结合混合遗传搜索和在线重心聚类分解,利用对抗学习实现高保真知识蒸馏,从而在大规模CVRP问题中实现高效、高质量的实时推断。
2026-08-11 cs.LG
FedGreed: A Byzantine-Robust Loss-Based Aggregation Method for Federated Learning
School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典技术大学);Department of Mathematics and Informatics(数学与信息学系);Faculty of Sciences, University of Novi Sad(自然科学学院,诺维萨德大学)
针对客户端存在拜占庭攻击的联邦学习场景,提出无需假设对抗参与者比例的FedGreed聚合策略,基于服务器可信数据集的损失指标排序并贪婪选择损失最小的客户端子集,在异构数据下可靠运行且性能显著优于现有基线。
2025-08-25 cs.LG
Robust CurveMoE: Multi-Norm Adversarial Defense for Mixture-of-Experts Models via Mode Connectivity
Illinois Institute of Technology(伊利诺伊理工大学)
本研究提出Robust CurveMoE混合专家框架,通过模式连通性连接不同范数的专用模型,引入贡献引导的部分更新降低成本,在CIFAR-100等数据集上显著提升了各类准确率。
2026-08-27 cs.LG
Sample Complexity of Forecast Aggregation
Harvard University(哈佛大学)
本研究证明贝叶斯预测聚合的样本复杂度随专家数指数增长,但在条件独立信号下可降至与专家数无关的复杂度,并揭示其与分布学习的难度相当。
2023-10-10 cs.GT cs.LG econ.TH
Dynamic Defense Against Byzantine Poisoning Attacks in Federated Learning
University of Granada(格拉纳达大学)
联邦学习作为一种在本地设备上进行训练而不访问训练数据的分布式学习,容易受到拜占庭中毒对抗攻击的攻击。我们认为,联邦学习模型必须避免这些类型的对抗攻击,通过过滤掉敌对的客户端通过联邦聚合运营商。我们提出了一个动态的联邦聚合运营商,动态丢弃这些敌对的客户端,并允许防止腐败的全球学习模型。我们评估它作为对抗攻击的防御,在Fed-EMNIST Digits,Fashion MNIST和CIFAR-10图像数据集上的联邦学习设置中部署深度学习分类模型。结果表明,动态选择的客户端聚合提高了性能的全球学习模型和丢弃的敌对和穷人(低质量的模型)的客户端。
2022-02-24 cs.AI cs.CR cs.LG