Dynamic Action Interpolation: A Universal Approach for Accelerating Reinforcement Learning with Expert Guidance
Independent Researcher（独立研究者）
本文提出动态动作插值（DAI）框架，通过时变权重融合专家与RL动作，无需复杂架构修改即可显著提升强化学习的样本效率与性能。
2025-04-26 cs.AI cs.LG
Master Algorithms for Active Experts Problems based on Increasing Loss Values
我们指定一个专家算法具有以下特点：（a）它只使用实际选择的行动（强盗设置）的反馈，（b）它可以应用于可数无限的专家类，（c）它处理的损失，可能会在适当的时间缓慢增长。我们证明了一个自适应对手的损失范围。由此，我们获得了“主动专家问题”的主算法，这意味着主的行为可能会影响对手的行为。我们的算法可以显着优于标准的专家算法在这样的问题。最后，我们将其与通用专家类相结合。这导致了一个（计算上不可行的）通用主算法，它在某种意义上几乎和任何在线问题的任何可计算策略一样好。
2005-02-15 cs.AI cs.LG
Prediction with Advice of Unknown Number of Experts
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
在专家建议预测的框架下，我们考虑了最近引入的一种遗憾界限：取决于有效而不是名义上的专家数量的界限。与主要依赖于有效专家数但也弱依赖于名义专家数的正态-对冲界不同，我们得到了一个完全不包含名义专家数的正态-对冲界.我们使用防御性预测方法，并介绍了防御性预测在多值上鞅中的应用。
2014-08-09 cs.LG stat.ML
In Defense of Defensive Forecasting
Departments of Computer Science & Engineering and Data Science, New York University（纽约大学计算机科学与工程系和数据科学系）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）
本文综述防御性预测算法，该方法通过纠正过去错误而非预言来生成预测，并推导出在线学习、校准、专家建议预测及在线共形预测的简单近优算法。
2025-10-24 cs.LG stat.ML
UnMarker: A Universal Attack on Defensive Image Watermarking
UnMarker 是首个无需检测器反馈的通用防御性图像水印攻击，通过对抗性优化破坏频谱幅度，首次实用地攻破语义水印，证明防御性水印无法有效抵御深度伪造。
2024-11-22 cs.CR cs.CV cs.LG
Canaries and Whistles: Resilient Drone Communication Networks with (or without) Deep Reinforcement Learning
The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（伦敦帝国理工学院）
针对供应链被入侵的无人机通信对抗场景，论文比较专家策略与多智能体深度强化学习，并通过观测设计、专家课程和奖励改进提出混合策略，显著提升网络弹性。
2023-12-08 cs.AI cs.CR cs.LG
Multi-Task Reinforcement Learning with Mixture of Orthogonal Experts
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森人工智能中心）；Center for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）；University of Würzburg（维尔茨堡大学）
本文提出MOORE方法，通过正交专家混合和Gram-Schmidt过程学习多样化共享表示，在多任务强化学习基准MiniGrid和MetaWorld上超越现有基线并取得MetaWorld最新最优结果。
2024-05-05 cs.LG
Distilling A Universal Expert from Clustered Federated Learning
Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Australian Artificial Intelligence Institute, FEIT, University of Technology Sydney（悉尼大学技术学院澳大利亚人工智能研究所）；College of Computer Science, Inner Mongolia University（内蒙古大学计算机科学学院）
针对聚类联邦学习忽略簇间共享知识的问题，提出一种从多簇知识中蒸馏通用专家模型的新框架，通过本地训练、簇聚合与专家蒸馏三步迭代，有效平衡个性化与共享知识，提升模型性能。
2025-06-25 cs.LG
Dual Adaptivity: Universal Algorithms for Minimizing the Adaptive Regret of Convex Functions
National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University, Nanjing, China（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology, Atlanta, USA（佐治亚理工学院计算机学院）
针对现有在线凸优化自适应遗憾最小化算法通用性不足的问题，本文提出具备双重自适应性的元专家框架，结合休眠专家技术与两种专家构建策略，可适配多类凸函数与变化环境，并拓展至在线复合优化场景。
2025-08-01 cs.LG
Towards a Universal Gating Network for Mixtures of Experts
University of Nottingham Malaysia（诺丁汉大学马来西亚分校）
来自多个神经网络的知识的组合和聚合通常可以以专家混合的形式看到。然而，这种组合通常使用在相同任务上训练的网络来完成，很少提到异构预训练网络的组合，特别是在无数据状态下。本文提出了多种无数据的方法来组合异构神经网络，从利用简单的输出logit统计，训练专门的门控网络。门控网络根据所生成的专家激活的性质来决定特定输入是否属于特定网络。实验表明，门控网络，包括通用门控方法，构成了最准确的方法，因此代表了一个务实的一步，在一个无数据的制度与异质混合的专家的应用程序。这个项目的代码托管在github上https://github.com/cwkang1998/network-merging。
2020-11-03 cs.LG cs.NE
Seeking Universal Shot Language Understanding Solutions
Georgia Institute of Technology（佐治亚理工学院）；Dolby Laboratories（杜比实验室）
本文提出SLU-SUITE框架，通过49万人工标注数据揭示VLM在SLU任务中的瓶颈，提出UniShot和AgentShots两种通用解决方案，实验显示在领域内任务优于专用模型，在领域外任务超越商业VLM。
2026-03-19 cs.LG
Mixture of Universal Experts: Scaling Virtual Width via Depth-Width Transformation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Baidu Inc（百度公司）
MOUE通过引入虚拟宽度扩展维度，改进了混合专家模型的可扩展性，通过结构化专家共享和负载平衡技术，在不同扩展范围内提升了模型性能。
2026-03-05 cs.AI cs.CL cs.LG
Universal Algorithm for Online Trading Based on the Method of Calibration
Institute for Information Transmission Problems Russian Academy of Sciences（俄罗斯科学院信息传输问题研究所）
我们提出了一个通用的算法在股票市场的在线交易，执行渐近至少一样好的任何固定的交易策略，计算投资在每一步使用一个固定的函数的边信息，属于一个给定的RKHS（再生核希尔伯特空间）。使用一个通用的内核，我们扩展了这一结果的任何连续平稳的战略。在这个学习过程中，交易者使用随机校准算法做出的预测来理性地选择他的赌博。我们的策略是基于Dawid的校准概念与更一般的检查规则和一些修改Kakade和福斯特的随机舍入算法计算校准良好的预测。我们结合随机校准的方法与Vovk的防御预测RKHS的方法。与统计理论不同，没有对股票价格做出随机假设。我们对历史市场的实证结果提供了强有力的证据，证明如果忽略交易成本，这种类型的技术交易可以“战胜市场”。
2014-11-04 cs.LG q-fin.PM
UniAdapt: A Universal Adapter for Knowledge Calibration
Singapore Management University（新加坡管理大学）
本文提出通用适配器 UniAdapt，通过向量辅助路由和专家混合机制进行知识校准，以解决终身模型编辑中泛化性与局部性冲突的问题，实验表明其性能优于现有方法。
2024-10-01 cs.LG
Efficient Residual Learning with Mixture-of-Experts for Universal Dexterous Grasping
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出 ResDex，通过将残差策略学习与专家混合框架结合，利用几何无关基础策略实现跨物体的通用灵巧抓取，在 DexGraspNet 上以 88.8% 成功率达到最优性能，且单 GPU 训练仅需 12 小时。
2024-10-03 cs.LG cs.RO
Merge++: Universal Merge Refinement Through Data-Free Checkpoint Inversion
IIT Hyderabad（印度理工学院海得拉巴分校）；Microsoft Research, India（微软研究院（印度））
Merge++通过反演专家检查点合成任务图像并蒸馏知识，作为无数据后处理阶段，通用提升各类模型合并算法性能，平均增益+2至+8点，最高+25.9点。
2026-09-22 cs.AI cs.LG
MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models
University of Central Florida（中佛罗里达大学）；Meta
针对通用多模态嵌入扩展难的问题，提出MoEMB，通过混合专家沿专家轴扩展编码器容量，以3B激活参数超越4倍参数的TTE方法，并首次系统研究自适应计算以提升效率。
2026-10-09 cs.AI cs.LG
Optimal Tracking in Prediction with Expert Advice
Bilkent University（比尔肯特大学）；Turkcell Teknoloji（土耳其电信技术公司）；DataBoss A.S.（DataBoss公司）
我们研究了专家建议设置的预测，其目的是通过组合一组专家产生的决策来产生决策，例如，独立运行的算法在专家建议设定的预测条件下，我们得到了最小-最大最优动态后悔，我们可以以最佳方式与专家决策的时变（不一定是固定的）组合竞争。我们的最终算法是真正在线的，没有先验信息，如时间范围或损失范围，这是常用的不同的算法在文献中。我们的遗憾保证和最小-最大下限都是在一般考虑到专家损失可能具有时变特性并且可能无界的情况下推导出来的。我们的算法可以适用于限制性的情况下，损失反馈和决策。我们的保证是普遍的，即，我们的最终算法可以提供对任何竞争者序列的最小-最大优化方式与对数复杂度的遗憾保证。请注意，据我们所知，对于专家建议问题的预测，我们的算法是第一个在没有先验知识的情况下产生这种普遍最优，自适应和真正在线保证的算法。
2022-08-07 cs.LG math.OC
Learning Large-scale Universal User Representation with Sparse Mixture of Experts
Ant Group（蚂蚁集团）
学习用户序列行为嵌入是非常复杂和具有挑战性的，由于复杂的特征交互随着时间的推移和用户特征的高维度。最近出现的基础模型，例如，BERT及其变体，鼓励了大量的研究人员在这一领域进行研究。然而，与自然语言处理（NLP）任务不同的是，用户行为模型的参数主要来自用户嵌入层，这使得现有的大多数工作无法训练出大规模的通用用户嵌入。此外，用户表征是从多个下游任务中学习的，过去的研究工作没有解决跷跷板现象。在本文中，我们提出了SUPERMOE，一个通用的框架，以获得高质量的用户表示，从多个任务。具体来说，用户行为序列由MoE Transformer编码，因此我们可以将模型容量增加到数十亿个参数，甚至数万亿个参数。针对多任务学习过程中的跷跷板现象，设计了一种新的带有任务指标的损失函数。我们在公共数据集上进行了大量的离线实验，并在私人真实世界的业务场景上进行了在线实验。我们的方法在最先进的模型中实现了最佳性能，结果证明了我们框架的有效性。
2022-07-11 cs.CL cs.LG
Universal Online Convex Optimization with $1$ Projection per Round
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对通用在线凸优化中每轮需多次投影导致的高时间开销问题，本文基于黑箱归约与专家建议框架，提出每轮仅需1次投影的通用算法，通过创新的遗憾分解与专家损失设计，同时为多种凸函数建立最优遗憾界并实现小损失遗憾。
2024-05-30 cs.LG math.OC
MoEUT: Mixture-of-Experts Universal Transformers
Stanford University（斯坦福大学）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；The Swiss AI Lab IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室（隶属于瑞士意大利语区大学与瑞士南部应用科学大学））；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能倡议）
提出基于混合专家的共享层Transformer架构MoEUT，通过结合MoE进展与新型层归一化和分组方案，首次在BLiMP和PIQA等语言建模任务上以更少计算和内存略优于标准Transformers。
2024-10-13 cs.AI cs.LG cs.NE
OPERA: Offline Policy-guided Expert Routing and Adaptation for Universal Biomedical Image Analysis
University of Washington（华盛顿大学）；Delft University of Technology（代尔夫特理工大学）；Xiamen University（厦门大学）
研究针对生物医学图像分析中分布变化阻碍模型部署的问题，提出OPERA多智能体集成框架，通过离线策略学习专家权重分配，结合多种机制协调智能体，经多数据集评估，有效提升性能与校准质量，为可部署生物医学AI提供实用路径。
2026-07-29 cs.AI cs.CV cs.LG
Universal Online Convex Optimization Meets Second-order Bounds
National Key Laboratory for Novel Software Technology（现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；JD AI Research（京东AI研究院）
本文提出一种通用在线凸优化策略，通过专家集合与带二阶界和超额损失的元算法聚合预测，统一处理强凸、指数凹和一般凸函数，并扩展至在线复合优化，在保持极小极大最优性的同时取得问题相关遗憾界。
2024-11-20 cs.LG math.OC
Universal Learning of Repeated Matrix Games
我们研究和比较两个通用的学习算法，一个基于贝叶斯学习和预测专家的意见的学习动力学。这两种方法都有很强的渐近性能保证。当面临在重复的2x2矩阵游戏中找到好的长期策略的任务时，他们的表现完全不同。
2005-08-16 cs.AI cs.LG
Prediction with Expert Advice in Games with Unbounded One-Step Gains
Institute for Information Transmission Problems, Russian Academy of Sciences（俄罗斯科学院信息传输问题研究所）
本文考虑了专家建议下的预测博弈。本文对Kalai和Vempala跟踪扰动领导者的算法进行了一些改进，并给出了一步增益不受限制的情况。我们表明，在一般情况下，任何概率预测算法的累积增益可以比池中的一些专家的增益差得多。然而，我们给出了在一般情况下，这种累积增益的下限，并构造了一个通用的算法，具有最佳的性能;我们还证明了，在情况下，当一步的池中的专家的增益有“有限的偏差”，我们的算法的性能接近最好的专家的性能。
2008-06-26 cs.AI cs.LG
MoDULA: Mixture of Domain-Specific and Universal LoRA for Multi-Task Learning
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）；Binjiang Institute of Artificial Intelligence, ZJUT（浙江工业大学滨江人工智能学院）
针对大语言模型多任务微调资源消耗高、稳定性差的问题，提出融合通用与领域特定LoRA专家的MoDULA范式，残差连接的MoDULA-Res可降本80%以上且提升多任务性能，支持新任务即插即用。
2024-12-10 cs.AI cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
针对大规模混合数据集训练通用检测器参数量大的问题，提出数据集感知混合专家模型DAMEX，通过路由数据集令牌到对应专家实现数据集专属知识整合，在通用目标检测基准上显著超越现有最优方法及非MoE基线，且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
Eradicating Negative Transfer in Multi-Physics Foundation Models via Sparse Mixture-of-Experts Routing
Shodh AI
本文提出Shodh-MoE模型，通过稀疏激活的潜在变换器架构解决多物理传输中的负迁移问题，实现精确质量守恒和领域自适应路由。
2026-05-14 cs.AI cs.LG physics.comp-ph
A Generalized Online Algorithm for Translation and Scale Invariant Prediction with Expert Advice
在这项工作中，我们的目标是创建一个完全在线的算法框架，用于预测专家的建议，这是无预警和无尺度的专家损失。我们的目标是创建一个通用的算法，适用于各种各样的应用程序。为了这个目的，我们研究了我们的算法对一个通用的竞争类在顺序预测专家咨询问题的预期遗憾，其中预期遗憾的措施之间的差异，我们的预测算法的损失和损失的“最好的”专家选择策略的竞争。我们设计我们的算法使用的普遍预测的角度来竞争对一个指定的类的专家选择策略，这不一定是一个固定的专家选择。类的专家选择策略，我们要竞争，纯粹是由手头的具体应用程序，是左通用，这使得我们的广义算法适用于许多不同的问题。我们表明，我们的算法和它的性能界限，这是二阶，表示在平方损失的总和方面的损失序列是不需要的初步知识。我们的后悔界限在任意缩放和转换损失时是稳定的。
2020-09-09 cs.LG stat.ML
A Minimum Relative Entropy Principle for Learning and Acting
University of Cambridge（剑桥大学）
本文提出了一种方法来构建一个自适应代理，这是普遍的，相对于一个给定的一类专家，其中每个专家是一个代理，已被专门设计为一个特定的环境。这种自适应控制问题被形式化为最小化最适合未知环境的专家的自适应代理的相对熵的问题。如果代理是一个被动的观察者，那么最佳解决方案是众所周知的贝叶斯预测。然而，如果智能体是活动的，那么它过去的动作需要被视为I/O流上的因果干预，而不是正常的概率条件。在这里，它表明，这个新的变分问题的解决方案是由一个随机控制器称为贝叶斯控制规则，实现自适应行为作为一个混合专家模型。此外，它表明，在温和的假设下，贝叶斯控制规则收敛到最合适的专家的控制律。
2010-04-11 cs.AI cs.LG
Universal Online Optimization in Dynamic Environments via Uniclass Prediction
近年来，提出了几种通用的在线凸优化方法，可以同时处理凸、强凸和指数凹的代价函数。然而，这些算法中的大多数都是基于静态遗憾最小化设计的，但是这种遗憾的概念可能不适合变化的环境。为了解决这个缺点，我们提出了一个新的和直观的框架，在动态环境中的通用在线优化。与现有的通用算法不同，我们的策略不依赖于一组专家和相应的元算法的建设。相反，我们表明，动态在线优化的问题可以减少到一个单类预测问题。通过将单类损失函数的选择权留给用户，他们能够控制和优化动态遗憾边界，这反过来又会延续到原始问题中。据我们所知，这是第一篇论文提出了一个普遍的方法，国家的最先进的动态遗憾保证，即使是一般的凸成本函数。
2023-02-13 cs.LG stat.ML
Second Order Regret Bounds Against Generalized Expert Sequences under Partial Bandit Feedback
研究了部分反馈下的专家建议问题，提出了一个序贯极小极大优化算法。我们的算法与一个更一般的部分监控设置，在那里，与经典的强盗反馈，损失可以显示在一个对抗的方式。我们的算法采用了一个普遍的预测的角度，其性能进行了分析，对一般的专家选择序列的遗憾。遗憾的是，我们研究的是对一个一般的竞争类，涵盖了许多设置（如开关或上下文专家设置）和专家选择序列的竞争类是由手头的应用程序。我们的遗憾界是二阶界的平方损失和我们的算法的正规化遗憾的损失序列的任意仿射变换下不变。我们的算法是真正的在线，不使用任何有关损失序列的初步信息。
2022-04-13 cs.IT cs.LG eess.SP
Dual Adaptivity: A Universal Algorithm for Minimizing the Adaptive Regret of Convex Functions
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Paradigm Inc.（第四范式有限公司）
针对在线学习中学习环境的变化，提出了一种新的学习绩效评价指标--适应性后悔，定义为任意区间上的最大静态后悔。在在线凸优化的背景下，已经成功地开发了几种算法来最小化自适应遗憾。然而，现有的算法缺乏通用性，因为它们只能处理一类凸函数，并且需要先验的参数知识。相比之下，存在通用算法，如MetaGrad，同时获得多种类型的凸函数的最佳静态遗憾。沿着这条研究路线，本文提出了第一个通用的算法，最小化凸函数的自适应遗憾。具体来说，我们借用MetaGrad中保持多个学习率的思想来处理函数的不确定性，并利用睡眠专家的技术来捕捉不断变化的环境。通过这种方式，我们的算法自动适应函数的属性（凸，指数凹或强凸），以及环境的性质（静止或变化）。作为副产品，它还允许函数类型在轮之间切换。
2021-05-14 cs.LG stat.ML
Discontinuity-Sensitive Optimal Control Learning by Mixture of Experts
Duke University（杜克大学）
本文提出了一种高精度的参数最优控制问题解的间断敏感学习方法。从模型预测控制到强化学习的许多任务可以通过学习作为问题参数的函数的最优解来解决。然而，非凸性，离散同伦类，控制切换造成不连续的参数解决方案映射，从而使学习困难的传统连续函数逼近。提出了一种由一个分类器和多个回归器组成混合专家模型（MoE）。不同参数的最优轨迹被聚类，使得在每个聚类中轨迹是问题参数的连续函数。基准问题的数值例子表明，训练分类器和回归单独优于联合训练的MoE。利用适当选择的聚类，该方法不仅利用较少的训练数据和较少的模型参数实现较低的预测误差，而且与传统的通用函数近似模型（例如，神经网络）。
2019-07-02 cs.LG cs.RO math.OC
Technical Report: Towards a Universal Code Formatter through Machine Learning
University of San Francisco（旧金山大学）；Centrum Wiskunde & Informatica（荷兰数学与计算机科学研究中心）
有许多声明性框架允许我们相对容易地为任何特定语言实现代码格式化程序，但是构造它们很麻烦。第一个问题是，“每个人”都希望以不同的方式格式化他们的代码，这导致了许多格式化程序变体或荒谬的配置选项。第二，每个实现的大小与语言的语法大小成比例，导致数百条规则。在本文中，我们使用一种新的方法来解决格式化程序的构造问题，该方法可以自动导出任何给定语言的格式化程序，而无需语言专家的干预。我们介绍了一个代码格式称为CodeBuff，使用机器学习抽象的格式规则，从一个代表性的语料库，使用精心设计的功能集。我们在Java，SQL和ANTLR语法上的实验表明，CodeBuff是高效的，具有出色的准确性，并且对于给定的语言是语法不变的。它还推广到在手稿准备期间测试的第四语言。
2016-06-28 cs.AI cs.LG cs.PL
