A Generative Bayesian Model for Aggregating Experts' Probabilities
Stanford University（斯坦福大学）
为了改进预测，决策者通常将各种来源给出的概率结合起来，例如人类专家和机器学习分类器。当几乎没有训练数据可用时，可以通过合并关于被预测的事件和关于专家的显著属性的先验知识来改进聚合。为此，我们开发了一个生成贝叶斯聚集模型的概率分类。该模型包括一个事件特定的先验，个别专家的偏见，校准，准确性的措施，和专家之间的依赖性的措施。而不是需要绝对的措施，我们表明，聚合可以表示在专家之间的相对准确性。该模型的结果在一个加权对数意见池（LogOps），满足一致性标准，如外部贝叶斯属性。我们推导出独立的和可交换的专家的解析解。实证检验表明，该模型的使用，比较其准确性与其他聚合方法。
2012-07-11 cs.LG stat.ML
Online Aggregation of Unbounded Losses Using Shifting Experts with Confidence
Institute for Information Transmission Problems, Moscow（莫斯科信息传输问题研究所）
我们开发的设置顺序预测的基础上转移的专家和专业专家的方法的“平滑”版本。为了聚合专家预测，我们使用AdaHedge算法，这是具有自适应学习率的Hedge算法的一个版本，并通过元算法Fixed Share对其进行扩展。基于此，我们结合了两种算法的优点：（1）利用了算法的最优特性--转移后悔;（2）在专家损失有符号无界的情况下，后悔界是有效的。此外，（3）我们在这个计划中纳入了一个“平滑”版本的专业专家的方法，使我们能够做出更灵活和准确的预测。所有结果都是在对抗性环境中获得的-没有对数据源的性质进行假设。我们提出了短期预测的电力消费的实际数据的基础上的数值实验结果。
2020-01-23 cs.LG stat.ML
Aggregating Algorithm for Prediction of Packs
University College London（伦敦大学学院）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Imperial College London（帝国理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文提出了一种在延迟反馈条件下预测的特殊情况，即预测包的协议。在这个协议下，学习者必须在没有看到结果的情况下做出一些预测，然后结果就会显示出来。我们发展的理论预测与专家的意见包。通过应用Vovk的聚集算法对这个问题，我们得到了一些算法与紧的上界。我们对住房数据进行了实证实验。
2017-10-23 cs.LG
Defensive forecasting for optimal prediction with expert advice
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
防御性预测方法被应用于二元结果的专家建议预测问题。事实证明，防御性预测不仅是有竞争力的聚合算法，但也处理的情况下，“事后诸葛亮”的专家，其意见取决于学习者的预测，本文假设的依赖于学习者的预测是连续的。
2007-08-10 cs.LG
Forecasting electricity consumption by aggregating specialized experts
Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；EDF R&D（法国电力集团研发部）；HEC Paris（巴黎高等商学院）
我们考虑设置的顺序预测的任意序列的基础上，专门的专家。我们首先回顾了相关文献，并提出了两个理论贡献：Freund等人（1997）的专家聚集规则的一般分析和Herbster和Warrant（1998）在此设置中的固定份额规则的适应。然后，我们将这些规则应用于连续的短期（提前一天）预测的电力消耗量，这样做，我们考虑两个数据集，一个Escherakian的和法国的，分别与每小时和半小时的预测。我们遵循一个一般的方法来执行所述的实证研究，并详细介绍了学习参数的调整问题。引入的聚合规则表明，在手头的数据集的准确性提高，改进在于减少均方误差，但也在一个更强大的行为相对于大的偶然错误。
2012-07-09 cs.LG stat.AP stat.ML
MLFriend: Interactive Prediction Task Recommendation for Event-Driven Time-Series Data
Massachusetts Institute of Technology（麻省理工学院）
机器学习中的大多数自动化都集中在模型选择和超参数调整上，许多人忽视了自动定义预测任务的挑战。我们仍然严重依赖人类专家来定义预测任务，并通过汇总原始数据来生成标签。在本文中，我们解决了在事件驱动的时间序列数据上定义有用的预测问题的挑战。我们引入MLFriend来应对这一挑战。MLFriend首先在预定义的空间下生成所有可能的预测任务，然后与数据科学家交互，学习数据的上下文，并从空间中的所有任务中推荐好的预测任务。我们在三个不同的数据集上评估了我们的系统，并生成了总共2885个预测任务并解决了它们。其中722个被专家数据科学家认为有用。我们还表明，一个自动预测任务发现系统是能够识别前10名的任务，用户可能会喜欢在一批100个任务。
2019-06-28 cs.IR cs.LG stat.ML
Gaussian Experts Selection using Graphical Models
University of Tuebingen（图宾根大学）
局部近似是将高斯过程（GP）扩展到大数据的流行方法。局部近似通过将原始数据集划分为子集并在每个子集上训练局部专家来降低时间复杂度。假设专家之间的条件依赖性或独立性，聚合专家的预测。在专家之间施加\emph{conditional independence assumption}（CI）使得不同专家预测的聚合具有时间效率，但代价是不确定性量化较差。另一方面，建模依赖专家可以提供精确的预测和不确定性量化的代价不切实际的高计算成本。通过消除弱专家通过理论指导的专家选择步骤，我们大大降低了计算成本的聚集依赖的专家，同时确保校准的不确定性量化。我们利用无向图模型的文献中的技术，使用稀疏精度矩阵编码专家之间的条件依赖关系，以选择最重要的专家。莫列奥夫
2021-08-31 cs.LG stat.ML
Constant Regret, Generalized Mixability, and Mirror Descent
Research School of Computer Science（计算机科学研究学院）；Australian National University（澳大利亚国立大学）；DATA61（DATA61研究所）
我们考虑专家建议的预测设置;学习者通过汇总一组专家的预测来进行预测。在这种设置下，并且对于损失函数和“混合”算法的正确选择，学习器可以实现恒定的遗憾，而不管预测轮次的数量。例如，可以使用\emph{aggregating algorithm}来实现对\emph{mixable}损失的持续遗憾。\emph{Generalized Aggregating Algorithm}（GAA）是一个由单纯形（熵）上的凸函数参数化的算法族的名称，当使用\emph{Shannon entropy} $\operatorname{S}$时，它简化为聚合算法。对于一个给定的熵$Φ$，使用\textsc{GAA}可能不断后悔的损失被称为$Φ$ -可混合的。哪些损失是$Φ$ -可混合的，以前是一个悬而未决的问题。我们充分描述了$Φ$的可混合性，并回答了\cite{Reid2015}提出的其他开放性问题。我们表明，香农熵$\operatorname{S}$是基本的性质，当涉及到可混合性;任何$Φ$ -可混合的损失必然是$\operatorname{S}$ -可混合的，和最低的最坏情况下的遗憾的\textsc{GAA}实现使用香农熵。最后，利用\emph{mirror descent algorithm}和GAA更新步骤之间的联系，提出了一种新的\emph{adaptive}广义聚集算法，并从遗憾界的角度分析…
2018-10-31 cs.LG
An Axiomatic Approach to Loss Aggregation and an Adapted Aggregating Algorithm
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
本文针对专家建议下的在线学习，通过公理化假设将合理损失聚合函数表征为拟和，并提出聚合算法变体，继承了贝叶斯更新恢复与时间无关遗憾界等理论性质。
2024-06-04 cs.LG
Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts
Amazon Stores Foundation AI（亚马逊商店基金会人工智能）；Carnegie Mellon University（卡内基梅隆大学）；Anthropic
本文提出专家再利用方法，通过持续预训练逐步扩展MoE模型容量，降低训练成本，实验显示在7B-13B参数规模下，模型验证损失与基线相当，节省32%的GPU小时。
2026-05-10 cs.AI cs.LG
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts
Tsinghua University（清华大学）；Baidu Inc（百度公司）
针对现有单分支参数高效迁移学习方法解耦能力不足的问题，提出多分支聚合低秩专家的ALoRE方法，仅用极少参数就在24项图像分类任务上性能超越全微调和其他主流PETL方法。
2024-12-11 cs.CV cs.LG
ManagerTower: Aggregating the Insights of Uni-Modal Experts for Vision-Language Representation Learning
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Northeastern University（东北大学）；Intel Labs（英特尔研究院）
ManagerTower提出在双塔视觉-语言模型各跨模态层引入管理器，自适应聚合不同层级单模态专家知识，以仅4M预训练数据在VQAv2和Flickr30K等任务上超越强基线。
2023-05-31 cs.CL cs.CV cs.LG
Supermartingales in Prediction with Expert Advice
Computer Learning Research Centre（计算机学习研究中心）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
我们应用防御性预测的方法，使用博弈论上鞅的基础上，预测专家的意见。在传统的专家数可数和结果数有限的情况下，防御性预测算法非常接近于著名的聚集算法。对于这两种本质上不同的方法，不仅性能保证是相同的，而且预测也是相同的。我们还讨论了一个新的设置，专家可以给学习者的未来决定的建议条件。这两种算法都可以适应新的设置，并提供与传统设置相同的性能保证。最后，我们概述了防御性预测的应用程序设置几个损失函数。
2010-03-10 cs.LG
Online Learning with Automata-based Expert Sequences
Courant Institute（库朗研究所）；Google Research（谷歌研究院）
我们认为一个一般的框架在线学习与专家的意见，遗憾的定义相对于序列的专家接受了加权自动机。我们的框架涵盖了以前研究的几个问题，包括与K-移位专家的竞争。我们给出了一系列的算法，这个问题，包括一个自动机为基础的算法扩展加权多数和更有效的算法的基础上的概念，故障转移。我们进一步提出了有效的算法的竞争对手自动机的近似的基础上，特别是通过最小化的\infty -雷尼分歧得到的n元模型，并提出了广泛的研究这种模型的近似特性。最后，我们还将我们的算法和结果扩展到睡眠专家的框架。
2017-10-22 cs.LG
Reliable Fusion of Conflicting Experts
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；TU Darmstadt（达姆施塔特工业大学）；The University of Texas at Tyler（德克萨斯大学泰勒分校）；Air Force Research Lab（空军研究实验室）
针对专家可靠性随输入变化且易冲突的场景，提出基于概率电路的动态融合框架，利用上下文可信度聚合黑盒专家意见，无需重训练，在多项选择任务中优于静态基线。
2026-09-24 cs.LG
Predicting Glaucoma Visual Field Loss by Hierarchically Aggregating Clustering-based Predictors
The University of Tokyo（东京大学）；JST（日本科学技术振兴机构）
本研究解决了从患者疾病数据集预测昏迷性视野丧失的问题。我们的目标是准确预测个体患者的疾病进展。由于每个患者的可用测量值很少，因此很难为个体产生良好的预测值。最近提出的基于聚类的方法增强了使用具有相似时空模式的患者数据的预测能力。每个患者被归类为一组患者，并使用该类中的所有数据构建预测模型。预测高度依赖于聚类的质量，但很难确定最佳聚类方法。因此，我们提出了一种方法，用于聚合基于聚类的预测，以获得更好的预测精度比从一个单一的基于聚类的预测。此外，该方法显示出非常高的性能，通过分层聚合从几个基于聚类的方法产生的专家。我们使用真实的数据集来证明我们的方法比传统的基于聚类和患者的回归方法表现得更好，因为分层聚合策略具有一种机制，使小社区中的良好预测者能够茁壮成长。
2016-03-23 cs.LG stat.ML
Aggregating Strategies for Long-term Forecasting
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Institute for Information Transmission Problems（信息传输问题研究所）
本文主要研究集结算法在长期预测问题中的应用。我们研究了经典的聚集算法的基础上的指数重新加权。对于一般的Vovk集结算法，我们提供了它的推广的长期预测。对于Vovk算法的特殊基本情况，我们给出了它的两个修正，用于长期预测。第一个是理论上接近最优算法，是基于独立副本的复制。它提供了与时间无关的遗憾约束相对于池中的最佳专家。第二个不是最优的，但更实用，并且具有$O(\sqrt{T})$遗憾边界，其中$T$是游戏的长度。
2018-03-18 cs.LG math.PR math.ST
Anomaly detection with superexperts under delayed feedback
The Alan Turing Institute（艾伦·图灵研究所）；WMG Cyber Security Centre, University of Warwick（华威大学WMG网络安全中心）
数据和网络物理系统的连通性日益增强，导致网络攻击数量不断增加。需要通过查明异常活动来实时检测此类攻击，以便有效和迅速地部署缓解行动和应急行动。我们提出了一种新的方法，聚合无监督的异常检测算法，并将反馈时，它变得可用。我们将这种方法应用于开源的真实数据集，并表明，这两个聚合模型，我们称之为专家，并纳入反馈显着提高性能。所提出的方法的一个重要属性是它们的理论保证，即它们的性能接近最佳超级专家，可以在最佳性能专家之间切换，在累积平均损失方面。
2021-04-22 cs.LG stat.ML
Tracking the Best Expert Privately
Apple（苹果公司）；UMich（密歇根大学）；UIC（芝加哥大学伊利诺伊分校）
本文研究差分隐私下的追踪最佳专家问题，分别针对变化随机、无知和自适应对手设计动态遗憾算法，并证明自适应情形在高隐私区间存在线性遗憾下界。
2025-03-12 cs.LG
Efficient tracking of a growing number of experts
Centre de Mathématiques Appliquées École Polytechnique（巴黎综合理工学院应用数学中心）；Inria Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
我们考虑一个变化的预测问题与专家的意见，新的预测，直到那时是未知的可能会出现在每一轮。正如在专家建议的预测中经常出现的那样，设计一个实现接近最优后悔保证的算法是简单的，使用专家的聚合。然而，当比较类足够丰富时，例如当最佳专家和专家集本身随着时间的推移而变化时，此类策略天真地需要维持大量的权重（通常与时间范围呈指数关系）。相比之下，设计既能达到接近最优后悔又能保持合理数量权重的策略是非常重要的。我们考虑三个越来越具有挑战性的目标（简单的遗憾，转移遗憾和稀疏转移遗憾），扩展现有的概念定义为一个固定的专家合奏，在每种情况下，我们设计的策略，实现严格的遗憾界限，自适应的参数比较类，同时计算成本低廉。此外，我们的算法是随时，不可知的传入专家的数量和完全无参数。之所以能取得如此显著的结果，要归功于两个简单但非常有效的秘诀：第一个是来自专家框架的“回避技巧”，它能够处理最不具挑战性的后悔概念，但在处理更复杂的目标时却受到限制。第二，我们引入的“静音技巧”，以提供更大的灵活性。我们将展示如何结合这两个技巧，以处理最具挑战性的比较策略。
2017-08-31 cs.LG stat.ML
Prediction with Expert Advice by Following the Perturbed Leader for General Weights
在将聚合策略应用于专家建议预测时，必须自适应地调整学习率。sqrt（复杂性/当前损失）的自然选择使得加权多数衍生工具的分析非常复杂。特别是，对于任意权重，迄今为止还没有证明结果。Kalai（2003）的备选“跟随扰动领导者”（FPL）算法（基于Hannan的算法）的分析更容易。我们得到的损失界自适应学习率和有限的专家类与统一的权重和可数的专家类与任意的权重。对于前一种设置，我们的损失界匹配到目前为止最好的已知结果，而对于后者，我们的结果是（据我们所知）新的。
2004-05-12 cs.AI cs.LG
Manager: Aggregating Insights from Unimodal Experts in Two-Tower VLMs and MLLMs
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology（社会计算与信息检索研究中心，哈尔滨工业大学）；School of Computer Science and Engineering, Central South University（计算机科学与工程学院，中南大学）；School of Computing, National University of Singapore（计算学院，新加坡国立大学）
本研究提出轻量插件Manager，自适应聚合不同层级单模态专家洞见，在双塔VLM和MLLM架构下均显著提升多类视觉语言任务性能，且与多网格算法协同可进一步优化效果。
2025-06-13 cs.CL cs.CV cs.LG
Generalised Mixability, Constant Regret, and Bayesian Updating
The Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Microsoft Research（微软研究院）
当通过使用Vovk的聚合算法在具有专家建议的预测游戏中可以实现恒定的后悔界限时，损失的可混合性是已知的。我们提供了一个新的解释，通过凸分析，突出了Kullback-Leibler分歧在其定义中的作用。这自然地推广到我们称之为$Φ$的混合性，其中Bregman分歧$D_Φ$取代KL分歧。我们证明，损失是$Φ$ -混合也享有恒定的遗憾界通过一个广义的聚合算法，是类似于镜像下降。
2014-03-10 cs.LG stat.ML
Exp-Concavity of Proper Composite Losses
Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术研究院）
在线预测专家建议的目标是找到一个决策策略，该策略在任何结果序列上都将表现得几乎与给定专家库中的最佳专家一样好。这个问题已经得到了广泛的研究和$O(\sqrt{T})$和$O(\log{T})$遗憾界可以实现凸损失（\cite{zinkevich2003online}）和严格凸损失与有界的第一和第二导数（\cite{hazan2007logarithmic}）。在特殊情况下，如具有可混合损失的聚合算法（\cite{vovk1995game}）和具有指数凹损失的加权平均算法（\cite{kivinen1999averaging}），可以实现$O(1)$遗憾界限。\cite{van2012exp}认为，在某些条件下，可混性和经验近似相等。因此，通过理解这两个概念之间的潜在关系，我们可以获得两种算法的最佳效果（聚合算法的强理论性能保证和加权平均算法的计算效率）。在本文中，我们提供了一个完整的表征的经验，任何适当的复合损失。使用这种特性和适当的损失（\cite{van2012mixability}）的可混性条件，我们表明，它是可能的转换（重新参数化）任何$β$ -可混二进制适当的损失到一个$β$ -指数凹复合损失相同的$β$。在多类的情况下，我们提出了一个近似的方法，这种转换。
2018-05-20 cs.LG stat.ML
Adaptive Online Prediction by Following the Perturbed Leader
在将聚合策略应用于专家建议预测时，必须自适应地调整学习率。sqrt（复杂性/当前损失）的自然选择使得加权多数衍生工具的分析非常复杂。特别是，对于任意权重，迄今为止还没有证明结果。Kalai & Vempala（2003）的“Follow the Perturbed Leader”（FPL）算法（基于Hannan的算法）的分析更容易。我们得到的损失界自适应学习率和有限的专家类与统一的权重和可数的专家类与任意的权重。对于前一种设置，我们的损失界匹配到目前为止最知名的结果，而对于后者，我们的结果是新的。
2005-04-16 cs.AI cs.LG
A Novel Experts Advice Aggregation Framework Using Deep Reinforcement Learning for Portfolio Management
Sharif University of Technology（谢里夫理工大学）
使用深度强化学习解决投资组合管理问题在金融界引起了广泛的关注。我们提出了一种新方法，使用专家信号和历史价格数据来输入我们的强化学习框架。虽然专家信号已经在金融领域的以前的工作中使用过，但据我们所知，这是第一次将这种方法与深度RL结合起来用于解决金融投资组合管理问题。我们提出的框架由一个用于聚合信号的卷积网络、另一个用于历史价格数据的卷积网络和一个普通网络组成。我们使用邻近策略优化算法作为代理来处理奖励并在环境中采取行动。结果表明，平均而言，我们的框架可以获得最好的专家所获得的利润的90%。
2022-12-29 cs.LG q-fin.CP q-fin.PM
Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation
University of Tübingen（图宾根大学）；EPFL（苏黎世联邦理工学院）；University of Technology Nuremberg（纽伦堡技术大学）
本文研究了多目标模仿学习问题，即在多目标马尔可夫决策过程（MOMDP）中，根据多个帕累托最优专家的演示数据恢复位于帕累托前沿的策略。传统模仿方法无法应对这一场景，因为简单地聚合冲突的专家轨迹可能导致被支配的策略。为此，我们引入了多输出增强行为克隆（MA-BC）算法，该算法系统地划分分歧的专家数据，同时融合无行为冲突的状态-动作对。理论上，我们证明MA-BC以比单独考虑每个专家数据集的学习器更快的统计速率收敛到帕累托最优策略。此外，我们建立了多目标模仿学习的新下界，证明MA-BC是最小最大最优的。最后，我们在多样化的离散环境和连续线性二次调节器（LQR）控制任务中经验验证了我们的算法。
2026-10-15 cs.LG
Learning by Shifting: Temporal View Construction for Time Series Contrastive Learning
Norwegian University of Science and Technology（挪威科技大学）；United States Naval Academy（美国海军学院）
提出Shift Invariant Feature Training (ShiFT)方法，通过确定性视图构建编码时间移位不变性，在六个真实世界时间序列基准和UCR/UEA数据集上达到最优性能，并减少训练时间。
2026-06-23 cs.LG
MEGA-DAgger: Imitation Learning with Multiple Imperfect Experts
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
本文提出 MEGA-DAgger 方法，通过过滤不安全演示和基于场景指标解决专家标签冲突，实现多个不完美专家下的交互式模仿学习，并在自动驾驶赛车任务中超越专家及现有最优算法。
2024-05-02 cs.LG cs.RO
Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding
CyberAgent；Keio University（庆应义塾大学）
针对自然语言理解模型因依赖捷径而在分布偏移下预测出错的问题，提出通过事后控制悲观聚合混合专家预测的方法，显著增强了模型对捷径分布偏移的鲁棒性并具有实际优势。
2024-11-18 cs.CL cs.LG
Frugal day-ahead forecasting of multiple local electricity loads by aggregating adaptive models
Électricité de France R&D（法国电力公司研发部）；Viking Conseil（维京咨询公司）
我们专注于日前的电力负荷预测的变电站的配电网在法国，因此，我们的问题在于一个单一的消费和稳定的全国总需求之间的不稳定性。此外，我们有兴趣预测一千多个变电站的负荷，因此，我们是在预测多个时间序列的背景下。为此，我们依赖于一种自适应方法，在全国范围内提供了出色的结果;这个想法是将广义加性模型与状态空间表示相结合。然而，这种方法的扩展到超过一千个时间序列的预测提出了一个计算问题。我们解决它通过开发一个节俭的变体，减少估计的参数的数量，我们估计的预测模型只有少数时间序列，并实现迁移学习依靠专家的聚合。它减少了计算需求及其相关排放。我们建立了几个变体，对应于不同级别的参数传递，我们寻找准确性和节俭之间的最佳权衡。与最先进的单个模型相比，所选方法实现了具有竞争力的结果。最后，我们强调了模型的可解释性，这对业务应用程序很重要。
2023-02-16 cs.LG stat.AP stat.ME
No-Regret Online Prediction with Strategic Experts
University of Washington（华盛顿大学）
研究策略性专家在线二元预测框架的推广，允许每轮挑选多个专家，提出利用效用函数特定结构的激励相容且无遗憾的算法。
2023-05-24 cs.GT cs.LG
Online Aggregation of Probability Forecasts with Confidence
本文介绍了专家建议预报（PEA）的数值试验和一些理论发展。一个实验涉及根据温度预测电力消耗，并使用真实数据。由于依赖的模式可以随着季节和一天中的时间而变化，该领域自然允许PEA与具有不同“专业领域”的专家一起制定。我们考虑的情况下，几个竞争的方法产生在线预测的概率分布函数的形式。概率预测和结果之间的差异由损失函数（评分规则）来衡量。连续结果的评分规则的一个流行示例是连续排序概率评分（CRPS）。在本文中，结合概率预测的问题被认为是在PEA框架。证明了CRPS是一个可混合的损失函数，并给出了以CRPS为损失函数的Vovk聚集算法的后悔时间上界.此外，我们将一个“平滑”的版本的专门专家的方法在这个计划中，使我们能够结合概率预测的专业专家重叠域的能力。
2021-09-29 cs.AI cs.LG
Sharp bounds on aggregate expert error
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
研究条件独立专家二元建议聚合的最优决策错误概率，在一般非对称情况下提出精确上下界，并证明其等价于估计两个乘积分布间的总变差距离。
2024-12-23 cs.LG math.PR math.ST
Achieving All with No Parameters: Adaptive NormalHedge
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
我们研究了经典的在线学习问题的预测与专家的意见，并提出了一个真正的无参数和自适应算法，同时实现多个目标，而不使用任何先验信息。这项工作的主要组成部分是NormalHedge.DT算法的改进版本（Luo和Schapire，2014），称为AdaNormalHedge。该算法一方面保证了在竞争对手损失较小时的小后悔，另一方面保证了在随机损失时的几乎恒定的后悔。另一方面，该算法能够同时与专家的任何凸组合进行竞争，但在先验和竞争者的相对熵方面存在遗憾。这解决了Chaudhuri et al.（2009）和Bauzov and Vovk（2010）提出的一个未决问题。此外，我们将结果扩展到睡眠专家设置，并提供两个应用程序来说明AdaNormalHedge的强大功能：1）与时变未知竞争对手竞争，2）预测几乎以及最佳修剪树。我们在这些应用上的结果从不同方面显著改进了以前的工作，第一个应用的特殊情况解决了Warranty和Koolen（2014）提出的另一个开放问题，即是否可以同时实现对抗性和随机损失的最佳转移后悔。
2015-02-20 cs.LG
Towards Group Learning: Distributed Weighting of Experts
Tulane University（杜兰大学）
从噪声源的集合中聚合信号是许多领域中的基本问题，包括众包、多代理规划、传感器网络、信号处理、投票、集成学习和联邦学习。核心问题是如何聚合来自多个来源（例如专家）的信号，以揭示潜在的基本事实。虽然完整的答案取决于信号的类型、信号的相关性和期望的输出，但所有这些应用的共同问题是基于它们的质量区分源并相应地对其进行加权。人们通常认为，这种分化和聚合是由一个单一的、准确的中央机制或代理人（例如法官）完成的。我们以两种方式使这个模型复杂化。首先，我们研究了一个单一的法官，一个多个法官的设置。其次，鉴于这种多主体的互动法官，我们调查的法官的报告空间的各种限制。我们建立在已知的结果，专家的最佳权重，并证明了一个合奏的次优机制可以在一定条件下最佳地执行。然后，我们凭经验表明，合奏近似的最佳机制在更广泛的条件下的性能。
2022-06-03 cs.AI cs.LG cs.MA
A naive aggregation algorithm for improving generalization in a class of learning problems
针对带专家建议的高维非线性点估计学习，论文提出一种朴素聚合算法，通过序贯确定混合分布策略形成优于个体专家的共识估计，并以非线性回归数值结果验证。
2024-09-06 cs.LG math.OC stat.ML
PFL-MoE: Personalized Federated Learning Based on Mixture of Experts
Sun Yat-sen University（中山大学）；Tencent Inc.（腾讯公司）
联邦学习（Federated learning，FL）是一种新兴的分布式机器学习范式，它避免了训练节点之间的数据共享，从而保护了数据隐私。在FL服务器的协调下，每个客户端使用自己的计算资源和私有数据集进行模型训练。可以通过汇总客户的培训结果来创建全局模型。为了应对高度非IID的数据分布，已经提出了个性化的联邦学习（PFL），以通过允许每个客户端学习个性化的模型来提高整体性能。然而，个性化模型的一个主要缺点是泛化能力的丧失。为了实现模型个性化，同时保持泛化，在本文中，我们提出了一种新的方法，名为PFL-MoE，通过MoE架构混合输出的个性化模型和全球模型。PFL-MoE是一种通用的方法，可以通过集成现有的PFL算法来实例化。特别地，我们提出了PFL-MF算法，这是PFL-MoE的一个实例，基于冻结基PFL算法。通过提高MoE选通网络的决策能力，进一步改进了PFL-MF算法，提出了一种改进的PFL-MFE算法。我们通过在具有非IID分区的Fashion-MNIST和CIFAR-10数据集上训练LeNet-5和VGG-16模型来证明PFL-MoE的有效性。
2020-12-31 cs.DC cs.LG
Temporal distribution of clusters of investors and their application in prediction with expert advice
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；AlgoLabs（算法实验室）
本文研究外汇交易者聚类的时间分布，发现其符合Ewens抽样分布，并提出结合统计验证网络或层次聚类来改进聚合算法，从而提升交易者风险组合的收益与平滑性。
2024-06-04 cs.AI cs.CE cs.LG
Evaluating Interactive 2D Visualization as a Sample Selection Strategy for Biomedical Time-Series Data Annotation
Signal Processing Research Centre, Tampere University（塔尔皮莱大学信号处理研究中心）；BABA Center, Department of Physiology, University of Helsinki（赫尔辛基大学生理学系BABA中心）
针对生物医学时间序列标注困难，比较随机采样、最远优先遍历和基于交互式2D可视化（2DV）的三种样本选择方法，在婴儿运动评估和语音情感识别任务中，2DV在聚合标签时表现最佳，但个体标注者间标签分布差异大，随机采样最安全。
2026-06-17 cs.AI cs.HC cs.LG
