Prediction with Advice of Unknown Number of Experts
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
在专家建议预测的框架下,我们考虑了最近引入的一种遗憾界限:取决于有效而不是名义上的专家数量的界限。与主要依赖于有效专家数但也弱依赖于名义专家数的正态-对冲界不同,我们得到了一个完全不包含名义专家数的正态-对冲界.我们使用防御性预测方法,并介绍了防御性预测在多值上鞅中的应用。
2014-08-09 cs.LG stat.ML
When Lower-Order Terms Dominate: Adaptive Expert Algorithms for Heavy-Tailed Losses
Universitat Pompeu Fabra(庞培法布拉大学);Università degli Studi di Milano(米兰大学);Leiden University(莱顿大学)
本文提出了一种自适应算法,解决了厚尾损失下的预测问题,通过改进的后悔界避免低阶项的影响,提高了算法性能。
2026-01-08 cs.LG stat.ML
Improved Sample Complexity of Imitation Learning for Barrier Model Predictive Control
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);University of Oxford(牛津大学)
本文提出用对数障碍松弛MPC构造平滑专家控制器,证明障碍MPC达到理论最优误差-平滑权衡,并给出凸Lipschitz函数解析中心最优性间隙的改进下界,实验验证其优于随机平滑。
2024-10-01 cs.LG cs.SY eess.SY
Online Learning with Many Experts
Technion—Israel Institute of Technology(以色列理工学院)
我们研究的问题,预测与专家的意见时,专家的数量可能是非常大的问题,甚至是无限的。我们设计了一个算法,获得了紧遗憾界的$\widetilde{O}(εT + N + \sqrt{NT})$,其中$N$是经验$ε$覆盖数的序列的损失函数的环境。此外,我们提出了一个对冲程序,使我们能够找到最佳的$ε$在事后。最后,我们讨论了我们的算法的一些有趣的应用。我们展示了我们的算法如何适用于Hazan et al.(2016)的近似低秩专家模型,并讨论了具有有界变化的专家的情况,其中在统计和在线设置中获得的遗憾界限之间存在令人惊讶的巨大差距。
2017-02-25 cs.LG
Experts with Lower-Bounded Loss Feedback: A Unifying Framework
Technion – Israel Institute of Technology(以色列理工学院)
最佳专家问题的最突出的反馈模型是完全信息和强盗模型。在这项工作中,我们考虑了一个简单的反馈模型,概括了这两个,在每一轮,除了一个强盗反馈,对手提供了一个下界的损失,每个专家。这样的下限可以在各种场景中获得,例如,在股票交易中或在评估某些测量设备的误差中。对于这个模型,我们证明了最佳的遗憾界(对数因子)的Exp3的修改版本,推广算法和界的土匪和全信息设置。我们的二阶统一后悔分析模拟了两步损失更新,并突出了三个海森或海森类表达式,映射到全信息后悔,强盗后悔,和两者的混合。我们的研究结果相交与土匪与图形结构的反馈,在这两种设置可以容纳反馈的专家在每一轮的任意子集。然而,我们的模型也可以容纳部分反馈在单个专家的水平,通过允许非平凡的下限上的每个损失。
2020-12-17 cs.LG stat.ML
Towards Optimal Algorithms for Prediction with Expert Advice
Microsoft Research(微软研究院)
我们研究的经典问题的预测与专家的意见,在对抗设置几何停止时间。1965年,Cover给出了两个专家情况下的最优算法。在本文中,我们设计的最佳算法,对手和遗憾的情况下,3个专家。此外,我们证明了$2$和$3$专家的最佳算法是一个概率匹配算法(类似于汤普森抽样)对一个特定的随机对手。值得注意的是,我们的证明表明,概率匹配算法不仅是最佳的对这个特定的随机对手,但最小最大最优。我们的分析开发的上限和下限同时,类似于原始对偶方法。我们对最佳对手的分析是通过粒子在多个墙壁之间随机行走的微妙渐近性来进行的。我们使用的连接,我们开发的随机游走,以获得一个改进的算法和遗憾的情况下,$4$专家界,并提供了一个一般的框架设计的最佳算法和对手的任意数量的专家。
2016-07-11 cs.GT cs.LG math.PR
Adaptive and Efficient Algorithms for Tracking the Best Expert
National Key Laboratory for Novel Software Technology(Novel Software Technology国家重点实验室);Nanjing University(南京大学)
在本文中,我们考虑在动态环境中的专家意见的预测问题。我们选择跟踪遗憾作为性能指标,并开发了两个自适应和有效的算法与数据相关的跟踪遗憾界。第一种算法实现了二阶跟踪遗憾界,改进了现有的一阶界。第二个算法享有的路径长度的界限,这通常是不可比的二阶界限,但在缓慢移动的环境中提供的优势。这两种算法都是在在线镜像下降框架下开发的,并从现有的算法中汲取灵感,获得静态遗憾的数据依赖性界限。其关键思想是在在线镜像下降的更新步骤中使用裁剪单纯形。最后,我们扩展我们的算法和分析,在线矩阵预测,并提供了第一个数据依赖的跟踪遗憾界这个问题。
2020-02-08 cs.LG stat.ML
Second Order Regret Bounds Against Generalized Expert Sequences under Partial Bandit Feedback
研究了部分反馈下的专家建议问题,提出了一个序贯极小极大优化算法。我们的算法与一个更一般的部分监控设置,在那里,与经典的强盗反馈,损失可以显示在一个对抗的方式。我们的算法采用了一个普遍的预测的角度,其性能进行了分析,对一般的专家选择序列的遗憾。遗憾的是,我们研究的是对一个一般的竞争类,涵盖了许多设置(如开关或上下文专家设置)和专家选择序列的竞争类是由手头的应用程序。我们的遗憾界是二阶界的平方损失和我们的算法的正规化遗憾的损失序列的任意仿射变换下不变。我们的算法是真正的在线,不使用任何有关损失序列的初步信息。
2022-04-13 cs.IT cs.LG eess.SP
A Generalized Online Algorithm for Translation and Scale Invariant Prediction with Expert Advice
在这项工作中,我们的目标是创建一个完全在线的算法框架,用于预测专家的建议,这是无预警和无尺度的专家损失。我们的目标是创建一个通用的算法,适用于各种各样的应用程序。为了这个目的,我们研究了我们的算法对一个通用的竞争类在顺序预测专家咨询问题的预期遗憾,其中预期遗憾的措施之间的差异,我们的预测算法的损失和损失的“最好的”专家选择策略的竞争。我们设计我们的算法使用的普遍预测的角度来竞争对一个指定的类的专家选择策略,这不一定是一个固定的专家选择。类的专家选择策略,我们要竞争,纯粹是由手头的具体应用程序,是左通用,这使得我们的广义算法适用于许多不同的问题。我们表明,我们的算法和它的性能界限,这是二阶,表示在平方损失的总和方面的损失序列是不需要的初步知识。我们的后悔界限在任意缩放和转换损失时是稳定的。
2020-09-09 cs.LG stat.ML
Continuous Prediction with Experts' Advice
University of British Columbia(不列颠哥伦比亚大学);Google(谷歌)
根据专家的建议进行预测是在线学习中最基本的问题之一,并且解决了许多技术挑战。最近的一系列工作通过微分方程和连续时间分析的镜头来研究在线学习。这种观点对在线学习中的几个问题产生了最佳结果。本文采用连续时间随机微积分方法研究离散时间专家问题。我们使用这些工具来设计一个连续的时间,无参数的算法与改进的保证分位数遗憾。然后,我们开发了一个类似的离散时间算法,具有非常相似的分析和相同的分位数遗憾界。最后,我们设计了一个任意时间连续时间算法,当增益是独立的布朗运动时,遗憾匹配最优固定时间速率;在许多设置中,这是最困难的情况。这提供了一些证据,即使有对抗性收益,最佳的随时和固定时间的后悔可能会重合。
2022-09-30 cs.LG math.PR stat.ML
Precise Regret Bounds for Log-loss via a Truncated Bayesian Algorithm
Purdue University(普渡大学)
我们研究了序贯一般在线回归,也被称为序贯概率分配,对数损失下相比,对广泛的一类专家。我们专注于获得紧密的,往往匹配,下限和上限的顺序极大极小后悔,被定义为超额损失,它招致了一类专家。在证明了一个一般的上界后,我们考虑了从Lipschitz类到有界Hessian类的一些特定的专家类,并导出了匹配的上下界和可证明的最优常数。我们的边界适用于数据维度和轮数的广泛值。为了得到下限,我们使用来自信息论的工具(例如,Shtarkov和)和上界,我们诉诸新的“光滑截断覆盖”的专家类。这使我们能够找到建设性的证据,通过应用一个简单而新颖的截断贝叶斯算法。我们的证明比现有的证明简单得多,但提供了更严格的(通常是最优的)界限。
2022-05-07 cs.IT cs.LG math.IT
Memory Bounds for the Experts Problem
Northwestern University(西北大学);Carnegie Mellon University(卡内基梅隆大学)
根据专家建议进行在线学习是序贯预测的基本问题。在这个问题中,算法可以访问一组$n$“专家”,这些专家每天都进行预测。每天的目标是处理这些预测,并以最小的成本做出预测。在做出预测后,算法会看到当天的实际结果,更新其状态,然后继续到第二天。一个算法是通过与集合中最好的专家相比来判断的。求解该问题的经典算法是乘性权算法。然而,据我们所知,每个应用程序都依赖于为每个专家存储权重,并使用$Ω(n)$内存。在自然流模型中,很少有关于理解解决具有专家建议的在线学习问题或运行标准顺序预测算法所需的存储器的工作,这在专家数量以及专家进行预测的天数很大时特别重要。我们在流媒体环境中研究了专家建议学习问题,并给出了上界和下界。我们的身份识别下限,随机顺序和对抗顺序流使用了一种新的掩蔽技术来简化定制问题,以显示后悔与记忆的平滑权衡。我们的上界显示了新的方法来运行标准的顺序预测算法在轮上的小“池”的专家,从而减少了必要的内存。对于随机顺序流,我们表明,我们的上限是紧到低阶项。我们希望这些结果和技术将在在线学习中有广泛的应用,并能启发基于标准序贯预测技术的算法,如乘法权重,用于内存受限设置中的各种其他问题。
2022-04-21 cs.DS cs.LG
Improved Algorithms for Bandit with Graph Feedback via Regret Decomposition
Shanghai Jiao Tong University(上海交通大学)
针对图反馈赌机问题,提出基于反馈图划分的新算法框架,通过遗憾分解揭示图各部分相互作用,统一并推广了MAB与专家建议学习的最优算法,在多种图族上实现了改进且最优的遗憾界。
2023-08-04 cs.DS cs.LG stat.ML
Better Bounds for the Distributed Experts Problem
Carnegie Mellon University(卡内基梅隆大学);Texas A&M University(德克萨斯大学)
本文提出了一种改进的分布式专家问题协议,通过更优的通信效率和悔恨值界限,提升了性能表现。
2026-03-10 cs.DS cs.LG stat.ML