Prior-Agnostic Robust Forecast Aggregation
Chinese University of Hong Kong（香港中文大学）
针对未知状态空间和先验的鲁棒预测聚合问题，提出一种显式闭式对数几率聚合器，在线性对数几率空间线性池化预测，并在三种知识体制下给出接近极小极大遗憾的界。
2026-05-23 cs.GT cs.LG
Cover meets Robbins while Betting on Bounded Data: $\ln n$ Regret and Almost Sure $\ln\ln n$ Regret
Indian Institute of Science（印度科学研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种混合投注策略，结合了罗宾斯和覆盖的见解，实现对随机数据的适应性和对抗数据的保护，展示了$\ln\ln n$的几乎确定遗憾和$\ln n$的最坏情况遗憾。
2026-10-14 cs.LG math.ST stat.ML
Scale-Free Online Learning
Stony Brook University（石溪大学）；Yahoo Research（雅虎研究院）
我们设计和分析在线线性优化算法，有最佳遗憾，并在同一时间不需要知道任何上界或下界的损失向量的范数。我们的算法是遵循正则化领导者（FTRL）和镜像下降（MD）元算法的实例。我们通过尺度不变性实现对损失向量范数的自适应，即，如果损失向量序列乘以任何正常数，我们的算法会做出完全相同的决定。基于FTRL的算法适用于任何有界或无界的决策集。对于无界决策集，这是第一个非空遗憾界的在线线性优化自适应算法。相比之下，我们展示了无界域上基于MD的无标度算法的下界。
2016-12-14 cs.LG
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano（米兰大学）；ETH Zürich（苏黎世联邦理工学院）
我们考虑预测与专家的意见，为强凸和有界损失，并调查之间的权衡遗憾和“方差”（即，学习者预测和最佳专家预测的平方差）。对于$K$专家，已知指数加权平均（EWA）算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾（即，该算法优于最佳专家），或者保证方差和遗憾的$O(\log K)$界限。基于这一结果，我们展示了几个例子，说明如何在学习中利用预测的方差。在在线批量分析中，我们表明，一个大的经验方差允许提前停止在线批量转换，并优于类中最好的预测器的风险。当不考虑提前停止时，我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失，我们表明，腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中，我们设计了一个算法，当方差较大时，抽样较少，同时保证期望中的最优后悔界。在在线学习中，我们使用一个类似的术语作为方差，以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后，我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Online Convex Optimization with Unbounded Memory
Cornell University（康奈尔大学）
本文提出具有无界记忆的在线凸优化框架，引入p-有效记忆容量H_p量化历史决策影响，证明策略遗憾的O(√(H_pT))上下界，并应用于在线线性控制与执行预测等问题。
2024-03-29 cs.LG math.OC stat.ML
Efficient tracking of a growing number of experts
Centre de Mathématiques Appliquées École Polytechnique（巴黎综合理工学院应用数学中心）；Inria Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
我们考虑一个变化的预测问题与专家的意见，新的预测，直到那时是未知的可能会出现在每一轮。正如在专家建议的预测中经常出现的那样，设计一个实现接近最优后悔保证的算法是简单的，使用专家的聚合。然而，当比较类足够丰富时，例如当最佳专家和专家集本身随着时间的推移而变化时，此类策略天真地需要维持大量的权重（通常与时间范围呈指数关系）。相比之下，设计既能达到接近最优后悔又能保持合理数量权重的策略是非常重要的。我们考虑三个越来越具有挑战性的目标（简单的遗憾，转移遗憾和稀疏转移遗憾），扩展现有的概念定义为一个固定的专家合奏，在每种情况下，我们设计的策略，实现严格的遗憾界限，自适应的参数比较类，同时计算成本低廉。此外，我们的算法是随时，不可知的传入专家的数量和完全无参数。之所以能取得如此显著的结果，要归功于两个简单但非常有效的秘诀：第一个是来自专家框架的“回避技巧”，它能够处理最不具挑战性的后悔概念，但在处理更复杂的目标时却受到限制。第二，我们引入的“静音技巧”，以提供更大的灵活性。我们将展示如何结合这两个技巧，以处理最具挑战性的比较策略。
2017-08-31 cs.LG stat.ML
Bounded Memory Adversarial Bandits with Composite Anonymous Delayed Feedback
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
研究了具有复合匿名延迟反馈的对抗性强盗问题。在此设置中，动作的损失被分成$d$分量，在选择动作后分布在连续轮中。在每一轮中，该算法观察来自最新$d$轮的损失的聚合。以前的工作集中在遗忘对抗设置，而我们调查更难的非遗忘设置。我们表明，非遗忘设置招致$Ω(T)$伪遗憾，即使损失序列是有界的记忆。然而，我们提出了一个包装器算法，享有$o(T)$政策遗憾的许多对抗土匪问题的假设，损失序列是有界的记忆。特别地，对于$K$ -armed bandit和bandit凸优化，我们给出了$\mathcal{O}(T^{2/3})$策略遗憾界.我们还证明了一个匹配的下限$K$ -武装土匪。我们的下界即使在损失序列是遗忘的但延迟是非遗忘的情况下也有效。它回答了\cite{wang2021adaptive}中提出的开放问题，表明非遗忘延迟足以招致$\tildeΩ(T^{2/3})$遗憾。
2022-04-28 cs.LG stat.ML
SCaLE: Switching Cost aware Learning and Exploration
Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）
SCaLE算法通过考虑高维动态二次击中成本和ℓ2-范数切换成本，在噪声带轮反馈模型中实现了分布无关的亚线性动态遗憾。
2026-01-14 cs.DS cs.LG math.OC
Unconstrained Dynamic Regret via Sparse Coding
Harvard University（哈佛大学）；Boston University（波士顿大学）
本文针对无界域上任意时变比较序列的在线凸优化问题，提出基于稀疏编码框架的自适应遗憾界，通过比较器在用户指定字典上的能量和稀疏性度量复杂度，并利用小波字典改进了现有最优界。
2023-10-25 cs.LG math.OC stat.ML
Isotuning With Applications To Scale-Free Online Learning
DeepMind（深度思维）
本文提出isotuning等工具，用于设计快速、自适应、任意时刻且无尺度的在线学习算法，并成功应用于FTRL、镜像下降、Adapt-ML-Prod等标准算法，恢复了小损失自适应性并扩展了无尺度保证。
2024-10-21 cs.AI cs.LG
CRIMED: Lower and Upper Bounds on Regret for Bandits with Unbounded Stochastic Corruption
Georgia Institute of Technology（佐治亚理工学院）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文研究无界随机腐败下的多臂老虎机遗憾问题，提出渐近最优算法 CRIMED，证明其在已知方差高斯情形达到精确下界，并给出有限样本分析及中位数紧集中结果。
2023-09-28 cs.LG stat.ML
Federated Offline Policy Learning
Stanford University（斯坦福大学）
研究从多异构数据源观测bandit反馈中学习个性化决策策略的联邦离线策略学习问题，提出基于双重稳健评估和局部策略聚合的算法，并建立全局与局部遗憾的有限样本上界以揭示数据源异质性下的权衡。
2024-10-11 cs.DC cs.LG econ.EM
Posterior Sampling Reinforcement Learning with Gaussian Processes for Continuous Control: Sublinear Regret Bounds for Unbounded State Spaces
University of Oxford（牛津大学）；Carnegie Mellon University（卡内基梅隆大学）；Technical University of Darmstadt（达姆施塔特技术大学）；Robotics Institute Germany（德国机器人研究所）
本文通过递归应用Borell-Tsirelson-Ibragimov-Sudakov不等式和链式方法，在弱平滑条件下证明了GP-PSRL算法的贝叶斯遗憾界为$\widetilde{\mathcal{O}}(H\sqrt{\gamma_TT})$，解决了先前理论工作的局限性。
2026-07-23 cs.LG stat.ML
Lipschitz and Comparator-Norm Adaptivity in Online Learning
The Australian National University（澳大利亚国立大学）；Data61；Centrum Wiskunde & Informatica（数学和计算机科学中心）
我们研究在线凸优化的无界设置，既没有预测，也没有梯度约束。目标是同时适应梯度序列和比较器。我们首先开发无参数和无标度的算法，简化设置提示。我们提供两个版本：第一种方法使用每轮$O(d)$时间分别适应比较器和梯度的平方范数，第二种方法适应每轮时间$O(d^3)$中它们的平方内积（仅测量比较器方向上的方差）。然后，我们推广两个前减少无界设置;一个不需要提示，第二个处理范围比问题（这已经出现在以前的工作）。我们讨论了他们的最优性，根据事先和新的下限。我们应用我们的方法，以获得更清晰的遗憾界尺度不变的线性模型的在线预测。
2020-08-08 cs.LG stat.ML
Online Paging with a Vanishing Regret
Technion（以色列理工学院）
本文考虑了一个变种的在线分页问题，在线算法有多个预测，每个产生一个序列的预测页面到达时间。预测器可以具有偶然的预测误差，并且假设它们中的至少一个总共产生次线性数量的预测误差。我们的主要结果表明，这个假设足以设计一个随机在线算法的时间平均遗憾相对于最佳离线算法趋于零的时间趋于无穷大。这适用于完整信息访问模型（具有不同的遗憾界限），其中在每一轮中，在线算法获得所有预测器的预测，以及强盗访问模型，其中在每一轮中，在线算法查询单个预测器。虽然在线算法，利用不准确的预测一直是一个越来越感兴趣的话题，在过去的几年里，据我们所知，这是第一篇论文，研究这一主题的背景下，多个预测的在线问题与无限的请求序列。此外，据我们所知，这也是第一篇旨在（并实现）在线算法的论文，在合理的假设下，经典的在线问题的遗憾消失了。
2020-11-19 cs.DS cs.LG
Optimal learning with Bernstein Online Aggregation
Sorbonne Universités, UPMC Univ Paris 06（索邦大学集团，巴黎第六大学）；University of Copenhagen（哥本哈根大学）
我们引入了一个新的递归聚合过程称为伯恩斯坦在线聚合（BOA）。指数权重包括准确度项和二阶项，二阶项是二次变化的代理，如Hazan和Kale（2010）中所述。这第二个术语稳定了在不同意义上最佳的程序。我们首先得到最优后悔界在确定性的背景下。然后，自适应版本是第一个指数权重算法，它表现出Gaillard等人（2014）首次出现的具有超额损失的二阶界限。在确定性背景下的二阶界限扩展到一般的随机背景下使用的累积预测风险。这种转换提供了主要的文件，一个新的类型的不等式比较的过程与任何确定性的聚合过程的综合标准。然后我们得到了BOA过程的超额风险的可观察估计。为了断言最优性，我们最后考虑了强凸和Lipschitz连续损失的iid情况，并证明了Tsybakov（2003）的最优聚合率是实现的。批处理版本的BOA过程是第一个自适应显式算法，满足最佳的预言不等式与高概率。
2016-09-13 cs.LG math.ST stat.ML
Noise-Adaptive High-Probability Regret Bounds for Online Convex Optimization
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Mathematics, Sichuan University（四川大学数学学院）
针对强凸损失在线凸优化，提出噪声自适应高概率遗憾界，在完全信息下实现与噪声水平相关的乘性改进，并证明赌博反馈下遗憾与置信度的线性关系，同时为约束优化提供联合高概率保证。
2026-06-06 cs.LG
Refined Risk Bounds for Unbounded Losses via Transductive Priors
Department of Electrical Engineering and Computer Science Massachusetts Institute of Technology（电气工程与计算机科学系 马萨诸塞理工学院）；Department of Brain and Cognitive Sciences Massachusetts Institute of Technology（脑科学与认知科学系 马萨诸塞理工学院）；Department of Statistics University of California, Berkeley（统计学系 加州大学伯克利分校）
该研究在转导在线学习设置下，利用带转导先验的指数权重算法，推导了无界损失下更优的风险与遗憾界，部分界不依赖设计向量或最优解范数，且算法有多项式时间近似。
2025-09-04 cs.LG math.ST stat.ML
Unconstrained Online Learning with Unbounded Losses
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Boston University（波士顿大学）
研究无界定义域与非 Lipschitz 损失下的在线学习，提出具有最优静态遗憾保证的算法，并将其扩展到无曲率鞍点优化和动态遗憾问题。
2023-07-14 cs.LG stat.ML
Online Learning Approach for Survival Analysis
本文提出一种基于在线牛顿步的生存分析在线框架，实现动态环境下的实时适应，并给出非渐近收敛保证、对数遗憾及自适应聚合方法，模拟实验验证其有效性。
2024-02-07 cs.LG physics.data-an stat.ML
No-Regret Learning with Unbounded Losses: The Case of Logarithmic Pooling
Columbia University（哥伦比亚大学）
针对在线半对抗环境下专家预测的对数池化权重学习问题，提出基于在线镜像下降的算法，实现了O(√T log T)的期望无悔保证。
2023-10-10 cs.LG stat.ML
Cost-Sensitive Online Window Size Selection for Portfolio Management
National Tsing Hua University（国立清华大学）
本文提出一个两层框架，通过在线学习动态聚合候选窗口大小的投资组合，并推导成本敏感跟踪遗憾界，以应对市场变化。
2026-09-29 cs.LG math.OC q-fin.PM
Byzantine-Robust Distributed Online Learning: Taming Adversarial Participants in An Adversarial Environment
Sun Yat-Sen University（中山大学）；George Mason University（乔治梅森大学）
该研究分析拜占庭攻击下的分布式在线学习，证明完全对抗环境中遗憾只能线性且紧，并提出在诚实损失 i.i.d. 时实现次线性随机遗憾的鲁棒动量算法。
2023-12-05 cs.DC cs.LG
Decision Making in Hybrid Environments: A Model Aggregation Approach
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
本文提出决策估计系数（DEC）的一般扩展，精确刻画世界动态固定而奖励任意变化的混合环境下的决策复杂性，涵盖基于模型和无模型学习，并改进了线性Q*/V* MDPs的最已知遗憾界限。
2025-04-30 cs.LG stat.ML
Online Nonsubmodular Minimization with Delayed Costs: From Full Information to Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
受稀疏估计和贝叶斯优化中在线学习应用的启发，我们考虑了在完全信息和强盗反馈两种情况下，具有延迟代价的在线无约束非次模极小化问题.与以往的在线无约束次模极小化工作相比，我们专注于一类具有特殊结构的非次模函数，并证明了在静态和延迟情况下在线和近似在线强盗梯度下降算法的几个变体的遗憾保证。我们推导出的代理人的遗憾在充分的信息和强盗反馈设置，即使选择一个决定和接收所产生的成本之间的延迟是无界的。我们的方法的关键是$(α, β)$ -遗憾的概念和扩展的通用凸松弛模型从~ \citet{El-2020-Optimal}，其中的分析是独立的兴趣。我们进行并展示了几个模拟研究，以证明我们的算法的有效性。
2022-06-01 cs.LG
IR-PRM+ with Previous-Utility Prediction: Constant Regret and Best-Iterate Convergence
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本研究提出带先前效用预测的IR-PRM+，解决原有IR-PRM+仅适合同步额外梯度更新的局限，实现有限两人零和博弈的恒定遗憾与最优迭代收敛，可扩展到多玩家及扩展型博弈场景。
2026-10-13 cs.GT cs.LG
Contextual Bandits for Unbounded Context Distributions
Beijing Institute of Technology（北京理工大学）；Guangzhou University（广州大学）；Zhejiang University（浙江大学）
本文针对无界上下文分布的非参数上下文赌博机问题，提出固定k和自适应k两种结合UCB探索的最近邻方法，其中自适应k方法在轻尾条件下实现了与极小极大下界匹配的近似最优遗憾。
2025-05-08 cs.LG stat.ML
Meta-strategy for Learning Tuning Parameters with Guarantees
IIT（印度理工学院）；RIKEN AIP（日本理化学研究所革新智能统合研究中心）
在线学习方法，如在线梯度算法（OGA）和指数加权聚合（EWA），通常依赖于在实践中难以设置的调整参数。我们考虑一个在线元学习的情况下，我们提出了一个元策略，从过去的任务中学习这些参数。我们的策略是基于最小化的遗憾界。它允许学习OGA中的初始化和步长。它还允许在EWA中学习先验或学习率。我们对该策略进行了遗憾分析。它允许识别元学习确实改善孤立学习每个任务的设置。
2021-08-06 cs.LG math.ST stat.CO
PDE-Based Optimal Strategy for Unconstrained Online Learning
Boston University（波士顿大学）
无约束在线线性优化（OLO）是一个研究机器学习模型训练的实际问题。现有的工作提出了一些潜在的基于算法，但在一般情况下，这些潜在的功能的设计严重依赖于猜测。为了简化这个工作流程，我们提出了一个框架，通过求解偏微分方程（PDE）生成新的潜在功能。具体来说，当损失是1-Lipschitz，我们的框架产生一个新的算法与任何时候遗憾界$C\sqrt{T}+||u||\sqrt{2T}[\sqrt{\log(1+||u||/C)}+2]$，其中$C$是一个用户指定的常数和$u$是任何比较未知和无界的先验。这样一个界限达到了一个最优的损失-后悔权衡，而没有不切实际的加倍技巧。此外，一个匹配的下界表明，领先的顺序项，包括常数乘子$\sqrt{2}$，是紧的。据我们所知，该算法是第一次实现这样的最优。
2022-06-15 cs.LG
Multiclass Transductive Online Learning
Purdue University（普渡大学）；University of Michigan（密歇根大学）
该研究针对无界标签空间的多类直推式在线学习问题，提出层级约束Littlestone维度与分支维度，证明可实现场景下极小极大错误速率三分法仍成立，改进了现有上界并构造了适配无界标签空间的算法，还推广了不可知场景的悔界结果。
2024-11-03 cs.LG stat.ML
SGD with Dependent Data: Optimal Estimation, Regret, and Inference
University of Southern California（南加州大学）；Purdue University（普渡大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出了一种基于SGD的算法，在处理依赖数据时同时实现最优估计和后悔，且无需额外存储资源。
2026-01-04 cs.LG math.ST stat.ME
Efficient Online Learning of Optimal Rankings: Dimensionality Reduction via Gradient Descent
National Technical University of Athens（雅典国立技术大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们认为一个自然的模型，在线偏好聚合，其中首选项目集$R_1, R_2, \ldots, R_t$以及在每个$R_t$的$k_t$项目的需求，出现在网上。在没有$(R_t, k_t)$的先验知识的情况下，学习者保持排名$π_t$，目的是来自$R_t$的至少$k_t$项在$π_t$中出现高。这是偏好聚合中的一个基本问题，基于用户滚动和点击模式来对网页中的产品或新闻项进行排序。广泛研究的广义最小和集覆盖（GMSSC）问题作为上述设置的形式化模型。GMSSC是NP难的，并且无悔在线学习算法的标准应用在计算上是低效的，因为它们在排名空间中操作。在这项工作中，我们展示了如何实现低遗憾的GMSSC在多项式时间。我们采用降维排名的双随机矩阵的空间，在那里我们应用在线梯度下降。一个关键的步骤是显示如何子梯度可以有效地计算，通过解决对偶的配置LP。使用不经意的确定性和随机舍入方案，我们将双随机矩阵映射回排名，在GMSSC目标中损失较小。
2020-11-05 cs.LG
The concentration game: Bayesian updating, regret, and information
该研究提出一种两人零和重复博弈，其值恒等式关联贝叶斯更新与指数权重遗憾，分解出三类遗憾项，且多类学习方法均为其特例。
2026-08-19 cs.GT cs.LG math.PR
Stochastic Online Convex Optimization. Application to probabilistic time series forecasting
Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文构建随机在线凸优化框架，证明在线牛顿步与 Bernstein online aggregation 在无界随机设定下达到已知最优遗憾速率，并用于校准非平稳次高斯时间序列的概率预测器。
2023-04-21 cs.LG math.ST stat.TH
Soft-Bayes: Prod for Mixtures of Experts with Log-Loss
DeepMind（深度思维）
我们认为预测与专家的意见下的日志损失的目标是获得高效和强大的算法。我们认为，现有的算法，如指数梯度，在线梯度下降和在线牛顿步骤不足以满足这两个要求。我们的主要贡献是Prod算法的分析，该算法对任何数据序列都是鲁棒的，并且相对于每轮专家的数量在线性时间内运行。尽管无界性质的对数损失，我们得到一个界，是独立的最大损失和最大的梯度，只取决于专家的数量和时间范围。此外，我们给出了一个贝叶斯解释的Prod和适应的算法，以获得跟踪遗憾。
2019-01-08 cs.LG stat.ML
Regret Bounds and Reinforcement Learning Exploration of EXP-based Algorithms
Northwestern University（西北大学）
本文针对无界奖励下的探索激励问题，提出EXP4.P和EXP4-RL算法，通过整合多专家（含高性能智能体）实现高效探索，建立了遗憾上界并在线性情形下达到全局最优，在难探索游戏中显著优于现有方法。
2024-05-03 cs.AI cs.LG stat.ML
A Second-order Bound with Excess Losses
EDF R&D（法国电力研发中心）；HEC Paris（巴黎高等商学院）；CNRS（法国国家科学研究中心）；Université Paris-Sud（巴黎第十一大学）
我们研究在线聚合的预测专家，并首先显示新的二阶遗憾界的标准设置，这是通过一个版本的Prod算法（也是一个版本的多项式加权平均算法）与多个学习率。这些界限是根据超额损失，算法和给定专家的瞬时损失之间的差异。然后，我们证明了这些界限的专家，报告他们的信心，作为一个数字的区间[0，1]使用一个通用的减少到标准设置的背景下的利益。最后，我们在标准设置的其他两个应用程序，提高了已知的界限的情况下，小的超额损失，并显示出有限的遗憾，对独立同分布。损失的顺序。
2014-02-10 cs.LG math.ST stat.ML
Online Ranking: Discrete Choice, Spearman Correlation and Other Feedback
给定$n$对象的集合$V$，在线排名系统在每个时间步输出集合的完整排名，观察某种形式的反馈并遭受损失。我们研究的设置，其中（对抗）反馈是$V$中的一个元素，损失是位置（第0，第1，第2.）在输出的排名中的项目。更一般地说，我们研究的设置中的反馈是一个子集$U$的最多$k$元素在$V$，和损失是这些元素的位置的总和。我们提出了一个算法的预期遗憾$O(n^{3/2}\sqrt{Tk})$在一个时间范围内的$T$步骤的最佳单一的排名在事后。这通过$Ω(\sqrt{k})$的因子、$Ω(\sqrt{\log n})$的因子或通过将每轮的运行时间从二次改进为$O(n\log n)$来改进先前的算法和分析。我们还证明了一个匹配的下界。我们的技术也意味着一个改进的遗憾界在线排名聚合斯皮尔曼相关性措施，和其他更复杂的排名损失函数。
2013-10-14 cs.GT cs.LG stat.ML
Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation
Rice University（莱斯大学）
一旦活动客户端的数量增加，同步更新可能会影响跨设备联邦学习的效率。\textit{FedBuff}算法（Nguyen等人，2022）通过允许异步更新（过时）来解决这个问题，这增强了训练的可扩展性，同时通过安全聚合来保护隐私。我们重新审视了异步联邦学习的\textit{FedBuff}算法，并通过从梯度范数中删除有界性假设来扩展现有的分析。本文提出了一种理论分析，该算法的收敛速度时，异构数据，批量大小，并考虑延迟。
2022-10-03 cs.AI cs.DC cs.LG
Robust Stochastic Bandit Algorithms under Probabilistic Unbounded Adversarial Attack
The Ohio State University（俄亥俄州立大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁公司先进技术实验室）；ECE Department（电子与计算机工程系）
多臂强盗形式主义在各种攻击模型下得到了广泛的研究，其中对手可以修改显示给玩家的奖励。以前的研究集中在攻击值在每一轮都有界或发生概率为零的情况下。这些模型没有捕捉到强大的对手，可以灾难性地扰乱显示的奖励。研究了攻击者在每一轮都以一定概率进行攻击的攻击模型，如果攻击，攻击值可以是任意的，也可以是无界的。此外，攻击值不一定遵循统计分布。我们提出了一种新的样本中值为基础和探索辅助UCB算法（称为med-E-UCB）和中值为基础的$ε$ -贪心算法（称为med- $ε$ -贪婪）。这两种算法对上述攻击模型都具有可证明的鲁棒性。更具体地说，我们表明，这两种算法实现了$\mathcal{O}(\log T)$伪遗憾（即，不攻击的最佳后悔）。我们还提供了一个高概率的保证$\mathcal{O}(\log T)$后悔相对于随机奖励和随机发生的攻击。只要攻击概率不超过某个常数阈值，这些界限在任意和无界的奖励扰动下实现。我们提供了多个合成模拟所提出的算法来验证这些说法，并展示了现有的技术无法实现次线性遗憾。我们还提供了实验结果的算法在认知无线电设置使用多个软件定义的无线电。
2020-02-17 cs.CR cs.LG stat.ML
Operationalizing Stein's Method for Online Linear Optimization: CLT-Based Optimal Tradeoffs
Carnegie Mellon University（卡内基梅隆大学）
利用Stein方法改进在线线性优化算法，实现基于中心极限定理的最优权衡与更精确的性能保证。
2026-02-06 cs.LG stat.ML
Two-Player Games for Efficient Non-Convex Constrained Optimization
Google AI（谷歌人工智能）；Cornell University（康奈尔大学）
近年来，约束优化与机器学习社区的关系越来越密切，其应用包括Neyman-Pearson分类、鲁棒优化和公平机器学习。约束优化的一种自然方法是优化拉格朗日量，但这不能保证在非凸设置中工作，并且如果使用一阶方法，则不能处理不可微的约束（例如对速率或比例的约束）。拉格朗日可以被解释为一个两人游戏，一个玩家试图优化模型参数，另一个玩家希望最大化拉格朗日乘数。我们提出了一个非零和的拉格朗日公式的变种，可以应付不可微的-甚至不连续的-约束，我们称之为“代理拉格朗日”。第一个参与者通过易于优化的“代理约束”来最小化外部遗憾，而第二个参与者通过最小化交换遗憾来执行原始约束。对于这种新的配方，作为在非凸设置的拉格朗日，结果是一个随机分类器。然而，对于代理拉格朗日和拉格朗日公式，我们证明了这个分类器，而不是具有无限的大小，可以被视为不超过m+1个模型（其中m是约束的数量）的分布。这在实际上是一个重大的改进。
2018-09-28 cs.GT cs.LG math.OC
DP-Dueling: Learning from Preference Feedback without Compromising User Privacy
Apple（苹果公司）
本文研究了差分隐私约束下的dueling bandit问题，提出了首个适用于大型决策空间的差分隐私dueling bandit主动学习算法，在有限和无限臂空间下均实现了接近最优的regret bound，并证明了其最优性。
2024-03-22 cs.CR cs.LG
Demystifying Linear MDPs and Novel Dynamics Aggregation Framework
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔大学）
本研究证明线性MDP的特征维度下界为S/U，可能随状态空间规模增长，为此提出动力学聚合框架及带可证明保证的线性函数近似HRL算法，在分层结构环境中显著提升遗憾界性能。
2024-10-31 cs.LG stat.ML
LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization
Institute of Data Science（数据科学研究所）；National University of Singapore（新加坡国立大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Mathematics（数学系）
针对无利普希茨假设、存在未知轮数异常值的鲁棒在线凸优化问题，提出非凸（不变凸）的LEARN损失及对应鲁棒在线梯度下降算法，证明紧后悔界并给出统一分析框架。
2024-08-12 cs.LG math.OC
Bandits for BMO Functions
Duke University（杜克大学）
我们研究了潜在的期望回报是一个有界平均振荡（BMO）函数的强盗问题。BMO函数允许是不连续的和无界的，并且对于在域中具有无穷大的信号建模是有用的。我们为BMO强盗开发了一个工具集，并提供了一种算法，可以实现多对数$δ$ -遗憾--在移除手臂空间的$δ$大小的部分后，针对手臂测量的最佳遗憾。
2020-07-17 cs.LG stat.ML
Multitask Bandit Learning Through Heterogeneous Feedback Aggregation
University of California San Diego（加州大学圣地亚哥分校）；University of Arizona（亚利桑那大学）
在许多现实世界的应用中，多个智能体试图学习如何执行高度相关但略有不同的任务，在一个在线的强盗学习协议。我们制定这个问题的$ε$ -多玩家多武装土匪问题，其中一组球员同时与一组武器，并为每个手臂，奖励分配的所有球员是相似的，但不一定相同。我们开发了一个基于置信上限的算法，RobustAgg $(ε)$，自适应地聚合不同玩家收集的奖励。在玩家之间的奖励分布的成对相似性的上限是已知的设置中，我们实现了依赖于玩家之间信息共享的顺从性的实例依赖的后悔保证。我们补充这些上限与几乎匹配的下限。在设置成对的相似性是未知的，我们提供了一个下界，以及一个算法，权衡最小最大遗憾保证适应未知的相似性结构。
2021-07-20 cs.LG stat.ML
Collaborative Prediction: Tractable Information Aggregation via Agreement
University of Pennsylvania（宾夕法尼亚大学）
本文提出高效协作协议，使观察不同特征的两方仅通过迭代共享标签预测即可实现更准确的联合预测，无需共享原始特征，并在在线和批量环境中给出遗憾界及贝叶斯一致性新定理。
2025-04-08 cs.DS cs.GT cs.LG
FedSEA: Achieving Benefit of Parallelization in Federated Online Learning
CMInDS, IIT Bombay, India（CMInDS，印度班加罗尔理工学院）
本文提出FedSEA算法，通过引入随机扩展对手模型，解决了联邦在线学习中并行化优势的问题，为平滑和强凸损失函数分别证明了O(√T)和O(log T)的全局网络遗憾界。
2026-04-21 cs.LG math.OC
Improved Algorithms for Adversarial Bandits with Unbounded Losses
Boston University（波士顿大学）
针对无预先损失量级知识的无界损失对抗式多臂老虎机问题，提出分别适配非负和通用无界损失的UMAB-NN、UMAB-G算法，实现首个非负场景下无均匀探索的自适应无标度悔界，揭示正负损失不对称性，实验表现优于现有算法。
2023-10-03 cs.AI cs.LG stat.ML
Causal Q-Aggregation for CATE Model Selection
Stanford University（斯坦福大学）
针对CATE估计中模型选择的理论缺失，提出基于双重稳健损失的因果Q-聚合集成方法，实现了最优的预言机模型选择遗憾率，且不要求候选模型接近真实值，并扩展至工具变量等场景。
2025-04-26 cs.LG econ.EM math.ST
Diversity-Preserving K-Armed Bandits, Revisited
CentraleSupélec（中央高等电力学院）；Université Paris-Saclay（巴黎-萨克雷大学）；Institut de recherche technologique Saint Exupéry（圣埃克苏佩里技术研究院）；Institut de mathématiques de Toulouse（图卢兹数学研究所）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）；HEC Paris（巴黎高等商学院）
针对保留多样性的bandit推荐框架，本文利用其特定结构设计UCB算法，在需多样性的自然情况下实现有界遗憾，并证明其他情况至少遭受$\ln T$遗憾。
2024-07-24 cs.LG stat.ML
Scale Free Adversarial Multi Armed Bandits
Columbia University（哥伦比亚大学）
我们考虑无标度对抗性多臂强盗（MAB）问题。在游戏开始时，玩家只知道武器$n$的数量。它不知道对手选择的损失的规模和大小，也不知道$T$的回合数。在每一轮中，它看到关于损失向量$l_1,\dots, l_T \in \mathbb{R}^n$的强盗反馈。我们的目标是将其遗憾作为$n$的函数和$l_1,\dots, l_T$的规范进行绑定。我们设计了一个强盗跟随正则化领导者（FTRL）算法，它使用自适应学习率，并给出两个不同的遗憾界，基于所使用的探索参数。对于非自适应探索，我们的算法有一个遗憾$\tilde{\mathcal{O}}(\sqrt{nL_2} + L_\infty\sqrt{nT})$和自适应探索，它有一个遗憾$\tilde{\mathcal{O}}(\sqrt{nL_2} + L_\infty\sqrt{nL_1})$。这里，$L_\infty = \sup_t \| l_t\|_\infty$、$L_2 = \sum_{t=1}^T \|l_t\|_2^2$、$L_1 = \sum_{t=1}^T \|l_t\|_1$和$\tilde{\mathcal{O}}$符号抑制对数因子。这些是适应损失的$\|\cdot\|_2$、$\|\cdot\|_1$范数的第一个MAB界限。第二个界限是第一个数据依赖的无标度MAB界限，因为$T$没有直接出现在遗憾中。我们还开发了一种新…
2021-10-08 cs.LG stat.ML
Policy Optimization via Adv2: Adversarial Learning on Advantage Functions
LAAS, Université de Toulouse, CNRS（图卢兹大学LAAS实验室，法国国家科学研究中心）；Université Paris-Saclay, CNRS, Inria（巴黎萨克雷大学，法国国家科学研究中心，法国国家信息与自动化研究所）
该研究拓展了对抗MDP学习到对抗学习的归约方法，支持任意对抗学习策略及优势函数应用，证明了权重单调策略的最终迭代收敛性，得到更强悔界与专家策略聚合性能保证，并提出可替换现有策略优化的指数权重步骤。
2025-05-19 cs.LG stat.ML
