Meta-Learning Adversarial Bandits
Carnegie Mellon University（卡内基梅隆大学）
我们研究在线学习与强盗反馈跨多个任务，提高平均性能的目标，如果它们是类似的，根据一些自然的任务相似性度量。作为第一个针对对抗性设置的目标，我们设计了一个统一的元算法，该算法为两种重要情况提供了特定于设置的保证：多武装匪徒（MAB）和匪徒线性优化（BLO）。对于MAB，元算法调整了众所周知的Exp3方法的Tsallis熵推广的初始化，步长和熵参数，如果事后估计的最优分布的熵很小，则任务平均遗憾可证明得到改善。对于BLO，我们学习的初始化，步长，和边界偏移的在线镜像下降（OMD）与自洽障碍正则化，显示任务平均遗憾直接变化的措施引起的这些功能的内部的动作空间。我们的自适应保证依赖于证明非正则化的跟随领导者结合乘法权重足以在线学习Bregman发散的仿射函数的非光滑和非凸序列，其上限为OMD的遗憾。
2022-05-27 cs.AI cs.LG stat.ML
Online Learning with Pairwise Loss Functions
Tufts University（塔夫茨大学）；Akamai Technologies（阿卡迈技术公司）
具有成对损失函数的有效在线学习是构建大规模学习系统的关键组成部分，该系统最大化了受试者操作特征（ROC）曲线下的面积。在本文中，我们研究的推广性能的在线学习算法与成对损失函数。我们表明，现有的证明技术的泛化界的在线算法的单变量损失不能直接适用于成对损失。在本文中，我们得出的第一个结果提供数据依赖的边界的序列中产生的假设的平均风险的一个任意的在线学习者在一个容易计算的统计，并展示如何提取一个低风险的假设序列。我们证明了我们的结果的一般性，将其应用到机器学习中的两个重要问题。首先，我们分析了两个在线算法的二分排名，一个是感知器算法的自然扩展，另一个使用在线凸优化。其次，我们提供了一个有监督的度量学习的在线算法的风险界的分析。
2013-01-22 cs.LG stat.ML
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford（牛津大学）
最近，人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式，凸的平方损失的特征，我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射，初始化点，步长，和迭代次数。我们应用我们的理论恢复，在一个干净和优雅的方式，通过相当短的证明，最近的一些结果在隐式正则化文献，同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML
Online Convex Optimization with Unconstrained Domains and Losses
Stanford University（斯坦福大学）
我们提出了一个在线凸优化算法（RescaledExp），实现了最佳的遗憾，在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法，需要一个已知的界上的损失函数和任何算法，不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的，我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Online and Stochastic Gradient Methods for Non-decomposable Loss Functions
Microsoft Research（微软研究院）；Indian Institute of Science（印度科学学院）
在敏感领域的现代应用，如生物识别和医学经常需要使用不可分解的损失函数，如精度@k，F-测量等相比，点损失函数，如铰链损失，这些提供了更细粒度的控制预测，但在同一时间提出了新的挑战，在算法设计和分析。在这项工作中，我们发起了在线学习技术的研究，这样的不可分解的损失函数的目的是使增量学习，以及设计可扩展的批量问题求解器。为此，我们提出了一个在线学习框架，这样的损失函数。我们的模型享有几个很好的属性，其中主要是存在有效的在线学习算法与次线性遗憾和在线批量转换的界限。我们的模型是现有的点损失函数在线学习模型的可证明扩展。我们实例化两个流行的损失，prec@k和pAUC，在我们的模型中，并证明了他们两个的次线性遗憾界。我们的证明需要一个新的结构引理排名名单可能是独立的利益。然后，我们开发了可扩展的随机梯度下降求解不可分解的损失函数。我们证明了，对于满足一定的一致收敛性质（包括prec@k，pAUC和F-测度）的损失函数的大家庭，我们的方法可证明收敛到经验风险最小化。这种一致收敛的结果是不知道这些损失，我们建立这些使用新的证明技术。然后，我们在现实生活和基准数据集上进行了广泛的实验，以确定我们的方法可以比最近提出的切割平面方法快几个数量级。
2014-10-24 cs.LG stat.ML
Meta-Learning Adversarial Bandit Algorithms
Carnegie Mellon University（卡内基梅隆大学）；Technion - Israel Institute of Technology（以色列理工学院）
本文首次研究对抗性赌博机反馈下的在线元学习，提出元算法同时调节内层学习器初始化与超参数，在MAB和BLO两种设置下给出任务平均遗憾界，并证明两层低维超参数调节足以学习界定OMD遗憾的复杂函数。
2023-11-01 cs.AI cs.LG stat.ML
On the Generalization Ability of Online Learning Algorithms for Pairwise Loss Functions
Centre for Mathematical Sciences（数学科学中心）；Microsoft Research India（微软印度研究院）
在本文中，我们研究了基于在线学习的随机方法对于监督学习问题的泛化性质，其中损失函数依赖于多个训练样本（例如，度量学习、排名）。我们提出了一个通用的解耦技术，使我们能够提供Rademacher复杂性为基础的泛化误差的界限。我们的边界一般比Wang等人（COLT 2012）针对同一问题获得的边界更紧。使用我们的解耦技术，我们进一步能够获得快速收敛速度强凸成对损失函数。我们还能够分析一类记忆高效的在线学习算法的成对学习问题，只使用一个有界的子集，过去的训练样本更新的假设在每一步。最后，为了补充我们的推广界，我们提出了一种新的记忆有效的在线学习算法的高阶学习问题的有界遗憾保证。
2013-05-11 cs.LG stat.ML
The Many Faces of Exponential Weights in Online Learning
Leiden University（莱顿大学）；Poznań University of Technology（波兹南理工大学）
在线学习的标准介绍可能会将在线梯度下降置于其中心，然后继续开发泛化和扩展，如在线镜像下降和二阶方法。在这里，我们将探索将指数权重（EW）放在首位的替代方法。我们表明，许多标准的方法和他们的遗憾界，然后作为一个特殊的情况下，通过插入合适的替代损失和发挥EW后验均值。例如，我们可以通过使用线性损失的高斯先验的EW来轻松恢复在线梯度下降，更一般地说，基于常规Bregman发散的在线镜像下降的所有实例也对应于具有依赖于镜像映射的先验的EW。此外，适当的二次代理损失自然会产生在线梯度下降的强凸损失和在线牛顿步骤。我们进一步解释了最近的几种自适应方法（iProd，Squint和专家硬币投注的变体）作为一系列密切相关的减少指数凹代理损失，然后由指数权重处理。最后，我们的EW解释的一个好处是，它开辟了从EW后验分布中抽样的可能性，而不是玩的意思。正如Bubeck和Eldan已经观察到的那样，这恢复了在线Bandit线性优化中最著名的速率。
2018-06-05 cs.LG stat.ML
OEUVRE: OnlinE Unbiased Variance-Reduced loss Estimation
Machine Learning Department（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
OEUVRE提出一种在线无偏方差缩减损失估计器，利用算法稳定性实现常数时间更新，并证明其一致性、收敛速率和集中界，在多种任务上优于或匹配其他估计器。
2025-10-26 cs.LG stat.ML
Mixability of Integral Losses: a Key to Efficient Online Aggregation of Functional and Probabilistic Forecasts
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
本文将专家建议在线预测扩展到函数值预测，通过改造可混合且指数凹的积分损失，证明其可混合性，并用于统一验证多种概率预测损失。
2025-01-06 cs.LG stat.ML
Generalized Translation and Scale Invariant Online Algorithm for Adversarial Multi-Armed Bandits
我们研究了对抗性多臂强盗问题，并创建了一个完全在线的算法框架，该框架在任意平移和手臂损失的尺度下都是不变的。我们研究了我们的算法对一个通用的竞争类，这使得它适用于各种各样的问题场景的预期性能。我们的算法从一个普遍的预测的角度来看，所使用的性能指标是对任意臂选择序列的预期遗憾，这是我们的损失和竞争损失序列之间的差异。竞争类可以被设计为包括固定臂选择、切换强盗、上下文强盗或任何其他感兴趣的竞争。竞赛类中的顺序通常由手头的具体应用决定，并应相应地进行设计。我们的算法既不使用也不需要任何关于损失序列的初步信息，并且完全在线。它的性能界限是二阶界的平方损失的总和，其中任何仿射变换的损失没有影响的归一化遗憾。
2021-09-19 cs.LG stat.ML
Online Optimization with Predictions and Non-convex Losses
IIIS, Tsinghua University（清华大学交叉信息研究院）；California Institute of Technology（加州理工学院）
我们研究在线优化的设置，在线学习者寻求优化每轮命中成本，这可能是非凸的，而在轮之间改变动作时会产生移动成本。我们要求：\textit{under what general conditions is it possible for an online learner to leverage predictions of future cost functions in order to achieve near-optimal costs?}先前的工作提供了接近最优的在线算法的特定组合的假设击中和切换成本，但没有一般的结果是已知的。在这项工作中，我们给出了两个一般的充分条件，指定击球和运动成本之间的关系，保证了一个新的算法，同步固定地平线控制（SFHC），提供了一个$1+O(1/w)$竞争比，其中$w$是学习者可用的预测数。我们的条件不要求成本函数是凸的，我们也得到了非凸的打击和运动成本的竞争比结果。我们的研究结果提供了第一个常数，无量纲的竞争比在线非凸优化运动成本。此外，我们给出了一个自然实例的例子，凸体追逐（CBC），其中不满足充分条件，我们可以证明没有在线算法可以具有收敛到1的竞争比。
2020-01-24 cs.LG stat.ML
Excess Risk Bounds for Exponentially Concave Losses
Michigan State University（密歇根州立大学）
本文的总体目标是从被动和顺序学习环境中的指数凹损失函数中获得学习的超额风险界限。指数凹损失函数包含机器学习中的几个基本问题，例如线性回归中的平方损失，分类中的逻辑损失和投资组合管理中的负对数损失。在批量设置，我们得到了尖锐的界限上的性能进行的经验风险最小化的线性假设空间和相对于指数凹损失函数。我们还将结果扩展到在线设置，学习者以顺序的方式接收训练样本。我们提出了一个在线学习算法，这是一个适当的修改版本的在线牛顿方法，以获得尖锐的风险界。在一个额外的温和的假设下的损失函数，我们表明，在这两种设置中，我们能够实现超额风险界的$O(d\log n/n)$，具有很高的概率。
2014-02-08 cs.LG stat.ML
Online learning with kernel losses
UC Berkeley（加州大学伯克利分校）
我们提出了一个广义的对抗线性强盗框架，其中潜在的损失是核函数（与相关的再生核希尔伯特空间），而不是线性函数。我们研究了指数权重算法的一个版本，并将其限制在此设置中。在核的本征衰变的条件下，我们提供了一个尖锐的表征该算法的遗憾。当我们有多项式本征衰减$μ_j \le \mathcal{O}(j^{-β})$时，我们发现遗憾是有界的$\mathcal{R}_n \le \mathcal{O}(n^{β/(2(β-1))})$ ;而在指数本征衰减$μ_j \le \mathcal{O}(e^{-βj })$的假设下，我们得到一个更紧的界的遗憾$\mathcal{R}_n \le \mathcal{O}(n^{1/2}\log(n)^{1/2})$。我们还研究了当潜在损失是核函数时的完全信息设置，并提出了自适应指数权重算法和条件梯度下降算法。
2018-02-27 cs.LG stat.ML
A Generalized Online Algorithm for Translation and Scale Invariant Prediction with Expert Advice
在这项工作中，我们的目标是创建一个完全在线的算法框架，用于预测专家的建议，这是无预警和无尺度的专家损失。我们的目标是创建一个通用的算法，适用于各种各样的应用程序。为了这个目的，我们研究了我们的算法对一个通用的竞争类在顺序预测专家咨询问题的预期遗憾，其中预期遗憾的措施之间的差异，我们的预测算法的损失和损失的“最好的”专家选择策略的竞争。我们设计我们的算法使用的普遍预测的角度来竞争对一个指定的类的专家选择策略，这不一定是一个固定的专家选择。类的专家选择策略，我们要竞争，纯粹是由手头的具体应用程序，是左通用，这使得我们的广义算法适用于许多不同的问题。我们表明，我们的算法和它的性能界限，这是二阶，表示在平方损失的总和方面的损失序列是不需要的初步知识。我们的后悔界限在任意缩放和转换损失时是稳定的。
2020-09-09 cs.LG stat.ML
Online Isotonic Regression
Poznań University of Technology（波兹南理工大学）；Centrum Wiskunde & Informatica（数学与计算机科学中心）；University of California at Berkeley（加州大学伯克利分校）
我们考虑保序回归问题的在线版本。给定一组线性排序的点（例如，在实数线上），学习者必须在相反选择的位置上顺序地预测标签，并且通过与事后最好的同调（非递减）函数相比的总平方损失来评估。我们调查了几个标准的在线学习算法，并表明他们都没有达到最佳的后悔指数，事实上，他们中的大多数（包括在线梯度下降，跟随领导者和指数权重）招致线性后悔。然后，我们证明了指数权重算法在覆盖网的保序函数有一个遗憾的$O\big(T^{1/3} \log^{2/3}(T)\big)$的范围内，并提出了一个匹配的$Ω(T^{1/3})$下界遗憾。我们提供了一个计算效率的版本，这个算法。我们还分析了无噪声的情况下，其中所揭示的标签是等渗的，并表明，绑定可以提高到$O(\log T)$，甚至$O(1)$（当标签显示在等渗顺序）。最后，我们将分析扩展到平方损失之外，并给出熵损失和绝对损失的界。
2016-10-07 cs.LG stat.ML
Projection-free Distributed Online Learning with Sublinear Communication Complexity
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
为了解决分布式在线学习中的复杂约束问题，提出了一种无投影的分布式在线条件梯度算法（D-OCG），并给出了凸损失下的$O(T^{3/4})$遗憾界，其中$T$是总轮数.然而，它需要$T$通信轮次，并且不能利用损失的强凸性。本文提出了一种改进的D-OCG，即D-BOCG，它可以达到相同的$O(T^{3/4})$遗憾界只有$O(\sqrt{T})$通信轮凸损失，和一个更好的遗憾界的$O(T^{2/3}(\log T)^{1/3})$与$O(T^{1/3}(\log T)^{2/3})$通信轮的强凸损失.其核心思想是采用延迟更新机制降低通信复杂性，并重新定义D-OCG中的代理损失函数以充分利用D-OCG的强凸性。此外，我们提供了下界证明，$O(\sqrt{T})$通信轮所需的D-BOCG是最佳的（在$T$方面），为实现$O(T^{3/4})$遗憾与凸损失，和$O(T^{1/3}(\log T)^{2/3})$通信轮D-BOCG所需的是近最佳的（在$T$方面），为实现$O(T^{2/3}(\log T)^{1/3})$遗憾与强凸损失的多对数因子。最后，为了处理更具挑战性的bandit设置，其中只有损失值可用，我们将经典的一点梯度估计纳入D-BOCG，并获得类似的理论保证。
2022-06-14 cs.LG stat.ML
Perceptron like Algorithms for Online Learning to Rank
University of Michigan（密歇根大学）
感知器是一个经典的在线学习分类函数的算法。在本文中，我们提供了一个新的扩展的感知器算法的学习排序问题的信息检索。我们考虑流行的列表式性能指标，如归一化贴现累积增益（NDCG）和平均精度（AP）。感知器用于分类的现代观点是，它只是在线梯度下降（OGD）的一个实例，在错误轮次期间，使用铰链损失函数。出于这种解释，我们提出了一个新的家庭列表，大利润率排名代理。这个家族的成员可以被认为是铰链缺失的类似物。利用所提出的家庭的一定的自约束属性，我们提供了一个保证的累积NDCG（或AP）引起的损失，我们的感知器般的算法。我们表明，如果存在一个完美的甲骨文排名器，可以正确地排名在一个在线的排名数据序列中的每个实例，有一定的利润率，该序列上的感知算法的累积损失是有界的常数，无论序列的长度。这个结果让人想起Novikoff的分类感知器收敛定理。此外，我们证明了一个下界的累积损失可实现的任何确定性算法，假设存在完美的预言排名。下界表明，我们的感知机界是不紧，我们提出了另一个，\emph{purely online}，算法达到了下界。我们提供了模拟和大型商业数据集的实证结果来证实我们的理论结果。
2016-08-23 cs.LG stat.ML
Online Aggregation of Unbounded Losses Using Shifting Experts with Confidence
Institute for Information Transmission Problems, Moscow（莫斯科信息传输问题研究所）
我们开发的设置顺序预测的基础上转移的专家和专业专家的方法的“平滑”版本。为了聚合专家预测，我们使用AdaHedge算法，这是具有自适应学习率的Hedge算法的一个版本，并通过元算法Fixed Share对其进行扩展。基于此，我们结合了两种算法的优点：（1）利用了算法的最优特性--转移后悔;（2）在专家损失有符号无界的情况下，后悔界是有效的。此外，（3）我们在这个计划中纳入了一个“平滑”版本的专业专家的方法，使我们能够做出更灵活和准确的预测。所有结果都是在对抗性环境中获得的-没有对数据源的性质进行假设。我们提出了短期预测的电力消费的实际数据的基础上的数值实验结果。
2020-01-23 cs.LG stat.ML
Contextual Bandits with Online Neural Regression
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究针对上下文老虎机问题，通过在宽网络预测中加入随机扰动使损失满足QG条件，得到了更优的NeuCB遗憾界，并通过实验验证了算法（尤其是KL损失版本）的性能优势。
2023-12-12 cs.LG stat.ML
Optimality of Robust Online Learning
Zhejiang University（浙江大学）；University of Bayreuth（拜罗伊特大学）；Fudan University（复旦大学）
本文提出在 RKHS 回归中使用含尺度参数的鲁棒损失 $\mathcal{L}_σ$ 的在线算法，并证明其最后一次迭代具有最优的容量无关均方收敛及容量相关强收敛速率。
2023-04-20 cs.LG stat.ML
Second-Order Kernel Online Convex Optimization with Adaptive Sketching
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧研究中心）
核在线凸优化（Kernel Online Convex Optimization，KOCO）是一个结合了非参数核模型的表达能力和在线学习的后悔保证的框架。一阶KOCO方法，如函数梯度下降，每次迭代只需要$\mathcal{O}(t)$时间和空间，并且，当损失的唯一信息是它们的凸性时，实现极小极大最优$\mathcal{O}(\sqrt{T})$遗憾。尽管如此，核问题中的许多常见损失，如平方损失、逻辑损失和平方铰链损失，都具有可以利用的更强的曲率。在这种情况下，二阶KOCO方法实现了$\mathcal{O}(\log(\text{Det}(\boldsymbol{K})))$遗憾，我们将其显示为$\mathcal{O}(d_{\text{eff}}\log T)$，其中$d_{\text{eff}}$是问题的有效维度，通常远小于$\mathcal{O}(\sqrt{T})$。二阶方法的主要缺点是其高得多的$\mathcal{O}(t^2)$空间和时间复杂度。在本文中，我们介绍了核在线牛顿步骤（KONS），一个新的二阶KOCO方法，也实现了$\mathcal{O}(d_{\text{eff}}\log T)$遗憾。为了解决二阶方法的计算复杂性，我们引入了一个新的矩阵素描算法的核心矩阵$\boldsymbol{K}_t$，并表明，对于一个选定的参数$γ\leq 1$，我们的素描KONS减…
2017-06-15 cs.LG stat.ML
Online Model Selection: a Rested Bandit Formulation
Italian Institute of Technology（意大利理工学院）；Google Research（谷歌研究院）；University College London（伦敦大学学院）
出于一个自然的问题，在线模型选择与强盗信息，我们介绍和分析了最佳的手臂识别问题，在休息的强盗设置，其中手臂预期损失减少的次数，手臂已经发挥。期望损失函数的形状在各臂之间是相似的，并且假设对于必须在运行中学习的未知参数是可用的。我们为这个问题定义了一个新的后悔概念，我们将其与总是在游戏结束时具有最小预期损失的策略进行比较。我们分析了一个手臂消除算法，其遗憾消失的时间范围增加。实际的收敛速度在细节上取决于预期损失的假定函数形式。不同于已知的模型选择的努力，在最近的土匪文学，我们的算法利用问题的具体结构，学习的未知参数的预期损失函数，以确定最好的手臂尽快。我们补充我们的分析与下限，表明所提出的解决方案的优势和局限性。
2020-12-07 cs.LG stat.ML
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Research（亚马逊研究院）
我们考虑非平稳在线凸优化的框架，学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹，我们证明，强自适应（SA）算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说，我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果，在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下，论文的第二部分解决了Zhdanov和Kalnishkan（2010）提出的一个悬而未决的问题，该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界，一定的惩罚遗憾，建立了近极大极小最优的在线核岭回归（KRR）。我们的下界可以被看作是对Vovk（2001）中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
Exploiting Curvature in Online Convex Optimization with Delayed Feedback
University of Iowa（爱荷华大学）
针对延迟反馈下的曲率在线凸优化，本文提出强凸、指数凹及在线线性回归算法，取得兼顾缺失观测与总延迟的更优遗憾界，实验验证性能提升。
2025-06-09 cs.LG stat.ML
Universal Online Learning: an Optimistically Universal Learning Rule
Massachusetts Institute of Technology（麻省理工学院）
我们研究了非i.i.d.的通用在线学习的主题。有界损失的过程。普遍一致学习的概念是由Hanneke定义的，目的是在最小假设下研究学习理论，其目标是获得任何目标函数的低长期平均损失。我们感兴趣的是表征过程的学习是可能的，是否存在学习规则保证是普遍一致的唯一假设，这种学习是可能的。无限损失的情况是非常严格的，因为可学习的过程几乎肯定会访问有限数量的点，因此，简单的记忆是乐观的普遍性。我们专注于有界的设置，并给予一个完整的表征承认强和弱的普遍学习的过程。我们进一步表明，k-最近邻算法（kNN）是不是乐观的普遍性，并提出了一种新的变种1 NN是乐观普遍的一般输入和值空间在强和弱设置。这关闭了Hanneke对通用在线学习提出的所有COLT 2021开放问题。
2022-03-08 cs.LG stat.ML
Revisiting Projection-Free Online Learning with Time-Varying Constraints
Nanjing University（南京大学）；Zhejiang University（浙江大学）
针对约束在线凸优化中投影操作成本高的问题，提出基于 Lyapunov 技术的复合替代损失和无参数 OFW 变体，在一般凸和强凸损失下均获得更紧的遗憾与累积约束违反界，并扩展至 bandit 反馈场景。
2025-01-27 cs.LG stat.ML
Multiclass Loss Geometry Matters for Generalization of Gradient Descent in Separable Classification
Blavatnik School of Computer Science, Tel Aviv University（塔夫茨大学布劳维特克计算机科学学院）；Google Research（谷歌研究）
研究可分线性分类中无正则化梯度方法的泛化性能，证明收敛速率受损失模板几何性质而非损失函数本身影响，并建立了多分类设置下基于 $p$-范数平滑模板的风险上下界。
2025-05-28 cs.LG
Online Structured Prediction with Fenchel--Young Losses and Improved Surrogate Regret for Online Multiclass Classification with Logistic Loss
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文将利用代理差距框架从在线多类分类扩展到基于Fenchel–Young损失的在线结构化预测，提出随机化解码方法，并在逻辑损失下将代理遗憾界改进为O(‖U‖F²)，比先前结果提升d倍。
2024-10-22 cs.LG
Online Learning for Structured Loss Spaces
Indian Institute of Science（印度科学理工学院）
我们考虑预测专家的意见时，损失向量被假定为位于一个原子规范球的总和所描述的集合。我们得到一个遗憾的约束的一般版本的在线镜像下降（OMD）算法，使用正则化的组合，每个适应的组成原子规范。一般的结果恢复标准OMD遗憾界，并产生遗憾界的新结构化设置的损失向量是（i）噪声版本的点从一个低秩子空间，（ii）稀疏向量损坏的噪声，和（iii）稀疏扰动的低秩向量。对于具有结构化损失的在线学习问题，我们还显示了损失向量的源集的秩和稀疏性方面的遗憾下界，这也意味着上述附加损失设置的下界。
2017-11-12 cs.LG
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Exploiting the Surrogate Gap in Online Multiclass Classification
Leiden University（莱顿大学）
我们提出了Gaptron，一个随机的一阶在线多类分类算法。在充分的信息设置中，我们显示预期的错误界相对于逻辑损失，铰链损失，和平滑铰链损失与不断遗憾，其中的期望是相对于学习者的随机性。在强盗分类设置，我们表明，Gaptron是第一个线性时间算法与$O(K\sqrt{T})$预期遗憾，其中$K$是类的数量。此外，Gaptron的预期错误界不依赖于特征向量的维数，与以前的算法$O(K\sqrt{T})$遗憾的强盗分类设置。我们提出了一种新的证明技术，利用零-一损失和代理损失之间的差距，而不是利用属性，如指数或混合性，这是传统上用于证明对数或常数遗憾界。
2021-02-26 cs.LG math.OC stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-11-10 cs.LG math.OC stat.ML
Online AUC Optimization Based on Second-order Surrogate Loss
本文提出一种基于二阶代理损失的在线AUC优化算法，直接替代聚合成对损失，实现更紧的遗憾界并扩展到核方法，实验验证其高效性。
2025-10-24 cs.LG
Online Robust Regression via SGD on the l1 loss
EPFL（洛桑联邦理工学院）
我们考虑在线设置中的鲁棒线性回归问题，其中我们可以以流式方式访问数据，一个数据点接一个数据点。更具体地，对于真实参数$θ^*$，我们考虑损坏的高斯线性模型$y = \langle x , \ θ^* \rangle + \varepsilon + b$，其中对抗性噪声$b$可以以概率$η$取任何值，否则等于零。我们认为这个对手是健忘的（即，独立于数据的$b$），因为这是唯一可能保持一致性的污染模型。目前的算法依赖于手头的全部数据，以便识别和删除离群值。相比之下，我们在这项工作中，随机梯度下降的$\ell_1$损失收敛到真正的参数向量在$\tilde{O}( 1 / (1 - η)^2 n )$率是独立的污染测量值。我们的证明依赖于优雅的平滑的非光滑$\ell_1$损失的高斯数据和一个经典的非渐近分析的Polyak-Ruppert平均SGD。此外，我们提供了实验证据的效率，这个简单的和高度可扩展的算法。
2020-07-01 cs.LG math.OC stat.ML
Optimal Rates for Random Order Online Optimization
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究在线凸优化的随机顺序模型，最近提出的\citet{garber2020online}，其中的损失函数可能会选择由对手，但然后提交给在线算法在一个统一的随机顺序。聚焦的情况下，累积损失函数是（强）凸的，但个别损失函数是光滑的，但可能是非凸的，我们给出的算法，实现最佳的界限，并显着优于结果的\citet{garber2020online}，完全消除了维度的依赖性，并提高其缩放方面的强凸性参数。我们的分析依赖于算法稳定性和泛化之间的新联系，类似于在带替换i.i.d.~设置，以及对随机梯度下降的精细平均稳定性分析。
2021-06-29 cs.LG math.OC stat.ML
Online Inventory Problems: Beyond the i.i.d. Setting with Online Convex Optimization
LOPF, Califrais’ Machine Learning Lab, Paris, France（LOPF，Califrais机器学习实验室，巴黎，法国）；Université Paris Cité and Sorbonne Université, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, Paris, France（巴黎大学和索邦大学，CNRS，概率、统计与建模实验室，巴黎，法国）
本文提出MaxCOSD算法，通过非退化假设解决非i.i.d.需求下的多产品库存控制问题，实现对动态和损失的鲁棒优化。
2023-07-12 cs.LG math.OC stat.ML
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
From Average Sensitivity to Small-Loss Regret Bounds under Random-Order Model
CyberAgent；National Institute of Informatics（国家信息研究所）；Center for Advanced Intelligence Project（先进智能项目中心）；RIKEN（理化学研究所）
本文基于随机顺序模型，通过扩展Dong和Yoshida的方法，证明了在满足特定条件的算法下，可获得小损失遗憾界，适用于在线k均值聚类、低秩逼近等广泛问题，并展示了在子模函数最小化和ℓ₁回归中的应用。
2026-05-08 cs.DS cs.LG stat.ML
Online Ranking: Discrete Choice, Spearman Correlation and Other Feedback
给定$n$对象的集合$V$，在线排名系统在每个时间步输出集合的完整排名，观察某种形式的反馈并遭受损失。我们研究的设置，其中（对抗）反馈是$V$中的一个元素，损失是位置（第0，第1，第2.）在输出的排名中的项目。更一般地说，我们研究的设置中的反馈是一个子集$U$的最多$k$元素在$V$，和损失是这些元素的位置的总和。我们提出了一个算法的预期遗憾$O(n^{3/2}\sqrt{Tk})$在一个时间范围内的$T$步骤的最佳单一的排名在事后。这通过$Ω(\sqrt{k})$的因子、$Ω(\sqrt{\log n})$的因子或通过将每轮的运行时间从二次改进为$O(n\log n)$来改进先前的算法和分析。我们还证明了一个匹配的下界。我们的技术也意味着一个改进的遗憾界在线排名聚合斯皮尔曼相关性措施，和其他更复杂的排名损失函数。
2013-10-14 cs.GT cs.LG stat.ML
Data-Dependent Bounds for Online Portfolio Selection Without Lipschitzness and Smoothness
National Taiwan University（国立台湾大学）
该研究首次为非利普希茨、非光滑损失的在线凸优化场景下的在线投资组合选择，提出数据相关的小损失与渐变悔界，设计的算法兼具良好悔速率与计算效率，并给出新型理论分析方法。
2023-11-04 cs.LG math.OC stat.ML
Revisiting Online Learning Approach to Inverse Linear Optimization: A Fenchel$-$Young Loss Perspective and Gap-Dependent Regret Analysis
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）；Kyoto University（京都大学）
本文从Fenchel-Young损失视角重新理解逆线性优化的在线学习方法，并利用最优与次优目标值之间的间隔结构，获得了与时间范围无关的更快遗憾上界，突破了标准O(√T)界。
2025-02-07 cs.LG
Online Non-Convex Learning: Following the Perturbed Leader is Optimal
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, India（微软研究院（印度））
我们研究了非凸损失的在线学习问题，学习者可以访问离线优化预言。我们表明，经典的跟随扰动领导（FTPL）算法实现了最佳的遗憾率$O(T^{-1/2})$在这种情况下。这改善了之前最著名的FTPL的$O(T^{-1/3})$后悔率。我们进一步表明，乐观的FTPL变体实现更好的后悔界限时，学习者遇到的损失序列是“可预测的”。
2019-09-21 cs.LG math.OC stat.ML
Tight Risk Bounds for Gradient Descent on Separable Data
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了应用于可分离线性分类的非正则化梯度方法的泛化特性-自Soudry et al.（2018）的开创性工作以来，这一设置受到了相当大的关注。我们建立严格的上限和下限（人口）的风险范围梯度下降在这种情况下，任何光滑的损失函数，表示其尾部衰减率。我们的边界采用$Θ(r_{\ell,T}^2 / γ^2 T + r_{\ell,T}^2 / γ^2 n)$的形式，其中$T$是梯度步数，$n$是训练集的大小，$γ$是数据余量，$r_{\ell,T}$是一个复杂度项，取决于损失函数的（尾部衰减率）（以及$T$）。我们的上界与Shamir（2021）、Schliserman和Koren（2022）最著名的上界相匹配，同时将其适用性扩展到几乎任何平滑损失函数，并放宽了它们所施加的技术假设。我们的风险下限是第一个在这种情况下，并建立我们的上限的紧密性，任何给定的尾部衰减率和所有参数制度。用于显示这些结果的证明技术也显着简单相比，以前的工作，是直接扩展到其他梯度方法，我们说明了这一点，提供类似的结果随机梯度下降。
2023-03-02 cs.LG
Stability vs Implicit Bias of Gradient Methods on Separable Data and Beyond
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
最近一系列有影响力的工作集中在非正则化的基于梯度的学习过程应用于可分离线性分类与指数尾损失函数的泛化性能。这种方法的推广能力以及已被归因于他们的隐式偏大利润预测，无论是渐近以及在有限的时间。我们给出了一个额外的统一的解释，这种推广，并将其与两个简单的属性的优化目标，我们称之为可实现性和自有界性。我们介绍了一个一般的设置无约束随机凸优化与这些属性，并分析广义梯度方法通过镜头的算法稳定性。在这个更广泛的背景下，我们获得了梯度下降和随机梯度下降的精确稳定性界限，甚至适用于非常大量的梯度步骤，并使用它们来推导这些算法的一般推广界限。最后，作为一般界的直接应用，我们回到设置的线性分类与可分离的数据，并建立了几个新的测试损失和测试精度界梯度下降和随机梯度下降的各种损失函数具有不同的尾部衰减率。在某些情况下，我们的界限显着改善现有的泛化误差的界限在文献中。
2022-06-23 cs.LG
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan（日本东京CyberAgent公司）；National Institute of Informatics, Tokyo, Japan（日本东京信息机构）；Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（日本东京RIKEN高级智能项目）；The Institute of Statistical Mathematics, Tokyo, Japan（日本东京统计数学研究所）；Tohoku University, Miyagi, Japan（日本宫城县立东大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
本文提出在非平稳环境下，通过结合在线梯度下降的动态后悔分析与替代损失间隙技术，获得目标损失的上限，同时扩展到更广泛的设置，并证明依赖于F_T和P_T的紧性。
2026-05-14 cs.LG
Online Convex Optimization in Adversarial Markov Decision Processes
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑在线学习在情节无环马尔可夫决策过程（MDP），其中的损失函数可以任意改变情节之间，和过渡函数是未知的学习。我们展示了$\tilde{O}(L|X|\sqrt{|A|T})$后悔边界，其中$T$是情节的数量，$X$是状态空间，$A$是动作空间，$L$是每个情节的长度。我们的在线算法是使用熵正则化方法实现的，它允许扩展原始的对抗MDP模型来处理凸性能标准（不同的方式来聚合单个事件的损失），以及改进以前的遗憾界限。
2019-05-19 cs.AI cs.LG stat.ML
Online Learning of k-CNF Boolean Functions
DeepMind Technologies Ltd（深度思维科技有限公司）；University of Alberta（阿尔伯塔大学）；Australian National University（澳大利亚国立大学）
在对数损失下的在线学习背景下，重新讨论了从例子中学习k-CNF布尔函数的问题.在这样做的时候，我们给一个贝叶斯解释的Valiant的著名的PAC学习算法，然后我们建立在两个高效的，在线的，概率的，监督学习算法预测输出的一个未知的k-CNF布尔函数。我们分析了我们的方法的损失，并表明，累积对数损失可以上界，忽略对数因子，由每个例子的大小的多项式函数。
2014-03-26 cs.LG
LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization
Institute of Data Science（数据科学研究所）；National University of Singapore（新加坡国立大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Mathematics（数学系）
针对无利普希茨假设、存在未知轮数异常值的鲁棒在线凸优化问题，提出非凸（不变凸）的LEARN损失及对应鲁棒在线梯度下降算法，证明紧后悔界并给出统一分析框架。
2024-08-12 cs.LG math.OC
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam（阿姆斯特丹大学）；Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的，这使得它的根本利益，以获得更好的理论理解之间的世界这两个极端。在这项工作中，我们建立了新的遗憾界在线凸优化的设置，随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性，这些界限用梯度的方差代替了对最大梯度长度的依赖性，这在以前只针对线性损失是已知的。另外，他们削弱了i.i.d.假设，例如，允许敌对中毒轮，这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下，我们的边界匹配随机加速结果的预期速率，并且在完全对抗的情况下，它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明，我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
Logistic Regression: Tight Bounds for Stochastic and Online Optimization
Technion—Israel Institute of Technology（以色列理工学院）
逻辑损失函数在机器学习和统计学中经常被提倡作为0-1损失的光滑和严格凸的替代。在本文中，我们调查的问题是否这些光滑性和凸性的属性，使物流损失优于其他广泛考虑的选项，如铰链损失。我们发现，在已知的渐近界相比，只要预测/优化迭代次数是次指数，物流损失提供了一个通用的非光滑损失函数，如铰链损失没有改善。特别是，我们证明了随机逻辑优化的收敛速度是有界的决策集的直径和预测迭代次数的多项式从下面，并提供了一个匹配的紧上界。这解决了McMahan和Streeter（2012）的COLT开放问题。
2014-05-15 cs.LG
Universal Online Learning with Unbounded Losses: Memory Is All You Need
Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
我们解决了一个开放的问题Hanneke的主题普遍一致的在线学习与非i.i.d.过程和无限的损失。乐观普适学习规则的概念是由Hanneke定义的，目的是在最小假设下研究学习理论。一个给定的学习规则被称为乐观普适的，如果它实现了一个低的长期平均损失，每当数据生成过程使这个目标可以通过一些学习规则实现。Hanneke提出了一个开放的问题，即对于每一个无界损失，承认普遍学习的过程家族是否恰好是那些几乎肯定具有有限数量的不同值的过程。在本文中，我们完全解决了这个问题，表明情况确实如此。因此，这也为任何无限损失提供了一个非常简单的乐观普适学习规则的公式：即，简单的记忆规则已经足够了。我们的证明依赖于构造实例空间的随机可测量分区，并且可能对解决其他开放问题具有独立的兴趣。我们将结果扩展到不可实现的设置，从而提供了一个乐观的普遍贝叶斯一致的学习规则。
2022-01-21 cs.LG math.ST stat.ML
Distributed Online Optimization with Long-Term Constraints
Nanjing University of Science and Technology（南京理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；The University of Sydney（悉尼大学）
我们考虑分布式在线凸优化问题，其中分布式系统由通过时变通信图连接的各种计算单元组成。在每个时间步中，每个计算单元选择一个约束向量，经历等于在该向量处评估的任意凸函数的损失，并且可以与图中的其邻居通信。目标是尽量减少系统范围内随着时间的推移而积累的损失。我们提出了一个分散的算法与遗憾和累积约束违反$\mathcal{O}(T^{\max\{c,1-c\} })$和$\mathcal{O}(T^{1-c/2})$，分别为任何$c\in (0,1)$，其中$T$是时间范围。当损失函数是强凸的时，我们在$\mathcal{O}(\log(T))$和$\mathcal{O}(\sqrt{T\log(T)})$中建立了改进的后悔和约束违反上界。这些遗憾缩放匹配的国家的最先进的算法和基本限制，在相应的集中式在线优化问题（凸和强凸损失函数）。在强盗反馈的情况下，所提出的算法实现了遗憾和约束违反$\mathcal{O}(T^{\max\{c,1-c/3 \} })$和$\mathcal{O}(T^{1-c/2})$的任何$c\in (0,1)$。我们数值说明了我们的算法的分布式在线正则化线性回归问题的特定情况下的性能。
2019-12-20 cs.LG math.OC stat.ML
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
