Contextual Bandits with Online Neural Regression
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究针对上下文老虎机问题，通过在宽网络预测中加入随机扰动使损失满足QG条件，得到了更优的NeuCB遗憾界，并通过实验验证了算法（尤其是KL损失版本）的性能优势。
2023-12-12 cs.LG stat.ML
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
Yingru Li, Ziniu Li, Jiacai Liu（作者）
本文提出了一种整合模仿学习与强化学习的LLM微调框架，通过梯度分解实现高效token级模仿与长周期奖励优化。
2025-12-28 cs.AI cs.CL cs.LG
Visualizing Critic Match Loss Landscapes for Interpretation of Online Reinforcement Learning Control Algorithms
本文提出一种可视化批评匹配损失景观的方法，用于分析在线强化学习算法的动态控制问题，通过投影记录的批评参数轨迹，揭示批评学习行为的三维损失表面和二维优化路径。
2026-03-15 cs.AI cs.LG cs.RO
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Adaptive Composite Online Optimization: Predictions in Static and Dynamic Environments
TU Delft（代尔夫特理工大学）
在线凸优化（OCO）由于其灵活的实时性和强大的性能保证，在过去的几年中受到了控制文献的关注。在本文中，我们提出了新的步长规则和OCO算法，同时利用梯度预测，功能预测和动态，特别是有关控制应用的功能。所提出的算法享有静态和动态的遗憾界的动态参考动作序列，梯度预测误差和功能预测误差，这是从文献中已知的规律性措施的概括。我们目前的结果凸和强凸成本。我们验证了所提出的算法在轨迹跟踪案例研究中的性能，以及使用真实世界的数据集进行投资组合优化。
2023-01-14 cs.LG math.OC
The Convexity and Design of Composite Multiclass Losses
Research School of Computer Science, The Australian National University（澳大利亚国立大学计算机科学研究院）；NICTA；Tsinghua University（清华大学）
我们考虑用于多类预测的复合损失函数，其包括适当的（即，费雪一致性）损失的概率分布和逆链接函数。我们建立条件，他们的（强）凸性，并探讨其影响。我们还展示了如何分离的关注，通过使用这种复合表示允许设计的家庭损失具有相同的贝叶斯风险。
2012-06-18 cs.LG stat.ML
Online Algorithm for Aggregating Experts' Predictions with Unbounded Quadratic Loss
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对带无界二次损失的专家预测在线聚合问题，提出一种基于专家损失指数重加权、无需预先知道损失上界的在线聚合算法。
2025-01-11 cs.LG
Semi-Supervised Online Structure Learning for Composite Event Recognition
Inst. of Informatics & Telecom., National Center for Scientific Research “Demokritos”（国家科学研究中心“德莫克利特”信息与电信研究所）；Dept. of Informatics & Telecom., National and Kapodistrian University of Athens（雅典国立卡波迪斯特里亚大学信息与电信系）；Dept. of Maritime Studies, University of Piraeus（比雷埃夫斯大学海事研究系）
在线结构学习方法，如那些源于统计关系学习，使发现复杂的关系，在嘈杂的数据流。然而，这些方法假设存在完全标记的训练数据，这对于大多数现实世界的应用是不现实的。我们提出了一种新的方法来完成半监督结构学习任务的监督。我们将图形切割最小化，一种技术，得出标签的未标记的数据，根据他们的距离，他们的标记对应。为了适应图切割最小化一阶逻辑，我们采用了一个合适的结构距离测量逻辑原子集之间的距离。标签过程是通过缓存机制和Hoeffding界在线实现的（单程），Hoeffding界是一种统计工具，用于从局部最优决策近似全局最优决策。我们使用人类活动识别的基准数据集以及海事监测的真实数据集来评估我们在复合事件识别任务上的方法。评估表明，我们的方法可以有效地完成缺失的标签，并最终提高底层结构学习系统的准确性。
2019-02-20 cs.AI cs.LG stat.ML
Composite Online-to-Nonconvex Conversion with Optimal Oracle Complexity
The University of Tokyo（东京大学）；The University of Osaka（大阪大学）；RIKEN（理化学研究所）
针对随机非光滑非凸复合优化问题，扩展在线到非凸转换框架，提出新的在线学习器损失，得到的算法在一阶或零阶查询下达到最优神谕复杂度，且凸正则项未增加复杂度。
2026-10-09 cs.LG math.OC stat.ML
When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining
Sber AI Lab（Sber AI实验室）；HSE University（俄罗斯人民友谊大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与通信系统研究所可信人工智能研究中心）
本文提出一种基于梯度的双层方法，通过将复合预训练梯度与下游目标对齐，在线学习预训练损失权重，从而减少超参数调优成本，提升预训练效率。
2026-05-08 cs.AI cs.LG
Online Structured Prediction with Fenchel--Young Losses and Improved Surrogate Regret for Online Multiclass Classification with Logistic Loss
The University of Tokyo（东京大学）；Kyoto University（京都大学）
本文将利用代理差距框架从在线多类分类扩展到基于Fenchel–Young损失的在线结构化预测，提出随机化解码方法，并在逻辑损失下将代理遗憾界改进为O(‖U‖F²)，比先前结果提升d倍。
2024-10-22 cs.LG
Online Learning for Structured Loss Spaces
Indian Institute of Science（印度科学理工学院）
我们考虑预测专家的意见时，损失向量被假定为位于一个原子规范球的总和所描述的集合。我们得到一个遗憾的约束的一般版本的在线镜像下降（OMD）算法，使用正则化的组合，每个适应的组成原子规范。一般的结果恢复标准OMD遗憾界，并产生遗憾界的新结构化设置的损失向量是（i）噪声版本的点从一个低秩子空间，（ii）稀疏向量损坏的噪声，和（iii）稀疏扰动的低秩向量。对于具有结构化损失的在线学习问题，我们还显示了损失向量的源集的秩和稀疏性方面的遗憾下界，这也意味着上述附加损失设置的下界。
2017-11-12 cs.LG
Exp-Concavity of Proper Composite Losses
Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术研究院）
在线预测专家建议的目标是找到一个决策策略，该策略在任何结果序列上都将表现得几乎与给定专家库中的最佳专家一样好。这个问题已经得到了广泛的研究和$O(\sqrt{T})$和$O(\log{T})$遗憾界可以实现凸损失（\cite{zinkevich2003online}）和严格凸损失与有界的第一和第二导数（\cite{hazan2007logarithmic}）。在特殊情况下，如具有可混合损失的聚合算法（\cite{vovk1995game}）和具有指数凹损失的加权平均算法（\cite{kivinen1999averaging}），可以实现$O(1)$遗憾界限。\cite{van2012exp}认为，在某些条件下，可混性和经验近似相等。因此，通过理解这两个概念之间的潜在关系，我们可以获得两种算法的最佳效果（聚合算法的强理论性能保证和加权平均算法的计算效率）。在本文中，我们提供了一个完整的表征的经验，任何适当的复合损失。使用这种特性和适当的损失（\cite{van2012mixability}）的可混性条件，我们表明，它是可能的转换（重新参数化）任何$β$ -可混二进制适当的损失到一个$β$ -指数凹复合损失相同的$β$。在多类的情况下，我们提出了一个近似的方法，这种转换。
2018-05-20 cs.LG stat.ML
Proper-Composite Loss Functions in Arbitrary Dimensions
对机器学习问题的研究在许多方面都难以与对所使用的损失函数的研究分开。研究的一个途径是将这些损失函数的属性作为评分规则，通过适当的复合表示，其中预测被映射到概率分布，然后通过评分规则进行评分。然而，到目前为止，最近的研究主要关注分析输出空间上的（通常）有限维条件风险问题，而忽略了更大的总风险最小化。我们概括了这些结果的一个无限维的设置，在这样做，我们能够利用密度和条件密度估计的家族相似性，提供一个简单的表征的典型链接。
2022-09-01 cs.LG stat.ML
Online AUC Optimization Based on Second-order Surrogate Loss
本文提出一种基于二阶代理损失的在线AUC优化算法，直接替代聚合成对损失，实现更紧的遗憾界并扩展到核方法，实验验证其高效性。
2025-10-24 cs.LG
Online Learning in Case of Unbounded Losses Using the Follow Perturbed Leader Algorithm
Institute for Information Transmission Problems, Russian Academy of Sciences（俄罗斯科学院信息传输问题研究所）
本文考虑了在专家意见下的序贯预测问题，其中专家在每一步所遭受的损失不能预先有界。我们提出了一些修改的Kalai和Vempala算法的扰动领导人的权重取决于过去的损失的专家。引入了游戏的体积和尺度波动的新概念。我们提出了一个概率算法保护不受限制的大一步损失。该算法在专家池中专家一步损失的尺度波动趋于零的情况下具有最优性能。
2010-08-25 cs.LG
Composite Quantile Regression With XGBoost Using the Novel Arctan Pinball Loss
Radboud University（拉德堡德大学）；Alliander（Alliander公司）；Institute for Computing and Information Sciences, Radboud University（拉德堡德大学计算与信息科学学院）
本文提出专为 XGBoost 设计的 arctan pinball loss，通过提供较大的二阶导数解决传统 pinball loss 难以用于二阶近似的问题，实现了高效的同时多分位数预测并大幅减少了分位数交叉现象。
2024-06-04 cs.LG stat.ML
Physics-Informed Neural Network for Modelling the Thermochemical Curing Process of Composite-Tool Systems During Manufacture
The University of British Columbia（不列颠哥伦比亚大学）
提出了一种物理信息神经网络（PINN）来模拟复合材料在高压釜中固化过程中的热化学演化。特别是，我们解决了管理耦合系统的微分方程-包括传导热传递和树脂固化动力学-通过优化参数的深度神经网络（DNN）使用基于物理的损失函数。为了解释热传导和树脂固化的巨大不同行为，我们设计了一个由两个断开的子网络组成的PINN，并开发了一种顺序训练算法，该算法减轻了传统训练方法中存在的不稳定性。此外，我们将明确的不连续性到DNN的复合材料工具接口和强制执行已知的物理行为直接在损失函数，以改善界面附近的解决方案。我们训练的PINN的技术，自动适应相应的PDE，边界，接口和初始条件的损失条款的权重。最后，我们证明了可以将问题参数作为模型的输入-从而产生一个代理，为一系列问题设置提供实时模拟-并且可以使用迁移学习来显着减少与初始训练模型类似的问题设置的训练时间。在不同材料厚度和热边界条件的多个场景下，所提出的PINN的性能得到了证明。
2021-06-14 cs.LG
Revisiting Online Learning Approach to Inverse Linear Optimization: A Fenchel$-$Young Loss Perspective and Gap-Dependent Regret Analysis
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）；Kyoto University（京都大学）
本文从Fenchel-Young损失视角重新理解逆线性优化的在线学习方法，并利用最优与次优目标值之间的间隔结构，获得了与时间范围无关的更快遗憾上界，突破了标准O(√T)界。
2025-02-07 cs.LG
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan（日本东京CyberAgent公司）；National Institute of Informatics, Tokyo, Japan（日本东京信息机构）；Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（日本东京RIKEN高级智能项目）；The Institute of Statistical Mathematics, Tokyo, Japan（日本东京统计数学研究所）；Tohoku University, Miyagi, Japan（日本宫城县立东大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
本文提出在非平稳环境下，通过结合在线梯度下降的动态后悔分析与替代损失间隙技术，获得目标损失的上限，同时扩展到更广泛的设置，并证明依赖于F_T和P_T的紧性。
2026-05-14 cs.LG
Online Learning of k-CNF Boolean Functions
DeepMind Technologies Ltd（深度思维科技有限公司）；University of Alberta（阿尔伯塔大学）；Australian National University（澳大利亚国立大学）
在对数损失下的在线学习背景下，重新讨论了从例子中学习k-CNF布尔函数的问题.在这样做的时候，我们给一个贝叶斯解释的Valiant的著名的PAC学习算法，然后我们建立在两个高效的，在线的，概率的，监督学习算法预测输出的一个未知的k-CNF布尔函数。我们分析了我们的方法的损失，并表明，累积对数损失可以上界，忽略对数因子，由每个例子的大小的多项式函数。
2014-03-26 cs.LG
Scale-free Unconstrained Online Learning for Curved Losses
Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Amsterdam（阿姆斯特丹大学）
在无约束的在线凸优化的一系列作品已经调查的可能性，同时适应的范数$U$的比较器和最大范数$G$的梯度。在完全的一般性中，匹配的上界和下界是已知的，这表明这是以不可避免的附加$G U^3$为代价的，当预先知道$G$或$U$时，不需要附加的$G U^3$。令人惊讶的是，Kempka等人（2019）最近的结果表明，在$1$ -Lipschitz损失（如铰链损失）的特定情况下，不需要这种适应性代价。我们通过表明，如果我们专注于任何其他常见的监督在线学习损失，实际上从来没有为适应性付出代价：我们的结果涵盖了对数损失，（线性和非参数）逻辑回归，平方损失预测和（线性和非参数）最小二乘回归。我们还填补了文献中的几个空白，通过提供匹配的下界与明确的依赖$U$。在所有情况下，我们获得无标度算法，这是适当的数据重新缩放下不变。我们的总体目标是在不考虑计算效率的情况下建立可实现的速率，但对于线性逻辑回归，我们还提供了一种自适应方法，该方法与Agarwal等人（2021）最近的非自适应算法一样有效。
2022-06-15 cs.LG
Logistic Regression: Tight Bounds for Stochastic and Online Optimization
Technion—Israel Institute of Technology（以色列理工学院）
逻辑损失函数在机器学习和统计学中经常被提倡作为0-1损失的光滑和严格凸的替代。在本文中，我们调查的问题是否这些光滑性和凸性的属性，使物流损失优于其他广泛考虑的选项，如铰链损失。我们发现，在已知的渐近界相比，只要预测/优化迭代次数是次指数，物流损失提供了一个通用的非光滑损失函数，如铰链损失没有改善。特别是，我们证明了随机逻辑优化的收敛速度是有界的决策集的直径和预测迭代次数的多项式从下面，并提供了一个匹配的紧上界。这解决了McMahan和Streeter（2012）的COLT开放问题。
2014-05-15 cs.LG
Optimistic Optimisation of Composite Objective with Exponentiated Update
Technische Universität Berlin（柏林工业大学）；GT-ARC Gemeinnützige GmbH（GT-ARC公益有限责任公司）
本文提出了一个新的家庭的算法的在线优化的复合目标。该算法可以解释为指数梯度和$p$ -范数算法的结合。结合自适应和乐观的算法思想，所提出的算法实现了序列相关的遗憾上界，匹配稀疏目标决策变量的最佳界。此外，该算法具有有效的实现流行的复合目标和约束，并可以转换为随机优化算法与平滑目标的最佳加速率。
2022-08-08 cs.LG math.OC
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
A Bayesian Approach for Online Classifier Ensemble
Boston University（波士顿大学）；University of Michigan（密歇根大学）
我们提出了一个贝叶斯方法递归估计分类器的权重在在线学习的分类器集成。与过去的方法，如随机梯度下降或在线提升，我们的方法估计的权重递归更新其后验分布。对于一类特定的损失函数，我们表明，它是可以制定一个适当定义的似然函数，因此使用后验分布作为近似的全球经验损失最小。如果训练数据流是从一个平稳的过程中采样的，我们还可以证明，我们的方法比标准的随机梯度下降方法具有更好的收敛速度。在真实世界数据集的实验中，我们的公式通常比最先进的随机梯度下降和在线提升算法表现得更好。
2015-07-08 cs.LG
Bounded Memory Adversarial Bandits with Composite Anonymous Delayed Feedback
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
研究了具有复合匿名延迟反馈的对抗性强盗问题。在此设置中，动作的损失被分成$d$分量，在选择动作后分布在连续轮中。在每一轮中，该算法观察来自最新$d$轮的损失的聚合。以前的工作集中在遗忘对抗设置，而我们调查更难的非遗忘设置。我们表明，非遗忘设置招致$Ω(T)$伪遗憾，即使损失序列是有界的记忆。然而，我们提出了一个包装器算法，享有$o(T)$政策遗憾的许多对抗土匪问题的假设，损失序列是有界的记忆。特别地，对于$K$ -armed bandit和bandit凸优化，我们给出了$\mathcal{O}(T^{2/3})$策略遗憾界.我们还证明了一个匹配的下限$K$ -武装土匪。我们的下界即使在损失序列是遗忘的但延迟是非遗忘的情况下也有效。它回答了\cite{wang2021adaptive}中提出的开放问题，表明非遗忘延迟足以招致$\tildeΩ(T^{2/3})$遗憾。
2022-04-28 cs.LG stat.ML
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Online Learning with Pairwise Loss Functions
Tufts University（塔夫茨大学）；Akamai Technologies（阿卡迈技术公司）
具有成对损失函数的有效在线学习是构建大规模学习系统的关键组成部分，该系统最大化了受试者操作特征（ROC）曲线下的面积。在本文中，我们研究的推广性能的在线学习算法与成对损失函数。我们表明，现有的证明技术的泛化界的在线算法的单变量损失不能直接适用于成对损失。在本文中，我们得出的第一个结果提供数据依赖的边界的序列中产生的假设的平均风险的一个任意的在线学习者在一个容易计算的统计，并展示如何提取一个低风险的假设序列。我们证明了我们的结果的一般性，将其应用到机器学习中的两个重要问题。首先，我们分析了两个在线算法的二分排名，一个是感知器算法的自然扩展，另一个使用在线凸优化。其次，我们提供了一个有监督的度量学习的在线算法的风险界的分析。
2013-01-22 cs.LG stat.ML
No-Regret Learnability for Piecewise Linear Losses
Operations Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）；Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系）
在在线遗憾最小化的凸优化方法中，已经开发了许多方法来保证具有有界次梯度的次可微凸损失函数的遗憾的$O(\sqrt{T})$界，通过使用线性损失函数的约化。这表明，线性损失函数往往是最难学习的函数，无论底层的决策空间如何。我们系统地研究了这个问题，研究了决策者和敌对环境之间的相互作用。这使我们能够突出关于分段线性损失函数的可学习性的鲜明的独特行为。一方面，当决策者的决策集是一个多面体，我们建立了$Ω(\sqrt{T})$下界后悔的一个大类的分段线性损失函数的重要应用在在线线性优化，重复零和Stackelberg游戏，在线预测边信息，在线两阶段优化。另一方面，我们展示$o(\sqrt{T})$学习率，实现跟随领导者算法，在线线性优化时，决策者的决策集的边界是弯曲的，当$0$不在于环境的决策集的凸包。因此，决策者的决策集的曲率是最佳学习率的决定因素。这些结果在完全对抗的情况下成立。
2016-09-17 cs.LG
Scale-Free Online Learning
Stony Brook University（石溪大学）；Yahoo Research（雅虎研究院）
我们设计和分析在线线性优化算法，有最佳遗憾，并在同一时间不需要知道任何上界或下界的损失向量的范数。我们的算法是遵循正则化领导者（FTRL）和镜像下降（MD）元算法的实例。我们通过尺度不变性实现对损失向量范数的自适应，即，如果损失向量序列乘以任何正常数，我们的算法会做出完全相同的决定。基于FTRL的算法适用于任何有界或无界的决策集。对于无界决策集，这是第一个非空遗憾界的在线线性优化自适应算法。相比之下，我们展示了无界域上基于MD的无标度算法的下界。
2016-12-14 cs.LG
Universal Online Convex Optimization Meets Second-order Bounds
National Key Laboratory for Novel Software Technology（现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；JD AI Research（京东AI研究院）
本文提出一种通用在线凸优化策略，通过专家集合与带二阶界和超额损失的元算法聚合预测，统一处理强凸、指数凹和一般凸函数，并扩展至在线复合优化，在保持极小极大最优性的同时取得问题相关遗憾界。
2024-11-20 cs.LG math.OC
A closer look at temporal variability in dynamic online learning
Università di Milano（米兰大学）；Boston University（波士顿大学）
本文研究了在信息充分的在线学习情境下，动态后悔的设置问题。特别是，我们分析的损失函数的时间变异性的遗憾界。通过假设序列的损失函数不随时间变化很大，我们表明，它是有可能招致改进的遗憾界相比，现有的结果。我们的方法的关键是在优化过程中使用损失函数（而不是它的梯度）。在隐式算法分析的最新进展的基础上，我们提出了一个适应的隐式版本的在线镜像下降的动态设置。我们所提出的算法不仅是自适应的损失函数的时间变化，但也比较器的序列的路径长度时，一个上限是已知的。此外，我们的分析表明，我们的结果是紧密的，不能得到改善，没有进一步的假设。接下来，我们将展示如何将我们的算法应用于专家建议的学习设置或复合损失函数的设置。最后，当路径长度的上限是不固定的事先，我们展示了如何结合贪婪的策略与现有的强自适应算法，以最佳的竞争对不同的序列的比较器同时进行。
2021-02-15 cs.LG
Online Gradient Boosting
Yahoo Labs（雅虎实验室）；Princeton University（普林斯顿大学）
我们将回归问题的提升理论扩展到在线学习环境。从用于提升的批量设置进行概括，弱学习算法的概念被建模为具有与回归函数的基类竞争的线性损失函数的在线学习算法，而强学习算法是具有与更大类的回归函数竞争的凸损失函数的在线学习算法。我们的主要结果是一个在线的梯度提升算法，它将一个弱的在线学习算法转化为一个强的，其中较大的函数类是基类的线性跨度。我们还给出了一个简单的boosting算法，将一个弱的在线学习算法转化为一个强的，其中较大的函数类是基类的凸包，并证明了其最优性。
2015-10-30 cs.LG
Online Convex Optimization with Unconstrained Domains and Losses
Stanford University（斯坦福大学）
我们提出了一个在线凸优化算法（RescaledExp），实现了最佳的遗憾，在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法，需要一个已知的界上的损失函数和任何算法，不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的，我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Fast Composite Optimization and Statistical Recovery in Federated Learning
Shanghai Jiao Tong University（上海交通大学）；George Mason University（乔治梅森大学）
联邦学习（FL）是一种流行的分布式学习范式，它在大量通信不频繁的设备上训练全局模型。研究了FL环境下一类复合优化与统计恢复问题，其损失函数由一个依赖于数据的光滑损失函数和一个非光滑正则化函数组成.例子包括稀疏线性回归使用Lasso，低秩矩阵恢复使用核范数正则化等，在现有的文献中，联邦复合优化算法的设计只从优化的角度没有任何统计保证。此外，他们没有考虑统计恢复问题中常用的（限制）强凸性。我们从优化和统计的角度推进这个问题的前沿。从优化的前期，我们提出了一个新的算法命名为\textit{Fast Federated Dual Averaging}强凸和光滑的损失，并建立最先进的迭代和通信复杂性的复合设置。特别是，我们证明，它享有一个快速的速度，线性加速比，并减少通信轮。从统计学的角度出发，针对有约束的强凸光滑损失，设计了另一种算法，即\textit{Multi-stage Federated Dual Averaging}，并证明了一个高概率复杂度界，线性加速比达到最优统计精度。在合成和真实数据中的实验表明，我们的方法比其他基线更好。据我们所知，这是第一个工作提供快速优化算法和统计恢复保证复合问题的FL。
2022-10-03 cs.LG stat.ML
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Yonsei University（延世大学）
针对无向连通网络上的凸组合最优化问题，提出了一种新的基于CTA（Combine-Then-Adapt）的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长，只需近似求解一系列邻近映射，有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形，我们证明了该算法的O（1/k）收敛速度，如果精确求解邻近映射，则该算法的收敛速度可提高到O（1/k）.此外，利用度量次正则性，我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization
Institute of Data Science（数据科学研究所）；National University of Singapore（新加坡国立大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Mathematics（数学系）
针对无利普希茨假设、存在未知轮数异常值的鲁棒在线凸优化问题，提出非凸（不变凸）的LEARN损失及对应鲁棒在线梯度下降算法，证明紧后悔界并给出统一分析框架。
2024-08-12 cs.LG math.OC
Online and Stochastic Gradient Methods for Non-decomposable Loss Functions
Microsoft Research（微软研究院）；Indian Institute of Science（印度科学学院）
在敏感领域的现代应用，如生物识别和医学经常需要使用不可分解的损失函数，如精度@k，F-测量等相比，点损失函数，如铰链损失，这些提供了更细粒度的控制预测，但在同一时间提出了新的挑战，在算法设计和分析。在这项工作中，我们发起了在线学习技术的研究，这样的不可分解的损失函数的目的是使增量学习，以及设计可扩展的批量问题求解器。为此，我们提出了一个在线学习框架，这样的损失函数。我们的模型享有几个很好的属性，其中主要是存在有效的在线学习算法与次线性遗憾和在线批量转换的界限。我们的模型是现有的点损失函数在线学习模型的可证明扩展。我们实例化两个流行的损失，prec@k和pAUC，在我们的模型中，并证明了他们两个的次线性遗憾界。我们的证明需要一个新的结构引理排名名单可能是独立的利益。然后，我们开发了可扩展的随机梯度下降求解不可分解的损失函数。我们证明了，对于满足一定的一致收敛性质（包括prec@k，pAUC和F-测度）的损失函数的大家庭，我们的方法可证明收敛到经验风险最小化。这种一致收敛的结果是不知道这些损失，我们建立这些使用新的证明技术。然后，我们在现实生活和基准数据集上进行了广泛的实验，以确定我们的方法可以比最近提出的切割平面方法快几个数量级。
2014-10-24 cs.LG stat.ML
Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices
University of Iowa（爱荷华大学）
ROC曲线下面积（AUROC）已被广泛应用于不平衡分类，并与深度学习技术相结合。然而，没有现有的工作，提供健全的信息，为同行选择适当的深度AUROC最大化技术。在这项工作中，我们从三个方面填补了这一空白。(i)我们基准测试了各种损失函数与不同的算法选择深度AUROC优化问题。我们研究了两类损失函数：成对损失和复合损失，共包括10个损失函数。有趣的是，我们发现复合损失，作为一个创新的损失函数类，显示出更有竞争力的性能比成对损失从训练收敛和测试泛化的角度。然而，具有更多损坏标签的数据有利于成对对称损失。(ii)此外，我们的基准和突出的基本算法的选择，如积极的采样率，正则化，规范化/激活，和优化。主要调查结果包括：更高的正采样率可能有利于深度AUROC最大化;不同的数据集有利于不同的正则化权重;适当的归一化技术，如sigmoid和$\ell_2$评分归一化，可以提高模型性能。(iii)对于优化方面，我们基准SGD型，动量型，亚当型优化器的成对和复合损失。我们的研究结果表明，虽然亚当式方法从培训的角度更具竞争力，但它并没有优于其他测试的角度。
2022-07-04 cs.AI cs.LG
Unregularized Online Learning Algorithms with General Loss Functions
State University of New York at Albany（纽约州立大学奥尔巴尼分校）；City University of Hong Kong（香港城市大学）
在本文中，我们考虑再生核希尔伯特空间（RKHS）中的非正则化在线学习算法。首先，我们得到显式的非正则化在线学习算法的收敛速度与一般的伽玛激活损失（见定义1的文件）的分类。我们的结果扩展和改进了Ying和Pontil（2008）中关于最小二乘损失的结果以及Bach和Moulines（2011）中关于具有Lipschitz连续梯度的损失函数的最新结果。此外，我们建立了一个非常一般的条件，保证了这种算法的最后一个收敛的步长。其次，我们建立了，第一次，非正则成对学习算法与一般损失函数的收敛性，并推导出明确的速度多项式衰减步长的假设下。具体的例子来说明我们的主要结果。主要的技术是凸分析工具，高斯平均值的精细不等式，和归纳法。
2015-04-26 cs.LG stat.ML
A Modular Analysis of Adaptive (Non-)Convex Optimization: Optimism, Composite Objectives, and Variational Bounds
University of Alberta（阿尔伯塔大学）；Imperial College London（伦敦帝国学院）
近年来，人们在扩展在线学习和增量随机优化算法的范围方面做了大量的工作。在本文中，我们有助于这一努力在两个方面：第一，基于一个新的遗憾分解和概括的Bregman分歧，我们提供了一个独立的，模块化的分析两个主力的在线学习：（一般）自适应版本的镜像下降（MD）和跟随正规化领导（FTRL）算法。分析是额外小心地进行的，以便不引入证明中不需要的假设，并允许以直接的方式组合不同的算法思想（例如，适应性、乐观、隐式更新）和学习设置（例如，强凸或复合目标）。这样，我们就能够重新证明，扩展和完善大量的文献，同时保持简洁的证明。第二个贡献是这个仔细分析的副产品：我们提出了改进的变分边界平滑，复合目标的算法，包括一个新的家庭乐观MD算法，每轮只有一个投影步骤。此外，我们提供了一个简单的扩展自适应遗憾界实际相关的非凸问题设置，基本上没有额外的努力。
2017-09-08 cs.LG math.OC stat.ML
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
Online Learning with Primary and Secondary Losses
Toyota Technological Institute at Chicago（芝加哥丰田工学院）
研究了具有主损失和次损失的在线学习问题。例如，招聘人员在决定雇佣哪些求职者时，可能会对假阳性和假阴性进行同等的权衡（主要损失），但求职者可能会对假阴性进行更高的权衡（次要损失）。我们考虑以下问题：我们是否可以结合“专家建议”，以实现相对于主要损失的低遗憾，而同时执行{ \em不比最差的专家差多少}相对于次要损失？不幸的是，我们表明，这一目标是无法实现的，没有任何有界方差假设的二次损失。更一般地说，我们考虑的目标是最小化的遗憾相对于主要损失和限制二次损失的线性阈值。在积极的一面，我们表明，运行任何开关限制算法可以实现这一目标，如果所有专家满足的假设，二次损耗不超过线性阈值的$o(T)$的任何时间间隔。如果不是所有的专家都满足这一假设，我们的算法可以实现这一目标的访问一些外部的神谕，决定何时停用和重新激活专家。
2020-10-27 cs.LG stat.ML
Learning Embeddings for Product Visual Search with Triplet Loss and Online Sampling
Yahoo Research（雅虎研究院）
在本文中，我们提出了学习嵌入功能的电子商务领域内的基于内容的图像检索使用的三重损失和在线采样方法，从一个minibatch构建三胞胎。我们将我们的方法与几个强大的基线以及DeepFashion和Stanford Online Product数据集的最新作品进行了比较。我们的方法在DeepFashion数据集上的表现明显优于最先进的方法。通过修改以支持从单个产品类别中采样小批量，与斯坦福在线产品数据集的最新技术相比，相同的方法显示出具有竞争力的结果。
2018-10-10 cs.CV cs.IR cs.LG
Scale-Free Algorithms for Online Linear Optimization
Yahoo Labs（雅虎实验室）
我们设计的在线线性优化算法，具有最佳的遗憾，并在同一时间不需要知道任何上限或下限的损失向量的范数。我们通过尺度不变性实现对损失向量范数的自适应，即，如果损失向量序列乘以任何正常数，我们的算法会做出完全相同的决定。我们的算法适用于任何决策集，有界或无界。对于无界决策集，这些是第一个真正的在线线性优化自适应算法。
2015-07-01 cs.LG math.OC
On the Generalization Ability of Online Learning Algorithms for Pairwise Loss Functions
Centre for Mathematical Sciences（数学科学中心）；Microsoft Research India（微软印度研究院）
在本文中，我们研究了基于在线学习的随机方法对于监督学习问题的泛化性质，其中损失函数依赖于多个训练样本（例如，度量学习、排名）。我们提出了一个通用的解耦技术，使我们能够提供Rademacher复杂性为基础的泛化误差的界限。我们的边界一般比Wang等人（COLT 2012）针对同一问题获得的边界更紧。使用我们的解耦技术，我们进一步能够获得快速收敛速度强凸成对损失函数。我们还能够分析一类记忆高效的在线学习算法的成对学习问题，只使用一个有界的子集，过去的训练样本更新的假设在每一步。最后，为了补充我们的推广界，我们提出了一种新的记忆有效的在线学习算法的高阶学习问题的有界遗憾保证。
2013-05-11 cs.LG stat.ML
Random Feature Approximation for Online Nonlinear Graph Topology Identification
University of Agder（阿格德大学）
图连接时间序列的在线拓扑估计是具有挑战性的，特别是因为许多现实世界的网络中的因果依赖关系是非线性的。在本文中，我们提出了一个基于核的算法图的拓扑估计。该算法使用基于傅立叶的随机特征近似来解决与内核表示相关联的维数灾难。利用现实世界的网络往往表现出稀疏的拓扑结构的事实，我们提出了一个基于组套索的优化框架，这是解决使用迭代复合目标镜像下降法，产生一个在线算法与固定的计算复杂性每次迭代。在真实数据和合成数据上的实验表明，该方法优于其他方法。
2021-10-19 cs.LG eess.SP
Online Nonparametric Regression with General Loss Functions
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
本文建立了具有任意函数类和一般损失的在线回归的极大极小率。我们表明，低于一定的阈值的函数类的复杂性，极大极小率取决于曲率的损失函数和顺序的复杂性的类。在这个阈值之上，损失的曲率不影响费率。此外，对于平方损失的情况，我们的结果指出了有趣的现象：无论何时序列和i.i.d.经验熵匹配，统计和在线学习的比率是相同的。除了极大极小遗憾的研究，我们得到一个通用的预测，享有既定的最佳利率。我们还提供了设计在线预测算法的方法，这些算法对于某些问题可以在计算上高效。我们说明的技术，通过现有的和新的预测有限的专家和在线线性回归的情况下。
2015-01-26 cs.IT cs.LG math.IT
OEUVRE: OnlinE Unbiased Variance-Reduced loss Estimation
Machine Learning Department（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
OEUVRE提出一种在线无偏方差缩减损失估计器，利用算法稳定性实现常数时间更新，并证明其一致性、收敛速率和集中界，在多种任务上优于或匹配其他估计器。
2025-10-26 cs.LG stat.ML
Mixability of Integral Losses: a Key to Efficient Online Aggregation of Functional and Probabilistic Forecasts
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
本文将专家建议在线预测扩展到函数值预测，通过改造可混合且指数凹的积分损失，证明其可混合性，并用于统一验证多种概率预测损失。
2025-01-06 cs.LG stat.ML
Universal Online Learning with Bounded Loss: Reduction to Binary Classification
Massachusetts Institute of Technology（麻省理工学院）
研究了非独立同分布的泛相合性。在在线学习的背景下的过程。一个随机过程被称为承认普遍一致性，如果存在一个学习者，实现了消失的平均损失的任何可测量的反应函数在这个过程。当损失函数无界时，Blanchard等人证明了只有那些几乎必然取有限个值的过程才具有强的普适相容性。然而，当损失函数有界时，容许强一致性的过程类更加丰富，并且其特征可以依赖于响应设置（Hanneke）。在本文中，我们表明，这类过程是独立的响应设置，从而关闭一个开放的问题（Hanneke，开放的问题3）。具体而言，我们表明，类的过程，承认普遍的在线学习是相同的二进制分类与可数类的多类分类。因此，任何具有有界损失的输出设置都可以简化为二进制分类。我们的削减是建设性的和实际的。事实上，我们表明，最近邻算法是由我们的建设。对于二元分类的过程中承认强通用学习，我们证明了最近的邻居成功地学习至少所有的有限工会的间隔。
2022-07-15 cs.LG stat.ML
From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI
Meta Platforms, Inc.（Meta平台公司）
提出分层评估框架，将离线代理分解为三个对齐环节，通过区间感知决策一致性审计，在27个实验中达到81.1% F1，优于原始分数，用于优先排序对话式AI候选变更。
2026-09-23 cs.AI cs.IR cs.LG
Semi-Discriminative Representation Loss for Online Continual Learning
University of Bristol（布里斯托大学）；Amazon Research（亚马逊研究院）
在持续学习中使用情景记忆已经证明了减轻灾难性遗忘的有效性。在最近的研究中，基于梯度的方法已经被开发出来，以更有效地利用紧凑的情景记忆。这种方法通过来自记忆样本的梯度来细化来自新样本的梯度，旨在减少来自不同任务的梯度的多样性。在本文中，我们阐明了梯度的多样性和表示的区分性之间的关系，显示了深度度量学习和持续学习之间的共同利益和冲突，从而展示了在持续学习中学习区分性表示的利弊。基于这些发现，我们提出了一种简单的方法-半判别表示损失（SDRL）-用于持续学习。与现有方法相比，SDRL在在线持续学习的环境下，在多个基准任务上表现出更好的性能和更低的计算成本。
2022-04-14 cs.LG stat.ML
