Adversarial Online Learning with Temporal Feedback Graphs
MIT（麻省理工学院）；Google Research（谷歌研究院）
本文研究时间反馈图约束下的专家建议预测问题，提出基于子团损失划分的新算法，并针对传递反馈图证明其可高效实现且达到最优遗憾界。
2024-06-30 cs.LG
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Improved Regret Bounds for Online Kernel Selection under Bandit Feedback
Tianjin University（天津大学）
本文改进了基于强盗反馈的在线核选择的后悔界。该算法对Lipschitz损失函数具有$O((\Vert f\Vert^2_{\mathcal{H}_i}+1)K^{\frac{1}{3}}T^{\frac{2}{3}})$期望界。我们证明了两种类型的遗憾界改进以前的界限。对于光滑损失函数，我们提出了一个算法与$O(U^{\frac{2}{3}}K^{-\frac{1}{3}}(\sum^K_{i=1}L_T(f^\ast_i))^{\frac{2}{3}})$期望界$L_T(f^\ast_i)$是最佳假设的累积损失$\mathbb{H}_{i}=\{f\in\mathcal{H}_i:\Vert f\Vert_{\mathcal{H}_i}\leq U\}$。数据依赖的边界保持以前的最坏情况下的边界，并且如果大多数候选核与数据匹配良好，则该边界较小。对于Lipschitz损失函数，我们提出了一种算法，其$O(U\sqrt{KT}\ln^{\frac{2}{3}}{T})$期望界渐近地改进了先前的界。我们将这两个算法应用到有时间约束的在线核选择中，证明了新的后悔界匹配或改进了以前的$O(\sqrt{T\ln{K}} +\Vert f\Vert^2_{\mathcal{H}_i}\max\{\sqrt{T},\frac{T}{\sqrt{\mathcal{R}}}\})$期望界，其中$\…
2023-03-23 cs.LG
Online Learning with Preference Feedback
Cornell University（康奈尔大学）
提出了一种新的带有偏好反馈的在线学习模型。该模型特别适用于Web搜索和推荐系统等应用程序，其中偏好数据很容易从隐式用户反馈（例如点击）中获得。特别地，在每个时间步骤，响应于上下文（例如查询）向用户呈现潜在结构化对象（例如排名），为他或她提供一些未观察到的效用量。作为反馈，算法接收到将提供更高效用的改进对象。我们提出了一个学习算法与可证明的遗憾界这个在线学习设置，并证明其有效性的网络搜索应用程序。新的学习模型也适用于许多其他的互动学习问题，并承认几个有趣的扩展。
2011-11-03 cs.AI cs.LG
Adversarial Online Learning with noise
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们提出并研究了对抗性在线学习的模型，其中学习者观察到的反馈是嘈杂的，反馈是完全信息反馈或强盗反馈。具体来说，我们考虑二进制损失xored与噪声，这是一个伯努利随机变量。我们考虑了恒定噪声率和可变噪声率。我们的主要结果是紧遗憾界学习噪声对抗在线学习模型。
2018-11-04 cs.LG stat.ML
Online Learning with Feedback Graphs Without the Graphs
Technion—Israel Institute of Technology（以色列理工学院）
我们研究了Mannor和Shamir（2011）引入的在线学习框架，其中反馈由图指定，在图可能因轮而异的设置中，对于学习者来说是\emph{never fully revealed}。我们显示了一个很大的差距之间的对抗和随机的情况下。在对抗的情况下，我们证明了，即使是密集的反馈图，学习者不能提高一个微不足道的遗憾界忽略任何额外的反馈，除了她自己的损失。相反，在随机的情况下，我们给出了一个算法，实现$\widetilde Θ(\sqrt{αT})$遗憾超过$T$轮，提供的隐藏的反馈图的独立数是最多$α$。我们还将我们的结果扩展到一个更一般的反馈模型，其中学习者不一定观察到她自己的损失，并表明，即使在简单的情况下，隐藏的反馈图可能会使一个可学习的问题unlearnable。
2016-05-23 cs.LG stat.ML
Model-Free Learning for Two-Player Zero-Sum Partially Observable Markov Games with Perfect Recall
University of Alberta（阿尔伯塔大学）；Otto von Guericke Universität Magdeburg（奥托·冯·古里克马格德堡大学）；DeepMind Paris（巴黎DeepMind）
研究了不完全信息博弈中通过自我博弈学习纳什均衡的问题。准确地说，我们专注于两个玩家，零和，情节，表格IIG下的完美回忆的假设，唯一的反馈是游戏的实现（强盗反馈）。特别是，IIG的动态是未知的-我们只能通过采样或与游戏模拟器交互来访问它。对于这种学习设置，我们提供了隐式探索在线镜像下降（IXOMD）算法。它是一种无模型算法，收敛速度具有高概率界，收敛到$1/\sqrt{T}$阶的NE，其中$T$是所玩游戏的数量。此外，IXOMD在计算上是高效的，因为它只需要沿着采样轨迹执行更新。
2021-06-11 cs.LG stat.ML
Online Boosting for Multilabel Ranking with Top-k Feedback
University of Michigan（密歇根大学）；Facebook Infrastructure Engineering（脸书基础设施工程）；Microsoft（微软）
我们提出了在线提升算法的多标签排名与top-k反馈，其中学习者只接收信息的前k个项目从它提供的排名。我们提出了一种新的替代损失函数和无偏估计量，允许弱学习者更新自己有限的信息。使用这些技术，我们将全信息多标签排名算法（Jung和Tewari，2018）适应于前k反馈设置，并提供与全信息对应物的边界紧密匹配的理论性能边界，代价是增加样本复杂度。我们的实验进一步证实了这些理论结果，实验表明，在各种数据集上，top-k反馈设置的算法与全信息设置的算法之间的性能差距很小。
2020-10-19 cs.LG stat.ML
Distributed Associative Memory via Online Convex Optimization
KCLIP, CIIPS, Department of Engineering, King’s College London, London WC2R 2LS, UK（KCLIP、CIIPS、工程系、伦敦国王学院，伦敦 WC2R 2LS，英国）；Communication Systems Department, EURECOM, 06904 Sophia Antipolis, France（通信系统部门、EURECOM、法国索菲亚抗皮斯，06904）；Intelligent Networked Systems Institute, Northeastern University London, London E1 8PH, UK（智能网络系统研究所、伦敦东北大学、伦敦 E1 8PH，英国）
针对分布式联想记忆问题，提出基于路由树通信的分布式在线梯度下降方法以协同优化各智能体本地记忆，并证明次线性遗憾且实验优于现有基线。
2025-09-26 cs.LG eess.SP
Learning Online from Corrective Feedback: A Meta-Algorithm for Robotics
University of Washington（华盛顿大学）
在模仿学习（IL）的一个关键挑战是，教师很难提供最佳状态动作演示。例如，在机器人技术中，在机器人操纵器上提供动觉演示需要教师同时控制多个自由度。要求最佳状态行动示范的困难限制了教师可以提供高质量反馈的问题空间。作为国家行动示范的替代方案，教师可以提供纠正性反馈，如他们的偏好或奖励。先前的工作已经创建了旨在从特定类型的嘈杂反馈中学习的算法，但在教师和任务中可能需要不同形式的反馈。相反，我们建议，为了从各种场景中学习，我们需要从各种反馈中学习。为了从各种反馈中学习，我们做出以下见解：教师的成本函数是潜在的，我们可以将反馈流建模为损失函数流。然后我们使用任何在线学习算法来最小化这些损失的总和。有了这个洞察力，我们可以从各种反馈中学习，这些反馈与教师的真实成本函数弱相关。我们统一以前的工作到一个一般的纠正反馈元算法，并表明，无论反馈，我们可以获得相同的遗憾界。我们通过学习在机器人赛车平台上执行家庭导航任务来展示我们的方法。我们的研究结果表明，我们的方法可以从各种噪声反馈中快速学习。
2021-04-02 cs.LG cs.RO
Online semi-supervised perception: Real-time learning without explicit feedback
Intel Labs（英特尔实验室）；Department of Computer Science（计算机科学系）；University of Pittsburgh（匹兹堡大学）
本文提出一种无需显式反馈的实时学习算法，结合图上半监督学习和在线学习，通过迭代构建世界图表示并更新，利用离线标注数据和在线未标注数据提升性能，在实时人脸识别中取得优越精度和召回率。
2026-10-06 cs.LG stat.ML
Online non-convex optimization with imperfect feedback
Criteo AI Lab（Criteo人工智能实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）
研究了具有非凸损失的在线学习问题。在反馈方面，我们假设学习者观察-或以其他方式构建-一个不精确的模型，在每个阶段遇到的损失函数，我们提出了一个混合策略的学习策略的基础上双平均。在这种情况下，我们得到了一系列严格的遗憾最小化的保证，无论是学习者的静态（外部）遗憾，以及后悔对最好的动态政策事后诸葛亮。随后，我们将这个通用模板应用于学习者只能访问过程中每个阶段发生的实际损失的情况。这是通过基于核的估计器来实现的，该估计器仅使用学习者的已实现损失作为输入来为每轮的损失函数生成不精确模型。
2020-10-16 cs.LG math.OC
Forward Direct Feedback Alignment for Online Gradient Estimates of Spiking Neural Networks
University of Kent（肯特大学）；School of Computing（计算机学院）；CEMS
本文提出脉冲前向直接反馈对齐（SFDFA）算法，用于在神经形态硬件上在线估计脉冲神经网络的梯度，避免反向传播，并通过比较实验证明其性能和收敛速度优于现有算法。
2024-02-06 cs.LG cs.NE
Robust Learning for Smoothed Online Convex Optimization with Feedback Delay
University of California Riverside（加州大学河滨分校）；California Institute of Technology（加州理工学院）
本文针对带多步切换成本和反馈延迟的平滑在线凸优化问题，提出鲁棒性约束学习算法RCL，通过约束投影融合不可信机器学习预测与可信专家算法，首次实现可证明鲁棒性保证并提升平均性能。
2023-10-31 cs.DS cs.LG math.OC
Capacity-Constrained Online Convex Optimization with Delayed Feedback
Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系）；Vector Institute（向量研究所）；Institute for Data, Econometrics, Algorithms, and Learning (IDEAL), hosted by UIC and TTIC（数据、计量经济学、算法与学习研究所（IDEAL），由伊利诺伊大学芝加哥分校和丰田工业大学芝加哥分校主办）
研究在硬容量约束下（最多同时跟踪C个待处理轮次）的延迟在线凸优化，通过引入半先知模型和延迟加权FTRL算法，首次给出了凸和强凸损失下容量受限OCO的遗憾界。
2026-11-10 cs.LG stat.ML
Online Ranking: Discrete Choice, Spearman Correlation and Other Feedback
给定$n$对象的集合$V$，在线排名系统在每个时间步输出集合的完整排名，观察某种形式的反馈并遭受损失。我们研究的设置，其中（对抗）反馈是$V$中的一个元素，损失是位置（第0，第1，第2.）在输出的排名中的项目。更一般地说，我们研究的设置中的反馈是一个子集$U$的最多$k$元素在$V$，和损失是这些元素的位置的总和。我们提出了一个算法的预期遗憾$O(n^{3/2}\sqrt{Tk})$在一个时间范围内的$T$步骤的最佳单一的排名在事后。这通过$Ω(\sqrt{k})$的因子、$Ω(\sqrt{\log n})$的因子或通过将每轮的运行时间从二次改进为$O(n\log n)$来改进先前的算法和分析。我们还证明了一个匹配的下界。我们的技术也意味着一个改进的遗憾界在线排名聚合斯皮尔曼相关性措施，和其他更复杂的排名损失函数。
2013-10-14 cs.GT cs.LG stat.ML
Algorithmic Chaining and the Role of Partial Feedback in Online Nonparametric Learning
Università degli Studi di Milano（米兰大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Università degli Studi dell’Insubria（因苏布里亚大学）；Université Toulouse III - Paul Sabatier（图卢兹第三大学（保罗·萨巴蒂埃大学））
我们调查上下文在线学习与非参数（Lipschitz）比较类在不同的假设损失和反馈信息。对于完全信息反馈和Lipschitz损失，我们设计了第一个明确的算法，实现了极大极小后悔率（最多对数因子）。在一个部分反馈模型的激励下，第二价格拍卖，我们得到的算法Lipschitz和半Lipschitz损失的遗憾界改进的标准强盗反馈的已知界限。我们的分析结合了上下文第二价格拍卖的新结果与一种新的算法方法的基础上链。当上下文空间是欧几里德时，我们的链接方法是有效的，并且提供了更好的后悔界限。
2017-06-30 cs.LG math.ST stat.ML
Active Learning for Fair and Stable Online Allocations
Purdue University（普渡大学）
针对动态公平资源分配问题，提出基于成对上下置信界自适应选反馈的主动学习算法，在仅获取子集智能体反馈的限制下，实现多指标下次线性遗憾界的高效决策。
2024-06-20 cs.LG stat.OT
Safe and Efficient Online Convex Optimization with Linear Budget Constraints and Partial Feedback
Research Institute of China Electronics Technology Group（中国电子科技集团公司研究所）；School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
本文研究未知线性预算约束下的在线凸优化问题，提出安全高效的Lyapunov优化算法SELO，实现$O(\sqrt{T})$遗憾与零累积约束违反，计算高效并在分布式数据中心应用中验证有效。
2025-03-07 cs.LG math.OC
Safe Online Convex Optimization with Multi-Point Feedback
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对安全在线凸优化，提出一种多点反馈下利用前向差分梯度估计与乐观/悲观行动集的算法，实现次线性遗憾与零约束违反。
2024-07-16 cs.LG math.OC
Online Convex Optimization with Stochastic Constraints: Zero Constraint Violation and Bandit Feedback
针对随机约束在线凸优化，提出改进的 drift-plus-penalty 算法，实现固定迭代后零约束违反与 $O(\sqrt{T})$ 期望遗憾，并扩展至两点赌博机反馈。
2023-07-13 cs.LG math.OC
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Incremental Concept Learning via Online Generative Memory Recall
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
随着时间的推移，从逐渐到达的数据中学习越来越多的概念的能力对于终身学习系统的开发至关重要。然而，深度神经网络在不断学习新概念时，经常会忘记先前学习的概念，这被称为灾难性遗忘问题。灾难性遗忘的主要原因是过去的概念数据不可用，神经网络的权重在增量学习新概念的过程中发生了变化。在本文中，我们提出了一个伪排练类增量学习方法，使神经网络能够不断学习新的概念。我们使用一个条件生成对抗网络来巩固旧概念的记忆，并在学习新概念的过程中回忆伪样本，一个平衡的在线记忆回忆策略是最大限度地保持旧记忆。设计了一个可理解的增量式概念学习网络和概念对比损失来减轻神经网络权值变化的幅度。我们评估所提出的方法MNIST，时尚MNIST和SVHN数据集，并与其他排练为基础的方法进行比较。大量的实验证明了我们的方法的有效性。
2019-07-05 cs.CV cs.LG
Online Learning to Rank with Feedback at the Top
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们考虑一个在线学习排序设置，在每一轮，一个不经意的对手产生一个列表的$m$文件，有关的查询，和学习者产生分数排名的文件。然后，对手生成相关性向量，学习者根据收到的反馈更新其排名。我们认为反馈被限制为仅是$k \ll m$的排名列表中的顶部$k$文档的相关性级别的设置。然而，学习器的性能是基于未显示的全相关向量，使用适当的学习排序损失函数来判断的。我们开发了有效的算法，众所周知的损失在逐点，成对和列表家庭。我们还证明，没有在线算法可以有次线性遗憾，与前1反馈，任何损失，是校准相对于NDCG。我们将我们的算法应用于基准数据集上，证明了从高度限制的反馈中对排名函数进行有效的在线学习。
2016-03-06 cs.LG
Follow the Prophet: Accurate Online Conversion Rate Prediction in the Face of Delayed Feedback
University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）
延迟反馈问题是在线广告中的迫切挑战之一，这是由从几分钟到几天不等的高度多样化的反馈延迟引起的。对于不同类型的广告和不同的用户，在这些不相同的延迟下，很难设计出合适的在线学习系统。在本文中，我们提出了解决延迟反馈问题的在线广告“跟随先知”（FTP简称）。关键的见解是，如果所有记录的样本的反馈都是即时的，我们可以得到一个没有延迟反馈的模型，即“先知”。虽然先知不能在在线学习，我们表明，我们可以预测先知的预测聚合政策的一组多任务的预测，其中每个任务捕捉不同时期的反馈模式。我们提出了策略的目标和优化方法，并使用日志数据来模拟预测器。在三个真实世界的广告数据集上进行的大量实验表明，我们的方法优于以前的最先进的基线。
2021-08-13 cs.LG
Stochastic Online Learning with Feedback Graphs: Finite-Time and Asymptotic Optimality
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
我们重新审视随机在线学习与反馈图的问题，设计的目标是最佳的算法，常数，渐近和在有限的时间。我们发现，令人惊讶的是，最佳有限时间后悔的概念是不是一个唯一定义的属性在这种情况下，在一般情况下，它是解耦的渐近速率。我们讨论替代选择，并提出了有限时间最优性的概念，我们认为是\emph{meaningful}。对于这一概念，我们给出了一个算法，承认准最优后悔在有限时间和渐近。
2022-06-20 cs.LG
Online Learning with Feedback Graphs: Beyond Bandits
Tel Aviv University（特拉维夫大学）；Microsoft Research（微软研究院）；Università degli Studi di Milano（米兰大学）；Technion—Israel Institute of Technology（以色列理工学院）
我们研究了一类一般的在线学习问题，其中的反馈是由一个图。本课程包括专家建议的在线预测和多臂强盗问题，以及在线玩家不一定观察到自己损失的几个学习问题。我们分析了反馈图的结构如何控制诱导$T$轮学习问题的固有难度。具体来说，我们表明，任何反馈图属于三类之一：强可观察图，弱可观察图，和不可观察图。我们证明了第一类诱导学习问题与$\widetildeΘ(α^{1/2} T^{1/2})$极大极小遗憾，其中$α$是底层图的独立数;第二类诱导问题与$\widetildeΘ(δ^{1/3}T^{2/3})$极大极小遗憾，其中$δ$是图的某一部分的控制数;和第三类诱导问题与线性极大极小遗憾。我们的研究结果subsequently许多以前的工作学习反馈图，并揭示了新的连接部分监控游戏。我们还显示了如何影响的遗憾，如果允许的图形随时间变化。
2015-02-26 cs.LG
DFORD: Directional Feedback based Online Ordinal Regression Learning
Machine Learning Lab, Kohli Center on Intelligent Systems, IIIT Hyderabad, India（机器学习实验室，Kohli智能系统中心，IIIT海得拉尔，印度）；IIIT Hyderabad, India（IIIT海得拉尔，印度）
DFORD通过方向反馈实现在线序回归，采用探索-利用策略并引入核方法，有效降低内存消耗，实现O(log T)的遗憾界。
2025-12-22 cs.LG
RADAR: Recall Augmentation through Deferred Asynchronous Retrieval
Meta Platforms, Inc.（Meta平台公司）
提出 RADAR 框架，用离线异步全模型预排序大规模候选并作为在线高质量召回源，离线召回翻倍且在线参与度提升 0.8%。
2025-06-08 cs.IR cs.LG
Online Boosting with Bandit Feedback
Google AI Princeton（谷歌人工智能普林斯顿）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们考虑了回归任务的在线提升问题，当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法，有两个影响：一个在线助推算法与嘈杂的多点强盗反馈，和一个新的无投影在线凸优化算法与随机梯度，提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Online Learning to Rank with Top-k Feedback
University of Michigan（密歇根大学）
我们考虑两种设置的在线学习排名反馈限制在排名靠前的项目。该问题被转换为学习者和用户序列之间的在线游戏，经过$T$回合。在这两种设置中，学习者的目标是向用户呈现项目的排名列表。学习者的表现是根据整个排名列表和项目的真实相关性来判断的。然而，学习者在每轮结束时接收高度受限的反馈，其形式为仅最高$k$排名的项目的相关性，其中$k \ll m$。第一个设置是\emph{non-contextual}，其中要排名的项目列表是固定的。第二个设置是\emph{contextual}，其中项目列表以传统查询文档列表的形式变化。没有对项目和语境的相关性的生成过程进行随机假设。我们为这两种设置提供了有效的排名策略。策略实现$O(T^{2/3})$遗憾，其中遗憾是基于流行的排名措施在第一设置和排名代理人在第二设置。我们还提供了不可能的结果，某些排名措施和一定类别的代理人，当反馈仅限于排名靠前的项目，即$k=1$。我们经验证明我们的算法在模拟和真实世界的数据集上的性能。
2016-08-23 cs.LG
Efficient Online Conformal Selection with Limited Feedback
Google Research（谷歌研究）；Department of Computer Science, Duke University（杜克大学计算机科学系）
本文提出一种在有限反馈下高效实现在线符合选择的方法，通过适应性符合推断更新规则，在保证目标概率下实现亚线性效率 regret，适用于带隙和半带隙反馈场景。
2026-07-31 cs.LG
Beyond Bandit Feedback in Online Multiclass Classification
Università degli Studi di Milano（米兰大学）；Sapienza Università di Roma（罗马大学）；Dept. of Computer Science（计算机科学系）；Dept. of Computer, Control and Management Engineering（计算机、控制与管理工程系）；DSRC
研究任意有向图反馈下的在线多类分类问题，提出首个适用于任意反馈图的算法 Gappletron，证明了替代遗憾界并在合成数据实验中验证其竞争力。
2021-06-07 cs.LG
Online Ranking with Top-1 Feedback
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们考虑一个系统学习排名一组固定的$m$项目的设置。我们的目标是为具有不同兴趣的用户提供良好的项目排名，这些用户在$T$轮中与系统进行在线交互。我们考虑一种新的顶部$1$反馈模型：在每一轮结束时，只有排名靠前的对象的相关性得分被揭示。然而，系统的性能是根据整个排名列表来判断的。我们提供了一套全面的结果，在这个具有挑战性的设置下的可学习性。对于PairwiseLoss和DCG这两种常用的排序测度，我们证明了极小极大后悔是$Θ(T^{2/3})$ .此外，极小极大后悔是可以实现的，使用一个有效的策略，每轮只花$O(m \log m)$时间。同样有效的策略实现了$O(T^{2/3})$对Precision@ $k$的遗憾。令人惊讶的是，我们表明，对于这些排名措施的标准化版本，即，AUC，NDCG \& MAP，没有在线排名算法可以有次线性遗憾。
2016-03-06 cs.LG
Multi-model Online Conformal Prediction with Graph-Structured Feedback
Department of Electrical Engineering and Computer Science University of California, Irvine（电气工程与计算机科学系 加州大学伊尔市分校）
提出基于二部图反馈的多模型在线保形预测算法，动态筛选有效模型子集以降低计算复杂度并减小预测集，同时利用预测集大小和模型损失作为反馈，在保证覆盖率和次线性遗憾的前提下显著提升效率。
2025-10-10 cs.LG
Existence conditions for hidden feedback loops in online recommender systems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们探讨了在线推荐系统中隐藏的反馈环效应。反馈循环导致在线多臂强盗（MAB）建议退化为一个小的子集，失去覆盖范围和新颖性。我们研究了用户兴趣的不确定性和噪声如何影响反馈回路的存在。首先，我们证明了用户兴趣中的无偏加性随机噪声不会阻止反馈回路。其次，我们证明了重置用户兴趣的非零概率足以限制反馈回路并估计效果的大小。我们的实验证实了理论研究结果在模拟环境中的四个强盗算法。
2021-12-16 cs.IR cs.LG
Online Learning: A Comprehensive Survey
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
在线学习代表了机器学习算法的一个重要家族，其中学习者尝试通过一次一个地从数据实例序列中学习模型/假设来解决在线预测（或任何类型的决策）任务。在线学习的目标是确保在线学习者在已知先前预测或学习任务的正确答案以及可能的附加信息的情况下将做出一系列准确的预测（或正确的决策）。这与许多传统的批量学习或离线机器学习算法形成对比，这些算法通常被设计为从给定的训练数据实例集合中批量训练模型。本调查旨在通过对基本思想和关键原理的系统回顾以及对不同算法和技术的适当分类，对在线机器学习文献进行全面调查。一般来说，根据学习类型和反馈信息的形式，现有的在线学习工作可以分为三大类：（i）有监督的在线学习，其中总是可以获得完整的反馈信息;（ii）反馈有限的在线学习;以及（iii）无监督的在线学习，其中没有反馈。由于篇幅所限，调查将主要集中在第一类，但也简要介绍其他两类的一些基本情况。最后，我们还讨论了一些开放的问题，并试图阐明在这一领域的潜在的未来研究方向。
2018-10-22 cs.LG
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Google Research（谷歌研究院）
本文针对具有聚合bandit反馈的在线有限时域MDP，提出首个策略优化算法，在已知动态下取得最优遗憾界，在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Online Conformal Abstention Under Adversarial Bandit Feedback
GSAI POSTECH
ExSUL通过引入转换引理和反馈解锁策略，在对抗性反馈环境下实现高效的FDR控制和选择性生成。
2026-10-06 cs.LG
Online Learning with Set-Valued Feedback
University of Michigan（密歇根大学）
该研究针对集值反馈的在线多类分类场景，证明确定性与随机化在线可学习性不等价，提出两个新组合维度分别刻画两类可学习性，并为三种实际学习场景的最小最大遗憾值建立界。
2024-06-18 cs.LG stat.ML
Learning with Comparison Feedback: Online Estimation of Sample Statistics
Cornell University（康奈尔大学）
我们研究了一个在线版本的嘈杂的二进制搜索问题，反馈是由一个非随机对手，而不是随机噪声干扰。我们将其重新定义为在一个模型中保持对对抗整数序列$x_1, x_2, \dots$的中位数的准确估计，在该模型中，每个数字$x_t$只能通过${1(x_t \leq q_t)}$形式的单个阈值查询来访问。在这个在线比较反馈模型中，我们探索了一般样本统计量的估计，为中值、CDF和均值估计提供了鲁棒的算法，其下界几乎匹配。我们得出结论与几个高维的推广。
2021-01-11 cs.DS cs.LG
Cooperative Online Learning with Feedback Graphs
Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 – CRIStAL
本文研究通信网络与反馈图耦合下的协作在线学习，利用二者强乘积的独立数刻画网络遗憾，并给出匹配下界与实验验证。
2024-08-09 cs.LG stat.ML
On the Minimax Regret in Online Ranking with Top-k Feedback
University of Pennsylvania（宾夕法尼亚大学）；University of Michigan（密歇根大学）
该研究针对带top-k反馈的在线排序问题，解决了已有工作的开放问题，完整刻画了多类排序指标下的极小极大遗憾率，并提出了可实现Precision@n最优遗憾率的高效算法。
2024-04-12 cs.LG stat.ML
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Mirror Online Conformal Prediction with Intermittent Feedback
King’s Communications, Learning and Information Processing (KCLIP) Lab, Department of Engineering, King’s College London（国王学院通信、学习和信息处理实验室（KCLIP）实验室，工程系，伦敦国王学院）
本文提出间歇镜像在线共形预测框架IM-OCP，在可能间歇反馈下整合先验知识，以极低内存复杂度同时实现长期覆盖保证和次线性遗憾。
2025-07-07 cs.LG eess.SP
Online Multiclass Classification Based on Prediction Margin for Partial Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们考虑的问题，在线多类分类与部分反馈，算法预测类的一个新的实例在每一轮，只收到其正确性。虽然已经开发了几种方法来解决这个问题，最近具有挑战性的现实世界的应用程序需要进一步的性能改进。在本文中，我们提出了一种新的在线学习算法的启发，最近的工作学习互补标签，其中一个互补标签表示一个类的实例不属于。这使我们能够以基于裕度的方式确定性地处理部分反馈，其中预测裕度已被认为是卓越经验性能的关键。我们提供了一个理论保证的基础上的累积损失界和实验证明，我们的方法优于现有的方法，这是非保证金的和随机的。
2019-02-04 cs.LG stat.ML
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Online Learning with Uncertain Feedback Graphs
University of California, Irvine（加州大学欧文分校）
通过专家建议进行的在线学习广泛用于各种机器学习任务。它考虑的问题是，学习者从一组专家中选择一个来接受建议并做出决定。在许多学习问题中，专家可能是相关的，因此学习者可以观察到与所选专家相关的专家子集相关的损失。在这种情况下，专家之间的关系可以通过反馈图来捕获，该反馈图可以用于帮助学习者做出决策。然而，在实践中，名义反馈图往往带有不确定性，这使得它不可能揭示专家之间的实际关系。为了应对这一挑战，目前的工作研究各种情况下的潜在不确定性，并开发新的在线学习算法来处理不确定性，同时利用不确定反馈图。在较弱的条件下证明了所提算法具有次线性后悔性。在真实数据集上的实验证明了新算法的有效性。
2021-06-15 cs.LG stat.ML
Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model
Institute of Automation, CASIA（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
提出RL-SaLLM-F方法，利用LLM生成自增强轨迹与偏好标签，结合双重检查机制，无需特权信息即可在在线PbRL中替代脚本化教师，实现高效反馈获取。
2024-12-22 cs.AI cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Online Learning under Delayed Feedback
University of Alberta（阿尔伯塔大学）
具有延迟反馈的在线学习近年来在分布式网络学习问题中得到了越来越多的关注。在本文中，我们提供了一个系统的研究主题，并分析了延迟的在线学习算法的遗憾的影响。令人惊讶的是，在对抗性问题中，延迟以乘法的方式增加了遗憾，而在随机问题中，延迟以加法的方式增加了遗憾。我们给出了元算法的转换，在一个黑盒子的方式，算法开发的非延迟的情况下，可以处理的反馈回路中存在的延迟。著名的UCB算法的修改也开发了延迟反馈的强盗问题，与元算法的优势，他们可以实现较低的复杂性。
2013-06-05 cs.AI cs.LG stat.ML
Banker Online Mirror Descent
我们提出了银行家OMD，一个新的框架，推广了经典的在线镜像下降（OMD）技术在在线学习算法设计。Banker-OMD允许算法鲁棒地处理延迟反馈，并提供了在各种延迟反馈在线学习任务中实现$\tilde{O}(\sqrt{T} + \sqrt{D})$式后悔界限的一般方法，其中$T$是时间范围长度，$D$是总反馈延迟。我们展示了银行家OMD的力量与应用程序的三个重要的土匪的情况下，延迟反馈，包括延迟对抗多武装土匪（MAB），延迟对抗线性土匪，和一个新的延迟最好的两个世界MAB设置。Banker-OMD在所有三种设置中均实现了接近最佳的性能。特别是，它导致了第一个延迟对抗线性强盗算法实现$\tilde{O}(\text{poly}(n)(\sqrt{T} + \sqrt{D}))$遗憾。
2023-01-26 cs.LG stat.ML
Stochastic Online Learning with Probabilistic Graph Feedback
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）；DeepMind（深度思维）；The Chinese University of Hong Kong（香港中文大学）
考虑了一个带有一般概率图反馈的随机在线学习问题，其中反馈图中的每一条有向边都具有概率$p_{ij}$。涵盖了两个案例。(a)一步的情况下，其中在玩手臂$i$之后，学习者观察具有独立概率$p_{ij}$的手臂$j$的样本奖励反馈。(b)级联情况，其中在演奏手臂$i$之后，学习者以从$i$开始的概率级联观察所有手臂$j$的反馈-对于具有概率$p_{ij}$的每个$(i,j)$，如果演奏或观察到手臂$i$，则将以独立概率$p_{ij}$观察到手臂$j$的奖励样本。以前的工作主要集中在确定性图，对应于一个步骤的情况下与$p_{ij} \in \{0,1\}$，具有一定的拓扑保证的图的对抗序列，或一个特定类型的随机图。我们分析了这两种情况下的渐近下界和设计算法。算法的遗憾上界与下界以高概率匹配。
2019-11-21 cs.LG stat.ML
Validation of a recommender system for prompting omitted foods in online dietary assessment surveys
Newcastle University（纽卡斯尔大学）；Monash University（莫纳什大学）
回忆辅助方法是提高在线饮食评估调查准确性的关键方面之一。这些方法仍然主要依赖于受过营养背景培训的访谈者的经验，但数据驱动的方法可以提高自动饮食评估的成本效益和可扩展性。我们评估了为在线饮食评估系统Intake24开发的推荐算法的有效性，该系统自动化了多遍24小时回忆方法。推荐器根据过去调查中收集的回忆建立了一个饮食行为模型。根据他们已经选择的食物，该模型用于提醒受访者他们可能忽略报告的相关食物。在两项饮食研究中，将该模型生成的提示与营养学家手工编码的提示进行了比较。我们的研究结果表明，推荐系统能够捕捉到更多的食物省略的受访者的在线饮食调查比提示手工编码的营养学家。然而，所产生的提示的准确度低得多，这表明有机会进一步改进该系统。
2019-03-20 cs.CY cs.HC cs.LG
