On the Minimax Regret in Online Ranking with Top-k Feedback
University of Pennsylvania（宾夕法尼亚大学）；University of Michigan（密歇根大学）
该研究针对带top-k反馈的在线排序问题，解决了已有工作的开放问题，完整刻画了多类排序指标下的极小极大遗憾率，并提出了可实现Precision@n最优遗憾率的高效算法。
2024-04-12 cs.LG stat.ML
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Online Learning with Feedback Graphs Without the Graphs
Technion—Israel Institute of Technology（以色列理工学院）
我们研究了Mannor和Shamir（2011）引入的在线学习框架，其中反馈由图指定，在图可能因轮而异的设置中，对于学习者来说是\emph{never fully revealed}。我们显示了一个很大的差距之间的对抗和随机的情况下。在对抗的情况下，我们证明了，即使是密集的反馈图，学习者不能提高一个微不足道的遗憾界忽略任何额外的反馈，除了她自己的损失。相反，在随机的情况下，我们给出了一个算法，实现$\widetilde Θ(\sqrt{αT})$遗憾超过$T$轮，提供的隐藏的反馈图的独立数是最多$α$。我们还将我们的结果扩展到一个更一般的反馈模型，其中学习者不一定观察到她自己的损失，并表明，即使在简单的情况下，隐藏的反馈图可能会使一个可学习的问题unlearnable。
2016-05-23 cs.LG stat.ML
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Online Boosting for Multilabel Ranking with Top-k Feedback
University of Michigan（密歇根大学）；Facebook Infrastructure Engineering（脸书基础设施工程）；Microsoft（微软）
我们提出了在线提升算法的多标签排名与top-k反馈，其中学习者只接收信息的前k个项目从它提供的排名。我们提出了一种新的替代损失函数和无偏估计量，允许弱学习者更新自己有限的信息。使用这些技术，我们将全信息多标签排名算法（Jung和Tewari，2018）适应于前k反馈设置，并提供与全信息对应物的边界紧密匹配的理论性能边界，代价是增加样本复杂度。我们的实验进一步证实了这些理论结果，实验表明，在各种数据集上，top-k反馈设置的算法与全信息设置的算法之间的性能差距很小。
2020-10-19 cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Banker Online Mirror Descent
我们提出了银行家OMD，一个新的框架，推广了经典的在线镜像下降（OMD）技术在在线学习算法设计。Banker-OMD允许算法鲁棒地处理延迟反馈，并提供了在各种延迟反馈在线学习任务中实现$\tilde{O}(\sqrt{T} + \sqrt{D})$式后悔界限的一般方法，其中$T$是时间范围长度，$D$是总反馈延迟。我们展示了银行家OMD的力量与应用程序的三个重要的土匪的情况下，延迟反馈，包括延迟对抗多武装土匪（MAB），延迟对抗线性土匪，和一个新的延迟最好的两个世界MAB设置。Banker-OMD在所有三种设置中均实现了接近最佳的性能。特别是，它导致了第一个延迟对抗线性强盗算法实现$\tilde{O}(\text{poly}(n)(\sqrt{T} + \sqrt{D}))$遗憾。
2023-01-26 cs.LG stat.ML
Stochastic Online Learning with Probabilistic Graph Feedback
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）；DeepMind（深度思维）；The Chinese University of Hong Kong（香港中文大学）
考虑了一个带有一般概率图反馈的随机在线学习问题，其中反馈图中的每一条有向边都具有概率$p_{ij}$。涵盖了两个案例。(a)一步的情况下，其中在玩手臂$i$之后，学习者观察具有独立概率$p_{ij}$的手臂$j$的样本奖励反馈。(b)级联情况，其中在演奏手臂$i$之后，学习者以从$i$开始的概率级联观察所有手臂$j$的反馈-对于具有概率$p_{ij}$的每个$(i,j)$，如果演奏或观察到手臂$i$，则将以独立概率$p_{ij}$观察到手臂$j$的奖励样本。以前的工作主要集中在确定性图，对应于一个步骤的情况下与$p_{ij} \in \{0,1\}$，具有一定的拓扑保证的图的对抗序列，或一个特定类型的随机图。我们分析了这两种情况下的渐近下界和设计算法。算法的遗憾上界与下界以高概率匹配。
2019-11-21 cs.LG stat.ML
Online Learning with LLM Experts from Limited Feedback
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（Adobe 研究院）
本文研究有限反馈下将提示路由至LLM专家的在线学习问题，提出老虎机算法实现次线性遗憾，并在实验中验证了高效学习高质量路由策略的能力。
2026-09-09 cs.LG stat.ML
Online Conformal Prediction with Adversarial Semi-bandit Feedback via Regret Minimization
POSTECH（POSTECH大学）；GSAI（GSAI研究院）
本文提出一种基于对抗性带的在线 conformal 预测方法，在部分反馈下保证长期覆盖性，通过与学习者后悔的联系实现控制。
2026-04-20 cs.LG stat.ML
Online semi-supervised perception: Real-time learning without explicit feedback
Intel Labs（英特尔实验室）；Department of Computer Science（计算机科学系）；University of Pittsburgh（匹兹堡大学）
本文提出一种无需显式反馈的实时学习算法，结合图上半监督学习和在线学习，通过迭代构建世界图表示并更新，利用离线标注数据和在线未标注数据提升性能，在实时人脸识别中取得优越精度和召回率。
2026-10-06 cs.LG stat.ML
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
Partial Feedback Online Learning
本文研究了部分反馈在线学习协议，提出集合版本空间概念，定义了PFLdim和PMSdim，揭示了确定性和随机学习的可学习性条件，并指出在集合可实现性之外，即使|H|=2，最小最大遗憾仍可能线性增长。
2026-04-02 cs.LG stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
在本文中，我们研究的问题，安全的在线学习重新排名，用户的反馈是用来提高显示列表的质量。学习排序传统上被研究在两个设置。在离线设置中，排名通常从法官创建的相关性标签中学习。这种方法通常已成为工业排名应用（如搜索）的标准。然而，这种方法缺乏探索，因此受到离线训练数据的信息内容的限制。在在线设置中，算法可以对列表进行实验，并以顺序的方式从反馈中学习。Bandit算法非常适合这种设置，但它们倾向于从头开始学习用户偏好，这导致了高昂的初始探索成本。这对排名列表中的安全探索提出了额外的挑战。我们提出了BubbleRank，一个强盗算法的安全重新排名，结合了离线和在线设置的优势。该算法从一个初始的基本列表开始，并通过逐渐将排名较高的不太有吸引力的项目交换为排名较低的更有吸引力的项目来在线改进它。我们证明了BubbleRank的n步遗憾的上限，优雅地降低了初始基础列表的质量。我们的理论研究结果得到了大规模现实世界点击数据集上的广泛实验的支持。
2019-06-29 cs.LG stat.ML
Online Learning under Delayed Feedback
University of Alberta（阿尔伯塔大学）
具有延迟反馈的在线学习近年来在分布式网络学习问题中得到了越来越多的关注。在本文中，我们提供了一个系统的研究主题，并分析了延迟的在线学习算法的遗憾的影响。令人惊讶的是，在对抗性问题中，延迟以乘法的方式增加了遗憾，而在随机问题中，延迟以加法的方式增加了遗憾。我们给出了元算法的转换，在一个黑盒子的方式，算法开发的非延迟的情况下，可以处理的反馈回路中存在的延迟。著名的UCB算法的修改也开发了延迟反馈的强盗问题，与元算法的优势，他们可以实现较低的复杂性。
2013-06-05 cs.AI cs.LG stat.ML
Capacity-Constrained Online Convex Optimization with Delayed Feedback
Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系）；Vector Institute（向量研究所）；Institute for Data, Econometrics, Algorithms, and Learning (IDEAL), hosted by UIC and TTIC（数据、计量经济学、算法与学习研究所（IDEAL），由伊利诺伊大学芝加哥分校和丰田工业大学芝加哥分校主办）
研究在硬容量约束下（最多同时跟踪C个待处理轮次）的延迟在线凸优化，通过引入半先知模型和延迟加权FTRL算法，首次给出了凸和强凸损失下容量受限OCO的遗憾界。
2026-06-11 cs.LG stat.ML
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol（布里斯托大学）
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注，其中用户佩戴具有传感器的设备，并且他们的输出被映射到预定义的活动集合。然而，很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时，这是特别重要的。在本文中，我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习（RL），找到功耗和准确性之间的最佳平衡。为了加快学习速度，我们扩展了RL算法来处理多个反馈源，并使用它们来调整策略，同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统，这是一个公开的研究数据集。结果表明，我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Online Learning with Off-Policy Feedback
Universitat Pompeu Fabra（庞培法布拉大学）
研究了在一个称为非策略反馈的部分可观测性模型下对抗性强盗问题的在线学习问题。在这个顺序决策问题中，学习者不能直接观察到它的回报，而是看到另一个未知策略并行运行（行为策略）所获得的回报。在这种情况下，学习者面临的不是标准的探索-利用困境，而是另一个挑战：由于他们无法控制的有限观察，学习者可能无法同样好地估计每个策略的价值。为了解决这个问题，我们提出了一套算法，保证遗憾的界限，规模与任何比较器的政策和行为政策之间的不匹配的自然概念，实现对比较器的观察覆盖良好的性能提高。我们还提供了一个扩展的设置对抗线性上下文土匪，并通过一组实验验证了理论保证。我们的关键算法思想是适应最近在非策略强化学习背景下流行的悲观奖励估计器的概念。
2022-07-18 cs.LG stat.ML
Online learning with feedback graphs and switching costs
University of California, San Diego（加州大学圣地亚哥分校）
我们研究在线学习时，部分反馈信息提供的每一个动作的学习过程中，学习者发生切换成本改变他的行动。在这种设置中，反馈信息系统可以表示为一个图形，和以前的作品研究了学习者的预期遗憾的情况下，一个集团（专家设置），或断开单循环（多臂土匪（MAB））。这项工作提供了一个下界的预期遗憾的部分信息（PI）设置，即一般的反馈图-不包括集团。此外，它表明，所有的算法，是最佳的，没有切换成本的情况下，必然是次优的切换成本的存在，这促使需要设计新的算法。我们提出了两个新的算法：基于阈值的EXP 3和EXP 3。对于对称PI设置和MAB两种特殊情况，这两种算法的期望后悔在学习过程中都是阶最优的。此外，基于阈值的EXP 3是顺序最优的切换成本，而EXP 3。SC没有。最后，实证评估表明，基于阈值的EXP 3优于先前提出的顺序最优算法EXP 3 SET的存在下的切换成本，和批量EXP 3在MAB设置与切换成本。
2019-05-20 cs.LG stat.ML
Feedback Control for Online Training of Neural Networks
GIPSA-lab（GIPSA实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
卷积神经网络（CNN）通常用于图像分类任务，这提高了它们在数据流上的应用的挑战。在它们的训练期间，通常通过调整学习率来执行自适应。时间学习率策略是基于时间的，即单调递减。在本文中，我们主张切换到基于性能的适应，以提高学习效率。我们提出了E（指数）/PD（比例微分）-控制，一种有条件的学习率策略，该策略结合了基于CNN损失函数的反馈PD控制器和指数控制信号，以智能地提高学习和适应PD参数。提供了稳定性证明以及使用两种最先进的图像数据集（CIFAR-10和Fashion-MNIST）进行的实验评价。结果表明，更好的性能比相关的作品（更快的网络精度增长达到更高的水平）和鲁棒性的E/PD控制的参数化。
2019-11-18 cs.LG stat.ML
Equal Opportunity in Online Classification with Partial Feedback
The Hebrew University（希伯来大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Colorado（科罗拉多大学）；University of Minnesota（明尼苏达大学）
我们研究了一个在线分类问题与部分反馈，其中个人到达一个固定的时间，但未知的分布，必须被归类为积极或消极的。我们的算法只观察到一个人的真实标签，如果他们被赋予一个积极的分类。这一设置捕捉到了许多关注公平性的分类问题：例如，在刑事累犯预测中，只有在囚犯被释放的情况下才能观察到累犯;在贷款申请中，只有在贷款被授予的情况下才能观察到贷款偿还。我们要求我们的算法在每一轮都满足常见的统计公平性约束（例如均衡假阳性或假阴性率-在Hardt et al.（2016）中作为“平等机会”引入）。我们给出了上界和下界特征的成本限制的遗憾率（并表明它是温和的），并给出了一个预言的有效算法，实现了上限。
2020-04-16 cs.LG stat.ML
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Online Ranking: Discrete Choice, Spearman Correlation and Other Feedback
给定$n$对象的集合$V$，在线排名系统在每个时间步输出集合的完整排名，观察某种形式的反馈并遭受损失。我们研究的设置，其中（对抗）反馈是$V$中的一个元素，损失是位置（第0，第1，第2.）在输出的排名中的项目。更一般地说，我们研究的设置中的反馈是一个子集$U$的最多$k$元素在$V$，和损失是这些元素的位置的总和。我们提出了一个算法的预期遗憾$O(n^{3/2}\sqrt{Tk})$在一个时间范围内的$T$步骤的最佳单一的排名在事后。这通过$Ω(\sqrt{k})$的因子、$Ω(\sqrt{\log n})$的因子或通过将每轮的运行时间从二次改进为$O(n\log n)$来改进先前的算法和分析。我们还证明了一个匹配的下界。我们的技术也意味着一个改进的遗憾界在线排名聚合斯皮尔曼相关性措施，和其他更复杂的排名损失函数。
2013-10-14 cs.GT cs.LG stat.ML
Existence conditions for hidden feedback loops in online recommender systems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们探讨了在线推荐系统中隐藏的反馈环效应。反馈循环导致在线多臂强盗（MAB）建议退化为一个小的子集，失去覆盖范围和新颖性。我们研究了用户兴趣的不确定性和噪声如何影响反馈回路的存在。首先，我们证明了用户兴趣中的无偏加性随机噪声不会阻止反馈回路。其次，我们证明了重置用户兴趣的非零概率足以限制反馈回路并估计效果的大小。我们的实验证实了理论研究结果在模拟环境中的四个强盗算法。
2021-12-16 cs.IR cs.LG
Online Learning to Rank with Feedback at the Top
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们考虑一个在线学习排序设置，在每一轮，一个不经意的对手产生一个列表的$m$文件，有关的查询，和学习者产生分数排名的文件。然后，对手生成相关性向量，学习者根据收到的反馈更新其排名。我们认为反馈被限制为仅是$k \ll m$的排名列表中的顶部$k$文档的相关性级别的设置。然而，学习器的性能是基于未显示的全相关向量，使用适当的学习排序损失函数来判断的。我们开发了有效的算法，众所周知的损失在逐点，成对和列表家庭。我们还证明，没有在线算法可以有次线性遗憾，与前1反馈，任何损失，是校准相对于NDCG。我们将我们的算法应用于基准数据集上，证明了从高度限制的反馈中对排名函数进行有效的在线学习。
2016-03-06 cs.LG
Online Nonsubmodular Minimization with Delayed Costs: From Full Information to Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
受稀疏估计和贝叶斯优化中在线学习应用的启发，我们考虑了在完全信息和强盗反馈两种情况下，具有延迟代价的在线无约束非次模极小化问题.与以往的在线无约束次模极小化工作相比，我们专注于一类具有特殊结构的非次模函数，并证明了在静态和延迟情况下在线和近似在线强盗梯度下降算法的几个变体的遗憾保证。我们推导出的代理人的遗憾在充分的信息和强盗反馈设置，即使选择一个决定和接收所产生的成本之间的延迟是无界的。我们的方法的关键是$(α, β)$ -遗憾的概念和扩展的通用凸松弛模型从~ \citet{El-2020-Optimal}，其中的分析是独立的兴趣。我们进行并展示了几个模拟研究，以证明我们的算法的有效性。
2022-06-01 cs.LG
Follow the Prophet: Accurate Online Conversion Rate Prediction in the Face of Delayed Feedback
University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）
延迟反馈问题是在线广告中的迫切挑战之一，这是由从几分钟到几天不等的高度多样化的反馈延迟引起的。对于不同类型的广告和不同的用户，在这些不相同的延迟下，很难设计出合适的在线学习系统。在本文中，我们提出了解决延迟反馈问题的在线广告“跟随先知”（FTP简称）。关键的见解是，如果所有记录的样本的反馈都是即时的，我们可以得到一个没有延迟反馈的模型，即“先知”。虽然先知不能在在线学习，我们表明，我们可以预测先知的预测聚合政策的一组多任务的预测，其中每个任务捕捉不同时期的反馈模式。我们提出了策略的目标和优化方法，并使用日志数据来模拟预测器。在三个真实世界的广告数据集上进行的大量实验表明，我们的方法优于以前的最先进的基线。
2021-08-13 cs.LG
Stochastic Online Learning with Feedback Graphs: Finite-Time and Asymptotic Optimality
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
我们重新审视随机在线学习与反馈图的问题，设计的目标是最佳的算法，常数，渐近和在有限的时间。我们发现，令人惊讶的是，最佳有限时间后悔的概念是不是一个唯一定义的属性在这种情况下，在一般情况下，它是解耦的渐近速率。我们讨论替代选择，并提出了有限时间最优性的概念，我们认为是\emph{meaningful}。对于这一概念，我们给出了一个算法，承认准最优后悔在有限时间和渐近。
2022-06-20 cs.LG
Policy Optimization as Online Learning with Mediator Feedback
Politecnico di Milano（米兰理工大学）
策略优化（PO）是一种广泛使用的方法来解决连续控制任务。在本文中，我们引入了中介反馈的概念，框架PO作为一个在线学习问题的政策空间。与标准的强盗反馈相比，额外的可用信息允许重用由一个策略生成的样本来估计其他策略的性能。基于这一观察，我们提出了一种算法，随机化探索策略优化通过多个重要性采样截断（RANDOMIST），在PO中的遗憾最小化，采用随机探索策略，不同于现有的乐观方法。当政策空间是有限的，我们表明，在某些情况下，它是可能实现不断的遗憾，而总是享受对数遗憾。我们还得到了问题相关的后悔下界。然后，我们将随机扩展到紧凑的政策空间。最后，我们提供了有限的和紧凑的政策空间的数值模拟，与PO和强盗基线。
2020-12-15 cs.AI cs.LG stat.ML
Algorithmic Chaining and the Role of Partial Feedback in Online Nonparametric Learning
Università degli Studi di Milano（米兰大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Università degli Studi dell’Insubria（因苏布里亚大学）；Université Toulouse III - Paul Sabatier（图卢兹第三大学（保罗·萨巴蒂埃大学））
我们调查上下文在线学习与非参数（Lipschitz）比较类在不同的假设损失和反馈信息。对于完全信息反馈和Lipschitz损失，我们设计了第一个明确的算法，实现了极大极小后悔率（最多对数因子）。在一个部分反馈模型的激励下，第二价格拍卖，我们得到的算法Lipschitz和半Lipschitz损失的遗憾界改进的标准强盗反馈的已知界限。我们的分析结合了上下文第二价格拍卖的新结果与一种新的算法方法的基础上链。当上下文空间是欧几里德时，我们的链接方法是有效的，并且提供了更好的后悔界限。
2017-06-30 cs.LG math.ST stat.ML
Learning with Comparison Feedback: Online Estimation of Sample Statistics
Cornell University（康奈尔大学）
我们研究了一个在线版本的嘈杂的二进制搜索问题，反馈是由一个非随机对手，而不是随机噪声干扰。我们将其重新定义为在一个模型中保持对对抗整数序列$x_1, x_2, \dots$的中位数的准确估计，在该模型中，每个数字$x_t$只能通过${1(x_t \leq q_t)}$形式的单个阈值查询来访问。在这个在线比较反馈模型中，我们探索了一般样本统计量的估计，为中值、CDF和均值估计提供了鲁棒的算法，其下界几乎匹配。我们得出结论与几个高维的推广。
2021-01-11 cs.DS cs.LG
Online Learning with Preference Feedback
Cornell University（康奈尔大学）
提出了一种新的带有偏好反馈的在线学习模型。该模型特别适用于Web搜索和推荐系统等应用程序，其中偏好数据很容易从隐式用户反馈（例如点击）中获得。特别地，在每个时间步骤，响应于上下文（例如查询）向用户呈现潜在结构化对象（例如排名），为他或她提供一些未观察到的效用量。作为反馈，算法接收到将提供更高效用的改进对象。我们提出了一个学习算法与可证明的遗憾界这个在线学习设置，并证明其有效性的网络搜索应用程序。新的学习模型也适用于许多其他的互动学习问题，并承认几个有趣的扩展。
2011-11-03 cs.AI cs.LG
Online learning with graph-structured feedback against adaptive adversaries
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
我们推导出$T$轮在线学习问题的策略后悔的上界和下界，其中对手是不遗忘的，但假设有一个有界的记忆。我们得到的$\widetilde O(T^{2/3})$和$\widetilde O(T^{3/4})$的上界强可观察和弱可观察的图，分别基于分析的Exp3算法的一个变种。当对手被允许大小为1的有界内存，我们证明了匹配的下限$\widetildeΩ(T^{2/3})$的情况下，实现全信息反馈。我们还研究了一个不经意的对手与切换成本的特定损失结构，并表明，在这样的设置，非揭示强可观察的反馈图实现了下限的$\widetildeΩ(T^{2/3})$，以及。
2018-04-01 cs.IT cs.LG math.IT
Online Stochastic Linear Optimization under One-bit Feedback
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Michigan State University（密歇根州立大学）
在本文中，我们研究了在线随机线性优化的一个特殊的强盗设置，其中只有一位的信息是在每一轮透露给学习者。这个问题已经在很多领域得到应用，包括在线广告和在线推荐。我们假设二进制反馈是一个随机变量产生的logit模型，并以最小化的遗憾所定义的未知线性函数。虽然现有的广义线性强盗的方法可以应用到我们的问题，高的计算成本使其不切实际的现实世界的问题。为了解决这个问题，我们开发了一个有效的在线学习算法，利用特定的结构的观察模型。具体地说，我们采用在线牛顿步骤来估计未知参数，并推导出一个紧的置信区域的基础上的指数的逻辑损失。分析表明，该算法达到了$O(d\sqrt{T})$的遗憾界，与随机线性强盗的最优解相匹配.
2015-09-25 cs.LG
Online Learning with Feedback Graphs: Beyond Bandits
Tel Aviv University（特拉维夫大学）；Microsoft Research（微软研究院）；Università degli Studi di Milano（米兰大学）；Technion—Israel Institute of Technology（以色列理工学院）
我们研究了一类一般的在线学习问题，其中的反馈是由一个图。本课程包括专家建议的在线预测和多臂强盗问题，以及在线玩家不一定观察到自己损失的几个学习问题。我们分析了反馈图的结构如何控制诱导$T$轮学习问题的固有难度。具体来说，我们表明，任何反馈图属于三类之一：强可观察图，弱可观察图，和不可观察图。我们证明了第一类诱导学习问题与$\widetildeΘ(α^{1/2} T^{1/2})$极大极小遗憾，其中$α$是底层图的独立数;第二类诱导问题与$\widetildeΘ(δ^{1/3}T^{2/3})$极大极小遗憾，其中$δ$是图的某一部分的控制数;和第三类诱导问题与线性极大极小遗憾。我们的研究结果subsequently许多以前的工作学习反馈图，并揭示了新的连接部分监控游戏。我们还显示了如何影响的遗憾，如果允许的图形随时间变化。
2015-02-26 cs.LG
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Online Individualized Treatment Selection under Partial Feedback: False Discovery Control and Minimax Optimality
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；Department of Statistics, University of Michigan（密歇根大学统计系）
本研究针对部分反馈下的在线个体化治疗选择问题，提出PAITS方法，实现错误发现率控制与极小极大最优性，经模拟和Jester数据集验证其有限样本性能。
2026-10-14 cs.LG stat.ME stat.ML
DFORD: Directional Feedback based Online Ordinal Regression Learning
Machine Learning Lab, Kohli Center on Intelligent Systems, IIIT Hyderabad, India（机器学习实验室，Kohli智能系统中心，IIIT海得拉尔，印度）；IIIT Hyderabad, India（IIIT海得拉尔，印度）
DFORD通过方向反馈实现在线序回归，采用探索-利用策略并引入核方法，有效降低内存消耗，实现O(log T)的遗憾界。
2025-12-22 cs.LG
Mirror Online Conformal Prediction with Intermittent Feedback
King’s Communications, Learning and Information Processing (KCLIP) Lab, Department of Engineering, King’s College London（国王学院通信、学习和信息处理实验室（KCLIP）实验室，工程系，伦敦国王学院）
本文提出间歇镜像在线共形预测框架IM-OCP，在可能间歇反馈下整合先验知识，以极低内存复杂度同时实现长期覆盖保证和次线性遗憾。
2025-07-07 cs.LG eess.SP
A Near-Optimal Best-of-Both-Worlds Algorithm for Online Learning with Feedback Graphs
University of Copenhagen（哥本哈根大学）；Università degli Studi di Milano（米兰大学）
我们考虑在线学习与反馈图，一个顺序的决策框架，学习者的反馈是由一个有向图的动作集。我们提出了一个计算效率高的学习算法，在这个框架中，同时实现近最优的遗憾边界在随机和对抗性的环境。针对不经意对手的界限是$\tilde{O} (\sqrt{αT})$，其中$T$是时间范围，$α$是反馈图的独立数。对随机环境的界限是$O\big( (\ln T)^2 \max_{S\in \mathcal I(G)} \sum_{i \in S} Δ_i^{-1}\big)$，其中$\mathcal I(G)$是在一个适当定义的无向版本的图和$Δ_i$是次优差距的所有独立集的家庭。该算法结合了EXP3++算法的随机和对抗土匪和EXP3.G算法的反馈图与一个新的探索计划的想法。该方案利用图的结构来减少探索，是利用反馈图获得两个世界最佳保证的关键。我们还将我们的算法和结果扩展到允许反馈图随时间变化的设置。
2022-06-01 cs.LG
Best-of-All-Worlds Bounds for Online Learning with Feedback Graphs
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了由Mannor和Shamir（2011）引入的反馈图框架的在线学习，其中在线学习者收到的反馈由可用动作的图$G$指定。我们开发了一种算法，同时实现遗憾的形式界限：$\smash{\mathcal{O}(\sqrt{θ(G) T})}$与对抗性损失; $\mathcal{O}(θ(G)\operatorname{polylog}{T})$与随机损失;和$\mathcal{O}(θ(G)\operatorname{polylog}{T} + \smash{\sqrt{θ(G) C})}$与随机损失受到$C$对抗性腐败。这里，$θ(G)$是图$G$的团覆盖数。我们的算法是Follow-the-Regularized-Leader的一个实例，它具有一种新的正则化，可以看作是Tsallis熵分量（受Zimmert和Seldin（2019）的启发）和Shannon熵分量（Amir等人在损坏的随机情况下进行分析）的产物。我们的关键技术贡献之一是建立这个正则化的凸性和控制其逆Hessian，尽管其复杂的产品结构。
2021-07-20 cs.LG
Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model
Institute of Automation, CASIA（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
提出RL-SaLLM-F方法，利用LLM生成自增强轨迹与偏好标签，结合双重检查机制，无需特权信息即可在在线PbRL中替代脚本化教师，实现高效反馈获取。
2024-12-22 cs.AI cs.LG
Online Diverse Learning to Rank from Partial-Click Feedback
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；New York University（纽约大学）；Google Research（谷歌研究院）；Adobe Research（奥多比研究院）
学习排序是机器学习和推荐系统中的一个重要问题。在推荐系统中，通常向用户推荐项目列表。由于用户不太可能检查整个推荐列表，因此部分反馈自然会出现。同时，多样化的推荐很重要，因为在实践中对用户的所有口味进行建模是具有挑战性的。在本文中，我们提出了第一个算法在线学习排序不同的项目从部分点击反馈。我们假设用户检查推荐项目列表，直到用户被一个项目吸引，点击它，并且不检查其余的项目。这种用户行为模型被称为级联模型。我们提出了一个在线学习算法，juelsb，解决我们的问题。该算法主动探索用户的口味，学习的目标是推荐最佳的多样性列表。我们分析了该算法，并证明了一个无间隙的上界的n步遗憾。我们在合成和真实世界的数据集上评估了Cumelsb，将其与各种基线进行了比较，并表明即使我们的建模假设不完全成立，它也能学习。
2018-11-21 cs.IR cs.LG stat.ML
Online Optimization with Feedback Delay and Nonlinear Switching Cost
Stony Brook University（石溪大学）；Caltech（加州理工学院）
我们研究了在线优化的一个变体，其中学习者接收$k$ -关于命中成本的$\textit{delayed feedback}$轮，并且存在多步非线性切换成本，即，成本以非线性方式取决于多个先前的动作。我们的主要结果表明，一种新的迭代正则化在线平衡下降（iROBD）算法具有恒定的，无量纲的竞争比是$O(L^{2k})$，其中$L$是Lipschitz常数的切换成本。此外，我们提供了下限，说明Lipschitz条件是必需的，并且对$k$和$L$的依赖性是紧密的。最后，通过减少，我们表明，这种设置是密切相关的延迟，非线性动力学和对抗性干扰，其中iROBD直接提供恒定的竞争力的在线政策的在线控制问题。
2021-10-29 cs.LG cs.SY eess.SY
Tracking Slowly Moving Clairvoyant: Optimal Dynamic Regret of Online Learning with True and Noisy Gradient
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文主要研究在线凸优化的动态后悔问题，将在线学习的性能与一个预先知道损失函数序列的千里眼进行比较，从而在每一步选择损失函数的最小值。假设千里眼移动缓慢（即，最小值变化缓慢），我们提出了几个改进的基于变分的上界的动态遗憾下的真实和噪声梯度反馈，这是{ \it最优}鉴于所提出的下限.我们分析的关键是探索一个规律性的度量，衡量千里眼的最小化，我们称之为{ \it路径变化}的时间变化。首先，我们提出了一个一般的下界的路径变化，然后表明，在完全信息或梯度反馈下，我们能够实现最佳的动态后悔。其次，我们提出了一个下界与噪声梯度反馈，然后证明我们可以实现最优动态遗憾下的随机梯度反馈和两点强盗反馈。此外，对于一个序列的光滑损失函数，承认一个小的变化的梯度，我们的动态遗憾下的两点强盗反馈匹配所取得的全部信息。
2016-05-16 cs.LG math.OC stat.ML
Online Learning to Rank with Top-k Feedback
University of Michigan（密歇根大学）
我们考虑两种设置的在线学习排名反馈限制在排名靠前的项目。该问题被转换为学习者和用户序列之间的在线游戏，经过$T$回合。在这两种设置中，学习者的目标是向用户呈现项目的排名列表。学习者的表现是根据整个排名列表和项目的真实相关性来判断的。然而，学习者在每轮结束时接收高度受限的反馈，其形式为仅最高$k$排名的项目的相关性，其中$k \ll m$。第一个设置是\emph{non-contextual}，其中要排名的项目列表是固定的。第二个设置是\emph{contextual}，其中项目列表以传统查询文档列表的形式变化。没有对项目和语境的相关性的生成过程进行随机假设。我们为这两种设置提供了有效的排名策略。策略实现$O(T^{2/3})$遗憾，其中遗憾是基于流行的排名措施在第一设置和排名代理人在第二设置。我们还提供了不可能的结果，某些排名措施和一定类别的代理人，当反馈仅限于排名靠前的项目，即$k=1$。我们经验证明我们的算法在模拟和真实世界的数据集上的性能。
2016-08-23 cs.LG
Online Learning with Local Permutations and Delayed Feedback
Weizmann Institute of Science（魏茨曼科学研究学院）
我们提出了一个在线学习与本地排列（OLLP）设置，其中学习者被允许稍微置换的\emph{order}的损失函数产生的对手。一方面，这模拟了学习者响应的确切顺序并不重要的自然情况，另一方面，通过减轻高度对抗性的损失序列，可以实现更好的学习和后悔性能。此外，对于随机排列，这可以被视为对抗性损失和随机损失之间的插值设置。在本文中，我们认为这种设置的适用性，凸在线学习延迟反馈，其中反馈轮$t$预测到达一定的延迟$τ$。在这种延迟反馈的情况下，最好的后悔界限是众所周知的$O(\sqrt{τT})$。我们证明，通过能够置换损失的距离最多$M$（$M\geq τ$），遗憾可以提高到$O(\sqrt{T}(1+\sqrt{τ^2/M}))$，使用一个基于递归下降的算法，可以适用于欧几里德和非欧几里德几何。我们还证明了一个下界，表明对于$M<τ/3$，它是不可能的，以提高标准的$O(\sqrt{τT})$遗憾超过常数的因素。最后，我们提供了一些实验验证我们的算法的性能。
2017-03-13 cs.LG
Adversarial Online Learning with Temporal Feedback Graphs
MIT（麻省理工学院）；Google Research（谷歌研究院）
本文研究时间反馈图约束下的专家建议预测问题，提出基于子团损失划分的新算法，并针对传递反馈图证明其可高效实现且达到最优遗憾界。
2024-06-30 cs.LG
Efficient Online Conformal Selection with Limited Feedback
Google Research（谷歌研究）；Department of Computer Science, Duke University（杜克大学计算机科学系）
本文提出一种在有限反馈下高效实现在线符合选择的方法，通过适应性符合推断更新规则，在保证目标概率下实现亚线性效率 regret，适用于带隙和半带隙反馈场景。
2026-07-31 cs.LG
Beyond Bandit Feedback in Online Multiclass Classification
Università degli Studi di Milano（米兰大学）；Sapienza Università di Roma（罗马大学）；Dept. of Computer Science（计算机科学系）；Dept. of Computer, Control and Management Engineering（计算机、控制与管理工程系）；DSRC
研究任意有向图反馈下的在线多类分类问题，提出首个适用于任意反馈图的算法 Gappletron，证明了替代遗憾界并在合成数据实验中验证其竞争力。
2021-06-07 cs.LG
HERO: Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning
Sony AI（索尼人工智能公司）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；University of Southern California（南加利福尼亚大学）；Stanford University（斯坦福大学）
HERO框架通过在线人类反馈和反馈对齐表示学习及反馈引导图像生成机制，以4倍效率提升扩散模型微调，仅需0.5K反馈即可处理多种任务。
2025-03-13 cs.AI cs.CV cs.HC
Online Ranking with Top-1 Feedback
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们考虑一个系统学习排名一组固定的$m$项目的设置。我们的目标是为具有不同兴趣的用户提供良好的项目排名，这些用户在$T$轮中与系统进行在线交互。我们考虑一种新的顶部$1$反馈模型：在每一轮结束时，只有排名靠前的对象的相关性得分被揭示。然而，系统的性能是根据整个排名列表来判断的。我们提供了一套全面的结果，在这个具有挑战性的设置下的可学习性。对于PairwiseLoss和DCG这两种常用的排序测度，我们证明了极小极大后悔是$Θ(T^{2/3})$ .此外，极小极大后悔是可以实现的，使用一个有效的策略，每轮只花$O(m \log m)$时间。同样有效的策略实现了$O(T^{2/3})$对Precision@ $k$的遗憾。令人惊讶的是，我们表明，对于这些排名措施的标准化版本，即，AUC，NDCG \& MAP，没有在线排名算法可以有次线性遗憾。
2016-03-06 cs.LG
