DFORD: Directional Feedback based Online Ordinal Regression Learning
Machine Learning Lab, Kohli Center on Intelligent Systems, IIIT Hyderabad, India（机器学习实验室，Kohli智能系统中心，IIIT海得拉尔，印度）；IIIT Hyderabad, India（IIIT海得拉尔，印度）
DFORD通过方向反馈实现在线序回归，采用探索-利用策略并引入核方法，有效降低内存消耗，实现O(log T)的遗憾界。
2025-12-22 cs.LG
A Near-Optimal Best-of-Both-Worlds Algorithm for Online Learning with Feedback Graphs
University of Copenhagen（哥本哈根大学）；Università degli Studi di Milano（米兰大学）
我们考虑在线学习与反馈图，一个顺序的决策框架，学习者的反馈是由一个有向图的动作集。我们提出了一个计算效率高的学习算法，在这个框架中，同时实现近最优的遗憾边界在随机和对抗性的环境。针对不经意对手的界限是$\tilde{O} (\sqrt{αT})$，其中$T$是时间范围，$α$是反馈图的独立数。对随机环境的界限是$O\big( (\ln T)^2 \max_{S\in \mathcal I(G)} \sum_{i \in S} Δ_i^{-1}\big)$，其中$\mathcal I(G)$是在一个适当定义的无向版本的图和$Δ_i$是次优差距的所有独立集的家庭。该算法结合了EXP3++算法的随机和对抗土匪和EXP3.G算法的反馈图与一个新的探索计划的想法。该方案利用图的结构来减少探索，是利用反馈图获得两个世界最佳保证的关键。我们还将我们的算法和结果扩展到允许反馈图随时间变化的设置。
2022-06-01 cs.LG
Best-of-All-Worlds Bounds for Online Learning with Feedback Graphs
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了由Mannor和Shamir（2011）引入的反馈图框架的在线学习，其中在线学习者收到的反馈由可用动作的图$G$指定。我们开发了一种算法，同时实现遗憾的形式界限：$\smash{\mathcal{O}(\sqrt{θ(G) T})}$与对抗性损失; $\mathcal{O}(θ(G)\operatorname{polylog}{T})$与随机损失;和$\mathcal{O}(θ(G)\operatorname{polylog}{T} + \smash{\sqrt{θ(G) C})}$与随机损失受到$C$对抗性腐败。这里，$θ(G)$是图$G$的团覆盖数。我们的算法是Follow-the-Regularized-Leader的一个实例，它具有一种新的正则化，可以看作是Tsallis熵分量（受Zimmert和Seldin（2019）的启发）和Shannon熵分量（Amir等人在损坏的随机情况下进行分析）的产物。我们的关键技术贡献之一是建立这个正则化的凸性和控制其逆Hessian，尽管其复杂的产品结构。
2021-07-20 cs.LG
Online Boosting with Bandit Feedback
Google AI Princeton（谷歌人工智能普林斯顿）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们考虑了回归任务的在线提升问题，当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法，有两个影响：一个在线助推算法与嘈杂的多点强盗反馈，和一个新的无投影在线凸优化算法与随机梯度，提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Online Learning with Local Permutations and Delayed Feedback
Weizmann Institute of Science（魏茨曼科学研究学院）
我们提出了一个在线学习与本地排列（OLLP）设置，其中学习者被允许稍微置换的\emph{order}的损失函数产生的对手。一方面，这模拟了学习者响应的确切顺序并不重要的自然情况，另一方面，通过减轻高度对抗性的损失序列，可以实现更好的学习和后悔性能。此外，对于随机排列，这可以被视为对抗性损失和随机损失之间的插值设置。在本文中，我们认为这种设置的适用性，凸在线学习延迟反馈，其中反馈轮$t$预测到达一定的延迟$τ$。在这种延迟反馈的情况下，最好的后悔界限是众所周知的$O(\sqrt{τT})$。我们证明，通过能够置换损失的距离最多$M$（$M\geq τ$），遗憾可以提高到$O(\sqrt{T}(1+\sqrt{τ^2/M}))$，使用一个基于递归下降的算法，可以适用于欧几里德和非欧几里德几何。我们还证明了一个下界，表明对于$M<τ/3$，它是不可能的，以提高标准的$O(\sqrt{τT})$遗憾超过常数的因素。最后，我们提供了一些实验验证我们的算法的性能。
2017-03-13 cs.LG
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Adversarial Online Learning with Temporal Feedback Graphs
MIT（麻省理工学院）；Google Research（谷歌研究院）
本文研究时间反馈图约束下的专家建议预测问题，提出基于子团损失划分的新算法，并针对传递反馈图证明其可高效实现且达到最优遗憾界。
2024-06-30 cs.LG
Efficient Online Conformal Selection with Limited Feedback
Google Research（谷歌研究）；Department of Computer Science, Duke University（杜克大学计算机科学系）
本文提出一种在有限反馈下高效实现在线符合选择的方法，通过适应性符合推断更新规则，在保证目标概率下实现亚线性效率 regret，适用于带隙和半带隙反馈场景。
2026-07-31 cs.LG
Existence conditions for hidden feedback loops in online recommender systems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们探讨了在线推荐系统中隐藏的反馈环效应。反馈循环导致在线多臂强盗（MAB）建议退化为一个小的子集，失去覆盖范围和新颖性。我们研究了用户兴趣的不确定性和噪声如何影响反馈回路的存在。首先，我们证明了用户兴趣中的无偏加性随机噪声不会阻止反馈回路。其次，我们证明了重置用户兴趣的非零概率足以限制反馈回路并估计效果的大小。我们的实验证实了理论研究结果在模拟环境中的四个强盗算法。
2021-12-16 cs.IR cs.LG
Beyond Bandit Feedback in Online Multiclass Classification
Università degli Studi di Milano（米兰大学）；Sapienza Università di Roma（罗马大学）；Dept. of Computer Science（计算机科学系）；Dept. of Computer, Control and Management Engineering（计算机、控制与管理工程系）；DSRC
研究任意有向图反馈下的在线多类分类问题，提出首个适用于任意反馈图的算法 Gappletron，证明了替代遗憾界并在合成数据实验中验证其竞争力。
2021-06-07 cs.LG
Online Ranking with Top-1 Feedback
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们考虑一个系统学习排名一组固定的$m$项目的设置。我们的目标是为具有不同兴趣的用户提供良好的项目排名，这些用户在$T$轮中与系统进行在线交互。我们考虑一种新的顶部$1$反馈模型：在每一轮结束时，只有排名靠前的对象的相关性得分被揭示。然而，系统的性能是根据整个排名列表来判断的。我们提供了一套全面的结果，在这个具有挑战性的设置下的可学习性。对于PairwiseLoss和DCG这两种常用的排序测度，我们证明了极小极大后悔是$Θ(T^{2/3})$ .此外，极小极大后悔是可以实现的，使用一个有效的策略，每轮只花$O(m \log m)$时间。同样有效的策略实现了$O(T^{2/3})$对Precision@ $k$的遗憾。令人惊讶的是，我们表明，对于这些排名措施的标准化版本，即，AUC，NDCG \& MAP，没有在线排名算法可以有次线性遗憾。
2016-03-06 cs.LG
Multi-model Online Conformal Prediction with Graph-Structured Feedback
Department of Electrical Engineering and Computer Science University of California, Irvine（电气工程与计算机科学系 加州大学伊尔市分校）
提出基于二部图反馈的多模型在线保形预测算法，动态筛选有效模型子集以降低计算复杂度并减小预测集，同时利用预测集大小和模型损失作为反馈，在保证覆盖率和次线性遗憾的前提下显著提升效率。
2025-10-10 cs.LG
Online Learning with Set-Valued Feedback
University of Michigan（密歇根大学）
该研究针对集值反馈的在线多类分类场景，证明确定性与随机化在线可学习性不等价，提出两个新组合维度分别刻画两类可学习性，并为三种实际学习场景的最小最大遗憾值建立界。
2024-06-18 cs.LG stat.ML
Online Learning: A Comprehensive Survey
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
在线学习代表了机器学习算法的一个重要家族，其中学习者尝试通过一次一个地从数据实例序列中学习模型/假设来解决在线预测（或任何类型的决策）任务。在线学习的目标是确保在线学习者在已知先前预测或学习任务的正确答案以及可能的附加信息的情况下将做出一系列准确的预测（或正确的决策）。这与许多传统的批量学习或离线机器学习算法形成对比，这些算法通常被设计为从给定的训练数据实例集合中批量训练模型。本调查旨在通过对基本思想和关键原理的系统回顾以及对不同算法和技术的适当分类，对在线机器学习文献进行全面调查。一般来说，根据学习类型和反馈信息的形式，现有的在线学习工作可以分为三大类：（i）有监督的在线学习，其中总是可以获得完整的反馈信息;（ii）反馈有限的在线学习;以及（iii）无监督的在线学习，其中没有反馈。由于篇幅所限，调查将主要集中在第一类，但也简要介绍其他两类的一些基本情况。最后，我们还讨论了一些开放的问题，并试图阐明在这一领域的潜在的未来研究方向。
2018-10-22 cs.LG
Learning with Comparison Feedback: Online Estimation of Sample Statistics
Cornell University（康奈尔大学）
我们研究了一个在线版本的嘈杂的二进制搜索问题，反馈是由一个非随机对手，而不是随机噪声干扰。我们将其重新定义为在一个模型中保持对对抗整数序列$x_1, x_2, \dots$的中位数的准确估计，在该模型中，每个数字$x_t$只能通过${1(x_t \leq q_t)}$形式的单个阈值查询来访问。在这个在线比较反馈模型中，我们探索了一般样本统计量的估计，为中值、CDF和均值估计提供了鲁棒的算法，其下界几乎匹配。我们得出结论与几个高维的推广。
2021-01-11 cs.DS cs.LG
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Google Research（谷歌研究院）
本文针对具有聚合bandit反馈的在线有限时域MDP，提出首个策略优化算法，在已知动态下取得最优遗憾界，在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Online Learning with Preference Feedback
Cornell University（康奈尔大学）
提出了一种新的带有偏好反馈的在线学习模型。该模型特别适用于Web搜索和推荐系统等应用程序，其中偏好数据很容易从隐式用户反馈（例如点击）中获得。特别地，在每个时间步骤，响应于上下文（例如查询）向用户呈现潜在结构化对象（例如排名），为他或她提供一些未观察到的效用量。作为反馈，算法接收到将提供更高效用的改进对象。我们提出了一个学习算法与可证明的遗憾界这个在线学习设置，并证明其有效性的网络搜索应用程序。新的学习模型也适用于许多其他的互动学习问题，并承认几个有趣的扩展。
2011-11-03 cs.AI cs.LG
Adversarial Online Learning with noise
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们提出并研究了对抗性在线学习的模型，其中学习者观察到的反馈是嘈杂的，反馈是完全信息反馈或强盗反馈。具体来说，我们考虑二进制损失xored与噪声，这是一个伯努利随机变量。我们考虑了恒定噪声率和可变噪声率。我们的主要结果是紧遗憾界学习噪声对抗在线学习模型。
2018-11-04 cs.LG stat.ML
Improved Regret Bounds for Online Kernel Selection under Bandit Feedback
Tianjin University（天津大学）
本文改进了基于强盗反馈的在线核选择的后悔界。该算法对Lipschitz损失函数具有$O((\Vert f\Vert^2_{\mathcal{H}_i}+1)K^{\frac{1}{3}}T^{\frac{2}{3}})$期望界。我们证明了两种类型的遗憾界改进以前的界限。对于光滑损失函数，我们提出了一个算法与$O(U^{\frac{2}{3}}K^{-\frac{1}{3}}(\sum^K_{i=1}L_T(f^\ast_i))^{\frac{2}{3}})$期望界$L_T(f^\ast_i)$是最佳假设的累积损失$\mathbb{H}_{i}=\{f\in\mathcal{H}_i:\Vert f\Vert_{\mathcal{H}_i}\leq U\}$。数据依赖的边界保持以前的最坏情况下的边界，并且如果大多数候选核与数据匹配良好，则该边界较小。对于Lipschitz损失函数，我们提出了一种算法，其$O(U\sqrt{KT}\ln^{\frac{2}{3}}{T})$期望界渐近地改进了先前的界。我们将这两个算法应用到有时间约束的在线核选择中，证明了新的后悔界匹配或改进了以前的$O(\sqrt{T\ln{K}} +\Vert f\Vert^2_{\mathcal{H}_i}\max\{\sqrt{T},\frac{T}{\sqrt{\mathcal{R}}}\})$期望界，其中$\…
2023-03-23 cs.LG
Online Conformal Abstention Under Adversarial Bandit Feedback
GSAI POSTECH
ExSUL通过引入转换引理和反馈解锁策略，在对抗性反馈环境下实现高效的FDR控制和选择性生成。
2026-10-06 cs.LG
Data-dependent Exploration for Online Reinforcement Learning from Human Feedback
Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Northeastern University（东北大学）；Zhejiang Gongshang University（浙江工商大学）
提出数据依赖探索的偏好优化方法(DEPO)，利用历史数据构建不确定性奖励，鼓励探索高价值区域，理论证明其数据依赖的遗憾界更紧，实验表明样本效率提升。
2026-06-23 cs.LG
Cooperative Online Learning with Feedback Graphs
Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 – CRIStAL
本文研究通信网络与反馈图耦合下的协作在线学习，利用二者强乘积的独立数刻画网络遗憾，并给出匹配下界与实验验证。
2024-08-09 cs.LG stat.ML
On the Minimax Regret in Online Ranking with Top-k Feedback
University of Pennsylvania（宾夕法尼亚大学）；University of Michigan（密歇根大学）
该研究针对带top-k反馈的在线排序问题，解决了已有工作的开放问题，完整刻画了多类排序指标下的极小极大遗憾率，并提出了可实现Precision@n最优遗憾率的高效算法。
2024-04-12 cs.LG stat.ML
Banker Online Mirror Descent: A Universal Approach for Delayed Online Bandit Learning
Tsinghua University（清华大学）
本文提出Banker-OMD通用框架，将延迟反馈处理与OMD算法设计解耦，在延迟多臂老虎机和线性老虎机中取得近最优遗憾界，并首次匹配无延迟无尺度对抗MAB的下界。
2023-05-27 cs.LG
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Online Learning with Feedback Graphs Without the Graphs
Technion—Israel Institute of Technology（以色列理工学院）
我们研究了Mannor和Shamir（2011）引入的在线学习框架，其中反馈由图指定，在图可能因轮而异的设置中，对于学习者来说是\emph{never fully revealed}。我们显示了一个很大的差距之间的对抗和随机的情况下。在对抗的情况下，我们证明了，即使是密集的反馈图，学习者不能提高一个微不足道的遗憾界忽略任何额外的反馈，除了她自己的损失。相反，在随机的情况下，我们给出了一个算法，实现$\widetilde Θ(\sqrt{αT})$遗憾超过$T$轮，提供的隐藏的反馈图的独立数是最多$α$。我们还将我们的结果扩展到一个更一般的反馈模型，其中学习者不一定观察到她自己的损失，并表明，即使在简单的情况下，隐藏的反馈图可能会使一个可学习的问题unlearnable。
2016-05-23 cs.LG stat.ML
Mirror Online Conformal Prediction with Intermittent Feedback
King’s Communications, Learning and Information Processing (KCLIP) Lab, Department of Engineering, King’s College London（国王学院通信、学习和信息处理实验室（KCLIP）实验室，工程系，伦敦国王学院）
本文提出间歇镜像在线共形预测框架IM-OCP，在可能间歇反馈下整合先验知识，以极低内存复杂度同时实现长期覆盖保证和次线性遗憾。
2025-07-07 cs.LG eess.SP
Online Multiclass Classification Based on Prediction Margin for Partial Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们考虑的问题，在线多类分类与部分反馈，算法预测类的一个新的实例在每一轮，只收到其正确性。虽然已经开发了几种方法来解决这个问题，最近具有挑战性的现实世界的应用程序需要进一步的性能改进。在本文中，我们提出了一种新的在线学习算法的启发，最近的工作学习互补标签，其中一个互补标签表示一个类的实例不属于。这使我们能够以基于裕度的方式确定性地处理部分反馈，其中预测裕度已被认为是卓越经验性能的关键。我们提供了一个理论保证的基础上的累积损失界和实验证明，我们的方法优于现有的方法，这是非保证金的和随机的。
2019-02-04 cs.LG stat.ML
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Online Learning with Uncertain Feedback Graphs
University of California, Irvine（加州大学欧文分校）
通过专家建议进行的在线学习广泛用于各种机器学习任务。它考虑的问题是，学习者从一组专家中选择一个来接受建议并做出决定。在许多学习问题中，专家可能是相关的，因此学习者可以观察到与所选专家相关的专家子集相关的损失。在这种情况下，专家之间的关系可以通过反馈图来捕获，该反馈图可以用于帮助学习者做出决策。然而，在实践中，名义反馈图往往带有不确定性，这使得它不可能揭示专家之间的实际关系。为了应对这一挑战，目前的工作研究各种情况下的潜在不确定性，并开发新的在线学习算法来处理不确定性，同时利用不确定反馈图。在较弱的条件下证明了所提算法具有次线性后悔性。在真实数据集上的实验证明了新算法的有效性。
2021-06-15 cs.LG stat.ML
Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model
Institute of Automation, CASIA（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
提出RL-SaLLM-F方法，利用LLM生成自增强轨迹与偏好标签，结合双重检查机制，无需特权信息即可在在线PbRL中替代脚本化教师，实现高效反馈获取。
2024-12-22 cs.AI cs.LG
Online Boosting for Multilabel Ranking with Top-k Feedback
University of Michigan（密歇根大学）；Facebook Infrastructure Engineering（脸书基础设施工程）；Microsoft（微软）
我们提出了在线提升算法的多标签排名与top-k反馈，其中学习者只接收信息的前k个项目从它提供的排名。我们提出了一种新的替代损失函数和无偏估计量，允许弱学习者更新自己有限的信息。使用这些技术，我们将全信息多标签排名算法（Jung和Tewari，2018）适应于前k反馈设置，并提供与全信息对应物的边界紧密匹配的理论性能边界，代价是增加样本复杂度。我们的实验进一步证实了这些理论结果，实验表明，在各种数据集上，top-k反馈设置的算法与全信息设置的算法之间的性能差距很小。
2020-10-19 cs.LG stat.ML
Online Learning under Delayed Feedback
University of Alberta（阿尔伯塔大学）
具有延迟反馈的在线学习近年来在分布式网络学习问题中得到了越来越多的关注。在本文中，我们提供了一个系统的研究主题，并分析了延迟的在线学习算法的遗憾的影响。令人惊讶的是，在对抗性问题中，延迟以乘法的方式增加了遗憾，而在随机问题中，延迟以加法的方式增加了遗憾。我们给出了元算法的转换，在一个黑盒子的方式，算法开发的非延迟的情况下，可以处理的反馈回路中存在的延迟。著名的UCB算法的修改也开发了延迟反馈的强盗问题，与元算法的优势，他们可以实现较低的复杂性。
2013-06-05 cs.AI cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Banker Online Mirror Descent
我们提出了银行家OMD，一个新的框架，推广了经典的在线镜像下降（OMD）技术在在线学习算法设计。Banker-OMD允许算法鲁棒地处理延迟反馈，并提供了在各种延迟反馈在线学习任务中实现$\tilde{O}(\sqrt{T} + \sqrt{D})$式后悔界限的一般方法，其中$T$是时间范围长度，$D$是总反馈延迟。我们展示了银行家OMD的力量与应用程序的三个重要的土匪的情况下，延迟反馈，包括延迟对抗多武装土匪（MAB），延迟对抗线性土匪，和一个新的延迟最好的两个世界MAB设置。Banker-OMD在所有三种设置中均实现了接近最佳的性能。特别是，它导致了第一个延迟对抗线性强盗算法实现$\tilde{O}(\text{poly}(n)(\sqrt{T} + \sqrt{D}))$遗憾。
2023-01-26 cs.LG stat.ML
Stochastic Online Learning with Probabilistic Graph Feedback
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）；DeepMind（深度思维）；The Chinese University of Hong Kong（香港中文大学）
考虑了一个带有一般概率图反馈的随机在线学习问题，其中反馈图中的每一条有向边都具有概率$p_{ij}$。涵盖了两个案例。(a)一步的情况下，其中在玩手臂$i$之后，学习者观察具有独立概率$p_{ij}$的手臂$j$的样本奖励反馈。(b)级联情况，其中在演奏手臂$i$之后，学习者以从$i$开始的概率级联观察所有手臂$j$的反馈-对于具有概率$p_{ij}$的每个$(i,j)$，如果演奏或观察到手臂$i$，则将以独立概率$p_{ij}$观察到手臂$j$的奖励样本。以前的工作主要集中在确定性图，对应于一个步骤的情况下与$p_{ij} \in \{0,1\}$，具有一定的拓扑保证的图的对抗序列，或一个特定类型的随机图。我们分析了这两种情况下的渐近下界和设计算法。算法的遗憾上界与下界以高概率匹配。
2019-11-21 cs.LG stat.ML
Learning Online from Corrective Feedback: A Meta-Algorithm for Robotics
University of Washington（华盛顿大学）
在模仿学习（IL）的一个关键挑战是，教师很难提供最佳状态动作演示。例如，在机器人技术中，在机器人操纵器上提供动觉演示需要教师同时控制多个自由度。要求最佳状态行动示范的困难限制了教师可以提供高质量反馈的问题空间。作为国家行动示范的替代方案，教师可以提供纠正性反馈，如他们的偏好或奖励。先前的工作已经创建了旨在从特定类型的嘈杂反馈中学习的算法，但在教师和任务中可能需要不同形式的反馈。相反，我们建议，为了从各种场景中学习，我们需要从各种反馈中学习。为了从各种反馈中学习，我们做出以下见解：教师的成本函数是潜在的，我们可以将反馈流建模为损失函数流。然后我们使用任何在线学习算法来最小化这些损失的总和。有了这个洞察力，我们可以从各种反馈中学习，这些反馈与教师的真实成本函数弱相关。我们统一以前的工作到一个一般的纠正反馈元算法，并表明，无论反馈，我们可以获得相同的遗憾界。我们通过学习在机器人赛车平台上执行家庭导航任务来展示我们的方法。我们的研究结果表明，我们的方法可以从各种噪声反馈中快速学习。
2021-04-02 cs.LG cs.RO
Online Learning with LLM Experts from Limited Feedback
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（Adobe 研究院）
本文研究有限反馈下将提示路由至LLM专家的在线学习问题，提出老虎机算法实现次线性遗憾，并在实验中验证了高效学习高质量路由策略的能力。
2026-09-09 cs.LG stat.ML
Online Conformal Prediction with Adversarial Semi-bandit Feedback via Regret Minimization
POSTECH（POSTECH大学）；GSAI（GSAI研究院）
本文提出一种基于对抗性带的在线 conformal 预测方法，在部分反馈下保证长期覆盖性，通过与学习者后悔的联系实现控制。
2026-04-20 cs.LG stat.ML
Online Optimization with Feedback Delay and Nonlinear Switching Cost
Stony Brook University（石溪大学）；Caltech（加州理工学院）
我们研究了在线优化的一个变体，其中学习者接收$k$ -关于命中成本的$\textit{delayed feedback}$轮，并且存在多步非线性切换成本，即，成本以非线性方式取决于多个先前的动作。我们的主要结果表明，一种新的迭代正则化在线平衡下降（iROBD）算法具有恒定的，无量纲的竞争比是$O(L^{2k})$，其中$L$是Lipschitz常数的切换成本。此外，我们提供了下限，说明Lipschitz条件是必需的，并且对$k$和$L$的依赖性是紧密的。最后，通过减少，我们表明，这种设置是密切相关的延迟，非线性动力学和对抗性干扰，其中iROBD直接提供恒定的竞争力的在线政策的在线控制问题。
2021-10-29 cs.LG cs.SY eess.SY
Online semi-supervised perception: Real-time learning without explicit feedback
Intel Labs（英特尔实验室）；Department of Computer Science（计算机科学系）；University of Pittsburgh（匹兹堡大学）
本文提出一种无需显式反馈的实时学习算法，结合图上半监督学习和在线学习，通过迭代构建世界图表示并更新，利用离线标注数据和在线未标注数据提升性能，在实时人脸识别中取得优越精度和召回率。
2026-10-06 cs.LG stat.ML
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
Partial Feedback Online Learning
本文研究了部分反馈在线学习协议，提出集合版本空间概念，定义了PFLdim和PMSdim，揭示了确定性和随机学习的可学习性条件，并指出在集合可实现性之外，即使|H|=2，最小最大遗憾仍可能线性增长。
2026-04-02 cs.LG stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
HERO: Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning
Sony AI（索尼人工智能公司）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；University of Southern California（南加利福尼亚大学）；Stanford University（斯坦福大学）
HERO框架通过在线人类反馈和反馈对齐表示学习及反馈引导图像生成机制，以4倍效率提升扩散模型微调，仅需0.5K反馈即可处理多种任务。
2025-03-13 cs.AI cs.CV cs.HC
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Online Learning with Multiple Fairness Regularizers via Graph-Structured Feedback
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Department of Computer Science, Czech Technical University（捷克技术大学计算机科学系）；Dyson School of Design Engineering, Imperial College London（伦敦帝国理工学院设计工程戴森学院）；Imperial College London（伦敦帝国理工学院）
本文针对在线决策中多重公平约束的权重自适应问题，提出了一种基于图结构反馈的赌博机算法，能够在不预先知道权重的情况下在线学习并平衡多个公平性目标。
2026-05-22 cs.AI cs.LG
Robust Learning for Smoothed Online Convex Optimization with Feedback Delay
University of California Riverside（加州大学河滨分校）；California Institute of Technology（加州理工学院）
本文针对带多步切换成本和反馈延迟的平滑在线凸优化问题，提出鲁棒性约束学习算法RCL，通过约束投影融合不可信机器学习预测与可信专家算法，首次实现可证明鲁棒性保证并提升平均性能。
2023-10-31 cs.DS cs.LG math.OC
Online Conformal Prediction with Corrupted Feedback
Department of Engineering, King’s College London（伦敦国王学院工程系）；Communication Systems Department, EURECOM（EURECOM通信系统部）；Institute for Intelligent Networked Systems, Northeastern University London（伦敦东北大学智能网络系统研究所）
本文研究了在存在腐蚀反馈的情况下在线符合预测的鲁棒性问题，提出两种鲁棒方案并通过实验验证了其在腐蚀反馈下的改进性能。
2026-05-19 cs.LG eess.SP
Online non-convex optimization with imperfect feedback
Criteo AI Lab（Criteo人工智能实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）
研究了具有非凸损失的在线学习问题。在反馈方面，我们假设学习者观察-或以其他方式构建-一个不精确的模型，在每个阶段遇到的损失函数，我们提出了一个混合策略的学习策略的基础上双平均。在这种情况下，我们得到了一系列严格的遗憾最小化的保证，无论是学习者的静态（外部）遗憾，以及后悔对最好的动态政策事后诸葛亮。随后，我们将这个通用模板应用于学习者只能访问过程中每个阶段发生的实际损失的情况。这是通过基于核的估计器来实现的，该估计器仅使用学习者的已实现损失作为输入来为每轮的损失函数生成不精确模型。
2020-10-16 cs.LG math.OC
Forward Direct Feedback Alignment for Online Gradient Estimates of Spiking Neural Networks
University of Kent（肯特大学）；School of Computing（计算机学院）；CEMS
本文提出脉冲前向直接反馈对齐（SFDFA）算法，用于在神经形态硬件上在线估计脉冲神经网络的梯度，避免反向传播，并通过比较实验证明其性能和收敛速度优于现有算法。
2024-02-06 cs.LG cs.NE
BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
在本文中，我们研究的问题，安全的在线学习重新排名，用户的反馈是用来提高显示列表的质量。学习排序传统上被研究在两个设置。在离线设置中，排名通常从法官创建的相关性标签中学习。这种方法通常已成为工业排名应用（如搜索）的标准。然而，这种方法缺乏探索，因此受到离线训练数据的信息内容的限制。在在线设置中，算法可以对列表进行实验，并以顺序的方式从反馈中学习。Bandit算法非常适合这种设置，但它们倾向于从头开始学习用户偏好，这导致了高昂的初始探索成本。这对排名列表中的安全探索提出了额外的挑战。我们提出了BubbleRank，一个强盗算法的安全重新排名，结合了离线和在线设置的优势。该算法从一个初始的基本列表开始，并通过逐渐将排名较高的不太有吸引力的项目交换为排名较低的更有吸引力的项目来在线改进它。我们证明了BubbleRank的n步遗憾的上限，优雅地降低了初始基础列表的质量。我们的理论研究结果得到了大规模现实世界点击数据集上的广泛实验的支持。
2019-06-29 cs.LG stat.ML
Algorithmic Chaining and the Role of Partial Feedback in Online Nonparametric Learning
Università degli Studi di Milano（米兰大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Università degli Studi dell’Insubria（因苏布里亚大学）；Université Toulouse III - Paul Sabatier（图卢兹第三大学（保罗·萨巴蒂埃大学））
我们调查上下文在线学习与非参数（Lipschitz）比较类在不同的假设损失和反馈信息。对于完全信息反馈和Lipschitz损失，我们设计了第一个明确的算法，实现了极大极小后悔率（最多对数因子）。在一个部分反馈模型的激励下，第二价格拍卖，我们得到的算法Lipschitz和半Lipschitz损失的遗憾界改进的标准强盗反馈的已知界限。我们的分析结合了上下文第二价格拍卖的新结果与一种新的算法方法的基础上链。当上下文空间是欧几里德时，我们的链接方法是有效的，并且提供了更好的后悔界限。
2017-06-30 cs.LG math.ST stat.ML
Online Ranking: Discrete Choice, Spearman Correlation and Other Feedback
给定$n$对象的集合$V$，在线排名系统在每个时间步输出集合的完整排名，观察某种形式的反馈并遭受损失。我们研究的设置，其中（对抗）反馈是$V$中的一个元素，损失是位置（第0，第1，第2.）在输出的排名中的项目。更一般地说，我们研究的设置中的反馈是一个子集$U$的最多$k$元素在$V$，和损失是这些元素的位置的总和。我们提出了一个算法的预期遗憾$O(n^{3/2}\sqrt{Tk})$在一个时间范围内的$T$步骤的最佳单一的排名在事后。这通过$Ω(\sqrt{k})$的因子、$Ω(\sqrt{\log n})$的因子或通过将每轮的运行时间从二次改进为$O(n\log n)$来改进先前的算法和分析。我们还证明了一个匹配的下界。我们的技术也意味着一个改进的遗憾界在线排名聚合斯皮尔曼相关性措施，和其他更复杂的排名损失函数。
2013-10-14 cs.GT cs.LG stat.ML
