ExPoSe: Combining State-Based Exploration with Gradient-Based Online Search
National University of Singapore（新加坡国立大学）
在线基于树的搜索算法迭代地模拟轨迹并更新存储在树结构中的一组状态的动作值。它在实践中运作良好，但未能有效利用从类似国家收集的信息。取决于动作价值函数的平滑度，克服该问题的一种方法是通过在线学习，其中在相似状态之间内插信息;策略梯度搜索提供了实现这一点的实用算法。然而，策略梯度搜索缺乏显式的探索机制，这是基于树的在线搜索算法的一个关键特征。在本文中，我们提出了一种高效和有效的在线搜索算法，称为探索性策略梯度搜索（ExpoSe），它利用状态之间的信息共享直接更新的搜索策略参数，同时纳入一个定义良好的探索机制在在线搜索过程中。我们评估了一系列决策问题的ExpoSe，包括雅达利游戏，推箱子，稀疏图中的汉密尔顿循环搜索。结果表明，在所有领域中，ExpoSe始终优于其他流行的在线搜索算法。ExpoSe源代码可在\textit{\url{https://github.com/dixantmittal/ExPoSe}}上获得。
2023-03-04 cs.AI cs.LG
Exploration of Unranked Items in Safe Online Learning to Re-Rank
CyberAgent, Inc.（赛博艾坚特公司）
针对在线学习排序算法激进探索易损害用户体验的问题，提出基于KL-UCB选择未排序物品进行交换探索的安全OLTR算法，实验证明其在无安全违规的情况下改善了长期遗憾值。
2023-05-02 cs.IR cs.LG
Deep Reinforcement Learning with Feedback-based Exploration
Delft University of Technology（代尔夫特理工大学）
深度强化学习使人们能够控制日益复杂和高维的问题。然而，在获得合理的性能之前需要大量的数据，这阻碍了其广泛的应用。我们采用二进制校正反馈作为一种通用和直观的方式，将人类的直觉和领域知识的无模型机器学习。策略中的不确定性和校正反馈直接在动作空间中组合为概率条件探索。因此，可以避免大部分无知的学习过程。我们证明了所提出的方法，预测概率合并的政策（PPMP），结合DDPG。在OpenAI Gym的连续控制问题的实验中，我们在样本效率、最终性能和对错误反馈的鲁棒性方面都有了大幅提高，无论是人为反馈还是合成反馈。此外，我们还展示了超出所展示知识的解决方案。
2019-03-14 cs.AI cs.LG stat.ML
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Cooperative Online Learning with Feedback Graphs
Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）；Inria（法国国家信息与自动化研究所）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 – CRIStAL
本文研究通信网络与反馈图耦合下的协作在线学习，利用二者强乘积的独立数刻画网络遗憾，并给出匹配下界与实验验证。
2024-08-09 cs.LG stat.ML
Multiclass Online Learnability under Bandit Feedback
University of Michigan（密歇根大学）；Technion（以色列理工学院）
本文研究bandit反馈下的在线多类分类，证明无界标签空间中Bandit Littlestone维数有限是可学习性的充要条件，并指出序列一致收敛必要但不充分。
2024-01-20 cs.LG stat.ML
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration
School of Automation Science
本文提出一种结合预测模型与离策略学习的强化学习算法，利用潜在状态空间前向预测误差构造无参数开销的内在奖励，并通过新颖性感知终端价值函数增强在线规划器，在连续控制任务中实现样本高效探索，尤其在稀疏奖励场景下表现优异。
2024-03-31 cs.AI cs.LG
Combinatorial Pure Exploration with Full-Bandit or Partial Linear Feedback
Tsinghua University（清华大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Microsoft Research（微软研究院）
在本文中，我们首先研究了组合纯探索与全强盗反馈（CPE-BL）的问题，其中学习者被赋予一个组合动作空间$\mathcal{X} \subseteq \{0,1\}^d$，并在每一轮的学习者拉动作$x \in \mathcal{X}$和接收随机奖励与期望$x^{\top} θ$，与$θ\in \mathbb{R}^d$潜在的和未知的环境向量。目标是使用尽可能少的样本来确定具有最高预期回报的最佳行动。对于CPE-BL，我们设计了第一个{ \em多项式时间自适应}算法，其样本复杂度与一系列实例的下限（对数因子内）相匹配，并且具有对$Δ_{\min}$（最佳动作和次优动作之间的最小间隙）的轻度依赖。此外，我们提出了一种新的广义CPE-BL灵活的反馈结构，称为组合纯探索与部分线性反馈（CPE-PL），其中包括几个家庭的子问题，包括全强盗反馈，半强盗反馈，部分反馈和非线性奖励函数。在CPE-PL中，每个动作拉动$x$报告具有$M_{x} θ$期望的随机反馈向量，其中$M_x \in \mathbb{R}^{m_x \times d}$是$x$的变换矩阵，并且获得与$x$相关的随机（可能非线性）奖励。对于CPE-PL，我们开发了第一个{ \em多项式时间}算法，它同时解决了有限反馈，一般奖励函数和组合动作空间，并提供了其样本复杂度分析。我们的实证评估表明，我们的算法运行的数量级比现有的，我们的C…
2020-12-15 cs.LG stat.ML
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model
Institute of Automation, CASIA（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
提出RL-SaLLM-F方法，利用LLM生成自增强轨迹与偏好标签，结合双重检查机制，无需特权信息即可在在线PbRL中替代脚本化教师，实现高效反馈获取。
2024-12-22 cs.AI cs.LG
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分（IPS）加权，其要求日志记录策略具有\emph{full support}，即对于评估策略的任何上下文/动作的非零概率。然而，许多现实世界的系统并不保证这样的日志记录策略，特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency}，离线学习无法找到最优策略。我们提出了一种新的方法，使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作，而离线学习用于从记录数据中利用支持的动作，避免不必要的探索。我们的方法确定了一个最优的政策，理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration
School of Engineering, WestLake University（西湖大学工程学院）；University of Cambridge（剑桥大学）
针对离线到在线强化学习中的分布偏移问题，提出Q条件状态熵（QCSE）作为内在奖励，通过最大化状态熵并隐式实现状态边际匹配，提升在线微调性能，实验显示在CQL和Cal-QL上分别提升约13%和8%。
2024-05-28 cs.AI cs.LG
Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning
Alibaba Group（阿里巴巴集团）
现代在线广告系统不可避免地依赖于个性化方法，例如点击率（CTR）预测。CTR预测的最新进展享受了深度学习丰富的表示能力，并在大规模工业应用中取得了巨大成功。然而，这些方法可能缺乏探索。另一条线的先前工作解决了与上下文强盗方法的探索-利用权衡问题，这是最近较少研究的行业，由于在扩展其灵活性与深度模型的困难。在本文中，我们提出了一种新的深度不确定性感知学习（DUAL）方法来学习基于高斯过程的CTR模型，该方法可以提供预测性不确定性估计，同时保持深度神经网络的灵活性。DUAL可以很容易地在现有模型上实现，并以最小的额外计算开销部署在实时系统中。通过将DUAL的预测不确定性估计能力与著名的强盗算法相结合，我们进一步提出了基于DUAL的广告排名策略，以提高广告系统中的长期效用，例如社会福利。在几个公共数据集上的实验结果证明了我们的方法的有效性。值得注意的是，在阿里巴巴展示广告平台中部署的在线A/B测试显示，社会福利改善了8.2%，收入增加了8.0%。
2021-06-15 cs.IR cs.LG
Online Learning under Delayed Feedback
University of Alberta（阿尔伯塔大学）
具有延迟反馈的在线学习近年来在分布式网络学习问题中得到了越来越多的关注。在本文中，我们提供了一个系统的研究主题，并分析了延迟的在线学习算法的遗憾的影响。令人惊讶的是，在对抗性问题中，延迟以乘法的方式增加了遗憾，而在随机问题中，延迟以加法的方式增加了遗憾。我们给出了元算法的转换，在一个黑盒子的方式，算法开发的非延迟的情况下，可以处理的反馈回路中存在的延迟。著名的UCB算法的修改也开发了延迟反馈的强盗问题，与元算法的优势，他们可以实现较低的复杂性。
2013-06-05 cs.AI cs.LG stat.ML
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Multi-layered Network Exploration via Random Walks: From Offline Optimization to Online Learning
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；Bytedance（字节跳动）；Microsoft Research（微软研究院）
多层网络探测（MuLaNE）问题是从许多应用中抽象出来的一个重要问题。在MuLaNE中，有多个网络层，每个节点都有一个重要性权重，每个层都通过随机游走进行探索。MuLaNE任务是将总随机游走预算$B$分配到每个网络层，使得随机游走访问的唯一节点的总权重最大化。我们从离线优化到在线学习系统地研究了这个问题。对于离线优化设置的网络结构和节点的权重是已知的，我们提供了基于贪婪的常数比近似算法重叠的网络，和贪婪或基于动态规划的最优解非重叠的网络。对于在线学习设置，最初既不知道网络结构也不知道节点权重。我们采用组合多臂强盗框架和设计算法学习随机游走相关参数和节点权重，同时优化多轮预算分配，并证明他们达到对数遗憾界。最后，我们在真实世界的社交网络数据集上进行实验，以验证我们的理论结果。
2021-06-09 cs.AI cs.LG
Exploration from a Primal-Dual Lens: Value-Incentivized Actor-Critic Methods for Sample-Efficient Online RL
CMU Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Meta Fundamental AI Research, Meta（Meta基础人工智能研究）；CMU（卡内基梅隆大学）
本文从原始-对偶优化视角解释乐观原则，提出价值激励Actor-Critic（VAC）方法，通过优化单一目标集成探索与利用，在线性MDPs下实现近乎最优的遗憾保证。
2025-06-27 cs.LG math.OC
Banker Online Mirror Descent
我们提出了银行家OMD，一个新的框架，推广了经典的在线镜像下降（OMD）技术在在线学习算法设计。Banker-OMD允许算法鲁棒地处理延迟反馈，并提供了在各种延迟反馈在线学习任务中实现$\tilde{O}(\sqrt{T} + \sqrt{D})$式后悔界限的一般方法，其中$T$是时间范围长度，$D$是总反馈延迟。我们展示了银行家OMD的力量与应用程序的三个重要的土匪的情况下，延迟反馈，包括延迟对抗多武装土匪（MAB），延迟对抗线性土匪，和一个新的延迟最好的两个世界MAB设置。Banker-OMD在所有三种设置中均实现了接近最佳的性能。特别是，它导致了第一个延迟对抗线性强盗算法实现$\tilde{O}(\text{poly}(n)(\sqrt{T} + \sqrt{D}))$遗憾。
2023-01-26 cs.LG stat.ML
Giving Feedback on Interactive Student Programs with Meta-Exploration
Stanford University（斯坦福大学）
开发交互式软件，如网站或游戏，是学习计算机科学的一种特别吸引人的方式。然而，教学和反馈这些软件是耗时的-标准的方法需要教师手动评分学生实现的交互式程序。因此，像Code.org这样为数百万人提供服务的在线平台无法提供任何关于实施互动程序的作业反馈，这严重阻碍了学生的学习能力。自动评分的一种方法是学习与学生程序交互的代理，并通过强化学习探索指示错误的状态。然而，这种方法的现有工作只提供了一个程序是否正确的二进制反馈，而学生需要更细粒度的反馈，在他们的程序中的具体错误，以了解他们的错误。在这项工作中，我们表明，探索发现错误可以作为一个元探索问题。这使我们能够构建一个原则性的目标，发现错误和优化这个目标，提供细粒度的反馈算法。我们评估我们的方法上一套超过700 K真正的匿名学生程序从Code.org互动作业。我们的方法提供了94.3%的准确度反馈，比现有方法提高了17.7%，并且在人类水平准确度的1.5%以内。项目网页：https://ezliu.github.io/dreamgrader。
2022-11-16 cs.AI cs.LG stat.ML
Instance-Sensitive Algorithms for Pure Exploration in Multinomial Logit Bandit
Indiana University Bloomington（印第安纳大学伯明顿分校）
受快速时尚零售和在线广告等实际应用的启发，多项Logit Bandit（MNL-bandit）模型是在线学习和运筹学中的一个流行模型，在过去的十年中引起了人们的广泛关注。然而，令人有点惊讶的是，纯探索，一个基本的问题，在强盗理论，至今没有得到很好的研究MNL-强盗。在本文中，我们给出了有效的算法在MNL-强盗纯探索。我们的算法实现了实例敏感的拉复杂性。我们还补充了上界的几乎匹配的下限。
2021-08-15 cs.DS cs.LG
Online Learning with LLM Experts from Limited Feedback
Virginia Tech（弗吉尼亚理工大学）；Adobe Research（Adobe 研究院）
本文研究有限反馈下将提示路由至LLM专家的在线学习问题，提出老虎机算法实现次线性遗憾，并在实验中验证了高效学习高质量路由策略的能力。
2026-09-09 cs.LG stat.ML
Online Conformal Prediction with Adversarial Semi-bandit Feedback via Regret Minimization
POSTECH（POSTECH大学）；GSAI（GSAI研究院）
本文提出一种基于对抗性带的在线 conformal 预测方法，在部分反馈下保证长期覆盖性，通过与学习者后悔的联系实现控制。
2026-04-20 cs.LG stat.ML
Regularity and stability of feedback relaxed controls
University of Oxford（牛津大学）
针对多维连续时间随机出口时间问题，提出了一种具有一般探索报酬的松弛控制正则化方法，设计了鲁棒反馈控制。我们建立了正则化控制问题允许Hölder连续反馈控制，并证明了正则化控制问题的值函数和反馈控制对于参数摄动都是Lipschitz稳定的.此外，我们证明了预先计算的反馈松弛控制在扰动系统中具有鲁棒性能，并推导出一阶灵敏度方程的值函数和最优反馈松弛控制。这些稳定性结果为最近的强化学习算法提供了理论依据，即在优化目标中包括探索奖励会导致更鲁棒的决策。最后证明了探索参数为零的松弛控制问题的值函数的一阶单调收敛性，从而使我们能够构造基于反馈松弛控制的原控制问题的纯开发策略.
2021-07-23 cs.LG math.OC
Online Markov Decision Processes with Aggregate Bandit Feedback
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
我们研究了一种新的在线有限时域马尔可夫决策过程的变种，具有逆向变化的损失函数和初始未知的动态。在每一集中，学习者遭受沿着为该集选择的策略所实现的轨迹累积的损失，并观察总的强盗反馈：轨迹与所遭受的累积损失一起被揭示，而不是沿着轨迹遇到的个体损失。我们的主要结果是一个计算效率高的算法与$O(\sqrt{K})$遗憾的这种设置，其中$K$是情节的数量。我们通过一个有效的减少到一个新的强盗学习设置，我们称之为扭曲的线性强盗（DLB），这是一个变种的强盗线性优化，其中学习者选择的行动是不利的扭曲之前，他们被提交。然后，我们开发了一个计算效率高的在线算法DLB，我们证明了$O(\sqrt{T})$的遗憾界，其中$T$是时间步长的数量。我们的算法是基于在线镜像下降与自和谐的障碍正则化，采用了一种新的增加学习率调度。
2021-01-31 cs.LG stat.ML
Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration
University of California, Berkeley（加州大学伯克利分校）
研究提出SUPE方法，通过VAE提取低级技能并用乐观奖励伪标注无标签轨迹，将其作为离策略数据训练高级策略，在42个稀疏奖励任务中显著提升在线探索效率。
2025-07-11 cs.AI cs.LG stat.ML
Scalable Online Exploration via Coverability
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出探索目标框架及新目标 $L_1$-Coverage，通过 $L_1$-Coverability 控制内在复杂度并兼容标准策略优化，为低可覆盖性 MDP 提供了首批高效在线强化学习算法，有效驱动状态空间探索。
2024-06-04 cs.LG math.OC stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；CyberAgent
本文提出带宽和延迟反馈算法，解决了在线结构预测中反馈信息有限的问题，通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Online Learning with Multiple Fairness Regularizers via Graph-Structured Feedback
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Department of Computer Science, Czech Technical University（捷克技术大学计算机科学系）；Dyson School of Design Engineering, Imperial College London（伦敦帝国理工学院设计工程戴森学院）；Imperial College London（伦敦帝国理工学院）
本文针对在线决策中多重公平约束的权重自适应问题，提出了一种基于图结构反馈的赌博机算法，能够在不预先知道权重的情况下在线学习并平衡多个公平性目标。
2026-05-22 cs.AI cs.LG
HERO: Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning
Sony AI（索尼人工智能公司）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；University of Southern California（南加利福尼亚大学）；Stanford University（斯坦福大学）
HERO框架通过在线人类反馈和反馈对齐表示学习及反馈引导图像生成机制，以4倍效率提升扩散模型微调，仅需0.5K反馈即可处理多种任务。
2025-03-13 cs.AI cs.CV cs.HC
Combinatorial Pure Exploration with Full-bandit Feedback and Beyond: Solving Combinatorial Optimization under Uncertainty with Limited Observation
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；CENTAI Institute（CENTAI研究所）；Kyoto University（京都大学）；RIKEN（理化学研究所）
本文回顾了有限反馈下组合纯探索（CPE）问题的最新方法，该问题旨在解决输入参数不确定时的组合优化，并讨论了半臂反馈受限场景下的技术进展。
2023-08-29 cs.DM cs.DS cs.LG
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
提出OOO框架，通过解耦探索与利用策略，利用离线重训练缓解在线RL中的探索偏差，显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards
National University of Singapore（新加坡国立大学）
我们考虑一个参与马尔可夫决策过程的代理，每轮都接收一个结果向量。她的目标是最大化平均向量结果的全局凹奖励函数。该问题模型的应用程序，如多目标优化，最大熵探索，并在马尔可夫环境中的约束优化。在我们的一般设置中，一个固定的策略可能有多个循环类，代理人面临着一个微妙而重要的权衡，在不同的行动之间交替平衡矢量结果。特别是，固定的政策一般是次优的。我们提出了一种基于在线凸优化（OCO）工具（Agrawal和Devanur 2014）和UCRL 2（Jaksch等人2010）的无遗憾算法。重要的是，我们引入了一种新的梯度阈值程序，它仔细控制动作之间的切换，以处理微妙的权衡。通过延迟梯度更新，我们的过程产生了一个非平稳的政策，多样化的结果优化的目标。该程序与各种OCO工具兼容。
2019-05-15 cs.LG math.OC stat.ML
NROWAN-DQN: A Stable Noisy Network with Noise Reduction and Online Weight Adjustment for Exploration
Jilin University（吉林大学）
深度强化学习在当今的应用越来越广泛，尤其是在各种复杂的控制任务中。对噪声网络的有效探索是深度强化学习中最重要的问题之一。嘈杂的网络往往会为代理人产生稳定的输出。然而，这种趋势并不总是足以找到一个稳定的政策，代理，这降低了效率和稳定性在学习过程中。本文在NoisyNets的基础上，提出了一种NROWAN-DQN算法，降噪和在线权重调整NoisyNet-DQN。首先，我们为NoisyNet-DQN开发了一种新的降噪方法，使智能体执行稳定的动作。其次，我们设计了一个在线的权重调整策略，以减少噪音，提高了稳定的性能，并为代理获得更高的分数。最后，我们在四个标准域上对该算法进行了评估，并分析了超参数的性质。我们的研究结果表明，NROWAN-DQN优于以前的算法在所有这些领域。此外，NROWAN-DQN还显示出更好的稳定性。NROWAN-DQN分数的方差显著降低，特别是在一些行动敏感的环境中。这意味着在某些需要高稳定性的环境中，NROWAN-DQN将比NoisyNets-DQN更合适。
2020-06-19 cs.AI cs.LG stat.ML
Almost Boltzmann Exploration
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
玻尔兹曼探索被广泛用于强化学习，以提供探索和利用之间的权衡。最近，在（Cesa-Bianchi等人，2017）已经表明，从遗憾的角度来看，纯粹的玻尔兹曼探索并没有表现得很好，即使是在最简单的随机多臂强盗（MAB）问题中。在本文中，我们表明，一个简单的修改玻尔兹曼探索，激励的变化的标准加倍技巧，实现$O(K\log^{1+α} T)$遗憾的随机MAB问题的$K$武器，其中$α>0$是一个参数的算法。这改进了（Cesa-Bianchi等人，2017年），其中一个算法的灵感来自Gumbel-softmax技巧实现$O(K\log^2 T)$遗憾。我们还表明，我们的算法实现了$O(β(G) \log^{1+α} T)$遗憾的随机MAB问题与图形结构的反馈，没有知识的图形结构，其中$β(G)$是独立数的反馈图。此外，我们提出了广泛的实验结果，真实的数据集和应用程序的多臂土匪与传统的土匪反馈和图形结构的反馈。在所有情况下，我们的算法执行以及或优于国家的最先进的。
2019-04-19 cs.DS cs.LG stat.ML
Auto-exploration for online reinforcement learning
提出自动探索方法，通过策略镜像下降整合探索，避免依赖未知平稳分布，在表格和线性函数逼近下达到O(ε^{-2})样本复杂度。
2026-08-12 cs.AI cs.LG math.OC
Policy Optimization as Online Learning with Mediator Feedback
Politecnico di Milano（米兰理工大学）
策略优化（PO）是一种广泛使用的方法来解决连续控制任务。在本文中，我们引入了中介反馈的概念，框架PO作为一个在线学习问题的政策空间。与标准的强盗反馈相比，额外的可用信息允许重用由一个策略生成的样本来估计其他策略的性能。基于这一观察，我们提出了一种算法，随机化探索策略优化通过多个重要性采样截断（RANDOMIST），在PO中的遗憾最小化，采用随机探索策略，不同于现有的乐观方法。当政策空间是有限的，我们表明，在某些情况下，它是可能实现不断的遗憾，而总是享受对数遗憾。我们还得到了问题相关的后悔下界。然后，我们将随机扩展到紧凑的政策空间。最后，我们提供了有限的和紧凑的政策空间的数值模拟，与PO和强盗基线。
2020-12-15 cs.AI cs.LG stat.ML
Sharp bounds on the price of bandit feedback for several models of mistake-bounded online learning
我们确定的错误绑定模型的几个变种的强盗反馈的价格急剧的界限。本文的第一部分介绍了$r$输入弱强化模型和$r$输入延迟模糊强化模型的界限。在这两种模型中，对手在每一轮中给出$r$输入，并且仅在所有$r$猜测都正确时才指示正确答案。这两个模型之间的唯一区别是，在延迟模糊模型中，学习者必须在接收下一轮输入之前回答每个输入，而在弱强化模型中，学习者一次接收所有$r$输入。在本文的第二部分中，我们介绍了具有排列模式的在线学习模型，其中学习者试图通过猜测与子排列相关的统计数据来从一组排列中学习排列。对于这些置换模型，我们证明了鲜明的界限上的价格的强盗反馈。
2022-09-03 cs.DM cs.LG math.CO
Online Learning and Equilibrium Computation with Ranking Feedback
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland, College Park（马里兰大学 College Park 分校）；Northeastern University（东北大学）
本文研究了在仅获得动作排名反馈的在线学习模型，探讨了不同排名机制下的子线性遗憾算法，并在特定条件下实现近似粗相关均衡。
2026-03-19 cs.CL cs.GT cs.LG
Towards Efficient Online Exploration for Reinforcement Learning with Human Feedback
Department of Statistics and Data Science, The Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；Department of Statistics, University of Wisconsin-Madison（统计系，威斯康星大学麦迪逊分校）
针对在线 RLHF 中乐观探索采样低效、可致线性遗憾的问题，提出面向策略相关奖励差异不确定性的查询方案，并在多臂赌博机模型下获得多项式缩放的遗憾界。
2025-09-26 cs.AI cs.CL cs.LG
Hybrid Preference Optimization for Alignment: Provably Faster Convergence Rates by Combining Offline Preferences with Online Exploration
University of Washington（华盛顿大学）；Apple（苹果公司）
本文提出混合偏好优化（HPO），结合在线探索与离线偏好，放宽集中性条件并提高样本效率，首次给出混合RLHF的可证明最优理论界，证明其优于纯离线或纯在线方法。
2024-12-13 cs.LG
Online Learning to Rank with Feedback at the Top
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们考虑一个在线学习排序设置，在每一轮，一个不经意的对手产生一个列表的$m$文件，有关的查询，和学习者产生分数排名的文件。然后，对手生成相关性向量，学习者根据收到的反馈更新其排名。我们认为反馈被限制为仅是$k \ll m$的排名列表中的顶部$k$文档的相关性级别的设置。然而，学习器的性能是基于未显示的全相关向量，使用适当的学习排序损失函数来判断的。我们开发了有效的算法，众所周知的损失在逐点，成对和列表家庭。我们还证明，没有在线算法可以有次线性遗憾，与前1反馈，任何损失，是校准相对于NDCG。我们将我们的算法应用于基准数据集上，证明了从高度限制的反馈中对排名函数进行有效的在线学习。
2016-03-06 cs.LG
Online Preference Alignment for Language Models via Count-based Exploration
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（金山大学）
本文针对在线RLHF中LLM如何探索的问题，提出基于计数的在线偏好优化算法COPO，通过抛硬币计数估计伪计数并将UCB项转化为探索奖励，在Zephyr和Llama-3上显著提升指令遵循与学术基准性能。
2025-02-07 cs.LG
Online Nonsubmodular Minimization with Delayed Costs: From Full Information to Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
受稀疏估计和贝叶斯优化中在线学习应用的启发，我们考虑了在完全信息和强盗反馈两种情况下，具有延迟代价的在线无约束非次模极小化问题.与以往的在线无约束次模极小化工作相比，我们专注于一类具有特殊结构的非次模函数，并证明了在静态和延迟情况下在线和近似在线强盗梯度下降算法的几个变体的遗憾保证。我们推导出的代理人的遗憾在充分的信息和强盗反馈设置，即使选择一个决定和接收所产生的成本之间的延迟是无界的。我们的方法的关键是$(α, β)$ -遗憾的概念和扩展的通用凸松弛模型从~ \citet{El-2020-Optimal}，其中的分析是独立的兴趣。我们进行并展示了几个模拟研究，以证明我们的算法的有效性。
2022-06-01 cs.LG
Follow the Prophet: Accurate Online Conversion Rate Prediction in the Face of Delayed Feedback
University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）
延迟反馈问题是在线广告中的迫切挑战之一，这是由从几分钟到几天不等的高度多样化的反馈延迟引起的。对于不同类型的广告和不同的用户，在这些不相同的延迟下，很难设计出合适的在线学习系统。在本文中，我们提出了解决延迟反馈问题的在线广告“跟随先知”（FTP简称）。关键的见解是，如果所有记录的样本的反馈都是即时的，我们可以得到一个没有延迟反馈的模型，即“先知”。虽然先知不能在在线学习，我们表明，我们可以预测先知的预测聚合政策的一组多任务的预测，其中每个任务捕捉不同时期的反馈模式。我们提出了策略的目标和优化方法，并使用日志数据来模拟预测器。在三个真实世界的广告数据集上进行的大量实验表明，我们的方法优于以前的最先进的基线。
2021-08-13 cs.LG
Stochastic Online Learning with Feedback Graphs: Finite-Time and Asymptotic Optimality
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
我们重新审视随机在线学习与反馈图的问题，设计的目标是最佳的算法，常数，渐近和在有限的时间。我们发现，令人惊讶的是，最佳有限时间后悔的概念是不是一个唯一定义的属性在这种情况下，在一般情况下，它是解耦的渐近速率。我们讨论替代选择，并提出了有限时间最优性的概念，我们认为是\emph{meaningful}。对于这一概念，我们给出了一个算法，承认准最优后悔在有限时间和渐近。
2022-06-20 cs.LG
Community Exploration: From Offline Optimization to Online Learning
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Microsoft Research（微软研究院）
我们介绍了社区探索的问题，有许多现实世界的应用，如在线广告。在这个问题中，一个探险家分配有限的预算来探索社区，以最大限度地增加他可以满足的成员数量。我们提供了一个系统的研究社区探索问题，从离线优化到在线学习。对于离线设置的社区的大小是已知的，我们证明了贪婪的方法为非自适应探索和自适应探索是最优的。对于在线设置的社区的大小是不知道的，需要从多轮的探索学习，我们提出了一个“上置信度”的算法，实现了对数遗憾界。通过结合不同回合的反馈，我们可以实现恒定的遗憾界限。
2018-11-18 cs.LG stat.ML
Online Stochastic Linear Optimization under One-bit Feedback
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Michigan State University（密歇根州立大学）
在本文中，我们研究了在线随机线性优化的一个特殊的强盗设置，其中只有一位的信息是在每一轮透露给学习者。这个问题已经在很多领域得到应用，包括在线广告和在线推荐。我们假设二进制反馈是一个随机变量产生的logit模型，并以最小化的遗憾所定义的未知线性函数。虽然现有的广义线性强盗的方法可以应用到我们的问题，高的计算成本使其不切实际的现实世界的问题。为了解决这个问题，我们开发了一个有效的在线学习算法，利用特定的结构的观察模型。具体地说，我们采用在线牛顿步骤来估计未知参数，并推导出一个紧的置信区域的基础上的指数的逻辑损失。分析表明，该算法达到了$O(d\sqrt{T})$的遗憾界，与随机线性强盗的最优解相匹配.
2015-09-25 cs.LG
Pure Exploration with Feedback Graphs
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
本文首次研究带反馈图的纯探索问题，推导了样本复杂度下界，并提出渐近最优算法TaS-FG，在不同图配置下验证了其高效性。
2025-03-10 cs.LG stat.ML
DFORD: Directional Feedback based Online Ordinal Regression Learning
Machine Learning Lab, Kohli Center on Intelligent Systems, IIIT Hyderabad, India（机器学习实验室，Kohli智能系统中心，IIIT海得拉尔，印度）；IIIT Hyderabad, India（IIIT海得拉尔，印度）
DFORD通过方向反馈实现在线序回归，采用探索-利用策略并引入核方法，有效降低内存消耗，实现O(log T)的遗憾界。
2025-12-22 cs.LG
Pure Exploration with Structured Preference Feedback
Indian Institute of Science, Bangalore（印度科学理工学院，班加罗尔）；Amazon, Palo Alto, CA（亚马逊，帕洛阿尔托）
我们考虑的问题，纯粹的探索与子集明智的偏好反馈，其中包含$N$武器的功能。允许学习者查询大小为$K$的子集，并以嘈杂的获胜者的形式接收反馈。学习器的目标是使用尽可能少的查询来有效地识别最佳手臂。这种设置在涉及人工反馈的各种在线决策场景中是相关的，例如在线零售、流媒体服务、新闻馈送和在线广告;因为人们从子集中选择首选项目比单独为项目分配喜爱度评分更容易和更可靠。据我们所知，这是第一个工作，认为子集明智的偏好反馈模型在一个结构化的设置，它允许潜在的无限集的武器。我们提出了两种算法，保证最好的手臂在$\tilde{O} (\frac{d^2}{K Δ^2})$样本的检测概率至少为$1 - δ$，其中$d$是手臂的功能和$Δ$之间的效用差距的适当的概念。我们还推导出了一个依赖于实例的$Ω(\frac{d}{Δ^2} \log \frac{1}δ)$的下限，它与我们在最坏情况下的上限相匹配。最后，我们进行了大量的实验来证实我们的理论发现，并观察到我们的自适应算法停止，需要的样本比非自适应算法少12倍。
2021-04-12 cs.LG
Meta-Learning to Explore via Memory Density Feedback
Astera Institute（Astera研究所）
本文提出一种基于元学习和记忆密度反馈的强化学习探索算法，通过循环网络保存观测密度反馈，使智能体在陌生状态下也能实时最大化探索进展。
2025-09-29 cs.LG
A Near-Optimal Best-of-Both-Worlds Algorithm for Online Learning with Feedback Graphs
University of Copenhagen（哥本哈根大学）；Università degli Studi di Milano（米兰大学）
我们考虑在线学习与反馈图，一个顺序的决策框架，学习者的反馈是由一个有向图的动作集。我们提出了一个计算效率高的学习算法，在这个框架中，同时实现近最优的遗憾边界在随机和对抗性的环境。针对不经意对手的界限是$\tilde{O} (\sqrt{αT})$，其中$T$是时间范围，$α$是反馈图的独立数。对随机环境的界限是$O\big( (\ln T)^2 \max_{S\in \mathcal I(G)} \sum_{i \in S} Δ_i^{-1}\big)$，其中$\mathcal I(G)$是在一个适当定义的无向版本的图和$Δ_i$是次优差距的所有独立集的家庭。该算法结合了EXP3++算法的随机和对抗土匪和EXP3.G算法的反馈图与一个新的探索计划的想法。该方案利用图的结构来减少探索，是利用反馈图获得两个世界最佳保证的关键。我们还将我们的算法和结果扩展到允许反馈图随时间变化的设置。
2022-06-01 cs.LG
