Diverse Exploration for Fast and Safe Policy Improvement
Binghamton University(宾汉姆顿大学);Yantai University(烟台大学);Assured Information Security(Assured Information Security(Assured Information Security公司))
我们研究了一个重要但未得到充分解决的问题,即快速安全地改善在线强化学习领域的政策。作为其解决方案,我们提出了一种新的探索策略-多样化的探索(DE),它学习和部署一组多样化的安全策略来探索环境。我们提供DE理论解释为什么多样性的行为政策,使有效的勘探,而不牺牲剥削。我们的实证研究表明,在线策略改进算法框架实现DE策略可以实现快速的策略改进和安全的在线性能。
2018-02-22 cs.LG
Evolving Robustness--Exploration Trade-off in Online Reinforcement Learning via Quantile Bayesian Risk MDPs
School of Industrial and Systems Engineering(工业与系统工程系);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于分位数贝叶斯风险MDP的自适应算法,通过动态调整分位数水平来平衡早期鲁棒性与后期探索,并证明了亚线性贝叶斯遗憾界。
2026-05-23 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));University of Technology Sydney(悉尼科技大学);Visualisation Institute(可视化研究所)
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题,提出一种非整体式探索的新方法,在不修改离线策略的前提下协调其利用优势与在线策略的探索优势,性能优于PEX方法。
2024-10-31 cs.LG
ExPoSe: Combining State-Based Exploration with Gradient-Based Online Search
National University of Singapore(新加坡国立大学)
在线基于树的搜索算法迭代地模拟轨迹并更新存储在树结构中的一组状态的动作值。它在实践中运作良好,但未能有效利用从类似国家收集的信息。取决于动作价值函数的平滑度,克服该问题的一种方法是通过在线学习,其中在相似状态之间内插信息;策略梯度搜索提供了实现这一点的实用算法。然而,策略梯度搜索缺乏显式的探索机制,这是基于树的在线搜索算法的一个关键特征。在本文中,我们提出了一种高效和有效的在线搜索算法,称为探索性策略梯度搜索(ExpoSe),它利用状态之间的信息共享直接更新的搜索策略参数,同时纳入一个定义良好的探索机制在在线搜索过程中。我们评估了一系列决策问题的ExpoSe,包括雅达利游戏,推箱子,稀疏图中的汉密尔顿循环搜索。结果表明,在所有领域中,ExpoSe始终优于其他流行的在线搜索算法。ExpoSe源代码可在\textit{\url{https://github.com/dixantmittal/ExPoSe}}上获得。
2023-03-04 cs.AI cs.LG
Data-dependent Exploration for Online Reinforcement Learning from Human Feedback
Center for Advanced Intelligence Project, RIKEN(日本理化学研究所先进智能研究中心);Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);Northeastern University(东北大学);Zhejiang Gongshang University(浙江工商大学)
提出数据依赖探索的偏好优化方法(DEPO),利用历史数据构建不确定性奖励,鼓励探索高价值区域,理论证明其数据依赖的遗憾界更紧,实验表明样本效率提升。
2026-06-23 cs.LG
Online Preference Alignment for Language Models via Count-based Exploration
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(金山大学)
本文针对在线RLHF中LLM如何探索的问题,提出基于计数的在线偏好优化算法COPO,通过抛硬币计数估计伪计数并将UCB项转化为探索奖励,在Zephyr和Llama-3上显著提升指令遵循与学术基准性能。
2025-02-07 cs.LG
Exploration of Unranked Items in Safe Online Learning to Re-Rank
CyberAgent, Inc.(赛博艾坚特公司)
针对在线学习排序算法激进探索易损害用户体验的问题,提出基于KL-UCB选择未排序物品进行交换探索的安全OLTR算法,实验证明其在无安全违规的情况下改善了长期遗憾值。
2023-05-02 cs.IR cs.LG
AttViz: Online exploration of self-attention for transparent neural language modeling
Jožef Stefan Institute(约瑟夫·斯特凡研究所);University of Ljubljana(卢布尔雅那大学)
神经语言模型正在成为查询回答、文本分类、消歧、补全和翻译任务的主流方法。这些神经网络模型通常由数亿个参数组成,以可解释性为代价提供了最先进的性能;人类不再能够跟踪和理解决策是如何做出的。最初为翻译任务引入的注意力机制已成功地用于其他与语言相关的任务。我们提出AttViz,一个在线工具包,用于探索自注意力-与单个文本标记相关的真实值。我们展示了现有的深度学习管道如何产生适合AttViz的输出,以最小的努力在线提供注意力头及其聚合的新颖可视化。我们在新闻片段的例子中展示了如何使用所提出的系统来检查并可能更好地理解模型已经学习(或强调)的内容。
2020-05-12 cs.LG stat.ML
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration
School of Automation Science
本文提出一种结合预测模型与离策略学习的强化学习算法,利用潜在状态空间前向预测误差构造无参数开销的内在奖励,并通过新颖性感知终端价值函数增强在线规划器,在连续控制任务中实现样本高效探索,尤其在稀疏奖励场景下表现优异。
2024-03-31 cs.AI cs.LG
Efficient Exploration of Gradient Space for Online Learning to Rank
University of Virginia(弗吉尼亚大学)
在线学习排名(OL2R)基于直接从用户收集的隐式反馈来优化返回的搜索结果的效用。为了改进估计,OL2R算法检查一个或多个探索性梯度方向,并且如果用户通过交错测试优选所提议的方向,则更新当前排名器。在本文中,我们加速在线学习过程中的梯度空间的有效探索。我们的算法,命名为空间梯度下降,减少了探索空间,只有最近表现不佳的梯度的\emph{null space}。这可以防止算法重复探索最近与用户的交互所阻止的方向。为了提高敏感性的交错测试,我们有选择地构建候选排名,以最大限度地提高他们可以区分候选排名文件在当前查询的机会,我们使用历史上困难的查询,以确定最好的排名时,领带发生在比较排名。与最先进的OL2R算法在几个公共基准上进行了广泛的实验比较,证实了我们提出的算法的有效性,特别是在早期阶段的快速学习收敛和有前途的排名质量。
2018-05-18 cs.IR cs.LG
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分(IPS)加权,其要求日志记录策略具有\emph{full support},即对于评估策略的任何上下文/动作的非零概率。然而,许多现实世界的系统并不保证这样的日志记录策略,特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency},离线学习无法找到最优策略。我们提出了一种新的方法,使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作,而离线学习用于从记录数据中利用支持的动作,避免不必要的探索。我们的方法确定了一个最优的政策,理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Shisha: Online scheduling of CNN pipelines on heterogeneous architectures
Chalmers University of Technology(查尔姆斯理工大学);Ohio State University(俄亥俄州立大学);Technische Universität Dresden(德累斯顿工业大学)
小芯片已经成为现代芯片设计中的常用方法。小芯片提高了产量,并实现了内核、存储器子系统和互连级别的异构性。卷积神经网络(CNN)由于权值的增加而具有高的计算、带宽和存储容量要求。因此,为了利用基于芯片的架构,CNN必须在计算资源之间的调度和工作负载分布方面进行优化。我们提出了Shisha,一种在线方法来生成和调度小芯片架构上的并行CNN管道。Shisha的目标是计算性能和内存带宽的异构性,并通过快速在线探索技术调整流水线调度。我们比较了水烟与模拟退火,爬山和管道搜索。平均而言,与其他探索算法相比,Shisha的收敛时间提高了约35倍。尽管快速探索,Shisha的解决方案往往优于其他启发式探索算法。
2022-12-04 cs.LG cs.PF
Off-Policy Evaluation with Online Adaptation for Robot Exploration in Challenging Environments
Carnegie Mellon University(卡内基梅隆大学);Pennsylvania State University(宾夕法尼亚州立大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出OPERE方法,将机器人探索建模为离线策略评估问题,结合离线蒙特卡洛训练、时序差分在线自适应和基于传感器信息覆盖的内在奖励,首次在真实地下与城市环境中实现状态价值预测并提升探索效率。
2023-05-24 cs.AI cs.LG cs.RO
Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration
School of Engineering, WestLake University(西湖大学工程学院);University of Cambridge(剑桥大学)
针对离线到在线强化学习中的分布偏移问题,提出Q条件状态熵(QCSE)作为内在奖励,通过最大化状态熵并隐式实现状态边际匹配,提升在线微调性能,实验显示在CQL和Cal-QL上分别提升约13%和8%。
2024-05-28 cs.AI cs.LG
Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning
Alibaba Group(阿里巴巴集团)
现代在线广告系统不可避免地依赖于个性化方法,例如点击率(CTR)预测。CTR预测的最新进展享受了深度学习丰富的表示能力,并在大规模工业应用中取得了巨大成功。然而,这些方法可能缺乏探索。另一条线的先前工作解决了与上下文强盗方法的探索-利用权衡问题,这是最近较少研究的行业,由于在扩展其灵活性与深度模型的困难。在本文中,我们提出了一种新的深度不确定性感知学习(DUAL)方法来学习基于高斯过程的CTR模型,该方法可以提供预测性不确定性估计,同时保持深度神经网络的灵活性。DUAL可以很容易地在现有模型上实现,并以最小的额外计算开销部署在实时系统中。通过将DUAL的预测不确定性估计能力与著名的强盗算法相结合,我们进一步提出了基于DUAL的广告排名策略,以提高广告系统中的长期效用,例如社会福利。在几个公共数据集上的实验结果证明了我们的方法的有效性。值得注意的是,在阿里巴巴展示广告平台中部署的在线A/B测试显示,社会福利改善了8.2%,收入增加了8.0%。
2021-06-15 cs.IR cs.LG
Online Learning with Recency: Algorithms for Sliding-window Streaming Multi-armed Bandits
Johns Hopkins University(约翰霍普金斯大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Texas A&M University(德克萨斯农工大学)
针对在线学习中的近因效应,研究单遍滑动窗口流式多臂老虎机问题,提出纯探索和遗憾最小化算法,并给出记忆-遗憾权衡。
2026-06-08 cs.DS cs.LG
Plan Online, Learn Offline: Efficient Learning and Exploration via Model-Based Control
University of Washington(华盛顿大学);Roboti LLC(Roboti有限责任公司);OpenAI
我们提出了一个计划在线和离线学习(POLO)框架的设置,一个代理,内部模型,需要不断采取行动,并在世界上学习。我们的工作建立在基于局部模型的控制,全局价值函数学习和探索之间的协同关系。我们研究了局部轨迹优化如何应对价值函数中的逼近误差,并稳定和加速价值函数学习。相反,我们还研究了近似价值函数如何有助于减少规划范围,并允许更好的政策超越当地的解决方案。最后,我们还演示了如何轨迹优化可以用来执行时间协调的勘探结合估计不确定性的价值函数近似。这种探索对于价值函数的快速和稳定学习至关重要。结合这些组件,可以解决复杂的模拟控制任务,如人形运动和灵巧的手操作,相当于在现实世界中的几分钟的经验。
2019-01-28 cs.AI cs.LG cs.RO
Multi-layered Network Exploration via Random Walks: From Offline Optimization to Online Learning
The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学);Bytedance(字节跳动);Microsoft Research(微软研究院)
多层网络探测(MuLaNE)问题是从许多应用中抽象出来的一个重要问题。在MuLaNE中,有多个网络层,每个节点都有一个重要性权重,每个层都通过随机游走进行探索。MuLaNE任务是将总随机游走预算$B$分配到每个网络层,使得随机游走访问的唯一节点的总权重最大化。我们从离线优化到在线学习系统地研究了这个问题。对于离线优化设置的网络结构和节点的权重是已知的,我们提供了基于贪婪的常数比近似算法重叠的网络,和贪婪或基于动态规划的最优解非重叠的网络。对于在线学习设置,最初既不知道网络结构也不知道节点权重。我们采用组合多臂强盗框架和设计算法学习随机游走相关参数和节点权重,同时优化多轮预算分配,并证明他们达到对数遗憾界。最后,我们在真实世界的社交网络数据集上进行实验,以验证我们的理论结果。
2021-06-09 cs.AI cs.LG
Exploration from a Primal-Dual Lens: Value-Incentivized Actor-Critic Methods for Sample-Efficient Online RL
CMU Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Meta Fundamental AI Research, Meta(Meta基础人工智能研究);CMU(卡内基梅隆大学)
本文从原始-对偶优化视角解释乐观原则,提出价值激励Actor-Critic(VAC)方法,通过优化单一目标集成探索与利用,在线性MDPs下实现近乎最优的遗憾保证。
2025-06-27 cs.LG math.OC
Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration
University of California, Berkeley(加州大学伯克利分校)
研究提出SUPE方法,通过VAE提取低级技能并用乐观奖励伪标注无标签轨迹,将其作为离策略数据训练高级策略,在42个稀疏奖励任务中显著提升在线探索效率。
2025-07-11 cs.AI cs.LG stat.ML
Scalable Online Exploration via Coverability
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出探索目标框架及新目标 $L_1$-Coverage,通过 $L_1$-Coverability 控制内在复杂度并兼容标准策略优化,为低可覆盖性 MDP 提供了首批高效在线强化学习算法,有效驱动状态空间探索。
2024-06-04 cs.LG math.OC stat.ML
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出OOO框架,通过解耦探索与利用策略,利用离线重训练缓解在线RL中的探索偏差,显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Exploration-Exploitation Trade-off in Reinforcement Learning on Online Markov Decision Processes with Global Concave Rewards
National University of Singapore(新加坡国立大学)
我们考虑一个参与马尔可夫决策过程的代理,每轮都接收一个结果向量。她的目标是最大化平均向量结果的全局凹奖励函数。该问题模型的应用程序,如多目标优化,最大熵探索,并在马尔可夫环境中的约束优化。在我们的一般设置中,一个固定的策略可能有多个循环类,代理人面临着一个微妙而重要的权衡,在不同的行动之间交替平衡矢量结果。特别是,固定的政策一般是次优的。我们提出了一种基于在线凸优化(OCO)工具(Agrawal和Devanur 2014)和UCRL 2(Jaksch等人2010)的无遗憾算法。重要的是,我们引入了一种新的梯度阈值程序,它仔细控制动作之间的切换,以处理微妙的权衡。通过延迟梯度更新,我们的过程产生了一个非平稳的政策,多样化的结果优化的目标。该程序与各种OCO工具兼容。
2019-05-15 cs.LG math.OC stat.ML
Geometric Exploration for Online Control
Princeton University(普林斯顿大学);Google AI(谷歌人工智能(Google AI));Computer Science Department(计算机科学系)
研究了一般凸代价下\emph{unknown}线性动力系统的控制问题。目标是最小化遗憾与一类干扰反馈控制器,其中包括所有稳定的线性动态控制器。在这项工作中,我们首先考虑的情况下,已知的成本函数,我们设计的第一个多项式时间算法与$n^3\sqrt{T}$ -遗憾,其中$n$是维度的状态加上维度的控制输入。$\sqrt{T}$ -水平依赖性是最优的,并且改进了$T^{2/3}$的先前最佳已知的界限。我们的算法的主要组成部分是一个新的几何探索策略:我们自适应地构建一个序列的重心空间的政策空间。其次,我们考虑的情况下,强盗反馈,我们给出了第一个多项式时间算法与$poly(n)\sqrt{T}$ -遗憾,建立在随机强盗凸优化。
2020-10-29 cs.LG math.OC stat.ML
NROWAN-DQN: A Stable Noisy Network with Noise Reduction and Online Weight Adjustment for Exploration
Jilin University(吉林大学)
深度强化学习在当今的应用越来越广泛,尤其是在各种复杂的控制任务中。对噪声网络的有效探索是深度强化学习中最重要的问题之一。嘈杂的网络往往会为代理人产生稳定的输出。然而,这种趋势并不总是足以找到一个稳定的政策,代理,这降低了效率和稳定性在学习过程中。本文在NoisyNets的基础上,提出了一种NROWAN-DQN算法,降噪和在线权重调整NoisyNet-DQN。首先,我们为NoisyNet-DQN开发了一种新的降噪方法,使智能体执行稳定的动作。其次,我们设计了一个在线的权重调整策略,以减少噪音,提高了稳定的性能,并为代理获得更高的分数。最后,我们在四个标准域上对该算法进行了评估,并分析了超参数的性质。我们的研究结果表明,NROWAN-DQN优于以前的算法在所有这些领域。此外,NROWAN-DQN还显示出更好的稳定性。NROWAN-DQN分数的方差显著降低,特别是在一些行动敏感的环境中。这意味着在某些需要高稳定性的环境中,NROWAN-DQN将比NoisyNets-DQN更合适。
2020-06-19 cs.AI cs.LG stat.ML
Auto-exploration for online reinforcement learning
提出自动探索方法,通过策略镜像下降整合探索,避免依赖未知平稳分布,在表格和线性函数逼近下达到O(ε^{-2})样本复杂度。
2026-08-12 cs.AI cs.LG math.OC
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST(韩国科学技术院)
本文提出FINO方法,通过注入噪声的流匹配提升离线到在线强化学习的样本效率,结合熵引导采样平衡探索与利用,实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
RayFronts: Open-Set Semantic Ray Frontiers for Online Scene Understanding and Exploration
Carnegie Mellon University(卡内基梅隆大学)
RayFronts提出统一表示,将开集语义同时编码到范围内体素和超出范围射线,实现高效稠密语义建图,显著减少搜索体积并提升分割性能与吞吐量。
2025-04-09 cs.AI cs.CV cs.LG
Towards Efficient Online Exploration for Reinforcement Learning with Human Feedback
Department of Statistics and Data Science, The Chinese University of Hong Kong(统计与数据科学系,香港中文大学);Department of Statistics, University of Wisconsin-Madison(统计系,威斯康星大学麦迪逊分校)
针对在线 RLHF 中乐观探索采样低效、可致线性遗憾的问题,提出面向策略相关奖励差异不确定性的查询方案,并在多臂赌博机模型下获得多项式缩放的遗憾界。
2025-09-26 cs.AI cs.CL cs.LG
Towards Efficient Online Tuning of VLM Agents via Counterfactual Soft Reinforcement Learning
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
本文提出反事实软强化学习方法CoSo,通过动态评估token对动作的因果影响来优化VLM智能体的在线探索,并在多种任务中验证了其提升探索效率和性能的有效性。
2025-06-03 cs.AI cs.LG
Exploration and Online Transfer with Behavioral Foundation Models
针对零样本强化学习中在线迁移的探索问题,提出利用行为基础模型生成探索策略,将在线学习建模为类似多臂赌博机的探索-利用问题,并通过不确定性矩阵特征值最小化实现探索。
2026-07-01 cs.AI cs.LG
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习,提升样本效率和探索能力,实现高效且可扩展的学习。
2025-12-22 cs.LG
The Role of Exploration for Task Transfer in Reinforcement Learning
Georgia Tech Research Institute(佐治亚理工研究院)
强化学习(RL)中的探索-利用权衡是一个众所周知的和大量研究的问题,其平衡贪婪动作选择与新颖经验,并且探索方法的研究通常仅在学习单个学习任务的最优策略的上下文中考虑。然而,在在线任务转移的背景下,在在线操作过程中任务发生变化,我们假设,预测需要适应未来任务的探索策略可以对转移效率产生显著影响。因此,我们在迁移学习的背景下重新审视探索-开发权衡。在这项工作中,我们回顾了强化学习探索方法,定义了一个分类,以组织它们,分析这些方法的任务转移的背景下的差异,并建议未来的调查途径。
2022-10-11 cs.AI cs.LG
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University(波士顿大学)
强化学习(RL)的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而,对于实际应用,在勘探期间确保制剂的安全至关重要,因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于,对于大的连续状态或动作空间和未知环境,难以表征不安全状态和动作。在本文中,我们提出了一种新的方法,在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性,我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数,并扩展控制理论的结果,以近似其导数使用在线高斯过程(GP)估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
Guardian: Decoupling Exploration from Safety in Reinforcement Learning
Sun Yat-sen University(中山大学)
提出RLPD-GX框架,通过守护者机制解耦探索与安全,结合动态课程稳定训练,在Atari-100k上超越现有混合方法45%,兼顾性能与安全性。
2025-10-26 cs.AI cs.LG
Low-Switching Policy Gradient with Exploration via Online Sensitivity Sampling
Microsoft Research(微软研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对强化学习策略优化方法收敛慢、样本效率低且现有成果难推广到非线性策略的问题,结合基于值的算法技术提出低切换样本高效的LPO算法,大幅提升样本界并经深度网络实证验证。
2023-06-15 cs.LG
No-regret Exploration in Contextual Reinforcement Learning
University of Michigan(密歇根大学)
我们认为最近提出的强化学习(RL)框架的上下文马尔可夫决策过程(CMDP),其中代理与(潜在的敌对)序列的情节表MDP的相互作用。此外,确定MDP参数的上下文向量在每个事件开始时可用于代理,从而允许其学习上下文相关的接近最优的策略。在本文中,我们提出了一个无遗憾的在线RL算法的设置中的MDP参数获得的背景下,使用广义线性映射(GLM)。我们提出并分析了乐观和随机的探索方法,使(时间和空间)有效的在线更新。基于GLM的模型包含了以前在这方面的工作,也提高了以前已知的边界的特殊情况下,上下文映射是线性的。此外,我们展示了一个通用的模板来获得置信集使用在线学习甲骨文,并给出了一个下限的设置。
2020-06-17 cs.AI cs.LG stat.ML
Online Reinforcement Learning for Real-Time Exploration in Continuous State and Action Markov Decision Processes
Laboratoire Bordelais de Recherche en Informatique(波尔多计算机科学实验室)
本文提出了一种新的方法来学习在线政策在连续状态,连续行动,无模型的马尔可夫决策过程中,有两个性质是至关重要的实际应用。首先,策略可以以非常低的计算成本实现:一旦计算出策略,就可以在相对于所使用的样本数量的对数时间内获得与给定状态相对应的动作。其次,我们的方法是通用的:它不依赖于任何先验知识的结构的最优政策。我们建立在拟合Q-迭代算法,它表示的$Q$值为几个回归树的平均值。我们的算法,拟合策略森林算法(FPF),计算一个回归森林表示的Q值,并将其转换成一个单一的树表示的政策,同时保持控制的大小的政策使用rescovery和叶合并。我们介绍了一个适应的多分辨率勘探(MRE),这是特别适合FPF。我们评估了FPF在强化学习的三个经典基准上的性能:“倒立摆”、“双积分器”和“山上的车”,并表明FPF等于或优于其他算法,尽管这些算法依赖于使用特定的策略表示,特别是为了适应这三个问题中的每一个而选择的。最后,我们展示了FPF和MRE的组合允许找到接近最优的解决方案,在问题中,$ε$贪婪的方法会失败。
2016-12-12 cs.AI cs.LG
Evaluating Online Bandit Exploration In Large-Scale Recommender System
Meta AI
针对Bandit学习算法在A/B测试中因探索特性导致评估不公平的问题,将UCB应用于大规模短视频推荐系统,提出一种生产级测试框架及新指标,实现公平评估。
2023-07-30 cs.AI cs.IR cs.LG
Robust Policy Expansion for Offline-to-Online RL under Diverse Data Corruption
Tsinghua University(清华大学);Tencent(腾讯);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
针对离线到在线强化学习在数据损坏下性能下降的问题,提出基于逆概率加权的鲁棒策略扩展方法RPEX,在D4RL数据集上实现最先进性能。
2025-10-16 cs.AI cs.LG
BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
在本文中,我们研究的问题,安全的在线学习重新排名,用户的反馈是用来提高显示列表的质量。学习排序传统上被研究在两个设置。在离线设置中,排名通常从法官创建的相关性标签中学习。这种方法通常已成为工业排名应用(如搜索)的标准。然而,这种方法缺乏探索,因此受到离线训练数据的信息内容的限制。在在线设置中,算法可以对列表进行实验,并以顺序的方式从反馈中学习。Bandit算法非常适合这种设置,但它们倾向于从头开始学习用户偏好,这导致了高昂的初始探索成本。这对排名列表中的安全探索提出了额外的挑战。我们提出了BubbleRank,一个强盗算法的安全重新排名,结合了离线和在线设置的优势。该算法从一个初始的基本列表开始,并通过逐渐将排名较高的不太有吸引力的项目交换为排名较低的更有吸引力的项目来在线改进它。我们证明了BubbleRank的n步遗憾的上限,优雅地降低了初始基础列表的质量。我们的理论研究结果得到了大规模现实世界点击数据集上的广泛实验的支持。
2019-06-29 cs.LG stat.ML
PairRank: Online Pairwise Learning to Rank by Divide-and-Conquer
University of Virginia(弗吉尼亚大学);Walmart Labs(沃尔玛实验室)
在线学习排序(OL2R)通过直接优化排名器与用户的交互,消除了显式相关性注释的需要。然而,所需的探索驱使它远离离线学习排序的成功实践,这限制了OL2R的经验性能和实际适用性。在这项工作中,我们提出了估计成对学习排序模型在线。在每一轮中,根据模型对估计的成对排序顺序的置信度对候选文档进行划分和排序,并且仅对不确定的文档对执行探索,即,\emph{divide-and-conquer}。证明了直接定义在错序对数量上的后悔,它将在线解的理论收敛性与其预期的排序性能联系起来。在两个公共学习排序基准数据集上对大量OL2R基线进行比较,证明了所提出的解决方案的有效性。
2021-06-01 cs.IR cs.LG
SCaLE: Switching Cost aware Learning and Exploration
Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
SCaLE算法通过考虑高维动态二次击中成本和ℓ2-范数切换成本,在噪声带轮反馈模型中实现了分布无关的亚线性动态遗憾。
2026-01-14 cs.DS cs.LG math.OC
Exploration with Model Uncertainty at Extreme Scale in Real-Time Bidding
Zemanta, an Outbrain company(Outbrain旗下Zemanta公司)
在这项工作中,我们提出了一个可扩展的和有效的系统,探索供应景观在实时的【形】投标。该系统基于用于点进率预测的模型的预测不确定性来指导探索,并在高吞吐量、低延迟环境中工作。通过在线A/B测试,我们证明了模型不确定性的探索对模型性能和业务KPI有积极的影响。
2022-08-03 cs.IR cs.LG
Pruner: A Draft-then-Verify Exploration Mechanism to Accelerate Tensor Program Tuning
University of Science and Technology of China(中国科学技术大学);University of Pittsburgh(匹兹堡大学);NIO(蔚来)
本文提出 Pruner 和 MoA-Pruner,通过先草稿后验证的探索机制和动量在线适配策略加速张量程序调优,在多个 GPU 平台上相比 Ansor、TenSet、TLP 和 MetaSchedule 均取得显著搜索加速。
2025-04-09 cs.LG
Avoiding $\mathbf{exp(R_{max})}$ scaling in RLHF through Preference-based Exploration
Department of Electrical & Computer Engineering(电气与计算机工程系);Boston University(波士顿大学);Department of Computer Science(计算机科学系);Cornell University(康奈尔大学);Faculty of Computing & Data Sciences(计算与数据科学学院)
针对在线RLHF中样本复杂度随奖励规模指数增长的问题,提出SE-POPO算法,首次实现多项式复杂度,并在理论和实验上验证其样本效率优于现有基线。
2025-09-26 cs.AI cs.LG stat.ML
Demystifying Online Clustering of Bandits: Enhanced Exploration Under Stochastic and Smoothed Adversarial Contexts
The Chinese University of Hong Kong(香港中文大学)
本文针对老虎机在线聚类中识别用户簇所需的强假设问题,提出UniCLUB和PhaseUniCLUB两种增强探索算法,并引入平滑对抗情境设置以消除i.i.d.要求,在更弱假设下取得与先前工作相当的遗憾界并提升实际性能。
2025-01-01 cs.AI cs.LG stat.ML
LAM SIMULATOR: Advancing Data Generation for Large Action Model Training via Online Exploration and Trajectory Feedback
Salesforce AI Research(Salesforce AI研究院)
本文提出LAM SIMULATOR框架,通过在线探索、工具调用与实时轨迹反馈自动生成高质量训练数据,用于训练大动作模型,在ToolBench和CRMArena上最高提升49.3%性能。
2025-06-02 cs.AI cs.CL cs.LG
Emergency Preemption Without Online Exploration: A Decision Transformer Approach
New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校)
本文提出基于决策变压器的紧急走廊优化框架,通过离线返回条件序列建模,实现无在线环境交互的策略学习,提升紧急车辆调度的紧急程度控制,并通过多智能体决策变压器实现空间协调。
2026-03-20 cs.AI cs.LG
Sample-efficient Safe Learning for Online Nonlinear Control with Control Barrier Functions
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Cornell University(康奈尔大学);Microsoft Corporation(微软公司)
强化学习(RL)和连续非线性控制已成功应用于多个领域的复杂顺序决策任务。然而,由于学习过程的探索性质和模型不确定性的存在,由于缺乏安全保证,将它们应用于安全关键控制任务是具有挑战性的。另一方面,虽然将控制理论方法与学习算法相结合在安全RL应用中显示出了希望,但用于控制的安全数据汇集过程的样本效率没有得到很好的解决。在本文中,我们提出了一个\emph{provably}样本有效的情节安全的学习框架,利用安全的探索和利用在一个未知的,非线性动力系统的在线控制任务。特别是,该框架1)在随机设置中扩展控制障碍函数(CBF),以在模型学习期间在不确定性下实现可证明的高概率安全性,以及2)集成基于优化的探索策略,以有效地引导安全探索过程与\emph{near optimal}控制性能的学习动态。我们提供了正式的分析,情节遗憾界对最优控制器和概率安全的理论保证。仿真结果证明了该算法的有效性和效率。
2022-07-29 cs.LG cs.RO cs.SY
Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration
Northwestern University(西北大学);Stanford University(斯坦福大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学);Tsinghua University(清华大学);Yale University(耶鲁大学)
提出易于实现的强化学习框架MEX,通过无约束优化单一目标融合估计与规划并自动平衡探索与利用,在通用函数近似下实现次线性遗憾,并在稀疏奖励MuJoCo环境中优于基线。
2023-10-25 cs.AI cs.GT cs.LG
Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions
针对在线强化学习样本效率低的问题,本文提出利用少量专家演示和可任意重置的模拟器,通过选择合适的辅助起始状态分布(以情节长度信息实现)加速学习,在稀疏奖励硬探索环境中实现了最先进的样本效率。
2025-07-07 cs.AI cs.LG cs.RO
Explore-Exploit: A Framework for Interactive and Online Learning
Facebook(脸书)
交互式用户界面需要根据用户与系统的交互(或不与系统的交互)不断发展。这可能需要不断探索系统可能为用户提供的各种选项,并获得用户对这些选项的偏好信号。然而,这种探索,尤其是当可用选项集本身可能频繁改变时,可能导致次优的用户体验。我们介绍Explore-Exploit:一种旨在收集和利用交互式和在线设置中的用户反馈的框架,该框架最大限度地减少了最终用户体验的倒退。该框架提供了一套在线学习算子,用于各种任务,如个性化排名,候选人选择和主动学习。我们演示了如何将此框架与运行时服务集成,以利用在线和交互式机器学习开箱即用。我们还展示了使用Explore-Exploit框架可以实现的效率。
2018-12-01 cs.AI cs.LG stat.ML
Pure Exploration with Structured Preference Feedback
Indian Institute of Science, Bangalore(印度科学理工学院,班加罗尔);Amazon, Palo Alto, CA(亚马逊,帕洛阿尔托)
我们考虑的问题,纯粹的探索与子集明智的偏好反馈,其中包含$N$武器的功能。允许学习者查询大小为$K$的子集,并以嘈杂的获胜者的形式接收反馈。学习器的目标是使用尽可能少的查询来有效地识别最佳手臂。这种设置在涉及人工反馈的各种在线决策场景中是相关的,例如在线零售、流媒体服务、新闻馈送和在线广告;因为人们从子集中选择首选项目比单独为项目分配喜爱度评分更容易和更可靠。据我们所知,这是第一个工作,认为子集明智的偏好反馈模型在一个结构化的设置,它允许潜在的无限集的武器。我们提出了两种算法,保证最好的手臂在$\tilde{O} (\frac{d^2}{K Δ^2})$样本的检测概率至少为$1 - δ$,其中$d$是手臂的功能和$Δ$之间的效用差距的适当的概念。我们还推导出了一个依赖于实例的$Ω(\frac{d}{Δ^2} \log \frac{1}δ)$的下限,它与我们在最坏情况下的上限相匹配。最后,我们进行了大量的实验来证实我们的理论发现,并观察到我们的自适应算法停止,需要的样本比非自适应算法少12倍。
2021-04-12 cs.LG