PrefPoE: Advantage-Guided Preference Fusion for Learning Where to Explore
James Watt School of Engineering University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院）
针对强化学习探索中熵最大化导致的高方差问题，提出PrefPoE框架，首次将专家乘积融合用于单任务探索-利用平衡，通过优势引导偏好网络与主策略融合稳定更新，在多任务中提升性能并防止熵崩溃。
2025-11-11 cs.LG
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University（南洋理工大学）
由深度Q网络（DQN）算法解决的大量实际工作表明，随机策略尽管简单，但却是最常用的探索方法。然而，大多数现有的随机探索方法要么探索新的行动，无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中，我们提出了一种新的偏好引导的$ε$贪婪探索算法，可以有效地学习动作分布符合景观的Q值DQN，而不引入额外的偏见。具体来说，我们设计了一个双架构，由两个分支组成，其中一个是DQN的副本，即Q分支。另一个分支，我们称之为偏好分支，学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策，并通过实验表明，推断出的动作偏好分布与相应的Q值的景观一致。因此，偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作，即，具有较大Q值的动作可以被更频繁地采样，而具有较小Q值的动作仍然有机会被探索，从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索，随机策略，数据效率，深度强化学习，深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
Efficient Exploration for Iterative Nash Preference Optimization
Columbia University（哥伦比亚大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对通用偏好模型下的迭代NLHF，提出显式探索算法，结合SFT正则化与对抗性策略探索，实现O(√T)遗憾界，避免对KL正则化参数的指数依赖。
2026-10-26 cs.AI cs.LG
Thompson Sampling for (Combinatorial) Pure Exploration
Tsinghua University（清华大学）
现有的组合纯勘探方法主要集中在UCB方法。为了使算法有效，他们通常使用臂集合$S$内的置信上限之和来表示$S$的置信上限，这可能比$S$的严格置信上限大得多，并且导致比必要的复杂度高得多，因为$S$中不同臂的经验均值是独立的。为了应对这一挑战，我们探索了汤普森采样（TS）的想法，使用独立的随机样本，而不是置信上限，并设计了第一个基于TS的算法TS-Explore（组合）纯探索。在TS-Explore中，组集$S$内的独立随机样本之和将不超过$S$的高概率严格置信上限。因此，它解决了上述挑战，并实现了一个较低的复杂度上界比现有的有效的基于UCB的算法在一般的组合纯探索。对于经典多臂强盗算法的纯探索，我们证明了TS-Explore算法达到了一个渐近最优的复杂度上界。
2022-06-18 cs.LG
Preference-based Pure Exploration
Texas A&M University（德克萨斯农工大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；University of Michigan（密歇根大学）
针对带向量值奖励的赌博机基于偏好的纯探索问题，推导样本复杂度下界并分析其几何特性，设计PreTS算法，证明其样本复杂度渐近紧。
2025-01-16 cs.LG stat.ML
Pure Exploration Bandit Problem with General Reward Functions Depending on Full Distributions
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文研究了一般分布函数上的纯探索强盗模型，即每只手臂的报酬函数依赖于整个分布，而不仅仅是它的均值。我们采用竞赛框架和LUCB框架来解决这个问题，并设计算法来估计不同类型分布的奖励函数的值。然后，我们证明了我们的估计方法的正确性保证与适当的参数，并获得样本复杂度上界。最后，我们讨论了一些重要的应用程序和相应的解决方案，在我们的学习框架。
2021-05-08 cs.LG
Pure Exploration in Asynchronous Federated Bandits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Yale University（耶鲁大学）；Oregon State University（俄勒冈州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对联邦多臂老虎机和线性老虎机的纯探索问题，提出首个固定置信度下的异步算法，在完全异步环境中实现接近最优的样本复杂度与高效通信，并通过实验验证其有效性。
2024-09-30 cs.LG
Bayesian Optimization with Preference Exploration using a Monotonic Neural Network Ensemble
University of Warwick（沃里克大学）；Amazon（亚马逊）
本文提出基于单调神经网络集合的贝叶斯优化方法，通过整合单调性提升性能，优于现有方法并具备噪声鲁棒性。
2026-01-14 cs.LG math.OC stat.ML
A Fast Algorithm for the Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
University of Tokyo（东京大学）
针对动作集随臂数多项式增长的R-CPE-MAB问题，提出CombGapE快速算法，实现匹配下界的样本复杂度，并在合成与真实数据集上显著优于现有方法。
2025-01-09 cs.LG
Data-dependent Exploration for Online Reinforcement Learning from Human Feedback
Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Northeastern University（东北大学）；Zhejiang Gongshang University（浙江工商大学）
提出数据依赖探索的偏好优化方法(DEPO)，利用历史数据构建不确定性奖励，鼓励探索高价值区域，理论证明其数据依赖的遗憾界更紧，实验表明样本效率提升。
2026-06-23 cs.LG
Efficient Preference-Based Reinforcement Learning: Randomized Exploration Meets Experimental Design
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文提出了一种基于随机探索和最优实验设计的高效强化学习算法，通过减少偏好查询数量实现理论保证和实际应用的平衡。
2025-12-03 cs.AI cs.LG cs.RO
Sample Efficient Preference Alignment in LLMs via Active Exploration
TensorZero；Stanford（斯坦福大学）；CMU（卡内基梅隆大学）；Cornell（康奈尔大学）；UCL（伦敦大学学院）；USC（南加州大学）
针对大语言模型偏好对齐中人类反馈获取成本高的问题，将场景形式化为主动上下文对决式老虎机问题，提出带多项式最坏遗憾界的主动探索算法及在线、离线扩展，在有限偏好样本下性能优于基线。
2025-03-20 cs.AI cs.LG stat.ML
Multi-task Representation Learning for Pure Exploration in Linear Bandits
Tsinghua University（清华大学）；Cornell University（康奈尔大学）
本文首次研究线性赌博机纯探索中的多任务表示学习，提出 DouExpDes 和 C-DouExpDes 算法，通过双重实验设计学习共享低维表示，显著降低样本复杂度。
2023-05-30 cs.LG
Understanding Hidden Spatial Preferences in Bayesian Optimization
Research Institutes of Sweden (RISE)（瑞典研究机构（RISE））；Uppsala University（乌普萨拉大学）
该研究针对贝叶斯优化中后验不确定性的空间偏好问题，通过固定预测模型、用空间权重场结合神经替代模型修改探索项的空间偏好，实验表明该方法可降低优化早期的后悔值，提升性能。
2026-10-14 cs.LG stat.ML
Embedding-perturbed Exploration Preference Optimization for Flow Models
Tsinghua University（清华大学）；AMAP, Alibaba Group（阿里集团AMAP）
本文提出E²PO框架，通过嵌入层面扰动维持优化稳定性，提升生成模型对人类偏好的对齐效果。
2026-05-15 cs.CV cs.LG
ICMAPE: In-Context Multiagent Pure Exploration
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所）
本文提出ICMAPE，一种基于贝叶斯学习的分散式多智能体纯探索框架，通过将固定置信度识别目标转化为推理置信度奖励，联合学习集中推理网络与分散策略，在合成基准和真实数据任务中以更少探索步骤达到目标精度。
2026-09-29 cs.LG
Accommodating Picky Customers: Regret Bound and Exploration Complexity for Multi-Objective Reinforcement Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们考虑多目标强化学习的目标是平衡使用偏好。在实践中，偏好往往是以对抗的方式给出的，例如，客户在许多应用中可能是挑剔的。我们将这个问题形式化为马尔可夫决策过程上的情景学习问题，其中过渡是未知的，奖励函数是具有预先指定的多目标奖励函数的偏好向量的内积。我们考虑两种设置。在在线设置中，代理每集都会收到一个（对抗性）偏好，并提出与环境交互的策略。我们提供了一个基于模型的算法，实现了近极大极小最优遗憾界$\widetilde{\mathcal{O}}\bigl(\sqrt{\min\{d,S\}\cdot H^2 SAK}\bigr)$，其中$d$是目标的数量，$S$是状态的数量，$A$是行动的数量，$H$是地平线的长度，和$K$是情节的数量。此外，我们考虑无偏好探索，即，代理首先与环境交互而不指定任何偏好，然后能够适应任意偏好向量，直到$ε$错误。我们提出的算法是可证明的有效性与接近最优的轨迹复杂度$\widetilde{\mathcal{O}}\bigl({\min\{d,S\}\cdot H^3 SA}/{ε^2}\bigr)$。这一结果部分解决了\citet{jin2020reward}提出的一个公开问题。
2021-10-27 cs.LG stat.ML
Pure Exploration with Infinite Answers
Bocconi University（博科尼大学）
本文研究了无限答案的纯探索问题，提出了一种渐进最优的框架，并分析了现有方法在该问题中的局限性。
2026-03-10 cs.LG
Fixed-Budget Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
本文针对固定预算下多臂老虎机实值组合纯探索问题，提出CSA和Minimax-CombSAR两种算法，分别适用于指数级和多项式级动作类规模，并证明其最优性，实验验证性能更优。
2023-11-15 cs.LG
OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室）；Tsinghua University（清华大学）；Moonshot AI（月之暗面）；Amazon（亚马逊）；University of Arizona（亚利桑那大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出OPRIDE算法，通过改进探索策略和折扣调度机制提升离线偏好驱动强化学习的查询效率，实验表明其在多种任务中表现优异。
2026-02-19 cs.AI cs.LG
Multi-task Representation Learning for Pure Exploration in Bilinear Bandits
UW-Madison（威斯康星大学麦迪逊分校）
本文研究多任务双线性老虎机纯探索问题，提出GOBLIN算法，通过实验设计优化样本分配以学习共享低维表示，首次给出该设置下的样本复杂度分析，并证明共享表示学习显著优于独立求解各任务的传统方法。
2023-11-01 cs.LG
Avoiding $\mathbf{exp(R_{max})}$ scaling in RLHF through Preference-based Exploration
Department of Electrical & Computer Engineering（电气与计算机工程系）；Boston University（波士顿大学）；Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；Faculty of Computing & Data Sciences（计算与数据科学学院）
针对在线RLHF中样本复杂度随奖励规模指数增长的问题，提出SE-POPO算法，首次实现多项式复杂度，并在理论和实验上验证其样本效率优于现有基线。
2025-09-26 cs.AI cs.LG stat.ML
Pure exploration in multi-armed bandits with low rank structure using oblivious sampler
Hokkaido University（北海道大学）；Kyushu University（九州大学）
本文研究纯探索问题中奖励序列的低秩结构，提出探索策略无法获取反馈的分离设置，通过引入奖励向量的核信息设计了高效算法，并给出了遗憾界与下界的理论证明。
2023-06-28 cs.LG stat.ML
Instance-Sensitive Algorithms for Pure Exploration in Multinomial Logit Bandit
Indiana University Bloomington（印第安纳大学伯明顿分校）
受快速时尚零售和在线广告等实际应用的启发，多项Logit Bandit（MNL-bandit）模型是在线学习和运筹学中的一个流行模型，在过去的十年中引起了人们的广泛关注。然而，令人有点惊讶的是，纯探索，一个基本的问题，在强盗理论，至今没有得到很好的研究MNL-强盗。在本文中，我们给出了有效的算法在MNL-强盗纯探索。我们的算法实现了实例敏感的拉复杂性。我们还补充了上界的几乎匹配的下限。
2021-08-15 cs.DS cs.LG
Pure Exploration with Multiple Correct Answers
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）
我们确定了具有多个好答案的纯探索强盗问题的样本复杂性。我们使用一个新的博弈均衡参数推导出一个下界。我们展示了如何连续性和凸性的单一答案的问题，确保跟踪和停止算法具有渐近最优的样本复杂性。然而，当进入多答案设置时，这种凸性就失去了。我们提出了一个新的算法，它扩展了跟踪和停止多个答案的情况下，并具有渐近样本复杂度匹配的下限。
2019-02-09 cs.LG stat.ML
Learning User Preferences to Incentivize Exploration in the Sharing Economy
ETH Zurich（苏黎世联邦理工学院）；MPI-SWS（马克斯·普朗克软件系统研究所）；Microsoft Research（微软研究院）
我们研究了共享经济中的平台，并讨论了激励用户探索其他选择的必要性。例如，Airbnb等租赁平台通常依赖客户评论为用户提供有关不同选项的相关信息。然而，通常很大一部分选项没有任何可用的评论。这些备选办法往往被忽视为可行的选择，因而也不可能得到评价，造成了恶性循环。平台可以通过提供货币激励来吸引用户偏离他们的首选选项。为了有效地学习提供最佳的激励措施，我们考虑用户偏好的结构信息，并引入了一种新的算法-协调在线学习（CoOL）-学习与结构信息建模为凸约束。我们提供正式的保证，我们的算法的性能和测试的可行性，我们的方法在用户研究与数据的公寓在Airbnb。我们的研究结果表明，我们的方法非常适合学习适当的激励措施，并增加对调查平台的探索。
2017-11-24 cs.LG cs.SI stat.ML
Collaborative Pure Exploration in Kernel Bandit
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目中心）；CENTAI Institute（CENTAI研究所）
本文提出了一个协作纯探索核强盗问题（CoPE-KB），它为有限通信和一般奖励函数下的多智能体多任务决策提供了一个新的模型，并适用于许多在线学习任务，例如，推荐系统和网络调度。我们考虑CoPE-KB的两种设置，即，固定置信度（FC）和固定预算（FB），并设计了两个优化算法CoopKernelFC（FC）和CoopKernelFB（FB）。我们的算法配备了创新和高效的核估计，同时实现计算和通信效率。匹配的上界和下界下的统计和通信指标建立证明我们的算法的最优性。理论界成功地量化了任务相似性对学习加速的影响，并且只依赖于核特征空间的有效维数。我们的分析技术，包括数据维分解，线性结构化的实例转换和（通信）轮加速比感应，是新颖的，适用于其他强盗问题。实验结果验证了我们的理论结果，并证明了我们的算法的性能优越性。
2023-03-16 cs.LG
The Batch Complexity of Bandit Pure Exploration
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文研究随机多臂赌博机纯探索中的批次复杂度，给出任意样本高效算法所需批次数的实例相关下界，并提出通用分批算法证明其上界，在最佳臂识别与阈值赌博机任务中验证了理论结果。
2025-02-03 cs.LG stat.ML
The Limits of Pure Exploration in POMDPs: When the Observation Entropy is Enough
Politecnico di Milano（米兰理工大学）；Technion（以色列理工学院）
针对部分可观测场景下状态熵最大化研究不足的问题，本文提出用观测熵最大化替代真实潜状态熵最大化的方法，给出近似上下界并设计正则化方案，为POMDP下的纯探索提供了可行方案与理论局限分析。
2024-06-18 cs.LG
Latent Preference Bandits
Department of Computer Science and Engineering（计算机科学与工程系）；Chalmers University of Technology（楚尔斯基技术大学）；University of Gothenburg（哥德堡大学）
针对个性化决策中潜在赌博机假设过强的问题，提出仅需偏好排序模型的潜在偏好赌博机，并给出后验采样算法，在奖励尺度异质时表现更优。
2025-08-07 cs.LG
Exploring Text-to-Motion Generation with Human Preference
Tsinghua University（清华大学）；Beijing Jiaotong University（北京交通大学）；Shanghai AI Lab（上海人工智能实验室）
该研究探索文本生成动作领域的人类偏好学习，标注3528个MotionGPT生成的偏好对，明确偏好数据使用的关键设计选择，证明偏好学习可大幅提升生成模型性能并公开相关资源。
2024-04-15 cs.AI cs.CV cs.LG
Fast active learning for pure exploration in reinforcement learning
Inria（法国国家信息与自动化研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；Renault（雷诺集团）；DeepMind（深度思维公司）
现实环境通常为代理提供非常有限的反馈。当环境最初是未知的，反馈，在一开始，可以是完全没有的，和代理可能会首先选择把他们所有的努力有效地探索。探索仍然是一个挑战，虽然它已经解决了许多手工调整的算法，一方面具有不同程度的通用性，另一方面有一些理论支持的探索策略。他们中的许多人体现了内在的动机，特别是探索奖金。探索奖励的一个常见经验法则是使用$1/\sqrt{n}$奖励，它被添加到奖励的经验估计中，其中$n$是访问该特定状态（或状态-动作对）的次数。我们发现，令人惊讶的是，对于一个纯粹的探索目标的奖励免费的探索，奖金规模与$1/n$带来更快的学习率，提高已知的上限方面的依赖地平线$H$。此外，我们表明，与改进的停止时间的分析，我们可以提高一个因素$H$的最佳策略识别设置，这是另一个纯粹的探索目标，其中环境提供奖励，但代理是不是惩罚其行为在探索阶段的样本复杂性。
2020-10-10 cs.LG stat.ML
Enhancing Bandit Algorithms with LLMs for Time-varying User Preferences in Streaming Recommendations
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽学校）；School of Artificial Intelligence and Data Science, University of International Business and Economics（国际商务经济大学人工智能与数据科学学院）
HyperBandit+通过整合时间感知超网络和LLM预热机制，提升流媒体推荐中对随时间变化用户偏好的适应能力。
2026-02-08 cs.LG
Pure Exploration with Feedback Graphs
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
本文首次研究带反馈图的纯探索问题，推导了样本复杂度下界，并提出渐近最优算法TaS-FG，在不同图配置下验证了其高效性。
2025-03-10 cs.LG stat.ML
Non-Asymptotic Pure Exploration by Solving Games
Centrum Wiskunde & Informatica（数学与计算机科学研究中心）；Inria Lille（里尔法国国家信息与自动化研究所）
纯探索（也称为主动测试）是顺序收集信息以回答关于随机环境的查询的基本任务。好的算法很少出错，也很少采样。下界（多臂强盗模型的武器在指数家庭）表明，样本的复杂性是由一个优化问题的解决方案。现有的最先进的算法通过在每一步解决该优化问题的插件估计来实现渐近最优性。我们解释的优化问题作为一个未知的游戏，并提出基于迭代策略的采样规则，估计和收敛到其鞍点。我们应用无遗憾学习器获得第一个有限的置信保证，适用于指数族，适用于任何纯探索查询和强盗结构。此外，我们的算法只使用最佳对策预言，而不是完全解决优化问题。
2019-06-25 cs.LG stat.ML
Near Optimal Pure Exploration in Logistic Bandits
University of Michigan（密歇根大学）
本文针对logistic bandit中的一般纯探索问题，提出首个track-and-stop算法Log-TS，其期望样本复杂度渐近匹配实例特定下界近似值，仅差一个对数因子。
2025-02-07 cs.LG stat.ML
Parallel Gaussian Process Optimization with Upper Confidence Bound and Pure Exploration
CMLA, ENS Cachan, CNRS（卡尚高等师范学院、法国国家科学研究中心应用数学中心）
在本文中，我们考虑的挑战，最大化的未知函数f的评价是嘈杂的，并获得高成本。迭代过程使用先前的测量来主动选择被预测为最有用的f的下一个估计。我们专注于的情况下，可以并行评估的功能与固定大小的批次和分析的好处相比，纯粹的顺序过程中的累积遗憾。我们引入了高斯过程置信上限和纯探索算法（GP-UCB-PE），它结合了UCB策略和纯探索在同一批评估沿并行迭代。我们证明了理论上的上限的遗憾与批量大小为K，这表明改进的顺序sqrt{K}的固定迭代成本在纯粹的顺序版本。此外，所涉及的乘法常数具有无量纲的性质。我们还从经验上证实了GP-UCB-PE与最先进的竞争对手相比在实际和合成问题上的效率。
2013-09-02 cs.LG stat.ML
Variance Driven Exploration: A Provable and Efficient Methodology for Pure Exploration in Highly Stochastic Environments
Hanoi University of Science and Technology（河内科技大学）；Quantum AI & Cyber Security Institute, FPT Corporation（FPT公司量子人工智能与网络安全研究院）
该研究提出 VarDE 方法，将其应用于 BAI、MCTS、BPI 问题，在方差衰减和简单遗憾上有理论保证，在高度随机环境中性能优于现有方法。
2026-08-25 cs.AI cs.LG stat.ML
Gamification of Pure Exploration for Linear Bandits
INRIA - DIENS - PSL Research University（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系 - PSL研究大学）；INRIA（法国国家信息与自动化研究所）；DeepMind Paris（深度思维巴黎分公司）
我们调查了一个积极的纯探索设置，其中包括最佳臂识别，在线性随机土匪的背景下。虽然渐近最优算法存在的标准多臂土匪，这种算法的存在最好的武器识别线性土匪一直难以捉摸，尽管几次尝试解决it. First，我们提供了一个彻底的比较和新的见解在不同的概念的最优性的线性情况下，包括G-最优性，最佳试验设计和渐近最优性的转导最优性。其次，我们设计了线性强盗中固定置信纯探索的第一个渐近最优算法。因此，我们的算法自然绕过了一个简单但困难的实例所造成的陷阱，大多数以前的算法必须被设计来显式处理。最后，我们避免了需要完全解决的最优设计问题，提供了一种方法，需要一个有效的实施。
2020-07-02 cs.LG stat.ML
When Greedy Sampling Explores: KL-Regularized Contextual Bandits without Eluder-Dimension Dependence
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Oregon State University（俄勒冈州立大学）
本文研究 KL 正则化上下文赌博机，证明贪心采样在奖励与偏好反馈下均可实现无 eluder 维度依赖的对数遗憾，并揭示其与上置信界探索间的权衡。
2026-09-22 cs.LG
Pure Exploration in Bandits with Linear Constraints
Chalmers University of Technology（查尔姆斯理工大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
针对带线性约束的多臂老虎机固定置信最优策略识别问题，本文刻画信息论下界，并提出两种追踪法锥边界加权投影最优分配的渐近最优算法，且通过实验验证。
2024-01-25 cs.LG
Combinatorial Pure Exploration with Bottleneck Reward Function
Tsinghua University（清华大学）；The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Microsoft Research（微软研究院）
本文研究了在固定置信度和固定预算条件下具有瓶颈报酬函数的组合纯探索问题。在CPE-B中，给定一组基臂和基臂子集的集合，（超级手臂）遵循一定的组合约束，学习者顺序地玩基本手臂并观察其随机奖励，目的是找到具有最大瓶颈值的最佳超级手臂，定义为超级武器中包含的基本武器的最低预期奖励。CPE-B模型涵盖了通信网络中的网络路由等多种实际场景，其\emph{unique challenges}的关键在于如何利用瓶颈特性节省样本，达到统计最优。现有的CPE研究（其中大多数假设线性奖励）都不能适应解决这些挑战，因此我们开发了全新的技术来处理它们。对于FC设置，我们提出了新的算法，最佳的样本复杂度为一个广泛的家庭的情况下，并建立一个匹配的下限，以证明最优性（对数因子内）。对于FB设置，我们设计了一种算法，实现了最先进的错误概率保证，是第一个有效地运行在固定预算的路径实例，相比现有的CPE算法。我们的实验结果的顶部- $k$，路径和匹配的情况下验证了经验的优越性，所提出的算法在其基线。
2021-10-26 cs.LG
Pure Exploration of Multi-armed Bandit Under Matroid Constraints
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了随机多臂强盗对策中具有拟阵约束（最佳基）的纯探索问题。在最佳基的情况下，我们给出了$n$随机武器与未知的奖励分布，以及拟阵$\mathcal{M}$的武器。让手臂的重量是它的奖励分布的平均值。我们的目标是使用尽可能少的样本，确定具有最大总重量的$\mathcal{M}$的基础。该问题是近年来引起广泛关注的最佳臂识别问题和顶- $k$臂识别问题的重要推广。我们研究了最佳基础的精确和PAC版本，并为这些版本提供了接近最佳样本复杂度的算法。我们的结果推广和/或改进的前$k$臂识别问题和组合纯探索问题时，组合约束是拟阵的几个先前的结果。
2016-05-25 cs.DS cs.LG
Dual-Directed Algorithm Design for Efficient Pure Exploration
Stanford Graduate School of Business, Stanford University（斯坦福商学院、斯坦福大学）；Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（工业工程与决策分析系、香港科学与技术大学）
针对多类纯探索问题，提出基于对偶变量的统一算法设计原则，衍生出信息导向选择规则，使top-two汤普森采样达到渐近最优，并适用于阈值赌博机与ε-最优臂识别。
2025-05-27 cs.LG stat.ML
Near Instance Optimal Model Selection for Pure Exploration Linear Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们介绍了纯探索线性强盗的模型选择问题，其中学习者需要适应包含真实模型的最小假设类的实例相关复杂性度量。我们设计的算法在固定的信心和固定的预算设置与近实例最优保证。我们的算法的核心是一个新的优化问题的基础上试验设计，利用几何的动作集，以确定一个接近最优的假设类。我们的固定预算算法是基于一种新的选择验证过程，它提供了一种新的方法来研究欠研究的固定预算设置（即使没有增加的挑战模型选择）。我们适应我们的算法，在固定的信心和固定的预算设置，模型误指定的问题。
2022-03-17 cs.LG stat.ML
Pure Exploration in Kernel and Neural Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Chicago（芝加哥大学）
我们研究纯粹的探索土匪，其中的特征表示的维度可以远远大于武器的数量。为了克服维数灾难，我们建议自适应地将每个手臂的特征表示嵌入到低维空间中，并仔细处理诱导的模型误指定。我们的方法在概念上是非常不同的，从现有的作品，只能处理低维线性土匪或被动处理模型的误指定。我们展示了我们的方法在两个以前研究不足的纯探索设置中的应用：（1）奖励函数属于可能无限维的再生核希尔伯特空间，（2）奖励函数是非线性的，可以用神经网络近似。我们的主要结果提供了样本的复杂性保证，只依赖于内核或神经表示的特征空间的有效尺寸。在合成数据集和真实数据集上进行的大量实验证明了我们方法的有效性。
2022-03-17 cs.LG stat.ML
Combinatorial Pure Exploration with Continuous and Separable Reward Functions and Its Applications (Extended Version)
Tsinghua University（清华大学）；KTH（瑞典皇家理工学院）；Ant Financial Group（蚂蚁金融集团）；Microsoft Research（微软研究院）
研究随机多臂强盗环境下报酬函数连续可分的组合纯探索问题。在CPE-CS实例中，我们给出了几个具有未知分布的随机臂，以及一组可能的决策。每一个决定都有一个奖励，根据武器的分配。目标是使用尽可能少的手臂样本来确定具有最大奖励的决策。该问题推广了近年来引起广泛关注的具有线性报酬的组合纯探索问题。本文针对CPE-CS问题提出了一种自适应学习算法，并分析了其样本复杂度。特别地，我们引入了一个新的硬度测量称为一致的最优性硬度，并给出了样本复杂度的上界和下界。此外，我们给出的例子表明，我们的解决方案有能力处理非线性奖励函数。
2018-05-04 cs.LG stat.ML
Combinatorial Pure Exploration of Causal Bandits
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
因果土匪的组合纯探索是以下在线学习任务：给定具有未知因果推断分布的因果图，在每一轮中，我们选择变量的子集进行干预或不进行干预，并观察所有随机变量的随机结果，目标是使用尽可能少的轮，我们可以以至少$1-δ$的概率输出给出关于奖励变量$Y$的最佳（或几乎最佳）预期结果的干预，其中$δ$是给定的置信水平。我们提供了两种类型的因果模型-二进制广义线性模型（BGLM）和一般图的第一个间隙依赖和完全自适应的纯探索算法。对于BGLM，我们的算法是第一个专门为这种设置设计的，并实现多项式样本复杂度，而所有现有的算法一般图形的样本复杂度指数的图形大小或一些不合理的假设。对于一般的图，我们的算法提供了一个显着的改善样本的复杂性，它几乎匹配的下限，我们证明。我们的算法实现了这样的改进，通过一个新的集成前因果强盗算法和前自适应纯探索算法，其中前者利用因果强盗丰富的观测反馈，但不适应奖励差距，而后者有相反的问题。
2023-03-14 cs.AI cs.LG
FraPPE: Fast and Efficient Preference-based Pure Exploration
Univ. Lille, Inria CNRS, Centrale Lille UMR 9189 - CRIStAL（里尔大学、法国国家信息与自动化研究所（Inria）、法国国家科学研究中心（CNRS）、里尔中央理工大学（Centrale Lille））
本文提出 FraPPE 算法，通过结构性质化简和 Frank-Wolfe 优化高效求解下界最大最小问题，在 $\mathcal{O}(KL^{2})$ 时间内实现基于偏好的纯探索，并证明其渐近最优样本复杂度。
2025-08-22 cs.AI cs.LG math.OC
Exploiting Preference Elicitation in Interactive and User-centered Algorithmic Recourse: An Initial Exploration
本文提出一种引导式交互范式以在算法补救中引导用户偏好，实验表明其提升效率但限制探索自由，建议结合探索与引导以平衡效率与用户自由度。
2024-04-08 cs.CY cs.HC cs.LG
Exploration in Interactive Personalized Music Recommendation: A Reinforcement Learning Approach
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
当前的音乐推荐系统通常通过推荐具有最高用户评级的歌曲来以贪婪的方式起作用。然而，贪婪的推荐从长远来看是次优的：它不会主动收集用户偏好的信息，也不会推荐可能感兴趣的新颖歌曲。一个成功的推荐系统必须平衡探索用户偏好和利用这些信息进行推荐的需求。本文提出了一种新的音乐推荐方法，将这种探索-利用权衡公式化为一种称为多臂强盗的强化学习任务。为了学习用户偏好，它使用贝叶斯模型，该模型考虑了音频内容和推荐的新颖性。采用分段线性近似模型和变分推理算法来加快贝叶斯推理。我们的方法的另一个好处是音乐推荐和播放列表生成的单一统一模型。模拟结果和用户研究表明，新方法的强大潜力。
2013-11-06 cs.IR cs.LG cs.MM
Pure Exploration and Regret Minimization in Matching Bandits
CREST（法国经济与统计研究中心）；ENSAE Paris（巴黎国立统计与经济管理学院）；London School of Economics（伦敦政治经济学院）；Criteo AI Lab（Criteo人工智能实验室）
在加权图中寻找最优匹配是一个标准的组合问题。我们认为它的半强盗版本，无论是一对或一个完整的匹配采样顺序。我们证明，它是可能的，利用秩1假设的邻接矩阵，以减少样本的复杂性和遗憾的现成的算法达到线性依赖的顶点数（多对数项）。
2021-07-31 cs.LG stat.ML
Leveraging the Power of Conversations: Optimal Key Term Selection in Conversational Contextual Bandits
The Chinese University of Hong Kong（香港中文大学）
针对对话式上下文Bandit中关键术语选择探索不足和对话发起规则僵化的问题，提出CLiSK、CLiME和CLiSK-ME三种算法，通过平滑上下文和自适应发起对话优化偏好学习，实现更紧的遗憾界并提升实际性能。
2025-05-27 cs.AI cs.LG
Cost-Aware Optimal Pairwise Pure Exploration
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出通用成对纯探索框架，考虑臂特定成本并推导性能下界，设计 CAET 算法渐近达到下界，并通过实验验证其有效性。
2025-03-10 cs.IT cs.LG math.IT
