Near-Optimal Regret Bounds for Contextual Combinatorial Semi-Bandits with Linear Payoff Functions
NEC Corporation（日本电气株式会社）；RIKEN AIP（理化学研究所人工智能项目）；Tokyo Institute of Technology（东京工业大学）；Chuo University（中央大学）；Keio University（庆应义塾大学）；National Institute of Informatics（国立情报学研究所）
具有线性支付函数的上下文组合半强盗问题是一个决策问题，在该问题中，学习者在给定的约束条件下，每轮选择一组具有特征向量的手臂，以最大化手臂的回报之和.几个现有的算法的遗憾界是最佳的回合数$T$。然而，在当前最佳上限和下限之间存在$\tilde{O}(\max(\sqrt{d}, \sqrt{k}))$的差距，其中$d$是特征向量的维度，$k$是一轮中所选臂的数量，并且$\tilde{O}(\cdot)$忽略对数因子。$k$和$d$的相关性具有实际重要性，因为在诸如推荐系统的实际应用中，$k$可能大于$T$。在本文中，我们通过改进上界和下界来填补这一空白。更准确地说，我们证明了Qin，Chen和Zhu（2014）提出的C ${}^2$ UCB算法对于划分拟阵约束具有最佳遗憾界$\tilde{O}(d\sqrt{kT} + dk)$。对于一般的约束条件，我们提出了一个算法，修改的奖励估计的武器在C ${}^2$ UCB算法，并证明它享有最佳的遗憾界更一般的问题，可以同时考虑到其他目标。我们还表明，我们的技术将适用于相关的问题。数值实验支持我们的理论结果和考虑。
2021-02-27 cs.LG stat.ML
TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition
Ningyuan Xi 1,2（西宁元 1,2）；Hao Xu 3（许浩 3）；Hongsheng Xin 3（辛红生 3）；Ning Miao 1,2, †（苗宁 1,2, †）
针对强化学习在零奖励问题上无法提供优化信号的问题，提出训练时分解框架TD-Grokking，将难解问题递归分解为可验证子问题，在数学和医疗任务上优于基线方法。
2026-06-03 cs.AI cs.LG
Linear Combinatorial Semi-Bandit with Causally Related Rewards
University of Tübingen（图宾根大学）；Technical University of Berlin（柏林工业大学）
在顺序决策问题中，与手臂相关的奖励分布之间存在结构依赖性，这使得识别保证最佳集体结果的备选方案子集具有挑战性。因此，除了个体行为的回报外，学习因果关系对改善决策策略至关重要。为了解决上述双重学习问题，我们开发了“具有因果相关奖励的组合半强盗框架”，其中我们通过静态结构方程模型中的有向图来建模因果关系。图形信号中的节点观测包括对应的基臂的瞬时奖励和由其他基臂的奖励的因果影响产生的附加项。目标是最大化长期平均收益，这是一个线性函数的基础武器的回报，并强烈依赖于网络拓扑结构。为了实现这一目标，我们提出了一个政策，确定因果关系，通过学习网络的拓扑结构，同时利用这些知识来优化决策过程。我们建立了一个次线性的遗憾界所提出的算法。使用合成和真实世界的数据集的数值实验表明，我们提出的方法相比，几个基准的优越性能。
2022-12-25 cs.LG
On the Regularity and Fairness of Combinatorial Multi-Armed Bandit
本文针对无线网络应用，提出了一种参数化的规律且公平的学习算法，通过线性组合虚拟队列长度、TSLR度量和UCB估计值，在最大化累积奖励的同时保证了臂间的公平性与奖励规律性，并实现了零累积公平性违规。
2025-09-15 cs.LG
Combinatorial Bandits without Total Order for Arms
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Amazon（亚马逊）
我们考虑组合强盗问题，其中在每个时间步，在线学习者从臂集合$\mathcal{A}$中选择大小为$k$的子集$s$，其中$\left|\mathcal{A}\right| = n$，并观察所选集合$s$中每个臂的随机奖励。在线学习者的目标是最小化由于不选择最大化预期总回报的$s^*$而引起的遗憾。具体来说，我们关注一个具有挑战性的设置，其中1）手臂的奖励分配取决于它所属的集合$s$，至关重要的是2）$\mathcal{A}$中的手臂有\textit{no total order}。在本文中，我们正式提出了一个奖励模型，捕捉集依赖的奖励分布，并假设没有总的武器秩序。相应地，我们提出了一个置信上限（UCB）算法，保持UCB为每个单独的手臂，并选择与顶部$k$ UCB的武器。我们开发了一个新的遗憾分析，并显示了$O\left(\frac{k^2 n \log T}ε\right)$缺口依赖的遗憾界以及$O\left(k^2\sqrt{n T \log T}\right)$缺口独立的遗憾界。我们还提供了一个下界建议的奖励模型，这表明我们提出的算法是接近最优的任何常数$k$。在各种奖励模型上的实验结果证明了该算法的广泛适用性。
2021-03-03 cs.LG
Networked Stochastic Multi-Armed Bandits with Combinatorial Strategies
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Singapore University of Technology and Design（新加坡科技设计大学）
在本文中，我们研究了一个很大程度上扩展版本的经典MAB问题，称为网络组合强盗问题。特别地，我们考虑了决策者在网络化强盗上的设置如下：每次组合策略，例如，选择一组手臂，决策者收到她的策略产生的奖励，也收到每个手臂邻居的策略产生的附加奖励。这是由许多真实的应用程序，如在线社交网络，其中朋友可以提供他们的反馈共享内容，因此，如果我们向用户推广产品，我们也可以收集反馈，她的朋友对该产品。为此，我们在这项研究中考虑了两种类型的边奖金：边观察和边奖励。根据每个时间段的手臂拉动次数，我们研究了两种情况：单人游戏和组合游戏。因此，这给我们留下了四个场景来研究存在边奖金的情况：带边观察的单人游戏，带边观察的组合游戏，带边奖励的单人游戏和带边奖励的组合游戏。对于每一种情况下，我们提出并分析了一系列的\emph{zero regret}政策，随着时间的推移，随着时间的推移，后悔的期望接近零。大量的模拟验证了我们的结果的有效性。
2015-03-20 cs.LG
Adversarial Combinatorial Bandits with General Non-linear Reward Functions
New York University（纽约大学）；Stanford University（斯坦福大学）；University of Florida（佛罗里达大学）
在本文中，我们研究了一个已知的非线性回报函数的对抗性组合强盗，扩展了现有的工作对抗性线性组合强盗。{The具有一般非线性报酬的对抗性组合强盗是强盗文献中的一个重要的公开问题，并且仍然不清楚与线性报酬、随机强盗或半强盗反馈的情况是否存在显著的差距。我们发现，与$N$武器和$K$武器的子集被选择在每个$T$时间段，极小极大最优遗憾是$\widetildeΘ_{d}(\sqrt{N^d T})$，如果奖励函数是一个$d$ -度多项式与$d< K$，和$Θ_K(\sqrt{N^K T})$，如果奖励函数不是一个低次多项式。{Both的界限与线性情况下的界限$O(\sqrt{\mathrm{poly}(N,K)T})$显著不同，这表明在线性和非线性奖励结构之间存在根本差距。}我们的研究结果也发现应用于在线推荐中的对抗性分类优化问题。我们表明，在最坏的情况下，对抗性的分类问题，最优算法必须对待每个人的$\binom{N}{K}$分类独立。
2021-01-05 cs.LG stat.ML
Leader Reward for POMO-Based Neural Combinatorial Optimization
Fudan University（复旦大学）
本文提出领导者奖励方法，通过在POMO模型的两个训练阶段应用，提升模型生成最优解的能力，尤其在TSP100上显著缩小了与最优解的差距。
2026-06-29 cs.LG
Combinatorial Pure Exploration with Continuous and Separable Reward Functions and Its Applications (Extended Version)
Tsinghua University（清华大学）；KTH（瑞典皇家理工学院）；Ant Financial Group（蚂蚁金融集团）；Microsoft Research（微软研究院）
研究随机多臂强盗环境下报酬函数连续可分的组合纯探索问题。在CPE-CS实例中，我们给出了几个具有未知分布的随机臂，以及一组可能的决策。每一个决定都有一个奖励，根据武器的分配。目标是使用尽可能少的手臂样本来确定具有最大奖励的决策。该问题推广了近年来引起广泛关注的具有线性报酬的组合纯探索问题。本文针对CPE-CS问题提出了一种自适应学习算法，并分析了其样本复杂度。特别地，我们引入了一个新的硬度测量称为一致的最优性硬度，并给出了样本复杂度的上界和下界。此外，我们给出的例子表明，我们的解决方案有能力处理非线性奖励函数。
2018-05-04 cs.LG stat.ML
Graph Structured Combinatorial Semi-Bandit with Nonlinear Reward Associations through Separable Signals
IEEE
针对图结构组合半赌博机问题，提出基于图因果奖励建模、再生核方法和泰勒近似的自适应策略，实现时间次线性与数据量线性性能保证，并验证于合成与真实交通数据。
2026-06-15 cs.LG
Combinatorial Multi-Armed Bandit and Its Extension to Probabilistically Triggered Arms
Microsoft（微软）；Cornell University（康奈尔大学）；Tsinghua University（清华大学）
我们定义了一个一般框架的一大类组合多臂强盗（CMAB）问题，其中的子集的基础武器与未知的分布形式的超级武器。在每一轮中，使用超级手臂，并使用超级手臂中包含的基础手臂，并观察其结果。我们进一步考虑了扩展，其中基于已经触发的武器的结果，更多的武器可能被概率触发。超级手臂的奖励取决于所有参与手臂的结果，并且它只需要满足两个温和的假设，这允许大量的非线性奖励实例。我们假设一个离线的（α，β）-近似预言机的可用性，该预言机采用武器的结果分布的平均值，并输出一个超级武器，该超级武器以概率β生成最优预期奖励的α分数。CMAB的在线学习算法的目标是最小化（α，β）-近似后悔，其是总是玩最佳超级武器时的期望奖励的α β分数与根据算法玩超级武器的期望奖励之间的差。我们提供CUCB算法，实现O（log n）分布相关的遗憾，其中n是轮数，我们进一步提供了一个大类的奖励函数的分布无关的界限。我们的遗憾分析是紧密的，因为它匹配的UCB1算法的约束（一个常数因子）的经典MAB问题，它显着提高了遗憾界在早期的文件组合土匪与线性奖励。我们将我们的CMAB框架应用到两个新的应用程序，概率最大覆盖率和社会影响力最大化，都具有非线性奖励结构。特别是，社会影响力最大化的应用需要我们对概率触发武器的扩展。
2016-03-29 cs.LG
Risk-Aware Algorithms for Combinatorial Semi-Bandits
Indian Institute of Science（印度科学理工学院）
本文研究了半强盗反馈下的随机组合多臂强盗问题。虽然已经做了大量的工作，优化线性以及一些一般的奖励函数的预期奖励的算法，我们研究的问题，其中的目标是风险意识的一个变体。更具体地说，我们考虑的问题，最大化的条件风险价值（CVaR），风险度量，只考虑最坏情况下的回报。我们提出了新的算法，最大限度地提高CVaR的奖励从超级武器的组合强盗高斯和有界的手臂奖励的两种情况下。我们进一步分析这些算法，并提供遗憾的界限。我们相信，我们的研究结果提供了第一个理论见解组合半强盗问题的风险意识的情况下。
2021-12-02 cs.AI cs.LG
Sleeping Combinatorial Bandits
IIIT Hyderabad（海得拉巴国际信息技术学院）；Technion（以色列理工学院）
在本文中，我们研究了一个有趣的组合睡眠和组合随机土匪。在这里研究的混合模型中，在每个离散时刻，从一组固定的\emph{base}臂生成任意的\emph{availability set}。算法可以从\emph{availability set}（睡眠强盗）中选择一个分支子集，并接收相应的奖励以及半强盗反馈（组合强盗）。我们适应著名的CUCB算法在睡眠组合强盗设置，并将其称为\CSUCB。我们证明-在温和的光滑条件下-\CSUCB \算法实现了$O(\log (T))$实例相关的遗憾保证。我们进一步证明了：（i）当奖励范围有界时，\CSUCB \算法的后悔保证是$O(\sqrt{T \log (T)})$;（ii）在一般情况下，与实例无关的后悔保证是$O(\sqrt[3]{T^2 \log(T)})$.我们的结果是相当普遍的，并在一般的环境下，如非添加剂的奖励功能，不稳定的手臂的可用性，一个可变数量的基臂被拉-在实际应用中出现。我们通过实验验证了已证明的理论保证。
2021-06-03 cs.LG
Tight Lower Bounds for Combinatorial Multi-Armed Bandits
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
组合多臂强盗问题（Combinatorial Multi-Armed Bandit problem）是一个顺序决策问题，其中智能体在每一轮中选择一组武器，观察这些武器中每一个的反馈，并旨在最大化其选择的武器的已知奖励函数。虽然以前的工作证明了遗憾的上限，在这种设置一般的奖励功能，只有少数作品提供匹配的下限，所有特定的奖励功能。在这项工作中，我们证明了遗憾的下限组合土匪举行温和的假设下，所有顺利的奖励功能。我们推导出问题相关和问题无关的边界，并表明最近提出的Gini加权平滑参数（Merlis和Mannor，2019）也确定了单调奖励函数的下界。值得注意的是，这意味着我们的下界紧到对数因子。
2020-07-16 cs.LG stat.ML
Combinatorial Multi-Objective Multi-Armed Bandit Problem
Bilkent University（比尔肯特大学）；The Ohio State University（俄亥俄州立大学）
在本文中，我们介绍了组合多目标多臂强盗（COMO-MAB）的问题，抓住了组合和多目标在线学习的挑战，同时。在这种设置中，学习器的目标是每次选择一个动作，其奖励向量是该动作中手臂的奖励向量的线性组合，以学习超级帕累托最优动作的集合，该集合包括帕累托最优动作和在将任意小正数添加到其期望奖励向量之后变为帕累托最优的动作。我们定义了Pareto后悔性能指标，并提出了一个公平的学习算法，其Pareto后悔为$O(N L^3 \log T)$，其中$T$是时间范围，$N$是手臂数，$L$是动作中的最大手臂数.我们表明，COMO-MAB有广泛的应用，包括向用户和网络路由项目的建议束，并专注于多用户通信中存在的多维性能指标的资源分配应用程序，我们表明，我们的算法优于现有的MAB算法。
2018-03-11 cs.LG
EvoCoT: Overcoming the Exploration Bottleneck in Reinforcement Learning
School of Computer Science, Peking University（北京大学计算机科学学院）；College of AI, Tsinghua University（清华大学人工智能学院）；Imperial College London（伦敦帝国理工学院）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
EvoCoT通过两阶段链式思维优化框架，解决强化学习中稀疏奖励下的探索瓶颈问题，提升大语言模型的推理能力。
2026-04-20 cs.LG
Top-k Combinatorial Bandits with Full-Bandit Feedback
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
Top-k组合强盗一般化多武器强盗，其中在每一轮可以选择$n$武器中的任何$k$子集，并且获得奖励的总和。我们解决全强盗反馈，其中代理人只观察奖励的总和，与半强盗反馈，其中代理人也观察个别武器的奖励。我们提出了组合连续接受和拒绝（CSAR）算法，它将SAR（Bubeck et al，2013）推广到top-k组合强盗。我们的主要贡献是一个有效的抽样计划，使用阿达玛矩阵，以准确地估计个人武器的预期回报。我们讨论了两个变种的算法，第一个最大限度地减少样本的复杂性，第二个最小化的遗憾。我们还证明了一个下界的样本复杂性，这是紧的$k=O(1)$。最后，我们进行了实验，并表明我们的算法优于其他方法。
2019-12-04 cs.LG stat.ML
Revealing Combinatorial Reasoning of GNNs via Graph Concept Bottleneck Layer
Tongji University, Shanghai, China（同济大学）；City University of Macau, Macau, China（澳门城市大学）
本文提出图概念瓶颈层，通过将概念视为图词并利用语言模型学习嵌入，提升GNNs的组合推理可解释性与性能。
2026-03-02 cs.AI cs.LG
Planning with Exploration: Addressing Dynamics Bottleneck in Model-based Reinforcement Learning
Center for Research on Intelligent System and Engineering（智能系统与工程研究中心）；Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于模型的强化学习（MBRL）被认为比无模型强化学习（MFRL）具有更高的样本效率。然而，MBRL一直受到动力学瓶颈困境的困扰。动力学瓶颈困境是指当与环境的交互步长增加时，算法的性能没有增加反而陷入局部最优，即数据量增加并不能带来更好的性能。本文通过理论分析发现，轨迹回报估计误差是导致动力学瓶颈困境的主要原因。给出了轨迹报酬估计误差的上界，指出提高智能体的探索能力是减小轨迹报酬估计误差，从而缓解动力学瓶颈困境的关键.基于此，提出了一种基于模型的渐进熵探索控制方法MOPE 2（Model-based Progressive Entropy-based Exploration）。我们进行了几个复杂的连续控制基准任务的实验。结果验证了MOPE 2可以有效缓解动力学瓶颈困境，并且比之前的MBRL和MFRL算法具有更高的样本效率。
2021-06-24 cs.AI cs.LG
Neural Combinatorial Clustered Bandits for Recommendation Systems
Carnegie Mellon University（卡内基梅隆大学）
针对推荐系统，提出神经组合聚类老虎机NeUClust，利用深度神经网络估计奖励并聚类选择超级臂，实现$\tilde{O}(\tilde{d}\tilde{T})$遗憾界，实验优于现有算法。
2024-10-18 cs.AI cs.LG
Symmetric Replay Training: Enhancing Sample Efficiency in Deep Reinforcement Learning for Combinatorial Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））；OMELET
针对深度强化学习在组合优化中样本效率低的问题，提出对称重放训练（SRT）方法，利用高奖励样本免费探索对称区域，提升多种DRL方法在真实任务中的样本效率。
2024-07-17 cs.LG
Combinatorial Multi-Armed Bandits with Filtered Feedback
Lancaster University（兰卡斯特大学）；Naval Postgraduate School（海军研究生院）
在搜索和检测问题的动机，我们提出了一个解决方案的组合多臂强盗（CMAB）问题的重尾奖励分布和一类新的反馈，过滤semibandit反馈。在CMAB问题中，智能体在每一轮中从集合$\{1,...,k\}$中抽取一组手臂，从与这些手臂相关联的概率分布中生成随机结果，并获得总体奖励。在半强盗反馈下，假设生成的随机结果都被观察到。滤波半强盗反馈允许从以初始随机结果为条件的第二分布中采样观察到的结果。这种反馈机制是有价值的，因为它允许CMAB方法应用于顺序搜索和检测问题，其中进行组合动作，但没有观察到真正的奖励（在回合中出现的感兴趣的对象的数量），而是过滤的奖励（搜索器成功找到的对象的数量，根据定义必须小于出现的数量）。我们提出了一个上置信界类型的算法，Robust-F-CUCB，和相关的遗憾界的顺序$\mathcal{O}(\ln(n))$，以平衡勘探和开发，面对过滤的奖励和重尾奖励分布。
2017-05-26 cs.LG stat.ML
Multilingual Verifier Bias in RLVR: Benchmark, Rollout Diagnosis, and the Cross-Lingual Selection Bottleneck
School of Engineering, Institute of Science Tokyo（科学东京大学工程学院）；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程学院）
研究发现多语言RLVR中存在验证器偏差，引入审计协议定位到最终答案接口的机制，提出跨语言选择瓶颈，rule-GRPO可提升可信准确率。
2026-08-24 cs.CL cs.LG
Non-stationary Delayed Combinatorial Semi-Bandit with Causally Related Rewards
Tübingen University（图宾根大学）；Fraunhofer Heinrich Herz Institute（弗劳恩霍夫海因里希·赫兹研究所）
针对非平稳环境下带反馈延迟、奖励存在因果依赖的组合半老虎机问题，提出从延迟反馈学习因果结构、适应环境漂移的决策策略，证明了遗憾界并通过实验验证了其在疫情传播溯源等场景的有效性。
2023-07-18 cs.LG stat.ML
Combinatorial Multi-armed Bandits for Resource Allocation
Carnegie Mellon University（卡内基梅隆大学）
我们研究的顺序资源分配问题，决策者反复分配资源之间的预算。激励性示例包括将有限的计算时间或无线频谱带分配给多个用户（即，资源）。在每一个时间步，决策者应该在不同的资源之间分配其可用的预算，以最大限度地提高预期回报，或等价地减少累积的遗憾。在这样做时，决策者应该从每个用户收到的奖励的反馈中了解为每个用户分配的资源的价值。例如，用户可以通过无线频谱带发送不同紧急程度的消息;通过向用户分配频谱而生成的奖励则取决于消息的紧急程度。我们假设每个用户的奖励遵循一个最初未知的随机过程。我们设计了组合多臂强盗算法来解决这个问题，离散或连续的预算。我们证明了所提出的算法实现对数遗憾下半强盗反馈。
2021-05-10 cs.LG stat.ML
Stabilized Best-of-$K$ Training for Neural Combinatorial Optimization
该研究针对神经组合优化，将POMO训练的二元领导者区分替换为稳定排名信号，在TSP-100测试集上验证了稳定K=8方案可降低K选8成本，且不宣称其为无偏估计器或最优方法。
2026-08-04 cs.LG
Thompson Sampling For Combinatorial Bandits: Polynomial Regret and Mismatched Sampling Paradox
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
该研究针对线性组合半老虎机问题，提出首个有限时间后悔不随维度指数增长的汤普森采样方法，并发现失配采样悖论，即正确后验采样表现可能远差于合适的高斯后验采样。
2024-10-07 cs.LG stat.ML
Online Learning for Combinatorial Network Optimization with Restless Markovian Rewards
University of Southern California（南加州大学）；University of Michigan（密歇根大学）
考虑边权重计算最优结构的组合网络优化算法形成了许多网络协议的基础。例子包括最短路径路由，最小生成树计算，最大加权匹配的二分图等，我们提出CLRMR，第一个在线学习算法，有效地解决了这些问题的随机版本的基础边权重变化为独立的马尔可夫链与未知的动态。一个在线学习算法的性能的特点是在遗憾，定义为一个适当定义的精灵之间的奖励，并通过给定的算法获得的累积差异。我们证明，相比一个精灵，知道马尔可夫转移矩阵，并在任何时候都使用单一的最佳结构，CLRMR产量遗憾，是多项式的边缘数和近对数的时间。
2011-09-08 cs.LG cs.NI math.OC
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
Combinatorial Pure Exploration with Full-Bandit or Partial Linear Feedback
Tsinghua University（清华大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Microsoft Research（微软研究院）
在本文中，我们首先研究了组合纯探索与全强盗反馈（CPE-BL）的问题，其中学习者被赋予一个组合动作空间$\mathcal{X} \subseteq \{0,1\}^d$，并在每一轮的学习者拉动作$x \in \mathcal{X}$和接收随机奖励与期望$x^{\top} θ$，与$θ\in \mathbb{R}^d$潜在的和未知的环境向量。目标是使用尽可能少的样本来确定具有最高预期回报的最佳行动。对于CPE-BL，我们设计了第一个{ \em多项式时间自适应}算法，其样本复杂度与一系列实例的下限（对数因子内）相匹配，并且具有对$Δ_{\min}$（最佳动作和次优动作之间的最小间隙）的轻度依赖。此外，我们提出了一种新的广义CPE-BL灵活的反馈结构，称为组合纯探索与部分线性反馈（CPE-PL），其中包括几个家庭的子问题，包括全强盗反馈，半强盗反馈，部分反馈和非线性奖励函数。在CPE-PL中，每个动作拉动$x$报告具有$M_{x} θ$期望的随机反馈向量，其中$M_x \in \mathbb{R}^{m_x \times d}$是$x$的变换矩阵，并且获得与$x$相关的随机（可能非线性）奖励。对于CPE-PL，我们开发了第一个{ \em多项式时间}算法，它同时解决了有限反馈，一般奖励函数和组合动作空间，并提供了其样本复杂度分析。我们的实证评估表明，我们的算法运行的数量级比现有的，我们的C…
2020-12-15 cs.LG stat.ML
Piecewise-Stationary Combinatorial Semi-Bandit with Causally Related Rewards
University of Tübingen（图宾根大学）
研究具有因果相关奖励的分段平稳组合半老虎机问题，提出基于UCB并集成GLR变点检测、组重启策略及图结构追踪机制的算法，理论证明遗憾上界且实验验证其优越性。
2023-07-26 cs.AI cs.LG stat.ML
Online Learning of Network Bottlenecks via Minimax Paths
Volvo Car Corporation（沃尔沃汽车公司）；Chalmers University of Technology（查尔姆斯理工大学）
本文研究了通过提取极大极小路径来识别网络瓶颈的问题。许多现实世界的网络具有随机权重，事先无法获得全部知识。因此，我们将此任务建模为组合半强盗问题，我们应用组合版本的汤普森采样，并建立相应的贝叶斯后悔的上限。由于计算棘手的问题，我们然后设计了一个替代的问题配方，近似原来的目标。最后，我们在真实世界的有向和无向网络上实验评估了近似公式的Thompson采样的性能。
2023-02-14 cs.LG stat.ML
Combinatorial Network Optimization with Unknown Variables: Multi-Armed Bandits with Linear Rewards
University of Southern California（南加州大学）
在经典的多武器土匪问题中，目标是有一个动态操作武器的策略，每个武器都以未知的方式产生随机奖励。兴趣的关键指标是后悔，定义为无所不知的玩家积累的预期总回报与给定策略积累的预期总回报之间的差距。在以前的工作中提出的政策的存储，计算和遗憾都线性增长的武器，这是不可扩展的武器数量时，是大的。在这项工作中，我们考虑了一个广泛的多武装土匪与依赖武器，产生奖励作为一组未知参数的线性组合。对于这个一般的框架，我们提出了有效的政策，实现遗憾的增长随时间的推移，多项式的未知参数的数量（即使依赖武器的数量可能会呈指数增长）。此外，这些策略只需要在未知参数的数量上线性增长的存储。我们表明，这种推广是广泛适用的，有用的许多有趣的任务，在网络中，可以制定为易于处理的组合最优化问题与线性目标函数，如最大权重匹配，最短路径，和最小生成树计算。
2010-11-22 cs.LG cs.NI math.OC
Conservative Contextual Combinatorial Cascading Bandit
Shanghai Jiaotong University（上海交通大学）
保守机制是决策问题中一种理想的属性，它可以平衡资源的开发和利用。我们提出了新的\emph{conservative contextual combinatorial cascading bandit ($C^4$-bandit)}，级联在线学习游戏，其中包括保守的机制。在每一个时间步，学习代理被赋予一些上下文，并推荐一个项目列表，但不比基本策略差，然后通过一些停止规则观察奖励。我们设计了$C^4$ -UCB算法来解决这个问题，并证明了它的n步后悔上界的两种情况：已知的基线奖励和未知的基线奖励。在这两种情况下的后悔可以被分解为两项：（a）一般上下文组合级联强盗的上限;和（b）保守机制的后悔的常数项。作为副产品，我们还改进了保守上下文组合强盗的界。在合成数据上的实验证明了该方法的优越性，验证了理论分析的正确性。
2021-04-23 cs.LG stat.ML
Combinatorial Rising Bandits
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出组合上升老虎机框架和CRUCB算法，解决组合老虎机中因基础臂增强传播导致的依赖问题，通过理论分析和实验验证其高效性和有效性。
2026-03-03 cs.LG stat.ML
Preference Optimization for Combinatorial Optimization Problems
China Mobile（中国移动）；Peking University（北京大学）；Tsinghua University（清华大学）；Jiaying University（嘉应学院）；Sun Yat-Sen University（中山大学）；Central South University（中南大学）
针对神经组合优化中奖励信号弱与探索低效问题，提出将奖励转化为偏好并结合局部搜索微调的偏好优化方法，在 TSP、CVRP 和 FFSP 上显著提升收敛效率与解质量。
2025-05-13 cs.LG
Ranked Reward: Enabling Self-Play Reinforcement Learning for Combinatorial Optimization
InstaDeep（InstaDeep公司）
当与结合了深度神经网络和树搜索的强化学习算法一起使用时，双人游戏中的对抗性自我游戏产生了令人印象深刻的结果。像AlphaZero和Expert Iteration这样的算法学习tabula-rasa，在飞行中产生高度信息化的训练数据。然而，自玩训练策略并不直接适用于单人游戏。最近，几个实际上重要的组合优化问题，如旅行商问题和装箱问题，已被重新表述为强化学习问题，增加了重要性，使自我发挥的好处超越两个玩家的游戏。我们提出了排名奖励（R2）算法，它通过对单个代理在多个游戏中获得的奖励进行排名来创建相对性能指标。将R2算法应用于二维和三维装箱问题的实例表明，它优于一般的蒙特卡罗树搜索，启发式算法和整数规划求解器。我们还提出了一个分析的排名奖励机制，特别是不同的难度和不同的排名阈值的问题实例的影响。
2018-12-06 cs.AI cs.LG stat.ML
Combinatorial Bandits for Maximum Value Reward Function under Max Value-Index Feedback
London School of Economics（伦敦政治经济学院）；Microsoft Research Asia（微软亚洲研究院）
本文研究最大价值-索引反馈下的组合多臂赌博机问题，提出一种新算法，并证明其遗憾界与信息更丰富的半赌博机反馈下的已知界相当，实验验证了其有效性。
2023-05-25 cs.LG math.ST stat.TH
Finite-Time Guarantees for Multi-Agent Combinatorial Bandits with Nonstationary Rewards
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Ottawa（渥太华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对干预效应随时间变化的多智能体序贯资源分配问题，提出含习惯化与恢复机制的非平稳组合多臂赌博机框架，并给出具有动态遗憾保证的算法，糖尿病干预案例显示注册提升最高达基线三倍。
2025-08-28 cs.LG cs.SY eess.SY
Contextual Combinatorial Multi-output GP Bandits with Group Constraints
EPFL（洛桑联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Bilkent University（比尔肯特大学）
本文针对联邦多臂赌博机中带群组奖励约束的组合决策问题，提出双输出高斯过程建模和TCGP-UCB算法，在最大化超级臂奖励与满足群组约束间取得平衡，并证明其遗憾界优于现有非GP组合赌博机方法。
2023-07-10 cs.LG stat.AP stat.ML
IIB-LPO: Latent Policy Optimization via Iterative Information Bottleneck
DeepSeek-AI
IIB-LPO通过迭代信息瓶颈方法，解决LLM推理中的探索崩溃问题，实现更多样化的推理路径和更高的性能表现。
2026-01-09 cs.AI cs.LG
Enhancing Network Resilience through Machine Learning-powered Graph Combinatorial Optimization: Applications in Cyber Defense and Information Diffusion
University of Adelaide（阿德莱德大学）
本论文针对网络防御和信息扩散领域，将加固活动目录与识别结构洞跨越者问题转化为图组合优化，设计机器学习方法发现瓶颈节点和边，以增强网络韧性。
2023-09-22 cs.CR cs.LG
Combinatorial Multi-Armed Bandit with General Reward Functions
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）；Shanghai University of Finance and Economics（上海财经大学）
在本文中，我们研究了随机组合多臂强盗（CMAB）框架，允许一个一般的非线性奖励函数，其期望值可能不仅取决于输入随机变量的平均值，但可能对这些变量的整个分布。我们的框架支持更大类的奖励函数，如$\max()$函数和非线性效用函数。现有的技术依赖于随机变量的均值的精确估计，例如置信上限（UCB）技术，不直接对这些函数起作用。本文提出了一种新的随机优势置信界估计算法（SDCB），该算法估计潜在随机变量的分布及其随机优势置信界。我们证明了SDCB可以实现$O(\log{T})$分布依赖的后悔和$\tilde{O}(\sqrt{T})$分布无关的后悔，其中$T$是时间范围。我们将我们的结果应用到$K$ -MAX问题和期望效用最大化问题。特别地，对于$K$，我们给出了其离线问题的第一多项式时间近似方案（PTAS），并给出了其在线问题的$(1-ε)$ -近似遗憾的第一$\tilde{O}(\sqrt T)$界，对于任何$ε>0$ .
2018-07-20 cs.DS cs.LG stat.ML
An Algorithm for Fixed Budget Best Arm Identification with Combinatorial Exploration
Department of Electrical Engineering, IIT Delhi（电子工程系，德里理工学院）
本文提出一种带组合探索的固定预算最佳臂识别算法，通过构建log2K个组并执行似然比检验来确定最佳臂，基于新参数H4推导误差上界，并在特定情况下优于现有算法。
2026-01-28 cs.LG
Batch-Size Independent Regret Bounds for the Combinatorial Multi-Armed Bandit Problem
Technion, Israel Institute of Technology（以色列理工学院）
研究了报酬函数为非线性的组合多臂强盗（CMAB）问题。在此设置中，智能体在每轮中选择一批手臂，并从该批手臂中的每个手臂接收反馈。智能体旨在最大化的奖励是所选武器及其期望的函数。在许多应用中，奖励函数是高度非线性的，现有算法的性能依赖于全局Lipschitz常数来封装函数的非线性。这可能会导致后悔界限松散，因为大的梯度本身并不一定会导致大的后悔，而只是在奖励参数的不确定性很高的区域。为了克服这个问题，我们引入了一个新的平滑度标准，我们的术语\emph{Gini-weighted smoothness}，考虑到非线性的奖励和浓度属性的武器。我们表明，在现有的算法中的批量大小的遗憾的线性依赖，可以取代这个平滑参数。这反过来又导致更严格的遗憾边界时，平滑参数是批量大小无关的。例如，在概率最大覆盖（PMC）问题，有许多应用，包括影响力最大化，多样化的建议和更多，我们实现了显着的改进的上限。我们还证明了匹配的PMC问题的下界，并表明我们的算法是紧的，在问题的参数的对数因子。
2020-06-07 cs.LG stat.ML
On the Combinatorial Multi-Armed Bandit Problem with Markovian Rewards
Ming Hsieh Department of Electrical Engineering University of Southern California（明斯海德电气工程系 美国南加州大学）
针对用户-资源匹配中状态演化为马尔可夫链的组合多臂老虎机问题，提出一种多项式存储和每步多项式复杂度的学习算法，实现接近对数时间的遗憾界。
2011-03-20 cs.LG cs.NI cs.SY
medR: Reward Engineering for Clinical Offline Reinforcement Learning via Tri-Drive Potential Functions
National University of Singapore（新加坡国立大学）；University of Helsinki（赫尔辛基大学）；Harbin Institute of Technology（哈尔滨工业大学）
medR通过三驱动势函数实现临床离线强化学习中的自动化奖励设计，提升策略性能。
2026-02-04 cs.LG
A Contextual Combinatorial Bandit Approach to Negotiation
BIGAI（北京智源人工智能研究院）；Peking University（北京大学）
本文提出基于上下文组合多臂老虎机的谈判学习框架及 NegUCB 方法，在无奖励函数约束和部分观测条件下实现次线性遗憾，并在三个谈判任务中验证其优越性。
2024-06-30 cs.AI cs.LG
Contextual Combinatorial Conservative Bandits
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
多武装土匪问题要求在开采和勘探之间进行权衡的同时做出顺序决策，并已成功应用于广泛的实际场景。已经设计了各种算法来实现长期的高回报。然而，其短期性能可能相当低，这在风险敏感的应用中是有害的。在前人研究的基础上，我们提出了一个上下文组合保守强盗的框架。提出了一种算法，并证明了$\tilde O(d^2+d\sqrt{T})$的后悔界，其中$d$是特征向量的维数，$T$是总的时间步数.我们进一步提供了一个算法以及遗憾分析的情况下，保守的回报是未知的。实验结果验证了算法的有效性。
2022-02-23 cs.LG stat.ML
Actively Learning Costly Reward Functions for Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Université de Strasbourg（斯特拉斯堡大学）
将深度强化学习的最新进展转移到现实世界的应用程序受到高数据需求的阻碍，因此效率和可扩展性较低。通过对组件（如重放缓冲区或更稳定的学习算法）的独立改进，以及通过大规模分布式系统，标准基准测试任务的训练时间可以从几天减少到几个小时。然而，虽然模拟环境中的奖励是明确定义的并且易于计算，但奖励评估在许多现实世界环境中成为瓶颈，例如，在分子优化任务中，需要计算要求很高的模拟甚至实验来评估状态并量化奖励。因此，如果没有大量的计算资源和时间，训练可能会变得过于昂贵。我们建议通过用神经网络建模的奖励取代昂贵的地面真实奖励来缓解这个问题，用主动学习组件来抵消训练过程中状态和奖励分布的非平稳性。我们证明，使用我们提出的ACRL方法（主动学习强化学习的昂贵奖励），可以更快地在复杂的现实环境中训练代理。通过将强化学习方法应用于新的领域，我们证明了我们可以为化学，材料科学和工程中的现实世界优化问题找到有趣且非平凡的解决方案。
2022-11-23 cs.LG
Combinatorial Blocking Bandits with Stochastic Delays
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
最近的工作已经考虑了自然变化的多臂强盗问题，其中每个手臂的奖励分配是一个特殊的函数的时间过去，因为它的最后一次拉。在这个方向上，一个简单的（但广泛适用的）模型是阻挡强盗，其中一只手臂在每次游戏后的确定数量的回合中变得不可用。在这项工作中，我们在两个方向上扩展上述模型：（i）我们考虑一般的组合设置，在每一轮可以玩一个以上的武器，受到可行性约束。(ii)我们允许每个手臂的阻塞时间是随机的。我们首先研究上述设置的计算/无条件硬度，并确定问题变得易于处理的必要条件（即使在近似意义上）。基于这些条件，我们提供了一个严密的分析，一个自然的贪婪启发式的近似保证，总是发挥最大的预期奖励可行的子集之间的可用（非阻塞）武器。当武器的预期回报是未知的，我们适应上述启发式到一个强盗算法，基于UCB，我们提供次线性（近似）遗憾的保证，匹配的理论下限在没有延迟的限制情况下。
2021-05-22 cs.DS cs.LG
LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation
Lehigh University（理海大学）
本文提出一种大语言模型引导的策略调制框架，通过LLM识别关键状态、提供动作建议并分配隐式奖励，无需额外训练或人工干预，在标准RL基准上超越最先进基线，有效解决训练瓶颈。
2025-05-27 cs.AI cs.LG
Successor-Predecessor Intrinsic Exploration
Institute of Cognitive Neuroscience（认知神经科学研究所）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究所）；UCL（伦敦大学学院）；Department of Psychology, Harvard University（哈佛大学心理学系）
本文提出后继-前驱内在探索算法 SPIE，通过结合前瞻与回溯信息构造内在奖励，提升稀疏奖励和瓶颈状态环境中的探索效率，并在 Atari 游戏上取得优于现有方法的性能。
2024-01-25 cs.LG
Exploring Multiple High-Scoring Subspaces in Generative Flow Networks
University of Science and Technology of China (USTC)（中国科学技术大学）；Suzhou Institute for Advanced Research, USTC（先进研究苏州市机构）；State Key Laboratory of Precision and Intelligent Chemistry, USTC（精密与智能化学国家重点实验室）
本文提出CMAB-GFN，通过结合组合多臂老虎机框架与生成流网络，有效偏向高奖励解决方案，提升探索效率和多样性。
2026-02-12 cs.LG
