Spectrum Bandit Optimization
INRIA(法国国家信息与自动化研究所);Ecole Normale Superieure(巴黎高等师范学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
我们考虑在无线网络中分配无线电信道的链接的问题。链接通过干扰进行交互,建模为冲突图(即,两个干扰链路不能在同一信道上同时活动)。我们的目标是确定在有限的时间范围内,最大限度地提高总网络吞吐量的信道分配。如果我们知道每个信道和每个链路上的平均无线电条件,则可以通过求解线性规划(ILP)来获得最优分配。当无线电条件是未知的先验,我们寻找一个顺序的信道分配策略,收敛到最佳的分配,同时最小化的吞吐量损失或{ \it遗憾}的方式,由于需要探索次优分配。我们制定这个问题作为一个通用的线性土匪问题,并分析它首先在随机设置无线电条件是由一个平稳的随机过程驱动,然后在一个对抗设置无线电条件可以任意演变。我们提供了新的算法在这两种设置,并得出上界的遗憾。
2015-02-17 cs.LG cs.NI math.OC
Towards Practical Lipschitz Bandits
Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学);Autodesk, Inc.(欧特克公司)
随机Lipschitz强盗算法平衡了探索和利用,并已被用于各种重要的任务领域。在本文中,我们提出了一个框架Lipschitz强盗方法,自适应学习分区的上下文和手臂空间。由于这种灵活性,该算法能够有效地优化奖励,并通过关注最相关的空间部分来最大限度地减少遗憾。在我们的分析中,我们将基于树的方法与高斯过程联系起来。根据我们的分析,我们为Lipschitz强盗问题设计了一个新的分层贝叶斯模型。我们的实验表明,我们的算法可以实现最先进的性能在具有挑战性的现实世界的任务,如神经网络超参数调整。
2021-01-21 cs.LG stat.ML
Constrained Thompson Sampling for Wireless Link Optimization
KTH Royal Institute of Technology(瑞典皇家理工学院);Ericsson Research(爱立信研究院);University of California, Berkeley(加州大学伯克利分校)
无线通信系统工作在复杂的时变环境中。因此,在这些系统中选择最佳的配置参数是一个具有挑战性的问题。对于无线链路,\emph{rate selection}用于选择最佳数据传输速率,该速率可在应用程序定义的延迟约束下最大化链路吞吐量。我们模型的速率选择作为一个随机的多臂强盗(MAB)的问题,其中一组有限的传输速率建模为独立的强盗武器。对于这种设置,我们提出了Con-TS,一种新的约束版本的汤普森采样算法,其中的延迟要求建模的高概率线性约束。我们表明,对于Con-TS,T个传输间隔内的预期约束违规次数的上限为O(\sqrt{KT}),其中K是可用速率的数量。此外,与最优速率选择方案(即,白鹭的上界也是O(\sqrt{KT \log K})。通过数值模拟,我们表明,Con-TS显着优于国家的最先进的强盗计划的速率选择。
2020-04-18 cs.LG cs.NI stat.ML
Thompson Sampling For Stochastic Bandits with Graph Feedback
Chalmers University of Technology(查尔姆斯理工大学);University of Lille(里尔大学);Harvard University(哈佛大学)
我们提出了一种新的扩展的汤普森采样随机序贯决策问题与图反馈,即使当图结构本身是未知的和/或变化。我们提供了理论上的保证贝叶斯后悔的算法,其性能的图形的基本属性。汤普森抽样的优点是适用于不同的问题,而不需要构造复杂的置信上限。我们说明了它的性能,通过广泛的实验结果,真实和模拟网络与图形反馈。更具体地说,我们测试了我们的算法的幂律,种植分区和Erdo的Renyi图,以及来自Facebook和Flixster数据的图形。这些都表明,我们的算法明显优于采用置信上限的相关方法,即使后者使用更多的图的信息。
2017-01-16 cs.AI cs.LG
Beyond Softmax: A New Perspective on Gradient Bandits
Department of Economics, Indiana University Bloomington(印第安纳大学布卢明顿分校经济系)
本研究建立离散选择模型与在线学习、多臂赌博机理论的联系,提出涵盖Exp3特例的次线性遗憾界算法族、基于广义嵌套logit的对抗式赌博机算法,以及超越softmax的广义梯度赌博机算法,通过放宽独立性假设适配动作相关动态,兼顾模型灵活性与计算效率,经随机赌博机实验验证有效。
2025-10-04 cs.LG econ.TH
Multi-facet Contextual Bandits: A Neural Network Perspective
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mayo Clinic Arizona(亚利桑那州梅奥诊所)
上下文多臂强盗已被证明是一个有效的工具,在推荐系统。在本文中,我们研究了一个新的问题,多方面的土匪涉及一组土匪,每个用户的需求从一个独特的方面。在每一轮中,对于给定的用户,我们需要从每个强盗中选择一只手臂,这样所有手臂的组合才能最大化最终的奖励。这个问题可以立即应用于电子商务,医疗保健等,为了解决这个问题,我们提出了一种新的算法,名为MuFasa,它利用组装神经网络,共同学习多个土匪的底层奖励功能。它估计了一个置信上限(UCB)与预期的回报,以平衡开发和勘探。在适度的假设下,我们给出了MuFasa的后悔分析。它可以达到接近最优的$\widetilde{ \mathcal{O}}((K+1)\sqrt{T})$后悔界限,其中$K$是强盗的数量,$T$是玩过的回合数。此外,我们进行了大量的实验,以表明MuFasa在真实世界的数据集上优于强基线。
2021-06-30 cs.LG
Nearly Optimal Algorithms for Contextual Dueling Bandits from Adversarial Feedback
针对人类反馈中对手误导偏好的问题,提出基于不确定性加权最大似然估计的鲁棒上下文决斗老虎机算法,实现近最优遗憾界,在对抗性反馈下性能优于现有算法。
2025-11-12 cs.LG
Beyond the Click-Through Rate: Web Link Selection with Multi-level Feedback
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
网络链接选择问题是从一个大的网络链接池中选择一个小的网络链接子集,并将所选择的链接放置在只能容纳有限数量的链接的网页上,例如,广告、推荐或新闻馈送。尽管长期关注的点击率反映了链接本身的吸引力,但收入只能从点击后的用户行为中获得,例如,在通过推荐链接被引导到产品页面之后购买。因此,网络链接具有固有的\emph{multi-level feedback structure}。有了这个观察,我们考虑上下文无关的网络链接选择问题,其目标是最大化收入,同时确保吸引力不低于一个预设的阈值。该问题的关键挑战在于,每个环节的多级反馈是随机的,并且除非该环节被选择,否则是不可观察的。我们建模这个问题的约束随机多臂强盗制定,并设计了一个有效的链接选择算法,称为约束上界置信算法(\textbf{Con-UCB}),并证明$O(\sqrt{T\ln T})$界的遗憾和违反的吸引力约束。我们进行了广泛的实验在三个真实世界的数据集,并表明,\textbf{Con-UCB}优于国家的最先进的上下文无关的强盗算法的多级反馈结构。
2018-05-04 cs.AI cs.LG stat.ML
Reinforcement Learning for Efficient and Tuning-Free Link Adaptation
KTH Royal Institute of Technology(瑞典皇家理工学院);Ericsson Research(爱立信研究院)
无线链路使数据传输参数适应于动态信道状态--这称为链路自适应。传统的链路自适应依赖于调整参数,这些参数对于配置最佳链路性能是具有挑战性的。最近,强化学习已经被提出来自动化链路自适应,其中传输参数被建模为多臂强盗的离散臂。在这种情况下,我们提出了一个潜在的学习模型,链路自适应,利用数据传输参数之间的相关性。此外,最近成功的汤普森采样多臂强盗问题的动机,我们提出了一个潜在的汤普森采样(LTS)算法,快速学习给定的信道状态的最佳参数。我们通过一个自动跟踪信道动态的免调谐机制将LTS扩展到衰落无线信道。在衰落无线信道的数值评估中,与最先进的链路自适应算法相比,LTS将链路吞吐量提高了100%。
2021-05-05 cs.IT cs.LG eess.SP
Lifting the Information Ratio: An Information-Theoretic Analysis of Thompson Sampling for Contextual Bandits
Universitat Pompeu Fabra(庞培法布拉大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
我们研究了贝叶斯后悔著名的汤普森抽样算法在上下文土匪与二进制损失和adversarially选择的情况下。我们适应信息理论的角度来看,\cite{RvR16}的上下文设置考虑提升版本的信息比定义的未知的模型参数,而不是最佳的行动或最佳的政策,在以前的作品在相同的设置。这使我们能够通过一个非常简单的证明,用先验分布的熵来约束遗憾,并且没有对可能性或先验的结构性假设。扩展到具有无穷熵的先验只需要对数似然的Lipschitz假设。一个有趣的特殊情况是,物流强盗$d$维参数,$K$行动,Lipschitz logits,我们提供了一个$\widetilde{O}(\sqrt{dKT})$遗憾的上限,不依赖于最小斜率的S形链接函数。
2023-03-06 cs.LG
Generalized Linear Bandits with Memory
Seoul National University(首尔大学);Shinsegae(新世界(集团))
该研究针对带记忆的广义线性老虎机,改进了线性情况下的遗憾界,提出基于收缩置信界的分块算法,实现了$\text{sqrt}(T)$型遗憾率,通过数值实验验证了理论结果。
2026-08-18 cs.LG stat.ML
Distributed Bandits: Probabilistic Communication on $d$-regular Graphs
Princeton University(普林斯顿大学)
我们研究了分散式多智能体多臂强盗问题的代理商,通过一个$d$ -正则图定义的网络上的概率进行通信。图中的每条边都具有概率权重$p$以说明通信链路故障的($1\!-\!p$)概率。在每个时间步,每个代理选择一个手臂,并接收与所选手臂相关联的数字奖励。在每次选择之后,每个代理观察其每个邻居的最后获得的奖励,概率为$p$。我们提出了一个新的置信上限(UCB)为基础的算法,并分析如何基于代理的策略有助于最大限度地减少群体遗憾,在这种概率通信设置。我们提供理论保证,我们的算法优于国家的最先进的算法。我们说明了我们的结果,并验证了理论主张,使用数值模拟。
2021-10-09 cs.LG math.PR stat.ML
Decentralized Learning for Channel Allocation in IoT Networks over Unlicensed Bandwidth as a Contextual Multi-player Multi-armed Bandit Game
Bar-Ilan University(巴伊兰大学);Nanyang Technological University(南洋理工大学);University of Houston(休斯顿大学);Kyung Hee University(庆熙大学)
我们研究了一个分散的信道分配问题,在一个ad-hoc物联网网络的基础上授权给一个主要的蜂窝网络的频谱。在所考虑的网络中,IoT设备上贫乏的信道感测/探测能力和计算资源使得它们难以获取共享的多个信道的详细信道状态信息(CSI)。在实践中,主用户的传输活动的未知模式和时变CSI(例如,由于小规模衰落或设备移动性)也引起信道质量的随机变化。因此,去中心化物联网链路需要基于部分观测在线学习信道条件,同时不获取有关其未运行信道的信息。它们还必须在有限协调的情况下达成高效、无冲突的信道分配解决方案。我们的研究映射到一个上下文多人,多武装土匪游戏,并提出了一个纯粹的分散,三阶段的策略学习算法,通过试错。理论分析表明,所提出的方案保证物联网链路联合收敛到具有次线性(即,多对数)遗憾的是,相对于操作时间。仿真结果表明,它罢工之间的效率和网络的可扩展性与其他国家的最先进的分散式强盗算法相比,很好的平衡。
2021-07-01 cs.LG cs.MA cs.NI
Kernel Single-Index Bandits: Estimation, Inference, and Learning
Department of Mathematics, Applied Mathematics, and Statistics, Case Western Reserve University(数学、应用数学与统计学系,凯斯西储大学);Department of Statistics, University of Florida(佛罗里达大学统计学系);Department of Statistics, The Pennsylvania State University(宾夕法尼亚州立大学统计学系)
本文研究了具有有限动作的上下文老虎机,其中每个臂的奖励遵循单索引模型,提出了结合Stein估计和逆概率加权核岭回归的核化ε-贪婪算法,实现了灵活的半参数学习并保留了可解释性,同时建立了适应性采样的渐近正态性和方向函数中心极限定理,提供了有效的置信区间和有限时间遗憾保证。
2026-03-19 cs.LG math.ST stat.ML
From Bandits to Experts: On the Value of Side-Observations
Technion(以色列理工学院);Microsoft Research New England(微软新英格兰研究院)
我们考虑一个对抗性的在线学习设置,决策者可以选择在游戏的每个阶段的行动。除了观察所选择的行为的回报之外,决策者还可以观察到如果他选择了其他一些行为,他会获得什么样的回报。观察结构被编码为图,其中如果采样i提供关于j的奖励的信息,则节点i被链接到节点j。该设置自然地在众所周知的“专家”设置(其中决策者可以查看所有奖励)和多臂强盗设置(其中决策者只能查看所选动作的奖励)之间插值。我们开发了实用的算法与可证明的遗憾的保证,这取决于非平凡的图论性质的信息反馈结构。我们还提供了部分匹配的下界。
2011-10-25 cs.LG stat.ML
Thompson Sampling for Non-Monotone Convex Ridge Bandits: Monotonicity Is Not Needed for Polynomial Regret
University of New South Wales(新南威尔士大学)
本文证明汤普森采样在非单调凸岭赌博机中仍能达到多项式贝叶斯遗憾,通过新的基数界替代失效的椭球二分法,回答了单调性是否必要的问题。
2026-09-11 cs.LG
Beyond Random Noise: Insights on Anonymization Strategies from a Latent Bandit Study
Blekinge Institute of Technology(布莱金厄理工学院)
本文在潜在老虎机推荐场景下模拟链接攻击,比较噪声注入与多种聚合策略,发现单独使用Laplace噪声效果最差,而结合聚类平均等策略可更好权衡隐私与推荐遗憾。
2023-09-30 cs.AI cs.LG
Multi-level Feedback Web Links Selection Problem: Learning and Optimization
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
为网站选择正确的网络链接很重要,因为合适的链接不仅可以提供高吸引力,而且可以增加网站的收入。在这项工作中,我们首先表明网络链接具有内在的\emph{multi-level feedback structure}。例如,考虑$2$级反馈web链接:$1$第一级反馈提供点击率(CTR),而$2$第二级反馈提供潜在收入,它们共同产生复合$2$级收入。我们考虑上下文无关的链接选择问题的主页选择链接,以最大限度地提高总复合$2$级收入,同时保持总$1$第一级反馈高于预设阈值。我们进一步推广的问题与$n~(n\ge2)$级反馈结构的链接。关键的挑战是,链接的多级反馈结构是不可观察的,除非链接是在主页上选择的。据我们所知,我们是第一个模型的链接选择问题作为一个约束多臂强盗问题,并设计了一个有效的链接选择算法,通过学习的链接的多级结构与可证明的\emph{sub-linear}遗憾和违规界。我们发现了两个真实世界的数据集的Web链接的多级反馈结构。我们还进行了大量的实验数据集上比较我们提出的\textbf{LExp}算法与两个国家的最先进的上下文无关的强盗算法,并表明,\textbf{LExp}算法是最有效的链接选择,同时满足约束。
2017-09-08 cs.LG
On the Complexity of Preference-Based Bandits
Criteo AI Lab(Criteo人工智能实验室);CREST(经济与统计研究中心);ENSAE(法国国立统计与经济管理学校)
本文研究基于偏好的老虎机问题,提出局部敏感eluder维度作为复杂度度量,并设计GINOP算法,实现与直接奖励学习同等统计效率的遗憾界。
2026-10-01 cs.AI cs.LG
Saturation-Insensitive Dueling Bandits with General Function Approximation
针对决斗式赌博机在偏好模型饱和时的样本复杂度问题,提出SI-CDB算法,通过启发式对手选择消除逆导数因子,实现饱和不敏感学习,并借助局部Eluder维度框架获得近最优理论保证。
2026-09-29 cs.LG
Single Index Bandits: Generalized Linear Contextual Bandits with Unknown Reward Functions
Microsoft(微软公司);University of California, Davis(加州大学戴维斯分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Los Angeles(加州大学洛杉矶分校);National University of Singapore(新加坡国立大学)
本文提出单索引老虎机问题,针对未知奖励函数设计STOR和ESTOR算法,实现近最优遗憾界,并在高维稀疏环境下验证算法有效性。
2026-02-07 cs.LG stat.ML
Dueling Bandits with Team Comparisons
Tel Aviv University(特拉维夫大学);Technische Universität Berlin(柏林工业大学);Google Research(谷歌研究院)
我们介绍了决斗队的问题,一个新的在线学习设置中,学习者观察嘈杂的比较不相交对$k$大小的团队从宇宙的$n$球员。学习者的目标是最小化确定孔多塞获胜球队所需的决斗次数,即,战胜任何其他不相交的队伍(概率至少为$1/2$)的队伍。嘈杂的比较与球队的总顺序有关。我们通过建立决斗强盗设置(Yue et al.2012)来形式化我们的模型,并提供了几种算法,用于随机和确定性设置。对于随机设置,我们提供了一个减少到经典的决斗土匪设置,产生一个算法,确定一个孔多塞获胜的球队在$\mathcal{O}((n + k \log (k)) \frac{\max(\log\log n, \log k)}{Δ^2})$决斗,其中$Δ$是一个差距参数。对于确定性的反馈,我们还提出了一个间隙独立的算法,确定一个孔多塞获胜的球队在$\mathcal{O}(nk\log(k)+k^5)$决斗。
2021-07-06 cs.DS cs.LG stat.ML
Bandit Sampling for Multiplex Networks
Google Research(谷歌研究院);J.P. Morgan AI Research(摩根大通人工智能研究院)
图神经网络由于其在许多分类和预测任务中的优异性能而获得了突出地位。特别是,它们用于节点分类和链接预测,在社交网络、生物医学数据集和金融交易图中具有广泛的应用。大多数现有的工作主要集中在单路设置,我们可以访问一个网络,只有一个类型的实体之间的连接。然而,在多路复用设置中,在实体之间存在多种类型的连接或\emph{layers},当考虑来自其他连接类型的信息时,诸如链接预测的任务的性能已经被示出为更强。我们提出了一个算法,可扩展的学习多路复用网络与大量的层。我们的方法的效率是通过一个在线学习算法实现的,该算法学习如何对相关的相邻层进行采样,以便在训练过程中只聚合具有相关信息的层。这种采样不同于以前的工作,如MNE,它聚集信息跨\emph{all}层,从而导致计算棘手的大型网络。我们的方法还改进了最近的层采样方法的\textsc{DeePlex}中,未采样的层不需要进行训练,使效率进一步提高。我们提出的合成和现实世界的情况下,证明了我们所提出的方法的实际有效性的实验结果。
2022-02-08 cs.LG
Combinatorial Cascading Bandits
Adobe Research(奥多比研究院);Yahoo Labs(雅虎实验室);Technicolor Research(特艺集团研究院);University of Alberta(阿尔伯塔大学)
我们提出了组合级联土匪,一类部分监控问题,在每一步的学习代理选择一个元组的地面项目受到约束,并收到奖励,当且仅当所有选择的项目的权重是一个。项目的权重是二进制的、随机的,并且彼此独立地绘制。智能体观察权重为零的第一个选择项的索引。这种观察模型出现在网络路由,例如,在学习代理可能只观察到的第一个链接的路由路径,这是下来,并阻止path. We提出了一个UCB类算法来解决我们的问题,梳级联,并证明其$n$ -步遗憾的间隙依赖和无间隙的上界。我们的证明建立在随机组合半土匪最近的工作,但也解决了两个新的挑战,我们的设置,非线性奖励函数和部分可观测性。我们评估CombCascade在两个现实世界的问题,并表明,它表现良好,即使我们的建模假设被违反。我们还表明,我们的设置需要一个新的学习算法。
2015-11-17 cs.LG stat.ML
Low-Rank Generalized Linear Bandit Problems
University of Michigan(密歇根大学);Adobe Inc.(奥多比公司)
在一个低秩线性强盗问题中,一个动作的回报(由一个大小为$d_1 \times d_2$的矩阵表示)是这个动作和一个未知的低秩矩阵$Θ^*$之间的内积。我们提出了一种新的在线到置信集转换~ \citep{abbasi2012online}和指数加权平均预测器的低秩矩阵的覆盖构造的组合的基础上的算法。在$T$轮中,当$Θ^*$的秩为$r \ll \min\{d_1,d_2\}$时,我们的算法实现了$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$后悔,改进了$\widetilde{O}(d_1d_2\sqrt{T})$的标准线性强盗后悔界.我们还将我们的算法方法推广到广义线性设置,得到一个算法,它享有类似的约束下的正则性条件的链接函数。为了克服覆盖算法计算量大的问题,本文对\citet{jun2019bilinear}的“Explore-Subspace-Then-Refine”算法进行了扩展,提出了一种有效的算法。我们的有效算法实现$\widetilde{O}((d_1+d_2)^{3/2}\sqrt{rT})$遗憾在一个温和的条件下的行动集$\mathcal{X}$和$Θ^*$的$r$ -th奇异值。我们的上界匹配的证明下限的\cite{jun2019bilinear}的一个子类的低秩线性强盗问题。此外,我们表明,现有的稀疏线性强盗问题的下界强烈表明…
2020-10-19 cs.LG stat.ML
Online Learning for Adaptive Probing and Scheduling in Dense WLANs
Tulane University(杜兰大学);George Mason University(乔治梅森大学)
针对密集毫米波WLAN中频繁波束成形探测开销高的问题,本文研究联合链路探测与调度的吞吐量优化,分别为非自适应、自适应及在线未知分布场景提出带性能保证的算法,真实数据实验验证了方案效率。
2023-01-12 cs.AI cs.LG cs.NI
The Unreasonable Effectiveness of Greedy Algorithms in Multi-Armed Bandit with Many Arms
Stanford University(斯坦福大学)
本文研究了多臂情形下的贝叶斯多臂老虎机问题,发现子抽样贪心算法因臂收益先验分布尾部事件引发的新型自由探索,在理论和经验上均优于SS-UCB,能实现速率最优或次线性遗憾。
2024-03-20 cs.LG stat.ML
Bayesian Algorithms for Decentralized Stochastic Bandits
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
研究了一个分散协作的多智能体多臂强盗问题,其中$K$和$N$智能体通过网络连接.在我们的模型中,每个手臂的奖励分配对于所有代理都是相同的,并且奖励在代理和时间步长上独立绘制。在每一轮中,智能体选择一只手臂进行游戏,然后向邻居发送一条消息。目标是最小化整个网络平均的累积遗憾。我们提出了一个分散的贝叶斯多臂强盗框架,扩展单代理贝叶斯强盗算法的分散设置。具体来说,我们研究了一种可以与现有贝叶斯算法相结合的信息同化算法,并在此基础上提出了分散的Thompson采样算法和分散的Bayes-UCB算法。我们分析了分散式Thompson抽样算法在Bernoulli报酬下的问题,并建立了一个依赖于问题的累积后悔上界。我们发现,遗憾引起的规模在时间范围内与常数相匹配的最佳集中代理访问整个网络的所有观测。我们的分析还描述了网络结构方面的累积遗憾。通过广泛的数值研究,我们表明,我们的扩展汤普森采样和贝叶斯UCB招致较少的累积遗憾比最先进的算法的启发上置信界算法。我们实现了我们提出的分散汤普森采样下的流言协议,并在时变网络,其中每个通信链路有一个固定的故障概率。
2020-10-28 cs.LG stat.ML
Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update
RIKEN AIP(日本理化学研究所高级研究所);National Key Laboratory for Novel Software Technology(国家新型软件技术实验室);School of Artificial Intelligence(人工智能学院);The University of Tokyo(东京大学)
针对广义线性老虎机计算与统计效率难以兼顾的问题,提出基于在线镜像下降估计器的单次更新算法,在常数时空复杂度下实现几乎最优的遗憾界。
2025-10-30 cs.LG stat.ML
Fast Beam Alignment via Pure Exploration in Multi-armed Bandits
Zhejiang University(浙江大学);University of Alberta(阿尔伯塔大学);National University of Singapore(新加坡国立大学)
波束对准(BA)问题在于精确地对准发射器和接收器波束以在无线通信系统中建立可靠的通信链路。现有的BA方法搜索整个波束空间以识别最佳发射-接收波束对。当天线的数量很大时,这会引起显著的延迟。在这项工作中,我们开发了一种基于带宽的快速BA算法,以减少毫米波(mmWave)通信的BA延迟。我们的算法被命名为两阶段异方差跟踪和停止(2PHT\&S)。我们首先制定的BA问题作为一个纯粹的探索问题,在多武装土匪的目标是尽量减少所需的时间步长给定一定的固定的置信水平。该算法利用波束之间的相关性结构(即来自相邻波束的信息是相似的)和臂(波束)的回报方差与其均值相关的异方差特性,将所有波束分组为若干波束集合,首先选择最优波束集合,然后在该集合中识别最优波束。理论分析和仿真实验结果表明,该算法具有明显的优越性。
2022-10-23 cs.IT cs.LG math.IT
Semi-bandit Optimization in the Dispersed Setting
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
数据驱动的算法设计的目标是使用机器学习和数据为特定的应用领域获得高性能的算法。在人工智能、科学和工程的许多领域,从业者通常会修复一系列参数化算法,然后优化这些参数,以在应用程序领域的示例实例上获得良好的性能。在在线设置中,我们必须在每个实例到达时为它们选择算法参数,我们的目标是在事后与最好的固定算法竞争。在线数据驱动的算法设计存在两个主要挑战。首先,评估将算法参数映射到性能的损失函数在计算上是昂贵的,这通常需要学习者运行组合算法来测量其性能。第二,损失可能非常不稳定,并且具有明显的不连续性。然而,我们表明,在许多应用中,评估一个算法选择的损失函数有时可以揭示一系列类似算法的损失,基本上是免费的。我们开发的在线优化算法能够使用这种额外的信息,通过工作在半强盗反馈设置。我们的算法实现了遗憾的界限,基本上是一样好的全信息反馈下的算法,并显着更高的计算效率。我们应用我们的半强盗的结果,以获得第一个可证明的保证数据驱动的算法设计基于链接的聚类,我们提高了最佳遗憾界设计贪婪背包算法。
2020-12-21 cs.LG stat.ML
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题,提出基于偏好主动查询的算法,实现了接近标准设定的遗憾界与低查询复杂度,且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Nonstationary Generalized Linear Bandits with Discounted Online Mirror Descent
Seoul National University(首尔国立大学)
提出DOMD-GLB算法,利用折扣在线镜像梯度处理非平稳广义线性老虎机,在保持O(1)每轮计算和内存成本的同时,实现动态遗憾界。
2026-09-29 cs.LG stat.ML
Nonlinear Bandit
School of Mathematics, Nanjing University(南京大学数学系);School of Artificial Intelligence, Nanjing University, National Key Laboratory for Novel Software Technology(南京大学人工智能学院,计算机软件新技术国家重点实验室);School of Mathematics and Physics, Xi’an Jiaotong-Liverpool University(西交利物浦大学数理学院)
研究重尾噪声下广义线性带式赌博机问题,基于在线镜像下降方法提出算法EHM,实现几乎最优遗憾值且无需常用参数,还研究了上下文特征分段常数时的情况及非线性带式赌博机特殊情况,给出相应算法并证明遗憾上界。
2026-07-21 cs.LG
Top-k Multi-Armed Bandit Learning for Content Dissemination in Swarms of Micro-UAVs
针对灾害场景下通信基础设施受损的问题,提出采用去中心化Top-k多臂老虎机学习的自适应微型无人机集群内容分发框架,结合选择性缓存算法提升内容可访问性与系统适应性。
2025-01-15 cs.LG cs.NI
Optimal Exploration-Exploitation in a Multi-Armed-Bandit Problem with Non-stationary Rewards
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
在多臂强盗(MAB)问题中,赌徒需要在每一轮游戏中选择K个臂中的一个,每个臂的特征在于未知的奖励分布。只有当选择了一个分支时,才能观察到奖励实现,并且赌徒的目标是在游戏T的某个给定范围内最大化他的累积预期收益。要做到这一点,赌徒需要获得关于武器的信息(探索),同时优化即时奖励(剥削);由于这种权衡而付出的代价通常被称为遗憾,主要问题是这个价格作为视界长度T的函数可以有多小。这个问题已经被广泛研究时,奖励分布不随时间而变化;一个假设,支持一个尖锐的特征的遗憾,但往往是违反在实际环境中。在本文中,我们专注于一个MAB制定,允许广泛的时间不确定性的奖励,同时仍然保持数学上的易处理性。我们充分的特点(遗憾)的复杂性,这类MAB的问题,通过建立一个直接的联系,允许奖励的程度之间的“变化”和最小的可实现的遗憾。我们的分析得出了两个相当不同的文献链之间的一些联系:对抗性和随机MAB框架。
2019-06-06 cs.LG math.OC math.PR
Contextual Bandits with Side-Observations
Indian Institute of Science(印度科学研究所);Ohio State University(俄亥俄州立大学);University of California Davis(加利福尼亚大学戴维斯分校)
我们调查的背景土匪存在的侧观察跨武器,以设计推荐算法,通过社交网络连接的用户。社交网络中的用户对他们朋友的活动做出响应,从而提供关于彼此偏好的信息。在我们的模型中,当学习算法向用户推荐一篇文章时,它不仅观察他/她的反应(例如广告点击),而且还观察侧面观察,即,如果他的邻居看到同样的文章,他们的反应是什么。我们通过图$\mathcal{G}$来建模这些观察依赖关系,其中节点对应于用户,边缘对应于社交链接。我们推导出一个问题/实例相关的下限上的遗憾的任何一致的算法。我们提出了一个优化(线性规划)为基础的数据驱动的学习算法,利用结构的$\mathcal{G}$,以便向用户提出建议,并表明它是渐近最优的,在这个意义上说,它的遗憾匹配的下限为回合数$T\to\infty$。我们证明了这种渐近最优后悔是上界的$O\left(|χ(\mathcal{G})|\log T\right)$,其中$|χ(\mathcal{G})|$是$\mathcal{G}$的控制数。相比之下,现有学习算法的简单应用会导致$O\left(N\log T\right)$遗憾,其中$N$是用户数量。
2020-10-23 cs.LG stat.ML
Towards Federated Multi-Armed Bandit Learning for Content Dissemination using Swarm of UAVs
Michigan State University(密歇根州立大学)
针对灾害场景下通信隔离用户的关键内容访问需求,提出无人机群混合网络架构,结合联邦多臂老虎机学习与选择性缓存算法优化缓存策略,提升内容可用性并验证其在多场景下的有效性。
2025-04-18 cs.LG cs.NI
Pure Exploration for Multi-Armed Bandit Problems
INRIA Lille – Nord Europe(法国国家信息与自动化研究所里尔-北欧洲分所);Ecole Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);HEC Paris(巴黎高等商学院)
我们认为框架的随机多武装土匪问题和研究的可能性和局限性的预测,进行在线探索的武器。这些预测者根据他们的简单遗憾进行评估,遗憾的概念捕捉了这样一个事实,即探索仅受可用回合数的限制(不一定事先知道),与考虑累积遗憾和同时需要进行开发的情况相反。我们认为,这一绩效标准适用于以资源而不是报酬来表示拉动手臂的成本的情况。我们将讨论简单后悔和累积后悔之间的联系。在有限数量的武器的情况下,一个主要的结果是一个普遍的下界的简单后悔的预测,其累积后悔:后者越小,前者越大。记住这个结果,我们展示了一些预测者的简单遗憾的上界。本文最后研究了连续臂强盗问题;我们证明了关于一族概率分布,简单后悔能被最小化当且仅当它的累积后悔能被最小化。基于这个等价性,我们能够证明可分的度量空间恰好是关于所有概率族这些遗憾可以最小化的度量空间具有连续均值支付函数的分布。
2010-06-09 cs.LG math.ST stat.TH
Contextual Bandits with Non-Stationary Correlated Rewards for User Association in MmWave Vehicular Networks
针对毫米波车载网络中用户关联需实时信道信息的难题,提出低复杂度半分布式SD-CC-UCB算法,结合上下文老虎机与Thompson Sampling,无需CSI即可实现接近完美CSI基准的吞吐量。
2024-10-08 cs.LG
Neural Logistic Bandits
Department of Industrial \& Systems Engineering, KAIST;Department of Mathematical Sciences \& Research Institute of Mathematics, Seoul National University;Interdisciplinary Program in Artificial Intelligence, Seoul National University
针对神经逻辑老虎机问题,利用一种新型的自归一化向量值鞅的Bernstein型不等式,提出两种算法NeuralLog-UCB-1和NeuralLog-UCB-2,分别实现与有效维度相关的遗憾上界,改进了现有结果。
2026-05-28 cs.LG stat.ML
A Jointly Efficient and Near-Optimal Algorithm for Heteroskedastic Generalized Linear Bandits with Adversarial Corruptions
Graduate School of AI, KAIST(人工智能研究生院,韩国科学技术院)
针对含对抗性破坏的异方差广义线性Bandits问题,提出HCW-GLB-OMD算法,结合在线镜像下降估计器与基于Hessian的置信权重,实现计算高效(每轮O(1)时空复杂度)和实例级极小化最优遗憾界。
2026-10-21 cs.LG stat.ML
An LP-based Sampling Policy for Multi-Armed Bandits with Side-Observations and Stochastic Availability
Department of Electrical and Computer Engineering, The Ohio State University(俄亥俄州立大学电气与计算机工程系);Department of Computer Science, University of Kentucky(肯塔基大学计算机科学系);Department of Computer Science and Engineering, The Ohio State University(俄亥俄州立大学计算机科学与工程系)
本文研究了带有侧面观测和随机可用性的多臂老虎机问题,提出UCB-LP-A策略通过线性规划优化探索与利用的权衡,理论分析了网络结构和激活概率对后悔的影响,并通过数值模拟验证了其优越性。
2026-03-27 cs.LG cs.SY eess.SY
Smart Routing with Precise Link Estimation: DSEE-Based Anypath Routing for Reliable Wireless Networking
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出基于DSEE算法的Anypath路由方法,通过实时估计链路交付概率提升无线网络的可靠性与效率。
2024-05-16 cs.AI cs.LG cs.NI
Distributed Multi-Agent Bandits Over Erdős-Rényi Random Networks
Nanjing University(南京大学);Università degli Studi di Milano(米兰大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
针对随机通信图上的分布式多智能体老虎机问题,提出结合臂消除与随机八卦的算法,实现对数遗憾并揭示通信效率与性能的权衡。
2025-10-26 cs.LG
When Speed meets Accuracy: an Efficient and Effective Graph Model for Temporal Link Prediction
PolyU;HKUST(香港科技大学);GDUT(广东工业大学);HKUST(GZ)(香港科技大学)
本文提出轻量级时间链路预测框架EAGLE,融合短期时间近因与长期结构模式,通过自适应加权机制在七个真实数据集上以超过50倍加速超越现有T-GNNs。
2025-07-18 cs.AI
Sharp Analysis for KL-Regularized Contextual Bandits and RLHF
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对KL正则化RLHF现有理论分析样本复杂度与无正则化相同的问题,通过精细分析揭示小ε下$\mathcal{O}(1 / \varepsilon)$的样本复杂度,并探索数据覆盖作用,为高效RLHF算法设计提供理论启示。
2025-02-11 cs.LG stat.ML
Pair-Matching: Links Prediction with Adaptive Queries
本文研究单次查询约束下的配对匹配链接预测问题,在两社群SBM图结构中证明可达到次线性遗憾,给出与Kesten-Stigum阈值相关的最优界,并分析节点采样限制及多社群猜想。
2024-03-05 cs.LG math.ST stat.ML
Adaptive Shortest-Path Routing under Unknown and Stochastically Varying Link States
Univ. of California, Davis(加利福尼亚大学戴维斯分校)
本文研究了无线网络中链路状态未知且随机变化的自适应最短路径路由问题。在这个问题中,我们的目标是通过自适应路径选择来优化源和目的地之间的通信质量。由于网络动态中的随机性和不确定性,每个链路的质量根据具有未知分布的随机过程随时间变化。在选择了用于通信的路径之后,该路径上的所有链路的聚合质量(例如,总路径延迟)。每个单独链路的质量是不可观察的。我们把这个问题表述为一个多臂的强盗与依赖武器。我们发现,通过利用手臂的依赖性,可以实现一个遗憾多项式的网络规模,同时保持最佳的对数阶随时间的推移。这与忽略手臂依赖性的经典MAB策略的直接应用所提供的网络大小的指数后悔顺序形成鲜明对比。此外,我们的研究结果下得到的链路质量分布(包括重尾分布)的一般模型,并发现在认知无线电和ad hoc网络与未知的和动态的通信环境中的应用。
2012-01-24 cs.LG cs.NI
Structural Imbalance Aware Graph Augmentation Learning
Nanjing University of Posts and Telecommunications(南京邮电大学)
图机器学习(GML)在节点分类、链接预测、图分类等方面取得了很大进展,但现实中的图往往是结构不平衡的,即只有少数枢纽节点具有更密集的局部结构和更高的影响力。这种不平衡可能会损害现有GML模型的鲁棒性,特别是在学习尾节点方面。本文提出了一种选择性图增强方法(SAug)来解决这个问题。首先,设计了一种基于Pagerank的采样策略来识别图中的中心节点和尾节点。其次,提出了一种选择性增强策略,该策略在一侧丢弃中心节点的噪声邻居,在另一侧发现尾节点的潜在邻居并生成伪邻居。它还可以缓解两类节点之间的结构不平衡。最后,GNN模型将在增强图上重新训练。大量的实验表明,SAug可以显着提高骨干GNN,并实现优越的性能,其竞争对手的图增强方法和枢纽/尾部感知方法。
2023-03-24 cs.AI cs.LG
Probe-then-Commit Multi-Objective Bandits: Theoretical Benefits of Limited Multi-Arm Feedback
Department of Electrical Engineering, University at Buffalo(电气工程系,布法罗大学)
本文提出PtC-P-UCB算法,通过有限探查提升多目标老虎机的性能,实现$1/\sqrt{q}$的加速效果。
2026-02-20 cs.LG
Link Adaptation Using Joint-Thompson Sampling
IIT Hyderabad(印度海得拉尔理工学院)
研究如何通过链路自适应算法选择MCS类型,提出联合汤普森采样算法,利用MCS成功概率有序的特点,采用多元有序贝塔分布作为先验,解决现有算法在特定场景的不足,实现各场景下有竞争力的吞吐量和稳健性能。
2026-07-14 cs.LG
Measurement-based Online Available Bandwidth Estimation employing Reinforcement Learning
Institute of Communications Technology\ Universit\" a t Hannover
准确、快速地估计具有不同交叉流量的网络中的可用带宽是一项具有挑战性的任务。公认的探测工具,先进先出复用的瓶颈链路的流体流模型的基础上,通过测量数据包分散估计可用带宽。估计变得更加困难,如果数据包分散偏离假设的流体流模型中存在的非流体突发的交叉流量,多个瓶颈链路,和不准确的时间戳。这促使我们探索使用机器学习工具进行可用带宽估计。因此,我们考虑强化学习并实现单状态多臂强盗技术,该技术遵循$ε$ -贪心算法来找到可用带宽。我们的测量和测试表明,我们提出的方法确定可用带宽具有高精度。此外,我们的方法收敛到可用带宽下的各种臭名昭著的困难条件下,如沉重的流量突发,不同的交叉流量强度,多个瓶颈链路,并在网络中的紧张链路和瓶颈链路是不一样的。与分段线性网络(一种采用卡尔曼滤波器的基于模型的直接探测技术)相比,我们的方法在某些网络场景中显示出更准确的估计和更快的收敛速度,并且不需要测量噪声统计。
2019-06-05 cs.LG cs.NI stat.ML
Homogeneous Network Embedding for Massive Graphs via Reweighted Personalized PageRank
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
给定一个输入图G和G中的一个节点v,同构网络嵌入(HNE)将v附近的图结构映射到一个紧凑的、固定维的特征向量。本文重点研究了大量图的HNE,例如,有数十亿条边在这种规模上,大多数现有的方法都失败了,因为它们要么成本过高,要么严重损害了结果效用。我们提出的解决方案,称为节点重新加权PageRank(NRP),是基于一个经典的想法,从成对的个性化PageRank(PPR)值派生嵌入向量。我们的贡献是双重的:首先,我们设计了一个简单而有效的基线HNE方法的基础上PPR,能够处理商品硬件上的十亿边图;其次,更重要的是,我们确定了一个固有的缺点香草PPR,并解决它在我们的主要建议NRP。具体来说,PPR是为一个非常不同的目的而设计的,即,从源节点的角度来看,基于G中的节点的相对重要性来对G中的节点进行排名。相比之下,HNE的目标是考虑整个图来构建节点嵌入。因此,直接从PPR导出的节点嵌入具有次优效用。所提出的NRP方法克服了上述不足,通过一个有效的和高效的节点重新加权算法,增加PPR值与节点度信息,并迭代地调整嵌入向量。总的来说,NRP需要O(mlogn)时间和O(m)空间来计算具有m条边和n个节点的图的所有节点嵌入。我们的广泛的实验,比较NRP对18个现有的解决方案,7个真实的图形表明,NRP实现更高的结果效用比所有的解决方案的链接预测,图形重建和节点分类,同时高达数量级更快。特别是,在一…
2020-06-23 cs.LG cs.SI