Stochastic differential equations for limiting description of UCB rule for Gaussian multi-armed bandits
Yaroslav-the-Wise Novgorod State University（智者雅罗斯拉夫诺夫哥罗德国立大学）
本文针对高斯多臂老虎机UCB策略，用随机微分方程和常微分方程构建极限描述，并通过蒙特卡洛模拟验证，估计最小控制视界。
2023-05-11 cs.LG math.OC math.ST
Achieving Privacy in the Adversarial Multi-Armed Bandit
Chalmers University of Technology（查尔姆斯理工大学）；University of Lille（里尔大学）；Harvard University（哈佛大学）
在本文中，我们改进了以前最著名的遗憾界，以实现$ε$ -差分隐私在不经意的对抗土匪从$\mathcal{O}{(T^{2/3}/ε)}$到$\mathcal{O}{(\sqrt{T} \ln T /ε)}$。这是通过将拉普拉斯机制与EXP 3相结合来实现的。我们表明，虽然EXP 3已经是差异私有的，它泄漏了线性量的信息在$T$。然而，我们可以通过依赖其内在的指数机制来选择动作来改善这种隐私。这使我们能够达到$\mathcal{O}{(\sqrt{\ln T})}$ -DP，遗憾的是$\mathcal{O}{(T^{2/3})}$可以对抗自适应对手，这是对最著名的$\mathcal{O}{(T^{3/4})}$的改进。这是通过使用在小批处理循环中运行EXP 3的算法来完成的。最后，我们运行的实验清楚地证明了我们的理论分析的有效性。
2017-01-16 cs.AI cs.CR cs.LG
Robust Multi-Agent Multi-Armed Bandits
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的工作表明，代理人面对独立的随机$K$武装土匪的情况下，可以合作，以减少遗憾。然而，这些工作假设每个代理总是推荐他们的个人最佳臂估计到其他代理，这是不现实的，在设想的应用程序（机器故障在分布式计算或垃圾邮件在社会推荐系统）。因此，我们概括的设置，包括$n$诚实和$m$恶意代理推荐最佳臂估计和任意武器，分别。我们首先表明，即使有一个单一的恶意代理，现有的基于协作的算法无法提高后悔保证单代理基线。我们提出了一个方案，其中诚实的代理学习谁是恶意的，并动态减少与（即，“阻止”）。我们发现，合作确实减少了遗憾，这种算法，假设$m$是小相比，$K$，但没有假设恶意代理的行为，从而确保我们的算法是强大的，对任何恶意的推荐策略。
2021-10-10 cs.DC cs.LG cs.SI
On Applying Bandit Algorithm to Fault Localization Techniques
针对调试前只能静态选择单一故障定位技术的局限，本文提出利用 Bandit 算法在调试过程中动态选择更优 FL 技术的方法。
2024-09-10 cs.SE
Label-free Industrial Fault Detection via Adversarial Inverse Reinforcement Learning: A System for Run-to-Failure Prognostics
Deakin University（迪肯大学）
针对机械故障检测依赖监督学习且面临故障标签稀缺的问题，提出对抗性逆强化学习框架，直接从状态转换恢复“健康”奖励，无需人工设计和故障标签，在三个基准测试中表现出色，实现非饱和检测后一致性。
2026-07-28 cs.AI cs.LG
Optimal Clustering with Noisy Queries via Multi-Armed Bandit
Fudan University（复旦大学）
出于许多应用的动机，我们研究了一个错误的预言机的聚类。在该问题中，存在属于$k$未知簇的$n$项，允许算法询问oracle两个项是否属于同一簇。然而，来自神谕的答案只有在概率为$\frac{1}{2}+\fracδ{2}$的情况下才是正确的。目标是以最少的噪声查询来恢复隐藏的聚类。以前的工作表明，这个问题可以解决$O(\frac{nk\log n}{δ^2} + \text{poly}(k,\frac{1}δ, \log n))$查询，而$Ω(\frac{nk}{δ^2})$查询是必要的。因此，对于$k$和$δ$的任何值，在上限和下限之间仍然存在非平凡的差距。在这项工作中，我们获得了第一个匹配的上限和下限的参数范围很广。特别地，提出了一种新的带$O(\frac{n(k+\log n)}{δ^2} + \text{poly}(k,\frac{1}δ, \log n))$查询的多项式时间算法.此外，我们证明了一个新的下界的$Ω(\frac{n\log n}{δ^2})$，结合现有的$Ω(\frac{nk}{δ^2})$界，匹配我们的上限到一个添加剂$\text{poly}(k,\frac{1}δ,\log n)$长期。为了得到新的结果，我们的主要成分是我们的问题和多臂强盗之间的一个有趣的联系，这可能会提供有用的见解，为其他类似的问题。
2022-07-12 cs.LG
HD-CB: The First Exploration of Hyperdimensional Computing for Contextual Bandits Problems
Sapienza University of Rome（罗马第一大学）
本工作提出HD-CB，首次利用超维计算建模上下文老虎机问题，通过高维向量运算替代传统岭回归，在保持竞争性能的同时显著提升了计算效率与可扩展性。
2025-01-28 cs.LG
Differentiable Linear Bandit Algorithm
University College London（伦敦大学学院）
置信上限（UCB）可以说是线性多臂强盗问题最常用的方法。虽然概念上和计算上简单，但该方法高度依赖于置信界限，如果这些界限没有正确设置，则无法达到最佳的勘探开发。在文献中，置信界限通常是基于对回报分布的假设从集中不等式导出的，例如，亚高斯然而，这些假设的有效性在实践中是未知的。在这项工作中，我们的目标是以数据驱动的方式学习置信区间，使其适应实际的问题结构。具体来说，注意到现有的UCB型算法是不可微的置信界，我们首先提出了一种新的可微线性强盗算法。然后，我们引入了一个梯度估计器，它允许通过梯度上升来学习置信区间。从理论上讲，我们证明了该算法实现了一个$\tilde{\mathcal{O}}(\hatβ\sqrt{dT})$上界的$T$轮遗憾，其中$d$是手臂特征的尺寸和$\hatβ$是学习的大小的信心界。实验结果表明，$\hatβ$是显着小于其理论上界，所提出的算法优于基线的模拟和真实世界的数据集。
2020-06-04 cs.AI cs.LG stat.ML
Learning Rewards, Not Labels: Adversarial Inverse Reinforcement Learning for Machinery Fault Detection
Deakin University（德肯大学）
本文提出对抗性逆强化学习方法，用于机械故障检测，通过学习奖励动态实现无需标签的故障识别。
2026-02-25 cs.AI cs.LG
What Do We Care About in Bandits with Noncompliance? BRACE: Bandits with Recommendations, Abstention, and Certified Effects
Grouplang
BRACE算法针对非合规带隙问题，通过结构区间和固定间隙识别，实现推荐和治疗政策的有效性与稳定性。
2026-03-10 cs.LG stat.ML
Sparse Linear Bandits with Blocking Constraints
Adobe Research（Adobe研究）
研究了数据匮乏且具阻塞约束的高维稀疏线性赌博机问题，提出在线算法BSLB及其元算法C-BSLB，在未知稀疏参数下实现了鲁棒的遗憾保证，并通过实验验证了有效性。
2025-05-29 cs.LG
Observation-Augmented Contextual Multi-Armed Bandits for Robotic Search and Exploration
University of Colorado Boulder（科罗拉多大学博尔德分校）
提出 OA-CMAB 框架，利用可能出错的外部语义观测增强机器人决策，并通过鲁棒贝叶斯推断与期望自由能最小化实现稳健选址。
2025-01-05 cs.LG cs.RO
An Experimental Design for Anytime-Valid Causal Inference on Multi-Armed Bandits
Harvard University（哈佛大学）；Harvard Business School（哈佛商学院）
本文提出 Mixture Adaptive Design (MAD)，一种用于多臂老虎机算法的新实验设计，通过将任意老虎机算法与 Bernoulli 设计混合，实现对平均处理效应的随时有效推断，在确保推断有效性的同时允许提前停止实验并平衡遗憾与精度。
2024-10-15 cs.LG stat.ME
Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring
Carleton University（卡尔顿大学）
本研究针对自动作文评分的固定提示选择策略成本高的问题，提出多臂老虎机驱动的自适应提示选择框架，在保证准确率的同时减少78.4%的LLM调用，生成成本-可靠性学习曲线，为教育技术平台提供平衡成本与有效性的方案。
2026-08-26 cs.AI cs.CL cs.LG
Power Constrained Nonstationary Bandits with Habituation and Recovery Dynamics
Department of Industrial and Systems Engineering, University of Wisconsin-Madison（工业与系统工程系，威斯康星大学麦迪逊分校）；College of Health Solutions, Arizona State University（健康解决方案学院，亚利桑那州立大学）
针对 ROGUE 老虎机框架中现有算法探索不足的问题，提出 ROGUE-TS 算法与概率裁剪程序，在保证次线性遗憾的同时平衡个性化与总体学习，并在微随机试验数据上验证了其低遗憾与高统计功效。
2025-11-04 cs.AI cs.LG math.OC
Robust Tests in Online Decision-Making
UNIST（蔚山科学技术院）；Stanford University School of Medicine（斯坦福大学医学院）
Bandit算法被广泛应用于序列决策问题中，以最大化累积奖励。一个潜在的应用是移动健康，其目标是通过基于通过可穿戴设备获取的用户特定信息的个性化干预来促进用户的健康。重要的考虑因素包括收集数据的类型和频率（例如GPS或连续监控），因为这些因素可能会严重影响应用程序的性能和用户的依从性。为了平衡收集有用数据的需求与影响应用程序性能的约束，人们需要能够评估变量的有用性。Bandit反馈数据是顺序相关的，因此为独立数据开发的传统测试程序无法应用。最近，一个统计测试程序开发的演员-评论家强盗算法。行动者-批评者算法维护两个单独的模型，一个用于行动者，即动作选择策略，另一个用于批评者，即奖励模型。只有当正确指定评论家模型时，算法的性能以及测试的有效性才能得到保证。然而，由于不正确的函数形式或缺失协变量，在实践中经常出现错误指定。在这项工作中，我们提出了一个修改后的演员评论家算法，这是强大的评论家误指定，并得出一个新的测试程序的演员参数在这种情况下。
2022-08-21 cs.LG stat.ML
SSCBench: Evaluating the Evidential Validity of Fault-Injection Tests for Tool-Using LLM Agents
Jiangnan University（江南大学）；Nanjing University（南京大学）；Zhejiang University（浙江大学）；Wuxi University of Technology（无锡职业技术学院）
本研究针对使用工具的LLM智能体故障注入评估的证据有效性问题，构建SSCBench协议实例，经实验发现故障采纳的证据条件存在差异，为故障注入评估提供了关键参考。
2026-10-09 cs.SE
A nonasymptotic law of iterated logarithm for general M-estimators
CREST（统计与经济研究中心）；ENSAE（国立统计与经济管理学院）
M-估计量在机器学习和统计学习理论中无处不在。它们既用于定义预测策略，也用于评估其精度。在本文中，我们提出了第一个非渐近的“任意时间”的偏差界一般M-估计，其中“任意时间”的意思是，该界保持一个指定的概率为每个样本量。这些界限是重对数律的非渐进版本。它们是在一般假设下建立的，如损失函数的Lipschitz连续性和人口风险的（局部）曲率。机器学习中使用的大多数示例都满足这些条件，包括确保对离群值和重尾分布的鲁棒性的示例。作为应用的一个例子，我们考虑了参数随机多臂强盗设置中的最佳臂识别问题。我们表明，所建立的界限可以转换成一个新的算法，可证明的最佳理论保证。数值实验表明该算法的有效性。
2019-05-24 cs.LG math.ST stat.TH
Refined bounds for randomized experimental design
PSL - Université Paris Dauphine（PSL巴黎多芬大学）；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Capgemini（凯捷）
试验设计是从给定的样本集中选择样本，以获得给定准则的最佳估计量的方法。在线性回归的背景下，已经推导出了几种最优设计，每种设计都与不同的标准相关联：均方误差、稳健性、\emph{etc}。计算这样的设计通常是NP难问题，并且可以替代地依赖于考虑样本上的概率分布的凸松弛。虽然贪婪策略和舍入程序已经得到了很多关注，直接从最优分布的抽样几乎没有被调查。在本文中，我们提出了理论保证的随机化策略的E和G-最优设计。为此，我们开发了一个新的浓度不等式的随机矩阵的特征值使用的内在维度，使我们能够量化这种随机化策略的性能的改进版本。最后，我们通过实验证明了我们的分析的有效性，特别注意的G-最优设计适用于线性土匪的最佳臂识别问题。
2020-12-22 cs.LG math.ST stat.ME
Valid Best-Model Identification for LLM Evaluation via Low-Rank Factorization
Department of Computer Science, Technion – Israel Institute of Technology（计算机科学系，技术离子理工学院）；Department of Electrical and Computer Engineering, Technion – Israel Institute of Technology（电气与计算机工程系，技术离子理工学院）
本文提出结合多臂老虎机与低成本预测评分的框架，通过低秩分解减少方差，构建有效的置信区间，实现实验结果的准确识别与计算成本的降低。
2026-05-11 cs.LG
Dynamic Code Coverage with Progressive Detail Levels
如今，定位软件组件负责观察到的故障是软件开发过程中最昂贵和最容易出错的任务之一。为了提高调试过程的效率，已经做出了一些努力来自动辅助检测和定位软件故障。这导致了统计调试工具的创建，如Tarantula，Zoltar和GZoltar。这些工具使用从代码覆盖率数据中收集的信息和测试执行的结果来返回潜在错误位置的列表。虽然有帮助，但故障定位工具有一些缩放问题，因为它们需要细粒度的覆盖数据来执行故障定位分析。在某些情况下可能高达50%的仪器开销是其效率低下的主要原因。本文提出了一种新的方法来解决这个问题，尽可能避免高层次的覆盖细节，同时仍然使用这些故障定位工具采用的成熟技术。这种方法称为DCC，包括使用较粗的初始检测，仅获得大组件的覆盖跟踪。然后，基于由当前故障定位工具中采用的相同技术提供的中间结果，逐步增加某些部件的仪表细节。为了评估我们所提出的方法的有效性，进行了实证评估，在四个现实世界的软件项目中注入故障。实证评估表明，DCC方法减少了执行开销，存在于基于频谱的故障定位，甚至提出了一个更简洁的潜在故障排名给用户。我们观察到执行时间平均减少27%，诊断报告大小平均减少63%。
2013-06-19 cs.SE
PatchWrite: One Line, Not One Section -- Compile-Gated, Validity-Preserving Editing for AI-Drafted Manuscripts
Solus（索勒斯）
针对AI手稿编辑易改动无关内容的问题，PatchWrite通过编译门控与证据锁机制，在压力测试与盲评中均展现出更好的事实保留效果，且能有效修复注入的缺陷。
2026-08-25 cs.AI cs.CL cs.SE
A Taxonomy of Runtime Faults in Model Context Protocol Servers
Jheronimus Academy of Data Science and Tilburg University（赫伦尼姆数据科学学院和蒂尔堡大学）；Jheronimus Academy of Data Science（赫伦尼姆数据科学学院）；University of Sannio（萨尼亚大学）；University of Luxembourg（卢森堡大学）；University of Naples Federico II（那不勒斯费德里科二世大学）
本文通过手动分析473个MCP服务器仓库中的837个故障线程，采用自下而上的开放式编码方法，首次建立了MCP服务器运行时故障的经验分类法，包含11个顶层类别和27个子类别（73种叶子故障类型），并通过开发者调查验证了其外部有效性。
2026-09-22 cs.AI cs.SE
Will My Tests Tell Me If I Break This Code?
自动化测试在软件演化中起着重要的作用，因为它们可以快速地检测在更改过程中引入的错误。在实践中，代码覆盖度量通常被用作评估测试套件有效性的标准，重点是回归故障。然而，代码覆盖率只表达了测试执行了系统的哪一部分，而不是测试在检测回归故障方面的实际有效性。我们的目标是评估代码覆盖率的有效性，作为测试有效性的度量。为此，我们进行了一项实证研究，在该研究中，我们采用了极端突变测试方法来分析用Java编写的开源项目的测试。我们评估了伪测试方法（那些以无法检测到错误的方式进行测试的方法）与所有覆盖方法的比率，并判断了它们对软件项目的影响。结果表明，伪测试方法的比例对于单元测试是可以接受的，但对于系统测试（执行整个系统的大部分）则不行。因此，我们得出结论，覆盖度量是唯一的有效性指标的单元测试。
2016-11-22 cs.SE
