Nonlinear Sequential Accepts and Rejects for Identification of Top Arms in Stochastic Bandits
Harvard University（哈佛大学）
我们解决的M-最好的手臂识别问题，在多武装匪徒。玩家只有有限的预算来探索K条手臂（M<K），一旦被拉动，每条手臂都会从一个固定的未知分布中（独立地）获得奖励。我们的目标是找到期望奖励意义上的前M臂。我们开发了一种算法，在轮中进行迭代停用武器。在每一轮，预算除以剩余手臂的非线性函数，并且手臂被相应地拉动。基于决策规则，可以接受或拒绝每一轮的停用臂。该算法输出理想情况下应该是前M个臂的接受臂。我们的错误识别概率的衰减率的特征，并建立非线性预算分配证明是有用的不同的问题环境（描述的竞争武器的数量）。我们提供了全面的数值实验表明，我们的算法优于国家的最先进的使用适当的非线性。
2017-07-09 cs.LG stat.ML
Sequential Transfer in Multi-armed Bandit with Finite Set of Models
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
从先前的任务中学习，并将这些经验转移到提高未来的表现上，对于构建终身学习代理至关重要。虽然监督学习和强化学习的结果表明迁移可以显着提高学习性能，但大多数关于迁移的文献都集中在批量学习任务上。在本文中，我们研究的问题\textit{sequential transfer in online learning}，特别是在多臂强盗框架，其目标是尽量减少累积遗憾的一系列任务，通过逐步转移知识，从以前的任务。我们介绍了一种新的强盗算法的基础上的矩量法的方法估计的可能的任务，并获得遗憾的界限。
2013-07-25 cs.LG stat.ML
Thompson Sampling for Unsupervised Sequential Selection
Indian Institure of Technology Bombay（印度孟买理工学院）
汤普森采样产生了显着的兴趣，由于其更好的经验性能比置信上限为基础的算法。本文研究了基于Thompson抽样的无监督顺序选择（USS）算法。USS问题是随机多臂强盗问题的一个变种，其中一只手臂的损失不能从观察到的反馈中推断出来。在USS的设置中，武器与固定成本相关联，并被订购，形成级联。在每一轮中，学习者选择一个手臂，并观察从手臂到所选手臂的反馈。学习者的目标是找到最小化预期总损失的手臂。总损失是选择手臂的成本和与所选手臂相关的随机损失之和。这个问题很有挑战性，因为在不知道平均损失的情况下，人们无法计算所选手臂的总损失。显然，只有当最佳手臂可以从问题结构中推断出来时，学习才是可行的。如在以前的工作中所示，学习是可能的，当问题实例满足所谓的“弱优势”（WD）属性。在WD下，我们证明了我们的基于Thompson采样的USS问题算法实现了接近最优的遗憾，并具有比现有算法更好的数值性能。
2020-09-16 cs.LG stat.ML
Online Algorithm for Unsupervised Sequential Selection with Contextual Information
IIT Bombay（印度理工学院孟买分校）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Boston University（波士顿大学）
在本文中，我们研究了上下文无监督顺序选择（USS），随机上下文土匪问题的一个新的变种，其中失去一只手臂不能从观察到的反馈推断。在我们的设置中，武器与固定成本相关联，并且是有序的，形成级联。在每一轮中，呈现一个上下文，学习者依次选择手臂，直到某个深度。停在一个手臂所产生的总成本是所选手臂的固定成本和与手臂相关的随机损失的总和。学习者的目标是学习一个决策规则，该规则将上下文映射到手臂，目标是最小化总预期损失。这个问题是具有挑战性的，因为我们面临的是一个无人监督的环境，因为总损失无法估计。显然，只有当最佳手臂可以从问题结构中（显式或隐式）推断出来时，学习才是可行的。我们观察到，当问题实例满足所谓的“上下文弱优势”（CWD）属性时，学习仍然是可能的。在CWD下，我们提出了一个上下文USS问题的算法，并证明了它具有次线性后悔。在合成数据集和真实数据集上的实验验证了算法的有效性。
2020-10-23 cs.LG stat.ML
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech（康奈尔科技学院）
本文针对非参数多臂老虎机中的好臂识别问题，提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法，在错误概率约束下实现最小最大最优停止时间，并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
A Farewell to Arms: Sequential Reward Maximization on a Budget with a Giving Up Option
University of Victoria（维多利亚大学）；Google（谷歌）
我们考虑一个顺序决策问题，其中一个代理可以在一个时间采取一个行动，每个行动有一个随机的时间范围，即，在前一个动作完成之前不能采取新的动作。完成后，所选择的动作产生随机奖励。代理人寻求在有限的时间预算内最大化其累积奖励，并可以选择“放弃”当前的行动-因此放弃任何奖励-以便选择另一个行动。我们把这个问题作为一个变种的随机多武装土匪问题的随机消耗资源。对于这个问题，我们首先建立了最优的手臂是一个最大化的比率的预期回报的手臂的预期等待时间之前，代理人看到的回报，由于拉手臂。使用一个新的置信度上界这个比率，然后我们引入了一个上置信度为基础的算法，WAIT-UCB，我们建立对数，问题相关的遗憾界，其中有一个改进的依赖问题的参数相比，以前的作品。各种问题的配置比较WAIT-UCB对国家的最先进的算法的模拟。
2020-03-06 cs.AI cs.LG stat.ML
Max-Utility Based Arm Selection Strategy For Sequential Query Recommendations
University of Glasgow（格拉斯哥大学）；University of West Attica（西阿提卡大学）
本文针对可数多臂老虎机中的顺序查询推荐问题，提出基于最大效用的臂选择策略以替代随机候选集选择，并通过真实在线文献发现服务日志验证其能显著降低累积遗憾。
2021-08-31 cs.AI cs.LG stat.ML
Sequential Quantile Prediction of Time Series
受广泛的潜在应用的启发，我们解决了实值时间序列的分位数预测问题。我们提出了一个序贯分位数预测模型的基础上组合的一组基本最近邻型预测称为“专家”，并显示其一致性的最低条件下。我们的方法建立在近年来开发的方法预测的个别序列，并利用分位数结构作为一个最小的所谓的弹球损失函数。我们对真实世界的数据集进行了深入的分析，并表明这种非参数策略通常优于标准分位数预测方法
2010-05-31 math.ST stat.ME stat.TH
Sequential Learning of the Pareto Front for Multi-objective Bandits
ENS Lyon（里昂高等师范学院）；CWI（荷兰数学和计算机科学研究学会）；Twente University（特文特大学）
研究多目标多臂老虎机中Pareto前沿的序贯学习问题，提出在风险δ较小时达到最优样本复杂度的高效算法，每轮运行时间为O(Kp^d)。
2025-01-29 cs.LG stat.ML
SPRT-based Efficient Best Arm Identification in Stochastic Bandits
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对指数族随机多臂老虎机的最优臂识别问题，提出基于似然比检验的SPRT算法，实现渐近最优样本复杂度与δ-PAC保证，并量化了现有方法的计算开销。
2023-06-23 cs.LG stat.ML
Understanding the stochastic dynamics of sequential decision-making processes: A path-integral analysis of multi-armed bandits
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Aston University（阿斯顿大学）；The Education University of Hong Kong（香港教育大学）
该研究运用统计物理路径积分方法分析多臂赌博机模型的有限时间随机动力学，刻画了累积遗憾的多峰分布特征，解析结果与模拟一致，为序贯决策的探索-利用权衡研究提供了新视角。
2023-06-10 cond-mat.dis-nn cs.LG physics.soc-ph
Sequential Best-Arm Identification with Application to Brain-Computer Interface
University of California at Berkeley（加州大学伯克利分校）；Google Deepmind（谷歌DeepMind）；University of Michigan（密歇根大学）
本文将脑机接口拼写问题建模为多臂老虎机中的序列最优臂识别任务，利用预训练LLMs的先验知识，提出STTS算法以提升采样效率，并在理论和实验上验证了其显著改进。
2023-05-17 cs.HC cs.LG q-bio.NC
Functional Sequential Treatment Allocation with Covariates
University of Oxford（牛津大学）；Aarhus University（奥胡斯大学）；Université libre de Bruxelles（布鲁塞尔自由大学）；SBS-EM；ECARES
本文研究带协变量的多臂老虎机问题，提出面向一般条件结果分布函数的处理分配框架，给出期望遗憾下界并构造近似极小极大最优策略。
2020-01-29 cs.LG econ.EM math.ST
ALMAB-DC: Active Learning, Multi-Armed Bandits, and Distributed Computing for Sequential Experimental Design and Black-Box Optimization
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
提出ALMAB-DC框架，结合高斯过程代理模型、多臂老虎机控制和异步分布式调度，解决昂贵黑箱优化问题，在多个基准上显著优于现有方法。
2026-06-03 cs.LG stat.CO stat.ME
Pure Exploration under Mediators' Feedback
Politecnico di Milano（米兰理工大学）
本文提出中介反馈下的最佳臂识别（BAI-MF）框架，推导样本复杂度下界，并设计已知和未知中介策略下的序贯决策算法，证明其匹配下界。
2024-01-12 cs.LG stat.ML
An Asymptotically Optimal Batched Algorithm for the Dueling Bandit Problem
我们研究了$K$ -武装决斗土匪问题，传统的多臂土匪问题，其中反馈的形式成对比较的变化。以前的学习算法集中在$\textit{fully adaptive}$设置上，其中算法可以在每次比较后进行更新。“批量”决斗强盗问题的动机是大规模的应用程序，如网络搜索排名和推荐系统，其中执行顺序更新可能是不可行的。在这项工作中，我们要求：$\textit{is there a solution using only a few adaptive rounds that matches the asymptotic regret bounds of the best sequential algorithms for $ K $-armed dueling bandits?}$我们的回答是肯定的$\textit{under the Condorcet condition}$，这是$K$ -武装决斗强盗问题的标准设置。我们得到了$O(K^2\log^2(K)) + O(K\log(T))$在$O(\log(T))$轮中的渐近后悔，其中$T$是时间范围.我们的遗憾边界几乎匹配最好的遗憾边界已知的完全连续设置下孔多塞条件。最后，在各种现实世界的数据集的计算实验中，我们观察到，我们的算法使用$O(\log(T))$轮实现了几乎相同的性能完全顺序算法（使用$T$轮）。
2022-09-25 cs.LG stat.ML
Conditional quantile sequential estimation for stochastic codes
我们提出并分析了一个算法的序贯估计的条件分位数的背景下，实随机码与向量值的输入。我们的算法是基于k-最近邻平滑内的Robbins-Monro估计。在一定条件下讨论了随机码的算法的收敛性。我们提供了非渐近的均方误差的收敛速度，我们讨论了算法的参数调整。
2019-08-05 math.ST stat.TH
PAC Best Arm Identification Under a Deadline
University of California, Berkeley（加州大学伯克利分校）
我们研究了$(ε, δ)$ -PAC最佳手臂识别，其中决策者必须以至少$1 - δ$的概率识别$ε$ -最佳手臂，同时最小化手臂拉动（样本）的数量。关于这一主题的大部分工作都是在顺序设置中进行的，在顺序设置中，对识别这样的手臂所需的时间没有限制;这允许决策者一次拉动一个手臂。在这项工作中，决策者被赋予$T$回合的最后期限，在每一回合中，它可以自适应地选择拉动哪些手臂以及拉动它们多少次;这区分了所做决策的数量（即，时间或轮数）与所获取的样本数（成本）之间的差异。这种情况发生在临床试验中，人们可能需要在最后期限内确定一种有希望的治疗方法，同时最大限度地减少测试对象的数量，或者在基于模拟的研究中，我们可以弹性地增加或减少虚拟机的数量，以进行尽可能多的实验，但需要为所使用的资源时间付费。由于决策者只能做出$T$决策，所以她可能需要相对于顺序算法过度地拉动一些手臂，以便在所有可能的问题上表现良好。我们正式增加了难度，两个硬度的结果表明，不像顺序设置，适应问题的困难的能力是有限的最后期限的限制。我们提出了弹性批量赛车（EBR），一种新的算法，这种设置和约束其样本的复杂性，表明EBR是最佳的硬度结果。我们提出了模拟评估EBR在这种情况下，它优于基线的几个数量级。
2021-06-08 cs.AI cs.LG stat.ML
Bandits with many optimal arms
INRIA Lille（法国国家信息与自动化研究所里尔分部）；CWI Amsterdam（阿姆斯特丹数学与计算机科学中心）；Otto von Guericke University Magdeburg（奥托·冯·古里克马格德堡大学）；University of Potsdam（波茨坦大学）
本文考虑一个可能有无穷多个臂的随机强盗问题。我们写$p^*$为最佳武器的比例和$Δ$为最佳和次最佳武器之间的最小平均差距。我们的最佳学习率的特点都在累积遗憾设置，并在最佳臂识别设置的问题参数$T$（预算），$p^*$和$Δ$。为了最小化累积遗憾，我们给出了一个$Ω(\log(T)/(p^*Δ))$阶的下界和一个UCB式的算法，其匹配上界的因子为$\log(1/Δ)$ .我们的算法需要$p^*$来校准其参数，我们证明了这种知识是必要的，因为适应$p^*$在这种设置是不可能的。对于最佳臂识别，我们还提供了输出次优臂的概率上的阶数$Ω(\exp(-cTΔ^2 p^*))$的下限，其中$c>0$是绝对常数。我们还提供了一个消除算法的上限匹配的下限到一个因子的顺序$\log(T)$的指数，并不需要$p^*$或$Δ$作为参数。我们的研究结果直接适用于三个相关的问题，竞争对$j$ -th最好的手臂，确定一个$ε$好的手臂，并找到一个手臂的平均值大于一个已知的顺序的分位数。
2021-11-05 cs.LG stat.ML
Best Arm Identification in Restless Markov Multi-Armed Bandits
National University of Singapore（新加坡国立大学）
我们研究了在多臂强盗环境中，当每个臂是一个共同的有限状态空间上的时间齐次和遍历离散时间马尔可夫过程时，如何确定最佳臂的问题。每个臂上的状态演化由臂的转移概率矩阵（TPM）控制。知道臂TPM的集合但不知道TPM到臂的精确映射的决策实体希望尽可能快地找到最佳臂的索引，服从错误概率的上限。决策实体每次顺序地选择一个臂，并且所有被选择的臂继续经历状态演化（{ \em restless}臂）。对于这个问题，我们推导出第一个已知的问题的实例相关的渐近下界的增长率的期望时间所需的指数，找到最好的手臂，其中的渐近是作为错误概率为零。此外，我们提出了一种顺序策略，对于输入参数$R$，强制选择尚未被选择用于$R$连续时刻的臂。我们表明，这种政策实现了一个上限，依赖于$R$，是单调非递增的$R\to\infty$。一般来说，作为$R\to\infty$的上限的极限值是否与下限相匹配的问题仍然是开放的。我们确定了一个特殊的情况下，其中的上限和下限相匹配。以前的工作最好的手臂识别处理（a）独立和同分布的观察，从武器，和（b）休息马尔可夫武器，而我们的工作涉及更困难的设置不安分的马尔可夫武器。
2022-03-29 cs.IT cs.LG math.IT
A Batch Sequential Halving Algorithm without Performance Degradation
ATR；Kyoto University（京都大学）；The University of Tokyo（东京大学）
本文研究多臂老虎机纯探索中固定大小批次拉臂的性能退化问题，提出SH算法的批处理版本，并通过理论和实验证明其在实际条件下不降低原始算法性能。
2024-06-01 cs.LG stat.ML
Monte-Carlo Tree Search by Best Arm Identification
CNRS & Univ. Lille, UMR 9189 (CRIStAL), Inria SequeL（法国国家科学研究中心与里尔大学，UMR 9189（CRIStAL），Inria SequeL）；Centrum Wiskunde & Informatica（荷兰数学与计算机科学中心）
最近的进展，强盗工具和技术的顺序学习正在稳步实现新的应用，并有望解决一系列具有挑战性的相关问题。我们研究了博弈树搜索问题，其目标是快速确定在给定的博弈树的最佳移动顺序采样其随机收益。我们开发了新的算法，为树的任意深度，操作通过总结所有更深层次的树到置信区间在深度1，并在根应用最佳臂识别程序。我们证明了新的样本复杂性的保证与问题实例的依赖。我们的实验表明，我们的算法优于现有的消除为基础的算法和匹配以前的专用方法的深度两棵树。
2017-11-06 cs.LG stat.ML
Sequential Learning of Principal Curves: Summarizing Data Streams on the Fly
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）；Université d’Angers（昂热大学）；iAdvize（iAdvize公司）
当面对海量数据流时，使用诸如PCA的降维方法来总结数据会带来理论和算法上的缺陷。主曲线作为PCA的非线性推广，本文提出了一种新的算法，自动和顺序学习主曲线从数据流。我们表明，我们的程序是支持的遗憾界与最佳次线性余项。一个贪婪的本地搜索实现（称为\texttt{slpc}，顺序学习主曲线），结合睡眠专家和多臂强盗成分，以及其遗憾的计算和性能的合成和现实生活中的数据。
2019-05-08 cs.LG math.ST stat.ML
State-Separated SARSA: A Practical Sequential Decision-Making Algorithm with Recovering Rewards
The Graduate University for Advanced Studies（総合研究大学院大学）；The Institute of Statistical Mathematics（统计数理研究所）
本文提出状态分离SARSA算法，用于解决恢复性老虎机中奖励随时间衰减的序贯决策问题，通过减少状态组合实现高效学习，并证明渐近收敛，模拟实验验证其优越性能。
2024-03-18 cs.LG stat.ML
Best Arm Identification in Linked Bandits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们认为最好的武器识别的问题，在一个变种的多武装土匪称为链接土匪。在与关联的强盗的单次互动中，多个武器被顺序播放，直到其中一个获得正面奖励。由于每个交互提供关于多于一个臂的反馈，因此样本复杂度可以比常规Bandit设置低得多。我们提出了一个算法的链接土匪，结合一个新的子程序进行均匀采样与一个已知的最佳算法定期土匪。我们证明了几乎匹配的上限和下限的样本复杂性最好的手臂识别链接土匪。这些边界有一个有趣的结构，明确依赖于手臂的平均回报，而不仅仅是差距。我们还证实了我们的理论结果与实验。
2019-01-28 cs.LG stat.ML
Ultra Fast Medoid Identification via Correlated Sequential Halving
Stanford University（斯坦福大学）
一组n个点的中心点是集合中最小化到其他点的距离之和的点。它可以通过计算所有点对之间的距离在O（n^2）时间内精确确定。以前的工作表明，可以显着减少的距离计算所需的自适应查询距离。所得到的随机算法是通过直接转换的计算问题，多臂强盗统计推断问题。在这项工作中，我们表明，我们可以更好地利用结构的基本计算问题，通过修改传统的强盗采样策略，并使用它与适当选择的多臂强盗算法。四到五个数量级的增益超过精确的计算获得的实际数据，在两个数量的距离计算所需的挂钟时间。理论结果得到量化的数据参数方面的收益。我们的代码可在https://github.com/TavorB/Correlated-Sequential-Halving上公开获取。
2019-11-04 cs.DS cs.IT cs.LG
Best arm identification in multi-armed bandits with delayed feedback
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个泛化的最佳手臂识别问题，在随机多臂土匪（MAB）的设置，每拉一个手臂与延迟反馈。反馈中的延迟增加了标准算法的有效样本复杂度，但是如果我们能够访问在拉取完成之前接收到的部分反馈，则可以抵消延迟。我们提出了一个一般的框架来模拟部分和延迟反馈之间的关系，作为一个特殊的情况下，我们引入有效的算法设置的部分反馈有偏或无偏估计的延迟反馈。此外，我们提出了一种新的扩展算法的并行MAB设置代理可以控制一批武器。我们的实验在现实世界中的设置，涉及政策搜索和超参数优化在计算可持续性领域的快速充电电池和野生动物走廊建设，表明利用部分反馈的结构可以导致显着改善基线在顺序和并行MAB。
2018-03-29 cs.AI cs.LG stat.ML
The quantile spectral density and comparison based tests for nonlinear time series
在本文中，我们考虑测试的非线性时间序列，这是出于串行依赖的概念。所提出的测试是基于与分位数谱密度的比较，分位数谱密度可以被认为是通常的谱密度函数的分位数版本。分位数谱密度“测量”时间序列的序列依赖结构，并且在相对弱的混合条件下被很好地定义。我们提出了一个估计的分位数谱密度，并推导出其渐近抽样性质。我们使用分位数谱密度来构造时间序列的拟合优度检验，并解释了如何使用该检验来比较两个时间序列的序列相关结构。仿真和一些实际数据的例子说明了该方法。
2012-03-10 math.ST stat.TH
Multiscale Sequential Auditing of Quantile Regression with Point Masses
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对带点质量的分位数回归，构建多尺度序贯审计方法，结合局部连续投注混合与上下文树加权，实现任意时刻有效审计，通过模拟与实例验证其在分位数校准等问题中的有效性。
2026-10-16 math.ST stat.TH
Studentized U-quantile processes under dependence with applications to change-point analysis
许多流行的稳健估计是$U$ -分位数，最著名的是Hodges-Lehmann位置估计和$Q_n$尺度估计。在不作任何矩假设和弱短程相依条件下，证明了序列$U$ -分位数过程的泛函中心极限定理.我们进一步设计了一个估计的长期方差，并显示其一致性，从学生化版本的序列$U$ -分位数过程的标准布朗运动的收敛如下。该结果可用于构造基于$U$ -分位数的CANUM型变点检验，该检验不依赖于自举过程。我们详细展示了这种方法的例子中的Hodges-Lehmann估计稳健检测中心位置的变化。仿真研究证实了非常好的鲁棒性和效率性能的测试。两个真实的数据集进行了分析。
2016-03-18 math.ST stat.TH
Scalable estimation and inference for censored quantile regression process
删失分位数回归（CQR）已成为研究可能删失结果和协变量之间异质性关联的重要工具，但对于包含多个协变量的大规模数据，CQR的计算和统计推断仍然是一个挑战。在本文中，我们专注于一个平滑的鞅为基础的序列估计方程的方法，可扩展的基于梯度的算法可以应用。在理论上，我们提供了一个统一的分析光滑序列估计和它的惩罚对应的增加的维度。当协变量维数随着样本量以次线性速率增长时，我们建立了一致收敛性速率（在一系列分位数指数上），并为乘数引导过程的有效性提供了严格的理由。在高维稀疏设置，我们的研究结果大大提高了现有的工作CQR放松指数项的稀疏性。我们还展示了平滑CQR的优势，现有的方法与模拟实验和数据应用。
2022-10-23 math.ST stat.TH
Sequential online subsampling for thinning experimental designs
我们考虑一个设计问题，其中实验条件（设计点$X_i$）以i.i.d.序列的形式呈现。随机变量，用未知的概率测度$μ$生成，并且只能选择给定的比例$α\in(0,1)$。目标是在运行中选择好的候选$X_i$，并最大化相应信息矩阵的凹函数$Φ$。最优解对应于最优有界设计测度$ξ_α^*\leq μ/α$的构造，其困难在于$μ$是未知的，而$ξ_α^*$必须在线构造.所提出的构造依赖于在当前信息矩阵处对$Φ$的方向导数的阈值$τ$的定义，$τ$的值由该方向导数的分布的某个分位数固定。与递归分位数估计相结合，得到一种非线性双时间尺度随机逼近方法。它可以应用于很长的设计序列，因为只有当前的信息矩阵和估计的分位数需要存储。收敛到一个最优设计证明。各种说明性的例子。
2020-08-04 math.ST stat.CO stat.ME
Bayesian Dynamic Quantile Model Averaging
本文提出一种动态贝叶斯模型平均框架，结合序贯马尔可夫链蒙特卡洛方法处理时变参数分位数回归，通过模拟和实证验证，揭示通货膨胀和房价决定因素的时变性，为快速变化环境中的决策提供见解。
2024-11-07 math.ST stat.ME stat.TH
Real time change-point detection in a nonlinear quantile model
实时时变点检测的研究大多集中在线性模型上，或者在经典的模型误差假设下使用了最大似然法。研究了非线性分位数模型中的序列变点检测问题。提出并研究了一种基于分位数过程次梯度和的检验统计量。在模型不变的原假设下，确定检验统计量的渐近分布。在备择假设下，在一些未知的观察有一个变化的模型，提出的检验统计量收敛于概率$\infty$。这些结果允许在开放端和封闭端程序上建立临界区域。模拟结果，使用Monte Carlo技术，调查的检验统计量的性能，特别是重尾误差分布。我们还将其与经典的CSCUM检验统计量进行了比较。
2016-05-02 math.ST stat.ME stat.TH
Pointwise adaptive estimation for robust and quantile regression
本文提出了一种用于稳健回归估计和分位数回归的非参数方法，它完全是数据驱动的，并且局部适应于回归函数的正则性。这是通过考虑在每个点的M-估计在不同的局部邻域和局部模型选择过程的基础上序贯检验。得到了非渐近风险界，在较弱的条件下得到了大样本渐近率最优性。不同的单变量中位数回归模型的模拟显示出良好的有限样本性质，也比较传统的方法。该方法被扩展到图像去噪，并应用于癌症研究中的CT扫描。
2009-04-03 math.ST stat.TH
Multi-Armed Sequential Hypothesis Testing by Betting
University of California Berkeley（加州大学伯克利分校）；École Normale Supérieure & Inria Paris（法国国家科学研究中心巴黎分校 & 巴黎研究所）
本文研究了通过赌注进行多臂顺序检验的问题，提出了一种在多个数据源（臂）中选择以获取数据的统计学家的变体，旨在拒绝全局空假设P（所有臂在某种意义上无效）并支持复合替代假设Q（至少有一个臂非空）。通过推广对数最优性和期望拒绝时间最优性的概念，得到了匹配的上下界，并提出了一个修改的上置信界算法来处理不可观测但足够可估计的奖励。
2026-06-04 cs.LG math.ST stat.ME
Non-Asymptotic Sequential Tests for Overlapping Hypotheses and application to near optimal arm identification in bandit models
本文研究了具有\emph{overlapping}假设的序贯检验问题。我们首先集中在一个简单的问题，评估如果平均$μ$的高斯分布是小于或大于一个固定的$ε>0$ ;如果$μ\in(-ε,ε)$，这两个答案都被认为是正确的。然后，我们考虑PAC-最好的手臂识别的强盗模型：给定$K$概率分布$\mathbb{R}$与手段$μ_1,\dots,μ_K$，我们得出的渐近复杂性识别，风险最多$δ$，指数$I\in\{1,\dots,K\}$，使$μ_I\geq \max_iμ_i -ε$。我们提供了一个并行的一般似然比测试，这也可以用于更一般的测试问题的误差的非渐近界。我们进一步提出了确定一个正确假设所需的观测数的下限。这些下限依赖于信息理论的参数，特别是在两个版本的测量引理的变化（高层次的形式，和低层次的形式），其相对优点进行了讨论。
2021-11-18 math.ST stat.TH
Design-Based Inference for Multi-arm Bandits
多臂强盗越来越受欢迎，因为它们可以在包括临床试验、推荐系统和在线决策在内的应用领域实现真实世界的顺序决策。因此，越来越希望使用可用的自适应收集的数据集来区分一个臂是否比另一个臂更有效，例如，哪种产品或治疗更有效。不幸的是，当数据被自适应地收集或需要许多不可测试的和技术的假设时，现有的工具不能提供有效的推断，例如，平稳性，iid奖励，有界随机变量，等等。我们的论文介绍了基于设计的方法来推断多臂土匪，在那里我们条件的全部潜在的结果，并执行推断所获得的样本。我们的论文构造了有效的置信区间的奖励平均值的任何武器和任何武器之间的平均奖励差异在一个简单的方式，允许奖励是任意分布，非iid，和从非平稳分布。除了置信区间，我们还提供了有效的基于设计的置信序列，序列的置信区间具有统一的类型1错误保证随着时间的推移。置信序列允许代理在数据顺序到达时执行假设检验，并且一旦代理对推断满意就停止实验，例如，臂的平均回报在统计上显著高于期望阈值。
2023-02-27 math.ST stat.ME stat.TH
Kullback-Leibler upper confidence bounds for optimal sequential allocation
我们考虑最优序贯分配的背景下，所谓的随机多臂土匪模型。我们描述了一个通用的索引策略，在Gittins [J. R. Stat. Soc. Ser. B Stat.美沙酮41（1979）148-177]，基于使用Kullback-Leibler散度计算的臂收益的置信上限。我们考虑两类分布的情况下，这个一般的想法进行了分析：KL-UCB算法的设计为一个参数的指数家庭和经验KL-UCB算法有界的，并支持分布。我们的主要贡献是一个统一的有限时间分析这些算法的遗憾，渐近匹配的下界的赖和罗宾斯[Adv.在应用数学。6（1985）4-22]和Burnetas和Katehakis [Adv.在应用数学。17（1996）122-142]，分别。我们还研究了这些算法在使用一般有界奖励时的行为，特别是它们提供了比最先进的显着改进。
2013-08-26 math.PR math.ST stat.TH
Extending Subsampling to Sequential Stopping
Stanford University（斯坦福大学）
本文针对固定宽度序贯停止机制在无穷方差或长程依赖场景下失效的问题，构建统一框架刻画停止时间与自归一化估计量的渐近行为，提出序贯子抽样过程，在两类场景下得到渐近有效的序贯置信区间并完成验证。
2026-09-02 math.ST stat.ME stat.TH
Overlapping Batch Confidence Intervals on Statistical Functionals Constructed from Time Series: Application to Quantiles, Optimization, and Estimation
本文提出基于重叠批次与 OB-x 极限的时间序列统计泛函置信区间方法，在多种估计任务中显著优于子采样和 bootstrap。
2023-07-17 cs.CE math.PR math.ST
Beyond the Best: Estimating Distribution Functionals in Infinite-Armed Bandits
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
在无限臂强盗问题中，每个臂的平均奖励从未知分布中采样，并且每个臂可以进一步采样以获得该臂的平均奖励的噪声估计。估计平均奖励分布的最大值。我们认为一般类的分布泛函超出了最大值，并提出了统一的Meta算法离线和在线设置，实现最佳的样本复杂性。我们表明，在线估计，学习者可以顺序选择是否采样一个新的或现有的手臂，提供了没有优势的离线设置估计的平均功能，但显着降低了其他功能，如中位数，最大值和修剪的平均样本的复杂性。匹配下界利用几个不同的Wasserstein距离。对于中值估计的特殊情况下，我们确定了一个奇怪的阈值的现象，高斯卷积之间的不变性相对于噪声水平，这可能是独立的利益。
2022-11-01 cs.IT cs.LG math.IT
