Efficient Automatic CASH via Rising Bandits
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院);Beijing University of Posts and Telecommunications(北京邮电大学);Alibaba Group(阿里巴巴集团)
算法选择和超参数优化(CASH)是自动机器学习(AutoML)中最基本的问题之一。现有的基于贝叶斯优化(BO)的解决方案通过合并所有机器学习(ML)算法的超参数,将CASH问题转化为一个超参数优化(HPO)问题,并使用BO方法进行求解,但由于CASH中超参数空间巨大,这些方法存在效率低下的问题。为了缓解这个问题,我们提出了交替优化框架,其中每个ML算法的HPO问题和算法选择问题交替优化。在这个框架中,BO方法分别用于解决每个ML算法的HPO问题,为BO方法引入了一个小得多的超参数空间。此外,我们介绍了崛起的土匪,一个面向现金的多臂土匪(MAB)的变种,在现金模型的算法选择。该框架既可以利用BO算法求解超参数空间较小的HPO问题,又可以利用MAB算法加速算法选择。此外,我们进一步开发了一个有效的在线算法来解决上升的强盗可证明的理论保证。在30个OpenML数据集上进行的大量实验证明了所提出的方法优于竞争基线。
2020-12-08 cs.LG stat.ML
Efficient Best-of-Both-Worlds Algorithms for Contextual Combinatorial Semi-Bandits
本文提出首个兼顾对抗性和随机性场景的上下文组合半带隙算法,同时保证对抗环境下O(√T)和随机性环境下O(ln T)的 regrets,并通过改进的FTRL框架实现高效计算。
2026-03-26 cs.LG stat.ML
Bandit Learning in General Open Multi-agent Systems
Mechanical and Industrial Engineering University of Massachusetts Amherst(机械与工业工程大学马萨诸塞大学阿姆赫斯特)
本文研究一般开放多智能体系统中的强化学习问题,提出统一的开放系统带抵制问题框架,引入预训练度、稳定性等新概念,并开发具有证明保证的全局UCB学习方法。
2026-10-20 cs.LG stat.ML
Hierarchical Adversarial Bandits for Online Configuration Optimization
NVIDIA;Ben-Gurion University of the Negev(贝纳-约纳大学);Bar-Ilan University(巴伊兰大学)
针对动态参数空间的在线配置优化,提出层次化框架ABoB,通过聚类分解配置空间加速学习,在真实存储系统上性能提升高达50%,理论证明最坏情况界为O(√kT),有利条件下可加速至O(k^{1/4}√T)。
2026-06-23 cs.LG cs.MA stat.ML
Accelerating Offline Reinforcement Learning Application in Real-Time Bidding and Recommendation: Potential Use of Simulation
Tokyo Institute of Technology(东京工业大学);negocia, Inc.(Negocia公司);Hanjuku-Kaso Co., Ltd.(Hanjuku-Kaso有限公司);Cornell University(康奈尔大学)
在推荐系统(RecSys)和在线广告的实时的【形】竞价(RTB)中,我们经常尝试使用强盗和强化学习(RL)技术来优化顺序决策。在这些应用程序中,离线强化学习(离线RL)和离线策略评估(OPE)是有益的,因为它们可以仅使用记录的数据进行安全的策略优化,而无需任何有风险的在线交互。在本立场文件中,我们探讨了使用模拟来加速离线RL和OPE的实际研究的潜力,特别是在RecSys和RTB中。具体来说,我们将讨论如何模拟可以帮助我们进行离线RL和OPE的实证研究。我们采取的立场,认为我们应该有效地使用离线RL和OPE的实证研究模拟。为了反驳只使用真实世界数据的实验更可取的反驳,我们首先指出了真实世界实验中的潜在风险和可重复性问题。然后,我们描述了如何使用模拟来解决这些问题。此外,我们将展示如何结合现实世界和基于模拟的实验的好处,以捍卫我们的立场。最后,我们还提出了一个开放的挑战,以进一步促进离线RL和OPE在RecSys和RTB的实际研究,相对于公共仿真平台。作为这个问题的一个可能的解决方案,我们展示了我们正在进行的开源项目及其潜在的用例。我们相信,为离线RL和OPE构建和利用基于模拟的评估平台将对RecSys和RTB社区产生极大的兴趣和相关性。
2021-09-17 cs.LG
Accelerating Quadratic Optimization with Reinforcement Learning
Princeton University(普林斯顿大学);ETH Zurich(苏黎世联邦理工学院);University of California, Berkeley(加州大学伯克利分校)
二次优化的一阶方法如OSQP被广泛用于大规模机器学习和嵌入式最优控制,其中许多相关问题必须快速解决。这些方法面临两个持续的挑战:手动超参数调整和收敛时间高精度的解决方案。为了解决这些问题,我们探索了强化学习(RL)如何学习策略来调整参数以加速收敛。在著名的QP基准测试的实验中,我们发现我们的RL策略RLQP的性能明显优于最先进的QP求解器,最高可达3倍。RLQP令人惊讶地很好地推广到以前看不见的问题,不同的尺寸和结构,从不同的应用程序,包括QPLIB,Netlib LP和Maros-Meszaros问题。RLQP代码可在https://github.com/berkeleyautomation/rlqp上获得。
2021-07-22 cs.LG math.OC
Identifying All ε-Best Arms in (Misspecified) Linear Bandits
Department of Civil and Environmental Engineering, Massachusetts Institute of Technology(麻省理工学院土木与环境工程系);School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院);Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济管理学院);SC Johnson College of Business, Cornell University(康奈尔大学SC约翰逊商学院)
针对高试错成本任务多候选识别需求,提出线性老虎机ε-最优臂识别算法LinFACT,证明其达实例最优,扩展至模型误设定等场景,实验验证其样本效率与计算优势。
2025-09-29 cs.AI cs.LG math.ST
Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models?
Tsinghua University(清华大学)
本研究提出MoPPS框架,通过贝叶斯方法在线预测提示难度,从而加速推理模型的强化学习微调过程。
2026-01-10 cs.AI cs.LG
Contextual Bandits with Online Neural Regression
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对上下文老虎机问题,通过在宽网络预测中加入随机扰动使损失满足QG条件,得到了更优的NeuCB遗憾界,并通过实验验证了算法(尤其是KL损失版本)的性能优势。
2023-12-12 cs.LG stat.ML
Dynamic Decision-Making under Model Misspecification: A Stochastic Stability Approach
Brown University(布朗大学)
本文研究了在模型不规范情况下汤普森采样算法的行为和性能,提出了一种统一的随机稳定性框架,为贝叶斯学习与进化动态的结合提供了新的视角。
2026-07-21 cs.LG econ.TH math.ST
Few Batches or Little Memory, But Not Both: Simultaneous Space and Adaptivity Constraints in Stochastic Bandits
School of Data Science, Fudan University(复旦大学大数据学院);Shanghai Innovation Institute(上海创新研究院)
研究随机老虎机在空间和适应性同时约束下的性能,证明在同时约束下,近最优 regret 需要 Ω(K/W) 批次,提出一个在任意内存预算下达到近最优 regret 的算法。
2026-03-30 cs.LG stat.ML
Persistency of Excitation for Robustness of Neural Networks
University of California, Berkeley(加州大学伯克利分校)
当使用在线学习算法来估计模型的未知参数时,与参数估计相互作用的信号不应衰减太快,以正确地发现最佳值。这种要求被称为激励的持久性,它出现在各种情况下,如随机梯度方法的优化,多臂强盗的探索,以及动力系统的自适应控制。在训练神经网络的同时,所涉及的迭代优化算法也产生了在线学习问题,因此,正确估计最优参数需要持续激励网络权重。在这项工作中,我们分析了动态的梯度下降算法,同时训练一个两层神经网络有两个不同的损失函数,平方误差损失和交叉熵损失,我们得到的条件,以保证持续激励的网络权重。然后,我们表明,这些条件是很难满足的多层网络进行训练时的分类任务,在网络的中间层的信号成为低维训练过程中,并未能保持持久的兴奋。为了提供补救措施,我们深入研究了用于线性模型的经典正则化项,将其重新解释为确保模型参数持续激励的一种手段,并通过建立类比提出了一种神经网络算法。这项工作的结果揭示了为什么对抗性示例已成为神经网络的一个具有挑战性的问题,为什么仅仅增加训练数据集并不是解决它们的有效方法,以及为什么可能不存在与数据无关的神经网络正则化项,它只涉及模型参数,但不涉及训练数据。
2019-11-04 cs.LG stat.ML
Expert with Clustering: Hierarchical Online Preference Learning Framework
ShanghaiTech University(上海科技大学);Massachusetts Institute of Technology(麻省理工学院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本研究针对出行推荐系统的遗憾值最小化需求,提出整合聚类与专家建议的分层上下文赌博机框架EWC,实现了更优的理论遗憾界,实验中较LinUCB基线降低27.57%的遗憾值,适用于分层用户偏好场景。
2024-06-24 cs.LG
$\varepsilon$-Good Action Identification in Fixed-Budget Monte Carlo Tree Search
Department of Computer Science(计算机科学系);University of Arizona(亚利桑那大学);CSE/GSAI POSTECH(POSTECH CSE/GSAI)
本文研究了深度为2的max-min树中的固定预算max-min动作识别问题,提出了一种无需输入ε的算法,实现了实例依赖的误差界,并给出了max-min识别的下界结果。
2026-05-11 cs.LG stat.ML
FastPersist: Accelerating Model Checkpointing in Deep Learning
Microsoft DeepSpeed(微软DeepSpeed)
针对深度学习训练优化重计算轻I/O导致检查点写入慢的问题,提出FastPersist框架,通过NVMe优化、多SSD并行写入及计算重叠技术,实现最高116倍的检查点加速与近乎零开销的逐迭代检查点保存。
2024-06-19 cs.AI cs.DC cs.LG
Bandit Theory and Thompson Sampling-Guided Directed Evolution for Sequence Optimization
Stanford University(斯坦福大学);University of Alberta(阿尔伯塔大学);Princeton University(普林斯顿大学)
定向进化(DirectedEvolution,DE)是20世纪60年代发展起来的一种具有里程碑意义的湿实验室方法,它通过进化候选序列来发现新的蛋白质设计。生物技术的最新进展使得收集高通量数据成为可能,允许使用机器学习来绘制蛋白质的序列与功能关系。人们对机器学习辅助DE加速蛋白质优化的兴趣越来越大。然而,对DE的理论理解以及DE中机器学习的使用仍然有限。本文将DE与强盗学习理论相结合,首次尝试研究DE中的后悔最小化问题。我们提出了一个汤普森采样指导的定向进化(TS-DE)框架序列优化,其中序列到功能的映射是未知的,查询一个单一的值是受到昂贵的和嘈杂的测量。TS-DE基于收集的测量结果更新函数的后验。它使用后验抽样函数估计来指导DE中的交叉、重组和变异步骤。在线性模型的情况下,我们证明了TS-DE具有$\tilde O(d^{2}\sqrt{MT})$阶的贝叶斯后悔,其中$d$是特征维数,$M$是种群大小,$T$是轮数.这个遗憾界几乎是最优的,证实了强盗学习可以证明加速DE。它可能对更一般的序列优化和进化算法有影响。
2022-06-05 cs.LG stat.ML
Sharper Regret Bounds for Time-Varying Gaussian Process Bandits with Constant Exploration
Delft Institute of Applied Mathematics(代尔夫特应用数学研究所);Delft University of Technology(代尔夫特理工大学)
针对时变高斯过程漂移模型下的贝叶斯优化问题,提出基于每轮局部置信事件的恒定探索GP-UCB方法,推导更紧的时变最大信息增益界与期望、实际遗憾界,仿真验证了探索参数与漂移率倒数的对数依赖关系。
2026-08-20 cs.LG stat.ML
Stress-Aware Learning under KL Drift via Trust-Decayed Mirror Descent
New York University(纽约大学)
针对分布漂移下的序贯决策,提出熵正则化信任衰减方法,通过压力感知指数倾斜统一信念更新与决策,实现$\tilde{O}(\sqrt{T})$动态遗憾,并统一动态遗憾、分布鲁棒与KL正则化控制。
2025-10-17 cs.LG math.ST stat.TH
Instance-Dependent Regret Bounds for Learning Two-Player Zero-Sum Games with Bandit Feedback
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);University of Southern California(南加利福尼亚大学)
本文证明在仅带赌博反馈的双人零和正规形式博弈中,双方采用 Tsallis-INF 算法可实现实例相关的遗憾界,其中常数依赖于博弈间隙和纳什均衡结构,纯策略均衡时达到最优界并支持最后迭代收敛与高效均衡识别。
2025-02-24 cs.GT cs.LG