Non-Adaptive Learning a Hidden Hipergraph
Technion(以色列理工学院);Google(谷歌)
我们给出了一个新的确定性算法,非自适应学习隐藏超图的边缘检测查询。所有以前的非自适应算法要么在指数时间内运行,要么有非最优的查询复杂度。我们给出了第一个多项式时间非自适应的学习超图的学习算法,它要求几乎最优的查询次数。
2015-02-13 cs.LG
Improved Differential Privacy for SGD via Optimal Private Linear Operators on Adaptive Streams
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google Research(谷歌研究院);Boston University(波士顿大学)
最近的应用程序需要差分隐私自适应流的动机,我们调查的矩阵机制在这种设置的最佳实例化的问题。我们证明了基本的理论结果的适用性矩阵分解自适应流,并提供了一个无参数的不动点算法计算最佳因子分解。我们实例化这个框架的具体矩阵,自然出现在机器学习,训练用户级差分隐私模型与由此产生的最佳机制,产生显着的改善,在一个显着的问题,在联邦学习与用户级差分隐私。
2023-01-18 cs.LG math.OC
Optimal and Near-Optimal Adaptive Vector Quantization
UCL(伦敦大学学院);VMware Research(VMware研究);Harvard University(哈佛大学)
针对最优自适应量化方法运行与内存开销高、不可行的问题,该研究重新探究自适应矢量量化问题,提出了复杂度渐近优化的最优算法及面向大输入的快速近似最优算法,为其在更多机器学习场景的应用铺路。
2025-07-31 cs.DS cs.IT cs.LG
Optimal Adaptive Experimental Design for Estimating Treatment Effect
MIT(麻省理工学院);Peking University(北京大学)
本文研究异质协变量下处理效应的最优估计精度问题,提出一种基于双重稳健方法的低切换自适应实验设计框架,将其转化为在线老虎机学习问题,并在非渐近意义下证明了其最优性,仅需两到三次策略更新即可逼近最优估计精度。
2024-11-12 cs.LG stat.ML
On the necessity of adaptive regularisation:Optimal anytime online learning on $\boldsymbol{\ell_p}$-balls
研究证明了在ℓ_p球上的在线学习中,自适应正则化对于任意时间最优性是必要的,且固定非适应性正则化无法达到此最优。
2025-11-27 cs.LG
Adaptive Iterative Hessian Sketch via A-Optimal Subsampling
The University of Hong Kong(香港大学)
迭代海森草图(IHS)是一种有效的大规模数据建模方法。它最初由Pilanci和Wainwright(2016; JMLR)基于随机草图矩阵提出。然而,由于迭代草图过程,它是计算密集型的。本文分析了IHS算法在无约束最小二乘问题背景下的性能,提出了一种基于A-最优子采样的IHS改进算法。我们的贡献是三个方面:(1)一个很好的初始估计的基础上的A-最优设计建议;(2)一个新的脊预条件子的重复素描发展;(3)提出了一个精确的线搜索方法,以确定最佳的步长自适应。大量的实验结果表明,我们提出的A-最优IHS算法优于现有的加速IHS方法。
2020-03-08 cs.LG stat.ML
Multiobjective Reinforcement Learning for Reconfigurable Adaptive Optimal Control of Manufacturing Processes
Intelligent Systems Research Group (ISRG)(智能系统研究组)
本文提出了一种新型无模型多目标强化学习方法,用于制造过程的自适应最优控制,能够高效学习不同目标权重下的控制配置。
2018-10-09 cs.LG cs.SY eess.SY
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University(纽约大学)
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代,提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法,该算法能够从初始容许控制策略出发,直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略,而无需显式地识别任何系统矩阵.在较弱的条件下,证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真,验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Adaptive and Universal Algorithms for Variational Inequalities with Optimal Convergence
Boston University(波士顿大学);Northeastern University(东北大学)
我们开发了新的自适应算法与单调算子的变分不等式,它捕获了许多感兴趣的问题,特别是凸优化和凹凸鞍点问题。我们的算法自动适应未知的问题参数,如平滑和规范的运营商,和方差的随机评估预言。我们表明,我们的算法是通用的,同时达到最佳的收敛速度在非光滑,光滑,随机设置。我们的算法的收敛性保证改善现有的自适应方法的$Ω(\sqrt{\ln T})$因子,匹配的最佳非自适应算法。此外,以前的工作要求优化域是有界的。在这项工作中,我们删除这个限制,并给出算法的无界域是自适应的和普遍的。我们的一般证明技术可以用于算法的许多变体,每次迭代使用一个或两个运算符评估。基于ExtraGradient/RightProx算法的经典方法每次迭代需要两次运算符评估,这在许多设置中是运行时间的主要因素。
2021-08-26 cs.DS cs.LG
An Optimal Reduction of TV-Denoising to Adaptive Online Learning
UC Santa Barbara(加州大学圣巴巴拉分校)
我们考虑从$n$噪声样本中估计一个函数的问题,该样本的离散全变差(TV)由$C_n$限定。我们揭示了与强自适应在线学习(Daniely et al,2015)的看似不同的问题的深层联系,并提供了一种$O(n \log n)$时间算法,该算法在平方误差损失下获得了$\tilde O (n^{1/3}C_n^{2/3})$的近极小极大最优速率。所得到的算法在线运行,并最佳地适应未知的平滑参数$C_n$。这导致了一个新的和更通用的替代小波为基础的方法(1)自适应估计电视有界函数;(2)在线预测电视有界的趋势,在时间序列。
2021-01-26 cs.LG math.OC stat.ML
Optimal Adaptive Learning in Uncontrolled Restless Bandit Problems
University of California, Los Angeles(加州大学洛杉矶分校);University of Michigan(密歇根大学)
在本文中,我们考虑的问题,学习的最佳政策不受控制的不安土匪问题。在一个不受控制的不安分的强盗问题中,有一个有限集的手臂,每一个手臂在被拉动时都会产生正的奖励。有一个玩家在每个时间步顺序选择一个手臂。参与人的目标是在时间范围T内最大化其未折现的奖励。每个手臂的奖励过程是一个有限状态的马尔可夫链,其转移概率是未知的球员。每个手臂的状态转换与玩家的选择无关。我们提出了一个学习算法与对数遗憾一致的时间上的最佳有限时域政策。我们的研究结果将MDP的最优自适应学习扩展到POMDP。
2015-01-29 cs.LG math.OC
Open Problem: Is Interaction Necessary for Order-Optimal 1-bit Mean Estimation?
National University of Singapore(新加坡国立大学)
探讨非参数有限矩类上1比特均值估计最优阶是否需交互。自适应阈值查询协议可达最优阶极小极大率,非自适应中阈值和区间查询次优,任意非自适应量化器情况未决。
2026-07-07 cs.IT cs.LG math.IT
Navigating Scaling Laws: Compute Optimality in Adaptive Model Training
ETH Zürich(苏黎世联邦理工学院)
本文提出自适应模型训练方法,通过动态调整模型形状在缩放定律间最优穿行,超越静态模型,显著降低达到目标性能所需的计算量,并跨模态泛化。
2024-05-23 cs.CV cs.LG
Beyond kNN: Adaptive, Sparse Neighborhood Graphs via Optimal Transport
University of British Columbia(不列颠哥伦比亚大学);University of Melbourne(墨尔本大学)
最近邻图被广泛用于捕获数据集的几何或拓扑。构建这种图的最常见策略之一是基于为每个点选择固定数量k的最近邻(kNN)。然而,当采样密度或噪声水平在数据集之间变化时,kNN启发式可能变得不合适。试图绕过这一点的策略通常会引入需要调优的其他参数。我们提出了一个简单的方法来构建一个自适应的邻域图从一个单一的参数,基于二次正则化的最佳运输。我们的数值实验表明,以这种方式构建的图在无监督和半监督学习应用中表现良好。
2022-08-01 cs.LG stat.ML
Bayes-CPACE: PAC Optimal Exploration in Continuous Space Bayes-Adaptive Markov Decision Processes
University of Washington(华盛顿大学)
我们提出了第一个PAC最优算法贝叶斯自适应马尔可夫决策过程(BAMDPs)在连续的状态和动作空间,尽我们所知。BAMDP框架通过将贝叶斯信念更新纳入长期预期收益来优雅地解决模型的不确定性。然而,计算精确的最优贝叶斯策略是棘手的。我们的关键见解是计算一个接近最优的价值函数覆盖连续的状态-信念-行动空间与有限的一组代表性的样本,并利用Lipschitz连续性的价值函数。我们证明了我们的算法的近最优性,并分析了一些计划,提高算法的效率。最后,我们实证验证了我们的方法在一些离散和连续BAMDPs,并表明,学习的政策始终具有竞争力的性能对基线方法。
2018-10-06 cs.LG cs.RO stat.ML
Variance-Adaptive Optimal Algorithm for Reinforcement Learning with Multinomial Logit Function Approximation
Chung-Ang University(Chung-Ang 大学);Seoul National University(首尔国立大学);Columbia University(哥伦比亚大学)
针对多项逻辑函数逼近的强化学习,提出一种计算高效的方差自适应算法,实现了实例级最优遗憾界,并通过实验验证其优于传统方法。
2026-05-27 cs.LG stat.ML
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics(上海财经大学);Georgia Institute of Technology(佐治亚理工学院)
随机梯度下降(\textsc{Sgd})方法是训练机器学习和深度学习模型中最强大的优化工具。此外,加速度(a.k.a.动量)方法和对角缩放(a.k.a.自适应梯度)方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势,但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中,我们提出了一类新的自适应和加速随机梯度下降方法,并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说,我们表明,对角缩放,最初设计用于改善香草随机梯度,可以被纳入加速随机梯度下降,以实现平滑随机最优化的最佳收敛速度。我们还表明,动量,除了被称为加快确定性优化的收敛速度,也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后,我们提出了一些启发式方法,有助于实现自适应加速随机梯度下降方法,并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Optimal Preconditioning and Fisher Adaptive Langevin Sampling
Google DeepMind(谷歌DeepMind)
本文通过解析优化期望平方跳跃距离,提出以逆 Fisher 信息协方差矩阵作为 Langevin 扩散的最优预条件,并据此设计了一种从梯度历史中高效学习预条件的自适应 MALA 算法,在高维实验中显著优于现有方法。
2023-10-28 cs.LG stat.CO stat.ML
A minimax near-optimal algorithm for adaptive rejection sampling
Numberly (1000mercis Group)(Numberly(1000mercis 集团));Otto-von-Guericke University(奥托·冯·格里克大学);Potsdam University(波茨坦大学)
拒绝抽样是一种基本的蒙特卡罗方法。它用于从允许概率密度函数的分布中采样,该概率密度函数可以在任何给定点精确地进行评估,尽管计算成本很高。然而,如果没有适当的调整,这种技术意味着高拒绝率。已经探索了几种方法来应对这个问题,基于通过一个简单的函数,使用以前的样本的信息,自适应地估计密度的原则。它们中的大多数要么依赖于对密度形式的强假设,要么不提供任何理论性能保证。我们给出了第一个自适应拒绝抽样问题的理论下限,并引入了一个新的算法,保证了一个接近最优的拒绝率在极大极小意义上。
2018-10-22 cs.LG stat.ML
Adaptive Learning of the Optimal Batch Size of SGD
KAUST(阿卜杜拉国王科技大学)
SGD理论理解的最新进展导致了最佳批量大小的公式,该公式使有效数据通过的数量最小化,即,迭代次数乘以批量大小。然而,这个公式是没有实用价值的,因为它取决于在最佳的随机梯度的方差的知识。在本文中,我们设计了一个实用的SGD方法,能够学习的最佳批量大小自适应整个迭代强凸和光滑的功能。我们的方法可以证明这一点,并且在我们的实验中,合成和真实数据稳健地表现出接近最优的行为;也就是说,它的工作原理就像最优批量是先验已知的一样。此外,我们将我们的方法推广到几个新的批处理策略,在文献中没有考虑过,包括适合分布式实现的采样。
2021-11-19 cs.LG math.OC stat.ML
On Uninformative Optimal Policies in Adaptive LQR with Unknown B-Matrix
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文给出了自适应线性二次型调节器(LQR)的局部渐近极小极大遗憾下界。我们认为affiliate参数化的$B$ -矩阵和已知的$A$ -矩阵,并旨在了解当对数后悔是不可能的,即使在存在结构边信息。在定义了Fisher信息的奇异性条件下的无信息最优策略的内在概念之后,我们通过诉诸van Trees不等式(Bayesian Cramér-Rao)和二次型(Bellman误差)的遗憾表示来获得LQR的这种无信息实例的局部极小极大遗憾下界。结果表明,如果参数化导致一个无信息的最优策略,对数后悔是不可能的,在时间范围内的速率至少是平方根的顺序。我们明确地描述了一个无信息的最优策略的概念系统理论量的零空间和特定的实例参数化。
2021-04-30 cs.LG math.OC stat.ML
Minimax and Bayes Optimal Adaptive Experimental Design for Treatment Choice
本文提出了一种最小最大与贝叶斯最优的自适应实验设计方法,通过分阶段估计标准差并按比例分配治疗以优化治疗选择的后悔上界。
2025-12-09 cs.LG econ.EM math.ST
Federated learning over physical channels: adaptive algorithms with near-optimal guarantees
Department of Electrical Engineering, SUNY University at Buffalo(电气工程系,布法罗大学)
针对联邦学习的通信成本问题,提出可在物理信道实现、兼顾信道噪声与硬件约束的自适应联邦SGD算法,证明其具备自适应于梯度噪声水平的收敛速率,并通过仿真验证了实际有效性。
2025-09-02 cs.IT cs.LG eess.SP
Stability Analysis of Optimal Adaptive Control using Value Iteration with Approximation Errors
Southern Methodist University(南卫理公会大学)
本文通过价值迭代分析自适应最优控制的稳定性,考虑了近似误差的影响,提供了吸引域的估计,确保初始条件在该域内时轨迹保持有效。
2017-10-23 cs.LG cs.SY eess.SY
Optimal Conditional Inference in Adaptive Experiments
本文研究了自适应实验中条件推断的最优方法,通过分析位置不变性和多面体事件依赖性,提出计算可行的最优推断程序。
2026-01-16 cs.LG econ.EM math.ST