A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Duke University(杜克大学)
使用随机梯度下降(SGD)训练深度神经网络通常可以在现实世界的任务中实现零训练损失,尽管已知优化景观是高度非凸的。为了理解SGD在训练深度神经网络方面的成功,这项工作提出了深度残差网络的平均场分析,基于一系列工作,这些工作将深度残差网络的连续极限解释为网络容量趋于无穷大时的常微分方程。具体来说,我们提出了一个新的深度残差网络的连续极限,它在每个局部极小点都是全局的意义上享有良好的景观。这一特征使我们能够推导出多层神经网络在平均场机制下的第一个全局收敛结果。此外,在不假设损失景观的凸性的情况下,我们的证明依赖于全局最小值处的零损失假设,当模型具有普适近似属性时,可以实现该假设。我们的结果的关键是观察到深残差网络类似于浅网络集成,即两层网络。我们通过伴随灵敏度方法限制了浅层网络和ResNet模型之间的差异,这使我们能够将现有的双层网络平均场分析应用于深层网络。此外,我们提出了几种新的训练方案的基础上,新的连续模型,包括一个训练过程,切换残差块的顺序,并在基准数据集上的强大的经验表现。
2020-06-11 cs.LG cs.NA math.NA
Unlocking TriLevel Learning with Level-Wise Zeroth Order Constraints: Distributed Algorithms and Provable Non-Asymptotic Convergence
Tongji University(同济大学)
针对带零阶约束的三层学习场景及数据分布式隐私需求,提出通用分布式三层零阶学习框架DTZO,通过零阶割平面构建级联近似,证明其非渐近收敛性,实验显示性能最高提升约40%。
2024-12-10 cs.LG math.OC
Provable Approximations for Constrained $\ell_p$ Regression
University of Haifa(海法大学)
$\ell_p$线性回归问题是在$x\in\mathbb{R}^d$上最小化$f(x)=||Ax-b||_p$,其中$A\in\mathbb{R}^{n\times d}$、$b\in \mathbb{R}^n$和$p>0$。为了避免过度拟合和约束$||x||_2$,约束$\ell_p$回归最小化每个单位向量$x\in\mathbb{R}^d$上的$f(x)$。这使得即使对于最简单的情况$d=p=2$问题也是非凸的。相反,岭回归被用来最小化拉格朗日形式$f(x)+λ||x||_2$在$x\in\mathbb{R}^d$,这产生了一个凸问题的代价校准正则化参数$λ>0$。我们提供了第一个可证明的常数因子近似算法,解决了直接的约束$\ell_p$回归,为每个常数$p,d\geq 1$。使用核心集,它的运行时间是$O(n \log n)$,包括流和分布式(大)数据的扩展。在多项式时间内,它可以处理离群值,$p\in (0,1)$和最小化每个$x$上的$f(x)$和$A$中的行的排列。还提供了实验结果,包括开源和与现有软件的比较。
2019-02-27 cs.LG stat.ML
Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces
University of Vienna(维也纳大学);Johann Radon Institute(约翰·拉东研究所)
我们研究的计算复杂性的(确定性或随机)算法的基础上的点样本近似或集成的功能,可以很好地近似神经网络。这种算法(最突出的是随机梯度下降及其变体)在深度学习领域得到了广泛的应用。这一领域中最重要的问题之一是,是否有可能实现理论上可证明的神经网络逼近率的算法。我们回答这个问题的否定证明硬度结果的问题的近似和整合一类新的神经网络近似空间。特别是,我们的研究结果证实了深度学习中理论与实践之间的差距。我们补充我们的硬度的结果表明,近似率的一个可比的收敛顺序(至少在理论上)是可以实现的。
2021-04-06 cs.LG math.FA
Optimal DR-Submodular Maximization and Applications to Provable Mean Field Inference
ETH Zurich(苏黎世联邦理工学院)
概率模型中的平均场推断通常是一个高度非凸的问题。现有的优化方法,例如,坐标上升算法,只能产生局部最优解。在这项工作中,我们提出了可证明的平均场方法的概率对数次模模型和它的后验协议(PA)与强近似保证。主要的算法技术是一个新的双贪婪计划,称为DR-DoubleGreedy,连续DR-子模最大化盒约束。它是一个具有线性时间复杂度的一遍算法,达到最佳的1/2近似比,这可能是独立的利益。我们验证了我们的算法对合成和真实世界的数据集上的基线算法的优越性能。
2018-11-29 cs.LG stat.ML
On the Suboptimality of Proximal Gradient Descent for $\ell^{0}$ Sparse Approximation
Snap Research(Snap 研究院);National University of Singapore(新加坡国立大学);Microsoft Research(微软研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了求解$\ell^{0}$稀疏逼近问题的近似梯度下降(PGD)方法及其随机优化算法。我们首先提供PGD的理论分析,显示在弱于压缩传感文献中广泛使用的限制等距属性的条件下,PGD的次优解与$\ell^{0}$稀疏逼近问题的全局最优解之间存在有界差距。此外,我们提出了随机算法,以加速优化的PGD使用随机低秩矩阵近似(PGD-RMA)和随机降维(PGD-RDR)。我们的随机化算法大大降低了原始PGD的计算成本为$\ell^{0}$稀疏近似问题,和由此产生的次最优解仍然享有可证明的次优性,即,次最优解减少的问题仍然有界差距的全局最优解的原问题。
2017-09-05 cs.LG math.OC
Sparse Data Augmentation for Optimization with Provable Guarantees
Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
针对几何机器学习中数据增强计算昂贵的问题,提出用固定稀疏变换样本近似完全增强,证明梯度下降在更少查询下达到ε-稳定点,优于完全增强GD和group-SGD。
2026-09-18 cs.AI cs.LG math.OC
Provable wavelet-based neural approximation
Department of Mathematics, Yonsei University(延世大学数学系);Johann Radon Institute for Computational and Applied Mathematics (RICAM)(约翰·拉恩研究所);Department of Mathematical Sciences, Korea Advanced Institute of Science and Technology(韩国科学技术院数学科学系)
本文提出基于小波框架的理论,为广泛激活函数(含振荡与非光滑)的神经网络给出可证明的万能逼近条件及误差界,提升架构设计灵活性。
2025-04-23 cs.LG math.CA stat.ML
Reweighted Solutions for Weighted Low Rank Approximation
Carnegie Mellon University(卡内基梅隆大学)
针对加权低秩逼近(WLRA)的NP困难性,提出一种利用权重矩阵对低秩解进行重加权的松弛解,在低秩权重下提供可证明的逼近保证,并首次给出匹配的通信复杂度界及特征选择相对误差保证。
2024-06-04 cs.DS cs.LG stat.ML
SF-DQN: Provable Knowledge Transfer using Successor Feature for Deep Reinforcement Learning
New Jersey Institute of Technology(新泽西理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文研究迁移强化学习中的知识迁移问题,利用后继特征(SF)和广义策略改进(GPI)分解Q函数,首次为深度神经网络下的SF-DQN建立了具有可证明泛化保证的收敛分析,并从理论和实验上证明其优于传统深度Q网络。
2024-09-22 cs.LG stat.ML
Provable Continual Learning via Sketched Jacobian Approximations
Technical University of Munich(慕尼黑工业大学);Rice University(莱斯大学)
机器学习中的一个重要问题是以顺序方式学习任务的能力。如果使用标准的一阶方法训练,大多数模型在训练新任务时会忘记以前学习的任务,这通常被称为灾难性遗忘。克服遗忘的一种流行方法是通过惩罚在先前任务中表现不佳的模型来正则化损失函数。例如,弹性权重合并(EWC)用二次形式正则化,该二次形式涉及基于过去数据构建的对角矩阵。虽然EWC的工作非常好的一些设置,我们表明,即使在其他理想的条件下,它可以证明遭受灾难性的遗忘,如果对角矩阵是一个贫穷的近似之前的任务的Hessian矩阵。我们提出了一种简单的方法来克服这一点:用过去数据的雅可比矩阵的草图来正则化新任务的训练。这可证明能够克服线性模型和宽神经网络的灾难性遗忘,以内存为代价。本文的总体目标是提供有关基于正则化的持续学习算法何时工作以及内存成本的见解。
2021-12-09 cs.AI cs.LG stat.ML
Multi-objective Reinforcement Learning with Nonlinear Preferences: Provable Approximation for Maximizing Expected Scalarized Return
Harvard University(哈佛大学);Duke University(杜克大学)
针对多目标 MDP 中非线性偏好下的 ESR 最大化问题,提出含时间与累积奖励的扩展 Bellman 形式,并给出伪多项式近似算法及理论与实验验证。
2025-02-18 cs.AI cs.LG
Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits
University of Chicago(芝加哥大学)
考虑一下这个问题:给定从具有$f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$的总体中提取的数据对$(\mathbf{x}, \mathbf{y})$,指定一个神经网络模型,并随时间对权重运行梯度流,直到达到任何平稳性。$f_t$,即神经网络在时间$t$计算的函数,在近似和表示方面与$f_*$有什么关系?神经网络的自适应表示与经典非参数文献中预先指定的固定基表示相比,有哪些可证明的好处?我们回答了上述问题,通过动态再生核希尔伯特空间(RKHS)的方法索引的神经网络的训练过程。首先,我们证明了当达到任何局部平稳性时,梯度流学习自适应RKHS表示,并同时将全局最小二乘投影到自适应RKHS上。其次,我们证明了RKHS是数据自适应和特定于任务的,残差$f_*$位于一个子空间,这是潜在的比RKHS的正交补小得多。该结果形式化了神经网络的表示和逼近优点。最后,我们证明了梯度流计算的神经网络函数在正则化消失的极限下收敛于具有自适应核的核无岭回归。自适应核的观点为研究神经网络的逼近、表示、推广和优化等优点提供了新的视角。
2019-07-23 cs.LG math.ST stat.ML
Distributionally Robust Off-Dynamics Reinforcement Learning: Provable Efficiency with Linear Function Approximation
Duke University(杜克大学)
本文首次研究带线性函数逼近的在线分布鲁棒MDP用于跨动力学强化学习,通过总变差距离设计d-矩形不确定性集消除非线性误差传播,提出DR-LSVI-UCB算法并证明其多项式次优性界与状态动作空间大小无关。
2024-02-23 cs.LG
Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency
Northwestern University(西北大学);Yale University(耶鲁大学)
本文首次在具有线性结构的部分可观测马尔可夫决策过程中结合函数逼近,提出OP-TENET算法,在O(1/ε²)回合内获得ε-最优策略,样本复杂度与观测和状态空间大小无关。
2024-04-01 cs.LG math.OC stat.ML
Dynamic Spectral Clustering with Provable Approximation Guarantee
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文研究动态演化图的聚类问题,提出一种动态谱聚类算法,在温和条件下以均摊更新时间 $O(1)$ 和查询时间 $o(n_T)$ 良好近似最终图聚类,并通过实验验证其实用性。
2024-06-05 cs.DS cs.LG
Differentially-Private Hierarchical Clustering with Provable Approximation Guarantees
UC San Diego(加州大学圣地亚哥分校);Google(谷歌)
本文在 Dasgupta 框架下研究了差分隐私层次聚类,证明了误差下界,提出了多项式与指数时间近似算法,并在随机块模型下设计了能精确恢复块的近似算法,最后通过实验验证了性能。
2023-05-23 cs.CR cs.DS cs.LG
The Power of Exploiter: Provable Multi-Agent RL in Large State Spaces
Princeton University(普林斯顿大学);MIT(麻省理工学院)
现代强化学习(RL)通常涉及具有大状态空间的实际问题,其中必须部署函数逼近来逼近价值函数或策略。虽然强化学习理论的最新进展解决了一系列具有一般函数近似的强化学习问题,但这些成功主要限于单智能体设置。如何将这些结果扩展到多智能体RL仍然是难以捉摸的,特别是由于其博弈理论性质带来的新挑战。本文研究两人零和马尔可夫博弈。我们提出了一种新的算法,可以证明找到纳什均衡政策使用多项式数量的样本,为任何MG与低多代理贝尔曼-Eluder维数-一个新的复杂性措施,从其单代理版本(金等,2021年)。我们的新算法的一个关键组成部分是剥削者,这有助于学习的主要球员故意利用她的弱点。我们的理论框架是通用的,适用于广泛的模型,包括但不限于表格MG,MG与线性或核函数近似,和MG与丰富的观测。
2021-10-12 cs.AI cs.LG stat.ML
Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
本文提出结合静态 LRM 与通用函数逼近的 RS-DisRL 框架及两种元算法,并通过 LSR、MLE 与增强 MDP 首次获得 $\widetilde{\mathcal{O}}(\sqrt{K})$ 遗憾上界。
2024-02-28 cs.LG
PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning
Microsoft Research(微软研究院);Facebook AI Research(Facebook 人工智能研究院);University of Washington(华盛顿大学);Cornell University(康奈尔大学)
用于强化学习的直接策略梯度方法是一种成功的方法,原因有很多:它们是无模型的,它们直接优化感兴趣的性能指标,并且它们允许丰富的参数化策略。它们的主要缺点是,由于是地方性的,它们无法充分探索环境。相比之下,虽然基于模型的方法和Q学习直接通过使用乐观来处理探索,但它们处理模型错误指定和函数近似的能力远没有那么明显。这项工作介绍了策略覆盖-策略梯度(PC-PG)算法,该算法可证明使用学习策略(策略覆盖)的集合来平衡探索与利用的权衡。PC-PG享有多项式样本复杂度和运行时间的表格MDP,更一般地说,线性MDP在无限维RKHS。此外,PC-PG还具有超出标准最坏情况$\ell_{\infty}$假设的模型误设定下的强保证;这包括在平均情况误差假设下的状态聚合的近似保证,以及在分布偏移下的近似误差受控的更一般假设下的保证。我们补充的理论与经验评估在各种领域的奖励自由和奖励驱动的设置。
2020-08-13 cs.AI cs.LG stat.ML
Sorting out Lipschitz function approximation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在严格的Lipschitz约束下训练神经网络对于可证明的对抗鲁棒性、泛化边界、可解释的梯度和Wasserstein距离估计是有用的。通过Lipschitz函数的复合性质,足以确保每个个体仿射变换或非线性激活是1-Lipschitz。挑战是在保持表达能力的同时做到这一点。我们确定了这样一个架构的必要属性:每一层都必须在反向传播过程中保持梯度范数。在此基础上,我们提出了结合梯度范数保持激活函数,GroupSort,与范数约束的权重矩阵。我们表明,范数约束GroupSort架构是通用的Lipschitz函数逼近。从经验上讲,我们证明了范数约束GroupSort网络比ReLU网络实现了更严格的Wasserstein距离估计,并且可以实现可证明的对抗性鲁棒性保证,而精度成本很小。
2019-06-11 cs.LG stat.ML
Provable Preimage Under-Approximation for Neural Networks (Full Version)
University of Oxford(牛津大学)
针对神经网络全局属性分析需求,提出结合线性松弛与迭代细化的原像欠近似随时算法,可处理高维MNIST任务,适用于定量验证与鲁棒性分析。
2024-01-27 cs.LG cs.LO cs.SE
Approximate maximum entropy principles via Goemans-Williamson with applications to provable variational methods
Princeton University(普林斯顿大学)
众所周知的最大熵原理是由Jaynes提出的,该原理指出,给定平均参数,匹配它们的最大熵分布是指数族,由于其“奥卡姆剃刀”解释,该原理在机器学习中非常流行。不幸的是,计算最大熵分布中的势是棘手的\cite{bresler2014hardness}。当平均参数是成对矩时,我们提供了这一原则的计算效率版本:我们设计了近似匹配给定成对矩的分布,同时具有与匹配这些矩的最大熵分布相当的熵。我们还提供了令人惊讶的应用程序的近似最大熵原理设计可证明的变分方法的伊辛模型的配分函数计算没有任何假设的潜力的模型。更确切地说,我们表明,在每一个温度下,我们可以得到近似保证的对数配分函数相比,在低温极限,这是设置优化的二次型的超立方体。\cite{alon2006approximating}
2016-07-12 cs.DS cs.LG stat.ML
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University(德克萨斯农工大学)
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策,是强大的参数不确定性,由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法,这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后,我们提出了鲁棒最小二乘策略迭代(RLSPI)算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差(接近最优性)所产生的政策。最后,我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Lyapunov function approach for approximation algorithm design and analysis: with applications in submodular maximization
University of New Brunswick(新不伦瑞克大学)
我们提出了一个两阶段的系统框架近似算法的设计和分析,通过李雅普诺夫函数。第一阶段包括使用李雅普诺夫函数作为输入和输出的连续时间近似算法与可证明的近似比。第二阶段,然后将这个连续时间算法转换为离散时间算法,具有几乎相同的近似比以及可证明的时间复杂度。我们的框架的一个显着特点是,我们只需要知道的参数形式的李雅普诺夫函数,其完整的规格将不会决定,直到第一阶段结束时,通过最大化的连续时间算法的近似比。李雅普诺夫函数方法的一些直接好处包括:(i)统一许多现有的算法;(ii)提供设计和分析新算法的指导方针;以及(iii)提供新的视角来潜在地改进现有算法。我们使用各种子模块最大化问题作为运行的例子来说明我们的框架。
2022-09-07 cs.AI cs.DS cs.LG
TSP with Predictions: Heatmap to Tour with Provable Guarantees
IDSIA(IDSIA研究所)
研究旅行商问题,提出将热图转换为旅行路线的算法,有理论保证将近似比与热图质量联系起来,通过实验与先前工作对比。
2026-07-28 cs.DS cs.LG
Provable Imbalanced Point Clustering
University of Haifa(海法大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文针对不平衡点聚类问题,提出基于核心集的高效可证明近似方法,并通过实验验证其在真实图像、合成数据及真实世界数据上的效果,同时提出选择聚类以组合多种算法提升性能。
2025-03-12 cs.LG
Zeroth-Order Optimization Meets Human Feedback: Provable Learning via Ranking Oracles
Shenzhen Research Institute of Big Data(深圳大数据研究院)
本研究针对仅能通过排序预言机评估的黑盒优化问题,提出带理论保证的零阶优化算法ZO-RankSGD,可应用于强化学习策略优化与扩散模型图像生成,能以少量人类反馈显著提升效果,推动零阶优化与AI人类意图对齐研究。
2024-04-13 cs.AI cs.LG
Simple Heuristics Yield Provable Algorithms for Masked Low-Rank Approximation
UMass Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究了带掩码的低秩近似问题,提出了一种简单的启发式方法,通过将掩码为0的区域设为0,然后求解标准低秩近似,从而得到具有双标准逼近保证的算法。
2020-11-30 cs.DS cs.LG cs.NA
Formal Mechanistic Interpretability: Automated Circuit Discovery with Provable Guarantees
School of Computer Science and Engineering, The Hebrew University of Jerusalem(计算机科学与工程系,耶路撒冷希伯来大学)
本文提出具有可证明保证的自动电路发现算法,通过三种保证类型提升电路的鲁棒性和最小性,为机制可解释性提供理论基础。
2026-02-18 cs.LG cs.LO
Model-Based Reinforcement Learning with Multinomial Logistic Function Approximation
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔大学)
本文针对状态转移由多项Logistic模型参数化的MDP,提出了一种基于置信上界的模型驱动强化学习算法,实现了 $\tilde{O}(d \sqrt{H^3 T})$ 的遗憾界,并在数值实验中表现优于现有方法。
2024-11-17 cs.LG stat.ML
Enumerating Safe Regions in Deep Neural Networks with Provable Probabilistic Guarantees
University of Verona(维罗纳大学);Massachusetts Institute of Technology(麻省理工学院)
本文针对深度神经网络安全验证中的 #P 难问题,提出 epsilon-ProVe 近似方法,通过统计预测容差极限对输出可达集进行可控低估,从而以可证明概率保证枚举所有安全区域,并在标准基准上验证了其可扩展性与有效性。
2024-02-20 cs.AI cs.LG
Optimal Conservative Offline RL with General Function Approximation via Augmented Lagrangian
UC Berkeley(加州大学伯克利分校)
离线强化学习(RL)是指根据先前收集的交互数据集进行决策,在过去几年中受到了极大的关注。很多努力都集中在通过各种形式的保守策略学习来解决部分数据覆盖的普遍问题,从而提高离线RL的实用性。虽然大多数算法不具有有限样本保证,但在处理部分覆盖的单策略集中性框架内设计和分析了几种可证明的保守离线RL算法。然而,在非线性函数近似设置的置信区间是很难获得的,现有的可证明算法遭受计算的棘手性,禁止强的假设,和次优的统计率。在本文中,我们利用边缘化的重要性采样(MIS)制定的RL,并提出了第一组离线RL算法,是统计上最优的和实用的一般功能近似和单政策集中,绕过不确定性量化的需要。我们确定,成功地解决基于样本的近似的MIS问题的关键是确保一定的占用有效性约束几乎满足。我们通过一种新的应用程序的增广拉格朗日方法来执行这些约束,并证明了以下结果:与MIS制定,增广拉格朗日是足够的统计最优离线RL。与通过行为正则化等方法诱导额外保守性的先前算法形成鲜明对比,我们的方法可证明消除了这种需要,并将正则化器重新解释为“占用有效性的执行者”而不是“保守性的促进者”。"
2022-11-01 cs.AI cs.LG math.OC
A Game-Based Approximate Verification of Deep Neural Networks with Provable Guarantees
University of Oxford(牛津大学);University of Georgia(佐治亚大学);University of Liverpool(利物浦大学)
尽管深度神经网络的准确性有所提高,但对抗性例子的发现引发了严重的安全问题。在本文中,我们研究了两个变种的逐点鲁棒性,最大安全半径问题,这对于一个给定的输入样本计算的最小距离的对抗性的例子,和功能的鲁棒性问题,其目的是量化的鲁棒性个别功能对抗性扰动。我们证明,在Lipschitz连续性的假设下,这两个问题都可以通过离散输入空间使用有限优化来近似,并且近似具有可证明的保证,即,误差是有界的。然后,我们表明,由此产生的优化问题可以减少到两个玩家回合制游戏的解决方案,其中第一个玩家选择功能和第二扰动的图像内的功能。虽然第二个玩家的目标是最小化与敌对示例的距离,但根据优化目标,第一个玩家可以是合作的或竞争的。我们采用了一种随时随地的方法来解决游戏,在这个意义上的近似值的游戏,通过单调提高其上限和下限。应用蒙特卡罗树搜索算法计算两种博弈的上界,并分别使用容许A* 和Alpha-Beta剪枝算法计算最大安全半径和特征鲁棒性博弈的下界。当处理最大安全半径问题的上限时,我们的工具与现有的对抗性示例制作算法相比表现出了竞争力。此外,我们展示了如何部署我们的框架来评估神经网络在安全关键应用中的逐点鲁棒性,例如自动驾驶汽车中的交通标志识别。
2019-03-06 cs.AI cs.LG stat.ML
Provable Quantum Algorithm Advantage for Gaussian Process Quadrature
Aalto University(阿尔托大学)
本研究结合高斯过程求积与量子计算,提出基于核希尔伯特空间近似的量子低秩高斯过程求积方法,经模拟验证有效且理论上较经典方法具多项式复杂度优势。
2025-02-20 cs.LG quant-ph stat.CO
Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer
Northwestern University(西北大学);Stanford University(斯坦福大学);ByteDance Inc.(字节跳动公司)
针对RLHF中奖励模型不完美导致的过度优化问题,提出正则化偏好优化(RPO)算法,融合DPO与SFT损失缓解分布偏移和偏好不确定性,理论可证且实证优于DPO基线。
2024-12-04 cs.AI cs.LG stat.ML
From Policy Evaluation to Off-Policy Control: Provable Emergence of In-Context Q-Learning
Southern University of Science and Technology (SUSTech)(南方科技大学);University of Electronic Science and Technology of China (UESTC)(电子科技大学)
本研究证明仅含注意力机制的两层Transformer可实现有限温度Q学习,训练后其参数结构涌现出贪心动作选择机制,在未见过的任务上表现与Q学习相当,且训练迭代可指数收敛至解流形。
2026-10-14 cs.AI cs.LG
Provable Policy Gradient Methods for Average-Reward Markov Potential Games
Texas A&M University(德克萨斯农工大学);Univeristy of California, LA(加州大学洛杉矶分校)
该研究针对平均回报马尔可夫势博弈,证明了多种策略梯度算法的全局收敛性,给出了时间与样本复杂度分析,并通过仿真验证了相关结论。
2024-03-09 cs.GT cs.LG
Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo
Mila, McGill University(米拉研究所,麦吉尔大学);University of Alberta, Amii(阿尔伯塔大学,阿尔伯塔创新机器学习研究所);Duke University(杜克大学);CIFAR AI Chair, Amii(加拿大高级研究所人工智能主席职位,阿尔伯塔创新机器学习研究所);Google DeepMind(谷歌DeepMind);California Institute of Technology, Nvidia(加州理工学院,英伟达);Nvidia(英伟达)
提出基于朗之万蒙特卡洛的汤普森采样探索策略,直接采样Q函数后验分布,在线性MDP中具有理论遗憾界,并在深度RL和Atari57任务上达到或超越最先进性能。
2024-03-18 cs.LG
Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing
Rice University(莱斯大学);Institute for Advanced Study(高等研究院);Princeton University(普林斯顿大学)
我们提出了第一个可证明的最小二乘值迭代(LSVI)算法,具有运行时复杂度次线性的行动的数量。我们制定的价值函数估计过程中的值迭代近似的最大内积搜索问题,并提出了一个局部敏感哈希(LSH)[Indyk和Motwani STOC'98,Andoni和Razenshteyn STOC'15,Andoni,Laarhoven,Razenshteyn和Waingarten SODA'17]类型的数据结构来解决这个问题的次线性时间复杂度。此外,我们建立了近似最大内积搜索理论和强化学习的后悔分析之间的联系。我们证明,我们的近似因子的选择,我们的次线性LSVI算法保持相同的遗憾,同时减少运行时的复杂性,以次线性的动作的数量的原始LSVI算法。据我们所知,这是第一个将LSH与强化学习相结合的工作,从而带来了可证明的改进。我们希望我们的新方法相结合的数据结构和迭代算法将打开大门,进一步研究成本降低优化。
2021-06-08 cs.DS cs.LG stat.ML
A Single-Loop Deep Actor-Critic Algorithm for Constrained Reinforcement Learning with Provable Convergence
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
本文提出单循环深度Actor-Critic(SLDAC)算法,用于解决带非凸随机约束的强化学习问题,通过单循环设计和观测重用降低交互成本,并证明其几乎必然收敛到KKT点。
2024-09-18 cs.LG
Provably Efficient Reinforcement Learning with Linear Function Approximation
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);Northwestern University(西北大学)
现代强化学习(RL)通常应用于具有大量状态的实际问题,其中必须部署函数逼近来逼近价值函数或策略。函数近似的引入提出了一系列涉及计算和统计效率的基本挑战,特别是考虑到需要管理探索/开发权衡。因此,一个核心的RL问题仍然是开放的:我们如何设计可证明有效的RL算法,包括函数近似?这个问题仍然存在,即使在一个基本的设置与线性动态和线性奖励,其中只有线性函数近似是必要的。本文提出了第一个可证明的RL算法,在这种线性设置中具有多项式运行时间和多项式样本复杂度,而不需要“模拟器”或额外的假设。具体地说,我们证明了最小二乘值迭代(LSVI)--一个经典的算法经常在线性设置研究-实现$\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$遗憾,其中$d$是特征空间的环境维数,$H$是每个情节的长度,和$T$是总步骤数的乐观修改。重要的是,这种遗憾与国家和行动的数量无关。
2019-08-08 cs.LG math.OC stat.ML
Fitted Q-Iteration via Max-Plus-Linear Approximation
Delft University of Technology(代尔夫特理工大学);Delft Center for Systems and Control(代尔夫特系统与控制中心)
本文提出基于最大加线性近似的拟合Q迭代算法,利用Bellman算子与最大加运算的相容性将回归简化为矩阵-向量乘法,并通过变分实现使每次迭代复杂度与样本数无关。
2025-03-07 cs.AI cs.LG cs.SY
An Approximation Algorithm for Graph Label Selection
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
本文提出了一种新的图标签选择算法,在标准预算约束下,首次实现了O(log^{1.5}n)的近似比,解决了如何从整个图中选择少量代表性顶点以准确预测剩余顶点标签的问题。
2026-05-19 cs.DS cs.LG
Aligning Language Models with Preferences through f-divergence Minimization
Naver Corp(NAVER公司);Yonsei University(延世大学);University of Sussex(萨塞克斯大学);Naver Labs Europe(NAVER欧洲实验室)
本文提出 f-DPG,用任意 f-散度逼近可评估目标分布,统一 RLHF 与 GDC 等方法,并发现不同散度具有不同对齐-多样性权衡,其中 Jensen-Shannon 散度表现突出。
2023-06-06 cs.CL cs.LG stat.ML
Approximation Algorithms for $\ell_0$-Low Rank Approximation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Carnegie Mellon University(卡内基梅隆大学)
我们研究$\ell_0$ -低秩近似问题,目标是给定一个$m \times n$矩阵$A$,输出一个秩- $k$矩阵$A'$,使$\|A'-A\|_0$最小化.这里,对于矩阵$B$,$\|B\|_0$表示其非零项的数目。这种低秩近似的NP难变体对于没有底层度量的问题是很自然的,其目标是最小化不一致数据位置的数量。我们提供的近似算法,显着提高了以前的工作的运行时间和近似因子。对于$k > 1$,我们展示了如何找到,在聚$(mn)$时间为每个$k$,秩$O(k \log(n/k))$矩阵$A'$,其中$\|A'-A\|_0 \leq O(k^2 \log(n/k)) \mathrm{OPT}$。据我们所知,这是第一个算法与可证明的保证$\ell_0$ -低秩近似问题的$k > 1$,甚至双准则算法。对于$k = 1$时,我们得到了$(2+ε)$ -近似{ \it次线性时间},这是不可能的低秩近似的其他变体,如Frobenius规范。我们加强这一研究的情况下,二进制矩阵,以获得一个$(1+O(ψ))$ -近似在次线性时间,其中$ψ= \mathrm{OPT}/\lVert A\rVert_0$。对于小$ψ$,我们的近似因子是$1+o(1)$。
2018-10-01 cs.DM cs.DS cs.LG
Learning to Approximate Uniform Facility Location via Graph Neural Networks
RWTH Aachen University, Germany(亚琛工业大学,德国);Technical University of Munich, Germany(慕尼黑技术大学,德国);Massachusetts Institute of Technology, USA(麻省理工学院,美国);University of Cologne, Germany(科隆大学,德国)
本文提出一种可微的图神经网络,结合近似算法原理,在无需求解器监督或离散松弛的情况下,提供可证明的近似保证,并在实践中优于传统近似算法,缩小与整数线性规划的差距。
2026-09-24 cs.DS cs.LG cs.NE
Instance Based Approximations to Profile Maximum Likelihood
Stanford University(斯坦福大学)
在本文中,我们提供了一个新的有效算法近似计算轮廓最大似然(PML)分布,对称属性估计中的一个突出的数量。我们提供了一个算法,它匹配以前最好的已知的高效算法计算近似PML分布和改进时,在给定的情况下,不同的观察到的频率的数量是小的。我们实现这一结果,利用新的稀疏结构的近似PML分布,并提供了一个新的矩阵舍入算法,独立的利益。利用这一结果,我们获得了第一个可证明的计算效率的实现伪PML,一个通用的框架,估计广泛的对称属性。此外,我们获得了有效的基于PML的估计分布与小轮廓熵,一个自然的基于实例的复杂性措施。此外,我们提供了一个更简单,更实用的伪PML实现,匹配最知名的理论保证这样的估计和评估这种方法的经验。
2020-11-05 cs.DS cs.IT cs.LG
Sparse PCA through Low-rank Approximations
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stochastic Technologies(Stochastic Technologies(随机科技公司))
我们介绍了一种新的算法,计算$k$ -稀疏的半正定矩阵$A$的主成分。我们的算法是组合的,并通过检查一组离散的特殊向量躺在一个低维的特征子空间的$A$。我们得到可证明的近似保证,依赖于矩阵的谱衰减曲线:特征值衰减越快,我们的近似质量越好。例如,如果$A$的本征值遵循幂律衰减,则我们可以获得任何所需精度的多项式时间近似算法。我们的计划的一个关键算法组件是一个组合特征消除步骤,可证明是安全的,并在实践中显着降低了我们的算法的运行复杂性。我们实现了我们的算法,并在多个人工和真实数据集上进行了测试。由于特征消除步骤,可以在几分钟内对由数百万个条目组成的数据集执行稀疏PCA。我们的实验评估表明,我们的计划是接近最佳的,而找到非常稀疏的向量。我们比较现有技术的状态,并表明我们的计划匹配或优于以前的算法在所有测试数据集。
2014-05-08 cs.IT cs.LG math.IT
Explainable Clustering via Exemplars: Complexity and Efficient Approximation Algorithms
Biocomplexity Institute, University of Virginia(弗吉尼亚大学生物复杂性研究所);University at Albany – State University of New York(纽约州立大学奥尔巴尼分校);University of California Davis(加州大学戴维斯分校);University of Lyon(里昂大学);Joint AI Center (JAIC)(联合人工智能中心(JAIC))
可解释人工智能(XAI)是一个重要的发展领域,但对于聚类仍然相对研究不足。我们提出了一个可解释的设计聚类方法,不仅发现集群,但也范例来解释每个集群。心理学中概念定义的范例学派支持使用范例进行理解。我们表明,找到一小组样本来解释即使是单个集群也在计算上是难以解决的;因此,整个问题具有挑战性。我们开发了一个近似算法,提供可证明的性能保证方面的聚类质量以及所使用的样本的数量。这个基本算法解释了每个聚类中的所有实例,而另一个近似算法使用有限数量的样本以允许更简单的解释,并可证明地覆盖了所有实例的大部分。实验结果表明,我们的工作是有用的领域,涉及难以理解的图像和文本的深度嵌入。
2022-09-20 cs.AI cs.LG
SPSD Matrix Approximation vis Column Selection: Theories, Algorithms, and Extensions
University of California at Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学)
对称半正定矩阵逼近是核方法中的一个重要应用问题.然而,现有的SPSD矩阵近似方法,如Nyström方法只有弱误差界。在本文中,我们进行了深入的研究SPSD矩阵近似模型,并建立强相对误差界。我们称之为原型模型,因为它具有更高效和有效的扩展,并且它的一些扩展具有很高的可扩展性。虽然原型模型本身不适合大规模数据,但研究其性质仍然是有用的,这是分析其扩展的基础。本文提供了新颖的理论分析,高效的算法,和一个高度准确的扩展。首先,我们建立了一个错误的下限的原型模型和改进的错误界现有的列选择算法,以匹配下限。这样,我们得到了原型模型的第一个最优列选择算法。我们还证明了原型模型在一定条件下是精确的。其次,我们开发了一个简单的列选择算法,具有可证明的误差界。第三,我们提出了一个所谓的谱移模型,使近似更准确时,矩阵的特征值衰减缓慢,并从理论上量化的改进。该方法也可用于改进其它SPSD矩阵近似模型。
2016-05-20 cs.LG
Differentiable Quantum Computing for Large-scale Linear Control
University of Maryland(马里兰大学);UC Berkeley(加州大学伯克利分校);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Center for Machine Learning, University of Maryland(马里兰大学机器学习中心);Joint Center for Quantum Information and Computer Science, University of Maryland(马里兰大学量子信息与计算机科学联合中心)
本文提出一种基于策略梯度的端到端量子算法,通过量子子程序求解Lyapunov方程并构建可微模拟器,实现线性二次控制问题的超二次加速,具有可证明的量子优势。
2024-11-03 cs.ET cs.LG cs.NA