Provable Benefits of Representational Transfer in Reinforcement Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Princeton University(普林斯顿大学)
我们研究了RL中的代表性转移问题,其中代理首先在一些源任务中进行预训练以发现共享表示,随后用于在\emph{target task}中学习良好的策略。我们提出了一个新的概念,源和目标任务之间的任务相关性,并在此假设下发展了一种新的表征转移的方法。具体地说,我们表明,由于生成访问源任务,我们可以发现一个表示,使用随后的线性RL技术快速收敛到一个接近最优的政策,在目标任务。样本复杂度接近于目标任务中的地面实况特征,并且与源任务中的先前表示学习结果相当。我们补充我们的积极结果与下界没有生成访问,并验证我们的研究结果与经验评估丰富的观察MDPs,需要深入的探索。在我们的实验中,我们观察到通过预训练在目标中学习的速度加快,并且还验证了在源任务中生成访问的必要性。
2023-02-22 cs.AI cs.LG
Provable Benefits of In-Tool Learning for Large Language Models
ETH Zürich(苏黎世联邦理工学院);Inria, Univ. Rennes 2(法国国家信息与自动化研究所,雷恩第二大学);FAIR at Meta(Meta FAIR实验室)
本文探讨了工具学习在事实回忆中的优势,证明通过工具可实现无限制的事实回忆,优于单纯记忆。
2025-08-28 cs.AI cs.LG stat.ML
Provable Long-Range Benefits of Next-Token Prediction
Georgia Tech(佐治亚理工学院)
该研究证明了下一个令牌预测在学习长距离结构上的强大能力,并提供了模型大小的多项式界来解释实际中观察到的长距离连贯性。
2025-12-08 cs.AI cs.LG stat.ML
On Provable Benefits of Muon in Federated Learning
Temple University(特拉华大学)
本文针对优化器Muon在联邦学习中有效性未被探究的空白,提出FedMuon算法,证明其非凸问题收敛速率,揭示学习率与问题参数无关、适配重尾噪声的优势,实验验证了其有效性。
2025-10-04 cs.LG stat.ML
Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks
Princeton University(普林斯顿大学);Google Brain(谷歌大脑)
深度神经网络基于梯度的优化的初始参数值的选择是深度学习系统中最有影响力的超参数选择之一,影响收敛时间和模型性能。然而,尽管有大量的经验和理论分析,相对较少被证明不同的初始化方案的具体效果。在这项工作中,我们分析了深度线性网络中初始化的影响,并首次提供了一个严格的证明,即从正交组中提取初始权重可以相对于具有iid权重的标准高斯初始化加速收敛。我们发现,对于深度网络,使用正交初始化有效收敛到全局最小值所需的宽度与深度无关,而使用高斯初始化有效收敛所需的宽度在深度上线性缩放。我们的研究结果证明了良好初始化的好处如何在整个学习过程中持续存在,这表明了最近通过根据动态等距原理初始化非常深的非线性网络所发现的经验成功的解释。
2020-01-16 cs.LG cs.NE math.OC
Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity
EPFL(洛桑联邦理工学院)
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。本文研究了对角线性网络上的随机梯度下降的动力学问题,通过它的连续时间形式,即随机梯度流。我们明确地证明了随机流选择的解决方案,并证明它总是享有更好的推广性能比梯度流。令人惊讶的是,我们发现训练损失的收敛速度控制着偏差效应的大小:收敛速度越慢,偏差越好。为了完全完成我们的分析,我们为动态提供了收敛保证。我们也给出了实验结果,支持我们的理论主张。我们的研究结果突出了这样一个事实,即结构化噪声可以引起更好的概括,他们有助于解释更大的性能在实践中观察到的随机梯度下降超过梯度下降。
2021-12-07 cs.LG
Provable Benefit of Cutout and CutMix for Feature Learning
KAIST AI(韩国科学技术院人工智能学院)
该研究针对补丁级数据增强缺乏理论支撑的问题,通过分析两层神经网络在特征-噪声模型下的训练表现,从理论上证明Cutout、CutMix可依次学习更稀有的特征,且CutMix测试准确率最高,为理解补丁级增强提供了新视角。
2024-10-31 cs.AI cs.LG stat.ML
Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently
Princeton University(普林斯顿大学);University of California, Berkeley(加州大学伯克利分校)
本文从理论上证明,在推理任务中,基于可验证奖励的强化学习(RLVR)相比监督微调(SFT)能学习高效回溯,从而在推理时计算上实现指数级优势。
2026-06-23 cs.AI cs.LG
Provable Benefit of SignGD: A Minimal Model Under Heavy-Tailed Class Imbalance
Toyota Technological Institute at Chicago(丰田技术研究所)
本文研究了在重尾类不平衡数据下,符号下降算法相较于GD的收敛优势,通过最小模型证明其有效性。
2026-10-01 cs.AI cs.LG
Provable Mutual Benefits from Federated Learning in Privacy-Sensitive Domains
INSAIT, Sofia University(INSAIT索菲亚大学);ETH Zurich(苏黎世联邦理工学院);High School of Mathematics Burgas(布尔加斯数学高中)
本文研究隐私敏感领域中联邦学习的互利性,提出互利协议存在条件、最大化客户总效用及最终模型精度的协议,并通过合成实验验证其益处。
2024-11-07 cs.CR cs.GT cs.LG
Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning
Inst. for Comp. and Math. Engineering(计算与数学工程研究所);Departments of Statistics and EECS(统计系与电子工程和计算机科学系)
演员-评论家方法广泛应用于离线强化学习实践中,但在理论上并没有得到很好的理解。我们提出了一个新的离线演员评论家算法,自然结合了悲观主义的原则,导致几个关键的优势相比,最先进的。该算法可以操作时,贝尔曼评估运营商是封闭的行动价值函数的演员的政策,这是一个更一般的设置比低秩MDP模型。尽管增加了一般性,该过程是计算上易于处理的,因为它涉及到一系列的二阶程序的解决方案。我们证明了一个上界的次优差距的政策返回的程序,依赖于任何任意的数据覆盖率,可能依赖于数据的比较器的政策。可实现的保证是补充了一个极大极小的下限,是匹配的对数因子。
2021-08-19 cs.LG
Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究高维稀疏高斯分类中的半监督学习,证明在特定参数区域内结合有标签与无标签数据可在多项式时间内实现准确分类和特征选择,而单独使用任一数据的高效算法均会失败。
2024-09-05 cs.LG stat.ML
Frequency-aware SGD for Efficient Embedding Learning with Provable Benefits
Georgia Institute of Technology(佐治亚理工学院);Facebook
嵌入式学习在推荐系统和自然语言建模等领域有着广泛的应用。为了有效地学习质量嵌入,自适应学习率算法已经证明了优于SGD的经验性能,这主要归功于它们依赖于令牌的学习率。然而,令牌依赖的学习率的效率的潜在机制仍然未被探索。我们表明,将频率信息的令牌嵌入学习问题导致可证明有效的算法,并证明常见的自适应算法隐式利用的频率信息在很大程度上。具体来说,我们提出了(基于计数器的)频率感知的随机梯度下降,它为每个令牌应用依赖于频率的学习率,并且当令牌分布不平衡时,与SGD相比,表现出可证明的加速。经验上,我们表明,所提出的算法能够改善或匹配自适应算法的基准推荐任务和大规模的工业推荐系统,缩小SGD和自适应算法之间的性能差距。我们的结果是第一次表明令牌依赖的学习率可证明地提高了非凸嵌入学习问题的收敛性。
2021-11-23 cs.LG math.OC
Provable Benefits of Unsupervised Pre-training and Transfer Learning via Single-Index Models
Department of Statistics and Actuarial Science, University of Waterloo, Canada(滑铁卢大学统计与精算科学系);Cheriton School of Computer Science, University of Waterloo, Canada(滑铁卢大学切尔顿计算机科学学院);Department of Statistics, Harvard University, United States of America(哈佛大学统计系)
该研究基于单指标模型,分析无监督预训练与迁移学习对高维单层神经网络在线随机梯度下降训练样本复杂度的影响,证明其可带来多项式甚至指数级的样本效率提升。
2025-06-11 cs.LG stat.ML
DyFormer: A Scalable Dynamic Graph Transformer with Provable Benefits on Generalization Ability
Penn State University(宾夕法尼亚州立大学);Meta AI
Transformers在多个领域取得了巨大成功,包括自然语言处理和计算机视觉。然而,它的应用到现实世界的图是探索较少,主要是由于其计算成本高,其推广性差造成的缺乏足够的训练数据在图域。为了填补这一空白,我们提出了一个可扩展的transformer类动态图学习方法命名为动态图Transformer(DyFormer)与时空编码,有效地学习图形拓扑结构和捕获隐含的链接。为了实现高效和可扩展的训练,我们提出了时间并图结构及其相关的基于子图的节点采样策略。为了提高泛化能力,我们引入了两个互补的自监督预训练任务,并通过信息论分析表明,联合优化这两个预训练任务会导致更小的贝叶斯出错率。在真实世界数据集上进行的大量实验表明,与所有基准测试的基线相比,DyFormer实现了一致的1%-3% AUC增益(所有时间步长的平均值)。
2023-01-30 cs.LG
Provable Benefits of Sinusoidal Activation for Modular Addition
Toyota Technological Institute at Chicago(丰田技术研究所(芝加哥));University of Chicago(芝加哥大学)
本文研究了正弦激活在模块加法学习中的优势,通过建立表达性差距和泛化界,证明正弦网络在样本复杂度和泛化性能上优于ReLU网络。
2025-11-28 cs.LG stat.ML
On Provable Benefits of Depth in Training Graph Convolutional Networks
Penn State(宾夕法尼亚州立大学)
图卷积网络(Graph Convolutional Network,GCN)的性能随着网络层数的增加而下降,这通常归因于过度平滑。尽管表面上的共识,我们观察到,存在着过度平滑的理论理解和GCN的实际能力之间的差异。具体来说,我们认为,过度平滑不一定会发生在实践中,一个更深的模型是可证明的表达,可以收敛到全局最优的线性收敛速度,并实现非常高的训练精度,只要适当的训练。尽管能够达到很高的训练精度,但实证结果表明,更深层次的模型在测试阶段的泛化能力很差,现有的理论对这种行为的理解仍然很难理解。为了更好地理解GCN,我们仔细分析了GCN的泛化能力,并表明实现高训练精度的训练策略显着恶化了GCN的泛化能力。受这些发现的启发,我们提出了一个解耦的结构GCN分离的权重矩阵的特征传播,以保持表达能力,并确保良好的泛化性能。我们对各种合成和真实世界的数据集进行实证评估,以验证我们的理论的正确性。
2021-10-28 cs.LG
On the Power of Pre-training for Generalization in RL: Provable Benefits and Hardness
Yuanpei College, Peking University(北京大学元培学院);School of Intelligence Science and Technology, Peking University(北京大学智能学院);Center for Data Science, Peking University(北京大学数据科学中心);University of Washington(华盛顿大学)
本文从理论角度研究强化学习泛化中预训练的作用,证明无目标环境交互时仅能获得平均近优策略,有交互时渐近提升至多为常数因子,并在非渐近情况下设计了具有与状态-动作空间无关遗憾界的高效算法。
2023-06-29 cs.LG
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits
University of Chicago(芝加哥大学)
考虑一下这个问题:给定从具有$f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$的总体中提取的数据对$(\mathbf{x}, \mathbf{y})$,指定一个神经网络模型,并随时间对权重运行梯度流,直到达到任何平稳性。$f_t$,即神经网络在时间$t$计算的函数,在近似和表示方面与$f_*$有什么关系?神经网络的自适应表示与经典非参数文献中预先指定的固定基表示相比,有哪些可证明的好处?我们回答了上述问题,通过动态再生核希尔伯特空间(RKHS)的方法索引的神经网络的训练过程。首先,我们证明了当达到任何局部平稳性时,梯度流学习自适应RKHS表示,并同时将全局最小二乘投影到自适应RKHS上。其次,我们证明了RKHS是数据自适应和特定于任务的,残差$f_*$位于一个子空间,这是潜在的比RKHS的正交补小得多。该结果形式化了神经网络的表示和逼近优点。最后,我们证明了梯度流计算的神经网络函数在正则化消失的极限下收敛于具有自适应核的核无岭回归。自适应核的观点为研究神经网络的逼近、表示、推广和优化等优点提供了新的视角。
2019-07-23 cs.LG math.ST stat.ML
Provable benefits of representation learning
Princeton University(普林斯顿大学)
人们普遍认为,学习表示是有用的,原因有很多,例如有效使用标记数据(半监督学习),迁移学习和理解数据的隐藏结构。表示学习的流行技术包括聚类、流形学习、核学习、自动编码器、玻尔兹曼机等。为了研究这些技术的相对优点,必须形式化表示学习的定义和目标,以便它们都成为相同定义的实例。本文介绍了这样一个正式的框架,也形式化的效用学习的表示。它与以前的贝叶斯概念有关,但有一些新的转折。我们展示了我们的框架的有用性,通过展示简单和自然的设置-线性混合模型和对数线性模型,其中表示学习的力量可以正式显示。在这些例子中,表示学习可以在合理的假设下被证明和有效地执行(尽管是NP难的),而且:(i)它大大减少了对标记数据的需求(半监督学习),(ii)当像最近邻这样的简单方法需要太多数据时,它允许解决分类任务(iii)它比流形学习方法更强大。
2017-06-14 cs.LG stat.ML
Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks
University of California, Riverside(加州大学河滨分校);University of British Columbia(不列颠哥伦比亚大学)
深度网络通常使用比训练数据集的大小更多的参数进行训练。最近的经验证据表明,过度参数化的做法不仅有利于训练大型模型,而且有助于-也许违反直觉-构建轻量级模型。具体来说,它表明,overparameterization的好处模型修剪/稀疏化。本文揭示了这些实证研究结果的理论特征的高维渐近模型修剪过参数化制度。提出的理论解决了以下核心问题:"应该从一开始就训练一个小模型,还是先训练一个大模型,然后再修剪?".我们通过分析确定了一些机制,即使最具信息量的特征的位置是已知的,我们也最好拟合一个大型模型,然后进行修剪,而不是简单地用已知的信息量特征进行训练。这导致了稀疏模型训练中新的双下降:增长原始模型,同时保持目标稀疏性,当超过过参数化阈值时,提高了测试精度。我们的分析进一步揭示了再训练的好处,将其与特征相关性联系起来。我们发现,上述现象已经存在于线性和随机特征模型。我们的技术方法推进了高维分析的工具集,并精确地刻画了过参数化最小二乘的渐近分布。通过分析研究简单模型得到的直觉在神经网络上得到了数值验证。
2020-12-16 cs.LG stat.ML
Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training
cuhk(城市大学);riken(理化学研究所先进智能项目中心);ism(统计数学研究所);usyd(悉尼大学);astar(科技研究局);ntu(南洋理工大学);utokyo(东京大学)
本文提出一个理论框架,证明课程后训练在提升推理性能方面具有指数级改进,通过分析发现课程策略能显著降低样本复杂度。
2026-05-02 cs.LG
Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究混合强化学习设置,提出一种三阶段算法,在数据收集时无需奖励信息,通过单策略部分集中性概念指导离线与在线数据结合,在样本复杂度上超越纯离线和纯在线RL。
2023-05-17 cs.IT cs.LG math.IT
Metastable Dynamics of Chain-of-Thought Reasoning: Provable Benefits of Search, RL and Distillation
University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);New York University(纽约大学);Flatiron Institute(弗莱彻研究所);Princeton University(普林斯顿大学)
本文将思维链生成建模为亚稳态马尔可夫过程,证明了奖励稀疏边的搜索协议能减少期望步数并提升推理能力,同时表明该搜索信息可通过策略梯度微调或蒸馏至更小模型来优化推理。
2025-03-01 cs.AI cs.LG stat.ML
Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems
Princeton University(普林斯顿大学);Oregon State University(俄勒冈州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文从理论上比较了离线上下文赌博机中绝对评分与偏好排序两种人类反馈方法,揭示了人类偏差和不确定性对理论保证的影响,为偏好方法的经验成功提供了建模层面的解释。
2023-10-28 cs.LG math.ST stat.ML
Benefits of over-parameterization with EM
Columbia University(哥伦比亚大学)
期望最大化(EM)是最流行的最大似然估计算法之一,但它通常只能保证找到对数似然目标的平稳点。本文的目的是提出理论和经验证据,过度参数化可以帮助EM避免虚假的局部最优的对数似然。我们考虑在混合权重已知的情况下估计高斯混合模型的均值向量的问题。我们的研究表明,EM的全局行为,当一个使用过参数化的模型,其中的混合权重被视为未知的,是优于当一个使用(正确的)模型与混合权重固定为已知值。对于对称高斯混合两个组件,我们证明,引入(统计冗余)的权重参数,使EM找到全球最大化的对数似然从几乎任何初始均值参数,而EM没有这种过参数化可能会经常失败。对于其他高斯混合,我们提供了经验证据,显示类似的行为。我们的研究结果证实了在解决非凸优化问题,以前在其他领域观察到的过参数化的价值。
2018-10-26 cs.LG stat.ML
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo(东京大学);RIKEN(理化学研究所)
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习,是深度学习文献中最大的问题之一。为了回答这个问题,我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险,并讨论了其相对于一类线性估计器的优越性,包括神经切线核方法,随机特征模型,其他核方法,$k$ -NN估计器等。我们考虑了师生回归模型,并最终表明,在极大极小最优速率的意义上,任何线性估计器都可以被深度学习超越,特别是对于高维设置。所获得的超额界限是所谓的快速学习率,其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的,并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解,即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化,但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning
HKUST(香港科技大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Cornell University(康奈尔大学)
本文提出双重正则化AIL算法,结合KL策略正则化与二次奖励惩罚,在有限时域MDP中证明其快速收敛率,并首次实现专家演示与在线交互的$\widetilde{O}(1/\epsilon)$样本复杂度。
2026-10-05 cs.LG
Provable Benefit of Multitask Representation Learning in Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
在强化学习(RL)中,表示学习在实践中成为降低样本复杂度的有力技术,但理论上对其优势的认识仍然有限。在本文中,我们从理论上描述了低秩马尔可夫决策过程(MDP)模型下的表示学习的好处。我们首先研究多任务低秩RL(作为上游训练),其中所有任务共享一个共同的表示,并提出了一个新的多任务无奖励算法称为REFUEL。REFUEL学习每个任务的转换内核和接近最优的策略,并输出下游任务的良好学习表示。我们的研究结果表明,多任务表示学习是可证明的样本效率比学习每个任务单独,只要任务的总数是超过一定的阈值。然后,我们研究了在线和离线设置下的下游RL,其中代理被分配了一个新的任务,与上游任务共享相同的表示。对于在线和离线设置,我们开发了一个样本有效的算法,并表明,它找到了一个接近最优的政策与次优差距的上游和消失项的学习表示的估计误差的总和为界下游样本的数量变得很大。我们的在线和离线RL的下游结果进一步捕获了使用从上游学习的表示的好处,而不是直接学习低秩模型的表示。据我们所知,这是第一个理论研究,表征表示学习的好处,在探索为基础的无奖励多任务RL的上游和下游任务。
2022-06-13 cs.LG stat.ML
Provable benefits of score matching
Stanford University(斯坦福大学);MIT(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
论文构造固定次数多项式指数的自然指数族,证明ML优化在零阶/一阶预言机下NP难,而分数匹配在计算与统计上均具多项式复杂度且效率与ML相当。
2023-06-03 cs.DS cs.LG stat.ML
Linear Optimal Transport Embedding: Provable Wasserstein classification for certain rigid transformations and perturbations
University of California, San Diego(加州大学圣地亚哥分校);Halicioğlu Data Science Institute(哈利西奥卢数据科学研究所)
区分分布是许多科学领域中的一个重要问题。这促使了线性最优运输(LOT)的引入,它将分布空间嵌入到$L^2$ -空间中。该变换通过计算每个分布到固定参考分布的最佳传输来定义,并且在计算速度和确定分类边界方面具有许多好处。在本文中,我们描述了一些设置中,LOT嵌入家庭的分布到一个空间中,他们是线性可分的。这是真的,在任意维,并为家庭的分布通过扰动的移位和缩放的一个固定distributation.We还证明了条件下,$L^2$距离的LOT嵌入在任意维的两个分布之间的Wasserstein-2距离几乎等距。这具有显著的计算益处,因为必须仅计算$N$最优传输图来定义$N$分布之间的$N^2$成对距离。我们证明了LOT的好处,一些分布分类问题。
2021-05-26 cs.LG math.OC stat.ML
A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning
Duke University(杜克大学);University of Chicago(芝加哥大学);Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
本文提出了一种合成语言家族,通过树上的广播过程生成,分析上下文长度和推理在自回归生成中的作用。通过精确k-gram假设,证明了在特定条件下,上下文深度与序列生成的方差和峰度关系,展示了推理模型在有限内存下能精确生成真实语言。
2026-05-13 cs.AI cs.LG stat.ML
Mild Over-Parameterization Benefits Asymmetric Tensor PCA
Peking University(北京大学)
本文提出一种基于梯度下降的算法,在有限内存下通过轻度过参数化提升样本效率和问题结构适应性,实现近最优样本复杂度。
2026-04-11 cs.LG
Provable Benefits of Multi-task RL under Non-Markovian Decision Making Processes
The Pennsylvania State University(宾夕法尼亚州立大学);National University of Singapore(新加坡国立大学);The Ohio State University(俄亥俄州立大学)
本文研究了非马尔可夫决策过程(如POMDP和PSR)下多任务强化学习的收益,提出基于$η$-括号数量化任务相似性,并设计了上游多任务和下游迁移的高效算法以提升样本效率。
2023-10-20 cs.LG stat.ML
Provable Benefit of Mixup for Finding Optimal Decision Boundaries
Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院)
本文分析二分类线性分类中 Mixup 对寻找最优决策边界样本复杂度的影响,证明其可缓解普通训练随可分常数 κ 指数恶化的“可分性诅咒”,并指出掩码式 Mixup 可能导致次优分类器。
2023-06-06 cs.LG math.OC stat.ML
Provable Benefit of Annealed Langevin Monte Carlo for Non-log-concave Sampling
Georgia Institute of Technology(佐治亚理工学院)
针对非对数凹、多峰密度采样难题,本文首次给出退火 Langevin Monte Carlo 的非渐近预言机复杂度,证明其达到 KL 散度 ε^2 精度所需复杂度为 \widetilde{O}(dβ^2{\cal A}^2/ε^6)。
2025-02-17 cs.LG math.ST stat.CO
Provable and Efficient Continual Representation Learning
University of California, Riverside(加州大学河滨分校)
在持续学习(CL)中,目标是设计能够在没有灾难性遗忘的情况下学习一系列任务的模型。虽然CL有一套丰富的技术,但对以前任务构建的表示如何使添加到网络中的新任务受益的理解相对较少。为了解决这个问题,我们研究了持续表示学习(CRL)的问题,我们学习一个不断发展的表示新的任务到达。专注于零遗忘方法,其中任务嵌入在子网络中(例如,PackNet),我们首先提供实验证明CRL可以显着提高样本效率时,学习新的任务。为了解释这一点,我们建立了理论保证CRL提供样本的复杂性和泛化误差界限的新任务,通过形式化的统计优势,以前学到的表示。我们的分析和实验也强调了我们学习任务的顺序的重要性。具体来说,我们表明,CL的好处,如果初始任务有大样本量和高的“代表多样性”。多样性确保了添加新任务会导致小的表示失配,并且可以用很少的样本学习,同时只训练很少的额外非零权重。最后,我们问是否可以确保每个任务子网络在推理时间内是有效的,同时保留表示学习的好处。为此,我们提出了一个高效的PackNet的推理效率的变化称为高效稀疏PackNet(ESPN),它采用联合信道和权重修剪。ESPN将任务嵌入到通道稀疏的并行计算中,需要减少多达80%的FLOP来计算,同时大约保持准确性,并且与各种基线相比非常具有竞争力。总之,这项工作采取了一个步骤,数据和计算效率的CL与表示学习的角度来看。GitHub页面:https://gith…
2022-11-07 cs.LG
Provable benefits of annealing for estimating normalizing constants: Importance Sampling, Noise-Contrastive Estimation, and beyond
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);University of Helsinki(赫尔辛基大学);Carnegie-Mellon University(卡内基梅隆大学)
该研究针对退火法估计归一化常数的设计选择缺乏效率理论的问题,通过渐近误差分析对比估计器与分布路径的性能,证明算术路径的最优性并提出高效逼近最优路径的两步估计器。
2023-10-09 cs.LG stat.ML
Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth
ISTA(ISTA(奥地利IST科学技术研究所));University of Pennsylvania(宾夕法尼亚大学)
本研究证明浅层自编码器压缩稀疏高斯数据时忽略稀疏结构,并揭示相变现象;通过添加去噪函数和多层解码器,可证明地提升压缩性能,并在图像数据集上验证。
2024-02-07 cs.IT cs.LG math.IT
Provable Meta-Learning with Low-Rank Adaptations
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, TX, USA(Chandra Family 电子与计算机工程系,德克萨斯大学奥斯汀分校);Snap, Inc.(Snap公司);Google Research(Google研究)
本研究提出基于PEFT的元学习框架,证明标准重训练在LoRA线性模型上不可证明最优,并通过理论与实验验证其性能优势。
2025-10-22 cs.LG
The Benefits of Over-parameterization at Initialization in Deep ReLU Networks
Salesforce Research(Salesforce研究院);Mila
在现有文献中已经注意到,ReLU网络中的过度参数化通常会提高性能。虽然这背后可能涉及几个因素,但我们证明了ReLU网络在初始化时可能享有的一些理想的理论属性。具体来说,众所周知,深度ReLU网络中的He初始化渐进地保留了无限宽网络的前向传递中的激活方差和后向传递中的梯度方差,从而保留了两个方向上的信息流。我们的论文超越了这些结果,并显示了在He初始化下的新性质:i)每层的隐激活范数等于输入的范数,ii)每层的权重梯度范数等于输入向量的范数与输出层误差的乘积。这些结果是使用PAC分析框架得出的,并且适用于大规模的数据集,因此ReLU网络的宽度只需要大于某个有限的下限。正如我们所展示的,这个下限取决于网络的深度和样本的数量,并且由于是一个下限,过度参数化的ReLU网络被赋予了这些理想的属性。对于前面提到的He初始化下的隐藏激活范数性质,我们进一步扩展了我们的理论,并证明了即使当数据样本的数量是无限时,这个性质也适用于有限宽度的网络。因此,我们克服了现有论文的一些局限性,并在初始化时展示了深度ReLU网络的新特性。
2019-10-02 cs.LG stat.ML
Using Probabilistic Machine Learning to Better Model Temporal Patterns in Parameterizations: a case study with the Lorenz 96 model
University of Cambridge(剑桥大学);British Antarctic Survey(英国南极调查局);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
小尺度过程的模拟是气候模型中误差的主要来源,妨碍了必须通过参数化近似这种过程的低成本模型的准确性。红噪声对于许多业务参数化方案至关重要,有助于模拟时间相关性。我们展示了如何通过将随机性的已知好处与机器学习相结合来建立红噪声的成功。这是在概率框架内使用物理通知的递归神经网络完成的。我们的模型是有竞争力的,往往优于定制的基线和现有的概率机器学习方法(GAN)时,应用于洛伦兹96大气模拟。这是由于其优越的能力,以模拟时间模式相比,标准的一阶自回归计划。它还概括了看不见的场景。我们从文献中评估了一些指标,并讨论了使用概率度量的好处。
2022-09-12 cs.LG physics.ao-ph
On the Benefits of Over-parameterization for Out-of-Distribution Generalization
The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了在良性过拟合条件下过参数化模型对OOD泛化的影响,发现增加参数化或模型集成可通过提升长尾特征正交性来降低OOD损失。
2024-03-26 cs.LG stat.ML
Sample-Optimal Locally Private Hypothesis Selection and the Provable Benefits of Interactivity
University of Waterloo(滑铁卢大学);McMaster University(麦马斯特大学);Vector Institute(向量研究所)
本文提出了一种在局部差分隐私下样本最优的假设选择算法,通过交互性突破非交互方法的样本复杂度下界。
2026-03-04 cs.CR cs.IT cs.LG
Towards Understanding the Benefits of Neural Network Parameterizations in Geophysical Inversions: A Study With Neural Fields
Department of Earth, Ocean and Atmospheric Sciences, University of British Columbia(地球、海洋与大气科学系,不列颠哥伦比亚大学)
本文研究神经场参数化在地球物理反演中的作用,通过地震层析成像与直流电阻率实验及 Jacobian 的 SVD 分析,揭示其固有隐式偏置可抑制伪影并改善模型恢复。
2025-05-22 cs.LG physics.geo-ph stat.ML