Provable Compositional Generalization for Object-Centric Learning
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心);ELLIS Institute Tübingen(ELLIS蒂宾根研究所)
本研究基于可辨识性理论,证明满足解码器结构假设及编码器-解码器一致性的自编码器能学习到可证明具有组合泛化能力的以对象为中心的表示,并通过合成图像实验验证了理论。
2024-11-12 cs.LG
Theoretical Foundation of Flow-Based Time Series Generation: Provable Approximation, Generalization, and Efficiency
South China University of Technology(华南理工大学);The Simons Institute for the Theory of Computing at the UC, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);Sun Yat-sen University(中山大学)
本文针对基于流的时间序列生成缺乏理论解释的问题,建立涵盖逼近、泛化与效率的理论框架,证明 DiT 任意误差拟合、多项式正则化泛化界及采样快速收敛。
2025-03-18 cs.AI cs.LG
Tuning without Peeking: Provable Generalization Bounds and Robust LLM Post-Training
Meta FAIR;LISN, Inria, CNRS(LISN,Inria,CNRS);NYU Courant Institute(NYU Courant学院)
提出BBoxER黑盒进化方法用于LLM后训练,通过隐式压缩数据诱导信息瓶颈,提供非平凡泛化边界和对数据投毒、提取攻击的鲁棒性理论保证,实验证明其有效性和隐私保护。
2026-06-24 cs.AI cs.CL cs.CR
Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们考虑一个任意宽度的单隐藏层Leaky ReLU网络,该网络在任意初始化后通过随机梯度下降(SGD)进行训练。我们证明了SGD产生的神经网络具有竞争力的分类精度的最佳半空间分布的广泛的一类分布,包括日志凹各向同性和硬边缘分布。等价地,当数据分布是线性可分的但被对抗性标签噪声破坏时,这样的网络可以泛化,尽管有过拟合的能力。据我们所知,这是第一个表明SGD训练的过参数化神经网络在数据被对抗性标签噪声破坏时可以泛化的工作。
2021-02-15 cs.LG math.OC stat.ML
Can SGD Learn Recurrent Neural Networks with Provable Generalization?
Microsoft Research AI(微软研究院AI);Stanford University(斯坦福大学)
循环神经网络(RNN)是序列数据分析中最流行的模型之一。然而,在基础PAC学习语言中,它能学习什么概念类?此外,同一个递归单元如何同时从不同的输入令牌学习函数到不同的输出令牌,而不会相互影响?RNN的现有泛化范围随输入长度呈指数级增长,大大限制了其实际意义。在本文中,我们使用香草随机梯度下降(SGD),RNN实际上可以有效地学习一些值得注意的概念类,这意味着时间和样本复杂度在输入长度上都是多项式(或几乎是多项式,取决于概念)。该概念类至少包括这样的函数,其中每个输出令牌使用平滑的两层神经网络从先前令牌的输入生成。
2019-05-28 cs.DS cs.LG cs.NE
On the Power of Pre-training for Generalization in RL: Provable Benefits and Hardness
Yuanpei College, Peking University(北京大学元培学院);School of Intelligence Science and Technology, Peking University(北京大学智能学院);Center for Data Science, Peking University(北京大学数据科学中心);University of Washington(华盛顿大学)
本文从理论角度研究强化学习泛化中预训练的作用,证明无目标环境交互时仅能获得平均近优策略,有交互时渐近提升至多为常数因子,并在非渐近情况下设计了具有与状态-动作空间无关遗憾界的高效算法。
2023-06-29 cs.LG
Provable Weak-to-Strong Generalization via Benign Overfitting
UC Berkeley(加州大学伯克利分校)
本文研究弱教师监督强学生的弱到强泛化问题,在高斯协变量的过参数化模型中证明了强学生存在成功泛化与随机猜测两个渐近阶段,并强调了利用 logits 的价值。
2025-01-31 cs.LG stat.ML
DyFormer: A Scalable Dynamic Graph Transformer with Provable Benefits on Generalization Ability
Penn State University(宾夕法尼亚州立大学);Meta AI
Transformers在多个领域取得了巨大成功,包括自然语言处理和计算机视觉。然而,它的应用到现实世界的图是探索较少,主要是由于其计算成本高,其推广性差造成的缺乏足够的训练数据在图域。为了填补这一空白,我们提出了一个可扩展的transformer类动态图学习方法命名为动态图Transformer(DyFormer)与时空编码,有效地学习图形拓扑结构和捕获隐含的链接。为了实现高效和可扩展的训练,我们提出了时间并图结构及其相关的基于子图的节点采样策略。为了提高泛化能力,我们引入了两个互补的自监督预训练任务,并通过信息论分析表明,联合优化这两个预训练任务会导致更小的贝叶斯出错率。在真实世界数据集上进行的大量实验表明,与所有基准测试的基线相比,DyFormer实现了一致的1%-3% AUC增益(所有时间步长的平均值)。
2023-01-30 cs.LG
Provable Domain Generalization via Invariant-Feature Subspace Recovery
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
领域泛化要求在一组训练环境中训练的模型在看不见的测试环境中表现良好。近年来,针对领域泛化提出了一系列的算法,如不变风险最小化算法。然而,Rosenfeld等人(2021)表明,在一个简单的线性数据模型中,即使忽略非凸性问题,也不能将非凸性及其扩展推广到具有小于$d_s+1$训练环境的不可见环境,其中$d_s$是虚假特征子空间的维度。在本文中,我们提出了实现领域泛化与不变特征子空间恢复(ISR)。我们的第一个算法ISR-Mean可以从类条件分布的一阶矩中识别出由不变特征所覆盖的子空间,并在Rosenfeld等人(2021)的数据模型下使用$d_s+1$训练环境实现可证明的领域泛化。我们的第二个算法,ISR-Cov,进一步减少了所需的训练环境的数量,$O(1)$使用二阶矩的信息。值得注意的是,与非凸性问题不同,我们的算法绕过了非凸性问题,并享有全局收敛保证。从经验上讲,我们的ISR可以获得优越的性能相比,在合成基准测试。此外,在三个真实世界的图像和文本数据集上,我们证明了这两种ISR都可以用作简单而有效的后处理方法,以提高(预)训练模型在最坏情况下的准确性,以对抗虚假相关性和组移位。
2022-07-07 cs.LG stat.ML
Bilinear Classes: A Structural Framework for Provable Generalization in RL
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Princeton University(普林斯顿大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
这项工作介绍了双线性类,一个新的结构框架,它允许泛化的强化学习在各种各样的设置,通过使用函数逼近。该框架包含了几乎所有现有的模型,其中多项式样本复杂度是可实现的,并且值得注意的是,还包括新的模型,如线性$Q^*/V^*$模型,其中最佳$Q$函数和最佳$V$函数在一些已知的特征空间中是线性的。我们的主要结果提供了一个RL算法,它具有多项式样本复杂度的双线性类,值得注意的是,这个样本的复杂度是在减少一个潜在的监督学习子问题的泛化误差。这些界限几乎匹配现有模型的最佳已知样本复杂性界限。此外,该框架还扩展到无限维(RKHS)设置:对于线性$Q^*/V^*$模型,线性MDP和线性混合MDP,我们提供的样本复杂度没有显式依赖于显式特征维数(可能是无限的),而是只依赖于信息理论量。
2021-07-11 cs.AI cs.LG math.OC
From Linear to Nonlinear: Provable Weak-to-Strong Generalization through Feature Learning
KAIST(韩国科学技术院)
该研究针对弱到强泛化理论局限于线性模型的问题,对线性CNN到两层ReLU CNN的泛化展开形式化分析,划分数据稀缺与充足两种模式并揭示对应泛化机制,为理解非线性模型的弱到强泛化提供理论支撑。
2025-10-28 cs.LG stat.ML
On the Provable Generalization of Recurrent Neural Networks
Beijing Jiaotong University(北京交通大学)
递归神经网络(RNN)是深度学习的基本结构。最近,一些工作研究过参数化神经网络的训练过程,并表明,过参数化网络可以学习一些显着的概念类的函数,具有可证明的泛化误差界。本文分析了随机初始化RNN的训练和泛化问题,并对已有的研究工作进行了如下改进:1)对于输入序列为$x=(X_1,X_2,...,X_L)$的RNN,以前的研究工作主要是学习$f(β^T_lX_l)$的求和函数,并且要求$||X_l||\leqε$具有一些非常小的$ε$,这取决于$f$的复杂度。本文通过对神经正切核矩阵的详细分析,证明了在没有归一化条件的情况下学习这类函数的泛化误差界,并证明了一些值得注意的概念类是可学习的,其迭代次数和样本在输入长度$L$上几乎是多项式的。2)此外,我们证明了一个新的结果,学习N元函数的输入序列的形式$f(β^T[X_{l_1},...,X_{l_N}])$,这不属于“加性”的概念类,即,函数$f(X_l)$的求和。当$N$或$l_0=\max(l_1,..,l_N)-\min(l_1,..,l_N)$都很小时,$f(β^T[X_{l_1},...,X_{l_N}])$将是可学习的,迭代次数和样本在输入长度$L$上几乎是多项式的.
2022-01-26 cs.LG stat.ML
MAGDrop: Momentum Adaptive Gradient Dropout With Provable Generalization Guarantees
Quaid-i-Azam University(夸依兹·阿扎姆大学)
本文提出了一种新颖的正则化方法MAGDrop,通过基于梯度和累积动量动态调整丢弃率增强非凸优化稳定性,并推导出非渐近PAC-Bayes泛化界限,在MNIST和CIFAR-10上取得优异性能。
2026-11-04 cs.LG math.ST stat.TH
Coreset selection can accelerate quantum machine learning models with provable generalization
Peking University(北京大学);JD Explore Academy(京东探索研究院)
针对量子神经网络与量子核方法训练效率低、难适配大规模数据集的问题,提出核心集选择的统一加速方法,证明其泛化误差界与全量训练相当,且在多类量子机器学习任务中有效。
2023-12-12 cs.LG quant-ph
Dynamical simulation via quantum machine learning with provable generalization
AWE;Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Technical University of Munich(慕尼黑工业大学);Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与技术中心);Freie Universität Berlin(柏林自由大学);University of Southern California(南加州大学);Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部)
本文提出利用量子机器学习在近期量子硬件上模拟量子动力学的框架,并通过泛化界证明其量子比特与数据效率,实验显示可在 IBMQ-Bogota 上将模拟时长提升至 Trotterization 的 20 倍。
2022-09-06 cs.LG quant-ph
Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
领域泛化的目标是在看不见的测试环境中使用来自有限数量的训练环境的数据表现良好。尽管这项任务的建议算法激增,但从理论上和经验上评估它们的性能仍然非常具有挑战性。分布式匹配算法,例如(条件)域对抗网络[Ganin等人,2016,Long等人,[2018年]很受欢迎,并享受经验上的成功,但他们缺乏正式的保证。其他方法,例如不变风险最小化(Invariant Risk Minimization,缩写为IMR),需要大量的训练环境--在伪特征空间$d_s$的维度上是线性的--即使是在简单的数据模型上,如Rosenfeld等人,2021年]。根据这个模型的一个变体,我们表明,ERM和ESTA不能概括与$o(d_s)$环境。然后,我们提出了一个迭代的特征匹配算法,保证高概率产生一个预测,概括后,只看到$O(\log d_s)$环境。我们的研究结果提供了第一个理论上的理由,在实践中广泛使用的一个具体的非平凡的数据模型下的分布匹配算法的家庭。
2021-11-22 cs.LG stat.ML
Provable Separations between Memorization and Generalization in Diffusion Models
Department of Industrial Engineering and Management Sciences, Northwestern University(工业工程与管理科学系,西北大学);Department of Statistics and Data Science, Northwestern University(统计与数据科学系,西北大学);School of Mathematics, Georgia Institute of Technology(数学系,佐治亚理工学院)
本文从统计估计和网络逼近两个视角证明扩散模型中记忆化与泛化之间的可证明分离,并据此提出基于剪枝的方法,在扩散Transformer中减少记忆化同时保持生成质量。
2025-11-07 cs.LG stat.ML
Provable Bayesian Inference via Particle Mirror Descent
Georgia Institute of Technology(佐治亚理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
贝叶斯方法在复杂数据建模中的灵活性和捕获参数不确定性的能力方面很有吸引力。然而,当贝叶斯规则不导致易处理的封闭形式时,大多数近似推理算法缺乏可扩展性或严格的保证。为了解决这一挑战,我们提出了一个简单但可证明的算法,\emph{Particle Mirror Descent}(PMD),迭代近似后验密度。PMD的灵感来自于随机函数镜像下降,其中在每次迭代时使用一小批数据点在密度空间中下降,以及粒子滤波,其中使用样本来近似函数。我们证明了第一种结果,与$m$粒子,PMD提供了一个后验密度估计,收敛在$KL$ -发散率$O(1/\sqrt{m})$的真实后验。我们展示了竞争力的经验性能PMD相比,在混合模型,逻辑回归,稀疏高斯过程和潜在的Dirichlet分配在大规模数据集的几个近似推理算法。
2016-05-05 cs.LG stat.CO stat.ML
Invariant-Feature Subspace Recovery: A New Class of Provable Domain Generalization Algorithms
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学)
本文提出 ISR 类可证明域泛化算法,通过一阶或二阶矩恢复不变特征子空间,显著降低分类与回归所需训练环境数并保证全局收敛。
2023-11-02 cs.LG stat.ML
Provable Guarantees for Gradient-Based Meta-Learning
Carnegie Mellon University(卡内基梅隆大学);Determined AI
我们通过在线凸优化的镜头来研究元学习问题,开发了一种元算法,弥合了流行的基于梯度的元学习和经典的基于正则化的多任务转移方法之间的差距。我们的方法是第一个同时满足凸设置中良好的样本效率保证的方法,具有随着任务相似性而提高的泛化界限,同时还可以在计算上扩展到现代深度学习架构和多任务设置。尽管它的简单性,该算法匹配,一个恒定的因素,自然任务相似性假设下的任何这样的参数传输方法的性能上的下限。我们在凸和深度学习设置中使用实验来验证和展示我们理论的适用性。
2019-05-16 cs.AI cs.LG stat.ML
Provable Benefits of Sinusoidal Activation for Modular Addition
Toyota Technological Institute at Chicago(丰田技术研究所(芝加哥));University of Chicago(芝加哥大学)
本文研究了正弦激活在模块加法学习中的优势,通过建立表达性差距和泛化界,证明正弦网络在样本复杂度和泛化性能上优于ReLU网络。
2025-11-28 cs.LG stat.ML
Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);UT Austin(德克萨斯大学奥斯汀分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);Web3 Foundation(Web3基金会)
我们研究高维稀疏估计任务中的一个强大的设置,其中一个恒定的分数的数据集是adversarially损坏。具体而言,我们专注于鲁棒稀疏均值估计和鲁棒稀疏PCA的基本问题。我们给出了这些问题的第一个实际可行的鲁棒估计。更详细地说,我们的算法是样本和计算效率,并实现接近最佳的鲁棒性保证。与以前的可证明算法依赖于椭球方法相比,我们的算法使用谱技术来迭代地从数据集中删除离群值。我们对合成数据的实验评估表明,我们的算法是可扩展的,并显着优于以前的方法,几乎匹配的最佳出错率没有腐败。
2019-11-19 cs.DS cs.LG stat.ML
To Grok Grokking: Provable Grokking in Ridge Regression
Department of Computer Science, Purdue University, West Lafayette, IN, USA(普渡大学计算机科学系);Department of Computer Science(计算机科学系);Applied Mathematics, Weizmann Institute of Science, Israel(科学应用数学系,魏茨曼研究院);Stein Faculty of Computer(斯坦因计算机科学学院);Information Science, Ben-Gurion University of the Negev, Israel(信息科学系,本· Gurion 军事大学)
本文在经典岭回归设置中研究grokking现象,证明使用带权重衰减的梯度下降学习过参数化线性回归模型时,存在过拟合、泛化延迟和最终泛化误差任意小的三个阶段,并首次给出泛化延迟(grokking时间)的严格定量界,同时通过实验表明该界也适用于非线性神经网络。
2026-07-17 cs.LG stat.ML
Model Generation with Provable Coverability for Offline Reinforcement Learning
基于模型的离线优化与动态感知的政策提供了一个新的视角,策略学习和分布外泛化,其中学习的政策可以适应不同的动态枚举在训练阶段。但由于离线设置的限制,学习的模型不能很好地模拟真实的动态,以支持可靠的分布外探索,这仍然阻碍了政策的推广。为了缩小差距,以前的作品大致合奏随机初始化的模型,以更好地近似真实的动态。然而,这种做法是昂贵的和低效的,并提供了如何以及真实的动态可以近似的学习模型,我们在本文中命名为可覆盖性没有保证。我们通过生成具有可证明能力的模型来积极解决这个问题,以有效和可控的方式覆盖真实动态。为此,我们设计了一个距离度量的动态模型的基础上占用的政策下的动态,并提出了一种算法来生成模型,优化其覆盖的真实动态。我们对模型生成过程进行了理论分析,并证明了我们的算法可以提供增强的覆盖性。作为一个下游任务,我们训练一个动态感知的政策,轻微或没有保守的惩罚,实验表明,我们的算法优于现有的离线RL基准的离线方法。我们还发现,通过我们的方法学习的政策有更好的zero-shot传输性能,这意味着他们更好的推广。
2022-06-08 cs.LG
Provable Fairness Repair for Deep Neural Networks
Hangzhou Dianzi University, China(杭州电子科技大学);Zhejiang University, China(浙江大学);Zhejiang University of Technology, China(浙江工业大学)
本文提出ProF框架,通过区间界限传播技术,为深度神经网络提供可证的公平性修复,实现对偏见样本周围整个集合的公平性保障,并在多个基准数据集上验证了其有效性。
2026-05-19 cs.LG cs.SE
Feature Selection for Linear SVM with Provable Guarantees
Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们给出了两个可证明准确的线性SVM的特征选择技术。算法分别在确定时间和随机时间下运行。我们的算法可以用于无监督或监督设置。监督的方法是基于支持向量的采样特征。我们证明,在特征空间中的利润率被保存在$ε$ -在最坏的情况下,在全特征空间中的利润率的相对误差。在无监督设置中,我们还提供了最小封闭球半径的最坏情况保证,从而确保与全特征空间中的泛化相当,并解决了Dasgupta等人提出的一个开放问题。我们在真实世界的数据集上进行了大量的实验,以支持我们的理论,并证明我们的方法具有竞争力,通常优于现有的最先进的方法,没有已知的可证明的保证。
2015-02-06 cs.LG stat.ML
SF-DQN: Provable Knowledge Transfer using Successor Feature for Deep Reinforcement Learning
New Jersey Institute of Technology(新泽西理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文研究迁移强化学习中的知识迁移问题,利用后继特征(SF)和广义策略改进(GPI)分解Q函数,首次为深度神经网络下的SF-DQN建立了具有可证明泛化保证的收敛分析,并从理论和实验上证明其优于传统深度Q网络。
2024-09-22 cs.LG stat.ML
Relational Reasoning via Set Transformers: Provable Efficiency and Applications to MARL
National University of Singapore(新加坡国立大学);Northwestern University(西北大学);Yale University(耶鲁大学)
基于置换不变智能体框架的协作多智能体自主学习(MARL)在实际应用中取得了巨大的成功。不幸的是,这个MARL问题的理论理解是缺乏的,由于许多代理人的诅咒和有限的探索关系推理在现有的作品。在本文中,我们验证了Transformer实现了复杂的关系推理,我们提出并分析了无模型和基于模型的离线MARL算法与Transformer逼近。我们证明了无模型和基于模型的算法的次优差距是独立的和对数的代理的数量分别,这减轻了许多代理的诅咒。这些结果是一种新的泛化误差界的Transformer和一种新的分析的最大似然估计(MLE)的系统动态与Transformer的后果。我们的基于模型的算法是第一个证明有效的MARL算法,明确利用置换不变性的代理。我们改进的泛化界可能是独立的利益,并适用于其他回归问题有关的Transformer超越MARL。
2022-10-16 cs.LG cs.MA stat.ML
HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
College of Computer Science and Technology(计算机科学与技术学院);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(模式分析与机器智能重点实验室)
本文提出 HomeAdam(W) 算法,通过有时返回动量 SGD 提高泛化能力,证明其泛化误差优于 Adam(W)-srf 并具有更快的收敛速度。
2026-03-03 cs.LG math.OC stat.ML
Filtering with Confidence: When Data Augmentation Meets Conformal Prediction
Department of Statistics University of Chicago, Chicago, USA(统计系芝加哥大学);Booth School of Business University of Chicago, Chicago, USA(商学院芝加哥大学)
本文提出置信数据增强方法,通过置信预测原理生成多样化合成数据并过滤低质量生成,提升多个任务的F1分数性能。
2026-01-29 cs.LG
Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning
University of Southern California(南加州大学);Princeton University(普林斯顿大学);University of Minnesota(明尼苏达大学)
我们考虑的问题,分解成其组成的典型的Polyadic(CP)因子的结构3路张量。这种分解可以被视为张量奇异值分解(SVD)的推广,揭示了张量维度(特征)如何相互作用。然而,由于这些因素是先验未知的,相应的优化问题本质上是非凸的。现有的保证算法,处理这种非凸性产生不可约的错误(偏见),并只适用于所有因素具有相同的结构的情况下。为此,我们开发了一个在线结构张量因式分解的可证明算法,其中一个因子服从一些不相干条件,而其他因子是稀疏的。具体来说,我们表明,在一些相对温和的条件下的初始化,秩和稀疏性,我们的算法恢复的因素完全(缩放和置换)在一个线性速率。作为对我们理论结果的补充,我们的合成和真实世界数据评估与相关技术相比显示出卓越的性能。此外,它的可扩展性和动态学习能力使其适合现实世界的任务。
2020-06-30 cs.LG stat.ML
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
自监督学习的最新研究通过依赖于对比学习范式推进了最先进的技术水平,该范式通过将阳性对或来自同一类的类似示例推得更近而将阴性对保持得更远来学习表示。尽管取得了经验上的成功,但理论基础是有限的-先前的分析假设给定相同类别标签的正对的条件独立性,但最近的经验应用使用高度相关的正对(即,同一图像的数据增强)。我们的工作分析了对比学习,而不假设条件独立的积极对使用一个新的概念的数据上的增强图。该图中的边连接相同数据的增强,地面实况类自然形成连接的子图。我们提出了一个损失,执行谱分解的人口扩增图,可以简洁地写为一个对比学习目标神经网络表示。最小化这一目标导致的功能,可证明的精度保证下线性探针评估。通过标准的泛化界限,这些精度保证在最小化训练对比损失时也成立。从经验上讲,我们的目标学习的特征可以匹配或优于基准视觉数据集上的几个强基线。总之,这项工作提供了第一个可证明的分析对比学习的线性探针评估的保证,可以适用于现实的经验设置。
2022-06-24 cs.LG stat.ML
FilFL: Client Filtering for Optimized Client Participation in Federated Learning
KAUST(阿卜杜拉国王科技大学);Purdue University(普渡大学)
本文提出FilFL框架,通过贪心过滤算法定期选择最大化组合目标函数的客户端子集参与训练,以优化联邦学习中的客户端参与,提升模型泛化能力、学习效率与收敛速度,实现约10%的准确率提升。
2024-08-29 cs.AI cs.DC cs.LG
A Filtering-based General Approach to Learning Rational Constraints of Epistemic Graphs
Zhejiang University(浙江大学)
针对认知图约束学习缺乏理性且难以表达信念程度、扩展规则时计算开销过大的问题,提出基于过滤的多元推广方法,学习同时反映领域与用户模型的理性规则并过滤无意义规则,实验显示其显著优于现有框架。
2023-06-07 cs.AI cs.LG
Provable Self-Play Algorithms for Competitive Reinforcement Learning
Salesforce Research(Salesforce研究院);Princeton University(普林斯顿大学)
自我游戏,即算法通过与自己比赛而无需任何直接监督来学习,已成为现代强化学习(RL)中实现超人性能的新武器。然而,强化学习中的大多数验证理论仅适用于智能体在固定环境中进行游戏的设置;自我游戏算法是否可以证明有效,特别是当需要管理探索/开发权衡时,这在很大程度上仍然是开放的。我们研究了马尔可夫博弈下竞争性强化学习中的自我博弈,马尔可夫决策过程对两人博弈的推广。我们介绍了一个自我发挥的算法-值迭代与上/下置信界(VI-ULCB)-并表明,它实现了遗憾$\tilde{\mathcal{O}}(\sqrt{T})$后,发挥$T$步骤的游戏,其中的遗憾是衡量代理的性能对\emph{fully adversarial}对手谁可以利用代理的策略在\emph{any}步骤。我们还介绍了一个探索,然后利用风格的算法,它实现了一个稍差的遗憾$\tilde{\mathcal{O}}(T^{2/3})$,但保证运行在多项式时间,即使在最坏的情况下。据我们所知,我们的工作提出了竞争性强化学习的第一条可证明样本有效的自我发挥算法。
2020-07-09 cs.AI cs.LG stat.ML
Spectral Distillation: From Nonlinear Dynamics to Linear State-Space Models
Princeton University(普林斯顿大学)
该研究提出一种可证明的端到端流程,通过观测谱滤波(OSF)的凸学习结合谱到LDS的蒸馏,从非线性动力学系统中提取事后最优线性状态空间模型,实验验证其性能优于或匹配直接训练基线。
2026-08-07 cs.LG
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley(加州大学伯克利分校);Salesforce AI Research(Salesforce AI研究)
本文提出理论框架,证明监督预训练的Transformer可模仿专家算法条件期望,并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法,首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Provable In-Context Vector Arithmetic via Retrieving Task Concepts
Department of Computer Science, City University of Hong Kong, Hong Kong SAR;Center for Advanced Intelligence Project, RIKEN, Japan;Institute of High Performance Computing (IHPC), Agency for Science, Technology;Research (A STAR), Singapore;Centre for Frontier AI Research (CFAR), Agency for Science, Technology;College of Computing;Data Science, Nanyang Technological University, Singapore;Department of Mathematical Informatics, The University of Tokyo, Japan;School of Mathematics;Statistics, The University of Sydney, Australia
本文提出基于分层概念建模的理论框架,证明非线性残差transformers通过梯度下降和交叉熵损失训练,能利用向量算术执行事实召回ICL任务,并展现强泛化性。
2025-08-13 cs.AI cs.LG
Provable Non-Convex Optimization and Algorithm Validation via Submodularity
ETH Zurich(苏黎世联邦理工学院);Shanghai Jiao Tong University(上海交通大学)
子模块性是组合优化以及机器学习和数据采掘的许多应用中研究最多的问题类的性质之一,对保证优化具有很强的意义。在这篇论文中,我们研究子模块性在可证非凸优化和算法验证中的作用。深刻理解哪类函数可以被可追踪地优化仍然是非凸优化的核心挑战。通过推进子模块化的概念,连续域(称为“连续子模块化”),我们刻画了一类一般非凸和非凹的功能-连续子模块化功能,并推导出算法近似最大化他们的强逼近保证。与此同时,连续子模块化捕获了广泛的应用,从一般营销策略的收入最大化,DPP的MAP推理到概率对数子模块模型的平均场推理,这使得它成为优化这类目标的有价值的领域知识。算法验证是一个信息理论框架,用于研究算法对输入/观测值波动的鲁棒性及其泛化能力。我们研究了一个典型的无约束子模最大化问题:MaxCut的各种算法。由于子模块的MaxCut目标,我们能够提出有效的方法来计算MaxCut算法的算法信息内容。这些结果为MaxCut的不同算法技术的鲁棒性提供了见解。
2019-12-18 cs.LG math.OC stat.ML
Deep Neural Network-Driven Adaptive Filtering
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种深度神经网络驱动的自适应滤波框架,通过直接梯度获取和最大似然隐式代价函数,解决传统方法泛化难题,并在非高斯场景下验证了其卓越性能与稳定性。
2025-08-06 cs.LG stat.ML
Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning Optimization Landscape
NYU(纽约大学)
在本文中,我们研究了局部最小值周围的深度学习(DL)损失景观的清晰度,以揭示DL模型泛化能力的系统机制。我们的分析是在不同的网络和优化器超参数上进行的,涉及到丰富的不同锐度度量。我们比较了这些措施,并表明,低通滤波器为基础的措施表现出最高的相关性与DL模型的泛化能力,具有较高的鲁棒性的数据和标签噪声,而且可以跟踪双下降行为的神经网络。接下来,我们推导出优化算法,依赖于低通滤波器(LPF),使用SGD类过程主动搜索DL优化景观中的平坦区域。所提出的算法的更新,我们称之为LPF-SGD,由滤波器内核与损失函数的卷积的梯度确定,并且可以使用MC采样有效地计算。我们的经验表明,我们的算法实现了优越的泛化性能相比,常见的DL训练策略。在理论方面,我们证明了LPF-SGD比SGD收敛到一个更好的最优点,并且具有更小的泛化误差。
2022-02-04 cs.LG
Aligning Points to Lines: Provable Approximations
University of Haifa(海法大学)
我们提出了一种新的优化技术,用于最小化的总和$\sum_{i=1}^n f_i(x)$的$n$非凸实函数,满足一个属性,我们称之为分段对数Lipschitz。这是通过锻造计算几何,组合学和凸优化技术之间的联系。作为示例应用,我们提供了第一个常数因子近似算法,其运行时间在$n$中是多项式,用于\emph{Points-to-Lines alignment}的基本问题:给定平面上的$n$点$p_1,\cdots,p_n$和$n$线$\ell_1,\cdots,\ell_n$以及$z>0$,计算匹配的$π:[n]\to[n]$和对齐(旋转矩阵$R$和平移向量$t$)最小化每个点到其对应线之间的欧几里得距离之和$\sum_{i=1}^n \mathrm{dist}(Rp_i-t,\ell_{π(i)})^z$。即使给出了$z=1$和匹配的$π$,这个问题也是不平凡的。如果$π$是给定的,我们的算法的运行时间是$O(n^3)$,甚至接近线性的$n$使用的核心集,支持:流,动态和分布式并行计算在多对数更新时间。还提供了用于处理例如离群值或伪距离(诸如$M$ -估计器)的问题的概括。实验结果和开源代码表明,我们的可证明算法改善现有的算法也在实践中。在增强现实的背景下,一个配套的演示视频展示了如何在实时系统中使用这种算法。
2019-09-09 cs.CG cs.LG stat.ML
A Theoretical Analysis of Mamba's Training Dynamics: Filtering Relevant Features for Generalization in State Space Models
New Jersey Institute of Technology(新泽西理工学院);University of Pennsylvania(宾夕法尼亚大学);University of Louisiana at Lafayette(路易斯安那州立大学拉法叶分校)
本文分析了Mamba模型的训练动态,证明其通过选择性递归实现特征筛选,提升泛化能力,为Transformer解释提供了理论依据。
2026-02-13 cs.LG
Minmax Trend Filtering: Generalizations of Total Variation Denoising via a Local Minmax/Maxmin Formula
Department of Statistics, University of Illinois at Urbana Champaign(统计系,伊利诺伊大学厄巴纳-香槟分校)
本文提出可推广全变分去噪的局部极小极大/极大极小公式,构建全新非参数回归方法极小极大趋势滤波MTF,推导其逐点误差界与局部收敛速率,为方法的局部自适应性提供新解释。
2026-02-12 cs.LG math.ST stat.TH
Spectral State Space Models
Google Deepmind(谷歌DeepMind);Princeton University(普林斯顿大学)
针对长程依赖序列预测问题,提出基于谱滤波算法的谱状态空间模型架构,具备可证明鲁棒性、用固定卷积滤波器无需学习的优势,经多任务验证性能优于传统状态空间模型。
2024-07-11 cs.LG
On The Concurrence of Layer-wise Preconditioning Methods and Provable Feature Learning
University of Pennsylvania(宾夕法尼亚大学)
本文从统计角度证明逐层预条件方法在非理想输入条件下对特征学习的必要性,并通过线性表示学习和单索引学习两个原型模型从理论与数值上证明 SGD 的次优性,同时表明 Adam 和批归一化仅能轻微缓解该问题。
2025-02-03 cs.LG math.OC stat.ML
Collaborative Filtering with Stability
IBM Research - China(IBM中国研究院);University of Colorado Boulder(科罗拉多大学博尔德分校)
协同过滤(CF)是当前推荐系统中的一种流行技术,基于矩阵近似的CF方法在评分预测和top-N推荐任务中取得了巨大的成功。然而,现实世界的用户-项目评分矩阵通常是稀疏的、不完整的和有噪声的,这对矩阵近似的算法稳定性提出了挑战,即,训练数据中的小变化可能显著地改变模型。结果,现有的矩阵近似解决方案产生低泛化性能,在训练数据上表现出高误差方差,并且最小化训练误差可能不能保证在测试数据上的误差减少。本文研究了矩阵近似方法的算法稳定性问题,以及如何通过稳定的矩阵近似实现稳定的协同过滤。提出了一种新的算法设计框架,该框架(1)引入新的优化目标来指导稳定矩阵近似算法的设计,(2)求解优化问题以获得具有良好泛化性能的稳定近似解.在真实数据集上的实验结果表明,与现有的矩阵近似方法和集成方法相比,该方法在评分预测和top-N推荐任务中具有更高的准确率.
2018-11-06 cs.IR cs.LG stat.ML
Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm
University of Kentucky(肯塔基大学)
特征选择作为一种重要的降维技术,通过识别输入特征的基本子集来降低数据维数,从而有助于对学习和推理过程的理解。数学稳定性是算法的关键特性,关于其对输入样本的扰动的敏感性。在本文中,我们提出了一种创新的无监督特征选择算法,实现这种稳定性与可证明的保证。我们的算法的架构包括一个功能评分器和一个功能选择器。评分器训练一个神经网络(NN)对所有特征进行全局评分,选择器采用一个依赖的子NN对特征的表示能力进行局部评价,从而选择特征。此外,我们提出了算法的稳定性分析,并表明,我们的算法有一个性能保证通过泛化误差界。在真实数据集上的大量实验结果表明,我们所提出的算法的泛化性能优于强基线方法。此外,我们的理论分析揭示的属性和我们算法选择的特征的稳定性也得到了经验证实。
2022-01-05 cs.LG stat.ML
FedFFT: Taming Client Drift in Federated SAM via Spectral Perturbation Filtering
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
研究联邦学习中客户端漂移问题,从频域新视角提供实验证据,提出 FedFFT 方法,过滤 SAM 扰动低频成分,无需额外通信,实验表明该方法在多基准和骨干网络中表现出色。
2026-07-07 cs.LG
Decayed MCMC Filtering
University of California, Berkeley(加州大学伯克利分校)
提出一种基于衰减MCMC的随机近似滤波算法,通过偏向翻转近期状态变量的提议分布对状态轨迹进行采样,并证明在观测序列增长时收敛时间有界,实验表明与粒子滤波等算法性能相当。
2012-12-12 cs.AI cs.LG cs.SY
Breaking Correlation Shift via Conditional Invariant Regularizer
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
近年来,对具有相关位移的分布外(OOD)数据的推广引起了广泛的关注。相关性偏移是由与类标签相关的虚假属性引起的,因为它们之间的相关性在训练和测试数据中可能会有所不同。对于这样的问题,我们表明,给定的类标签,有条件地独立于虚假属性的模型是OOD推广。在此基础上,提出了一种控制OOD泛化误差的度量条件伪变差(CSV)来度量这种条件独立性。为了提高OOD的泛化能力,我们使用建议的CSV规范了训练过程。在温和的假设下,我们的训练目标可以被公式化为一个非凸-凹极小-极大问题。提出了一个具有可证明收敛速度的算法来求解该问题。大量的实验结果验证了我们的算法在提高OOD推广的有效性。
2023-02-24 cs.LG
Boundary between noise and information applied to filtering neural network weight matrices
Institut für Theoretische Physik, Universität Leipzig(莱比锡大学理论物理研究所)
本文利用权重矩阵奇异值谱中噪声与信息的边界,提出同时移除小奇异值并压缩大奇异值的滤波算法,显著提升标签噪声下网络的泛化性能。
2022-06-08 cond-mat.dis-nn cs.LG
Certification-Enhanced Generalization Bounds
Imperial College London(伦敦帝国理工学院)
本研究利用形式化认证方法,通过新的集中不等式连接样本特定稳定性与分布性分析,为学习算法提供紧致可靠的泛化界,显著优于现有计算方法。
2026-11-09 cs.LG
Unlock the Power of Algorithm Features: A Generalization Analysis for Algorithm Selection
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学)
本文从泛化视角首次提出基于算法特征的算法选择可证明保证,推导了不同学习范式下的泛化误差上界,并揭示了训练规模、模型参数及数据分布差异等因素的影响。
2024-06-03 cs.LG