Fast, Provable Algorithms for Isotonic Regression in all $\ell_{p}$-norms
Yale University（耶鲁大学）；Georgia Tech（佐治亚理工学院）
给定有向无环图$G,$和顶点上的一组值$y$，$y$的保序回归是一个向量$x$，它遵循$G,$所描述的偏序，并针对指定的范数最小化$||x-y||,$。本文给出了在严格性能保证下计算所有加权$\ell_{p}$ -范数的保序回归的改进算法。我们的算法是相当实用的，他们的变种可以实现在实践中运行速度快。
2015-11-11 cs.DS cs.LG math.ST
Online Censoring for Large-Scale Regressions with Application to Streaming Big Data
线性回归可以说是统计推断方法中最突出的，因其简单性和广泛的适用性而流行。与数据密集型应用程序一样，线性回归问题的庞大规模导致了对快速且经济高效的求解器的需求不断增长。幸运的是，可以省略很大一部分累积的数据，同时以可承受的计算预算保持一定质量的统计推断。本文介绍了基于随机逼近和数据截尾原理，以在线和数据自适应方式识别和省略“信息量较少”观察结果的方法。提出了基于一阶和二阶随机逼近的极大似然估计算法，用于估计删失观测的回归系数。在线算法也提出了自适应执行审查以及估计，以减少整体的复杂性。新的算法需要简单的封闭形式的更新，并有可证明的（非）渐近收敛保证。此外，特定的规则进行了研究，调整到所需的审查模式和降维水平。在真实和合成数据集上的模拟测试证实了所提出的数据自适应方法与基于数据不可知的随机投影的替代方法相比的有效性。
2015-07-27 stat.AP stat.ML
Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；Air Force Research Laboratory（美国空军研究实验室）
张量为表示多属性数据和多方式交互提供了强大而灵活的模型，在科学和工程各个领域的现代数据科学中发挥着不可或缺的作用。一个基本的任务是忠实地恢复张量从高度不完整的测量在统计和计算效率的方式。利用Tucker分解中张量的低秩结构，本文提出了一种尺度梯度下降算法（ScaledGD）算法，以直接恢复张量因子与定制的频谱初始化，并表明，它可证明收敛在一个线性速率独立的地面真理张量的条件数的两个典型问题-张量完成和张量回归-只要样本大小高于$n^{3/2}$的数量级，忽略其他参数依赖性，其中$n$是张量的维数。与现有技术相比，这导致对低秩张量估计的极其可扩展的方法，现有技术遭受以下缺点中的至少一个：对病态的极端敏感性、在存储器和计算方面的高每次迭代成本、或差的样本复杂度保证。据我们所知，ScaledGD是第一个同时实现接近最佳统计和计算复杂性的低秩张量完成与塔克分解的算法。我们的算法突出了适当的预处理在加速非凸统计估计中的作用，其中迭代变化的预处理器促进了低秩张量因子分解中关于潜在对称性的轨迹的理想不变性。
2022-06-22 cs.IT cs.LG eess.SP
Feature Selection for Ridge Regression with Provable Guarantees
Paypal Inc.（贝宝公司）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们引入单集光谱稀疏作为一个确定性的采样为基础的特征选择技术的正则化最小二乘分类，这是分类模拟岭回归。该方法是无监督的，并给出了最坏情况下的分类功能的泛化能力的保证后，相对于使用所有功能获得的分类功能的特征选择。我们还介绍了无监督的随机特征选择方法的岭回归的评分抽样。我们提供了风险界单集频谱稀疏和采样分数采样岭回归在固定的设计设置，并表明，在采样空间的风险是可比的全功能空间的风险。我们在合成和真实世界的数据集上进行实验，即TechTC-300数据集的一个子集，以支持我们的理论。实验结果表明，该方法的性能优于现有的特征选择方法。
2015-12-05 cs.IT cs.LG math.IT
L1-Penalization for Mixture Regression Models
本文考虑高维非齐次数据的有限混合回归模型，其中协变量的数目可能远大于样本量。我们提出了一个l1-惩罚的极大似然估计在适当的参数化。这类估计属于一类需要非凸函数的优化和理论的问题。这与具有凸损失或目标函数的高维估计非常清楚地区别开来，例如线性或广义线性模型中的Lasso。混合模型代表了非凸性出现的一个主要和重要的例子。对于FMR模型，我们提出了一种有效的数值优化期望最大化算法，并证明了算法的收敛性。我们的惩罚估计量在数值上是更好的（例如，准则函数的有界性）比未惩罚的极大似然估计更好，并且它允许有效的统计正则化，包括变量选择。我们还提出了一些渐近理论和预言不等式：由于非凸性的负对数似然函数，不同的数学参数需要比凸损失的问题。最后，我们将新方法应用到模拟和真实数据。
2012-02-27 stat.ME
Nearly Optimal Sample Size in Hypothesis Testing for High-Dimensional Regression
Stanford University（斯坦福大学）
考虑高维线性回归模型的参数拟合问题。在参数$p$的数量与样本量$n$相当或超过$n$的情况下，成功的方法使用$\ell_1$惩罚最小二乘估计量，称为Lasso。不幸的是，与线性估计器不同（例如，普通最小二乘法），没有建立良好的方法来计算置信区间或p值的基础上的Lasso估计。最近，一系列工作\cite{javanmard2013hypothesis, confidenceJM, GBR-hypothesis}已经解决了这个问题，通过构建一个去偏版本的Lasso估计。本文研究随机设计模型的这种方法，假设设计的精度矩阵存在一个好的估计。我们的分析比现有技术有所改进，因为如果样本量$n$渐近优于$s_0 (\log p)^2$，则其建立了接近最佳的\emph{average}检验功效，其中$s_0$为稀疏水平（非零系数的数量）。早期的工作获得可证明的保证，只有更大的样本量，即它需要$n$渐近支配$(s_0 \log p)^2$。特别是，对于随机设计的稀疏精度矩阵，我们表明，其具有所需的属性的估计可以有效地计算。最后，我们评估这种方法的合成数据，并将其与以前的建议。
2013-11-01 cs.IT cs.LG math.IT
To Grok Grokking: Provable Grokking in Ridge Regression
Department of Computer Science, Purdue University, West Lafayette, IN, USA（普渡大学计算机科学系）；Department of Computer Science（计算机科学系）；Applied Mathematics, Weizmann Institute of Science, Israel（科学应用数学系，魏茨曼研究院）；Stein Faculty of Computer（斯坦因计算机科学学院）；Information Science, Ben-Gurion University of the Negev, Israel（信息科学系，本· Gurion 军事大学）
本文在经典岭回归设置中研究grokking现象，证明使用带权重衰减的梯度下降学习过参数化线性回归模型时，存在过拟合、泛化延迟和最终泛化误差任意小的三个阶段，并首次给出泛化延迟（grokking时间）的严格定量界，同时通过实验表明该界也适用于非线性神经网络。
2026-07-17 cs.LG stat.ML
OKRidge: Scalable Optimal k-Sparse Ridge Regression
Duke University（杜克大学）
本文提出OKRidge算法，通过鞍点下界计算与ADMM近端算子高效求解稀疏岭回归问题，用于识别非线性动力系统的稀疏控制方程，实验表明其运行时间比Gurobi求解的MIP方法快数个数量级。
2024-01-11 cs.LG stat.ML
Estimating multi-index models with response-conditional least squares
多指标模型是一个简单而强大的高维回归模型，它可以避免维数灾难，假设$ \mathbb{E} [ Y | X ] = g(A^\top X) $为某些未知的指标空间$A$和链接函数$g$。本文介绍了一种指标空间的估计方法，并研究了在链函数回归中指标空间估计的传播误差。所提出的方法近似的指数空间的跨度线性回归斜率系数计算的水平集的数据。基于普通最小二乘，我们的方法是易于实现和计算效率。我们证明了一个紧密的浓度范围，显示$N^{-1/2}$收敛，但也忠实地描述了所选择的水平集分区的依赖，从而给出指示的超参数调整。通过与最先进的方法在合成和真实数据集上的广泛比较，证实了估计器的竞争力。作为第二个贡献，我们建立最小最大最优泛化边界的k-最近邻和分段多项式回归时，训练的样本投影到任何$N^{-1/2}$ -相合估计的索引空间，从而提供完整的和可证明的估计的多指标模型。
2020-06-03 math.ST stat.TH
Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference
Rice University（莱斯大学）
现代机器学习中的一个令人惊讶的现象是，高度过参数化的模型即使经过训练以记住训练数据（训练数据上的零错误），也能够很好地泛化（测试数据上的小错误）。这导致了对越来越多的过度参数化模型的军备竞赛（参见，深度学习）。在本文中，我们研究了一个未充分探索的隐藏成本overparameterization：事实上，overparameterized模型可能更容易受到隐私攻击，特别是成员推理攻击，预测（潜在的敏感）的例子用于训练模型。我们显着地扩展了相对较少的经验结果在这个问题上的理论证明了一个过参数化的线性回归模型在高斯数据设置的成员推断脆弱性增加的参数的数量。此外，一系列实证研究表明，更复杂的非线性模型也表现出同样的行为。最后，我们将我们的分析扩展到岭正则化线性回归，并在高斯数据设置中显示，增加正则化也增加了过度参数化制度中的成员推断脆弱性。
2022-11-30 cs.LG stat.ML
Least quantile regression via modern optimization
我们使用现代优化方法解决最小二乘分位数（LQS）（特别是最小二乘中位数）回归问题。我们提出了一个混合优化（MIO）制定的LQS问题，使我们能够找到一个可证明的全局最优解的LQS问题。我们的MIO框架具有吸引人的特点，如果我们提前终止算法，我们将获得一个保证其次优性的解决方案。我们还提出了连续优化方法的基础上，一阶次微分方法，序列线性优化和混合组合，它们获得接近最优的解决方案的LQS问题。MIO算法被发现受益于我们的持续优化的方法提供的高质量的解决方案显着。我们进一步表明，MIO方法导致（a）任何数据集的最佳解决方案，其中的数据点$(y_i,\mathbf{x}_i)$的不一定在一般的位置，（b）一个简单的证明，故障点的LQS目标值，适用于任何数据集和（c）的情况下，有多面体的限制的回归系数向量的扩展。我们报告的计算结果与合成和现实世界的数据集显示，从连续优化方法的MIO算法解决小（$n=100$）和中等（$n=500$）大小的问题，以证明在两个小时内的最优性，并优于所有公开可用的大规模（$n={}$ 10，000）LQS问题的方法。
2014-11-19 stat.CO
Provable Meta-Learning of Linear Representations
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
元学习，或学习，旨在设计算法，可以利用以前的经验，快速学习新技能或适应新环境。表示学习--执行元学习的关键工具--学习一种可以在多个任务之间传递知识的数据表示，这在数据稀缺的情况下是必不可少的。尽管最近对元学习的实践兴趣激增，但元学习算法的理论基础仍然缺乏，特别是在学习可转移表示的背景下。在本文中，我们专注于多任务线性回归问题-其中多个线性回归模型共享一个共同的低维线性表示。在这里，我们提供了可证明的快速，样本效率高的算法来解决双重挑战：（1）从多个相关任务中学习一组常见的特征，以及（2）将这些知识转移到新的，看不见的任务中。两者都是元学习的核心问题。最后，我们补充这些结果，提供信息理论的样本学习这些线性特征的复杂性的下限。
2022-01-01 cs.AI cs.LG stat.ML
Provable Guarantees for Sparsity Recovery with Deterministic Missing Data Patterns
Purdue University（普渡大学）
我们研究的问题，一贯恢复的稀疏模式的回归参数向量的相关观测确定性缺失的数据模式使用Lasso。我们考虑的情况下，观察到的数据集是由一个确定性的，非均匀的过滤器。在具有确定性缺失结构的数据集中恢复稀疏模式可以说比在均匀随机场景中恢复更具挑战性。本文利用审查过滤器的拓扑性质，提出了一种有效的缺失值填补算法。然后，我们提供了新的理论结果的稀疏模式的精确恢复使用建议的插补策略。我们的分析表明，在一定的统计和拓扑条件下，可以在多项式时间和对数样本复杂度内以高概率一致地恢复隐藏的稀疏模式。
2022-06-10 cs.LG stat.ML
A One-Pass Private Sketch for Most Machine Learning Tasks
Rice University（莱斯大学）
差分隐私（DP）是一个令人信服的隐私定义，通过正式的，可证明的保证解释了隐私效用权衡。受通用数据发布算法的最新进展的启发，我们提出了一个私人草图，或数据集的小摘要，支持多种机器学习任务，包括回归，分类，密度估计，近邻搜索等。我们的草图由随机化的列联表组成，这些列联表使用位置敏感的散列进行索引，并使用高效的一次通过算法构建。我们证明了DP核密度估计的竞争性误差界。DP核密度估计的现有方法规模很差，通常随着维度的增加而呈指数增长。相比之下，我们的sketch可以在一个通道中快速运行大型高维数据集。详尽的实验表明，我们的通用草图提供了一个类似的隐私效用权衡相比，现有的DP方法的计算成本的一小部分。我们希望我们的草图能够在分布式的大规模机器学习环境中实现差分隐私。
2020-06-16 cs.CR cs.DS cs.LG
Provable In-Context Learning of Nonlinear Regression with Transformers
Department of ECE（电子工程系）；The Ohio State University（俄亥俄州立大学）；Engineering Systems and Design Pillar（工程系统与设计支柱）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究Transformer在非线性回归任务中的上下文学习机制，分析注意力分阶段动力学，指出Lipschitz常数L是收敛关键因素，分情形推导收敛时间界并证明其对未见函数的ICL能力。
2025-10-01 cs.LG
Provable Tensor Methods for Learning Mixtures of Generalized Linear Models
University of California, Irvine（加州大学欧文分校）
我们考虑的问题，学习混合的广义线性模型（GLM）中出现的分类和回归问题。典型的学习方法，如期望最大化（EM）或变分贝叶斯可能会陷入虚假的局部最优。相比之下，我们提出了一个张量分解方法，保证正确地恢复参数。关键的见解是采用输入的某些特征变换，这取决于输入生成模型。具体来说，我们采用输入的得分函数张量，并计算它们与响应变量的互相关。我们建立了这个张量的分解一致恢复的参数，在温和的非简并条件下。我们证明了我们的方法的计算和样本的复杂性是一个低阶多项式的输入和潜在的尺寸。
2016-01-13 cs.LG stat.ML
Adaptive, Distribution-Free Prediction Intervals for Deep Networks
ISOR Institute for Statistics and Mathematics（ISOR统计与数学研究所）；University of Vienna（维也纳大学）；Vienna University of Economics and Business（维也纳经济与商业大学）
机器学习文献包含几种预测区间的构造，这些构造直观上是合理的，但最终是特别的，因为它们没有可证明的性能保证。我们提出的方法，从统计文献中，可以有效地使用神经网络在最小的假设下，保证性能。我们提出了一个神经网络，输出三个值，而不是一个单一的点估计，并优化了标准的分位数回归损失激励的损失函数。我们提供了两个预测区间的方法与有限的样本覆盖率的保证，仅在假设下，观察是独立和同分布的。第一种方法利用共形推理框架并提供平均覆盖率。第二种方法提供了一个新的，更强有力的保证，通过对观测数据的条件。最后，我们的损失函数不会像其他预测区间方法那样损害网络的预测精度。我们证明了我们的程序的易用性，以及它比其他方法的模拟和真实数据的改进。由于大多数深度网络可以很容易地通过我们的方法进行修改，以输出具有有效预测区间的预测，因此它的使用应该成为标准实践，就像报告标准误和平均估计值一样。
2020-02-24 cs.LG stat.ML
Shallow Neural Networks Learn Low-Degree Spherical Polynomials with Feature Learning by Learnable Channel Attention
School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）
本文研究了通过训练具有通道注意力的过参数化两层神经网络学习低次球面多项式的问题，证明了该方法在样本复杂度上显著优于现有方法，并实现了非参数回归风险的最优率。
2026-04-26 cs.LG math.OC stat.ML
Gradient Descent with Projection Finds Over-Parameterized Neural Networks for Learning Low-Degree Polynomials with Nearly Minimax Optimal Rate
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；VecML Inc.（VecML公司）
本文研究了通过训练过参数化的两层神经网络学习低次球面多项式的问题，提出了一种改进的梯度下降与投影算法，实现了近最优的学习率，且在未知真实次数时能自适应选择最优参数。
2026-03-22 cs.LG math.ST stat.ML
Invariant-Feature Subspace Recovery: A New Class of Provable Domain Generalization Algorithms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago（芝加哥大学）
本文提出 ISR 类可证明域泛化算法，通过一阶或二阶矩恢复不变特征子空间，显著降低分类与回归所需训练环境数并保证全局收敛。
2023-11-02 cs.LG stat.ML
Provable Bayesian Inference via Particle Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
贝叶斯方法在复杂数据建模中的灵活性和捕获参数不确定性的能力方面很有吸引力。然而，当贝叶斯规则不导致易处理的封闭形式时，大多数近似推理算法缺乏可扩展性或严格的保证。为了解决这一挑战，我们提出了一个简单但可证明的算法，\emph{Particle Mirror Descent}（PMD），迭代近似后验密度。PMD的灵感来自于随机函数镜像下降，其中在每次迭代时使用一小批数据点在密度空间中下降，以及粒子滤波，其中使用样本来近似函数。我们证明了第一种结果，与$m$粒子，PMD提供了一个后验密度估计，收敛在$KL$ -发散率$O(1/\sqrt{m})$的真实后验。我们展示了竞争力的经验性能PMD相比，在混合模型，逻辑回归，稀疏高斯过程和潜在的Dirichlet分配在大规模数据集的几个近似推理算法。
2016-05-05 cs.LG stat.CO stat.ML
Enabling SQL-based Training Data Debugging for Federated Learning
Simon Fraser University（西蒙菲莎大学）；Columbia University（哥伦比亚大学）
当我们看到逻辑回归模型的行为出乎意料时，我们如何在联邦学习设置中调试该模型（例如，该模型拒绝所有高收入客户的贷款申请）？基于SQL的训练数据调试框架已被证明可以有效地修复非联邦学习设置中的此类问题。给定模型预测上的意外查询结果，该框架自动从训练数据中移除标签错误，使得意外行为在重新训练的模型中消失。在本文中，我们启用了这个强大的联邦学习框架。关键的挑战是如何开发一个安全协议，联邦调试，这是被证明是安全的，有效的，准确的。实现这一目标需要我们研究如何无缝集成来自多个领域（数据库，机器学习和网络安全）的技术。我们首先提出FedRain，它将Rain（最先进的基于SQL的训练数据调试框架）扩展到我们的联邦学习设置。我们解决了几个技术挑战，使FedRain的工作，并分析其安全保证和时间复杂度。分析结果表明，FedRain在效率和安全性方面都存在不足。为了克服这些限制，我们重新设计了我们的安全协议，并提出了青蛙，一种新的基于SQL的训练数据调试框架量身定制的联邦学习。我们的理论分析表明，Frog比FedRain更安全，更准确，更高效。我们使用几个真实世界的数据集和案例研究进行了广泛的实验。实验结果与理论分析一致，验证了Frog算法在实际应用中的有效性。
2021-08-26 cs.CR cs.DB cs.LG
Learning Mixtures of Linear Classifiers
Stanford University（斯坦福大学）；Technicolor（特艺集团）
我们考虑一个判别学习（回归）问题，其中回归函数是k个线性分类器的凸组合。现有的方法是基于EM算法，或类似的技术，没有可证明的保证。我们开发了一个简单的方法，基于频谱技术和“镜像”技巧，发现子空间跨越的分类器的参数向量。在特征向量分布的概率假设下，我们证明了这种方法具有接近最优的统计效率。
2014-07-30 cs.LG stat.ML
Operational Calibration: Debugging Confidence Errors for DNNs in the Field
State Key Lab of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
经过训练的DNN模型越来越多地被用作软件系统的组成部分，但它们在该领域的表现往往不足。一个特别具有破坏性的问题是，DNN模型经常给出高置信度的错误预测，这是由于操作数据和训练数据之间不可避免的轻微差异。为了尽量减少由于不准确的信心造成的损失，操作校准，即，针对DNN分类器的操作域校准DNN分类器的置信度函数成为整个系统工程中的必要调试步骤。考虑到标记操作数据的预算有限和DNN模型的可解释性较弱，操作校准是困难的。我们提出了一种贝叶斯方法来操作校准，逐渐校正的信心下校准与少量的标记的操作数据故意从一个较大的未标记的操作数据集选择的模型。通过利用DNN模型的学习表示的局部性并将校准建模为高斯过程回归，该方法变得有效和高效。对各种实际数据集和DNN模型的综合实验表明，它的性能明显优于其他方法，在一些困难的任务中，它消除了约71%至97%的高置信度（>0.9）错误，而实际学习技术所需的最小标记操作数据量仅为10%左右。
2020-09-13 cs.LG cs.SE stat.ML
Provable Data Scaling Law for Meta Learning via Complexity Minimization
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所人工智能研究中心）；SB Intuitions Corp.（SB Intuitions公司）；Kyoto University（京都大学）；Shiga University（滋贺大学）；Institute of Science Tokyo（东京科学研究所）
提出复杂度最小化框架，通过最小化跨源域的最坏情况下游模型复杂度，从理论上证明元学习中的预训练数据规模增大可提升少样本适应性能。
2026-06-01 cs.LG stat.ML
Alignment-Sensitive Minimax Rates for Spectral Algorithms with Learned Kernels
Department of Statistics and Data Science, National University of Singapore, Singapore（新加坡国立大学统计与数据科学系）；School of Statistics and Mathematics, Zhongnan University of Economics and Law, Wuhan, China（中南财经政法大学统计与数学学院）；Department of Statistics and Data Science, Tsinghua University, Beijing, China（清华大学统计与数据科学系）
本文研究了在核从数据中学习的设定下的谱算法，引入了有效的跨度维度（ESD）作为对齐敏感的复杂度度量，证明了在序列模型中ESD不超过K时，最小最大超额风险与σ²K成比例，并分析了过参数化梯度流可降低ESD，扩展到线性模型和RKHS回归，并通过实验支持理论。
2026-05-11 cs.LG math.ST stat.TH
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习，是深度学习文献中最大的问题之一。为了回答这个问题，我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险，并讨论了其相对于一类线性估计器的优越性，包括神经切线核方法，随机特征模型，其他核方法，$k$ -NN估计器等。我们考虑了师生回归模型，并最终表明，在极大极小最优速率的意义上，任何线性估计器都可以被深度学习超越，特别是对于高维设置。所获得的超额界限是所谓的快速学习率，其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的，并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解，即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化，但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization
University of Pennsylvania Wharton School（宾夕法尼亚大学沃顿商学院）；University of Minnesota（明尼苏达大学）
本文证明LASSO正则化可稳定重建两层ReLU神经网络并识别其依赖的输入子集，样本量随维度对数增长，并提出了基于神经网络的变量选择方法。
2023-05-07 cs.LG math.ST stat.TH
Private Linear Regression with Differential Privacy and PAC Privacy
Carmel High School（卡梅尔高中）；Department of Computer Science Purdue University（计算机科学系 Purdue 大学）
本文比较了差分隐私和PAC隐私在真实世界数据集上的线性回归性能，揭示了两者在隐私保护下的表现差异。
2025-12-30 cs.CR cs.LG
Relational Reasoning via Set Transformers: Provable Efficiency and Applications to MARL
National University of Singapore（新加坡国立大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
基于置换不变智能体框架的协作多智能体自主学习（MARL）在实际应用中取得了巨大的成功。不幸的是，这个MARL问题的理论理解是缺乏的，由于许多代理人的诅咒和有限的探索关系推理在现有的作品。在本文中，我们验证了Transformer实现了复杂的关系推理，我们提出并分析了无模型和基于模型的离线MARL算法与Transformer逼近。我们证明了无模型和基于模型的算法的次优差距是独立的和对数的代理的数量分别，这减轻了许多代理的诅咒。这些结果是一种新的泛化误差界的Transformer和一种新的分析的最大似然估计（MLE）的系统动态与Transformer的后果。我们的基于模型的算法是第一个证明有效的MARL算法，明确利用置换不变性的代理。我们改进的泛化界可能是独立的利益，并适用于其他回归问题有关的Transformer超越MARL。
2022-10-16 cs.LG cs.MA stat.ML
On Statistical Properties of Sharpness-Aware Minimization: Provable Guarantees
MIT（麻省理工学院）；MIT Sloan Schools of Management（麻省理工学院斯隆管理学院）
本文直接研究了SAM的统计性能，通过分析单隐藏层神经网络和核回归问题，证明在特定条件下SAM比梯度下降具有更小的预测误差，尤其适用于非凸问题，并从理论上解释了其良好泛化性的原因。
2023-05-19 cs.LG stat.ML
Estimating Continuous Treatment Effects with Two-Stage Kernel Ridge Regression
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Department of IEOR and Data Science Institute, Columbia University（哥伦比亚大学工业工程与数据科学研究所）
针对连续治疗的效果函数估计问题，提出两阶段核岭回归方法，通过第一阶段建模响应与治疗和协变量的关系，第二阶段构造伪结果校正分布偏移，无需估计条件治疗密度即可达到最优学习界，并实现数据驱动的模型选择。
2026-05-28 cs.LG stat.ME stat.ML
Provable Generalization of Overparameterized Meta-learning Trained with SGD
Tsinghua University（清华大学）；The Ohio State University（俄亥俄州立大学）
尽管深度元学习在经验上取得了巨大成功，但对过度参数化元学习的理论理解仍然有限。本文研究了一种广泛使用的元学习方法，模型不可知元学习（MAML），其目的是找到一个良好的初始化快速适应新的任务。在混合线性回归模型下，我们分析了在过参数化机制下用SGD训练的MAML的泛化特性。我们提供了MAML的超额风险的上限和下限，它捕捉了SGD动态如何影响这些泛化界限。有了这些尖锐的特征，我们进一步探讨了各种学习参数如何影响过参数化MAML的泛化能力，包括明确识别典型的数据和任务分布，可以实现减少泛化误差与过参数化，并表征自适应学习率对过度风险和提前停止时间的影响。我们的理论研究结果得到了实验的进一步验证。
2022-06-18 cs.LG math.ST stat.TH
Efficient Learning of Generalized Linear and Single Index Models with Isotonic Regression
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）；Harvard University（哈佛大学）
广义线性模型（GLM）和单指数模型（SIM）提供了线性回归的强大概括，其中假设目标变量是线性预测因子的一维函数（可能未知）。在一般情况下，这些问题需要非凸估计程序，并在实践中，经常使用迭代局部搜索算法。Kalai和Sastry（2009）最近提供了第一个可证明有效的学习SIM和GLM的方法，假设数据实际上是在GLM下生成的，并且在某些单调性和Lipschitz约束下。然而，为了获得可证明的性能，该方法每次迭代都需要一个新的样本。在本文中，我们提供了学习GLM和SIM，这是计算和统计效率的算法。我们还提供了一个实证研究，证明他们在实践中的可行性。
2011-04-11 cs.AI cs.LG stat.ML
PrIU: A Provenance-Based Approach for Incrementally Updating Regression Models
University of Pennsylvania（宾夕法尼亚大学）
机器学习算法的广泛应用给传统的数据库问题如增量视图更新带来了新的挑战。人们正在努力更好地理解和调试机器学习模型，以及识别和修复训练数据集中的错误。我们的重点是如何帮助这些活动时，他们必须重新训练的机器学习模型后，在清理或选择不同的子集的训练数据的可解释性删除有问题的训练样本。本文提出了一种有效的基于种源的方法，PrIU，其优化版本，PrIU-opt，增量更新模型参数，而不牺牲预测精度。我们证明了增量更新模型参数的正确性和收敛性，并通过实验验证。实验结果表明，与简单地从头开始重新训练模型相比，PrIU-opt可以实现高达两个数量级的加速，但获得高度相似的模型。
2020-02-26 cs.DB cs.LG stat.ML
Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits
University of Chicago（芝加哥大学）
考虑一下这个问题：给定从具有$f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$的总体中提取的数据对$(\mathbf{x}, \mathbf{y})$，指定一个神经网络模型，并随时间对权重运行梯度流，直到达到任何平稳性。$f_t$，即神经网络在时间$t$计算的函数，在近似和表示方面与$f_*$有什么关系？神经网络的自适应表示与经典非参数文献中预先指定的固定基表示相比，有哪些可证明的好处？我们回答了上述问题，通过动态再生核希尔伯特空间（RKHS）的方法索引的神经网络的训练过程。首先，我们证明了当达到任何局部平稳性时，梯度流学习自适应RKHS表示，并同时将全局最小二乘投影到自适应RKHS上。其次，我们证明了RKHS是数据自适应和特定于任务的，残差$f_*$位于一个子空间，这是潜在的比RKHS的正交补小得多。该结果形式化了神经网络的表示和逼近优点。最后，我们证明了梯度流计算的神经网络函数在正则化消失的极限下收敛于具有自适应核的核无岭回归。自适应核的观点为研究神经网络的逼近、表示、推广和优化等优点提供了新的视角。
2019-07-23 cs.LG math.ST stat.ML
A Theoretical Study of The Effects of Adversarial Attacks on Sparse Regression
Purdue University（普渡大学）
本文分析了$\ell_1$正则化线性回归的挑战性的情况下，只有不利损坏的数据进行训练。我们使用原始-对偶见证范式来提供可证明的性能保证，以支持估计的回归参数向量与实际参数相匹配。我们的理论分析显示了一个反直觉的结果，即对手可以通过破坏不相关的特征来影响样本的复杂性，即，对应于回归参数向量的零系数的那些，其因此不影响因变量。由于任何对抗性的鲁棒算法都有其局限性，我们的理论分析确定了学习算法和对手可以相互支配的制度。它有助于我们分析这些基本限制，并解决关键的科学问题，即哪些参数（如互不相干性，协方差矩阵的最大和最小特征值，以及对抗扰动的预算）在LASSO算法成功概率的高低中起作用。此外，导出的样本复杂度是对数相对于回归参数向量的大小，我们的理论主张是通过实证分析合成和现实世界的数据集验证。
2022-12-22 cs.CR cs.LG stat.ML
Differentially Private Gaussian Processes
University of Sheffield（谢菲尔德大学）
机器学习面临的一个主要挑战是在尊重个人隐私的同时增加数据的可用性。在这里，我们将差分隐私框架的可证明隐私保证与高斯过程（GP）的灵活性相结合。我们提出了一种使用GP提供差分私有（DP）回归的方法。然后，我们通过精心设计DP噪声协方差结构来改进这种方法，以有效地保护训练数据，同时最大限度地减少添加噪声的规模。我们发现，这种伪装方法实现了最大的准确性，同时仍然提供隐私保证，并提供了实用的DP回归多维输入。这些方法一起提供了一个入门工具包，用于结合差分隐私和GPS。
2019-01-17 cs.LG stat.ML
Provable and scalable quantum Gaussian processes for quantum learning
Theoretical Division, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室理论部）；Department of Computer Science（计算机科学系）；Institute of Applied Mathematics, University of British Columbia（不列颠哥伦比亚大学应用数学学院）；Stewart Blusson Quantum Matter Institute（斯图尔特·布卢森量子物质研究所）；Information Sciences, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室信息科学部）；Donostia International Physics Center（多诺西亚国际物理中心）；Department of Applied Physics, Gipuzkoa School of Engineering, University of the Basque Country (UPV/EHU)（巴斯克国家大学（UPV/EHU）吉普兹科亚工程学院应用物理系）；Biophysics, Doctoral School, Universidad Autónoma de Madrid（马德里自治大学生物物理系博士学院）；Department for Quantum Information（量子信息部）；Computation at Kepler (QUICK), Johannes Kepler University（开普勒大学量子信息与计算部（QUICK））；Quantum Science Center, Oak Ridge, TN 37931, USA（橡树岭量子科学中心）
本文提出量子高斯过程作为量子学习的贝叶斯框架，通过量子核定义先验，实现对量子数据的回归、分类和优化，并证明匹配门演化可扩展且可证明的量子高斯过程。
2026-04-30 cs.LG quant-ph stat.ML
Differentially Private Regression and Classification with Sparse Gaussian Processes
University of Sheffield（谢菲尔德大学）
机器学习的一个持续挑战是提供对数据执行计算的方法，同时确保数据保持私有。在本文中，我们建立在可证明的隐私保证的差分隐私已结合高斯过程，通过以前出版的\emph{cloaking method}。在本文中，我们解决了这种方法的几个缺点，从低数据密度区域的预测问题开始。我们的实验与诱导点的使用，以提供一个稀疏的近似，并表明，这些可以提供强大的差分隐私在离群区域和更高的维度。然后，我们看看分类，并修改拉普拉斯近似方法，以提供不同的私人预测。然后，我们将其与稀疏近似相结合，并展示了在高维中进行分类的能力。最后，我们探讨了超参数选择的问题，并开发了一种方法，他们的私人选择。本文和相关的库提供了一个强大的工具包，结合差分隐私和GPS在一个实用的方式。
2019-09-19 cs.CR cs.LG stat.ML
Differentially Private Two-Stage Gradient Descent for Instrumental Variable Regression
本文提出了一种具有差分隐私的双重阶段梯度下降算法，用于工具变量回归，解决了隐私保护与统计效率的平衡问题，并通过实验验证了其有效性。
2026-02-15 cs.AI cs.LG econ.EM
Dataset Distillation Meets Provable Subset Selection
DataHeroes；MIT（麻省理工学院）；The University of Haifa（海法大学）
本文针对数据集蒸馏的初始化与训练采样问题，提出可证明的重要实例子集选择方法，并将其融入现有蒸馏流程以提升性能。
2023-07-16 cs.AI cs.LG
Extensions of the regret-minimization algorithm for optimal design
Oden Institute of Computational Engineering and Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所）
本文提出了一种基于后悔最小化框架的样本选择方法，通过扩展该框架以处理岭回归设置，实现了在多类分类任务中更高效的样本选择与优化。
2026-02-25 cs.LG stat.ML
OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention
Shanghai Jiao Tong University（上海交通大学）；Northwestern University（西北大学）；Huazhong University of Science and Technology（华中科技大学）；Stanford University（斯坦福大学）
OSDN通过在线预条件化改进Delta规则，通过在线更新对角预条件器提升特征曲率处理，理论证明其收敛性和泛化能力，在大规模参数下提升上下文回忆性能。
2026-05-13 cs.CL cs.LG
MTLComb: multi-task learning combining regression and classification tasks for joint feature selection
Heidelberg University（海德堡大学）；Central Institute of Mental Health（中央心理健康研究所）；Hector Institute for Artificial Intelligence in Psychiatry（赫克托精神病学人工智能研究所）
针对混合任务类型的多任务学习因损失量级差异导致联合特征选择有偏差的问题，提出可证明最优的损失加权方案，构建了含完整流程的MTLComb算法包，经模拟和生物医学数据验证有效。
2024-05-16 cs.AI cs.LG q-bio.BM
Efficient Symmetric Norm Regression via Linear Sketching
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Columbia University（哥伦比亚大学）
我们提供了有效的算法过约束线性回归问题的大小$n \times d$时的损失函数是一个对称的范数（符号翻转和坐标置换下的范数不变）。一类重要的对称范数是Orlicz范数，其中对于函数$G$和向量$y \in \mathbb{R}^n$，相应的Orlicz范数$\|y\|_G$被定义为唯一值$α$，使得$\sum_{i=1}^n G(|y_i|/α) = 1$。当损失函数是一个Orlicz规范，我们的算法产生一个$(1 + \varepsilon)$ -近似解任意小常数$\varepsilon > 0$在输入稀疏时间，提高了以前最有名的算法，产生一个$d \cdot \mathrm{polylog} n$ -近似解。当损失函数是一个一般的对称范数，我们的算法产生一个$\sqrt{d} \cdot \mathrm{polylog} n \cdot \mathrm{mmc}(\ell)$近似的解决方案，在输入稀疏时间，其中$\mathrm{mmc}(\ell)$是一个数量相关的对称范数考虑。据我们所知，这是第一个输入稀疏时间算法与可证明的保证一般类对称范数回归问题。我们的研究结果揭示了解决线性回归的普遍素描问题，该技术可能是独立的兴趣，更广泛的数值线性代数问题。
2019-10-07 cs.DS cs.LG
Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression
School of EECS, Washington State University（电子工程与科学学院，华盛顿州立大学）
针对黑盒深度生成模型预测集的有效性与规模优化问题，提出Generative Prediction Sets共形推理算法，通过归约为共形回归实现可证明保证，在代码和数学应用题任务上性能优于现有方法。
2025-06-16 cs.AI cs.LG
Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection
Salesforce AI Research（赛富时人工智能研究院）；Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）
本文为Transformer的上下文学习建立了统计理论，证明其能实现多种基础机器学习算法，并进一步提出上下文算法选择机制，使单个Transformer能自适应选择算法或任务，在理论和实验上均验证了其接近最优的性能。
2023-07-06 cs.AI cs.CL cs.LG
Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Aalborg University（奥尔堡大学）；University of Twente（特温特大学）；Netherlands Defence Academy（荷兰国防学院）；Delft University of Technology（代尔夫特理工大学）
针对去中心化联邦学习是否更具隐私收益的争议，本文通过信息论分析证明分布式优化可使隐私损失不超过中心化FL，并以逻辑回归和深度神经网络案例验证复杂模型风险更低。
2024-11-30 cs.AI cs.IT cs.LG
Outlier-robust Estimation of a Sparse Linear Model Using Invexity
Purdue University（普渡大学）
本文针对含离群样本的稀疏回归问题，提出一种组合式鲁棒lasso方法，通过识别干净样本进行估计，并利用不变凸松弛提供理论保证，实验验证其优于标准lasso。
2023-06-22 cs.LG
Slowly Varying Regression under Sparsity
Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）；HEC Paris（巴黎高等商学院）；Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）；Technology and Operations Management Unit, Harvard Business School（哈佛商学院技术与运营管理系）；McKinsey & Company（麦肯锡公司）
本文提出稀疏缓变回归框架，将参数估计转化为可精确松弛为二元凸优化的混合整数问题，并开发高效算法与启发式方法，实验证明其在精度、预测和时间上优于现有方法，且可扩展至数千参数。
2023-11-11 cs.LG math.OC stat.CO
The ART of Transfer Learning: An Adaptive and Robust Pipeline
University of Iowa（爱荷华大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Kentucky（肯塔基大学）
本研究提出自适应鲁棒迁移学习（ART）流水线，建立其非渐近学习理论以保障自适应迁移并避免负迁移，还提出多候选算法下的ART集成聚合机，经多任务实验和真实死亡率数据分析验证了其优异性能。
2023-04-30 cs.LG stat.ML
Assumption-lean logistic regression with missing covariates
Georgia Institute of Technology（佐治亚理工学院）；University of Southern California（南加州大学）；University of Cambridge（剑桥大学）
针对协变量缺失的逻辑回归，提出基于新颖单调算子的随机逼近方法，在协变量分布未知的假设精简设置下实现参数速率信号恢复，并优于完整案例估计器。
2026-10-07 cs.IT cs.LG math.IT
Diffusion-based Decentralized Federated Multi-Task Representation Learning
Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）
本文提出了一种基于扩散的去中心化联邦多任务表示学习算法，用于解决多任务线性回归问题，通过交替投影梯度下降和最小化算法实现低秩特征矩阵的恢复，并提供了算法的理论保证和实验验证。
2025-12-29 cs.LG
