Nonconvex Statistical Optimization: Minimax-Optimal Sparse PCA in Polynomial Time
Princeton University（普林斯顿大学）
稀疏主成分分析（PCA）涉及非凸优化问题，难以获得全局解。为了解决这个问题，一种流行的方法是凸松弛。然而，这种方法可能会产生次优估计，由于松弛效应。为了最优估计稀疏主子空间，我们提出了一个两阶段的计算框架，称为“收紧后放松”：在“放松”阶段，我们近似求解稀疏PCA的凸松弛，并提前停止，以获得所需的初始估计;对于“收紧”阶段，我们提出了一种新的算法称为稀疏正交迭代追踪（SOAP），其通过直接求解潜在的非凸问题来迭代地细化初始估计器。这个两阶段框架的一个关键概念是吸引力盆地。它代表一个局部区域，在该区域内，“收紧”阶段具有所需的计算和统计保证。我们证明，从“放松”阶段获得的初始估计落入这样的区域，因此SOAP几何收敛到一个主子空间估计，这是在一定的模型类的最小最优。与大多数现有的稀疏PCA估计器不同，我们的方法适用于非尖峰协方差模型，并适应非高斯性以及相关数据设置。此外，通过分析这两个阶段的计算复杂度，我们说明了一个有趣的现象，即较大的样本量可以降低总的迭代复杂度。我们的框架激发了解决许多复杂的统计问题，其中涉及非凸优化与可证明的保证一般范式。
2014-08-22 cs.LG stat.ML
Obfuscation via Information Density Estimation
Harvard University（哈佛大学）
识别泄漏敏感属性信息的特征是信息混淆机制设计中的一个关键挑战。在本文中，我们提出了一个框架，通过信息密度估计来识别信息泄漏的功能。这里，其信息密度超过预定义阈值的特征被认为是信息泄漏特征。一旦这些功能被识别，我们顺序地通过一个有针对性的混淆机制与可证明的泄漏保证方面的$\mathsf{E}_γ$发散。该机制的核心依赖于数据驱动的估计修剪信息密度，我们提出了一种新的估计，命名为修剪信息密度估计（TIDE）。然后，我们使用TIDE实现我们的机制在三个真实世界的数据集。我们的方法可以用作数据驱动的管道，用于设计针对特定功能的混淆机制。
2019-10-17 cs.IT cs.LG math.IT
Provable Algorithms for Inference in Topic Models
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
最近，有相当大的进展设计算法与可证明的保证-通常使用线性代数方法-参数学习的潜变量模型。但设计可证明的推理算法已被证明更具挑战性。在这里，我们向主题模型中的可证明推理迈出了第一步。我们利用主题模型的属性，使我们能够为具有小方差的未知主题比例构建简单的线性估计，因此可以处理短文档。我们的估计量也对应于找到一个估计周围的后验是很好的集中。我们展示了较短的文档的下限，它可以是理论上不可能找到隐藏主题的信息。最后，我们给出的实证结果表明，我们的算法适用于现实的主题模型。它在合成数据上产生良好的解决方案，并且在时间上与吉布斯采样的{ \em单一}迭代相当。
2016-05-27 cs.LG stat.ML
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习，是深度学习文献中最大的问题之一。为了回答这个问题，我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险，并讨论了其相对于一类线性估计器的优越性，包括神经切线核方法，随机特征模型，其他核方法，$k$ -NN估计器等。我们考虑了师生回归模型，并最终表明，在极大极小最优速率的意义上，任何线性估计器都可以被深度学习超越，特别是对于高维设置。所获得的超额界限是所谓的快速学习率，其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的，并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解，即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化，但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
A Good-Turing estimator for feature allocation models
特征分配模型通过允许每个观察属于多个物种（现在称为特征）来推广物种采样模型。根据流行的伯努利产品模型的特征分配，给定$n$样本，我们研究的问题估计丢失的质量$M_{n}$，即预期的数量迄今为止看不见的功能，将观察到，如果一个额外的个人进行采样。这是由许多应用的问题，其中的采样过程是昂贵的，在时间和/或财政资源分配方面，和进一步的样本可以只由记录新的未观察到的功能的可能性激励。我们介绍了一个简单的，强大的和理论上健全的非参数估计$\hat{M}_{n}$的$M_{n}$。$\hat{M}_{n}$与物种抽样模型中缺失质量的流行的Good-Turing估计具有相同的分析形式，不同之处在于两种估计具有不同的范围。我们发现，$\hat{M}_{n}$承认一个自然的解释都作为一个刀切估计和非参数经验贝叶斯估计，我们给证明的保证性能的$\hat{M}_{n}$在极小极大率最优性方面，我们提供了一个有趣的连接之间的$\hat{M}_{n}$和良好的图灵估计物种抽样。最后，我们推导出$\hat{M}_{n}$的非渐近置信区间，这是很容易计算，不依赖于任何渐近近似。我们的方法是说明与合成数据和SNP数据从ENCODE测序基因组计划。
2020-09-21 math.ST stat.ME stat.TH
Nearly Optimal Sample Size in Hypothesis Testing for High-Dimensional Regression
Stanford University（斯坦福大学）
考虑高维线性回归模型的参数拟合问题。在参数$p$的数量与样本量$n$相当或超过$n$的情况下，成功的方法使用$\ell_1$惩罚最小二乘估计量，称为Lasso。不幸的是，与线性估计器不同（例如，普通最小二乘法），没有建立良好的方法来计算置信区间或p值的基础上的Lasso估计。最近，一系列工作\cite{javanmard2013hypothesis, confidenceJM, GBR-hypothesis}已经解决了这个问题，通过构建一个去偏版本的Lasso估计。本文研究随机设计模型的这种方法，假设设计的精度矩阵存在一个好的估计。我们的分析比现有技术有所改进，因为如果样本量$n$渐近优于$s_0 (\log p)^2$，则其建立了接近最佳的\emph{average}检验功效，其中$s_0$为稀疏水平（非零系数的数量）。早期的工作获得可证明的保证，只有更大的样本量，即它需要$n$渐近支配$(s_0 \log p)^2$。特别是，对于随机设计的稀疏精度矩阵，我们表明，其具有所需的属性的估计可以有效地计算。最后，我们评估这种方法的合成数据，并将其与以前的建议。
2013-11-01 cs.IT cs.LG math.IT
Testing Causality for High Dimensional Data
University of Washington（华盛顿大学）；AWS AI Labs（AWS人工智能实验室）
确定高维观测之间的因果关系是科学发现中最重要的任务之一。在本文中，我们重新讨论了\emph{linear trace method}，在~ \citep{janzing2009telling,zscheischler2011testing}中提出的一种技术，用于推断两个高维随机变量之间的因果方向。我们加强了现有的结果显着提供了一个改进的尾部分析，除了扩展结果的非线性跟踪泛函，在一定的分布假设下，更清晰的置信区间。我们得到我们的结果解释的轨迹估计的因果制度作为一个函数在随机正交矩阵，在这样的空间可以应用的浓度Lipschitz函数。我们还提出了一种新的脊正则化的变体估计\cite{zscheischler2011testing}，并给出可证明的界限有关的脊估计项，他们的地面真理同行。我们支持我们的理论结果与令人鼓舞的实验合成数据集，更突出的是，在高维低样本量制度。
2023-03-14 cs.LG stat.ME
Provable Convex Co-clustering of Tensors
聚类分析是复杂异构数据模式发现的基本工具。流行的聚类方法主要集中在向量或矩阵变量数据，不适用于一般阶张量，这在现代科学和商业应用中经常出现。此外，由于其非凸公式的性质，现有的张量聚类解决方案的统计保证和计算效率之间存在差距。在这项工作中，我们通过开发一个可证明的张量共聚类凸公式来弥合这一差距。我们的凸共聚类（CoCo）估计享有稳定性保证，其计算和存储成本是多项式的数据的大小。我们进一步建立了一个非渐近误差界的CoCo估计，这揭示了一个令人惊讶的“祝福的维度”的现象，不存在于向量或矩阵变量聚类分析。我们的理论研究结果得到了广泛的模拟研究的支持。最后，我们将CoCo估计应用于一家大型在线公司的广告点击张量数据的聚类分析。我们的聚类结果提供了有意义的商业见解，以提高广告效果。
2020-10-23 stat.AP stat.CO stat.ME
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
Provable benefits of annealing for estimating normalizing constants: Importance Sampling, Noise-Contrastive Estimation, and beyond
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；University of Helsinki（赫尔辛基大学）；Carnegie-Mellon University（卡内基梅隆大学）
该研究针对退火法估计归一化常数的设计选择缺乏效率理论的问题，通过渐近误差分析对比估计器与分布路径的性能，证明算术路径的最优性并提出高效逼近最优路径的两步估计器。
2023-10-09 cs.LG stat.ML
Markov Chain Variance Estimation: A Stochastic Approximation Approach
本文提出一种基于线性随机逼近的递归估计器，以O(1)计算复杂度估计马尔可夫链函数的渐近方差，具有最优收敛速率，并推广至协方差估计及平均奖励强化学习中的策略评估。
2024-09-22 math.PR math.ST stat.ML
Adapt or Forget: Provable Tradeoffs Between Adam and SGD in Nonstationary Optimization
Cornell University（康奈尔大学）
本文理论分析非平稳优化中Adam与SGD的权衡，揭示噪声-漂移权衡：噪声主导时Adam有利，漂移主导时SGD跟踪误差更小，并给出依赖超参数的显式界解释其稳定性。
2026-09-14 cs.LG stat.ML
Statistical inference in two-sample summary-data Mendelian randomization using robust adjusted profile score
孟德尔随机化（MR）是一种利用遗传变异在存在未测量混杂因素的情况下无偏估计因果效应的方法。MR被广泛应用于流行病学和人口科学的其他相关领域。在本文中，我们研究统计推断在日益流行的两个样本汇总数据MR设计。我们显示了一个线性模型所观察到的协会大约持有在各种各样的设置时，所有的遗传变异满足排除限制假设，或在遗传方面，当没有多效性。在这种情况下，我们得到了一个最大轮廓似然估计可证明的一致性和渐近正态性。然而，通过分析真实数据集，我们发现了MR系统和特异质多效性的强有力证据，这与遗传学中最近提出的复杂性状的全基因模型相呼应。我们通过随机效应模型来模拟系统性多效性，其中没有遗传变异完全满足排除限制条件。在这种情况下，我们提出了一个一致的和渐近正态的估计，通过调整的档案得分。然后，我们通过稳健化调整后的个人资料评分来解决特异质多效性。我们使用几个模拟和真实的数据集证明了所提出的方法的鲁棒性和效率。
2019-01-02 math.ST stat.AP stat.TH
Provable Bayesian Inference via Particle Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
贝叶斯方法在复杂数据建模中的灵活性和捕获参数不确定性的能力方面很有吸引力。然而，当贝叶斯规则不导致易处理的封闭形式时，大多数近似推理算法缺乏可扩展性或严格的保证。为了解决这一挑战，我们提出了一个简单但可证明的算法，\emph{Particle Mirror Descent}（PMD），迭代近似后验密度。PMD的灵感来自于随机函数镜像下降，其中在每次迭代时使用一小批数据点在密度空间中下降，以及粒子滤波，其中使用样本来近似函数。我们证明了第一种结果，与$m$粒子，PMD提供了一个后验密度估计，收敛在$KL$ -发散率$O(1/\sqrt{m})$的真实后验。我们展示了竞争力的经验性能PMD相比，在混合模型，逻辑回归，稀疏高斯过程和潜在的Dirichlet分配在大规模数据集的几个近似推理算法。
2016-05-05 cs.LG stat.CO stat.ML
Near-optimal estimation of the unseen under regularly varying tail populations
给定来自不同物种个体群体的$n$样本，如果收集到$λn$新样本，将观察到的迄今未见物种的$U$数量是多少？这是一个重要的问题，在许多科学的努力，它一直是最近的作品的主题，介绍非参数估计的$U$是极小极大接近最优和一致的所有方式到$λ\asymp\log n$。这些工作不依赖于任何假设的潜在未知分布$p$的人口，因此，虽然提供了一个理论，在其最大的一般性，最坏情况下的分布可能会严重妨碍估计$U$在具体的应用。在本文中，我们考虑的问题，加强估计$U$的非参数框架。受极值理论中罕见概率估计的启发，以及在许多自然和社会现象中普遍存在的幂律分布的激励，我们利用指数$α\in (0,1)$的半参数假设来研究$p$的尾部行为.在此假设下，我们引入了一个估计的$U$，这是简单的，线性的采样信息，计算效率高，可扩展到大规模的数据集。然后，均匀地在我们的定期变化的尾部分布的类，我们表明，所提出的估计有可证明的保证：i）它是极小极大接近最优的，到$\log n$因子的幂; ii）它是一致的所有的方式到$\logλ\asymp n^{α/2}/\sqrt{\log n}$，这个范围是最好的可能。这项工作提出了第一次研究的估计下，经常变化的尾部分布。我们的方法的数值说明合成数据和实际数据。
2022-03-16 math.ST stat.TH
Provable Sparse Tensor Decomposition
提出了一种新的稀疏张量分解方法，即张量截断功率（TTP）方法，它将变量选择纳入分解分量的估计中。稀疏性是通过嵌入在张量幂迭代中的有效截断步骤来实现的。我们的方法适用于一个广泛的家庭的高维潜变量模型，包括高维高斯混合和稀疏回归的混合。进一步进行了深入的理论研究。特别是，我们证明了最终的分解估计是保证实现局部统计率，并通过引入适当的初始化过程进一步加强它的全局统计率。在高维制度，所获得的统计率显着改善现有的非稀疏分解方法中所示。在大量的模拟结果和点击率预测和高维基因聚类的两个实际应用中，TTP的经验优势得到了证实。
2016-05-02 stat.ML
When Does Trial-Real-World Data Fusion Improve Precision? Model Auditing and Selection-Aware Inference for Adaptive-TMLE
School of Population and Public Health, University of British Columbia（不列颠哥伦比亚大学公共卫生与人口健康学院）；Centre for Advancing Health Outcomes, St. Paul’s Hospital（圣保罗医院促进健康结果中心）
以自适应靶向最大似然估计为例，开发三个工具。包括使估计器偏差模型可审计的成绩单、对比仅试验估计器的融合利弊图、对增益进行选择感知推断，用于评估现实世界数据与试验数据结合的效果。
2026-07-29 stat.ME
A Decorrelating and Debiasing Approach to Simultaneous Inference for High-Dimensional Confounded Models
针对存在潜在混淆变量的高维线性模型同时推断难题，提出去相关结合去偏的方法，构建检验统计量并给出错误发现控制保证，通过模拟和真实数据验证了方法有效性。
2023-08-23 stat.ME
Why Self-Training Helps and Hurts: Denoising vs. Signal Forgetting
Mcgill University（麦吉尔大学）；University of Toronto（多伦多大学）
研究揭示了自训练在过参数化线性回归中的去噪与信号遗忘的权衡，通过递归分析预测风险和有效噪声，推导出U型测试风险曲线及最优早停时间，提出迭代广义交叉验证标准以实现数据驱动的正则化选择。
2026-02-15 cs.LG math.ST stat.ML
Smoluchowski processes and nonparametric estimation of functionals of particle displacement distributions from count data
假设粒子在$\bR^d$中随机分布，并且它们彼此独立地进行相同的随机运动。Smoluchowski过程描述了观测区域中粒子数量随时间的波动。本文研究Smoluchowski过程的性质并考虑相关的统计问题。在本文的第一部分，我们重新审视概率性质的Smoluchowski过程中的一个统一的和原则的方式：明确的公式产生的泛函和时刻，平稳性和高斯近似的条件进行了讨论，并突出了其他随机模型的关系。第二部分讨论Smoluchowki过程的统计。我们考虑两种不同的模型的粒子位移过程：无偏匀速运动（当一个粒子沿直线随机匀速运动）和布朗运动位移。在无偏匀速运动的情况下，研究了平均速度和速度分布的估计问题;在布朗位移模型下，研究了扩散系数的估计问题。在所有这些设置中，我们开发的估计可证明的准确性保证。
2021-08-16 math.PR math.ST stat.TH
Optimal and Provable Calibration in High-Dimensional Binary Classification: Angular Calibration and Platt Scaling
Harvard University（哈佛大学）
针对高维高斯特征下的线性二分类器，提出基于估计权重与真实权重夹角的角度校准方法，证明其可校准且唯一Bregman最优，并揭示Platt缩放在高维下收敛于该最优解。
2026-07-15 cs.LG math.ST stat.ME
Optimized Labeling Resource Allocation for Prediction-Assisted Inference via OPAL
Stanford University（斯坦福大学）
提出OPAL方法，通过可学习的平滑策略分配标注资源，以最小化估计方差，实现预测辅助推断中的高效标注和统计推断。
2026-06-02 stat.ME stat.ML
Adapting to Online Label Shift with Provable Guarantees
Nanjing University（南京大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
当训练数据与即将到来的测试样本共享相同的分布时，标准的监督学习范例有效地工作。然而，在现实世界的应用程序中，这种静态假设往往是违反的，特别是当测试数据出现在一个在线的方式。在本文中，我们制定和调查的问题\emph{online label shift}（OLaS）：学习者训练的初始模型从标记的离线数据，然后将其部署到一个未标记的在线环境中，底层的标签分布随时间而变化，但标签条件密度不。非平稳性和缺乏监督的性质使得这一问题具有挑战性。为了解决这个困难，我们构造了一个新的无偏风险估计，利用未标记的数据，它表现出许多良性的性质，虽然与潜在的非凸性。在此基础上，我们提出了新的在线集成算法来处理环境的非平稳性。我们的方法享有最佳的\emph{dynamic regret}，表明性能是有竞争力的千里眼谁知道在事后的在线环境，然后选择最佳的决定，为每一轮。所得到的动态后悔边界尺度的强度和模式的标签分布偏移，因此表现出适应性的OLaS问题。大量的实验进行验证的有效性和支持我们的理论研究结果。
2023-01-15 cs.LG stat.ML
Estimating multi-index models with response-conditional least squares
多指标模型是一个简单而强大的高维回归模型，它可以避免维数灾难，假设$ \mathbb{E} [ Y | X ] = g(A^\top X) $为某些未知的指标空间$A$和链接函数$g$。本文介绍了一种指标空间的估计方法，并研究了在链函数回归中指标空间估计的传播误差。所提出的方法近似的指数空间的跨度线性回归斜率系数计算的水平集的数据。基于普通最小二乘，我们的方法是易于实现和计算效率。我们证明了一个紧密的浓度范围，显示$N^{-1/2}$收敛，但也忠实地描述了所选择的水平集分区的依赖，从而给出指示的超参数调整。通过与最先进的方法在合成和真实数据集上的广泛比较，证实了估计器的竞争力。作为第二个贡献，我们建立最小最大最优泛化边界的k-最近邻和分段多项式回归时，训练的样本投影到任何$N^{-1/2}$ -相合估计的索引空间，从而提供完整的和可证明的估计的多指标模型。
2020-06-03 math.ST stat.TH
Estimating the number of unseen species: A bird in the hand is worth $\log n $ in the bush
估计未知物种的数量是许多科学工作中的一个重要问题。其最流行的公式，由费舍尔介绍，使用$n$样本来预测$U$的数量，如果收集到$t\cdot n$新样本，将观察到迄今未见的物种。相当令人感兴趣的是新样本和现有样本的数量之间的最大比率$t$，对于该比率，可以准确地预测$U$。在开创性的工作中，Good和Toulmin构建了一个有趣的估计器，可以预测所有$t\le 1$的$U$，从而表明可以估计出两倍于观察到的种群的物种数量。随后，Efron和Thisted得到了一个改进的估计量，即使对于某些$t>1$，也可以凭经验预测$U$，但没有可证明的保证。我们推导出一类估计量，$\textit{provably}$预测$U$不仅为常数$t>1$，但所有的方式$t$成比例的$\log n$。这表明，对于比观测值大$\log n$倍的种群，可以估计出物种的数量，该因子随$n$的增加而任意增大。我们还表明，该范围是最佳可能范围，并且对于任何$t$，估计量的均方误差在常数范围内都是最佳的。我们的方法产生了第一个可证明的保证Efron-Thisted估计，此外，一个变体，实现了更强的理论和实验性能比现有的方法在各种合成和真实的数据集。我们得到的估计量是简单的线性估计量，可计算的时间与$n$成比例。性能保证对于所有分布都是一致的，并且适用于各种科学学科中常用的所有四种标准抽样模型：多项式，泊松，超几何和伯努…
2016-03-03 math.ST stat.ML stat.TH
Provable Diffusion Posterior Sampling for Bayesian Inversion
Southwestern University of Finance and Economics（西南财经大学）；RWTH Aachen University（亚琛工业大学）；Wuhan University（武汉大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文提出了一种基于扩散的可证明后验采样方法，通过数据学习分数以捕捉先验分布结构，并提供非渐近误差界以确保复杂多模态后验分布的收敛性。
2026-08-03 cs.LG cs.NA math.NA
New $\sqrt{n}$-consistent, numerically stable higher-order influence function estimators
高阶影响函数（HOIF）为在包括流行病学、经济学和社会科学在内的实质性领域中出现的一大类低维（平滑）统计泛函/参数（有时甚至是无限维函数）提供了一个统一的理论来构造速率最优估计。自Robins等人（2008年）引入HOIF以来，它们主要被视为理论基准，而不是统计实践的有用工具。旨在翻转剧本的作品很少，但最近的几篇论文Liu et al.（2017，2021 b）取得了一些部分进展。在本文中，我们采取了新的尝试，在实现这一目标，通过构建新的，数值稳定的HOIF估计（或sHOIF估计，简称为“s”代表“稳定”）与可证明的统计，数值和计算保证。这类新的sHOIF估计量（高达二阶）在Liu等人（2020 a）进行的合成实验中有所预示。
2023-02-16 econ.EM math.ST stat.ME
Combining Public and Private Data
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Google Research NYC（谷歌研究院纽约分部）
差分隐私被广泛采用，以提供可证明的隐私保证在数据分析。我们考虑的问题相结合的公共和私人数据（更一般地说，数据与异构的隐私需求）估计汇总统计。我们引入了一个混合估计的均值优化，以最小化方差。我们认为，我们的机制是更可取的技术，保护个人的隐私，通过子采样数据成比例的用户的隐私需求。同样，我们提出了一个混合中位数估计指数机制的基础上。我们将我们的机制与Jorgensen et al. [2015]中提出的方法进行了比较。我们的实验提供了经验证据，表明我们的机制往往优于基线方法。
2021-10-29 cs.CR cs.LG stat.ML
Autoregressive Hypergraph
本文提出首个具有理论保证的动态超图AR(1)模型，定义超边时间演化，提供闭式概率性质与最大似然推断，并扩展至HSBM社区检测和变点估计，通过模拟及真实数据验证其有效性。
2025-06-20 stat.ME
High Dimensional Multivariate Regression and Precision Matrix Estimation via Nonconvex Optimization
在稀疏性约束下，我们提出了一个联合多元回归和精度矩阵估计在高维制度的非凸估计。提出了一种基于硬阈值的梯度下降算法来求解非凸估计量，该算法在统计误差范围内线性收敛到真回归系数和精度矩阵。与现有的方法相比，沿着这条研究路线，这几乎没有理论保证，该算法不仅是计算上更有效的可证明的收敛保证，但也达到了最佳的有限样本统计率的对数因子。在合成数据集和真实数据集上进行的彻底实验支持了我们的理论。
2016-06-02 stat.ML
High-dimensional regression with noisy and missing data: Provable guarantees with nonconvexity
虽然预测问题的标准公式涉及充分观察和无噪声的数据，但在i.i.d.以这种方式，许多应用涉及噪声和/或丢失的数据，也可能涉及依赖性。我们研究这些问题的背景下，高维稀疏线性回归，并提出了新的估计的情况下，噪声，缺失和/或依赖数据。许多处理噪声或缺失数据的标准方法，例如使用EM算法的方法，导致本质上非凸的最优化问题，并且难以建立对实际算法的理论保证。虽然我们的方法也涉及优化非凸程序，我们都能够分析与任何全局最优值，更令人惊讶的是，证明一个简单的算法的基础上投影梯度下降将收敛在多项式时间的一个小的邻域的所有全局极小值。在统计方面，我们提供了非渐近的界限，具有高概率的情况下，嘈杂，缺失和/或依赖的数据。在计算方面，我们证明了在相同类型的条件下，所需的统计一致性，投影梯度下降算法是保证收敛到一个近全局最小的几何速度。我们说明这些理论预测与模拟，显示出密切的协议与预测的缩放。
2012-09-25 cs.IT math.IT math.ST
FeDXL: Provable Federated Learning for Deep X-Risk Optimization
Texas A&M University（德克萨斯农工大学）；Alibaba（阿里巴巴）；University of Rochester（罗切斯特大学）
针对分布式 X-risk 优化中目标不可分解与机器间依赖问题，论文提出主动-被动分解框架及两种可证明的 FeDXL 算法，并验证其在深度 AUROC 任务上的有效性。
2023-08-18 cs.DC cs.LG math.OC
High-dimensional additive modeling
本文针对高维广义可加模型提出了一种新的稀疏光滑惩罚。稀疏性和光滑性的结合对于数学理论以及有限样本数据的性能至关重要。我们提出了一个计算效率高的算法，可证明的数值收敛性，优化惩罚的可能性。此外，我们提供了预言的结果，产生的渐近最优性，我们的估计高维，但稀疏加性模型。最后，我们的稀疏平滑惩罚方法的自适应版本产生了很大的额外的性能增益。
2009-11-18 stat.ML
Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UT Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Web3 Foundation（Web3基金会）
我们研究高维稀疏估计任务中的一个强大的设置，其中一个恒定的分数的数据集是adversarially损坏。具体而言，我们专注于鲁棒稀疏均值估计和鲁棒稀疏PCA的基本问题。我们给出了这些问题的第一个实际可行的鲁棒估计。更详细地说，我们的算法是样本和计算效率，并实现接近最佳的鲁棒性保证。与以前的可证明算法依赖于椭球方法相比，我们的算法使用谱技术来迭代地从数据集中删除离群值。我们对合成数据的实验评估表明，我们的算法是可扩展的，并显着优于以前的方法，几乎匹配的最佳出错率没有腐败。
2019-11-19 cs.DS cs.LG stat.ML
A convex pseudo-likelihood framework for high dimensional partial correlation estimation with convergence guarantees
稀疏高维图形模型选择是现代统计学中一个非常有趣的话题。一种流行的方法是将l1-罚分应用于（1）参数似然，或者（2）正则化回归/伪似然，后者具有明显的优势，即它们不显式地假设高斯性。由于没有一个流行的方法提出解决伪似然为基础的目标函数具有可证明的收敛保证，这是不清楚，如果相应的估计存在或甚至是可计算的，或者如果他们实际上产生正确的偏相关图。本文提出了一种新的基于伪似然的图形化模型选择方法，旨在克服现有方法的一些缺点，但在同一时间保留各自的优点。特别是，我们引入了一个新的框架，导致凸制定的偏协方差回归图的问题，导致在一个目标函数组成的二次型。然后通过坐标方式优化目标。目标函数的特定函数形式便于进行严格的收敛性分析，从而保证收敛性;当维数大于样本量时，这是一个无法使用标准结果建立的重要属性，这在高维应用中经常发生。这些收敛保证确保估计量在非常一般的条件下是定义良好的，并且总是可计算的。此外，该方法产生的估计，具有良好的大样本特性，也尊重对称性。此外，模拟/真实数据，时序比较和数值收敛的应用程序被证明。我们还提出了一个新颖的统一框架，该框架将所有图形伪似然方法作为更一般公式的特殊情况，从而获得重要的见解。
2014-08-14 stat.CO stat.ME stat.ML
Efficient Distributed Learning over Decentralized Networks with Convoluted Support Vector Machine
University of Michigan（密歇根大学）；Renmin University of China（中国人民大学）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）
本文针对去中心化网络中的高维分类问题，提出基于卷积平滑铰链损失的广义ADMM算法，实现了线性收敛和接近最优的稀疏估计性能。
2025-03-10 cs.DC cs.LG stat.ML
Generalization error of min-norm interpolators in transfer learning
Department of Statistics, Harvard University（哈佛大学统计系）；Department of Statistics, Stanford University（斯坦福大学统计系）；Department of Statistics, University of Florida（佛罗里达大学统计系）
本文研究了迁移学习中池化最小l2范数插值器的泛化误差，分析了协变量偏移和模型偏移下的偏差和方差，揭示了在低信噪比时增加数据可能有害，高信噪比时转移学习的收益条件，并扩展了通用设计下的结果。
2026-06-27 cs.LG math.ST stat.ME
Efficient Mean Estimation with Pure Differential Privacy via a Sum-of-Squares Exponential Mechanism
我们给出了第一个多项式时间算法估计的平均值的$d$变量概率分布与有界协方差$\tilde{O}(d)$独立样本受纯差分隐私。以前的算法这个问题要么招致指数运行时间，需要$Ω(d^{1.5})$样本，或满足较弱的集中或近似差分隐私条件。特别是，所有以前的多项式时间算法需要$d^{1+Ω(1)}$样本，以保证小的隐私损失与“加密”的高概率，$1-2^{-d^{Ω(1)}}$，而我们的算法保留$\tilde{O}(d)$样本的复杂性，即使在这个严格的设置。我们的主要技术是一种新的方法，使用强大的平方和方法（SoS）设计差分隐私算法。算法的SoS证明是最近高维算法统计中许多作品的一个关键主题-显然需要指数运行时间但其分析可以通过低次平方和证明捕获的估计器可以自动变成具有相同可证明保证的多项式时间算法。我们证明了一个类似的证明私有算法的现象：实例的主力指数机制，显然需要指数时间，但可以分析与低程度的SoS证明可以自动变成多项式时间差分私有算法。我们证明了一个元定理捕捉这一现象，我们希望在私人算法设计广泛使用。我们的技术还在高维的差异私人和强大的统计数据之间建立了新的联系。特别是，通过我们的证明，私人算法的镜头，几个良好的研究从最近的作品在算法的鲁棒统计的SoS证明直接产生我们的差分私人均值估计算法的关键组成部分。
2022-06-02 cs.CR cs.DS cs.IT
