Optimal Recovery of Precision Matrix for Mahalanobis Distance from High Dimensional Noisy Observations in Manifold Learning
为各种流形学习算法建立理论基础，我们研究了高维噪声数据中的马哈拉诺比斯距离（MD）及其精度矩阵估计问题。通过依赖于最近的变换结果在协方差阵估计，我们证明了灵敏度的\MD和相关的精度矩阵测量噪声，确定准确的渐近信噪比在MD失败，否则量化其性能。此外，对于一个适当的损失函数，我们提出了一个渐近最优收缩，这是有益的MD的经典实现，无论是分析和模拟。结果被扩展到流形设置，其中曲率和高维噪声之间的非线性相互作用的照顾。将该方法应用于动力系统分析中的一个多尺度降阶问题。
2021-09-10 math.ST stat.ME stat.TH
A Non-Asymptotic Class of Dense Precision Matrix Estimators: Complexity, Signal and Double Descent
North Carolina State University（北卡罗来纳州立大学）；Columbia University（哥伦比亚大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种无模型、密集且高维一致的精确矩阵估计器，通过非渐近框架统一了密集、一致和无模型特性，并揭示了无正则化回归的双下降现象。
2026-09-29 econ.EM stat.ML
A greedy algorithm for sparse precision matrix approximation
精度矩阵估计是统计数据分析中的一个重要问题。本文介绍了一种用于压缩感知的快速稀疏精度矩阵估计算法GISS $^{ρ}$。GISS算法$^{ρ}$是基于$l_1$最小化原理，结合贪婪算法的计算优势而提出的。我们分析了所提出的GISS $^{ρ}$的渐近收敛速度的稀疏精度矩阵估计和稀疏恢复性能的停止标准。最后，我们数值比较GISS $^ρ$其他稀疏恢复算法，如ADMM和HTP在三个设置的精度矩阵估计。数值结果表明了该算法的优越性。
2019-07-01 math.ST stat.TH
Asymptotically exact data augmentation: models, properties and algorithms
Univ. of Toulouse IRIT/INP-ENSEEIHT（图卢兹大学IRIT/INP-ENSEEIHT）；Univ. of Lille, Centrale Lille, UMR CNRS 9189 - CRIStAL（里尔大学、里尔中央理工学院、法国国家科学研究中心UMR 9189 - CRIStAL研究所）
通过引入辅助变量的数据扩充已经成为一种普遍存在的技术，以提高收敛性能，简化实现或减少诸如马尔可夫链蒙特卡罗推理方法的计算时间。尽管如此，在保持初始目标概率分布的同时引入适当的辅助变量并提供计算上有效的推断不能以系统的方式进行。为了解决这些问题，本文研究了一个统一的框架，创造渐近精确数据增强（AXDA），其中包括完善的和最近的近似增强模型。从更广泛的角度来看，本文表明，AXDA模型可以受益于有趣的统计特性，并产生有效的推理算法。在非渐近设置中，所提出的近似的质量评估与几个理论结果。后者说明了标准的统计问题。补充材料，包括计算机代码，这篇论文可在网上。
2020-09-10 cs.LG stat.ME stat.ML
Universality of High-Dimensional Logistic Regression and a Novel CGMT under Dependence with Applications to Data Augmentation
Harvard University（哈佛大学）；University College London（伦敦大学学院）
研究解决高维模型渐近风险结果依赖数据独立假设的局限，将高斯普遍性和CGMT推广到相依设置，证明高维逻辑回归在多种相依情况下高斯普遍性仍成立，建立新框架，还确定了数据增强对渐近风险的影响。
2026-07-08 math.ST stat.ML stat.TH
An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
在具有大超参数搜索空间的高级深度学习中，超参数、神经架构或数据增强策略的评估成为关键的模型选择问题。在本文中，我们提出了一种有效的和强大的基于带宽的算法称为子采样（SS）的超参数搜索评估的情况下。该算法通过观测值的子样本来评估超参数的潜力，并在理论上证明了其在累积后悔准则下的最优性。我们进一步结合SS和贝叶斯优化，提出了一种新的超参数优化算法BOSS。实证研究验证了我们的SS理论论点，并证明了BOSS在许多应用程序上的卓越性能，包括神经架构搜索（NAS），数据增强（DA），对象检测（OD）和强化学习（RL）。
2020-12-16 cs.LG math.ST stat.ML
Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
Qube Research & Technologies（Qube研究与技术）；École Polytechnique（巴黎政治学院）
本文研究了数据增强在比例 regime 中对监督回归方法的正则化效应，通过仅依赖真实数据的总体量及增强方案的一阶和二阶统计量，精确表征了测试误差。结果适用于不规范特征映射和仅训练最后一层的网络架构。
2026-05-11 cs.LG math.ST stat.ML
Augmentation Methods on Monophonic Audio for Instrument Classification in Polyphonic Music
School of ECE, NTUA（希腊国家技术大学电气与计算机工程学院）
乐器分类是音乐信息检索中的一个研究热点。然而，其中大部分是处理单声道音乐，而对复调材料的努力主要集中在主要乐器的识别上。在本文中，我们提出了一种方法，从纯粹的单声道数据，包括执行数据增强混合不同的音频段的复调音乐中的乐器分类。探讨了各种各样的数据增强技术，侧重于不同的声音方面，如覆盖相同流派的音频片段，以及基于音高和节奏的同步。我们利用卷积神经网络进行分类任务，比较浅层和深层网络架构。我们进一步研究了上述分类器组合的使用，每个分类器都在单个增强数据集上训练。VGG类分类器的集合，分别在非增强，音高同步，节奏同步和体裁相似的摘录上训练，产生了最好的结果，在IRMAS测试集中的标签排名平均精度（LRAP）方面达到了略高于80%。
2020-03-03 cs.LG cs.SD eess.AS
A Hamiltonian Monte Carlo Model for Imputation and Augmentation of Healthcare Data
UCSF（加利福尼亚大学旧金山分校）
几乎所有临床研究都存在缺失值，因为未收集或无法获得变量或问题的数据。缺失值处理不当可能导致分析结果出现偏倚，并丧失统计功效。现有的模型通常不考虑隐私问题，或者不利用多个特征之间的固有相关性来估算缺失值。在医疗保健应用中，我们通常会遇到高维数据集，有时甚至是小样本数据集，这些数据集需要更有效的增强或插补技术。此外，传统上，估算和增加过程是单独进行的。然而，填补缺失值和增强数据可以显着提高泛化能力，避免机器学习模型中的偏差。在这项工作中提出了一种贝叶斯方法来填补缺失值，并在高维医疗数据中创建增强样本。我们提出了折叠汉密尔顿蒙特卡罗（F-HMC）与贝叶斯推理作为一个更实用的方法来处理的跨维关系，通过应用随机行走和汉密尔顿动力学，以适应后验分布，并产生大规模的样本。所提出的方法被应用到癌症症状评估数据集，并确认丰富的数据质量的精度，准确性，召回率，F1评分和倾向性度量。
2021-03-03 cs.LG stat.ML
Asymptotic Confidence Regions for High-dimensional Structured Sparsity
在高维线性回归模型的设置中，我们提出了两个框架，用于构造惩罚估计量的逐点和组置信集，其中包含关于非零系数的组织的先验知识。这是通过对van de Geer等人[18]以及van de Geer和Stucky [17]中的估计量进行解解析，然后对精度矩阵$Θ$使用适当的估计量来完成的。为了估计精度矩阵，必须引入相应的结构化矩阵范数惩罚。归一化后的结果是一个渐近枢轴。渐近行为进行了研究，并增加了模拟研究两个计划之间的差异。
2017-06-28 math.ST stat.ML stat.TH
Asymptotic Theory for Graphical SLOPE: Precision Estimation and Pattern Convergence
Lund University（隆德大学）；“Kore” University of Enna（恩纳“科雷”大学）；La Francaise Systematic Asset Management GmbH（法国系统资产管理有限责任公司）；University of Trento（特伦托大学）；University of Wroclaw（弗罗茨瓦夫大学）
本文研究图SLOPE在精度矩阵估计中的渐近理论，证明其在固定维度下根n缩放误差收敛于严格凸优化问题解，并展示SLOPE在结构化边模式下提升估计精度的能力，同时推导TSLOPE在重尾数据下的极限分布。
2026-04-14 math.ST stat.AP stat.ME
Maximum Likelihood Estimation for Entity Ranking under Iterative Synthetic Data Augmentation
Washington University in St. Louis（华盛顿大学圣路易斯分校）
本研究针对BTL模型下稀疏比较数据的实体排序问题，分析了迭代合成数据增强对最大似然估计的影响，推导了最优统计速率与渐近正态性，并刻画了避免模型崩溃的条件，通过实验验证了理论结果。
2026-09-29 math.ST stat.ME stat.ML
Asymptotic normality and optimalities in estimation of large Gaussian graphical models
高斯图模型是近年来研究变量间关系的一种流行范式，具有广泛的应用前景。本文考虑了一个基本问题：在一个大的高斯图模型中，什么时候可以估计低维参数的参数平方根率？在相对于样本量的稀疏性条件下，提出了一种新的回归方法来获得精度矩阵中每个元素的渐近有效估计。当精度矩阵不够稀疏，或者等价地，样本量不够大时，建立下界以表明不再可能在每个条目的估计中实现参数率。这个下界的结果，它提供了一个答案的微妙的样本量的问题，建立了一个新的构造的一个子集的稀疏精度矩阵的应用乐凸轮引理。此外，所提出的估计被证明有最佳的收敛速度时，参数率不能实现，在最小的样本要求。建议的估计被施加到测试的边缘的存在下，在高斯图形模型或恢复整个模型的支持，以获得自适应率最优估计的整个精度矩阵所测量的矩阵$\ell_q$运营商规范和在图形模型中的潜变量进行推断。所有这些都是在精度矩阵的稀疏性条件和其频谱范围的边条件下实现的。这显著地放松了对精度矩阵通常施加的均匀信号强度条件、对协方差阵的Hessian张量算子的不可表示性条件或对精度矩阵的$\ell_1$约束。数值结果证实了我们的理论研究结果。该算法的ROC曲线，渐近正态分布保持（ANT），支持恢复显着优于流行的GLasso算法。
2015-06-03 math.ST stat.ME stat.ML
Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Sun Yat-sen University（中山大学）
近年来，对比学习已成为大规模自监督学习的一种很有前途的方法。然而，对它如何工作的理论理解仍然不清楚。在本文中，我们提出了一个新的下游性能的保证，而不诉诸条件独立性假设，这是广泛采用的在以前的工作，但在实践中很难成立。我们的新理论取决于这样一种见解，即在积极的数据增强下，不同类内样本的支持将变得更加重叠，因此简单地对齐阳性样本（同一样本的增强视图）可以使对比学习将类内样本聚类在一起。基于这种增强重叠的观点，理论上，我们在较弱的假设下获得了下游性能的渐近闭合边界，并且根据经验，我们提出了一种无监督的模型选择度量ARC，该度量与下游精度很好地保持一致。我们的理论提出了对对比学习的另一种理解：对齐阳性样本的作用更像是一个替代任务，而不是最终目标，重叠的增强视图（即，混乱）为对比学习创建阶梯以逐渐学习类分离的表示。用于计算ARC的代码可在https://github.com/zhangq327/ARC上获得。
2022-05-27 cs.CV cs.LG stat.ML
Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression
Duke University（杜克大学）；Bocconi University（博科尼大学）
针对贝叶斯probit回归的数据增强Gibbs采样器，基于对数凹目标分布的Gibbs采样器最新结果，给出了混合时间的显式非渐近界，并分析了不同统计场景下的行为。
2026-06-12 stat.CO stat.ME stat.ML
Time Matters in Regularizing Deep Networks: Weight Decay and Data Augmentation Affect Early Learning Dynamics, Matter Little Near Convergence
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
正则化通常被理解为通过改变模型最终收敛到的局部极值来改善泛化。然而，深度神经网络（DNN）挑战了这一观点：我们表明，在初始过渡期之后删除正则化对泛化的影响很小，即使最终的损失情况与没有正则化的情况相同。在某些情况下，在中断正则化之后，泛化甚至有所改善。相反，如果仅在初始瞬态之后应用正则化，则它对最终解没有影响，其泛化差距就像正则化从未发生过一样糟糕。这表明，训练深度网络的重要性不仅仅在于是否或如何正则化，而是何时正则化。我们观察到的现象表现在不同的数据集（CIFAR-10，CIFAR-100），不同的架构（ResNet-18，All-CNN），不同的正则化方法（权重衰减，数据增强），不同的学习率调度（指数，分段常数）。他们共同认为，有一个“关键时期”来正则化深度网络，这对最终的表现是决定性的。因此，更多的分析应该集中在学习的瞬态而不是渐近行为上。
2019-05-30 cs.AI cs.LG stat.ML
Adaptive Noisy Data Augmentation for Regularized Estimation and Inference in Generalized Linear Models
University of Notre Dame（圣母大学）
提出了一种自适应噪声增强（PANDA）方法来正则化广义线性模型（GLM）的估计和推断。PANDA迭代优化目标函数，给出噪声增强数据，直到收敛，以获得正则化模型估计。增强噪声被设计成实现各种正则化效果，包括$l_0$、桥（包括套索和脊）、弹性网、自适应套索和SCAD，以及组套索和融合脊。我们研究了噪声增强损失函数的尾界，并建立了噪声增强损失函数及其极小值分别几乎必然收敛于期望惩罚损失函数及其极小值。我们推导出正则化参数的渐近分布，在此基础上，推论可以得到与变量选择同时进行。PANDA具有集成学习行为，有助于进一步降低泛化误差。在计算上，PANDA很容易编码，利用现有的软件来实现GLM，而无需采用复杂的优化技术。我们证明了优越或类似的性能PANDA对现有的方法相同类型的正则化在模拟和真实数据。我们表明，通过PANDA的推理实现名义或接近名义的覆盖率，是更有效的流行现有的后选择程序相比。
2022-04-18 cs.LG stat.ME stat.ML
Inference for High-Dimensional Sparse Spectral Precision Matrices
Cornell University（康奈尔大学）；University of Alabama（阿拉巴马大学）
针对平稳高维时间序列，提出基于相邻离散傅里叶变换全似然的稀疏谱精度矩阵推断框架，通过去偏复图形套索估计器实现频率特定条件依赖的检验，并控制正则化、截断和平滑偏差。
2026-08-14 stat.ME stat.ML
