Statistical guarantees for local graph clustering
University of California at Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）；ICSI（国际计算机科学研究所）
局部图聚类方法的目标是在非常大的图中找到小的簇。这些方法将一个图和一个种子节点作为输入，并在运行时返回一个良好的集群作为输出，这取决于输出集群的大小，但与输入图的大小无关。在本文中，我们采用了统计的角度对局部图聚类，我们分析了l1正则化PageRank方法的性能~（Fountoulakis et.（见上文）对于单个目标集群的恢复，给定集群内的种子节点。假设目标聚类是由随机模型生成的，我们给出了两个结果。首先，我们证明了l1正则化PageRank的最佳支持恢复了完整的目标集群，具有有界的误报。在第二，我们表明，如果种子节点是唯一连接到目标集群，然后l1正则化PageRank的最佳支持恢复正是目标集群。我们还表明经验，l1正则化PageRank有一个国家的最先进的性能在许多真实的图，证明了该方法的优越性。从计算的角度来看，我们证明了l1正则化PageRank的解决方案路径是单调的。这允许应用前向逐阶段算法，该算法在不依赖于整个图的大小的运行时间中近似解路径。最后，我们表明，l1正则化PageRank和近似个性化PageRank（APPR），另一个非常流行的方法，局部图聚类，是等价的，在这个意义上，我们可以下限和上限的输出与其他的输出之一。基于这种关系，我们建立APPR类似的结果，我们建立l1正则化PageRank。
2020-01-11 cs.LG math.OC math.ST
Stochastic Dual Coordinate Ascent Methods for Regularized Loss Minimization
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机梯度下降算法由于其强大的理论保证，已成为解决大规模有监督机器学习优化问题（如支持向量机）的热门方法。虽然密切相关的双坐标上升（DCA）方法已在各种软件包中实现，但迄今为止缺乏良好的收敛性分析。本文提出了一种新的分析随机双坐标上升（SDCA）显示，这类方法享有强大的理论保证，是可比的或更好的SGD。该分析证明了SDCA在实际应用中的有效性。
2013-01-30 cs.LG math.OC stat.ML
Regularized EM Algorithms: A Unified Framework and Statistical Guarantees
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
潜变量模型是机器学习应用中的基本建模工具，但它们提出了重大的计算和分析挑战。流行的EM算法及其变体是一种常用的算法工具，但我们对其性能的严格理解是非常不完整的。最近，Balakrishnan等人的工作。（2014）已经证明，对于一类重要的问题，EM表现出线性局部收敛。然而，在高维环境中，M阶可能无法很好地定义。我们通过使用正则化的统一处理来精确地解决这个设置。虽然现在已经很好地理解了高维问题的正则化，但迭代EM算法需要在识别正确结构的同时仔细平衡朝着解决方案的进展（例如，稀疏或低秩）。特别地，使用最先进的高维规定（例如，Wainwright（2014））不能保证提供这种平衡。我们的算法和分析以一种揭示优化和统计误差之间平衡的方式联系在一起。我们将我们的一般框架专门用于稀疏高斯混合模型，高维混合回归和缺失变量回归，为这些例子中的每一个获得统计保证。
2015-12-05 cs.LG stat.ML
New Computational and Statistical Aspects of Regularized Regression with Application to Rare Feature Selection and Aggregation
Technicolor AI Lab（特艺集团人工智能实验室）；Marshall School of Business, University of Southern California（南加州大学马歇尔商学院）；University of Washington（华盛顿大学）
关于目标模型属性的先验知识通常是离散或组合的描述。这项工作提供了一个统一的计算框架，定义规范，促进这种结构。更具体地说，我们开发了相关的工具，涉及这些规范的优化只考虑到所需模型的非凸集的正交投影预言。作为一个例子，我们研究了一个规范，我们称之为双稀疏规范，促进向量与几个非零的项目，只有几个不同的值。我们进一步讨论了如何在这种情况下，K-均值算法可以作为底层的投影预言机，以及它如何可以有效地表示为一个二次约束的二次规划。我们研究这个规范的动机是在存在罕见特征的情况下的正则化回归，这对高维统计和一般机器学习中的各种方法提出了挑战。建议的估计过程的目的是执行自动特征选择和聚合，我们开发的统计界限。边界是通用的，并提供了一个基于范数的正则化的统计框架。边界依赖于新的几何量，我们试图详细说明。
2019-04-10 cs.LG math.OC math.ST
Statistical analysis of Inverse Entropy-regularized Reinforcement Learning
Duisburg-Essen University, Germany（杜伊斯堡-埃森大学）；HSE University, Russian Federation（俄罗斯高等经济大学）
本文提出逆熵正则化强化学习的统计框架，通过熵正则化与最小二乘重建解决奖励函数不唯一问题，实现策略估计的非渐近最优收敛率。
2026-09-11 cs.LG math.ST stat.ML
Regularized Spectral Clustering under the Degree-Corrected Stochastic Blockmodel
UW-Madison（威斯康星大学麦迪逊分校）
谱聚类是一种快速而流行的网络聚类算法。最近，Chaudhuri等人（2012）和Amini等人（2013）在2014年发表了关于生物多样性的论文。（2012）提出了算法的灵感变化，人为地增加节点度以提高统计性能。目前的文件扩展了以前的统计估计结果，更规范的谱聚类算法的方式，删除任何假设的最小程度，并提供指导的调谐参数的选择。此外，我们的研究结果表明，“星形”的特征向量-经验网络的一个共同特征-可以解释度校正随机块模型和扩展种植分区模型，两个统计模型，允许高度异构度。在整个过程中，本文的特点和理由的谱聚类算法的变化，这些模型。
2013-09-16 cs.LG math.ST stat.ML
Kernel-based guarantees for nonlinear parametric models in Bayesian optimization
The Commonwealth Scientific and Industrial Research Organisation（共同科学与工业研究组织）
本文提出一种基于核的方法，用于分析在自适应数据收集下训练的正则化非线性参数模型，提供收敛保证。
2026-05-13 cs.LG stat.ML
Online KL-Regularized Reinforcement Learning with Function Approximation under Misspecification
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
研究在模型误设下，基于一般函数近似的KL正则化上下文赌博机和情节强化学习，提出KL误设公式并分析基于回归的Gibbs策略更新算法，给出包含显式误设项的高概率KL遗憾界。
2026-07-14 cs.LG
Ising Model Selection Using $\ell_{1}$-Regularized Linear Regression: A Statistical Mechanics Analysis
The University of Tokyo（东京大学）；Institute for Physics of Intelligence（智能物理研究所）；Kyoto University（京都大学）
我们从理论上分析了典型的学习性能的$\ell_{1}$ -正则化线性回归（$\ell_1$ -LinR）伊辛模型选择使用的副本方法从统计力学。对于顺磁相的典型随机正则图，得到了$\ell_1$ -LinR的典型样本复杂度的精确估计.值得注意的是，尽管模型错误指定，$\ell_1$ -LinR是与$\ell_{1}$ -正则化逻辑回归（$\ell_1$ -LogR）相同的样本复杂性顺序一致的模型选择，即，$M=\mathcal{O}\left(\log N\right)$，其中$N$是伊辛模型的变量数。此外，我们提供了一个有效的方法来准确地预测非渐近行为的$\ell_1$ -LinR中度$M, N$，如精度和召回。模拟结果表明，理论预测和实验结果之间有相当好的一致性，即使是有许多循环的图形，这支持了我们的研究结果。虽然本文主要集中在$\ell_1$ -LinR，我们的方法是很容易适用于精确地表征典型的学习性能的广泛的一类$\ell_{1}$ -正则化$M$ -估计，包括$\ell_1$ -LogR和交互筛选。
2021-11-02 cond-mat.dis-nn cs.AI cs.LG
When Greedy Sampling Explores: KL-Regularized Contextual Bandits without Eluder-Dimension Dependence
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Oregon State University（俄勒冈州立大学）
本文研究 KL 正则化上下文赌博机，证明贪心采样在奖励与偏好反馈下均可实现无 eluder 维度依赖的对数遗憾，并揭示其与上置信界探索间的权衡。
2026-09-22 cs.LG
Optimistic Planning by Regularized Dynamic Programming
Universitat Pompeu Fabra（庞培法布拉大学）
本研究提出一种带正则化的近似值迭代方法用于无限时域折扣MDP的乐观规划，无需传统压缩性与单调性假设，适用于线性近似场景，可实现高效的近似最优策略学习与近最优统计保证。
2023-06-14 cs.LG stat.ML
On model selection consistency of regularized M-estimators
Stanford University（斯坦福大学）
正则化M-估计量在科学和工程的各个领域中被用来拟合具有某些低维结构的高维模型。通常，低维结构通过在某些低维模型子空间中存在（未知）参数来编码。在这样的设置中，期望模型参数的估计是\emph{model selection consistent}：估计也落在模型子空间中。我们开发了一个通用的框架，建立一致性和模型选择一致性的正则化M-估计，并显示它如何适用于统计学习中的一些特殊情况下的利益。我们的分析确定了正则化M-估计的两个关键属性，称为几何可分解性和不可表示性，确保估计是一致的和模型选择一致的。
2014-10-11 cs.LG math.OC math.ST
UQ-ARMED: Uncertainty quantification of adversarially-regularized mixed effects deep learning for clustered non-iid data
这项工作证明了为模型拟合、固定效应协方差系数和预测置信度生成易于解释的统计指标的能力。重要的是，这项工作比较了4个合适的和常用的认知UQ方法，BNN，SWAG，MC辍学，和合奏的方法，在他们的能力来计算这些统计指标的ARMED MEDL模型。在我们对AD预后的实验中，不仅UQ方法提供了这些益处，而且几种UQ方法保持了原始ARMED方法的高性能，有些甚至提供了适度的（但不具有统计学显著性）性能改善。集成模型，特别是具有90%子采样的集成方法，在我们测试的所有指标中表现良好，具有（1）与非UQ ARMED模型相当的高性能，（2）适当地对混淆探针进行去权重，并为其分配统计学上不显著的p值，（3）获得相对较高的输出预测置信度校准。结果表明，在保持ARMED方法的基本性能的同时，集成方法（尤其是90%子采样的集成方法）在预测和不确定性估计方面提供了最好的综合性能，并实现了我们的目标：提供模型拟合的统计显著性、统计显著性协变量系数和预测置信度
2022-11-29 cs.AI cs.LG stat.ME
A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学及应用研究所）；Chinese Academy of Sciences（中国科学院）
针对非凸优化中正则化牛顿方法全局与局部收敛权衡的开放问题，提出利用新旧梯度构造正则化器并结合共轭梯度法求解，实现了最优全局复杂性与二次局部收敛。
2025-10-31 cs.LG math.OC
Quantization through Piecewise-Affine Regularization: Optimization and Statistical Guarantees
University of Pennsylvania（宾夕法尼亚大学）；Meta FAIR
本文研究分段仿射正则化（PAR）在监督学习中的优化与统计理论基础，证明过参数化下临界点具有量化特性，推导多种PAR的闭式近端映射及求解算法，并给出线性回归的统计保证。
2025-08-14 cs.AI cs.LG math.OC
Computational Guarantees for Doubly Entropic Wasserstein Barycenters via Damped Sinkhorn Iterations
EPFL（洛桑联邦理工学院）
本文提出一种基于阻尼Sinkhorn迭代的算法，用于计算双重正则化Wasserstein重心，保证任意参数下收敛，并首次为非精确变体提供离散点云间逼近的非渐近收敛保证。
2023-07-25 cs.LG math.OC stat.ML
Nonparametric Online Learning Using Lipschitz Regularized Deep Neural Networks
Technion - Israel Institute of Technology（以色列理工学院）
深度神经网络被认为是许多离线机器学习任务中最先进的模型。然而，他们在在线学习任务中的表现和概括能力却鲜为人知。因此，我们专注于在线学习，并解决具有挑战性的问题，其中底层过程是平稳和遍历的，从而消除了独立同分布。假设和允许观察任意地相互依赖。我们证明了Lipschitz正则化深度神经网络的泛化能力，并表明通过使用这些网络，可以保证收敛到最佳预测策略。
2019-05-26 cs.LG stat.ML
Regularized Modal Regression on Markov-dependent Observations: A Theoretical Assessment
Xi’an Jiaotong University（西安交通大学）；Huazhong Agriculture University（华中农业大学）
模态回归是一种广泛使用的回归协议，由于其对离群值和重尾噪声的鲁棒性，在统计和机器学习社区中得到了广泛的研究。理解模态回归的理论行为是学习理论的基础。尽管在表征其统计特性方面取得了重大进展，但大多数结果都是基于样本独立且相同分布（i.i.d.）的假设，这对于现实世界的应用来说限制太多。本文研究了正则化模态回归（RMR）在一个重要的依赖结构-马尔可夫依赖下的统计性质。具体地说，我们在适当的条件下建立了RMR估计的上界，并给出了一个明确的学习率。我们的研究结果表明，马尔可夫依赖的方式，将通过一个乘法因子依赖于潜在的马尔可夫链的谱间隙的折扣的样本量的推广误差的影响。这一结果揭示了一个新的光表征的理论基础稳健回归。
2022-03-13 cs.LG stat.ML
Regularized impurity reduction: Accurate decision trees with complexity guarantees
KTH Royal Institute of Technology（瑞典皇家理工学院）
决策树是一种流行的分类模型，它提供了高精度和直观的解释。然而，随着树的大小的增长，模型的可解释性恶化。传统的树归纳算法，如C4.5和CART，依赖于杂质减少函数，以提高每个分裂的区分能力。因此，尽管这些传统方法在实践中是准确的，但没有理论保证它们会产生小树。在本文中，我们证明了使用一般家庭的杂质功能，包括熵和基尼指数的流行功能，在场景中，小树是可取的，通过显示一个简单的增强可以装备他们的复杂性保证。我们考虑一个一般的设置，其中要分类的对象是从一个任意的概率分布，分类可以是二进制或多类，和分裂测试与非均匀的成本。作为树的复杂性的一种度量，我们采用期望成本来分类从输入分布中提取的对象，在均匀成本的情况下，这是预期的测试次数。我们提出了一个树归纳算法，给出了一个对数近似保证树的复杂性。这个近似因子在温和的假设下紧到常数因子。该算法递归地选择一个测试，最大化贪婪的标准定义为三个组件的加权和。前两个组件鼓励选择的测试，提高平衡和成本效益的树，分别，而第三个杂质减少组件鼓励选择更多的歧视性测试。正如我们的经验评估中所示，与原始算法相比，增强的算法在预测精度和树复杂度之间取得了很好的平衡。
2022-08-23 cs.DS cs.LG
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Regularized Loss Minimizers with Local Data Perturbation: Consistency and Data Irrecoverability
Purdue University（普渡大学）
我们引入了一个新的概念，数据不可恢复性，并表明，充分研究的数据隐私的概念是足够的，但不是必要的数据不可恢复性。我们表明，有几个正则化损失最小化问题，可以使用扰动数据与理论保证的推广，即，损失一致性我们的研究结果定量连接的学习问题的收敛速度的不可能性，为任何对手恢复原始数据从扰动观测。此外，我们展示了几个例子，其中扰动数据的收敛速率仅在与扰动量相关的常数因子内增加原始数据的收敛速率，即，噪声
2020-10-27 cs.LG stat.ML
Fast Regularized Policy Mirror Descent with One-Step TD Updates
Fudan University（复旦大学）
本研究分析结合单步TD更新的策略镜像下降算法，证明其在有限折扣MDP中全局线性收敛，并在随机设置下给出无需轨迹重置的样本复杂度保证。
2026-10-01 cs.LG math.OC
Time-series attribution maps with regularized contrastive learning
EPFL（洛桑联邦理工学院）
针对基于梯度的时间序列归因方法缺乏可识别性保证的问题，提出含正则化对比学习和反向神经元梯度的xCBRA方法，理论证明其雅可比矩阵识别特性，实验在合成数据集上实现真实归因图的稳健近似，且优于现有多种方法，为时间序列数据理解开辟新途径。
2025-02-17 cs.AI cs.LG q-bio.NC
Statistical Estimation of High-Dimensional Vector Autoregressive Models
University of Mannheim（曼海姆大学）；University of Cyprus（塞浦路斯大学）
高维向量自回归（VAR）模型是分析多元时间序列的重要工具。本文重点研究高维时间序列和不同的正则化估计程序提出的拟合稀疏VAR模型，这样的时间序列。注意施加在VAR参数的不同的稀疏性假设，以及这些稀疏性假设是如何与特定的一致性属性的估计建立。高维VAR模型的稀疏性计划，提出了被认为是更合适的时间序列设置考虑。此外，它表明，在这种稀疏设置下，threholding扩展的一致性性质的正则化估计范围很广的矩阵规范。除此之外，这使得VAR参数估计器能够应用于不同的推理问题，例如预测或估计底层VAR过程的二阶特征。广泛的模拟比较有限样本的行为，提出了不同的正则化估计使用各种性能标准。
2020-06-09 cs.LG stat.ML
Hyperspectral Image Clustering with Spatially-Regularized Ultrametrics
Tufts University（塔夫茨大学）
提出了一种基于超度量路径距离的空间正则化谱聚类的高光谱图像无监督聚类方法。所提出的方法有效地结合了数据密度和几何形状，以区分数据中的材料类别，而无需训练标签。所提出的方法是有效的，与准线性缩放的数据点的数量，并享有强大的理论性能保证。对合成和真实HSI数据的大量实验表明，与基准和最先进的方法相比，它具有强大的性能。特别是，所提出的方法不仅实现了出色的标记精度，而且还有效地估计聚类的数量。
2020-04-10 cs.CV cs.LG stat.AP
A Novel Regularized Principal Graph Learning Framework on Explicit Graph Representation
The State University of New York at Buffalo（纽约州立大学布法罗分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Technology, Sydney（悉尼科技大学）
许多科学数据集都是高维的，分析通常需要通过保留数据的最重要结构来进行可视化操作。主曲线是用于此目的的广泛使用的方法。然而，许多现有的方法仅适用于具有非自组织结构的数据，这对于实际应用来说是相当限制的。有一些方法可以克服上述问题，但它们要么需要复杂的人为制定的规则，缺乏收敛性保证和适应不同任务的灵活性，或不能获得显式的数据结构。为了解决这些问题，我们开发了一个新的正则化主图学习框架，该框架基于反向图嵌入捕获底层图结构的局部信息。作为展示，模型，可以学习生成树或加权无向$\ell_1$图提出了一种新的学习算法，学习一组主要的点和图结构的数据，同时。新算法简单，收敛性有保证。然后，我们扩展所提出的框架来处理大规模的数据。在各种合成数据集和六个真实世界数据集上的实验结果表明，该方法与基线相比，可以正确地揭示底层结构。
2016-01-17 cs.AI cs.LG stat.ML
Efficient Learning for Entropy-Regularized Markov Decision Processes via Multilevel Monte Carlo
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics, Imperial College London（伦敦帝国学院数学系）
针对大规模或连续状态动作空间的熵正则化MDPs，提出结合不动点迭代与多层蒙特卡洛的算法族，通过误差分析证明无偏随机化多层近似可实现与状态动作空间规模无关的多项式样本复杂度，并用实验验证了理论保证。
2025-06-04 cs.LG math.OC math.PR
Coupled regularized sample covariance matrix estimator for multiple classes
Aalto University（阿尔托大学）
在有限的训练数据下估计多类数据的协方差阵是一个困难的问题。已知当变量的数目与可用的样本数目相比较大时，样本协方差阵（SCM）表现不佳。为了减小SCM的均方误差（MSE），经常使用正则化（收缩）SCM估计器。在这项工作中，我们考虑正则化SCM（RSCM）估计的多类问题，耦合在一起的两个不同的目标矩阵正则化：池（平均）SCM的类和缩放的单位矩阵。当总体协方差相似时，对合并SCM的正则化是有益的，而对单位矩阵的正则化保证了估计量是正定的。我们推导出的MSE最优调谐参数的估计，以及提出了一种方法，他们的估计假设下，类人口遵循（未指定）椭圆分布有限的四阶矩。建议耦合RSCMs的MSE性能进行了评估与模拟和正则化判别分析（RDA）的分类设置上的真实数据。基于三个不同的真实数据集的结果表明，交叉验证的性能相当，但在计算时间上有显着的加速。
2021-11-09 cs.LG stat.ME stat.ML
Entropy Regularized Optimal Transport Independence Criterion
University of Washington（华盛顿大学）
我们引入了一个独立性准则的基础上熵正则化的最佳运输。我们的准则可以用来检验两个样本之间的独立性。我们为检验统计量建立了非渐进界限，并研究了其在原假设和备择假设下的统计行为。理论结果涉及U-过程理论和最优输运理论的工具。我们还为大规模问题提供随机特征类型近似，以及深度学习应用程序的可微程序实现。我们目前的独立性测试的现有基准的实验结果，说明所提出的标准，以捕捉线性和非线性的依赖关系，在合成数据和真实数据的兴趣。
2022-04-20 cs.LG stat.ML
Scalable Distributional Robustness in a Class of Non Convex Optimization with Guarantees
Singapore Management University（新加坡管理大学）
分布鲁棒优化（DRO）在学习和基于样本的优化问题中表现出很好的鲁棒性。我们致力于为一类分数和非凸优化提供DRO解决方案，用于设施位置和安全游戏等突出领域的决策。与以前的工作相比，我们发现它更容易优化DRO的等价方差正则化形式，而不是极小极大形式。我们将方差正则化形式转换为混合整数二阶锥规划（MISOCP），该规划在保证接近全局最优性的同时，不足以解决现实世界数据集的问题。我们进一步提出了两种基于聚类和分层采样的抽象方法，以提高可扩展性，然后我们将其用于现实世界的数据集。重要的是，我们为我们的方法提供了接近全局最优性的保证，并通过实验表明，我们的解决方案质量优于最先进的基于梯度的方法所实现的局部最优解。我们通过实验比较了我们不同的方法和基线，并揭示了DRO解决方案的细微差别。
2022-05-31 cs.LG math.OC
Online Regularized Statistical Learning in Reproducing Kernel Hilbert Space With Non-Stationary Data
No.2 High School of East China Normal University（东华师范大学第二中学）；School of Mathematical Sciences, East China Normal University（东华师范大学数学学院）；Key Laboratory of Management, Decision and Information Systems, Institute of Systems Science, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院管理决策与信息系统重点实验室）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学学院）
该研究针对非平稳在线数据流的RKHS递归正则化学习问题，提出随机Tikhonov正则化路径与控制收敛方法，证明了算法在特定条件下的均方及几乎必然一致性。
2026-09-29 cs.LG cs.SY eess.SY
Sparse Optimization for Transfer Learning: A L0-Regularized Framework for Multi-Source Domain Adaptation
College of Mathematics and Statistics, Chongqing University（重庆大学数学与统计学院）
本文提出基于 L0 正则化的稀疏优化迁移学习框架 SOTL，通过精确稀疏压缩参数空间并聚焦目标参数，在异构多源域自适应中显著提升估计精度与计算效率。
2025-04-07 cs.LG stat.ML
Error Analysis on Graph Laplacian Regularized Estimator
University College London（伦敦大学学院）
我们提供了一个理论分析的表示学习问题，旨在学习的潜变量（设计矩阵）$Θ$的观察$Y$与知识的系数矩阵$X$。在潜变量$Θ$相对于（已知）拓扑结构$\mathcal{G}$是平滑的假设下学习设计矩阵。为了学习这样的潜变量，我们研究了图拉普拉斯正则化估计，这是惩罚项与拉普拉斯二次型成比例的惩罚最小二乘估计。这种类型的估计最近受到了相当大的关注，由于它的能力，将潜在的拓扑图结构的变量的学习过程。虽然估计问题可以有效地解决了国家的最先进的优化技术，其统计一致性的性质已在很大程度上被忽视。在这项工作中，我们开发了一个非渐近界的估计误差下的经典统计设置，其中样本容量大于环境维度的潜变量。该界从理论上说明了数据与图结构以及图谱之间的对齐对估计精度的影响。它还提供了理论证据的优势，在收敛速度方面，图拉普拉斯正则化估计超过经典的（忽略图结构）的情况下，平滑先验。最后，我们提供了实证结果的估计误差，以证实理论分析。
2019-02-11 cs.LG stat.ML
Regularized Adaptive Momentum Dual Averaging with an Efficient Inexact Subproblem Solver for Training Structured Neural Network
National Taiwan University（台湾大学）；Institute of Statistical Mathematics（统计数理研究所）
本文提出正则化自适应动量对偶平均算法 RAMDA，通过设计非精确子问题求解器和利用流形识别理论，在保证收敛的同时获得局部最优模型结构，并在大规模视觉、语言和语音任务中优于现有方法。
2024-12-26 cs.LG math.OC
Sign-Constrained Regularized Loss Minimization
Gunma University（群马大学）；Tohoku University（东北大学）
在实际分析中，关于分析目标的领域知识经常被积累，尽管典型地，这些知识在统计分析阶段被丢弃，并且统计工具被用作黑盒。在本文中，我们引入了符号约束，这是一个方便和简单的表示非专家在一般的学习问题。我们已经开发了两个新的符号约束正则化损失最小化的优化算法，称为符号约束Pegasos（SC-Pega）和符号约束SDCA（SC-SDCA），通过简单地插入到原来的Pegasos和SDCA，分别符号校正步骤。我们提出的理论分析，保证插入的符号校正步骤不会降低这两种算法的收敛速度。两个应用程序中，符号约束学习是有效的。一种是利用解释变量与目标变量之间的相关性的先验信息。二是将符号约束引入到支持向量机的成对方法中。实验结果表明，在这两个应用程序中引入符号约束的泛化性能显着改善。
2017-10-12 cs.AI cs.LG
Statistical Guarantees for Fairness Aware Plug-In Algorithms
American Express（美国运通）
在（Menon & Williamson，2018）中提出了一种估计贝叶斯最优分类器的插件算法。然而，他们的方法的统计效力尚未确定。我们证明了插件算法是统计一致的。我们还得到有限样本保证学习贝叶斯最优分类器通过插件算法。最后，我们提出了一个协议，修改插件的方法，以便同时保证公平性和差分隐私方面的二进制特征被认为是敏感的。
2021-07-27 cs.LG stat.ML
Regularized Cycle Consistent Generative Adversarial Network for Anomaly Detection
Stanford University（斯坦福大学）；Ford Greenfield Labs（福特格林菲尔德实验室）
在本文中，我们研究异常检测算法。先前的异常检测方法集中于对训练期间提供的非异常数据的分布进行建模。然而，这并不一定确保异常数据的正确检测。我们提出了一种新的正则循环一致性生成对抗网络（RCGAN），其中深度神经网络进行对抗训练，以更好地识别异常样本。这种方法是基于利用惩罚分布的新定义的损失函数和新的使用的网络。它是基于一个坚实的数学基础，证明表明，我们的方法有更强的保证检测异常的例子相比，目前的国家的最先进的。实验结果表明，我们的模型导致显着和一致的改进，以前的异常检测基准在现实世界和合成数据。值得注意的是，RCGAN改进了KDDCUP，心律失常，甲状腺，麝香和CIFAR10数据集的最新技术。
2020-05-27 cs.LG stat.ML
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh（爱丁堡大学）；J.P. Morgan AI Research（摩根大通人工智能研究）；Imperial College London（伦敦帝国理工学院）
研究连续时间强化学习中熵正则化的策略鲁棒性，建立相关理论保证，分析鲁棒集特性，实验验证其有效性。
2026-07-07 cs.LG math.OC
Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence
CREST, ENSAE, IP Paris（CREST、ENSAE、巴黎IP大学）
本文针对原始核 KL 散度无法处理支撑集不相交分布的问题，提出正则化 KKL 变体，推导偏差与有限样本界、闭式表达式及 Wasserstein 梯度下降方案，并实验验证其传输性质。
2025-03-11 cs.LG math.FA math.OC
Convex training of Lipschitz-regularized shallow neural networks
Polytechnique Montréal, GERAD & Mila, Montréal, QC, Canada（蒙特利尔理工学院，GERAD & Mila，加拿大魁北克省蒙特利尔市）
提出一种凸限制方法求解非凸Lipschitz正则化训练问题，可全局最优求解，并作为预训练网络的后处理步骤，提升对抗鲁棒性和准确性。
2026-06-19 cs.LG
Sharper Bounds for Regularized Data Fitting
Tel Aviv University（特拉维夫大学）；IBM Research - Almaden（IBM 阿尔马登研究中心）
我们研究了线性回归、低秩近似和典型相关分析的正则化变量的矩阵绘制方法。我们的主要重点是草图技术，保持目标函数值的正规化问题，这是一个领域，仍然在很大程度上未被探索。我们研究正则化在一个相当广泛的设置，并在特定的背景下的流行和广泛使用的技术的脊正则化;对于后者，适用于这些问题中的每一个，我们显示算法的资源界限，其中{ \em统计维度}出现在地方，在以前的界限的排名会出现。统计维数总是小于秩，并且随着正则化量的增加而减小。特别地，对于岭型低秩逼近问题$\min_{Y,X} \lVert YX - A \rVert_F^2 + λ\lVert Y\rVert_F^2 + λ\lVert X \rVert_F^2$，其中$Y\in\mathbb{R}^{n\times k}$和$X\in\mathbb{R}^{k\times d}$，我们给出了一个需要\[ O(\mathtt{nnz}(A)) + \tilde{O}((n+d)\varepsilon^{-1}k \min\{k, \varepsilon^{-1}\mathtt{sd}_λ(Y^*)\})+ \mathtt{poly}(\mathtt{sd}_λ(Y^*) \varepsilon^{-1}) \]时间的逼近算法，其中$s_λ(Y^*)\le k$是$Y^*$的统计维数，$Y^*$是最优$Y$，$\varepsilon$是误差…
2017-06-26 cs.DS cs.LG cs.NA
Synthesizing Machine Learning Programs with PAC Guarantees via Statistical Sketching
University of Pennsylvania（宾夕法尼亚大学）
我们研究的问题，合成程序，包括机器学习组件，如深度神经网络（DNN）。我们专注于统计属性，这些属性预计将以高概率保持-例如，图像分类模型以高概率正确地识别图像中的人。我们提出了新的算法，利用统计学习理论的思想，提供统计可靠性的保证，素描和合成这样的程序。我们评估我们的方法合成列表处理程序，包括DNN组件用于处理图像输入，以及图像分类和精准医学的案例研究。我们的研究结果表明，我们的方法可以用来合成程序的概率保证。
2021-10-11 cs.LG cs.PL
Nonlinear system identification with regularized Tensor Network B-splines
TUDelft（代尔夫特理工大学）
本文介绍了张量网络B样条模型的正则化识别的非线性系统使用非线性自回归外源（NARX）的方法。利用张量网络理论，通过将高维权张量表示为低秩近似，来缓解多元B样条的维数灾难。基于交替线性方案的迭代算法被开发用于直接估计低秩张量网络近似，消除了需要显式地构造指数大的权重张量。这大大降低了计算和存储的复杂性，允许识别具有大量输入和滞后的NARX系统。该算法是数值稳定的，鲁棒的噪声，保证单调收敛，并允许直接纳入正则化。TNBS-NARX模型通过级联水箱基准非线性系统的识别进行了验证，在标准台式计算机上，TNBS-NARX模型在4秒内识别16维B样条曲面时达到了最先进的性能。GitHub上提供了一个开源的MATLAB实现。
2020-03-17 cs.LG cs.NA cs.SY
