Kernel-based guarantees for nonlinear parametric models in Bayesian optimization
The Commonwealth Scientific and Industrial Research Organisation（共同科学与工业研究组织）
本文提出一种基于核的方法，用于分析在自适应数据收集下训练的正则化非线性参数模型，提供收敛保证。
2026-05-13 cs.LG stat.ML
$L_2$-Regularized Empirical Risk Minimization Guarantees Small Smooth Calibration Error
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；Lattice Lab, Toyota Motor Corporation（丰田株式会社格子实验室）
本文首次从理论上证明 $L_2$ 正则化经验风险最小化可直接控制平滑校准误差，无需事后校正，并在核岭回归和核逻辑回归中给出具体保证，实验验证了其有效性。
2025-10-15 cs.LG math.ST stat.ML
Optimistic Planning by Regularized Dynamic Programming
Universitat Pompeu Fabra（庞培法布拉大学）
本研究提出一种带正则化的近似值迭代方法用于无限时域折扣MDP的乐观规划，无需传统压缩性与单调性假设，适用于线性近似场景，可实现高效的近似最优策略学习与近最优统计保证。
2023-06-14 cs.LG stat.ML
Stochastic Dual Coordinate Ascent Methods for Regularized Loss Minimization
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机梯度下降算法由于其强大的理论保证，已成为解决大规模有监督机器学习优化问题（如支持向量机）的热门方法。虽然密切相关的双坐标上升（DCA）方法已在各种软件包中实现，但迄今为止缺乏良好的收敛性分析。本文提出了一种新的分析随机双坐标上升（SDCA）显示，这类方法享有强大的理论保证，是可比的或更好的SGD。该分析证明了SDCA在实际应用中的有效性。
2013-01-30 cs.LG math.OC stat.ML
Persistent Reductions in Regularized Loss Minimization for Variable Selection
在多面体规范的正则化损失最小化的背景下，我们表明，对于广泛的损失函数类（可能是非光滑和非凸的）并且在输入数据的简单几何条件下，可以有效地识别特征的子集，该特征的子集被保证在具有来自所述类别的损失函数的所有问题中的所有最优解中具有零系数，在对原始问题执行任何迭代优化之前。此过程是独立的，只接受数据作为输入，不需要调用任何loss函数。因此，我们把这个过程作为上述一类正则化损失最小化问题的持续约简。这种减少可以有效地实现通过极端射线识别子程序应用于从数据点形成的多面体锥。我们采用现有的输出敏感算法的极端射线识别，这使得我们的保证和算法适用于超高维问题。
2020-11-30 cs.LG math.OC stat.ML
Planning in entropy-regularized Markov decision processes and games
DeepMind；Inria Lille（Inria里尔）；SequeL team, Inria Lille（SequeL团队，Inria里尔）；DeepMind Paris（DeepMind巴黎）
本文提出SmoothCruiser算法，通过环境生成模型估计熵正则化马尔可夫决策过程和双人博弈的价值函数，实现问题无关的样本复杂度O~(1/epsilon^4)。
2026-10-06 cs.LG stat.ML
Sketching for Convex and Nonconvex Regularized Least Squares with Sharp Guarantees
Arizona State University（亚利桑那州立大学）
本文提出统一处理凸与非凸 Fréchet 次可微正则项的 SRO 草图算法，建立近似误差与极小极大速率保证，并用迭代版本指数降低误差。
2023-11-03 cs.LG math.OC math.ST
Spatial-Spectral Regularized Local Scaling Cut for Dimensionality Reduction in Hyperspectral Image Classification
Advanced Technology Development Centre, Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校先进技术开发中心）；Department of Electrical Engineering, Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校电气工程系）
分辨率约简（DR）方法在提供高光谱图像（HSI）分类的鉴别信息和减少计算负担方面受到了广泛的关注。然而，由于高维谱的训练样本有限，DR方法面临许多挑战。为了解决这个问题，提出了一种基于图的空间和光谱正则化局部尺度切割（SSRLSC）的HSI数据DR。该方法的基本思想是利用光谱和空间域的信息，以实现更好的分类精度比光谱域对应。在SSRLSC中，引导滤波器最初用于平滑和均匀化HSI数据的像素，以保持像素的一致性。其次是生成类间和类内相异度矩阵在光谱和空间域的正则化局部尺度切割（RLSC）和相邻像素局部尺度切割（NPLSC）分别。最后，我们通过优化更新的空间-光谱类间和总类相异度来获得投影矩阵。两个流行的现实世界的HSI数据集的DR算法的有效性说明。
2018-12-07 cs.CV cs.LG stat.ML
Regularized Submodular Maximization at Scale
Yale Institute for Network Science（耶鲁网络科学研究所）；Yale University（耶鲁大学）；Expedia Group（亿客行集团）；University of Haifa（海法大学）
在本文中，我们提出了可扩展的方法，最大化的正则次模函数$f = g - \ell$表示为单调次模函数$g$和模块化函数$\ell$之间的差异。事实上，子模块性与多样性、覆盖面和代表性的概念有着内在的联系。特别是，找到许多流行的概率模型的多样性，如行列式点过程，次模概率模型和强对数凹分布的模式，涉及（正则化）次模函数的最大化。由于正则化函数$f$可能具有负值，因此严重依赖于次模函数的非负性假设的经典次模最大化理论可能不适用。为了规避这一挑战，我们开发了第一个单程流算法，用于最大化受$k$基数约束的正则化子模函数。它返回一个解决方案$S$，并保证$f(S)\geq(ϕ^{-2}-ε) \cdot g(OPT)-\ell (OPT)$，其中$ϕ$是黄金比例。此外，我们开发了第一个分布式算法，该算法返回一个解决方案$S$，并保证$\mathbb{E}[f(S)] \geq (1-ε) [(1-e^{-1}) \cdot g(OPT)-\ell(OPT)]$在$O(1/ ε)$轮MapReduce计算中，而无需在每轮中保留整个数据集的多个副本（通常是这样做的）。我们应该强调的是，我们的结果，即使是非正规化的情况下，模块项$\ell$为零，提高了内存和通信的复杂性，现有的工作的一个因素，$O(1/ ε)$，同时可以说提供了一个更简单的分布式算法和统一的分析。我们还实证研究了我们的可扩展的方法在…
2020-02-10 cs.LG stat.ML
Computational Guarantees for Doubly Entropic Wasserstein Barycenters via Damped Sinkhorn Iterations
EPFL（洛桑联邦理工学院）
本文提出一种基于阻尼Sinkhorn迭代的算法，用于计算双重正则化Wasserstein重心，保证任意参数下收敛，并首次为非精确变体提供离散点云间逼近的非渐近收敛保证。
2023-07-25 cs.LG math.OC stat.ML
A Semi-supervised Spatial Spectral Regularized Manifold Local Scaling Cut With HGF for Dimensionality Reduction of Hyperspectral Images
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
高光谱图像（HSI）包含了数百个连续光谱波段的丰富信息，使得通过细微的光谱差异对材料进行分类成为可能。然而，对这些丰富的光谱信息进行分类也面临着高维、奇异性、训练样本有限、缺乏标记数据样本、异方差性和非线性等挑战。为了解决这些问题，我们提出了一种基于半监督图的降维方法，称为“半监督空间谱正则化流形局部尺度切割”（S3RMLSC）。所提出的方法的基本思想是利用有限的标记信息从光谱和空间域以及丰富的未标记的样本，以促进分类任务，通过保留原始分布的数据。在S3RMLSC中，首先使用分层引导滤波器（HGF）来平滑HSI数据的像素，以保持空间像素的一致性。这一步之后，通过使用最大线性补丁（MLP）标准从非线性流形的线性补丁的建设。然后分别利用正则化流形局部尺度割（RMLSC）和相邻像素流形局部尺度割（NPMLSC）在光谱域和空间域上构造图像块间和图像块内的相异性矩阵。最后，我们通过优化更新的半监督空间-光谱斑块间和总斑块相异度来获得投影矩阵。所提出的DR算法的有效性与公开可用的真实世界的HSI数据集说明。
2018-11-20 cs.CV cs.LG stat.ML
Spatially regularized active diffusion learning for high-dimensional images
Tufts University（塔夫茨大学）
提出了一种用于高维图像分类的主动学习算法，该算法利用空间正则化的非线性扩散几何来表征簇核。所提出的方法从估计的聚类核心中采样，以生成一个小但有效的训练标签集，该训练标签集通过底层扩散过程传播到数据集的其余部分。通过对图像的丰富的高维光谱信息进行空间正则化，以有效地估计数据中最重要和最有影响力的点，我们的方法避免了训练数据集中的冗余。这使得它可以用非常少的训练标签产生高精度的标签。该算法承认一个有效的数值实现，规模基本上是线性的数据点的数量在一个合适的数据模型，并享有国家的最先进的性能，真正的高光谱图像。
2019-11-06 cs.CV cs.LG stat.ME
Sharp Threshold for Multivariate Multi-Response Linear Regression via Block Regularized Lasso
Syracuse University（雪城大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了一个多变量多响应（MVMR）线性回归问题，该问题包含多个具有不同分布设计矩阵的线性回归模型，以及不同的回归和输出向量。目标是使用$l_1/l_2$正则化Lasso恢复所有回归向量的支持并集。我们的充分和必要条件的样本复杂性\emph{as a sharp threshold}，以保证成功恢复的支持联盟。也就是说，如果样本大小高于阈值，则$l_1/l_2$ -正则化Lasso正确地恢复支持并集;如果样本大小低于阈值，则$l_1/l_2$ -正则化Lasso无法恢复支持并集。特别是，该阈值精确地捕获了回归向量的稀疏性和设计矩阵的统计特性对样本复杂性的影响。因此，阈值函数还捕获了使用多任务Lasso的联合支持联合恢复优于使用单任务Lasso的单独支持恢复的优点。
2013-07-30 cs.LG stat.ML
Gaussian Processes on Distributions based on Regularized Optimal Transport
Université Paul Sabatier（保罗·萨巴捷大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究所）
我们提出了一种新的内核空间的概率测度的基础上的对偶制定的最佳正则化运输。我们提出了一个希尔伯特嵌入的概率空间，使用他们的Sinkhorn潜在的，这是解决方案的双重熵放松的最佳运输之间的概率和参考措施$\mathcal{U}$。我们证明，这种结构能够获得一个有效的内核，通过使用希尔伯特规范。我们证明了核具有理论性质，如普适性和一些不变性，同时仍然是计算上可行的。此外，我们提供了理论保证的行为的高斯过程基于这个内核。的经验表现进行了比较与其他传统的选择内核的进程索引的分布。
2022-10-12 cs.LG stat.ML
Quantization through Piecewise-Affine Regularization: Optimization and Statistical Guarantees
University of Pennsylvania（宾夕法尼亚大学）；Meta FAIR
本文研究分段仿射正则化（PAR）在监督学习中的优化与统计理论基础，证明过参数化下临界点具有量化特性，推导多种PAR的闭式近端映射及求解算法，并给出线性回归的统计保证。
2025-08-14 cs.AI cs.LG math.OC
Spectral Graph Matching and Regularized Quadratic Relaxations II: Erdős-Rényi Graphs and Universality
Yale University（耶鲁大学）；Duke University（杜克大学）
我们分析了一种新的谱图匹配算法，GRAph匹配成对特征对齐（GRAMPA），恢复两个未标记的，边缘相关的加权图之间的潜在顶点对应关系。扩展的确切恢复保证建立在同伴纸高斯权重，在这项工作中，我们证明了这些保证的普遍性一般相关的维格纳模型。特别地，对于两个边相关系数为$1-σ^2$且平均度至少为$\operatorname{polylog}(n)$的Erdens-Rényi图，我们证明了当$σ\lesssim 1/\operatorname{polylog}(n)$ .此外，我们建立了一个类似的保证GRAMPA的一个变种，对应于一个更紧密的二次规划放松的二次指派问题。我们的分析利用了一个预解式表示的GRAMPA相似矩阵和本地法律的稀疏维格纳矩阵的预解式。
2019-07-20 cs.LG math.PR math.SP
Statistical guarantees for local graph clustering
University of California at Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）；ICSI（国际计算机科学研究所）
局部图聚类方法的目标是在非常大的图中找到小的簇。这些方法将一个图和一个种子节点作为输入，并在运行时返回一个良好的集群作为输出，这取决于输出集群的大小，但与输入图的大小无关。在本文中，我们采用了统计的角度对局部图聚类，我们分析了l1正则化PageRank方法的性能~（Fountoulakis et.（见上文）对于单个目标集群的恢复，给定集群内的种子节点。假设目标聚类是由随机模型生成的，我们给出了两个结果。首先，我们证明了l1正则化PageRank的最佳支持恢复了完整的目标集群，具有有界的误报。在第二，我们表明，如果种子节点是唯一连接到目标集群，然后l1正则化PageRank的最佳支持恢复正是目标集群。我们还表明经验，l1正则化PageRank有一个国家的最先进的性能在许多真实的图，证明了该方法的优越性。从计算的角度来看，我们证明了l1正则化PageRank的解决方案路径是单调的。这允许应用前向逐阶段算法，该算法在不依赖于整个图的大小的运行时间中近似解路径。最后，我们表明，l1正则化PageRank和近似个性化PageRank（APPR），另一个非常流行的方法，局部图聚类，是等价的，在这个意义上，我们可以下限和上限的输出与其他的输出之一。基于这种关系，我们建立APPR类似的结果，我们建立l1正则化PageRank。
2020-01-11 cs.LG math.OC math.ST
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Spectral-Spatial Diffusion Geometry for Hyperspectral Image Clustering
Tufts University（塔夫茨大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种利用空间正则化随机游走的无监督学习算法对高光谱图像数据进行聚类。马尔可夫扩散被定义在HSI谱的空间上，其跃迁被约束到附近的空间邻居。将空间规律性明确地结合到扩散构造中导致更平滑的随机过程，其比仅基于光谱的随机过程更适合于无监督机器学习。正则化扩散过程随后用于通过扩散距离将高维HSI嵌入到低维空间中。使用密度估计和扩散距离计算聚类模式，并根据这些模式标记所有其他点。该方法具有较低的计算复杂性，并执行竞争力对国家的最先进的HSI聚类算法的真实数据。特别是，所提出的空间正则化赋予了非正则化方法的经验优势。
2019-02-08 cs.CV cs.LG stat.ML
Analysis of regularized Nyström subsampling for regression functions of low smoothness
Fudan University（复旦大学）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Medical University of Innsbruck（因斯布鲁克医科大学）
本文研究了一种Nyström型欠采样方法在错误指定情况下的大核学习方法，其中目标函数不被假设为属于由底层核生成的再生核Hilbert空间.尽管这一案件具有重要的实际意义，但人们对它的了解却较少。为了模拟这样的情况下，目标函数的平滑度描述的一般源条件。令人惊讶的是，几乎对于整个范围的源条件，描述错误指定的情况下，相应的学习率界可以实现只有一个值的正则化参数。这种观察允许制定温和的条件下，平原Nyström子采样可以实现次二次成本保持保证的学习率。
2018-06-03 cs.LG stat.ML
Accelerating Primal-dual Methods for Regularized Markov Decision Processes
Stanford University（斯坦福大学）；Amazon Search（亚马逊搜索）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
针对熵正则化马尔可夫决策过程原对偶问题标准一阶法收敛慢的问题，提出二次凸化原对偶表述及新插值度量，实现指数收敛与显著加速，多设置实验验证了性能。
2023-06-12 cs.LG math.OC stat.ML
Value Function Approximation in Noisy Environments Using Locally Smoothed Regularized Approximate Linear Programs
United States Naval Academy（美国海军学院）；Duke University（杜克大学）
最近，Petrik等人证明了L1正则化近似线性规划（RALP）可以产生价值函数和策略，这些价值函数和策略与已建立的线性价值函数近似技术（如LSPI）相比是有利的。RALP的成功主要源于同时解决特征选择和价值函数近似步骤的能力。RALP的性能保证变得宽松，如果采样下一个状态使用。对于非常嘈杂的域，RALP需要精确的模型而不是样本，这在某些实际场景中可能是不现实的。在本文中，我们证明了这一弱点，然后介绍局部光滑L1-正则近似线性规划（LS-RALP）。我们证明，LS-RALP减轻了不准确性，即使没有一个准确的模型来自噪声。我们表明，在给定一些平滑假设的情况下，随着样本数量的增加，来自噪声的误差接近于零，并提供了LS-RALP在常见强化学习基准问题上成功的实验示例。
2012-10-16 cs.LG stat.ML
Maximum Regularized Likelihood Estimators: A General Prediction Theory and Applications
最大正则化似然估计（MRLE）可以说是高维统计中最成熟的一类估计。在本文中，我们推导出保证MRLE在库尔贝克-莱布勒散度，预测精度的一般措施。我们只假设密度有一个凸参数化，正则化是明确的和积极的齐次。因此，这些结果适用于各种各样的模型和估计，如张量回归和凸和非凸正则化方法的图形模型。一个主要的结论是，MRLE是广泛一致的预测-无论是否限制特征值或类似的条件。
2018-10-17 math.ST stat.ML stat.TH
Multiscale Clustering of Hyperspectral Images Through Spectral-Spatial Diffusion Geometry
Tufts University（塔夫茨大学）
聚类算法将数据集划分为相似点的组。本文的主要贡献是多尺度空间正则化扩散学习（M-SRDL）聚类算法，该算法使用空间正则化扩散距离来高效准确地学习高光谱图像中潜在结构的多个尺度。M-SRDL聚类算法从高光谱图像中提取多个尺度的聚类，并输出这些聚类的信息重心变化作为所有潜在聚类结构的样本。我们表明，将空间正则化到一个多尺度聚类框架的结果更平滑，更连贯的集群时，应用于高光谱数据，产生更准确的聚类标签。
2022-04-07 cs.CV cs.LG stat.ML
Efficient Learning for Entropy-Regularized Markov Decision Processes via Multilevel Monte Carlo
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics, Imperial College London（伦敦帝国学院数学系）
针对大规模或连续状态动作空间的熵正则化MDPs，提出结合不动点迭代与多层蒙特卡洛的算法族，通过误差分析证明无偏随机化多层近似可实现与状态动作空间规模无关的多项式样本复杂度，并用实验验证了理论保证。
2025-06-04 cs.LG math.OC math.PR
RES: Regularized Stochastic BFGS Algorithm
University of Pennsylvania（宾夕法尼亚大学）
RES是Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法的一种正则化随机形式，用于求解随机目标的凸优化问题.随机梯度下降算法的使用是广泛的，但在高维问题中，近似最优参数所需的迭代次数可能是禁止的。另一方面，二阶方法的应用是不切实际的，因为目标函数海森逆的计算会导致过多的计算成本。BFGS通过引入从有限梯度差计算的Hessian近似矩阵来修改梯度下降。RES利用随机梯度代替确定性梯度来确定下降方向和近似目标函数的曲率。由于随机梯度可以计算在可控的计算成本RES是可实现的，并保留其确定性同行的收敛速度的优势。收敛性结果表明，样本函数的Hessian特征值的上下界足以保证收敛到最优参数.数值实验表明，减少收敛时间相对于随机梯度下降算法和非正则化的随机版本的BFGS。RES的实施支持向量机的应用程序开发。
2014-01-29 cs.LG math.OC stat.ML
Coupled regularized sample covariance matrix estimator for multiple classes
Aalto University（阿尔托大学）
在有限的训练数据下估计多类数据的协方差阵是一个困难的问题。已知当变量的数目与可用的样本数目相比较大时，样本协方差阵（SCM）表现不佳。为了减小SCM的均方误差（MSE），经常使用正则化（收缩）SCM估计器。在这项工作中，我们考虑正则化SCM（RSCM）估计的多类问题，耦合在一起的两个不同的目标矩阵正则化：池（平均）SCM的类和缩放的单位矩阵。当总体协方差相似时，对合并SCM的正则化是有益的，而对单位矩阵的正则化保证了估计量是正定的。我们推导出的MSE最优调谐参数的估计，以及提出了一种方法，他们的估计假设下，类人口遵循（未指定）椭圆分布有限的四阶矩。建议耦合RSCMs的MSE性能进行了评估与模拟和正则化判别分析（RDA）的分类设置上的真实数据。基于三个不同的真实数据集的结果表明，交叉验证的性能相当，但在计算时间上有显着的加速。
2021-11-09 cs.LG stat.ME stat.ML
Alternating direction method of multipliers for regularized multiclass support vector machines
支持向量机（SVM）最初是为二进制分类而设计的。大量的工作已经投入到推广的二进制支持向量机多类支持向量机（MSVM），这是更复杂的问题。最初，MSVM通过考虑它们的对偶公式来求解，这些对偶公式是二次规划并且可以通过标准二阶方法来求解。然而，具有正则化器的MSVM的迭代通常更难以公式化，并且求解起来在计算上非常昂贵。本文重点研究了几种正则化的最小支持向量机，并将交替方向乘子法（ADMM）推广到这几种最小支持向量机上。使用分裂技术，所有考虑的MSVMs都被写成两块凸规划，ADMM对此具有全局收敛性保证。模拟数据和真实数据的数值实验表明了算法的高效性和准确性。
2015-11-30 math.OC stat.ML
