Exploring the Entire Regularization Path for the Asymmetric Cost Linear Support Vector Machine
Gdansk University of Technology（格但斯克理工大学）；Polish Academy of Sciences（波兰科学院）
我们提出了一个算法，探索整个正则化路径的非对称成本的线性支持向量机。经验证据表明，支持向量机的预测能力取决于训练算法的正则化参数。探索整个正则化路径的算法已经被提出用于单成本支持向量机，从而提供关于超参数空间上的训练模型的行为的完整知识。考虑二维超参数空间中的问题，使我们的算法在处理特殊情况时保持更大的灵活性，并揭示了在一维空间中构建路径的算法所遇到的问题。我们展示了二维正则化路径的线性支持向量机，我们训练合成和真实的数据。
2016-10-12 cs.LG stat.ML
Optimal computational and statistical rates of convergence for sparse nonconvex learning problems
我们提供了理论分析的统计和计算性质的惩罚$M$ -估计，可以制定为一个可能的非凸优化问题的解决方案。许多重要的估计属于这一类，包括最小二乘回归与非凸正则化，广义线性模型与非凸正则化和稀疏椭圆随机设计回归。对于这些问题，由于非凸形式，计算全局解是困难的。在本文中，我们提出了一个近似正则化路径跟踪方法来解决各种非凸目标函数的学习问题。在一个统一的分析框架下，我们同时提供明确的统计和计算收敛速度的算法所获得的任何局部解。在计算上，我们的算法达到了全局几何收敛速度计算的完整的正则化路径，这是最佳的所有一阶算法。与大多数现有的方法，只达到一个单一的正则化参数的几何收敛率，我们的算法计算完整的正则化路径相同的迭代复杂度。特别地，我们提供了一个精确的迭代复杂度界，以清晰地描述正则化路径上每个阶段的性能;在统计上，我们提供了对正则化路径上所有近似局部解的精确样本复杂度分析;特别地，我们的分析通过提供一个更精确的样本复杂度界以及最终估计的精确支持度恢复结果来改进现有结果。这些结果表明，由于使用了非凸罚函数，最终的估计量获得了一个预言的统计性质。
2015-01-27 stat.ML
Ridge Regression: Structure, Cross-Validation, and Sketching
本文研究岭回归的三个基本问题：（1）估计量的结构是什么？(2)如何正确使用交叉验证来选择正则化参数？（3）如何在不损失太多精度的情况下加快计算速度？我们在一个统一的大数据线性模型中考虑这三个问题。我们给出了岭回归的精确表示为真参数和噪声的协方差阵依赖的线性组合。本文研究了$K$ -折交叉验证中正则化参数选择的偏差，并提出了一种简单的偏差修正方法。我们分析了岭回归的原始和对偶草图的准确性，表明它们是惊人的准确。我们的结果说明了模拟和分析经验数据。
2020-03-29 math.ST stat.ML stat.TH
On Cross-validation for Sparse Reduced Rank Regression
在高维数据分析中，追求稀疏性和/或低秩的正则化方法近年来受到了广泛的关注。为了提供适当的收缩量，通常使用网格搜索和模型比较准则来找到最佳正则化参数。然而，我们发现，在所有褶皱上固定参数可能会导致不一致的问题，更合适的方法是交叉验证投影选择模式以获得最佳系数估计。我们在联合稀疏和秩亏模型的样本误差研究导致一类新的信息标准与四个无标度形式绕过噪声水平的估计。通过使用一个身份，我们提出了一种新的无标度校准，以帮助交叉验证非渐近地实现最小最大最优错误率。实验证明了所提方法的有效性。
2018-12-30 stat.ME stat.ML
On the connections between algorithmic regularization and penalization for convex losses
在这项工作中，我们建立了等价的算法正则化和显式凸惩罚一般凸损失。本文引入了凸函数最优路径的几何条件，证明了当满足该条件时，非正则化最优化问题的迭代算法的最优路径可以表示为相应惩罚问题的解路径.
2019-09-08 math.OC stat.ML
Predicting class-imbalanced business risk using resampling, regularization, and model ensembling algorithms
Kennesaw State University（肯尼索州立大学）
我们的目标是开发和改进不平衡的业务风险建模，通过联合使用适当的评估标准，重新分配，交叉验证，分类器正则化，和集成技术。基于10倍交叉验证，使用受试者工作特征曲线下面积（ROC的AUC）进行模型比较。采用了两种欠采样策略：随机欠采样（RUS）和聚类质心欠采样（CCUS），以及两种过采样方法：随机过采样（ROS）和合成少数过采样技术（SMOTE）。三个高度可解释的分类器，包括逻辑斯谛回归没有正则化（LR），L1正则化LR（L1 LR），和决策树（DT）的实现。两个集成技术，包括Bagging和Boosting，被应用在DT分类器上以进一步改进模型。实验结果表明，基于SMOTE的50%阳性过采样数据的Boosting是最优的DT模型，其AUC、召回率和F1得分分别为0.8633、0.9260和0.8907。
2019-03-13 cs.LG stat.ML
Improving Generative Flow Networks with Path Regularization
University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；FPT Software AI Center（FPT软件人工智能中心）
生成流网络（GFlowNets）是最近提出的用于学习随机策略的模型，该随机策略通过具有与给定奖励函数成比例的概率的动作序列来生成组合对象。GFlowNets的核心问题是提高其探索和泛化能力。在这项工作中，我们提出了一种新的路径正则化方法的基础上，最优传输理论的GFlowNets的底层结构上的先验约束。先验被设计成帮助GFlowNets更好地发现目标分布的潜在结构或增强其在主动学习背景下探索环境的能力。路径正则化通过最大化两个前向策略之间的最优传输距离来控制GFlowNets中的流，以生成更多样和新颖的候选项，或者通过最小化最优传输距离来提高泛化能力。此外，我们通过在特定情况下找到其封闭形式的解决方案和一个有意义的上限，可以作为一个近似值，以最小化正则化项，从而获得一个有效的实现的正则化。我们经验证明了我们的路径正则化在广泛的任务上的优势，包括合成超网格环境建模，离散概率建模和生物序列设计。
2022-09-29 cs.LG stat.ML
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA 达莱·莫勒人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题，提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法，并引入防过拟合策略，数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Diagonal Linear Networks and the Lasso Regularization Path
Sorbonne Université（索邦大学）；Inria（法国国家科学研究中心）；Centre Inria de Sorbonne Université（索邦大学国家科学研究中心）
研究揭示对角线线性网络的训练轨迹与Lasso正则化路径的关联，通过理论分析和模拟验证了训练时间作为逆正则化参数的作用。
2026-03-18 cs.LG math.OC stat.ML
The Regularization Parameter: Sparse Precision Matrix Estimation
TU Braunschweig, Germany（图林根工业大学，德国）；Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（弗赖堡-亚历山大-大学埃尔朗根-纽伦堡）
研究高维低样本量数据中稀疏精度矩阵估计的正则化参数选择问题，提出闭式矩阵值正则化参数，无需交叉验证，在多数据集和应用中实现高精度估计，减少运行时间。
2026-07-10 cs.LG stat.ML
Complexity Analysis of the Lasso Regularization Path
University of California, Berkeley（加州大学伯克利分校）
Lasso的正则化路径可以被证明是分段线性的，使得可以“跟随”并显式地计算整个路径。本文分析了这种流行的策略，并证明了其最坏情况下的复杂性是指数变量的数量。然后，我们反对这个悲观的结果（乐观）近似分析：我们表明，近似路径最多O（1/sqrt（λ））线性段总是可以得到的，其中路径上的每个点都保证是最优的相对ε-对偶差距。我们完成了我们的理论分析与实际算法来计算这些近似路径。
2012-05-19 cs.LG math.OC stat.ML
Stability Approach to Regularization Selection (StARS) for High Dimensional Graphical Models
估计高维图模型的一个挑战性问题是以数据依赖的方式选择正则化参数。标准技术包括$K$ -折交叉验证（$K$ -CV）、赤池信息准则（AIC）和贝叶斯信息准则（BIC）。虽然这些方法在低维问题上效果很好，但它们不适合高维环境。在本文中，我们提出了StARS：一个新的基于稳定性的方法来选择正则化参数的高维推理无向图。该方法有一个明确的解释：我们使用最少的正则化，同时使图稀疏和随机采样下的可复制。这种解释基本上不需要任何条件。在温和的条件下，我们表明，StARS是部分稀疏的图估计：即具有高概率，所有的真正的边缘将被包括在选定的模型，即使当图的大小与样本量发散。从经验上讲，StARS的性能进行了比较与国家的最先进的模型选择程序，包括$K$ -CV，AIC和BIC，在合成数据和一个真正的微阵列数据集。StARS优于所有这些竞争程序。
2010-06-16 stat.ML
Thresholded Adaptive Validation: Tuning the Graphical Lasso for Graph Recovery
Ruhr University Bochum（波鸿鲁尔大学）
许多机器学习算法都被公式化为正则化优化问题，但它们的性能取决于一个正则化参数，该参数需要根据手头的每个应用进行校准。在本文中，我们提出了一个通用的校准计划正则化优化问题，并将其应用到图形套索，这是一种方法的高斯图形建模。该方案配备了理论保证，并激励阈值流水线，可以提高图恢复。此外，在正则化路径上最多需要一个线搜索，校准方案在计算上比基于重新搜索的竞争方案更有效。最后，我们在模拟中表明，我们的方法可以大大提高其他方法的图恢复。
2021-03-30 cs.LG stat.ME stat.ML
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University（斯坦福大学）
本文研究并行 ReLU 网络的训练问题，提出路径正则化以揭示隐藏凸性并诱导群稀疏，同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
Quantifying Overfitting along the Regularization Path for Two-Part-Code MDL in Supervised Classification
The University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文针对二元分类中改进的双部分码MDL规则，给出了最坏情况极限误差随正则化参数λ和噪声水平变化的精确刻画，显著加强并推广了Grunwald和Langford关于λ=1时正则化不足的既有分析。
2025-03-10 cs.LG stat.ML
An algorithmic view of $\ell_2$ regularization and some path-following algorithms
The Ohio State University（俄亥俄州立大学）
建立了凸损失函数的$\ell_2$正则化解路径与常微分方程解之间的等价关系。重要的是，这种等价性揭示了解决方案的路径可以被视为梯度下降和牛顿方法应用于经验损失的混合流，这类似于广泛使用的称为信赖域方法的优化技术。这为$\ell_2$正则化提供了一个有趣的算法视图，与传统的观点相反，$\ell_2$正则化解路径类似于经验损失的梯度流。提出了基于同伦方法和数值ODE求解器的新的路径跟踪算法来数值逼近解路径。特别地，分别以牛顿法和梯度下降法作为同伦方法的基本算法，建立了它们在解路径上的逼近误差率。我们的理论提出了新的方案来选择网格点，以保证解路径的任意小的次最优性。在计算成本方面，我们证明了为了实现整个解路径的$ε$ -次最优性，牛顿法所需的牛顿步数是$\mathcal O(ε^{-1/2})$，而梯度下降法所需的梯度步数是$\mathcal O\left(ε^{-1} \ln(ε^{-1})\right)$。最后，我们使用$\ell_2$ -正则化逻辑斯谛回归作为一个说明性的例子来证明所提出的路径跟踪算法的有效性。
2021-07-07 cs.LG stat.CO stat.ML
Gradient descent follows the regularization path for general losses
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
最近在许多机器学习学科中的研究都强调，标准的下降方法，即使没有显式正则化，也不仅仅是最小化训练误差，而且还表现出隐式偏差。这种偏差通常是朝向某个正则化的解决方案，并且依赖于学习过程的细节，例如交叉熵损失的使用。在这项工作中，我们表明，对于经验风险最小化线性预测与任意凸，严格减少损失，如果风险没有达到其下确界，那么梯度下降路径和算法无关的正则化路径收敛到同一个方向（无论何时收敛到一个方向）。使用这个结果，我们提供了广泛使用的指数尾损失（如指数损失或逻辑损失）的理由：虽然这种收敛到一个方向的指数尾损失必然是最大利润的方向，其他损失，如多项式尾损失可能会导致收敛到一个方向与差的利润。
2020-06-19 cs.LG math.OC stat.ML
Sparse Randomized Shortest Paths Routing with Tsallis Divergence Regularization
这项工作阐述了重要的问题（1）设计最佳的随机路由策略，从一个加权有向图G上的源节点s到达目标节点t和（2）定义节点之间的距离测量插值之间的最小成本（基于最佳运动）和通勤成本（基于G上的随机行走），取决于温度参数T。为此，随机化最短路径形式主义（RSP，[2，99，124]）在Tsallis散度正则化方面进行了重新表述，而不是Kullback-Leibler散度。这种变化的主要后果是，当T减小时，所得到的路由策略（局部转移概率）变得更稀疏，因此当T趋于0时，导致G上的稀疏随机游走收敛到最小成本有向无环图。在节点聚类和半监督分类任务上的实验比较表明，基于预期路由成本的相异性度量提供了最先进的结果。因此，稀疏RSP是一种有前途的图上移动模型，以最佳方式平衡稀疏开发和探索。
2020-07-01 cs.LG stat.ML
Lasso Regularization Paths for NARMAX Models via Coordinate Descent
Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）
本文提出一种利用坐标下降法估计带有L1正则化的NARMAX模型的新算法，通过引入误差回归变量解决非线性回归问题，并在计算效率上保持原有算法性能。
2018-02-26 cs.SY eess.SY stat.ML
An Exponential Lower Bound on the Complexity of Regularization Paths
Institute of Theoretical Computer Science, ETH Zurich（苏黎世联邦理工学院理论计算机科学研究所）；CMAP, École Polytechnique（巴黎综合理工学院应用数学研究中心）；INRIA Sophia Antipolis-Méditerranée（法国国家信息与自动化研究所索菲亚·安蒂波利斯-地中海研究中心）
对于机器学习中的各种正则化优化问题，最近已经开发了计算整个解路径的算法。这些方法中的大多数是由单个参数参数化的二次规划，例如支持向量机（SVM）。解路径算法不仅计算正则化参数的一个特定值的解，而且计算整个解路径，使得最佳参数的选择更容易。已经假设这些分段线性解路径仅具有线性复杂性，即线性地许多弯曲。我们证明，对于支持向量机，在最坏的情况下，这种复杂性可以是指数的训练点的数量。更强地，我们为SVM构建d维中的n个输入点的单个实例，使得至少Θ（2^{n/2}）= Θ（2 ^d）随着正则化参数的变化出现许多不同的支持向量子集。
2012-10-25 cs.CG cs.CV cs.LG
Macroeconomic Forecasting and Machine Learning
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Harvard University（哈佛大学）
本文通过整合高维数据正则化、严格样本外验证和非线性三大原则预测宏观经济结果的完整条件分布，发现收缩正则化对控制复杂度至关重要，非线性提升有限，样本外验证可防过拟合。
2025-10-13 econ.EM stat.ML
Approximate Regularization Path for Nuclear Norm Based H2 Model Reduction
KTH–Royal Institute of Technology（皇家理工学院）；ACCESS Linnaeus Center（ACCESS林奈斯中心）
本文研究了利用Hankel矩阵核范数进行动态系统降阶，通过正则化路径方法平衡模型拟合与复杂度，提出基于对偶间隙上界确定何时精确计算最优解的策略，高效计算正则化路径。
2014-07-22 cs.SY eess.SY math.OC
A multiobjective continuation method to compute the regularization path of deep neural networks
本文提出一种多目标连续方法，可高效逼近具有数百万参数的高维深度神经网络在经验损失与ℓ1稀疏性之间的完整Pareto前沿，并首次实现大规模非凸多目标优化问题的正则化路径计算。
2024-03-29 cs.AI cs.LG math.OC
Implicit Regularization Paths of Weighted Neural Representations
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
研究了预训练特征加权引发的隐式正则化效应，推导出连接不同加权矩阵与岭正则化水平的等价路径，证实了相关猜想，并据此开发出应用于多个模型和数据集的高效交叉验证调优方法。
2024-08-28 cs.LG math.ST stat.ML
Deep Bilevel Learning
University of Bern（伯尔尼大学）
我们提出了一种新的正则化方法来训练神经网络，比标准的随机梯度下降具有更好的泛化和测试误差。我们的方法是基于交叉验证的原则，其中验证集用于限制模型过拟合。我们制定这样的原则作为一个双层优化问题。这个公式允许我们定义验证集上的成本的优化，而训练集上的另一个优化。通过在训练集中的每个小批次上引入权重并选择它们的值来控制过拟合，以便它们最小化验证集上的误差。在实践中，这些权重定义了梯度下降更新方程中的小批量学习率，这些小批量学习率有利于具有更好泛化能力的梯度。由于其简单性，该方法可以与其他正则化方法和训练方案集成。我们在几个神经网络架构和数据集上对我们提出的算法进行了广泛的评估，发现它始终提高了模型的泛化能力，特别是当标签有噪声时。
2018-09-05 cs.CV cs.LG stat.ML
Estimation Stability with Cross Validation (ESCV)
交叉验证（CV）通常用于选择高维问题中的正则化参数。然而，当应用于稀疏建模方法Lasso时，CV导致模型在高维中不稳定，因此不适合可靠的解释。在本文中，我们提出了一个无模型的标准ESCV的基础上，一个新的估计稳定性（ES）度量和CV。我们提出的ESCV找到了一个比CV选择更小的局部ES最优模型，使其适合数据，并且还具有估计稳定性。我们证明，ESCV是一个有效的替代CV在一个类似的容易并行计算成本。特别是，我们比较了两种方法的几个性能指标时，应用到Lasso的模拟和真实的数据集。对于实践中常见的依赖性预测因子，我们的主要发现是，ESCV通常大幅降低假阳性率，而牺牲很少的真阳性率。ESCV通常在参数估计方面优于CV，而在预测方面给出与CV相似的性能。对于来自神经科学和细胞生物学的两个真实数据集，ESCV发现的模型小于CV模型大小的一半。根据学科知识判断，他们比简历更可信。我们还讨论了在这两种方法中出现的一些正则化参数对齐问题。
2015-10-27 stat.ME stat.ML
Hidden Synergy: $L_1$ Weight Normalization and 1-Path-Norm Regularization
本文提出 PSiLON Net 架构，通过 $L_1$ 权重归一化简化 1-路径范数并引入高效学习与近稀疏参数的归纳偏置，同时设计简化残差块并证明路径子集即可约束 Lipschitz 常数，在小数据实验中验证了其可靠优化与强性能。
2024-04-29 cs.LG stat.ML
Dynamic Visualization and Fast Computation for Convex Clustering via Algorithmic Regularization
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
凸聚类是一种很有前途的新方法，聚类的经典问题，结合了强大的性能，在实证研究和严格的理论基础。尽管有这些优点，凸聚类还没有被广泛采用，由于其计算密集的性质和缺乏令人信服的可视化。为了解决这些障碍，我们引入了正则化，这是一种创新技术，用于使用迭代一步近似方案获得正则化路径的高质量估计。我们证明我们的方法与一个新的理论结果，保证全局收敛的近似路径下容易检查的非数据依赖的假设下的精确解。将算法正则化应用到凸聚类中，产生了用于计算聚类解路径的凸聚类算法CARP（Convex Clustering via Acromic Regularization Paths）。在基因组学和文本分析的示例数据集上，CARP提供了比现有方法快100倍的速度，同时获得了比标准方法更精细的近似网格。此外，CARP能够改进聚类解决方案的可视化：CARP返回的精细解决方案网格可用于构建基于凸聚类的树状图，并形成基于现代Web技术的动态路径可视化的基础。我们的方法在开源R包clustRviz中实现，可在https://github.com/DataSlingers/clustRviz上获得。
2019-07-08 cs.LG stat.CO stat.ME
A Unified Dynamic Approach to Sparse Model Selection
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）
稀疏模型选择是普遍存在的从线性回归到图形模型，其中正则化路径，作为一族估计的正则化参数变化，计算时，正则化参数是未知的或数据自适应决定。传统的计算方法依赖于解决一组优化问题，其中正则化参数固定在可能效率低下的网格上。在本文中，我们引入了一个简单的迭代正则化路径，它遵循稀疏镜像下降算法或具有非线性损失的线性化Bregman迭代的推广的动态。其性能与\texttt{glmnet}相比具有竞争力，并进一步降低了偏差。提出了一种路径一致性理论，在约束强凸性（RSC）和不可表示条件（IRR）下，路径首先在一个子空间中演化，且不出现假阳性，最后到达一个符号一致或极小极大最优$\ell_2$错误率的估计.需要提前停止正则化以防止过拟合。应用实例给出稀疏逻辑斯谛回归和伊辛模型的NIPS合作。
2018-10-08 cs.AI cs.LG stat.ML
Adaptive multi-penalty regularization based on a generalized Lasso path
Department of Mathematical Sciences, Norwegian University of Science and Technology（挪威科学与技术大学数学科学系）；Section for Computing and Software, Simula Research Laboratory AS（Simula研究实验室计算与软件部门）
本文提出了一种自适应多罚项正则化参数选择框架，通过构建包含结构相似解的区域，实现正确支持恢复，并结合模型选择准则进行数据自适应参数选择，提升压缩感知问题的鲁棒性和性能。
2017-10-11 cs.LG cs.NA math.NA
Solution Path Algorithm for Twin Multi-class Support Vector Machine
Henan Normal University（河南师范大学）；Beihang University（北京航空航天大学）；Henan University of Science and Technology（河南科技大学）
双支持向量机及其扩展在处理二值分类问题上取得了很大的成就。然而，它在多分类问题的有效解决和快速模型选择方面存在困难。研究了双多类支持向量机正则化参数的快速调整算法。具体而言，首先采用了一种新的样本数据集划分策略，这是模型构建的基础。然后，结合线性方程组和分块矩阵理论，证明了拉格朗日乘子是分段线性的。正则化参数，使得正则化参数通过仅求解断点而被连续地更新。其次，证明了当正则化参数趋于无穷大时，拉格朗日乘子为1，从而设计了一种简单有效的初始化算法。最后，定义了八种事件来寻找下一次迭代的起始事件。在9个UCI数据集上的实验结果表明，该方法在不求解任何二次规划问题的情况下，可以获得相当的分类性能.
2023-02-14 cs.LG stat.ML
Neural Posterior Regularization for Likelihood-Free Inference
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔市立大学）；EWHA Womans University（梨花女子大学）
当感兴趣的现象再生成本很高或在相同的背景下不可再生时，模拟是有用的。最近，贝叶斯推理的模拟输入参数的分布已经实现顺序，以尽量减少所需的模拟预算的任务，模拟验证到现实世界。然而，贝叶斯推理仍然是具有挑战性的，当地面真实后验是多模态的高维模拟输出。本文介绍了一种正则化技术，即神经后验正则化（NPR），它强制模型有效地探索输入参数空间。之后，我们提供了正则化优化的封闭形式的解决方案，使分析正则化的效果。我们的经验验证，NPR达到统计上的显着增益的基准性能不同的模拟任务。
2022-11-04 cs.AI cs.LG stat.ML
Linear time dynamic programming for the exact path of optimal models selected from a finite set
许多学习算法都是根据寻找模型参数来制定的，这些参数使数据拟合损失函数加上正则化器最小化。当正则化涉及l0伪范数时，得到的正则化路径由有限的模型集组成。现有的计算正则化路径中断点的最快算法在模型数量上是二次的，因此它对高维问题的扩展性很差。我们提供了新的形式证明，动态规划算法可以用来计算断点在线性时间。对变点检测问题的实验结果表明，相对于网格搜索和以前的二次时间算法，该算法提高了精度和速度。
2020-03-05 cs.DS cs.LG stat.ML
OCReP: An Optimally Conditioned Regularization for Pseudoinversion Based Neural Training
University of Turin（都灵大学）；National Institute of Astrophysics（国家天体物理研究所）；Univ. Pierre et Marie Curie（皮埃尔和玛丽·居里大学）
在本文中，我们考虑训练单隐层神经网络的伪逆，尽管它的普及，有时会受到数值不稳定性问题。正则化是已知的是有效的，在这种情况下，使我们引入，在吉洪诺夫正则化的框架中，一个matricial重新制定的问题，它允许我们使用的条件数作为诊断工具，用于识别不稳定性。通过对相关矩阵施加良好的条件要求，我们的理论分析允许从稳定性的角度确定正则化参数的最佳值。我们比较交叉验证过拟合控制和优化的泛化性能所得出的值。我们测试我们的方法回归和分类任务。所提出的方法是相当有效的预测性，往往与一些性能上的改进与参考情况下考虑。这种方法，由于正则化参数的分析确定，大大减少了许多其他技术所需的计算负荷。
2015-08-25 cs.LG cs.NE stat.ML
Safe Grid Search with Optimal Complexity
Riken AIP（理化学研究所AIP）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎-萨克雷大学）；Univ Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；Nagoya Institute of Technology（名古屋工业大学）
流行的机器学习估计器涉及调整可能具有挑战性的正则化参数，并且标准策略依赖于网格搜索来完成此任务。在本文中，我们重新审视的正则化路径的近似技术，以预定义的公差$ε$在一个统一的框架，并表明其复杂性是$O(1/\sqrt[d]ε)$为一致凸损失的顺序$d \geq 2$和$O(1/\sqrtε)$为广义自协调函数。这个框架包括最小二乘，但也逻辑斯谛回归，据我们所知的情况下，没有处理，因为精确地在以前的作品。我们利用我们的技术，以提供精致的界限上的验证误差，以及一个实用的算法，超参数调整。后者具有全局收敛保证时，目标是一个规定的精度验证集。最后但并非最不重要的是，我们的方法有助于减轻从业者在优化训练集时选择停止标准的任务（通常被忽视）：我们的方法基于验证集的目标准确度自动校准此标准。
2019-05-27 cs.LG math.OC stat.ML
Supervised Feature Selection in Graphs with Path Coding Penalties and Network Flows
INRIA Grenoble Rhône-Alpes（法国国立信息与自动化研究院格勒诺布尔罗讷-阿尔卑斯中心）
我们考虑监督学习问题，其中特征嵌入在图中，例如基因网络中的基因表达。在这种情况下，它是非常感兴趣的自动选择一个子图与几个连接组件;通过利用先验知识，确实可以提高预测性能或获得更容易解释的结果。最近提出了用于选择图中特征的正则化或惩罚函数，但它们提出了新的算法挑战。例如，它们通常需要解决所有连通子图之间的组合硬选择问题。在本文中，我们提出了计算上可行的策略来选择一个稀疏和良好连接的功能子集坐在一个有向无环图（DAG）。我们引入结构化稀疏惩罚路径上的DAG称为“路径编码”的处罚。与现有的正则化函数不同，这些正则化函数对图中特征之间的远程交互进行建模，路径编码惩罚是易于处理的。惩罚及其邻近算子涉及路径选择问题，我们利用网络流优化有效地解决了这个问题。我们在合成，图像和基因组数据上的实验表明，我们的方法是可扩展的，并且比图的其他正则化函数导致更多的连接子图。
2013-08-29 cs.LG math.OC stat.ML
