A Combinatorial Algorithm to Compute Regularization Paths
ETH Zurich（苏黎世联邦理工学院）；Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
对于各种各样的正则化方法，最近已经开发了计算整个解路径的算法。解路径算法不仅计算正则化参数的一个特定值的解，而且计算整个解路径，使得最佳参数的选择更容易。目前使用的大多数算法都不是鲁棒的，因为它们不能处理一般的或退化的输入。在这里，我们提出了一个新的鲁棒性，通用的方法参数二次规划。我们的算法直接适用于几乎所有的机器学习应用，到目前为止，每个应用都需要自己不同的算法。我们说明了我们的方法的有用性，将其应用到一个非常低的排名问题，无法解决现有的路径跟踪方法，即计算部分价值的选择基于联合分析，一种流行的技术，从市场研究来估计消费者的偏好一类参数化选项。
2009-03-27 cs.AI cs.CV cs.LG
A multiobjective continuation method to compute the regularization path of deep neural networks
本文提出一种多目标连续方法，可高效逼近具有数百万参数的高维深度神经网络在经验损失与ℓ1稀疏性之间的完整Pareto前沿，并首次实现大规模非凸多目标优化问题的正则化路径计算。
2024-03-29 cs.AI cs.LG math.OC
Targeted Regularization for Causal Effect Estimation with Exponential Dispersion Family Outcomes
Didi Chuxing（滴滴出行）
提出一种统一的目标正则化框架，通过冯·米塞斯展开修正一阶偏差，使神经网络在指数分散族结果变量下实现双重稳健性和快速收敛。
2026-05-22 cs.LG
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University（斯坦福大学）
本文研究并行 ReLU 网络的训练问题，提出路径正则化以揭示隐藏凸性并诱导群稀疏，同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
An algorithmic view of $\ell_2$ regularization and some path-following algorithms
The Ohio State University（俄亥俄州立大学）
建立了凸损失函数的$\ell_2$正则化解路径与常微分方程解之间的等价关系。重要的是，这种等价性揭示了解决方案的路径可以被视为梯度下降和牛顿方法应用于经验损失的混合流，这类似于广泛使用的称为信赖域方法的优化技术。这为$\ell_2$正则化提供了一个有趣的算法视图，与传统的观点相反，$\ell_2$正则化解路径类似于经验损失的梯度流。提出了基于同伦方法和数值ODE求解器的新的路径跟踪算法来数值逼近解路径。特别地，分别以牛顿法和梯度下降法作为同伦方法的基本算法，建立了它们在解路径上的逼近误差率。我们的理论提出了新的方案来选择网格点，以保证解路径的任意小的次最优性。在计算成本方面，我们证明了为了实现整个解路径的$ε$ -次最优性，牛顿法所需的牛顿步数是$\mathcal O(ε^{-1/2})$，而梯度下降法所需的梯度步数是$\mathcal O\left(ε^{-1} \ln(ε^{-1})\right)$。最后，我们使用$\ell_2$ -正则化逻辑斯谛回归作为一个说明性的例子来证明所提出的路径跟踪算法的有效性。
2021-07-07 cs.LG stat.CO stat.ML
Uniform Statistical Convergence of Empirical Sinkhorn Potentials with Exponential and Polynomial Dependence on the Regularization Parameter
University of Duisburg-Essen（杜伊斯堡-埃森大学）
该研究针对熵最优运输势的经验Sinkhorn估计量，在一致损失下，通过几何条件改进其关于正则化参数的依赖，建立多项式依赖的统计速率并给出匹配极小极大下界。
2026-09-01 cs.LG math.OC stat.ML
Quantifying Overfitting along the Regularization Path for Two-Part-Code MDL in Supervised Classification
The University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文针对二元分类中改进的双部分码MDL规则，给出了最坏情况极限误差随正则化参数λ和噪声水平变化的精确刻画，显著加强并推广了Grunwald和Langford关于λ=1时正则化不足的既有分析。
2025-03-10 cs.LG stat.ML
Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model
The University of Suwon（水原大学）；Linyi University（临沂大学）；University of Alberta（阿尔伯塔大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Beijing Normal University（北京师范大学）
在传统的Takagi-Sugeno-Kang（TSK）型模糊模型中，常值或线性函数通常被用作模糊规则的后件部分，但它们不能有效地描述由前件部分定义的局部区域内的行为。在这篇文章中，一个理论和实践的设计方法来解决这个问题。首先，应用信息粒化（模糊C均值）方法来捕获数据中的结构，并将输入空间划分为子空间，以及形成先行部分。其次，采用二次多项式（QP）作为后件部分。与常值函数和线性函数相比，量子点可以通过细化输入变量和输出变量之间的关系来描述局部区域（子空间）内的输入输出行为。然而，尽管QP可以提高模型的近似能力，但是它可能导致模型的预测能力的劣化（例如，过拟合）。为了解决这个问题，我们引入了一个指数权重的方法，启发了谐波分析中遇到的权函数理论。更具体地，我们采用指数函数作为目标惩罚项，其配备有l2正则化（l2）（即，指数加权l_2，ewl_2），以匹配所提出的加强二阶模糊规则为基础的模型（RSFRM）适当。与普通l2相比，el 2的优点在于对系数估计中不同类型的多项式项分别进行识别和惩罚，其结果不仅缓解了过拟合现象，防止了泛化能力的恶化，而且有效地释放了模型的预测潜力。
2020-07-02 cs.LG stat.ML
A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
在本文中，我们提出了一个简单的分析{ \bf快速率}与{\bf经验最小化}的{\it高概率}的{\it随机复合优化}在有限维有界凸集上的指数凹损失函数和任意凸正则化。据我们所知，这一结果是同类中的第一个。作为一个副产品，我们可以直接获得具有和不具有任何凸正则化的指数凹经验风险最小化的{ \it high probability}的快速速率，这不仅推广了经验风险最小化的现有结果，而且为分析具有和不具有{ \it any}凸正则化的指数凹经验风险最小化提供了一个统一的框架.我们的证明非常简单，只利用有限维有界集的覆盖数和随机向量的集中不等式。
2017-09-09 cs.LG math.OC stat.ML
Regularization for Shuffled Data Problems via Exponential Family Priors on the Permutation Group
George Mason University（乔治梅森大学）；U.S. Census Bureau（美国人口普查局）
在分析由（X，Y）对组成的数据集时，一个默认的假设是每个对对应于相同的观察单元。然而，如果这样的对是通过两个文件的记录链接获得的，则由于不匹配错误根源（例如，在两个文件中缺乏可靠的标识符），可能违反该假设。最近，在术语“混洗数据”下，对这种设置的兴趣激增，其中（X，Y）对的潜在正确配对通过未知索引排列表示。置换的显式建模往往与大量的过拟合相关联，这促使需要合适的正则化方法。在本文中，我们提出了一个灵活的指数家庭事先置换群，可用于整合各种结构，如稀疏和局部约束洗牌。这个先验证明是共轭的典型洗牌数据的问题，其中的可能性条件的固定排列可以表示为产品在相应的（X，Y）对。推理是基于期望最大化算法，其中棘手的E-步骤是近似的Fisher-Yates算法。如果（X，Y）-对的似然函数具有指数族形式，则M-步可以将$n^2$显著地减少到$n$项，这与广义线性模型的情形相同.合成和真实数据的比较表明，所提出的方法优于竞争的方法。
2021-11-02 cs.LG stat.ME stat.ML
Implicit Regularization Paths of Weighted Neural Representations
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
研究了预训练特征加权引发的隐式正则化效应，推导出连接不同加权矩阵与岭正则化水平的等价路径，证实了相关猜想，并据此开发出应用于多个模型和数据集的高效交叉验证调优方法。
2024-08-28 cs.LG math.ST stat.ML
Solution Path of Time-varying Markov Random Fields with Discrete Regularization
University of Michigan（密歇根大学）；University of Southern California（南加州大学）
针对时变马尔可夫随机场的稀疏推断，提出一种带精确离散正则化的约束优化方法，可在O(pT^3)内求解全部解路径，适用于高斯和离散MRF，每个时间仅需一个样本，可处理超3000万变量。
2023-07-25 cs.LG math.OC
Sparse Randomized Shortest Paths Routing with Tsallis Divergence Regularization
这项工作阐述了重要的问题（1）设计最佳的随机路由策略，从一个加权有向图G上的源节点s到达目标节点t和（2）定义节点之间的距离测量插值之间的最小成本（基于最佳运动）和通勤成本（基于G上的随机行走），取决于温度参数T。为此，随机化最短路径形式主义（RSP，[2，99，124]）在Tsallis散度正则化方面进行了重新表述，而不是Kullback-Leibler散度。这种变化的主要后果是，当T减小时，所得到的路由策略（局部转移概率）变得更稀疏，因此当T趋于0时，导致G上的稀疏随机游走收敛到最小成本有向无环图。在节点聚类和半监督分类任务上的实验比较表明，基于预期路由成本的相异性度量提供了最先进的结果。因此，稀疏RSP是一种有前途的图上移动模型，以最佳方式平衡稀疏开发和探索。
2020-07-01 cs.LG stat.ML
An Exact Solution Path Algorithm for SLOPE and Quasi-Spherical OSCAR
The Institute of Statistical Mathematics（统计数学研究所）
Sorted $L_1$ penalization estimator（SLOPE）是高维回归中排序绝对系数的正则化技术。通过在单调性约束下任意设置其正则化权重$λ$，SLOPE可以具有各种特征选择和聚类属性。在权重调整方面，所选择的特征及其聚类对调整参数非常敏感。此外，使用网格搜索方法很难详尽地跟踪它们的变化。本研究提出一个解路径演算法，提供完整且精确的解路径以微调正则化权重。一个简单的SLOPE的最优性条件，并用于指定下一个分裂点的解决方案的路径。本研究还提出了一种新的设计的正则化序列$λ$的特征聚类，这被称为准球形和八角形收缩和聚类算法回归（QS-OSCAR）。QS-OSCAR的正则化项的轮廓表面设计成最类似于一个球体。在几种正则化序列的设计，稀疏性和聚类性能进行了比较，通过模拟研究。数值实验结果表明，QS-OSCAR算法比其他算法更有效地进行特征聚类。
2020-10-29 cs.LG stat.CO stat.ME
Dynamic Visualization and Fast Computation for Convex Clustering via Algorithmic Regularization
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
凸聚类是一种很有前途的新方法，聚类的经典问题，结合了强大的性能，在实证研究和严格的理论基础。尽管有这些优点，凸聚类还没有被广泛采用，由于其计算密集的性质和缺乏令人信服的可视化。为了解决这些障碍，我们引入了正则化，这是一种创新技术，用于使用迭代一步近似方案获得正则化路径的高质量估计。我们证明我们的方法与一个新的理论结果，保证全局收敛的近似路径下容易检查的非数据依赖的假设下的精确解。将算法正则化应用到凸聚类中，产生了用于计算聚类解路径的凸聚类算法CARP（Convex Clustering via Acromic Regularization Paths）。在基因组学和文本分析的示例数据集上，CARP提供了比现有方法快100倍的速度，同时获得了比标准方法更精细的近似网格。此外，CARP能够改进聚类解决方案的可视化：CARP返回的精细解决方案网格可用于构建基于凸聚类的树状图，并形成基于现代Web技术的动态路径可视化的基础。我们的方法在开源R包clustRviz中实现，可在https://github.com/DataSlingers/clustRviz上获得。
2019-07-08 cs.LG stat.CO stat.ME
PENEX: AdaBoost-Inspired Neural Network Regularization
MPI for Intelligent Systems（智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
PENEX是一种理论支持的多类指数损失新形式，可通过一阶方法优化，提升神经网络在低数据场景下的泛化能力。
2026-10-27 cs.LG
Adaptive multi-penalty regularization based on a generalized Lasso path
Department of Mathematical Sciences, Norwegian University of Science and Technology（挪威科学与技术大学数学科学系）；Section for Computing and Software, Simula Research Laboratory AS（Simula研究实验室计算与软件部门）
本文提出了一种自适应多罚项正则化参数选择框架，通过构建包含结构相似解的区域，实现正确支持恢复，并结合模型选择准则进行数据自适应参数选择，提升压缩感知问题的鲁棒性和性能。
2017-10-11 cs.LG cs.NA math.NA
A Unified Dynamic Approach to Sparse Model Selection
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）
稀疏模型选择是普遍存在的从线性回归到图形模型，其中正则化路径，作为一族估计的正则化参数变化，计算时，正则化参数是未知的或数据自适应决定。传统的计算方法依赖于解决一组优化问题，其中正则化参数固定在可能效率低下的网格上。在本文中，我们引入了一个简单的迭代正则化路径，它遵循稀疏镜像下降算法或具有非线性损失的线性化Bregman迭代的推广的动态。其性能与\texttt{glmnet}相比具有竞争力，并进一步降低了偏差。提出了一种路径一致性理论，在约束强凸性（RSC）和不可表示条件（IRR）下，路径首先在一个子空间中演化，且不出现假阳性，最后到达一个符号一致或极小极大最优$\ell_2$错误率的估计.需要提前停止正则化以防止过拟合。应用实例给出稀疏逻辑斯谛回归和伊辛模型的NIPS合作。
2018-10-08 cs.AI cs.LG stat.ML
Equivariant Ensembles and Regularization for Reinforcement Learning in Map-based Path Planning
TUM School of Engineering and Design, Technical University of Munich（慕尼黑工业大学工程与设计学院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出等变集成方法，无需专用网络组件即可构造等变策略和不变值函数，并引入正则化项，在基于地图的路径规划中提升了强化学习的样本效率和性能。
2024-08-25 cs.LG cs.RO
L1 Regularization Paths in Linear Models by Parametric Gaussian Message Passing
ETH Zürich（苏黎世联邦理工学院）
本文提出两种新算法，用于计算状态空间中L1正则化路径，包括L1正则化卡尔曼平滑、线性SVM、LASSO等，方法基于参数高斯信息传递。
2026-10-14 cs.LG eess.SP stat.ME
Ridge Regression from Poisson Resetting: A Renewal Perspective on Spectral Regularization
manu.edu.mk
通过非平衡统计物理中的随机重置与统计学习中的岭正则化建立联系，证明线性梯度流下以速率r重置到原点产生的稳态均值即为岭估计，并推广到一般更新重置律以生成替代谱滤波器。
2026-05-28 cond-mat.stat-mech cs.LG stat.ML
Hidden Synergy: $L_1$ Weight Normalization and 1-Path-Norm Regularization
本文提出 PSiLON Net 架构，通过 $L_1$ 权重归一化简化 1-路径范数并引入高效学习与近稀疏参数的归纳偏置，同时设计简化残差块并证明路径子集即可约束 Lipschitz 常数，在小数据实验中验证了其可靠优化与强性能。
2024-04-29 cs.LG stat.ML
Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions
Department of Electromechanical, Systems and Metal Engineering, Ghent University, Ghent, Belgium（电子机械、系统与金属工程系，根特大学，根特，比利时）；Core lab MIRO, Flanders Make, Belgium（Flanders Make核心实验室，比利时）
本文通过KL正则化视角统一了多个最优控制形式，提出分离策略和转移KL惩罚的中央问题，恢复了经典SOC、RSOC及其软策略变体，通过迭代解恢复原始目标。
2026-05-13 cs.LG cs.RO cs.SY
Supervised Feature Selection in Graphs with Path Coding Penalties and Network Flows
INRIA Grenoble Rhône-Alpes（法国国立信息与自动化研究院格勒诺布尔罗讷-阿尔卑斯中心）
我们考虑监督学习问题，其中特征嵌入在图中，例如基因网络中的基因表达。在这种情况下，它是非常感兴趣的自动选择一个子图与几个连接组件;通过利用先验知识，确实可以提高预测性能或获得更容易解释的结果。最近提出了用于选择图中特征的正则化或惩罚函数，但它们提出了新的算法挑战。例如，它们通常需要解决所有连通子图之间的组合硬选择问题。在本文中，我们提出了计算上可行的策略来选择一个稀疏和良好连接的功能子集坐在一个有向无环图（DAG）。我们引入结构化稀疏惩罚路径上的DAG称为“路径编码”的处罚。与现有的正则化函数不同，这些正则化函数对图中特征之间的远程交互进行建模，路径编码惩罚是易于处理的。惩罚及其邻近算子涉及路径选择问题，我们利用网络流优化有效地解决了这个问题。我们在合成，图像和基因组数据上的实验表明，我们的方法是可扩展的，并且比图的其他正则化函数导致更多的连接子图。
2013-08-29 cs.LG math.OC stat.ML
Solution Path Algorithm for Twin Multi-class Support Vector Machine
Henan Normal University（河南师范大学）；Beihang University（北京航空航天大学）；Henan University of Science and Technology（河南科技大学）
双支持向量机及其扩展在处理二值分类问题上取得了很大的成就。然而，它在多分类问题的有效解决和快速模型选择方面存在困难。研究了双多类支持向量机正则化参数的快速调整算法。具体而言，首先采用了一种新的样本数据集划分策略，这是模型构建的基础。然后，结合线性方程组和分块矩阵理论，证明了拉格朗日乘子是分段线性的。正则化参数，使得正则化参数通过仅求解断点而被连续地更新。其次，证明了当正则化参数趋于无穷大时，拉格朗日乘子为1，从而设计了一种简单有效的初始化算法。最后，定义了八种事件来寻找下一次迭代的起始事件。在9个UCI数据集上的实验结果表明，该方法在不求解任何二次规划问题的情况下，可以获得相当的分类性能.
2023-02-14 cs.LG stat.ML
The Mathematical Theory of Double Descent as Shrinkage, not Overfitting: Matching Bounds for Path-Regularized Multilayer Neural Networks
Department of Automation, Tsinghua University（清华大学自动化系）
本文提出一种非渐近泛化理论，针对路径正则化的多层神经网络，无需假设损失函数有界，考虑了近似误差，并揭示了双下降现象的潜在机制。
2026-10-23 cs.AI cs.LG math.ST
Linear time dynamic programming for the exact path of optimal models selected from a finite set
许多学习算法都是根据寻找模型参数来制定的，这些参数使数据拟合损失函数加上正则化器最小化。当正则化涉及l0伪范数时，得到的正则化路径由有限的模型集组成。现有的计算正则化路径中断点的最快算法在模型数量上是二次的，因此它对高维问题的扩展性很差。我们提供了新的形式证明，动态规划算法可以用来计算断点在线性时间。对变点检测问题的实验结果表明，相对于网格搜索和以前的二次时间算法，该算法提高了精度和速度。
2020-03-05 cs.DS cs.LG stat.ML
Function approximation by neural nets in the mean-field regime: Entropic regularization and controlled McKean-Vlasov dynamics
该研究将平均场极限下两层随机权重神经网络的函数逼近问题转化为路径空间自由能泛函最小化问题，刻画了对应Föllmer漂移的最优解，并验证了平均场朗之万扩散在对数凹正则化下的逼近有效性。
2024-06-22 cs.LG math.OC math.PR
Efficient Path Algorithms for Clustered Lasso and OSCAR
The Institute of Statistical Mathematics（统计数学研究所）
在高维回归中，根据其对结果的影响进行特征聚类通常与特征选择一样重要。为此，聚类Lasso和八角形收缩和回归聚类算法（OSCAR）被用来自动生成特征组，分别由成对$L_1$范数和成对$L_\infty$范数。本文提出了有效的路径算法聚类Lasso和OSCAR的正则化参数来构建解决方案的路径。尽管穷举成对正则化中的项太多，但通过使用这些项的对称性来降低其计算成本。利用图论的有关理论，导出了检验各特征组次梯度方程的简单等价条件。数值实验结果表明，所提出的算法比现有的算法更有效。
2020-06-16 cs.LG stat.CO stat.ML
Deep Q-Exponential Processes
School of Mathematical & Statistical Sciences, Arizona State University（亚利桑那州立大学数学与统计学院）
本研究将Q指数过程（Q-EP）推广为深度Q-EP，通过堆叠浅层Q-EP层构建层级结构，结合诱导点稀疏近似与可扩展变分策略实现推理，兼具良好正则性与表达能力，在对比实验中展现出数值优势。
2024-10-29 cs.LG stat.ME stat.ML
The Price of Failure Risk: Clipped Barrier Policy Gradients with Convex Regularization
本文提出双重正则化强化学习框架，结合平均场理论与Wasserstein梯度流解决连续空间安全约束问题，并提供了可解性条件与指数收敛保证。
2026-10-30 cs.AI cs.LG math.OC
On the Effect of Initialization: The Scaling Path of 2-Layer Neural Networks
本文研究无限宽2层ReLU网络在不同尺度非零初始化下的正则化路径，利用非平衡最优传输理论建立无限维凸对应问题，证明缩放路径在核机制与丰富机制之间连续插值，并通过实验验证其与优化路径最终状态的一致性。
2023-08-09 cs.LG math.OC
Using mixup as regularization and tuning hyper-parameters for ResNets
Texas A&M University（德克萨斯A&M大学）
虽然新颖的计算机视觉架构越来越受欢迎，但模型架构的影响通常与训练方法的变化或探索有关。基于身份映射的架构ResNets和DenseNets在图像分类任务中承诺了开创性的结果，即使现在给出的数据相当有限，它们也是首选方法。考虑到使用有限资源进行训练的容易性，这项工作重新访问了ResNet，并通过使用混合数据增强作为正则化和调整超参数来改进ResNet 50 \cite{resnets}。
2021-11-23 cs.CV cs.LG
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Microsoft Research（微软研究院）；Canada CIFAR AI chair（加拿大高级研究所加拿大人工智能主席项目）
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应，沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型，我们激励和研究的启发式复杂性措施，捕捉这种现象，在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Continuation Path with Linear Convergence Rate
Georgia Institute of Technology（佐治亚理工学院）；Riken AIP（理化学研究所革新智能统合研究中心）；Nagoya Institute of Technology（名古屋工业大学）
路径跟踪算法经常用于复合最优化问题，其中一系列子问题，具有不同的正则化超参数，顺序求解。通过重用以前的解决方案作为初始化，更好的收敛速度已被观察到数值。这使得它成为一个非常有用的启发式算法，以加快机器学习中优化算法的执行。我们提出了一个原始的对偶分析的路径跟踪算法，并探讨如何设计其超参数，以及如何确定每个子问题应解决的准确性，以保证目标问题的线性收敛速率。此外，考虑稀疏诱导惩罚优化，我们分析了相对于正则化参数的活动集的变化。然后，后者可以自适应地校准，以精细地确定将沿着解决方案路径选择的特征的数量。这导致了用于校准活动集方法的超参数的简单算法，以降低其复杂性并改善其执行时间。
2021-12-09 cs.LG math.OC
Learning Games and Rademacher Observations Losses
NICTA（澳大利亚国家信息与通信技术研究院）；the Australian National University（澳大利亚国立大学）
最近已经表明，具有流行的逻辑损失的监督学习等价于优化关于类的充分统计的指数损失：Rademacher观测（rados）。我们首先证明，这种意想不到的等价实际上可以推广到其他示例/ rado损失，等价的必要和充分条件，以四种在各个领域中具有流行名称的损失为例：指数（提升），均值方差（金融），线性铰链（在线学习），ReLU（深度学习）和无铰链（统计）。其次，我们发现，推广揭示了一个令人惊讶的新的连接到正则化学习，特别是一个充分条件下，正则化损失的例子相当于正则化的rados（与闵可夫斯基和）在等效的rado损失。这为稀疏控制正则化带来了简单而强大的基于rado的学习算法，我们为正则化指数rado-loss提供了一个boosting算法，它正式提升了四种类型的正则化，包括流行的ridge和lasso，以及最近创造的slope --我们获得了最后一种正则化的第一个证明的boosting算法。通过我们对rado和基于示例的损失的等价性的第一个贡献，Omega-R.AdaBoost~似乎是一个有效的代理，可以使用四个正则化器中的任何一个来提高正则化逻辑损失。实验表明，正则化一致地提高了基于rado的学习的性能，并且即使在小的rado集合上学习时，也可能挑战或击败基于示例的学习的现有技术。最后，我们将正则化与差分隐私联系起来，并展示了如何在大域上提供微小的预算，同时击败（受保护的）基于示例的学习…
2016-02-13 cs.LG
