Macroscopic Traffic Flow Modeling with Physics Regularized Gaussian Process: A New Insight into Machine Learning Applications
University of Utah（犹他大学）
尽管近年来机器学习（ML）技术在交通流建模中得到了广泛的应用，但这些数据驱动的方法在数据集较小或有噪声的情况下往往无法达到准确性。为了解决这个问题，本研究提出了一种新的建模框架，命名为物理正则化机器学习（PRML），编码经典的交通流模型（称为物理模型）到ML架构和正则化ML训练过程。更具体地说，随机物理正则化高斯过程（PRGP）模型的开发和贝叶斯推断算法被用来估计的平均值和核的PRGP。基于宏观交通流模型的物理正则化器也被开发，以增加通过阴影GP和增强的潜在力模型的估计被用来编码到随机过程的物理知识。基于后验正则化推理框架，一个有效的随机最优化算法也被开发，以最大化系统似然的证据下界。为了证明所提出的模型的有效性，本文进行了实证研究的一个真实世界的数据集，这是从一个延伸的I-15高速公路，犹他州。结果表明，新的PRGP模型在估计精度和输入鲁棒性方面优于以往的兼容方法，如校准的纯物理模型和纯机器学习方法。
2020-02-06 cs.LG stat.ML
A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization
University of California, Berkeley（加州大学伯克利分校）
本文研究了soft-max参数化下的熵正则化约束马尔可夫决策过程（CMDPs），提出了一种加速对偶下降方法，并证明其在最优性间隙和约束违反上均实现了 $\widetilde{\mathcal{O}}(1/T)$ 的全局收敛速率。
2023-04-07 cs.LG math.OC
L_1-regularized Boltzmann machine learning using majorizer minimization
Kyoto University（京都大学）
我们提出了一种推理方法，估计稀疏的相互作用和偏见，根据玻尔兹曼机器学习。该方法的基础是$L_1$正则化，该正则化常用于压缩感知，这是一种用于从欠采样输出重建稀疏输入信号的技术。$L_1$正则化阻碍了梯度法的简单应用，由于代价函数缺乏平滑性，梯度法优化了导致精确估计的代价函数。在这项研究中，我们利用优化器最小化方法，这是一个众所周知的技术实现优化问题，以避免非光滑的成本函数。通过使用优化器最小化方法，我们阐明了本质上相关的偏见和相互作用，从给定的数据与看似强相关的组件。
2015-03-11 cond-mat.dis-nn cs.LG stat.ML
srMO-BO-3GP: A sequential regularized multi-objective constrained Bayesian optimization for design applications
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）；Georgia Institute of Technology（佐治亚理工学院）
贝叶斯优化（BO）是一种高效、灵活的全局优化框架，适用于非常广泛的工程应用。为了充分利用经典BO框架的能力，人们提出了许多扩展，包括多目标、多保真度、并行化、隐变量模型等，以改善经典BO框架的局限性。在这项工作中，我们提出了一种新的多目标（MO）扩展，称为srMO-BO-3GP，解决MO优化问题的顺序设置。三个不同的高斯过程（GP）堆叠在一起，其中每个GP被分配不同的任务：第一个GP用于近似单目标函数，第二个GP用于学习未知约束，第三个GP用于学习不确定的帕累托边界。在每次迭代中，采用MO增广的Tchebycheff函数将MO转换为单目标，并使用正则化脊项进行扩展，其中正则化被引入以平滑单目标函数。最后，我们将第三GP与经典的BO框架相结合，通过开发和探索获取函数来促进帕累托边界的丰富性和多样性。所提出的框架是使用几个数值基准函数，以及热机械有限元模型倒装芯片封装设计优化证明。
2021-08-31 cs.LG cs.NE stat.ML
Exclusivity Regularized Machine
State Key Laboratory Of Information Security（信息安全国家重点实验室）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
人们已经认识到，基础学习者的多样性对一个好的合奏至关重要。本文定义了一种新的多样性度量，称为排他性。在此基础上，进一步提出了一种集成模型，即ExclusivityRegularized Machine（ERM），以共同抑制集成的训练误差，增强基之间的多样性。此外，一个增广拉格朗日乘子为基础的算法是定制的，以有效地和高效地寻求最优解的ERM。理论分析的收敛性和全局最优性的算法，以及实验，以揭示我们的方法的有效性，并显示其优越性比国家的最先进的替代品的准确性和效率。
2016-05-16 cs.LG
Regularized target encoding outperforms traditional methods in supervised machine learning with high cardinality features
LMU Munich（慕尼黑大学）
由于大多数机器学习（ML）算法都是为数值输入而设计的，因此有效地编码分类变量是数据分析中的一个关键方面。一个常见的问题是高基数特征，即具有大量水平的无序分类预测变量。我们研究了产生分类变量的数值表示的技术，这些变量可以在随后的ML应用中使用。我们专注于这些技术对后续算法的预测性能的影响，并-如果可能的话-获得何时使用哪种技术的最佳实践。我们进行了一个大规模的基准测试实验，在实验中，我们使用回归、二进制和多类分类设置的数据集，比较了不同的编码策略和五种ML算法（套索、随机森林、梯度提升、k近邻、支持向量机）。在我们的研究中，目标编码的正则化版本（即使用基于训练集中特征水平的目标预测作为新的数值特征）始终提供最佳结果。传统上广泛使用的编码在创建二进制指示符变量之前做出不合理的假设来将级别映射到整数（例如整数编码）或减少级别的数量（可能基于目标信息，例如叶编码）（独热或虚拟编码）在比较中不是有效的。
2022-03-04 cs.LG stat.ML
Robustness and Regularization of Support Vector Machines
McGill University（麦吉尔大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑正则化的支持向量机（SVM），并表明它们是完全等价于一个新的强大的优化配方。我们表明，这种等价的鲁棒优化和正则化的算法和分析的影响。在算法方面，等价性建议更一般的SVM类分类算法，明确建立在保护噪声，并在同一时间控制过拟合。在分析方面，鲁棒性和正则化的等价性为正则化支持向量机的成功提供了鲁棒优化解释。我们使用这种新的鲁棒性解释的支持向量机（核化）支持向量机的一致性，从而建立鲁棒性的原因正则化支持向量机推广良好。
2008-11-11 cs.AI cs.LG
Regularized maximum correntropy machine
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们研究使用正则化相关熵框架学习分类器从噪声标签。通过最小化过渡损失函数学习的类标签预测器对训练样本的噪声和离群标签敏感，因为过渡损失函数被同等地应用于所有样本。为了解决这个问题，我们建议在正则化的最大相关熵准则（MCC）框架下，通过最大化预测标签和训练样本的真实标签之间的相关熵来学习类标签预测器。此外，我们正则化的预测器参数，以控制预测器的复杂性。学习问题由同时考虑参数正则化和MCC的目标函数来表示。通过交替优化目标函数，我们开发了一种新的预测器学习算法。在两个挑战模式分类任务上的实验表明，它的性能明显优于具有过渡损失函数的机器。
2015-01-18 cs.LG
Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients
Stanford University（斯坦福大学）
本文提出在策略梯度框架中引入互信息正则化器，在最大化奖励的同时最小化动作对敏感状态的披露，并开发了基于模型和无模型的优化估计器，实验证明其在高维任务中能有效隐藏敏感状态。
2024-04-16 cs.CR cs.LG
Physics-Regularized Machine Learning for Proprioceptive Vehicle Localization Using Onboard Sensors
AImotion Bavaria, Technische Hochschule Ingolstadt（巴伐利亚AImotion公司，英戈尔施塔特技术应用大学）；Technische Universität München（慕尼黑工业大学）
研究针对自主移动系统中车辆定位问题，提出物理正则化机器学习框架PRML2，结合卡尔曼滤波与数据驱动学习优势，通过可微卡尔曼滤波器实现物理正则化学习，提升定位精度与泛化能力，在公开数据集上验证其性能并引入新数据集。
2026-07-08 cs.AI cs.LG cs.RO
MoSSP: A Momentum-Based Single-Loop Stochastic Penalty Method for Nonconvex Constrained DC-Regularized Optimization
School of Mathematical Sciences, Beihang University, Beijing 100191, China（北京航空航天大学数学学院）；School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, China（中山大学计算机科学与工程学院）
提出MoSSP算法，一种基于动量的单环随机惩罚方法，用于解决具有非凸约束和DC正则化的随机优化问题，实现了O(ε^{-4})和O(ε^{-3})的oracle复杂度。
2026-05-28 cs.LG math.OC
Conditions for Convergence in Regularized Machine Learning Objectives
UC Berkeley（加州大学伯克利分校）
本文研究了现代凸优化算法收敛率的分析方法，探讨了分布式计算中非线性延迟对收敛性的影响，并给出了收敛性的存在性和收敛率下界。
2013-05-17 cs.LG cs.NA math.NA
Is Ordered Weighted $\ell_1$ Regularized Regression Robust to Adversarial Perturbation? A Case Study on OSCAR
IBM Research（IBM研究院）
许多最先进的机器学习模型，如深度神经网络，最近被证明容易受到对抗性扰动的影响，特别是在分类任务中。受对抗性机器学习的启发，本文研究了具有强相关协变量的稀疏回归模型对对抗性测量噪声的鲁棒性。具体来说，我们考虑家庭的有序加权$\ell_1$（OWL）正则化回归方法和研究的情况下，OSCAR（八角形收缩聚类算法回归）在对抗设置。在一个范数有界的威胁模型下，我们制定的过程中找到一个最大的破坏性噪音OWL-正则化回归作为一个优化问题，并说明了步骤，找到这样的噪音的情况下，OSCAR。实验结果表明，在我们的对抗性设置下，对强相关特征进行分组的回归性能可能会严重下降，即使噪声预算明显小于地面实况信号。
2018-10-03 cs.LG stat.ML
Cascade Adversarial Machine Learning Regularized with a Unified Embedding
Georgia Institute of Technology（佐治亚理工学院）
在训练过程中注入对抗性示例，称为对抗性训练，可以提高对单步攻击的鲁棒性，但对未知的迭代攻击则不行。为了应对这一挑战，我们首先展示了迭代生成的对抗图像可以在使用相同策略训练的网络之间轻松传输。受这一观察的启发，我们提出了级联对抗训练，它转移了对抗训练最终结果的知识。我们从零开始训练网络，除了从正在训练的网络中注入一步对抗图像外，还注入从已经防御的网络中迭代生成的对抗图像。我们还建议利用嵌入空间进行分类和低级（像素级）相似性学习，以忽略未知的像素级扰动。在训练过程中，我们注入对抗图像，而不替换它们相应的干净图像，并惩罚两个嵌入（干净和对抗）之间的距离。实验结果表明，级联对抗训练与我们提出的低级别相似性学习有效地提高了对迭代攻击的鲁棒性，但对一步攻击的鲁棒性下降。我们表明，结合这两种技术也可以提高最坏情况下的黑盒攻击场景下的鲁棒性。
2018-03-17 cs.LG stat.ML
Regularized Orthogonal Machine Learning for Nonlinear Semiparametric Models
University of Virginia（弗吉尼亚大学）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
针对单指标条件矩约束下的高维稀疏参数，提出了一种Lasso型估计。除了这个参数之外，矩函数还可以依赖于一个滋扰函数，例如倾向得分或条件选择概率，我们可以通过现代机器学习工具来估计。我们首先调整矩函数，使得未来损失函数的梯度相对于第一阶段正则化偏置不敏感（形式上，奈曼正交），保持单索引属性。然后，我们采取的损失函数是一个不定积分的调整后的矩函数的单一指标。建议的Lasso估计收敛于预言机的速度，其中预言机知道滋扰函数，只解决参数问题。我们证明了我们的方法，估计短期异质性影响康涅狄格州的就业第一福利改革实验对妇女的福利参与决策。
2021-09-10 cs.LG econ.EM math.ST
Regularized Machine Learning for System Identification of Ship Free-Running Manoeuvres from CFD-Based Synthetic Data: A Comparative Study
Hamburg University of Technology (TUHH)（汉堡技术大学）
本研究使用正则化回归方法从CFD生成的自由航行数据中辨识船舶水动力系数，重点评估了系数集大小、训练长度和操纵组合对模型性能的影响，发现Ridge回归在计算效率和预测精度间取得最佳平衡。
2026-06-17 cs.LG physics.flu-dyn stat.AP
Regularized Dynamic Boltzmann Machine with Delay Pruning for Unsupervised Learning of Temporal Sequences
IBM Research - Tokyo（IBM研究院 - 东京）
我们介绍延迟修剪，一个简单而强大的技术来规范动态玻尔兹曼机（DyBM）。最近推出的DyBM提供了一个特别结构化的玻尔兹曼机，作为多维时间序列的生成模型。这种玻尔兹曼机可以有无限多层的单元，但允许基于其生物动机结构的精确推理和学习。DyBM使用固定长度的先进先出（FIFO）队列形式的传导延迟的思想，其中神经元经由该FIFO队列连接到另一个神经元，并且来自突触前神经元的尖峰以恒定的延迟周期沿着队列行进到突触后神经元。在这里，我们提出延迟修剪作为一种机制，通过将一些延迟长度设置为具有固定概率的1，并最终选择具有固定延迟的最佳性能模型，来修剪FIFO队列的长度（使其为零）。DyBM中结构的独特性和基于非采样的学习规则使得先前提出的正则化技术（如Dropout或DropConnect）的应用变得困难，导致泛化能力差。首先，我们评估延迟修剪的性能，让DyBM学习由马尔可夫链生成的多维时间序列。最后，我们使用移动MNIST数据集证明了延迟修剪在学习高维序列中的有效性，并将其与Dropout和DropConnect方法进行了比较。
2016-09-22 cs.LG cs.NE stat.ML
L0-Regularized Quadratic Surface Support Vector Machines
Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）；Department of Industrial and Systems Engineering, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校工业与系统工程系）
本文提出了一种基于L0范数正则化的二次曲面支持向量机，通过稀疏化模型参数提升泛化能力和解释性，有效解决过拟合问题，并在信用评分应用中展现良好性能。
2026-03-06 cs.LG stat.ML
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania（宾夕法尼亚大学）；University of Virginia（弗吉尼亚大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文针对约束马尔可夫决策过程，提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法，首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
A Note on k-support Norm Regularized Risk Minimization
École Centrale Paris（巴黎中央理工学院）
最近引入了k-支撑范数来执行相关稀疏正则化。虽然Argyriou等人只报告了使用平方损失的实验，但在这里，我们将其应用于其他几种常用的设置，从而产生了具有有趣和熟悉的极限情况的新型机器学习算法。这里描述的算法的源代码是可用的。
2013-03-27 cs.LG
Distributed Coordinate Descent for L1-regularized Logistic Regression
Yandex（扬德克斯）；AVG Consulting（AVG咨询公司）
在分布式环境下求解L1正则化的逻辑斯谛回归是一个重要的问题。当训练数据集非常大并且无法容纳单个机器的内存时，就会出现这个问题。本文提出了一种在分布式环境下求解带L1正则化的逻辑斯谛回归的新算法d-GLMNET。我们的经验表明，它优于分布式在线学习通过截断梯度。
2014-11-24 cs.LG stat.ML
Solving L1-regularized SVMs and related linear programs: Revisiting the effectiveness of Column and Constraint Generation
MIT（麻省理工学院）；Vicarious AI
线性支持向量机是机器学习中的一种经典分类方法。受现代高维统计应用的启发，我们考虑惩罚SVM问题，涉及使用凸稀疏诱导正则化函数最小化铰链损失函数，例如：系数的L1范数，其分组推广和排序的L1惩罚（又名斜率）。每个问题都可以表示为线性规划（LP），并且当特征和/或样本的数量很大时，计算上具有挑战性-与通常的L2正则化线性SVM相比，这些问题的算法的当前状态相当新生。为此，我们提出了新的计算算法，这些LP汇集技术（a）经典的列（和约束）生成方法和（b）一阶方法的非光滑凸优化-技术，很少一起用于解决大规模的LP。这些组件有各自的优势，虽然他们被发现是有用的作为单独的实体，他们还没有一起使用的背景下，解决大规模的LP，如本文研究的。我们的方法补充了（a）和（b）的优势-导致一个方案，似乎显着优于商业解决方案以及这些问题的专门实现。我们提出了一系列真实和合成数据集的数值结果，证明了经典列/约束生成方法在具有挑战性的基于LP的机器学习任务的背景下的惊人有效性。
2021-08-27 cs.LG stat.ML
Sparse Learning and Class Probability Estimation with Weighted Support Vector Machines
Statistics and Data Science GIDP, University of Arizona（统计与数据科学GIDP，亚利桑那大学）；Department of Mathematics, University of Arizona（数学系，亚利桑那大学）
本文提出了一种新的加权支持向量机框架，结合自动变量选择与准确的概率估计，用于稀疏学习问题。通过解决ℓ1范数或弹性网络正则化的优化问题，实现了高效的变量选择和可靠的概率估计。
2026-03-24 cs.LG stat.ME stat.ML
Reproducing Kernel Banach Spaces with the l1 Norm II: Error Analysis for Regularized Least Square Regression
Arizona State University（亚利桑那州立大学）；Sun Yat-sen University（中山大学）
估计正则化学习方案的学习率的典型方法是通过采样误差、假设误差和正则化误差之和来限制近似误差。使用满足线性表示定理的再生核空间带来了自动从和中丢弃假设误差的优点。按照这个方向，我们说明了如何再生核Banach空间与l1范数可以应用于提高学习率估计的l1正则化在机器学习。
2011-01-27 cs.LG math.FA stat.ML
A General Distributed Dual Coordinate Optimization Framework for Regularized Loss Minimization
Tencent AI Lab（腾讯人工智能实验室）
在现代大规模机器学习应用中，训练数据通常被划分并存储在多台机器上。通常采用“数据并行“方法，其中在不跨机器移动数据的情况下最小化聚合的训练损失。在本文中，我们介绍了一种新的分布式对偶公式的正则化损失最小化问题，可以直接处理数据并行在分布式设置。这个公式使我们能够系统地推导出对偶坐标优化程序，我们称之为分布式交替对偶最大化（DADM）。该框架扩展了（Boyd等人，2011; Ma等人，2015 a; Jaggi等人，2014; Yang，2013），并进行了严格的理论分析。此外，在新公式的帮助下，我们通过将加速技术（Shalev-Shwartz和Zhang，2014）推广到分布式设置来开发DADM的加速版本（Acc-DADM）。我们还提供了所提出的加速版本的理论结果，新结果改进了以前的结果（Yang，2013; Ma等人，2015 a），其运行时间在条件数上线性增长。我们的实证研究验证了我们的理论，并表明，我们的加速方法显着改善了以前的国家的最先进的分布式双坐标优化算法。
2017-08-25 cs.DC cs.LG math.OC
El0ps: An Exact L0-regularized Problems Solver
Scale-AI Chair, Polytechnique Montréal（Polytechnique Montréal 的 Scale-AI 教席）；Ensai, Université de Rennes（Université de Rennes 的 Ensai）；CentraleSupélec, Université de Rennes（Université de Rennes 的 CentraleSupélec）
本文提出 Python 工具箱 El0ps，通过灵活建模框架、高性能精确求解器和内置机器学习流水线，支持跨领域的 L0 正则化问题实际应用。
2025-06-04 cs.LG cs.MS math.OC
Regularized HessELM and Inclined Entropy Measurement for Congestive Heart Failure Prediction
A. Yay k ( ) Military Academy \ Defence University, Ankara, Turkey email: Y. Kutlu Department of Computer Engineering, \. I skenderun Technical University, Hatay, Turkey G. Altan Department of Computer Engineering, \. I skenderun Technical University, Hatay, Turkey
我们的研究涉及通过分析心电图（ECG）信号自动预测充血性心力衰竭（CHF）。介绍了一种新的机器学习方法--基于正则化hessenberg分解的极端学习机（R-HessELM），以及特征模型：平方熵、圆熵、倾斜熵和网格熵，并将其用于CHF的预测。研究表明，倾斜熵度量特征能很好地表征心电信号的特征，与R-HessELM方法结合，总体准确率达到98.49%。
2019-07-12 cs.HC cs.LG cs.NA
Equivalence of Learning Algorithms
ENS Cachan（卡尚高等师范学校）；Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
本文的目的是引入机器学习算法之间等价性的概念。我们定义了两个概念的算法等价，即弱等价和强等价。这些概念对于识别何时可以将来自一个学习算法的学习特性转移到另一个学习算法是至关重要的。以正则化核机器为例，通过分析核岭回归（KRR）算法和m次幂正则化最小二乘回归（M-RLSR）算法之间的关系，说明引入等价概念的重要性.
2014-06-10 cs.LG stat.ML
Macroscopic Traffic Flow Modeling with Physics Regularized Gaussian Process: Generalized Formulations
Dalian Maritime University（大连海事大学）；University of Utah（犹他大学）
尽管经典业务流（例如，二阶宏观）模型和数据驱动（例如，机器学习- ML）方法在交通状态估计中的应用，这些方法要么需要大量的参数校准，要么缺乏理论解释。为了填补这一研究空白，本研究提出了一种新的建模框架，命名为物理正则化高斯过程（PRGP）。这种新颖的方法可以编码物理模型，即，经典的业务流模型，到高斯过程架构，以便正则化ML训练过程。特别地，本研究旨在讨论当原始物理模型具有离散形式时，如何建立PRGP模型。然后基于后验正则化推理框架，提出了一种有效的随机最优化算法来最大化系统似然的证据下界。为了证明所提出的模型的有效性，本文进行了实证研究的真实世界的数据集，从一个延伸的I-15高速公路，犹他州。结果表明，新的PRGP模型在估计精度和输入鲁棒性方面优于以往的兼容方法，如校准物理模型和纯机器学习方法。
2022-03-19 cs.LG eess.SP stat.ML
Sparsity-Constrained Optimal Transport
University of Basel（巴塞尔大学）；Google Research（谷歌研究院）
本文针对最优传输提出显式基数约束方法，以控制传输计划的稀疏性，并将其应用于稀疏专家混合中的 token 与专家匹配，证明对应半对偶问题可用一阶梯度方法求解，在无正则化与二次正则化最优传输之间建立联系。
2023-04-14 cs.LG stat.ML
Efficient Inverse-Free Algorithms for Extreme Learning Machine Based on the Recursive Matrix Inverse and the Inverse LDL' Factorization
Shenzhen University（深圳大学）
文献[4]中提出的无逆极端学习机（ELM）算法是基于无逆算法来计算正则化伪逆的，该正则化伪逆是从更新Hermitian矩阵的逆的无逆递归算法推导出来的。在文献[4]中应用递归算法之前，其改进版本已在以前的文献[9]，[10]中使用。相应地，从改进的递归算法[9]，[10]中，我们推导出一种更有效的无逆算法来更新正则化伪逆，由此我们发展了所提出的无逆ELM算法1。此外，所提出的ELM算法2进一步降低了计算复杂性，其直接从更新的逆计算输出权重，并且避免了计算正则化伪逆。最后，代替更新逆，所提出的ELM算法3通过逆LDLT因式分解[11]更新逆的LDLT因子，以避免在非常大量的迭代之后的数值不稳定性[12]。相对于现有的ELM算法，所提出的ELM算法1、2和3预计分别仅需要（8+3）/M、（8+1）/M和（8+1）/M的复杂度，其中M是输出节点数。在数值实验中，标准ELM、已有的无逆ELM算法和提出的ELM算法1、2和3在回归和分类方面取得了相同的性能，而所有提出的3种算法都显著地加速了已有的无逆ELM算法
2019-11-12 cs.LG stat.ML
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland（昆士兰大学）；University of Caen（卡昂大学）；La Trobe University（拉筹伯大学）
混合专家模型及其基于期望最大化算法的极大似然估计（MLE）已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下，高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE，用于聚类和回归，并提出了一个$\ell_1$正则化的MLE，以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计，并利用BIC类标准来选择模型参数，包括稀疏调整超参数。仿真数据上的实验表明，与标准的期望最大化算法相比，所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
Guaranteed Classification via Regularized Similarity Learning
College of Engineering, Mathematics and Physical Sciences（工程、数学与物理科学学院）；University of Exeter（埃克塞特大学）
从可用的数据中学习适当的（反）相似性函数是机器学习中的中心问题，因为许多机器学习算法的成功关键取决于相似性函数的选择来比较示例。尽管已经提出了许多相似性度量学习的方法，但很少有理论研究相似性度量学习和结果分类器的分类性能之间的联系。在本文中，我们提出了一个正则化的相似性学习公式与一般矩阵范数，并建立其推广界。我们表明，所得到的线性分离器的泛化误差可以由相似性学习的推导出的泛化界。这表明，学习的相似性函数的良好的一般化保证了所得线性分类器的良好分类。我们的结果推广和改进了Bellet等人[3]的结果。由于技术依赖于一致稳定性的概念[6]，那里得到的界仅对Frobenius矩阵范数正则化成立。我们使用Rademacher复杂性[5]及其相关的Khinchin-type不等式的技术使我们能够建立与一般矩阵范数（包括稀疏L1范数和混合（2，1）范数）相关的正则化相似性学习公式的界限。
2013-08-29 cs.LG
Regularized second-order optimization of tensor-network Born machines
Bar-Ilan University（巴伊兰大学）；Zapata AI.（Zapata AI公司）
本文针对张量网络玻恩机训练中对数损失函数导致的收敛慢和局部极小值问题，提出在归一化态流形上结合损失景观正则化的改进牛顿二阶优化方法，并在离散与连续数据集上验证了其稳定性、效率及可扩展性。
2025-05-06 cs.LG quant-ph
Continual Learning with Deep Streaming Regularized Discriminant Analysis
Ecole Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Paris（索尼计算机科学实验室巴黎分部）
针对持续学习中灾难性遗忘问题，提出流式正则化判别分析算法并与卷积神经网络结合，在ImageNet ILSVRC-2012上超越批量学习和现有流式学习方法。
2023-09-15 cs.CV cs.LG
Regularized Risk Minimization by Nesterov's Accelerated Gradient Methods: Algorithmic Extensions and Empirical Studies
University of Alberta（阿尔伯塔大学）；University of Chicago（芝加哥大学）；Purdue University（普渡大学）
Nesterov的加速梯度方法（AGM）已经成功地应用于许多机器学习领域。然而，他们在训练最大利润模型方面的经验表现不如现有的专业求解器。本文首先将AGM推广到强凸复合目标函数和Bregman型凸函数。我们的统一框架涵盖了AGM的$\infty$ -记忆和1-记忆风格，自适应地调整Lipschiz常数，并限制了对偶间隙。然后，我们展示了各种方法来应用这个框架的方法，以广泛的机器学习问题。重点将放在他们的收敛速度，以及如何有效地计算梯度和优化模型。实验结果表明，我们的扩展AGM优于最大利润模型的最先进的求解器。
2010-11-01 cs.LG
Analysis of regularized federated learning
School of Data Science, City University of Hong Kong（香港城市大学数据科学学院）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）
本文分析正则化联邦学习中的无环局部梯度下降算法，通过灵活步长改进，在非凸和强凸条件下给出收敛速率及充要条件。
2024-11-03 cs.DC cs.LG
Supporting Regularized Logistic Regression Privately and Efficiently
Beijing Key Laboratory of Information Service Engineering, Beijing Union University（北京联合大学信息服务业工程北京市重点实验室）；Vanderbilt University（范德堡大学）
正则化逻辑回归模型作为最流行的统计和机器学习模型之一，在生物医学、社会科学、信息技术等领域得到了广泛的应用，这些领域往往涉及到受严格隐私保护的人类数据。对数据隐私的日益关注使得协调和开展大规模合作研究变得越来越困难，这些研究通常依赖于跨机构的数据共享和联合分析。我们在这里的工作重点是保护正则化逻辑回归，这是一种在各个学科中广泛使用的机器学习模型，同时还没有从数据安全和隐私的角度进行研究。我们认为一个常见的使用场景的多机构的合作研究，如在研究联盟或网络的形式，广泛见于遗传学，流行病学，社会科学等，使我们的隐私增强解决方案的实用，我们展示了一个非传统的和计算效率高的方法，利用分布式计算和强大的密码学提供全面的保护个人层面和汇总数据。对几项研究的广泛实证评估验证了我们的建议的隐私保障，效率和可扩展性。我们还讨论了我们的解决方案的大规模研究和应用的实际意义，从不同的学科，包括遗传和生物医学研究，智能电网，网络分析等。
2015-10-01 cs.CR cs.LG q-bio.GN
