Graph Multiview Canonical Correlation Analysis
University of Minnesota（明尼苏达大学）
多视图典型相关分析（MCCA）寻求潜在的低维表示遇到的多视图数据的共享实体（又名。共同来源）。然而，现有的MCCA方法不利用公共源的几何形状，公共源可以是可用的\emph{a priori}，或者可以使用某些领域知识来构造。这些关于公共源的先验信息可以通过图进行编码，并被调用作为正则化器来丰富最大方差MCCA框架。在这种情况下，本文的新的图正则化（G）MCCA方法最大限度地减少了想要的典型变量和常见的低维表示之间的距离，同时考虑到图诱导的知识的共同来源。依靠一个函数捕捉的程度低维表示的多个视图是相似的，广义界的GMCCA建立的Rademacher的复杂性的基础上。针对数据对的数量小于数据向量维数的情况，还开发了一种图正则化的双MCCA方法。为了进一步处理数据中存在的非线性，还提出了图正则化核MCCA变体。有趣的是，图正则化的线性，对偶和核MCCA的解决方案，都提供了广义特征值分解。使用真实数据集的几个确证的数值测试，以展示相对于几个竞争的替代品，包括MCCA，拉普拉斯正则化MCCA，（图正则化）PCA的图形正则化MCCA的变种的优点。
2018-11-30 cs.LG eess.SP stat.ME
Stability and Generalization of lp-Regularized Stochastic Learning for GCN
University of Electronic Science and Technology of China（电子科技大学）；Northwestern Polytechnical University（西北工业大学）；Nanjing Audit University（南京审计大学）；Zhejiang Normal University（浙江师范大学）
本文提出一种ℓp正则化随机学习框架及SGD近端算法，量化GCN在平滑性与稀疏性间的权衡，并通过稳定性分析建立理论理解，实验验证了其有效性。
2023-06-20 cs.LG stat.ML
Stochastic Dual Coordinate Ascent with Adaptive Probabilities
University of Edinburgh（爱丁堡大学）
本文介绍AdaSDCA：随机对偶坐标上升法（SDCA）的一个自适应变体，用于求解正则化的经验风险最小化问题。我们的修改包括在整个迭代过程中，允许该方法自适应地改变对偶变量的概率分布。AdaSDCA实现了比SDCA更好的复杂性边界，具有最佳固定概率分布，称为重要性抽样。然而，这是一个理论性的特点，因为它是昂贵的实施。我们还提出了AdaSDCA+：一个实用的变体，在我们的实验中优于现有的非自适应方法。
2015-02-27 cs.LG math.OC stat.ML
Statistical consistency and asymptotic normality for high-dimensional robust M-estimators
我们研究了正则化稳健M-估计的理论性质，适用于当数据来自稀疏高维线性模型，并被重尾分布和/或离群值的附加误差和协变量污染时。我们首先在误差分布相当温和的条件下建立了惩罚回归估计的局部统计相合性的一种形式：当损失函数的导数有界且满足局部限制曲率条件时，在真实回归向量的恒定半径内的所有平稳点都以具有亚高斯误差的Lasso所享有的minimax速率收敛.当一个适当的非凸正则化的地方使用的l_1-罚款，我们表明，这样的驻点实际上是唯一的，等于当地的甲骨文解决方案与正确的支持-因此，结果渐近正态性在低维的情况下进行立即到高维设置。这对正则化非凸M-估计的效率有重要的影响，当误差是重尾的。当鲁棒回归函数和/或正则化函数是非凸的并且目标函数在局部区域外具有固定点时，我们对损失函数的局部曲率的分析对于优化也具有有用的后果。我们表明，只要一个复合梯度下降算法初始化的真实回归向量的恒定半径内，连续的迭代将以线性速度收敛到一个固定的点在局部区域内。此外，可以使用凸正则化鲁棒回归函数的全局最优值来获得合适的初始化。其结果是一个新的两步程序，使用凸M-估计，以实现一致性和非凸M-估计，以提高效率。
2015-01-01 cs.IT math.IT math.ST
Asymptotic normality of robust $M$-estimators with convex penalty
本文在高维情形下得到了具有凸罚的稳健M-估计的个体坐标的渐近正态性结果，其中维数$p$至多与样本容量$n$的阶数相同，即对于某一固定常数$γ>0$，为$p/n\leγ$.渐近正态性需要一个偏差校正，并保持了一个大类的损失函数，包括Huber损失和它的平滑版本正则化的强凸惩罚的M-估计的大多数坐标。渐近方差的特点，得到的置信区间的宽度估计与数据驱动的数量。这种方差估计自动适应于低（$p/n\to0)$）或高（$p/n \le γ$）维，并且不涉及在以前的M估计量的渐近正态性中看到的邻近算子。对于Huber损失，估计的方差具有涉及有效自由度以及有效样本大小的简单表达式。详细研究了弹性网络惩罚的Huber损失情况，并通过仿真研究证实了理论研究结果。本文给出的球面上高维随机向量的Stein公式的渐近正态性结果是独立的。
2021-07-08 math.ST stat.ML stat.TH
Improving Relational Regularized Autoencoders with Spherical Sliced Fused Gromov Wasserstein
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
关系正则化自动编码器（RAE）是一个框架，通过最小化重建损失以及潜在空间上的关系正则化来学习数据的分布。最近的一种尝试，以减少内部差异的先验和聚合的后验分布是将切片融合Gromov-Wasserstein（SFG）之间的这些分布。这种方法有一个弱点，因为它对待每个切片方向类似，同时有几个方向是没有用的判别任务。为了改善差异，从而关系正则化，我们提出了一个新的关系差异，命名为球形切片融合Gromov Wasserstein（SSFG），它可以找到一个重要的预测区域，其特征在于冯米塞斯-费舍尔分布。然后，我们引入了两个变种的SSFG，以提高其性能。第一个变体名为混合球形切片融合Gromov Wasserstein（MSSFG），用冯米塞斯-费舍尔分布的混合来取代vMF分布，以捕获多个彼此远离的重要方向区域。第二种变体，命名为功率球形切片融合Gromov Wasserstein（PSSFG），用功率球形分布代替vMF分布，以改善高维设置中的采样时间。然后，我们将新的差异应用于RAE框架，以实现其新的变体。最后，我们进行了广泛的实验，以表明新提出的自编码器具有良好的性能，在学习潜在的流形结构，图像生成和重建。
2020-10-05 cs.LG stat.ML
Receptive-field-regularized CNN variants for acoustic scene classification
声学场景分类和相关任务一直由卷积神经网络（CNN）主导。性能最好的CNN主要使用音频频谱图作为输入，并主要从计算机视觉中借用其架构设计。最近的一项研究表明，以适当的方式限制CNN的感受野（RF）对于它们在音频任务中的性能，鲁棒性和泛化至关重要。限制CNN的RF的一个副作用是丢失了更多的频率信息。在本文中，我们在DCASE 2019任务1.A数据集上对各种CNN架构的不同RF配置进行了系统研究。其次，我们引入了频率感知CNN来补偿由受限RF引起的频率信息的缺乏，并通过实验确定它们是否以及在什么RF范围内产生额外的改进。这些调查的结果是DCASE 2019挑战赛中不同任务的几个表现良好的提交。
2019-09-05 cs.LG cs.SD eess.AS
Proximal Quasi-Newton for Computationally Intensive L1-regularized M-estimators
我们考虑一类优化问题所产生的计算密集型L1-正则M-估计，其中的函数或梯度值是非常昂贵的计算。感兴趣的一个特定实例是用于学习条件随机场（CRF）的L1正则化MLE，条件随机场是用于各种结构化预测问题（例如序列标记、比对和使用标记分类法的分类）的一类流行的统计模型。CRF的L1正则化MLE优化起来特别昂贵，因为计算梯度值需要昂贵的推理步骤。在这项工作中，我们建议使用一个精心构造的近端拟牛顿算法，这样的计算密集型M-估计问题，我们采用了积极的活动集选择技术。在本文的一个关键贡献中，我们证明了即使在没有强凸性的情况下，通过利用强凸性的限制性变体，近似拟牛顿方法也是可证明超线性收敛的。在我们的实验中，所提出的算法收敛速度大大快于当前国家的最先进的序列标记和层次分类的问题。
2015-01-23 stat.ML
Entropy Partial Transport with Tree Metrics: Theory and Practice
RIKEN AIP（理化学研究所先进智能项目中心）；The University of Akron（阿克伦大学）
最优运输理论为比较概率测度提供了强有力的工具。然而，OT仅限于具有相同质量的非负测度，并且在计算和统计方面存在严重缺陷。这导致了最近的文献中OT的正则化变体的几个建议。在这项工作中，我们考虑了一个\textit{entropy partial transport}（EPT）问题的非负措施的树具有不同的质量。的EPT被证明是相当于一个标准的完整的OT问题上的一个节点的扩展树。我们推导出它的对偶公式，然后利用这一点提出了一种新的正则化EPT承认快速计算和负定性。据我们所知，提出的正则化EPT是第一种方法，产生一个\textit{closed-form}解决方案之间的可用变种的不平衡OT。对于实际应用中没有先验知识的树结构的措施，我们提出了树切片的变量的正则化EPT，计算平均这些措施之间的正则化EPT使用随机树度量，自适应地建立从支持数据点。利用我们的正则化EPT的负定性，我们引入了一个正定内核，并评估它对基准任务，如文档分类与词嵌入和拓扑数据分析的其他基线。此外，我们的经验表明，我们的正则化也提供了有效的近似。
2021-01-24 cs.LG stat.ML
Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games
CyberAgent, Inc.（赛博艾坚特公司）；University of Electro-Communications（电气通信大学）
在这项研究中，我们考虑了两人零和游戏中遵循正规化领导者（FTRL）动态的一种变体。当对策略进行时间平均时，FTRL保证收敛到纳什均衡，而许多变体遭受极限循环行为的问题，即，缺乏最后的收敛保证。为此，我们提出了突变FTRL（M-FTRL），一种算法，引入突变的动作概率的扰动。然后，我们调查的连续时间动态的M-FTRL和提供强收敛保证平稳点，近似纳什均衡下的全信息反馈。此外，我们的模拟表明，M-FTRL可以享受更快的收敛速度比FTRL和乐观的FTRL下的全信息反馈和令人惊讶的强盗反馈下表现出明显的收敛。
2022-06-18 cs.GT cs.LG stat.ML
High-Dimensional Tail Index Regression
Vanderbilt University（范德比尔特大学）；University of Washington（华盛顿大学）；Lehigh University（莱斯大学）
本文提出高维尾指数回归模型，通过正则化估计和去偏处理实现参数估计与推断，应用于社交媒体病毒性帖子的文本分析。
2026-01-16 cs.LG econ.EM stat.ML
Pointwise confidence estimation in the non-linear $\ell^2$-regularized least squares
Google DeepMind（谷歌DeepMind）；Sapient Intelligence（智睿智能）
本文研究 $\ell^2$ 正则化非线性最小二乘的非渐近逐点预测置信界，利用逆 Hessian 加权范数刻画测试点与训练数据的相似性，并提出近梯度成本的计算方法，实证优于 bootstrap。
2025-06-10 cs.LG stat.ML
A Hybrid Federated Kernel Regularized Least Squares Algorithm
Fondazione Istituto Italiano di Tecnologia（意大利技术研究院基金会）
针对数据在样本和特征上双重分散的混合联邦场景，提出Kernel Regularized Least Squares算法的高效重构与两种变体，经数据集验证并讨论了防御攻击的安全措施。
2024-07-24 cs.LG stat.ML
L0-Regularized Quadratic Surface Support Vector Machines
Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）；Department of Industrial and Systems Engineering, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校工业与系统工程系）
本文提出了一种基于L0范数正则化的二次曲面支持向量机，通过稀疏化模型参数提升泛化能力和解释性，有效解决过拟合问题，并在信用评分应用中展现良好性能。
2026-03-06 cs.LG stat.ML
A Quasi-Newton Approach to Nonsmooth Convex Optimization Problems in Machine Learning
我们将著名的BFGS拟牛顿法及其内存有限的变体LBFGS推广到非光滑凸目标的优化。这是通过将BFGS的三个组成部分推广到次微分来以严格的方式完成的：局部二次模型，下降方向的识别和Wolfe线搜索条件。我们证明了在一定的技术条件下，所得到的subBFGS算法在目标函数值上是全局收敛的。我们将它的记忆限制变体（subLBFGS）应用于具有二元铰链损失的L_2正则化风险最小化问题。为了将我们的算法扩展到多类和多标签设置，我们开发了一个新的，高效的，精确的线搜索算法。我们证明了它的最坏情况下的时间复杂度的界限，并表明我们的线搜索也可以用来扩展最近开发的捆绑方法的多类和多标签设置。我们还将算法的方向发现部分应用于具有逻辑损失的L_1正则化风险最小化问题。在所有这些情况下，我们的方法在许多公开可用的数据集上的表现与专业的最先进的求解器相当或更好。我们的算法的开源实现是免费的。
2010-02-22 math.OC stat.ML
Regularized DeepIV with Model Selection
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Genentech（基因泰克公司）
针对现有工具变量回归方法的三类局限，提出无需极小极大预言机的正则化DeepIV方法，支持通用函数逼近与模型选择，达到最优收敛速率并提供严格理论保证。
2024-03-07 cs.LG econ.EM math.ST
$\ell_1$-Regularized Generalized Least Squares
Imperial College London（伦敦帝国理工学院）；London School of Economics（伦敦政治经济学院）；Lancaster University（兰卡斯特大学）
针对高维自相关误差回归，提出三步式ℓ1正则化GLS估计器，理论证明其估计误差小于LASSO，模拟验证在自相关误差下性能更优。
2025-10-15 math.ST stat.ME stat.ML
