Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven（荷语鲁汶大学）
利用行列式点过程（DPPs）的框架，可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中，我们表明，采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外，我们利用最先进的DPP算法的常见设置来采样多个小子集，并将它们用于无脊回归的集合中。我们的第一个实证结果表明，集成的无脊回归可能是有趣的，用于数据集，包括冗余信息。
2020-07-07 cs.LG stat.ML
On the Regularization Properties of Structured Dropout
Mathematical Institute for Data Science, Johns Hopkins University（约翰斯·霍普金斯大学数据科学数学研究所）
Dropout及其扩展（例如，DropBlock和DropConnect）是用于训练神经网络的流行算法，在实践中已被证明可以提高泛化性能。然而，对它们的优化和正则化性质的理论理解仍然难以捉摸。最近的工作表明，在单隐层线性网络的情况下，Dropout是一种用于最小化正则化损失的随机梯度下降方法，并且正则化器诱导低秩和平衡的解。在这项工作中，我们表明，对于单隐藏层线性网络，DropBlock诱导谱k-支撑范数正则化，并促进低秩和具有相等范数因子的解决方案。我们还证明了DropBlock的全局极小值可以以封闭形式计算，并且DropConnect等价于Dropout。然后，我们表明，这些结果中的一些可以扩展到一般类的Dropout策略，并在一些假设下，深度非线性网络时，Dropout应用到最后一层。我们验证了我们的理论主张和假设实验常用的网络架构。
2020-06-20 cs.LG stat.ML
Max-Diversity Distributed Learning: Theory and Algorithms
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
我们研究了正则化经验风险最小化的分布式学习的风险性能，具有快速收敛速度，大大改善了现有的基于分治的分布式学习的错误分析。一个有趣的理论发现是，每个局部估计的差异越大，风险界越紧。这种理论分析促使我们设计一种有效的最大分集分布式学习算法（MDD）。实验结果表明，MDD可以优于现有的分而治之的方法，但有更多的时间。理论分析和实证结果表明，我们提出的MDD是合理和有效的。
2019-01-18 cs.LG stat.ML
The hidden advantage of mask resampling: a theory of masked autoencoders
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本研究通过高维模型证明掩码线性重建在异质噪声下能以线性样本复杂度恢复潜在特征，优于PCA，并揭示掩码重采样多样性可降低样本复杂度，实验表明动态掩码在CNN和视觉变换器中具下游优势。
2026-10-02 cond-mat.dis-nn cs.LG stat.ML
Implicit regularization of dropout
Shanghai Jiao Tong University（上海交通大学）
本研究推导并验证了dropout的隐式正则化理论，发现其能使隐藏神经元权重凝聚并找到更平坦的极小值，从而提升泛化能力，为全面理解dropout奠定基础。
2023-04-10 cs.LG
Unifying gradient regularization for Heterogeneous Graph Neural Networks
School of Computer Science and Engineering（计算机科学与工程学院）；Nanyang Technological University（南洋理工大学）
本文提出统一梯度正则化方法Grug，在消息传递中同时正则化传播消息与节点特征的梯度，以提升异构图神经网络的稳定性、泛化性、简洁性和信息利用多样性，并在多个数据集上验证其有效性。
2023-05-26 cs.AI cs.LG
Implicit Regularization in ReLU Networks with the Square Loss
Weizmann Institute of Science（魏茨曼科学研究所）
理解梯度下降的隐式正则化（或隐式偏差）是最近一个非常活跃的研究领域。然而，非线性神经网络中的隐式正则化仍然知之甚少，特别是对于回归损失，如平方损失。也许令人惊讶的是，我们证明了即使对于单个ReLU神经元，也不可能通过模型参数的任何显式函数来表征具有平方损失的隐式正则化（尽管从积极的方面来看，我们可以近似地表征它）。对于一个隐藏层网络，我们证明了一个类似的结果，一般来说，不可能以这种方式表征隐式正则化属性，除了Du et al. [2018]中确定的“平衡性”属性。我们的研究结果表明，可能需要一个更一般的框架比迄今为止考虑的理解隐式正则化的非线性预测，并提供了一些线索，这个框架应该是什么。
2021-06-08 cs.LG stat.ML
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University（斯坦福大学）
本文研究并行 ReLU 网络的训练问题，提出路径正则化以揭示隐藏凸性并诱导群稀疏，同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks
Tsinghua University（清华大学）；University of Minnesota（明尼苏达大学）
神经网络中的一个关键问题是选择最合适的隐层神经元数目并获得严格的统计风险界。在这项工作中，我们提出了一个新的角度对偏差方差权衡神经网络。作为选择神经元数目的替代方案，我们从理论上证明了$L_1$正则化可以控制泛化误差并稀疏化输入维数。特别是，在输出层上使用适当的$L_1$正则化，网络可以产生接近最小最大最优的统计风险。此外，在输入层上适当的$L_1$正则化导致不涉及输入数据维度的风险边界。我们的分析是基于一个新的融合的基于维度和基于范数的复杂性分析，以限制泛化误差。从我们的研究结果中得出的一个结论是，在适当的正则化下，过多的神经元不一定会增加泛化误差。
2020-10-02 cs.LG stat.ML
Group Sparse Regularization for Deep Neural Networks
University of Stirling（斯特灵大学）
在本文中，我们考虑同时优化（i）深度神经网络的权重，（ii）每个隐藏层的神经元数量，以及（iii）活动输入特征的子集（即，特征选择）。虽然这些问题通常是单独处理，我们提出了一个简单的正则化公式，允许并行解决所有这三个问题，使用标准的优化例程。具体来说，我们扩展了组Lasso惩罚（起源于线性回归文献），以便对网络的连接施加组级稀疏性，其中每个组被定义为来自单元的传出权重的集合。根据具体情况，权重可以与输入变量、隐藏神经元或偏置单元相关，从而同时执行所有上述任务，以获得紧凑的网络。我们进行了广泛的实验评估，通过比较与经典的重量衰减和Lasso处罚。我们表明，稀疏版本的组Lasso惩罚能够实现有竞争力的性能，而在同一时间导致非常紧凑的网络具有较少的输入功能。我们评估了一个玩具数据集的手写数字识别，并在多个现实的大规模分类问题。
2016-07-02 cs.LG stat.ML
Eccentric Regularization: Minimizing Hyperspherical Energy without explicit projection
University of New South Wales（新南威尔士大学）
最近引入了几种正则化方法，这些方法迫使自动编码器或深度神经网络的潜在激活符合高斯或超球面分布，或者最小化潜在空间中分布的隐式秩。在目前的工作中，我们引入了一种新的正则化损失函数，它模拟了项目之间的成对排斥力和每个项目对原点的吸引力。我们发现，最小化这个损失函数孤立实现了超球面分布。此外，当用作正则化项时，可以调整比例因子以允许更大的灵活性和偏心公差，从而允许根据潜变量的相对重要性对潜变量进行分层，同时仍然促进多样性。我们将这种偏心正则化方法应用于自动编码器，并证明了其在图像生成，表示学习和下游分类任务中的有效性。
2022-07-01 cs.AI cs.LG
Learning distinct features helps, provably
Tampere University（坦佩雷大学）；University of Jyväskylä（于韦斯屈莱大学）；Finnish Environment Institute（芬兰环境研究所）；Aarhus University（奥胡斯大学）
该研究针对两层神经网络的特征多样性问题，以隐藏层特征的平均$L_2$距离衡量多样性，基于Rademacher复杂度推导出依赖特征多样性的泛化界，证明隐藏层特征越多样泛化越好，并给出向深层网络与不同损失的扩展方法。
2023-06-13 cs.CV cs.LG
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了样本感知的策略熵正则化，以加强传统的策略熵正则化，以更好地探索。利用可从重放缓冲器获得的样本分布，所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵，以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者（DAC）。数值结果表明，DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
Muddling Label Regularization: Deep Learning for Tabular Datasets
Ecole Polytechnique（巴黎综合理工学院）；Université Paris Dauphine-PSL（巴黎第九大学-巴黎文理研究大学）
深度学习（DL）被认为是计算机视觉、语音识别和自然语言处理的最新技术。直到最近，人们还普遍认为DL与表格数据的学习任务无关，特别是在集成方法被公认为黄金标准的小样本区域。我们提出了一种新的端到端可微的方法来训练一个标准的FFNN。我们的方法，\textbf{Muddling labels for Regularization}（\texttt{MLR}），通过生成无信息标签和在训练过程中在最后一个隐藏层上应用可微的闭合形式正则化方案来惩罚记忆。\texttt{MLR}在来自UCI数据库和Kaggle的几个数据集上的回归和分类任务中优于经典NN和黄金标准（GBDT，RF），涵盖了大范围的样本量和特征样本比。研究人员和从业者可以将\texttt{MLR}作为现成的\DL{}解决方案单独使用，也可以将其集成到最先进的机器学习管道中。
2021-06-29 cs.AI cs.LG
Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network
Purdue University（普渡大学）；Hong Kong University of Science and Technology（香港科技大学）；East China Normal University（华东师范大学）
过参数化的神经网络训练梯度下降（GD）可以证明过拟合任何训练数据。然而，泛化保证可能不适用于噪声数据。从非参数的角度，本文研究如何以及过参数化神经网络可以恢复真实的目标函数在随机噪声的存在。我们建立了一个下界的$L_2$估计误差相对于GD迭代，这是远离零，没有一个微妙的计划提前停止。反过来，通过对$\ell_2$正则化GD轨迹的全面分析，我们证明了对于具有$\ell_2$正则化的过参数化的一个隐藏层ReLU神经网络：（1）输出接近于具有相应神经正切核的核岭回归的输出;（2）可以实现$L_2$估计误差的minimax {最优}率。数值实验证实了我们的理论，并进一步表明，$\ell_2$正则化方法提高了训练的鲁棒性，适用于更广泛的神经网络。
2021-09-25 cs.LG stat.ML
Stochastic Shared Embeddings: Data-driven Regularization of Embedding Layers
University of California, Davis（加利福尼亚大学戴维斯分校）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
在深度神经网络中，较低级别的嵌入层占参数总数的很大一部分。Tikhonov正则化、基于图的正则化和硬参数共享是在训练中引入显式偏差以降低统计复杂性的方法。或者，我们提出了随机共享嵌入（SSE），这是一种数据驱动的正则化嵌入层的方法，它在随机梯度下降（SGD）过程中随机转换嵌入之间的转换。由于SSE与现有的SGD算法无缝集成，因此在训练大规模神经网络时只需进行较小的修改即可使用。我们开发了两个版本的SSE：SSE-图使用知识图谱的嵌入; SSE-SE使用没有先验信息。我们为我们的方法提供了理论保证，并在6个不同的任务上显示了其经验有效性，从推荐系统中具有一个隐藏层的简单神经网络，到自然语言中的Transformer和BERT。我们发现，当与广泛使用的正则化方法（如权重衰减和dropout）一起使用时，我们提出的SSE可以进一步减少过拟合，这通常会导致更有利的泛化结果。
2020-10-03 cs.LG stat.ML
Semi-Supervised Phone Classification using Deep Neural Networks and Stochastic Graph-Based Entropic Regularization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Washington（华盛顿大学）
我们在深度神经网络的背景下描述了一个基于图的半监督学习框架，该框架使用基于图的熵正则化器来支持由数据诱导的图上的平滑解。这项工作的主要贡献是一个计算效率高，随机图形正则化技术，使用小批量是一致的图形结构，但也提供了足够的随机性（在小批量数据的多样性）的随机梯度下降方法收敛到好的解决方案。在这项工作中，我们专注于TIMIT语音语料库上的帧级电话分类精度的结果，但我们的方法是通用的，可扩展到更大的数据集。实验结果表明，当标记数据比例较低时，该方法与全监督方法相比，分类精度有了显著提高，在全标记情况下，该方法与其他方法相比具有较强的竞争力。
2018-05-30 cs.LG stat.ML
Limitation of Characterizing Implicit Regularization by Data-independent Functions
University of Illinois - Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
本文从数学上定义并研究了神经网络隐式正则化，提出两点和单点重叠机制，证明了使用数据无关函数刻画隐式正则化的局限性，强调了其深刻的数据依赖性。
2023-09-07 cs.LG
Improving robustness and calibration in ensembles with diversity regularization
Technische Universität Darmstadt（达姆施塔特工业大学）
校准和不确定性估计是高风险环境中的关键问题。我们引入了一个新的多样性正则化分类任务，使用分布外的样本，并增加了整体的准确性，校准和分布外检测的合奏能力。继最近的兴趣在合奏的多样性，我们系统地评估显式正则化合奏多样性的可行性，以提高校准的分布数据，以及根据数据集转移。我们证明了多样性正则化在架构中是非常有益的，其中权重在各个成员之间部分共享，甚至允许使用更少的集成成员来达到相同的鲁棒性水平。在CIFAR-10、CIFAR-100和SVHN上的实验表明，正则化多样性可以对校准和鲁棒性以及分布外检测产生显著影响。
2022-01-26 cs.AI cs.LG
How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer
ETH Z\"urich, D-Math, R\"amistrasse 101, CH-8092 Z\"urich, Switzerland
本文针对第一层随机、仅末层训练的一维浅层ReLU神经网络，证明其L2正则化回归等价于函数空间二阶导数正则化，最小二乘下节点数趋于无穷时收敛于光滑样条插值，并建立早停梯度下降与光滑样条回归的对应关系。
2023-10-04 cs.LG cs.NA math.NA
Diversity regularization in deep ensembles
Computer Vision and Systems Laboratory / REPARTI and Big Data Research Centre（计算机视觉与系统实验室/REPARTI与大数据研究中心）；Université Laval（拉瓦尔大学）
校准监督学习模型的置信度对于预测的确定性应该是可靠的各种上下文是重要的。然而，据报道，深度神经网络模型通常校准得太差，无法实现在其预测中需要可靠的不确定性估计的复杂任务。在这项工作中，我们提出了一种使用多样性函数正则化训练深度集合的策略，该策略在保持相似预测精度的同时提高了校准性能。
2018-02-22 cs.LG
Deep Modularity Networks with Diversity-Preserving Regularization
Department of Electrical and Computering Engineering（电气与计算机工程系）；McGill University（麦吉尔大学）
针对DMoN缺乏特征空间分离等显式机制的问题，提出DMoN-DPR方法，通过引入距离、方差及分配熵三种正则化项增强特征空间多样性与分配置信度，显著提升了基准数据集上的聚类指标。
2025-11-03 cs.LG
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
Seoul National University（首尔国立大学）
深度学习容易受到对抗性样本的影响。许多基于随机神经网络的防御方法已经被提出来解决这个问题，但未能实现对使用代理梯度的攻击的鲁棒性，例如变换期望（EOT）攻击。我们研究了使用代理梯度的对抗攻击对随机神经网络的影响，并证明了它高度依赖于随机神经网络的损失梯度的方向分布。我们特别表明，代理梯度是不太有效的梯度时，更分散。为此，我们提出了梯度多样性（GradDiv）正则化，最大限度地减少梯度的浓度，以建立一个强大的随机神经网络。我们在MNIST，CIFAR10和STL 10上的实验表明，我们提出的GradDiv正则化提高了随机神经网络对各种最先进的攻击方法的对抗鲁棒性。此外，我们的方法有效地减少了随机神经网络样本模型之间的可移植性。
2021-07-06 cs.LG
DSDR: Dual-Scale Diversity Regularization for Exploration in LLM Reasoning
The Ohio State University, USA（俄亥俄州立大学）；Case Western Reserve University, USA（凯斯西储大学）；The Chinese University of Hong Kong, Hong Kong（香港中文大学）；Macquarie University, Australia（麦考瑞大学）；University of Michigan, USA（密歇根大学）；The University of Hong Kong, Hong Kong（香港大学）；University College London, UK（伦敦大学学院）
DSDR通过双尺度多样性正则化提升LLM推理中的探索能力，通过全局和局部正则化机制增强路径多样性，提高学习信号稳定性。
2026-02-23 cs.CL cs.LG
Learning Intractable Multimodal Policies with Reparameterization and Diversity Regularization
Hong Kong University of Science and Technology（香港理工大学）
本文提出通过重参数化和基于距离的多样性正则化优化难解多模态策略，在多目标达成和生成式RL等场景中提升了少样本鲁棒性与决策多样性，并在MuJoCo基准中保持竞争力。
2025-11-03 cs.LG
Non-Autoregressive Machine Translation with Auxiliary Regularization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Peking University（北京大学）
非自回归机器翻译（NAT）作为一种新的神经机器翻译方法，因其高效的推理能力而受到广泛关注。然而，高效率是以不捕获对转换的目标侧的顺序依赖性为代价的，这导致NAT遭受两种类型的转换错误：1）重复的转换（由于不可区分的相邻解码器隐藏状态），以及2）不完整的转换（由于经由解码器隐藏状态的源侧信息的不完整传输）。在本文中，我们建议通过在NAT模型的训练过程中通过两个辅助正则化项来提高解码器隐藏表示的质量来解决这两个问题。首先，为了使隐藏状态更加可区分，我们根据相应的目标令牌来正则化连续隐藏状态之间的相似性。其次，为了迫使隐藏状态包含源句子中的所有信息，我们利用翻译任务的双重性质（例如，英语到德语和德语到英语），并最小化后向重构误差，以确保NAT解码器的隐藏状态能够恢复源侧语句。在多个基准数据集上进行的大量实验表明，这两种正则化策略都是有效的，可以缓解NAT模型中的重复翻译和不完整翻译问题。因此，NAT模型的准确性相对于最先进的NAT模型显著提高，具有更好的推理效率。
2019-02-22 cs.CL cs.LG stat.ML
Automatic Node Selection for Deep Neural Networks using Group Lasso Regularization
Doshisha University（同志社大学）；Advanced Telecommunications Research Institute International（国际高级电信研究所）
我们通过将DNN-HMM混合语音识别器应用于TED Talks语音数据来检查组Lasso（gLasso）正则化器在选择深度神经网络（DNN）隐藏层的显着节点时的效果。我们测试了两种类型的gLasso正则化，一种用于传出权重向量，另一种用于传入权重向量，以及两种大小的DNN：2048个隐藏层节点和4096个节点。此外，我们比较了gLasso和L2正则化器。我们的实验结果表明，我们的DNN训练（其中嵌入了gLasso正则化器）成功地选择了实现高分类能力所必需且足够的隐藏层节点。
2016-11-17 cs.CL cs.LG stat.ML
DiRe: Diversity-promoting Regularization for Dataset Condensation
Department of Artificial Intelligence, Indian Institute of Technology Hyderabad（人工智能系，印度理工学院海得拉巴）；Centre for Responsible AI, Wadhwani School of Data Science & AI, Indian Institute of Technology Madras（负责任人工智能中心，Wadhwani数据科学与人工智能学院，印度理工学院马德拉斯）
DiRe通过引入余弦相似度和欧几里得距离的正则化方法，提升数据集压缩的多样性与泛化能力。
2025-12-30 cs.CV cs.LG
HingeRLC-GAN: Combating Mode Collapse with Hinge Loss and RLC Regularization
United International University（联合国际大学）；BRAC University（BRAC大学）
针对GAN模式坍缩问题，提出结合RLC正则化与铰链损失的HingeRLC-GAN架构，在FID 18和KID 0.001下实现更优的多样性与训练稳定性平衡。
2025-03-24 cs.AI cs.LG
Improving Generalization in Reinforcement Learning with Mixture Regularization
National University of Singapore（新加坡国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
深度强化学习（RL）在有限的环境中训练的代理往往会遭受过拟合，并且无法推广到看不见的测试环境。为了提高其通用性，数据增强的方法（如剪切和随机卷积），以前探索增加数据的多样性。然而，我们发现这些方法只是局部扰动的观察，无论训练环境，提高数据的多样性和泛化性能表现出有限的效果。在这项工作中，我们介绍了一种简单的方法，名为mixreg，它训练代理的混合观察来自不同的训练环境，并施加线性约束的观察插值和监督（例如相关的奖励）插值。Mixreg更有效地增加了数据多样性，并帮助学习更顺畅的策略。我们验证了其有效性，提高泛化进行了广泛的实验上的大型Procgen基准。结果显示，mixreg在看不见的测试环境中的性能远远优于成熟的基线。Mixreg简单、有效、通用。它可以应用于基于策略和基于值的RL算法。代码可在https://github.com/kaixin96/mixreg上获得。
2020-10-21 cs.AI cs.LG stat.ML
Diversity-Sensitive Conditional Generative Adversarial Networks
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
我们提出了一种简单而高效的方法，解决了条件生成对抗网络（cGAN）中的模式崩溃问题。虽然条件分布是多模态的（即，在实践中，大多数cGAN方法倾向于学习过度简化的分布，其中输入总是被映射到单个输出，而不管潜在代码的变化。为了解决这个问题，我们建议显式地正则化生成器，以根据潜在代码产生不同的输出。所提出的正则化是简单的，一般的，并且可以很容易地集成到大多数条件GAN目标。此外，生成器上的显式正则化允许我们的方法控制视觉质量和多样性之间的平衡。我们证明了我们的方法在三个条件生成任务：图像到图像的翻译，图像修补，和未来的视频预测的有效性。我们表明，简单地将我们的正则化添加到现有模型中会导致令人惊讶的多样化生成，大大优于以前在每个单独任务中专门设计的多模态条件生成方法。
2019-01-25 cs.LG stat.ML
Proximal Mapping for Deep Regularization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
支撑深度学习成功的是有效的正则化，它允许对数据中的各种先验进行建模。例如，对抗性扰动的鲁棒性，以及多种模态之间的相关性。然而，大多数正则化器都是根据隐藏层输出来指定的，这些输出本身并不是优化变量。与通过模型权重间接优化它们的流行方法相比，我们建议将邻近映射作为一个新的层插入到深度网络中，直接显式地产生良好的正则化隐藏层输出。由此产生的技术显示连接到内核翘曲和辍学，和新的算法开发了强大的时间学习和多视图建模，都优于国家的最先进的方法。
2020-06-14 cs.LG stat.ML
Hidden Markov Neural Networks
ESOMAS, University of Torino（都灵大学ESOMAS学院）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；School of Mathematics, University of Bristol（布里斯托大学数学学院）
该研究提出隐马尔可夫神经网络，将网络权重建模为隐马尔可夫模型隐状态，结合序列反向传播贝叶斯与变分DropConnect，在多任务上实现了优异预测性能与有效不确定性量化。
2025-01-16 cs.LG stat.ML
Interpretable Neuron Structuring with Graph Spectral Regularization
Yale Department of Computer Science（耶鲁大学计算机科学系）；Yale Department of Genetics（耶鲁大学遗传学系）；Université de Montréal, Dept. of Math. & Stat.（蒙特利尔大学数学与统计系）；Mila（米拉研究院）
虽然神经网络是用于将数据分类或嵌入低维空间的强大近似器，但它们通常被视为具有不可解释特征的黑盒。在这里，我们提出了图谱正则化，使隐藏层更易于解释，而不会显着影响主要任务的性能。从生物网络中神经元激活的空间组织和定位中得到灵感，我们使用图拉普拉斯惩罚来构造层内的激活。该惩罚鼓励激活在预定图上或在经由神经网络的隐藏层的共同激活从数据学习的特征空间图上是平滑的。我们展示了这种附加结构的许多用途，包括生物和图像数据集的聚类指示和可视化。
2020-02-14 cs.AI cs.LG cs.NE
Noise Consistency Regularization for Improved Subject-Driven Image Synthesis
The Australian National University（澳大利亚国立大学）；Rutgers University（罗格斯大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文针对主体驱动扩散模型微调中的欠拟合与过拟合问题，提出先验一致性和主体一致性两种噪声正则化损失，在保持主体身份的同时提升背景多样性与视觉质量。
2025-06-06 cs.AI cs.CV cs.GR
Hidden Synergy: $L_1$ Weight Normalization and 1-Path-Norm Regularization
本文提出 PSiLON Net 架构，通过 $L_1$ 权重归一化简化 1-路径范数并引入高效学习与近稀疏参数的归纳偏置，同时设计简化残差块并证明路径子集即可约束 Lipschitz 常数，在小数据实验中验证了其可靠优化与强性能。
2024-04-29 cs.LG stat.ML
Latent Variable Modeling with Diversity-Inducing Mutual Angular Regularization
Carnegie Mellon University（卡内基梅隆大学）
潜变量模型（LVMs）是机器学习模型的大家族，提供了从观察到的数据中提取潜在模式、结构和知识的原则性和有效的方法。由于数据量和复杂性的急剧增长，出现了几个新的挑战，现有的LVM无法有效解决：（1）当模式的流行度以幂律分布时，如何捕获携带关键信息的长尾模式？(2)如何在不影响LVMs建模能力的情况下降低模型复杂度和计算成本？(3)如何提高模式的可解释性，减少模式的冗余？为了解决上面讨论的三个挑战，我们开发了一种新的LVMs正则化技术，该技术在学习过程中控制潜在空间的几何形状，使学习到的LVMs潜在组件在相互不同的意义上是多样的，以实现长尾覆盖，低冗余和更好的可解释性。我们提出了一个相互角度正则化（MAR），以鼓励LVMs中的组件有更大的相互角度。MAR是非凸和非光滑的，这给优化带来了很大的挑战。为了解决这个问题，我们推导了MAR的光滑下界，并对下界进行了优化。我们证明了下界的单调性与MAR密切相关，从而使下界成为MAR的理想替代品。以神经网络（NN）为例，分析了MAR如何影响NN的泛化性能。在两个流行的潜变量模型-限制玻尔兹曼机和距离度量学习上，我们证明了MAR可以有效地捕获长尾模式，在不牺牲表达性的情况下降低模型复杂度，提高可解释性。
2015-12-23 cs.LG stat.ML
On Regularization Properties of Artificial Datasets for Deep Learning
Military University of Technology（军事科技大学）
本文讨论了用于深度学习的人工数据的正则化特性。人工数据集允许在真实数据短缺的情况下训练神经网络。它表明，人工数据生成过程，描述为注入噪声的高层次的功能，具有几个相似之处，现有的正则化方法的深度神经网络。我们可以将人工数据的这种属性视为一种“深度”正则化。因此，可以通过以某种方式生成训练数据来正则化网络的隐藏层。
2019-08-19 cs.LG stat.ML
DexDeepFM: Ensemble Diversity Enhanced Extreme Deep Factorization Machine Model
Zhejiang University（浙江大学）
预测用户肯定响应（例如，购买和点击）概率是Web应用程序中的一项关键任务。为了从原始数据中识别预测特征，最先进的极深因子分解机器模型（xDeepFM）引入了一个新的交互网络，以显式地利用矢量级别的特征交互。然而，由于交互网络中的每个隐藏层都是特征图的集合，因此它本质上可以被视为不同特征图的集合。在这种情况下，仅使用单个目标来最小化预测损失可能导致过拟合并产生相关误差。本文提出了一种集成多样性增强的极深因子分解机器模型（DexDeepFM），该模型在每个隐层设计集成多样性度量，在目标函数中同时考虑集成多样性和预测精度。此外，引入注意力机制来区分不同特征交互顺序的集合多样性度量的重要性。在三个公开的真实世界数据集上进行了广泛的实验，以显示所提出的模型的有效性。
2021-12-10 cs.LG
Spectral M-estimation with Applications to Hidden Markov Models
Harvard University（哈佛大学）
矩估计方法表现出吸引人的统计性质，如渐近无偏性，非凸问题。然而，它们通常需要大量的样本，并且对模型错误指定非常敏感。在本文中，我们应用M-估计的框架，开发了一个广义的矩方法程序和正则化的原则性方法。我们提出的M-估计获得最佳的样本效率率（在类的矩为基础的估计）和相同的知名率的预测精度作为其他谱估计。这也使得将正则化合并到样本矩条件中变得简单。我们实证证明了我们的隐马尔可夫模型的方法在样本效率的收益。
2016-03-29 cs.LG stat.CO stat.ME
Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations
Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
我们表明，梯度下降算法提供了一个隐式的正则化效果在学习过参数化矩阵分解模型和一个隐藏层神经网络与二次激活。具体地说，我们表明，给定$\tilde{O}(dr^{2})$随机线性测量秩$r$半正定矩阵$X^{\star}$，我们可以恢复$X^{\star}$参数化它的$UU^\top$与$U\in \mathbb R^{d\times d}$和最小化平方损失，即使$r \ll d$。我们证明，从一个小的初始化，梯度下降恢复$X^{\star}$在$\tilde{O}(\sqrt{r})$迭代近似。结果解决了Gunasekar等人的猜想。'17在限制等距属性下。该技术可以应用于分析神经网络与一个隐藏层的二次激活的一些技术修改。
2019-02-14 cs.DS cs.LG math.OC
CROW: Eliminating Backdoors from Large Language Models via Internal Consistency Regularization
School of Computing and Information Systems, Singapore Management University, Singapore（计算与信息系统学院，新加坡国立管理大学）
针对文本生成式LLM后门防御难题，本文提出CROW，利用对抗扰动和跨层一致性正则化在微调中消除后门，仅需小型干净数据集，并在多类模型与攻击策略上验证有效。
2025-06-11 cs.AI cs.CL cs.LG
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida（南佛罗里达大学）
在本文中，我们提出了一种新的无监督聚类方法，利用隐藏的信息，是间接引入通过一个伪分类目标。具体来说，我们随机地为每个观察分配一个伪父类标签，然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层（ACOL）的神经网络，该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化（GAR）项的无监督目标，每个父类的softmax副本都是专门的，因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外，我们还演示了所选择的转换类型如何影响性能，并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST，SVHN和USPS数据集上无监督聚类任务的最新性能，具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
Neural Diversity Regularizes Hallucinations in Language Models
South Park Commons（南公园公馆）
神经多样性通过解相关并行表示减少语言模型幻觉，结合LoRA适配器与Barlow Twins正则化，提升可靠性并保持准确性。
2026-08-06 cs.AI cs.CL cs.LG
Benefiting Deep Latent Variable Models via Learning the Prior and Removing Latent Regularization
National Chiao Tung University（台湾交通大学）
存在许多形式的深层潜变量模型，例如变分自编码器和对抗自编码器。无论模型的具体类别如何，都存在一个隐含的共识，即潜在分布应该朝着先验进行正则化，即使在先验分布被学习的情况下也是如此。在研究潜在正则化对图像生成的影响时，我们的结果表明，在学习了充分表达的先验知识的情况下，潜在正则化是不必要的，并且实际上可能对图像质量有害。我们还研究了在计算机视觉中两个常见问题上学习先验知识的好处：潜变量解纠缠和图像到图像翻译的多样性。
2020-07-16 cs.LG stat.ML
GARDO: Reinforcing Diffusion Models without Reward Hacking
Hong Kong University of Science and Technology（香港科学与技术大学）；Kuaishou Technology（快手科技）；CUHK MMLab（港中文大学MMLab）；The University of Edinburgh（爱丁堡大学）
GARDO通过自适应正则化和多样性增强，有效缓解扩散模型中的奖励黑客问题，提升生成多样性与样本效率。
2025-12-30 cs.AI cs.CV cs.LG
Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Duke University（杜克大学）
研究了具有softmax策略和非线性函数逼近的无限期折扣马尔可夫决策过程的策略优化问题，该非线性函数逼近采用策略梯度算法训练.我们专注于平均场机制中的训练动态，例如建模，宽单隐层神经网络的行为，通过熵正则化鼓励探索。这些模型的动力学被建立为参数空间中分布的Wasserstein梯度流。在较温和的初始化条件下，我们进一步证明了该动力学不动点的全局最优性。
2020-10-22 cs.LG stat.ML
Latent Regularization in Generative Test Input Generation
North Carolina State University（北卡罗来纳州立大学）；Technical University of Munich（慕尼黑技术大学）；fortiss GmbH（fortiss公司）
本研究提出通过潜在空间正则化提升生成测试输入质量的方法，通过比较两种截断策略，发现潜在代码混合能提高故障检测、多样性和有效性。
2026-02-17 cs.LG cs.SE
Extreme Learning Machine with Local Connections
Dalian University of Technology（大连理工大学）
研究了极限学习机（ELM）输入隐权值的稀疏化问题。对于普通的前向神经网络，稀疏化通常是通过在网络的学习过程中引入某种正则化技术来实现的。但这种策略不能应用于ELM，因为ELM的输入隐藏权重应该是随机选择的，而不是学习的。为此，我们提出了一种改进的ELM，称为ELM-LC（ELM与本地连接），这是专为稀疏的输入隐藏权重如下：隐节点和输入节点分别分为几个相应的组，输入节点组是完全连接到其对应的隐节点组，但不连接到任何其他的隐节点组。与通常的ELM一样，隐输入权重随机给定，隐输出权重通过最小二乘学习获得。在一些基准问题的数值模拟中，新的ELM-CL表现优于传统的ELM。
2018-01-22 cs.AI cs.LG stat.ML
PatchUp: A Feature-Space Block-Level Regularization Technique for Convolutional Neural Networks
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Montreal（蒙特利尔大学）；McGill University（麦吉尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
大容量的深度学习模型在使用有限数量的标记训练数据进行训练时，通常容易出现高泛化差距。最近一类解决这个问题的方法使用各种方式通过混合一对（或多个）训练样本来构建新的训练样本。我们提出了PatchUp，一种用于卷积神经网络（CNN）的隐藏状态块级正则化技术，该技术应用于从随机样本对中选择的特征映射的连续块。我们的方法提高了CNN模型对其他最先进的混合方法中可能发生的流形入侵问题的鲁棒性。此外，由于我们在隐藏空间中混合了连续的特征块，隐藏空间比输入空间具有更多的维度，因此我们获得了更多不同的样本用于不同维度的训练。我们在CIFAR 10/100，SVHN，Tiny-ImageNet和ImageNet上使用ResNet架构（包括PreActResnet 18/34，WRN-28-10，ResNet 101/152模型）进行的实验表明，PatchUp改进或等同于当前最先进的CNN正则化器的性能。我们还表明，PatchUp可以提供一个更好的泛化变形样本，对对抗攻击更强大。
2023-01-07 cs.LG stat.ML
Ising-Dropout: A Regularization Method for Training and Compression of Deep Neural Networks
University of Toronto（多伦多大学）
过拟合是训练机器学习模型的主要问题，特别是深度神经网络。这个问题可能是由不平衡的数据集和模型参数的初始化引起的，这使模型过于接近训练数据，并且负面地影响模型对于看不见的数据的泛化性能。最初的dropout是一种正则化技术，用于在训练过程中随机丢弃隐藏单元。在本文中，我们提出了一种自适应技术，明智地删除在一个深神经网络的伊辛能量的网络中的可见和隐藏的单元。初步结果表明，该方法在保持原有网络分类性能的同时，避免了在每个训练周期中对不必要的网络参数进行优化。单元的退出状态也可以应用于训练的（推理）模型。对于MNIST和Fashion-MNIST数据集上的分类任务，该技术可以分别将网络的参数数量压缩到41.18%和55.86%。
2019-02-07 cs.LG cs.NE
Twin Regularization for online speech recognition
Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））
在线语音识别是开发自然人机界面的关键。然而，这种模式比离线ASR更具挑战性，因为实时/低延迟约束不可避免地阻碍了对未来信息的使用，而这些信息对于执行鲁棒预测非常有帮助。缓解这个问题的一个流行的解决方案包括为神经声学模型提供收集一些未来帧的上下文窗口。这引入了取决于所采用的前瞻特征的数量的延迟。本文探索了一种不同的方法，基于估计未来而不是等待它。我们的技术鼓励单向递归网络的隐藏表示嵌入一些关于未来的有用信息。受最近提出的一种名为Twin Networks的技术的启发，我们添加了一个正则化项，迫使前向隐藏状态尽可能接近同时向后状态，由一个在时间上向后运行的“孪生”神经网络计算。在多个数据集、递归结构、输入特征和声学条件上进行的实验表明了该方法的有效性。一个重要的优点是，我们的方法不会引入任何额外的计算在测试时，如果与标准的单向递归网络。
2018-06-12 cs.AI cs.CL cs.LG
Neural Networks Regularization Through Class-wise Invariant Representation Learning
Normandie Univ, UNIROUEN, UNIHAVRE（诺曼底大学、鲁昂大学、勒阿弗尔大学）；INSA Rouen, LITIS（鲁昂国立应用科学学院、信息处理与系统实验室）
已知训练深度神经网络需要大量的训练样本。然而，在许多应用中，只有很少的训练样本可用。在这项工作中，我们解决的问题，训练神经网络的分类任务时，很少的训练样本。我们试图通过提出一个新的正则化项来解决这个问题，该正则化项约束网络的隐藏层来学习类不变表示。在我们的正则化框架中，学习不变表示被推广到类成员资格，其中具有相同类的样本应该具有相同的表示。在MNIST及其变体上的数值实验表明，我们的建议有助于提高神经网络的泛化能力，特别是在训练样本较少的情况下。我们提供了我们的框架https://github.com/sbelharbi/learning-class-invariant-features的源代码。
2017-12-22 cs.LG stat.ML
Filter Bank Regularization of Convolutional Neural Networks
McMaster University（麦克马斯特大学）
正则化技术被广泛用于提高深度卷积神经网络（DCNN）的通用性、鲁棒性和效率。在本文中，我们提出了一种通过结构化滤波器组调节DCNN卷积核的新方法。与忽略核内的样本相关性的现有正则化方法（诸如DCNN核权重和核正交性的$\ell_1$或$\ell_2$最小化）相比，在DCNN的正则化中使用滤波器组可以将DCNN核塑造成常见的空间结构和特征（例如，各种方向和频率的边缘或纹理）。另一方面，与直接使DCNN内核固定滤波器不同，滤波器组正则化仍然允许通过深度学习优化DCNN权重的自由度。这种新的DCNN设计策略旨在结合两个世界的优点：包括传统滤波器组的结构图像先验，以提高DCNN解决方案的鲁棒性和通用性，以及现代深度学习对隐藏在训练数据中的复杂非线性函数进行建模的能力。在目标识别任务上的实验结果表明，与现有的权重衰减和核正交的正则化方法相比，该正则化方法能更快地收敛，更好地泛化。
2019-11-26 cs.LG stat.ML
