Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators
Stanford University（斯坦福大学）
本文研究了CNN的结构化稀疏训练，采用逐步修剪技术，在一定数量的epoch之后产生固定的稀疏权重矩阵。我们简化了强制稀疏性的结构，以减少正则化引起的开销。所提出的训练方法Campfire在卷积核和滤波器内探索粒度修剪。我们研究了修剪持续时间，稀疏水平，和学习率配置方面的各种权衡。我们表明，我们的方法在完整的ImageNet上创建了ResNet-50和ResNet-50 v1.5的稀疏版本，同时保持在可忽略的<1%的准确性损失范围内。为了确保这种类型的稀疏训练不会损害网络的鲁棒性，我们还演示了网络在存在对抗攻击的情况下的行为。我们的研究结果表明，与70%的目标稀疏，超过75%的前1的准确性是可以实现的。
2020-01-13 cs.LG stat.ML
Likelihood-guided Regularization in Attention Based Models
Department of Statistics, Virginia Polytechnic Institute and State University（统计学系，弗吉尼亚理工大学和州立大学）；Department of Statistics, Virginia Tech.（统计学系，弗吉尼亚理工大学）
针对ViT依赖大规模数据、易过拟合的问题，提出似然引导的变分伊辛正则化框架，实现自适应结构化稀疏与动态剪枝，在多个视觉基准上验证了其泛化性、不确定性量化与校准性能优势。
2025-11-17 cs.LG stat.ML
Structure by Architecture: Structured Representations without Regularization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出一种无需激进正则化的新型自编码器架构，通过结构化解码器学习潜变量层次结构，在生成、解耦和外推等下游任务中提升性能。
2024-02-15 cs.CV cs.LG stat.ML
Structure Regularization for Structured Prediction: Theories and Experiments
Peking University（北京大学）
关于权值正则化的研究很多，但关于结构正则化的研究却很少。许多现有的结构化预测系统专注于增加模型内的结构依赖性水平。然而，这种趋势可能被误导了，因为我们的研究表明，复杂的结构实际上对结构化预测中的泛化能力有害。为了控制基于结构的过拟合，我们通过\emph{structure decomposition}提出了一个结构正则化框架，该框架将训练样本分解为具有更简单结构的小样本，从而获得具有更好泛化能力的模型。我们从理论上和经验上证明了结构正则化可以有效地控制过拟合风险，并导致更好的准确性。作为一个副产品，所提出的方法也可以大大加快训练速度。该方法和理论结果可应用于具有任意结构的一般图模型。在知名任务上的实验表明，我们的方法可以在这些竞争激烈的任务上轻松击败基准系统，实现最先进的精度，同时具有更快的训练速度。
2015-01-30 cs.LG
On the Regularization Properties of Structured Dropout
Mathematical Institute for Data Science, Johns Hopkins University（约翰斯·霍普金斯大学数据科学数学研究所）
Dropout及其扩展（例如，DropBlock和DropConnect）是用于训练神经网络的流行算法，在实践中已被证明可以提高泛化性能。然而，对它们的优化和正则化性质的理论理解仍然难以捉摸。最近的工作表明，在单隐层线性网络的情况下，Dropout是一种用于最小化正则化损失的随机梯度下降方法，并且正则化器诱导低秩和平衡的解。在这项工作中，我们表明，对于单隐藏层线性网络，DropBlock诱导谱k-支撑范数正则化，并促进低秩和具有相等范数因子的解决方案。我们还证明了DropBlock的全局极小值可以以封闭形式计算，并且DropConnect等价于Dropout。然后，我们表明，这些结果中的一些可以扩展到一般类的Dropout策略，并在一些假设下，深度非线性网络时，Dropout应用到最后一层。我们验证了我们的理论主张和假设实验常用的网络架构。
2020-06-20 cs.LG stat.ML
Structured Sparsity and Generalization
UCL（伦敦大学学院）
我们提出了一个数据相关的推广界的一大类正则化算法，实现结构化稀疏约束。该界可以应用于标准的平方范数正则化，Lasso，群Lasso，具有重叠群的群Lasso的某些版本，多核学习和其他正则化方案。在所有这些情况下，都获得了有竞争力的结果。我们的界限的一个新的特点是，它可以应用于一个无限维的设置，如Lasso在一个可分离的希尔伯特空间或多核学习与可数数量的内核。
2011-09-02 cs.LG stat.ML
SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks
University of Turin（都灵大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）
深度神经网络包含数百万个可学习的参数，这使得它们在资源受限的设备上的部署成为问题。SeReNe（基于灵敏度的神经元正则化）是一种学习具有结构的稀疏拓扑的方法，利用神经灵敏度作为正则化器。我们将神经元的灵敏度定义为网络输出相对于神经元活动变化的变化。神经元的灵敏度越低，如果神经元输出改变，则网络输出受到的扰动就越小。通过在代价函数中包含神经元灵敏度作为正则化项，我们能够修剪具有低灵敏度的神经元。由于整个神经元被修剪，而不是单个参数，实际的网络足迹减少成为可能。我们在多个网络架构和数据集上的实验结果与最先进的参考文献相比，具有竞争力的压缩比。
2021-02-07 cs.AI cs.LG stat.ML
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University（浙江大学）
参数修剪是CNN压缩和加速的一种有前途的方法，通过消除冗余的模型参数，具有可容忍的性能损失。尽管其有效性，现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零，这忽略了CNN的表达能力是脆弱的，并且需要更温和的正则化方式来使网络在修剪过程中适应。为了解决这个问题，我们提出了一种新的基于正则化的修剪方法（名为IncReg），根据其相对重要性将不同的正则化因子递增地分配给不同的权重组，与最先进的方法相比，其有效性在流行的CNN上得到了证明。
2018-12-18 cs.CV cs.LG
Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology, Madras, India（电子工程系，印度理工学院，马德拉斯，印度）
本文提出一种无需调参的多测量向量联合稀疏恢复方法，利用隐式正则化实现高效稀疏信号恢复。
2026-01-30 cs.LG stat.ML
LIT-LVM: Structured Regularization for Interaction Terms in Linear Predictors using Latent Variable Models
Department of Computer and Data Sciences（计算机与数据科学系）；Case Western Reserve University（凯斯西储大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Suffolk University（索尔福德大学）
LIT-LVM通过低维潜在变量模型对线性预测器中的交互项进行结构正则化，提升了预测精度并提供了特征的低维表示。
2026-02-03 cs.LG stat.ML
Structured Output Regularization: a framework for few-shot transfer learning
York University（约克大学）
提出结构化输出正则化（SOR）框架，通过冻结网络结构并组合组套索与L1惩罚，以最少参数适应少样本医学影像分类，在三个任务上取得有竞争力结果。
2025-10-09 cs.CV cs.LG stat.ML
Enforcing Calibration in Multi-Output Probabilistic Regression with Pre-rank Regularization
本研究提出一种通用正则化框架，通过惩罚预秩概率积分变换偏离均匀分布，在训练中强制多输出概率回归的多元校准，并引入PCA预秩，在18个数据集上显著提升校准且不损精度。
2025-10-27 cs.LG stat.ML
Learning Output Embeddings in Structured Prediction
LTCI, Télécom Paris, IP Paris（LTCI，巴黎电信，巴黎理工学院）；INRIA - Département d’Informatique de l’ENS, PSL（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系，巴黎文理研究大学）；INRAE, MIAT, Université de Toulouse（法国国家农业食品与环境研究院，图卢兹大学）；Department of Computer Science, Aalto University（阿尔托大学计算机科学系）
结构化预测的一种强大而灵活的方法在于通过输出核将待预测的结构化对象嵌入到可能无限维的特征空间中，然后在该输出空间中解决回归问题。通过求解前像问题来计算原始空间中的预测。在这种方法中，与目标损失相关联的嵌入在学习阶段之前被定义。在这项工作中，我们建议共同学习输出嵌入和回归函数到新的特征空间的有限近似。为此，我们利用了输出的先验信息以及未利用的无监督输出数据，这两者在结构化预测问题中经常可用。我们证明了由此产生的结构化预测器是一个相合估计量，并推导出超额风险界。此外，新的结构化预测工具享有一个显着较小的计算复杂度比以前的输出核方法。在各种结构化预测问题上进行的经验测试表明，该方法是通用的，能够处理大型数据集。
2020-11-02 cs.LG stat.ML
Shorting Dynamics and Structured Kernel Regularization
Mathematical Reviews（数学评论）
本文提出了一种非线性算子动态，用于构造不变核和结构正则化，通过残差分解实现核岭回归的规范形式和无关变量不变性。
2025-12-04 cs.LG math.FA
A Screening Strategy for Structured Optimization Involving Nonconvex $\ell_{q,p}$ Regularization
ShanghaiTech University（上海科技大学）
在本文中，我们开发了一个简单而有效的筛选规则策略，以提高计算效率，在解决结构优化涉及非凸$\ell_{q,p}$正则化。基于迭代重新加权的$\ell_1$（IRL1）框架，建议的筛选规则的工作原理就像一个预处理模块，可能会删除不活跃的组，然后再启动子问题求解器，从而减少总的计算时间。这主要是通过在每次迭代中启发式地利用对偶子问题的信息来实现的。此外，我们证明了我们的筛选规则可以在有限次迭代中删除所有无效变量。数值实验表明，我们的筛选规则策略的效率相比，一些国家的最先进的算法。
2022-08-02 cs.LG stat.ME
Bayesian Active Learning for Structured Output Design
RIKEN AIP（理化学研究所人工智能研究中心）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；AIST（产业技术综合研究所）
在本文中，我们提出了一种主动学习方法的反问题，旨在找到一个输入，实现所需的结构化输出。所提出的方法提供了新的采集功能，最大限度地减少所需的结构化输出和预测的高斯过程模型之间的误差，通过有效地将多个输出之间的相关性的基础多值黑盒输出功能。通过对两个综合形状搜索问题和实际数据的处理，验证了该方法的有效性。在实际数据实验中，解决了碳化硅（SiC）晶体生长建模中实现所需晶体生长速率的输入参数搜索这一材料信息学问题。
2019-11-09 cs.LG stat.ML
Learning to Speed Up Structured Output Prediction
University of Utah（犹他大学）
预测结构化输出可能是计算繁重，由于组合大的输出空间。在本文中，我们专注于减少训练的黑盒结构分类器的预测时间，而不损失准确性。为此，我们训练一个加速分类器，学习模仿黑盒分类器下的学习搜索方法。随着结构化分类器预测更多的示例，加速分类器将作为学习的启发式操作，以引导搜索到输出空间的有利区域。我们提出了一个错误的加速分类器和识别推理的情况下，它可以独立地作出正确的判断，而无需输入功能。我们评估我们的方法上的实体和关系抽取的任务，并表明，加速分类优于甚至贪婪搜索的速度，而不损失的准确性。
2018-06-11 cs.LG stat.ML
Conditional Restricted Boltzmann Machines for Structured Output Prediction
University of Toronto（多伦多大学）
条件限制玻尔兹曼机（CRBM）是一种丰富的概率模型，最近已被应用于广泛的问题，包括协同过滤，分类和建模运动捕捉数据。虽然在训练非条件RBM方面取得了很大进展，但这些算法不适用于条件模型，并且几乎没有关于训练和生成结构化输出问题的条件RBM预测的工作。我们首先认为，标准的基于对比发散的学习可能不适合训练CRBM。然后，我们确定两种不同类型的结构化输出预测问题，并提出了一种改进的学习算法。第一种问题类型是输出空间具有任意结构但可能的输出配置集合相对较小的问题，例如在多标签分类中。第二个问题是输出空间是任意结构的，但输出空间的可变性要大得多，例如在图像去噪或像素标记中。我们表明，新的学习算法可以更好地工作比对比发散这两种类型的问题。
2012-02-14 cs.LG stat.ML
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST（香港科技大学）
剪枝是一种模型压缩方法，可在保持准确性的同时去除深度神经网络（DNN）中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理，例如迭代修剪，特征统计/排名或训练过程中的额外优化设计。在本文中，我们从特征演化的新角度提出了一种简单有效的正则化策略，我们称之为特征流正则化（FFR），用于改善DNN中的结构稀疏性和过滤器修剪。具体而言，FFR对沿神经网络的特征流的梯度和曲率施加控制，这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets，ResNets进行的实验表明，FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG
A Generalized Kernel Approach to Structured Output Learning
Université d’Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）；Université de Lille（里尔大学）；INRIA（法国国家信息与自动化研究所）
我们从回归的角度研究结构化输出学习问题。首先，我们提供了一个一般的配方的内核依赖估计（KDE）的问题，使用运营商值的内核。我们表明，这个问题的一些现有的配方是我们的框架的特殊情况。然后，我们提出了一个基于协方差的算子值内核，使我们能够考虑到内核特征空间的结构。该内核在输出空间上操作，并对输出之间的交互进行编码，而不参考输入空间。为了解决这个问题，我们引入了一个基于条件协方差算子的KDE方法的变体，除了输出之间的相关性之外，还考虑了输入变量的影响。最后，我们评估我们的KDE方法使用协方差和条件协方差内核对两个结构化输出问题的性能，并将其与最先进的基于内核的结构化输出回归方法进行比较。
2015-07-15 cs.LG stat.ML
Convex Tensor Decomposition via Structured Schatten Norm Regularization
本文研究用于凸优化张量分解的结构化Schatten范数，从理论上证明“潜在”方法优于“重叠”方法，并建立对偶性、一致性和可识别性结果。
2013-03-26 cs.LG cs.NA math.NA
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
Efficient and Reliable Probabilistic Interactive Learning with Structured Outputs
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）
在这篇立场论文中，我们研究了结构化输出空间的交互式学习，重点是主动学习，其中标签是未知的，必须获得，和怀疑学习，其中标签是嘈杂的，可能需要重新标记。这些场景需要表达性模型来保证可靠且高效地计算概率量以测量不确定性。我们确定了一类概率模型（我们将其表示为CRISPs）满足所有这些条件的条件，从而在保持表达能力的同时提供上述数量的易处理计算。基于先前关于易处理概率电路的工作，我们说明了CRISPs如何在大型结构化输出空间中实现鲁棒和高效的主动和怀疑学习。
2022-02-17 cs.LG stat.ML
Structured Output Learning with Conditional Generative Flows
Virginia Tech（弗吉尼亚理工大学）
传统的结构化预测模型试图学习条件似然，即，p（年）|x），以捕获结构化输出y和输入特征x之间的关系。对于许多模型，计算可能性是棘手的。因此，这些模型很难训练，需要使用替代目标或变分推理来近似可能性。在本文中，我们提出了条件Glow（c-Glow），这是一种用于结构化输出学习的条件生成流。C-Glow受益于基于流的模型计算p（y）的能力|（二）准确、高效。使用c-Glow进行学习不需要替代目标或在训练期间执行推理。一旦经过训练，我们就可以直接有效地生成条件样本。我们开发了一种基于样本的预测方法，它可以利用这一优势进行高效和有效的推理。在我们的实验中，我们在五个不同的任务上测试了c-Glow。C-Glow在某些任务中的表现优于最先进的基线，并在其他任务中预测类似的输出。结果表明，c-Glow是通用的，适用于许多不同的结构化预测问题。
2020-02-27 cs.LG stat.ML
Stable safe screening and structured dictionaries for faster L1 regularization
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机系统研究所）
在本文中，我们提出了一种方法来结合两个加速技术的$\ell\_{1}$正则化最小二乘问题：安全筛选测试，它允许消除无用的字典原子;和使用快速结构化近似的字典矩阵。为此，我们引入了一个新的家庭的筛选测试，称为稳定的筛选，它可以应付近似错误的字典原子，同时保持测试的安全性（即零风险拒绝属于解决方案支持的原子）。一些主要的现有筛选测试扩展到这个新的框架。所提出的算法包括在初始迭代时使用较粗糙（但更快）的字典近似，然后切换到更好的近似，直到最终采用原始字典。基于对偶间隙饱和度和屏蔽比推导了一种系统的切换准则，仿真结果表明，在大范围的测试场景下，该切换准则在计算复杂性和执行时间上都有显著的降低。
2019-07-05 cs.LG eess.SP stat.ML
Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection
HuaQiao University（华侨大学）；Fuzhou University（福州大学）
特征选择是数据采掘和机器学习中一个重要的数据预处理过程，它可以在不降低模型性能的前提下降低特征维数。由于获取带注释的数据在许多情况下是费力的，甚至是不可行的，无监督的特征选择在现实中更实用。虽然已经提出了许多无监督的特征选择方法，但这些方法都是独立地选择特征，因此不能保证选择的特征组是最优的。此外，必须仔细调整所选特征的数量以获得满意的结果。为了解决这些问题，本文提出了一种联合自适应图和结构稀疏正则化无监督特征选择（JASFS）方法.该方法在流形学习中引入一个关于变换矩阵的$l_{2,0}$范数正则化项用于特征选择，在学习模型中引入一个图正则化项用于自适应地学习数据的局部几何结构.通过对该优化问题的计算复杂性分析，设计了一种简单有效的迭代算法。优化完成后，将分组选择最优特征子集，并自动确定所选特征的数量。八个基准测试的实验结果表明，该方法的有效性和效率相比，一些国家的最先进的方法。
2022-04-07 cs.LG
Two-Stage Regularization-Based Structured Pruning for LLMs
Tsinghua University（清华大学）；Peking University（北京大学）；Beijing National Research Center for Information Science and Technology（北京信息科学研究院）
本文提出TRSP方法，通过两阶段正则化提升大语言模型结构剪枝效果，减少知识损失并无需重新训练，实验显示其优于现有方法，实现高效部署。
2026-04-18 cs.AI cs.CL cs.LG
Manifold regularization in structured output space for semi-supervised structured output prediction
Shanghai University（上海大学）；Tongji University（同济大学）；The 3rd Research Institute of Ministry of Public Security（公安部第三研究所）；Kansas State University（堪萨斯州立大学）
结构化输出预测旨在学习预测器以从输入数据向量预测结构化输出。结构化输出包括向量、树、序列等。我们通常假设我们有一个输入输出对的训练集来训练预测器。然而，在许多现实世界的应用中，很难获得输入的输出，因此对于许多训练输入数据点，结构化输出丢失。本文讨论了如何从一个由若干输入输出对和若干无输出的输入数据点组成的训练集中进行学习。这个问题被称为半监督结构化输出预测.针对这一问题，我们提出了一种新的方法，即从输入空间构造一个最近邻图来表示流形结构，并直接用它来正则化结构化的输出空间。我们为每个训练数据点定义了一个松弛的结构化输出，并提出通过学习结构化输出预测器来预测它。松弛结构输出和预测器的学习统一在一个单一的最小化问题。在这个问题中，我们建议最小化相邻数据点的松弛结构化输出之间的结构化损失，以及由结构化损失度量的预测误差。该问题是优化的迭代算法。在三个基准数据集上的实验结果表明了该方法的优越性。
2015-08-12 cs.CV cs.LG
Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization
Tel Aviv University（特拉维夫大学）
本文提出加权分组稀疏包络函数（WGSEF）正则化方法，通过选择或置零神经元组学习结构化稀疏神经网络，在保持精度的同时降低内存与功耗，加速推理并提升压缩比。
2024-08-09 cs.LG stat.ML
Sparsity regularization via tree-structured environments for disentangled representations
McGill University（麦吉尔大学）；Mila；Valence Labs（Valence实验室）；Université de Montréal（蒙特利尔大学）；Samsung - SAIT AI Lab（三星-SAIT人工智能实验室）
针对多相关环境下的因果表征学习问题，提出基于树结构的稀疏正则化方法TBR，利用环境间映射的稀疏变化约束识别潜在因果变量，在模拟和真实基因表达数据上均取得优于现有方法的效果。
2024-06-10 cs.LG stat.ML
An Exploration into why Output Regularization Mitigates Label Noise
Edgify
标签噪声对监督学习算法提出了真正的挑战。因此，近年来，减轻标签噪声吸引了大量的研究。噪声鲁棒损失是用于处理标签噪声的更有前途的方法之一，因为这些方法仅需要改变损失函数并且不需要改变分类器本身的设计，这在开发时间方面可能是昂贵的。在这项工作中，我们专注于使用输出正则化（如标签平滑和熵）的损失。虽然这些损失在实践中表现良好，但它们减轻标签噪声的能力缺乏数学严谨性。在这项工作中，我们的目标是关闭这个差距，显示损失，其中包括输出正则化项，成为对称的正则化系数趋于无穷大。我们认为，正则化系数可以被看作是一个超参数控制的非线性，因此，噪声鲁棒性的损失函数。
2021-04-26 cs.LG
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Structured Prediction: From Gaussian Perturbations to Linear-Time Principled Algorithms
Purdue（普渡大学）；MIT（麻省理工学院）
基于边缘的结构化预测通常使用所有可能的结构化输出\cite{Altun03,Collins04b,Taskar03}上的最大损失。在自然语言处理中，最近的工作\cite{Zhang14,Zhang15}已经提出了在独立于一些建议分布的随机结构化输出上使用最大损失。该方法是线性时间的随机结构输出的数量和平凡的并行化。我们研究这个家庭的损失函数的PAC贝叶斯框架下高斯扰动\cite{McAllester07}。在某些技术条件下，统计精度，我们表明，这个家庭的损失函数产生更严格的上限比常用的方法的吉布斯解码器失真。因此，使用随机结构化输出上的最大损失是学习结构化预测模型的参数的原则性方式。除了解释\cite{Zhang14,Zhang15}的实验成功，我们的理论结果表明，更一般的技术是可能的。
2016-06-04 cs.LG stat.ML
MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values
Federal University of Sao Carlos - UFSCar（圣卡洛斯联邦大学）；Petróleo Brasileiro - Petrobras（巴西国家石油公司）；São Paulo State University - UNESP（圣保罗州立大学）
在深度学习场景中出现了不同的技术，例如卷积神经网络、深度信念网络和长短期记忆网络。在锁步中，正则化方法，其目的是通过惩罚权重连接或关闭某些单元来防止过拟合，也得到了广泛的研究。在这篇论文中，我们提出了一种名为MaxDropout的新方法，这是一种用于深度神经网络模型的正则化器，它通过移除（关闭）突出的神经元（即，最活跃的）在每个隐藏层中。该模型迫使较少的激活单元学习更多的代表性信息，从而提供稀疏性。关于实验，我们表明，它是可能的，以改善现有的神经网络和神经网络中提供更好的结果时，Dropout被MaxDropout取代。该方法在图像分类中进行了评估，实现了与现有正则化器（如Cutout和RandomErasing）相当的结果，还通过用MaxDropout替换现有层来提高使用Dropout的神经网络的准确性。
2020-07-27 cs.LG stat.ML
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris（电信巴黎理工学院 LTCI 实验室）；IP Paris（巴黎理工学院）；University of Milan（米兰大学）
本文提出深度草图输出核回归，用随机近似核协方差算子的特征函数构造有限维输出子空间，使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
Deep Neural Networks pruning via the Structured Perspective Regularization
CERC, Polytechnique Montréal（蒙特利尔理工学院计算与工程研究中心）；University of Pisa（比萨大学）；Huawei Montreal Research Centre（华为蒙特利尔研究中心）；Jacobs Technion-Cornell Institute（雅各布斯泰克尼翁-康奈尔研究所）；Cornell Tech（康奈尔理工学院）；Technion - IIT（以色列理工学院）
在机器学习中，人工神经网络（ANN）是一种非常强大的工具，广泛应用于许多应用中。通常，所选择的（深度）架构包括许多层，因此包含大量参数，这使得训练、存储和推理变得昂贵。这激发了一系列关于在不过度牺牲性能的情况下将原始网络压缩成更小网络的研究。在提出的许多压缩方法中，最流行的方法之一是\emph{pruning}，其中ANN的整个元素（链路、节点、信道、\ldots）和相应的权重被删除。由于问题的本质是固有的组合（什么元素修剪，什么不），我们提出了一个新的修剪方法的基础上运筹学工具。我们从一个自然的混合规划模型的问题，我们使用的透视重构技术，以加强其连续松弛。从这个重新表述中投射出指示变量会产生一个新的正则化项，我们称之为结构化透视正则化，它会导致初始架构的结构化修剪。我们在CIFAR-10、CIFAR-100和ImageNet数据集上测试了一些ResNet架构，获得了具有竞争力的性能。结构化修剪的最新技术。
2022-06-28 cs.CV cs.LG math.OC
Bhargava Cube--Inspired Quadratic Regularization for Structured Neural Embeddings
Department of Computer Science；Engineering (AI \& ML), PES University, Bangalore 560 085, India Department of Electronics；Communication Engineering, PES University, Bangalore 560 085, India
本文提出受Bhargava立方体启发的二次正则化方法，用于生成结构化的神经嵌入，通过数学约束提升表示的可解释性和一致性。
2025-12-12 cs.LG
Fine-grained Generalization Analysis of Structured Output Prediction
TU Kaiserslautern（凯泽斯劳滕工业大学）；University of Birmingham（伯明翰大学）
在机器学习中，我们经常遇到结构化输出预测问题（SOPP），即输出空间允许丰富内部结构的问题。SOPP自然出现的应用领域包括自然语言处理、语音识别和计算机视觉。典型的SOPP有一个非常大的标签集，它作为输出大小的函数呈指数级增长。现有的泛化分析意味着泛化边界至少与标签集的基数$d$的平方根相关，这在实践中可能是空洞的。在本文中，我们显着提高了最先进的开发新的高概率界的对数依赖于$d$。此外，我们利用透镜的算法稳定性，以开发推广界的预期没有任何依赖于$d$。因此，我们的研究结果建立了一个坚实的理论基础，在大规模SOPP的学习。此外，我们将我们的结果扩展到弱相关数据的学习。
2021-05-31 cs.LG stat.ML
Proximal Mapping for Deep Regularization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
支撑深度学习成功的是有效的正则化，它允许对数据中的各种先验进行建模。例如，对抗性扰动的鲁棒性，以及多种模态之间的相关性。然而，大多数正则化器都是根据隐藏层输出来指定的，这些输出本身并不是优化变量。与通过模型权重间接优化它们的流行方法相比，我们建议将邻近映射作为一个新的层插入到深度网络中，直接显式地产生良好的正则化隐藏层输出。由此产生的技术显示连接到内核翘曲和辍学，和新的算法开发了强大的时间学习和多视图建模，都优于国家的最先进的方法。
2020-06-14 cs.LG stat.ML
A Retrieve-and-Edit Framework for Predicting Structured Outputs
Stanford University（斯坦福大学）
对于生成复杂输出（如源代码）的任务，编辑现有输出可能比从头开始生成复杂输出更容易。出于这种动机，我们提出了一种方法，首先根据输入检索训练示例（例如，自然语言描述）并且然后将其编辑为期望的输出（例如，代码）。我们的贡献是一个计算效率高的方法学习检索模型，嵌入输入的任务依赖的方式，而不依赖于手工制作的度量或招致的费用，共同训练检索与编辑器。我们的检索和编辑框架可以应用于任何基础模型之上。我们发现，在GitHub Python代码和Hearthstone cards基准测试的新自动完成任务上，检索和编辑显著提高了两个任务上香草序列到序列模型的性能。
2018-12-04 cs.LG stat.ML
Output Space Search for Structured Prediction
Oregon State University（俄勒冈州立大学）
我们考虑一个框架，结构化预测的基础上搜索的空间中的完整的结构化输出。给定一个结构化的输入，通过运行一个由学习的成本函数引导的有时间限制的搜索过程，然后返回在搜索过程中未覆盖的最小成本输出，来产生输出。该框架可以被实例化用于广泛的搜索空间和搜索过程，并且容易地结合任意的结构化预测损失函数。在本文中，我们做出了两个主要的技术贡献。首先，我们定义了结构化输出上的有限差异搜索空间，它能够利用强大的分类学习算法来提高搜索空间的质量。其次，我们给出了一个通用的成本函数学习方法，其中的关键思想是学习一个成本函数，试图模仿的行为进行搜索的指导下，真正的损失函数。我们在六个基准域上的实验表明，使用我们的框架，只需少量的搜索就足以显着提高最先进的结构化预测性能。
2012-06-27 cs.AI cs.LG stat.ML
Multi-View Learning over Structured and Non-Identical Outputs
University of Pennsylvania（宾夕法尼亚大学）；INESC-ID；Microsoft Research Asia（微软亚洲研究院）
在许多机器学习问题中，标记的训练数据是有限的，而未标记的数据是充足的。其中一些问题的实例可以分解为多个视图，每个视图几乎都足以确定正确的标签。在本文中，我们提出了一个新的算法，概率多视图学习，使用的想法，随机协议之间的意见作为正则化。我们的算法适用于结构化和非结构化的问题，很容易推广到部分协议的情况。对于完全一致的情况下，我们的算法最大限度地减少每个视图的模型之间的巴塔查里亚距离，并表现得更好的几个平面和结构化的分类问题比CoBoosting和两视图感知器。
2012-06-13 cs.LG stat.ML
Structured Regularization for Constrained Optimization on the SPD Manifold
Harvard University（哈佛大学）
针对SPD流形约束优化中黎曼算法的计算瓶颈，提出基于对称规范函数的结构化正则化器，通过保持凸性或凸差结构，实现用高效无约束方法求解约束问题，数值实验验证了其有效性。
2024-10-12 cs.LG math.DG math.OC
On Output Activation Functions for Adversarial Losses: A Theoretical Analysis via Variational Divergence Minimization and An Empirical Study on MNIST Classification
University of California San Diego（加州大学圣地亚哥分校）；Academia Sinica（中央研究院）；Taiwan AI Labs（台湾人工智能实验室）
近年来，对抗性损失被应用到许多领域。它们的应用范围超出了最初提出的生成建模，条件生成和歧视设置。虽然先前的工作已经提出了各种输出激活函数和正则化方法，一些开放的问题仍然没有答案。本文主要研究以下两个问题：1）什么样的输出激活函数会形成一个行为良好的对抗损失？2)输出激活函数和正则化方法的不同组合如何根据经验彼此执行？为了回答第一个问题，我们采用变分散度最小化的观点，并考虑一个对抗性损失表现良好，如果它表现为数据和模型分布之间的一个类似散度的度量。利用广义的对抗性损失公式，我们推导出一个良好的对抗性损失的必要和充分条件。我们的分析揭示了一大类理论上有效的对抗性损失。对于第二个问题，我们提出了一个简单的比较框架，使用歧视性对抗网络对抗损失。所提出的框架允许我们使用标准评估指标（如分类准确性）有效地评估对抗性损失。与建议的框架，我们评估了一个全面的168个组合的12个输出激活函数和14个正则化方法的手写数字分类问题，以解耦其影响。我们的实证研究结果表明，在所有设置中，输出激活函数和正则化方法没有单一的获胜组合。我们的理论和实证结果可以作为未来研究中选择或设计对抗性损失的参考。
2022-11-07 cs.LG stat.ML
Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Duke University（杜克大学）
针对离线强化学习中的动力学偏移问题，提出线性结构 $d$-RRMDP 框架与 R2PVI 算法，利用线性函数逼近和 $f$-divergence 正则化学习鲁棒策略，并从理论上证明其近似最优且计算高效。
2025-10-30 cs.AI cs.LG cs.RO
Structured Output Learning with Abstention: Application to Accurate Opinion Prediction
Telecom ParisTech（巴黎高等电信学院）
受监督意见分析的启发，我们提出了一个新的框架，致力于结构化输出学习与弃权（SOLA）。结构预测模型能够以用户灵活选择的代价放弃对结构化输出中某些标签的预测。为此，我们将问题分解为一对预测器的学习，一个用于结构化预测，另一个用于结构化输出预测。为了将完全标记的训练数据与可能包含弃权的预测进行比较，我们定义了一类广泛的非对称弃权感知损失。学习通过在适当的特征空间中的替代回归来实现，而预测通过解决新的前像问题来执行。因此，SOLA通过替代问题和校准理论扩展了最近关于结构化产出预测的想法，并对由此产生的超额风险提供了统计保证。实例化的层次防御意识的损失，SOLA是相关的细粒度的意见挖掘，并给出了国家的最先进的结果，这项任务。此外，基于评论级意见预测器，可以使用评论感知表示来竞争性地预测用户评论评级。
2018-06-08 cs.AI cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Neuro-Symbolic Entropy Regularization
University of California, Los Angeles（加州大学洛杉矶分校）
在结构化预测中，目标是联合预测许多输出变量，这些变量一起编码结构化对象-图中的路径，实体关系三元组或对象的排序。如此大的输出空间使得学习变得困难，并且需要大量的标记数据。不同的方法利用不同的监督来源。一种方法--熵正则化--假定决策边界应该位于低概率区域。它从未标记的例子中提取监督，但对输出空间的结构保持不可知。相反，神经符号方法利用的知识是，并非每个预测都对应于输出空间中的有效结构。然而，它们并没有进一步限制学习的输出分布。本文介绍了一个框架，统一这两种方法。我们提出了一个损失，神经符号熵正则化，鼓励模型自信地预测一个有效的对象。它是通过将熵正则化限制在仅有效结构上的分布而获得的。当输出约束被表示为易处理的逻辑电路时，该损耗被有效地计算。此外，它与其他消除无效预测的神经符号损失无缝集成。我们证明了我们的方法在一系列半监督和全监督结构化预测实验中的有效性，我们发现它会导致模型的预测更准确，更有可能是有效的。
2022-01-25 cs.AI cs.LG cs.LO
Learning Hierarchical and Topographic Dictionaries with Structured Sparsity
INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
最近的工作在信号处理和统计集中在定义新的正则化函数，这不仅导致稀疏的解决方案，但也考虑到问题的结构。本文提出了一类在机器学习领域中引入的凸罚函数，其形式为变量组上的l_2和l_无穷范数之和.它们扩展了经典的组稀疏正则化，因为组可能重叠，从而在组设计中具有更大的灵活性。我们回顾了有效的优化方法来处理相应的逆问题，以及它们在自然图像块的字典学习问题中的应用：一方面，字典学习确实被证明对各种信号处理任务是有效的。另一方面，结构化稀疏性为字典元素之间的依赖关系建模提供了一个自然的框架。因此，我们考虑结构化稀疏正则化来学习嵌入在特定结构中的字典，例如树或二维网格。在后一种情况下，我们得到的结果是类似的字典地形独立成分分析。
2011-10-20 cs.LG
SOInter: A Novel Deep Energy Based Interpretation Method for Explaining Structured Output Models
本文提出一种基于深度能量的解释方法SOInter，通过训练解释器函数并考虑输出变量间相关性，有效解释结构化输出模型在局部输入空间中的决策行为。
2025-08-10 cs.LG
Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization
Beijing Institute of Technology（北京理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hebei Province Key Laboratory of Big Data Science and Intelligent Technology（河北省大数据科学与智能技术重点实验室）
Astro通过激活引导的结构正则化方法，在高效且无延迟的情况下提升LLM后训练量化的鲁棒性与性能。
2026-02-07 cs.AI cs.LG
Training Structured Neural Networks Through Manifold Identification and Variance Reduction
Academia Sinica（中央研究院）
本文提出了一种训练神经网络的算法（RMDA），该算法中引入了一个正则化项来提升期望的结构。RMDA不会引起额外的计算与动量近端SGD，并实现方差减小，而不需要的目标函数是有限和形式。通过从非线性优化流形识别的工具，我们证明，经过有限次迭代，所有的迭代RMDA具有所需的结构相同的正则化诱导的渐近收敛的稳定点，即使在存在的工程技巧，如数据增强和辍学，复杂的训练过程。训练神经网络与结构稀疏的实验证实，方差减少是必要的，这样的识别，并表明RMDA因此显着优于现有的方法，这项任务。对于非结构化稀疏性，RMDA也优于最先进的修剪方法，验证了通过正则化训练结构化NN的好处。
2022-03-18 cs.LG math.OC stat.ML
Learning Structured Outputs from Partial Labels using Forest Ensemble
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
学习具有一般结构的结构化输出在计算上是具有挑战性的，除了树结构模型。因此，我们提出了一个有效的基于提升算法AdaBoost.MRF的任务。这个想法是基于实现图是树的叠加。不同于大多数现有的工作，我们的算法可以处理部分标签，因此在实践中，可靠的标签往往稀疏观察是特别有吸引力的。此外，我们的方法只适用于树，因此保证收敛。我们将AdaBoost.MRF算法应用于室内视频监控场景，其中活动在多个级别上建模。
2014-07-24 cs.CV cs.LG stat.ML
