Weighted Schatten $p$-Norm Minimization for Image Denoising with Local and Nonlocal Regularization
提出了一种基于局部和非局部正则化约束变分模型的分块低秩图像去噪方法。一方面，最近的分片方法可以表示为一个低秩矩阵近似问题，其凸松弛通常依赖于核范数最小化（NNM）。在这里，我们将NNM扩展到非凸Schatten p-范数最小化，并为不同的奇异值分配额外的权重，这被称为加权Schatten p-范数最小化（WSNM）。提出了一种有效的算法来解决WSNM问题。提出的WSNM不仅给出了更好的近似原始的低秩假设，但也考虑了不同的数据分量的物理意义。另一方面，由于朴素的聚合模式，将所有的去噪补丁到一个完整的图像，目前的块式去噪方法总是产生不同程度的文物在去噪结果。因此，为了进一步减少伪影，一个数据驱动的正则化称为转向总变分（STV）结合非局部电视派生的变分模型，它施加局部和非局部一致性约束的补丁式去噪图像。提出了一种非常简单但有效的算法来求解该变分模型，并保证收敛。WSNM和本地\非本地一致正则化集成到一个迭代恢复框架，以产生最终的结果。大量的实验测试表明，定性和定量，该方法可以有效地去除噪声，以及减少文物相比，国家的最先进的方法。
2015-12-03 cs.CV
Truncated nuclear norm regularization for low-rank tensor completion
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）
最近，低秩张量补全在恢复不完整的视觉数据方面变得越来越有吸引力。将彩色图像或视频视为三维张量，已有的研究提出了几种张量核范数的定义。然而，它们是有限的，可能无法准确地近似张量的真实秩，并且它们在优化中没有显式地使用低秩属性。证明了最近提出的截断核范数（TNN）可以代替传统的核范数，作为矩阵秩的一种改进的近似。本文提出了一种新的张量截断核范数（T-TNN）方法，给出了张量核范数的一个新定义。将截断核范数从矩阵的情形推广到张量的情形。在TNN的低秩的帮助下，我们的方法提高了张量完成的效率。我们采用了以前提出的张量奇异值分解的定义，交替方向的乘法器，并在我们的算法的加速邻近梯度线搜索方法。在真实视频和图像上的大量实验表明，该方法的性能优于以往的方法。
2019-01-07 cs.CV
Domain Generalization via Nuclear Norm Regularization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出基于所学特征核范数的正则化方法用于领域泛化，通过抑制环境特征影响来学习领域不变特征，并在多种方法与 DomainBed 基准上验证了其一致的有效性。
2023-12-04 cs.CV cs.LG
A Systematic Survey of Regularization and Normalization in GANs
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）
由于深度神经网络的发展，生成对抗网络（GANs）已被广泛应用于不同的场景。最初的GAN是基于网络容量无限的非参数假设而提出的。然而，在没有任何先验信息的情况下，GANs是否能够拟合目标分布仍然是未知的。由于过度自信的假设，GANs的训练中仍有许多问题没有解决，例如不收敛，模式坍塌，梯度消失。正则化和归一化是引入先验信息以稳定训练和提高区分度的常用方法。虽然已经为GANs提出了一些正则化和规范化方法，但据我们所知，除了一些不全面和范围有限的研究外，还没有主要关注这些方法的目标和发展的全面调查。在这项工作中，我们从GANs训练的不同角度对正则化和规范化技术进行了全面的调查。首先，我们系统地描述了GANs训练的不同视角，从而获得了正则化和规范化的不同目标。基于这些目标，我们提出了一个新的分类。此外，我们比较了主流方法在不同数据集上的性能，并研究了最先进的GANs中经常使用的正则化和归一化技术的应用。最后，我们强调了在这一领域的潜在的未来研究方向。本工作中与GANs的正则化和规范化相关的代码和研究总结在https://github.com/iceli1007/GANs-Regularization-Review上。
2022-11-03 cs.CV cs.LG eess.IV
Dynamic Cardiac MRI Reconstruction Using Combined Tensor Nuclear Norm and Casorati Matrix Nuclear Norm Regularizations
Harbin Institute of Technology（哈尔滨工业大学）
低秩张量模型已被应用于加速动态磁共振成像（dMRI）。最近，一种新的基于t-SVD的张量核范数被提出并应用于张量完备化。受张量核范数（TNN）和Casorati矩阵核范数（MNN）的不同性质的启发，我们引入了一个组合的TNN和Casorati MNN正则化框架来重建dMRI，我们称之为TMNN。该方法同时利用了动态MR数据的空间结构和时间相关性。交替方向乘子法（ADMM）可以有效地解决优化问题。为了进一步提高计算效率，我们提出了一种笛卡尔采样下的快速算法。基于心脏电影MRI和灌注MRI数据的数值实验表明，性能优于传统的Casorati核范数正则化方法。
2022-06-02 cs.CV cs.LG eess.IV
HyperSpectral classification with adaptively weighted L1-norm regularization and spatial postprocessing
稀疏回归方法已被证明在诸如图像压缩、语声编码、信道均衡、线性回归和分类等广泛的信号处理问题中是有效的。本文在稀疏分解算法SUnSAL的基础上，引入了像素自适应L1范数正则化项，提出了一种新的高光谱图像分类的凸方法。为了进一步增强类的可分性，该算法使用RBF核进行核化，并通过空间预处理和后处理操作的组合来改善最终结果。结果表明，该方法是竞争的最先进的算法，如SVM-CK，KSOMP-CK和KSSP-CK。
2018-03-06 cs.CV math.OC
Tensor-based formulation and nuclear norm regularization for multi-energy computed tomography
Tufts University（塔夫茨大学）
能量选择性光子计数X射线探测器的发展为计算机断层成像成像领域提供了广泛的新可能性。在完美的能量分辨率的假设下，在这里，我们提出了一个基于张量的迭代算法，同时重建每个能量的X射线衰减分布。我们使用多线性图像模型，而不是一个更标准的“堆叠向量”表示，以开发新的基于张量的正则化。具体来说，我们将多光谱未知量建模为3向张量，其中前两个维度是空间，第三个维度是能量。这种方法允许张量核范数正则化子的设计，它像它的二维的对应物一样，是多谱未知的凸函数。所得凸优化问题的解决方案是使用交替方向的乘法器（ADMM）的方法。仿真结果表明，广义张量核范数可以作为一个独立的正则化技术的能量选择性（光谱）计算机断层扫描（CT）的问题，当结合总变分正则化，它增强了正则化能力，特别是在低能量图像的噪声的影响是最突出的。
2013-07-19 cs.CV physics.med-ph
Tangent-Normal Adversarial Regularization for Semi-supervised Learning
Beijing Institute of Big Data Research（北京大数据研究院）
与标准监督学习相比，半监督学习的关键难点在于如何充分利用未标记数据。最近提出的一种方法，虚拟对抗训练（VAT），巧妙地执行对抗训练没有标签的信息，施加局部光滑的分类器，这是特别有益的半监督学习。在这项工作中，我们提出了切线常态对抗正则化（TNAR）作为VAT的扩展，考虑到数据流形。TNAR由两个互补的部分组成，正切对抗正则化（TAR）和正常对抗正则化（NAR）。在TAR中，VAT沿着数据流形的切空间应用，旨在加强分类器在流形上的局部不变性，而在NAR中，VAT在与切空间正交的法向空间上执行，旨在对分类器施加鲁棒性，以对抗导致观察数据偏离底层数据流形的噪声。在人工和实际数据集上的实验表明，我们提出的TAR和NAR相互补充，并共同优于其他最先进的半监督学习方法。
2019-03-01 cs.CV cs.LG stat.ML
Stochastic Function Norm Regularization of Deep Networks
KU Leuven（鲁汶大学）；Yonsei University（延世大学）
深度神经网络对图像分析产生了巨大的影响。基于权重衰减和DropOut的最先进的训练方法在非常大的训练集可用时会产生令人印象深刻的性能。然而，它们往往有很大的问题，过度拟合小数据集。实际上，现有的正则化方法只能间接地处理网络函数的复杂性。本文研究了直接使用$L_2$函数范数进行正则化的可行性。提出了两种将这种新的正则化方法集成到随机反向传播中的方法。此外，这些新算法的收敛性进行了研究。最后，我们证明了它们在基准数据集（MNIST和CIFAR10）的低样本制度中优于最先进的方法。所得到的结果表明非常明显的改善，特别是在小样本制度的背景下，数据位于低维流形。该方法的源代码可以在\url{https://github.com/AmalRT/DNN_Reg}上找到。
2019-08-30 cs.CV cs.LG stat.ML
Towards Understanding Regularization in Batch Normalization
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）
本文通过理论分析探讨了批量归一化在神经网络训练中的收敛性和泛化能力，揭示了批量归一化作为隐式正则化的作用，并通过实验验证了其在卷积神经网络中的正则化特性。
2019-04-24 cs.CV cs.LG cs.SY
Batch norm with entropic regularization turns deterministic autoencoders into generative models
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
变分自编码器是一种定义明确的深度生成模型，它利用编码器-解码器框架，其中编码神经网络输出非确定性代码以重建输入。编码器通过从每个输入的分布中采样来实现这一点，而不是每个输入输出确定性代码。这个过程的最大优点是，它允许使用网络作为生成模型，用于从提供的样本之外的数据分布中进行采样。我们在这项工作中表明，利用批量归一化作为非确定性的来源足以将确定性自编码器转换为与变分自编码器相同的生成模型，只要我们向训练目标添加合适的熵正则化。
2021-09-22 cs.CV cs.LG stat.ML
Training Deep Normalizing Flow Models in Highly Incomplete Data Scenarios with Prior Regularization
Rochester Data Science Consortium（罗切斯特数据科学联盟）；University of Rochester（罗切斯特大学）
包括GANs和标准化流模型在内的深度生成框架已被证明可以通过显式或隐式地有效学习复杂的高维统计分布，成功地填补部分观察到的数据样本中的缺失值。然而，在可用于学习的数据仅被部分观察的任务中，它们的性能作为数据缺失率的函数单调衰减。在高丢失数据率状态（例如，60%及以上），已经观察到，最先进的模型往往会崩溃并产生不切实际和/或语义不准确的数据。我们提出了一个新的框架，以促进学习的数据分布在高匮乏的情况下，传统的配方的不适定问题的解决方案的启发。所提出的框架自然源于将从不完整数据中学习的过程作为正在学习的模型参数和缺失数据值的联合优化任务。该方法涉及强制执行先验正则化项，该先验正则化项与用于训练显式和易处理的深度生成框架（例如深度规范化流模型）的目标无缝集成。我们通过广泛的实验验证表明，所提出的框架优于竞争技术，特别是当数据匮乏的速度接近统一。
2021-04-03 cs.CV cs.LG
Towards Better Orthogonality Regularization with Disentangled Norm in Training Deep CNNs
Shanghai University（上海大学）
该研究提出解耦范数的核正交性新度量提升浅模型性能，又基于严格正交性与深模型容量的冲突提出松弛正则化理论，在CIFAR数据集的ResNet、WideResNet上实现SOTA性能并揭示正交性对深模型的影响。
2023-06-16 cs.CV cs.LG
Implicit Regularization and Convergence for Weight Normalization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
标准化方法，如批次[Ioffe和Szegedy，2015]，重量[Salimansand Kingma，2016]，实例[Ulyanov等人，2016]和层归一化[Baet al.，2016]已广泛应用于现代机器学习。在这里，我们研究了权重归一化（WN）方法[Salimans和Kingma，2016]和一种称为过参数化最小二乘回归的重新参数化投影梯度下降（rPGD）的变体。WN和rPGD用尺度g和单位向量w重新参数化权重，因此目标函数变得非凸。我们表明，这种非凸制定了有益的正则化效果相比，梯度下降的原始目标。这些方法自适应正则化的权重和收敛接近最小的l2范数的解决方案，即使初始化远离零。对于一定的步长g和w，我们表明，他们可以收敛到最小范数解。这与梯度下降的行为不同，梯度下降仅在特征矩阵的范围空间中的点处开始时才收敛到最小范数解，因此对初始化更敏感。
2022-08-30 cs.CV cs.LG math.OC
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Decreasing Weighted Sorted $\ell_1$ Regularization
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）
我们考虑一个新的家庭的正则化，称为{ \it加权排序$\ell_1$规范}（WSL 1），它推广了最近推出的{ \it八角收缩和聚类算法回归}（OSCAR），也包含$\ell_1$和$\ell_{\infty}$规范作为特定的实例。我们关注WSL 1的一个特殊情况，{ \sl递减WSL 1}（DWSL 1），其中参数向量的元素以非递增顺序排序，权重也是非递增的。在本文中，DWSL 1确实是一个规范后，我们得出两个关键的工具，它作为一个正则化：对偶规范和莫罗邻近算子。
2014-04-11 cs.CV cs.IT cs.LG
Solving OSCAR regularization problems by proximal splitting algorithms
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
OSCAR（八角形选择和聚类回归算法）正则化器由一个L1范数和一个成对的Linf范数（负责其分组行为）组成，并被提出用于在组先验未知的情况下鼓励组稀疏性。OSCAR正则化子具有非平凡的邻近算子，这限制了其适用性。我们将该正则化算子转化为加权排序L_1范数，并提出了其分组邻近算子和近似邻近算子，从而使最新的邻近分裂算法（PSA）可以用于求解OSCAR正则化反问题.实际上，APO之后是额外的分组和平均操作，这在时间和存储上是昂贵的，这解释了为什么APO算法比APO算法快得多的原因。由于λ是一个精确的邻近算子，保证了带λ的PSA的收敛性。虽然PSA与APO的收敛性可能无法得到保证，但我们已经通过实验发现，当成对L_inf范数的正则化参数设置为适当的小值时，APO的行为类似于递归。实验结果表明，该算法具有快速、准确的特点。
2013-09-27 cs.CV cs.LG stat.ML
Learning Sparse Visual Representations with Leaky Capped Norm Regularizers
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出泄漏受限范数正则化器，用于学习过完备视觉表示，证明了其在3D形状恢复中的收敛性，优于ℓ1和非凸正则化方法。
2017-11-08 cs.AI cs.CV cs.LG
