Regularized Multivariate Functional Principal Component Analysis
本文提出正则化多元函数主成分分析（ReMFPCA），通过引入粗糙度惩罚增强主成分的光滑性与可解释性，模拟和真实数据验证其优于现有方法。
2023-06-24 stat.ME stat.ML
Exploring dimension learning via a penalized probabilistic principal component analysis
建立数据的低维表示导致有效的数据学习策略。在许多情况下，需要显式地说明并从数据中估计降维。我们探讨了有限样本中的维数估计作为一个约束优化问题，其中估计的维数是一个最大化的惩罚配置文件的概率主成分分析的框架内的似然准则。与其他惩罚最大化问题，需要一个“最佳”的惩罚调整参数，我们提出了一个数据平均的过程，估计尺寸出现在一个合理的惩罚参数范围内的最有利的选择。所提出的启发式相比，大量的替代标准在模拟和基因表达数据的应用。广泛的模拟研究表明，没有一种方法均匀地支配其他的，并强调了在选择统计方法进行维度学习时特定学科知识的重要性。我们的应用结果还表明，基因表达数据具有比之前认为的更高的内在维度。总体而言，我们提出的启发式取得了很好的平衡，是模型假设适度偏离时的选择方法。
2022-02-09 stat.ME
Alternating minimization for square root principal component pursuit
针对平方根主成分追踪（SRPCP）的计算难题，本文提出无需调参的AltMin算法，并结合核范数变分表述与Burer-Monteiro分解加速，实验验证其高效鲁棒。
2025-03-15 math.OC stat.ML
T-SVD Based Non-convex Tensor Completion and Robust Principal Component Analysis
Peking University（北京大学）
张量完备化和鲁棒主元分析在机器学习中得到了广泛的应用，但其关键问题是如何最小化张量秩，这是一个非常具有挑战性的问题。解决这一问题的一种常用方法是基于张量奇异值分解（T-SVD），用奇异值的$\ell_1-$范数来近似张量秩。此外，张量的稀疏性也可以用它的$\ell_1-$范数来度量。然而，$\ell_1$罚分本质上是有偏差的，因此结果将偏离。为了避免这种偏差，我们提出了一种新的非凸张量秩代理函数和一种新的非凸稀疏性度量。在这种新的设置中，通过使用的凸性，而不是一个优化最小化算法进一步设计张量完成和鲁棒的主成分分析。此外，我们分析了它的理论性质。最后，自然和高光谱图像上的实验证明了我们提出的方法的有效性和效率。
2021-05-25 cs.CV cs.LG stat.ML
An Interpretable and Stable Framework for Sparse Principal Component Analysis
本文提出SP-SPCA方法，通过引入均衡参数灵活控制稀疏性和解释方差，提升高维数据建模的稳定性与可解释性。
2026-03-14 cs.LG stat.ML
Principal Component Analysis of Two-dimensional Functional Data with Serial Correlation
本文提出一种基于二元样条、自回归随机效应和EM算法的新模型，用于分析非矩形区域上稀疏不规则观测的序列相关二维函数型数据，并通过模拟与德州百年温度数据验证其有效性。
2023-12-07 stat.ME
TL-PCA: Transfer Learning of Principal Component Analysis
Ben-Gurion University（本古里安大学）
针对目标数据样本过少限制PCA性能的问题，提出TL-PCA方法，通过引入源任务知识扩展优化目标，有效提升了降维表示效果。
2024-10-14 cs.LG stat.ML
On the Quality of a Semidefinite Programming Bound for Sparse Principal Component Analysis
我们研究的问题，近似一个积极的，半定矩阵$Σ$的二元$xx^T$，与惩罚的基数向量$x$。这个问题出现在稀疏主成分分析中，其中寻求涉及稀疏因子的$Σ$的分解。我们表达这个困难的组合问题作为一个最大本征值问题，在其中，我们寻求最大化，在一个盒子，一个对称矩阵，是线性的变量的最大本征值。这种表示允许使用鲁棒优化技术，基于半定规划导出一个界。使用Nemirovski和Ben-Tal（2002）启发的技术研究了边界的质量。
2006-02-03 math.OC math.ST stat.TH
Penalized Principal Component Analysis Using Smoothing
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
本文提出平滑PEP方法，通过对L1惩罚应用平滑实现解析梯度计算以加速优化，支持高阶特征向量计算，并在基因组数据等实验中证明其能提升数值稳定性、预测准确性和聚类可辨识性。
2025-03-03 cs.LG cs.NA math.NA
Supervised Principal Component Regression for Functional Responses with High Dimensional Predictors
针对函数型响应与高维预测变量的关联建模，提出监督主成分回归，通过稀疏同步线性回归等价求解非凸广义瑞利商问题，并给出子空间恢复条件、非渐近误差界及实证优势。
2023-08-15 stat.ME
The BerHu penalty and the grouped effect
Huber准则是稳健回归的一种有效方法。自适应最小绝对收缩和选择算子（lasso）是一种流行的同时进行估计和变量选择的技术。在小样本量和协变量数较大的情况下，这种罚函数不是很令人满意的变量选择方法。在本文中，我们引入了一个自适应的反向版本的Huber准则作为一个罚函数。我们称这种惩罚为适应性Berhu惩罚。对于弹性净惩罚，小系数将其$\ell_1$范数贡献给该惩罚，而较大系数导致其二次增长（如岭回归）。证明了与普通最小二乘准则或Huber准则结合自适应Berhu罚的估计量具有预言性质。此外，这一程序还促进了群体效应。该方法与自适应弹性网络正则化进行了比较。广泛的仿真研究表明，令人满意的有限样本的性能，这样的程序。为了说明的目的，一个真实的例子进行了分析。关键词：自适应Berhu罚;伴随尺度;弹性网罚; Huber准则;预言性质;稳健估计。
2012-07-30 math.ST stat.ME stat.TH
Smooth Principal Component Analysis over two-dimensional manifolds with an application to Neuroimaging
出于对位于皮层表面的高维神经成像信号的分析，我们引入了一种新的主成分分析技术，该技术可以处理位于二维流形上的功能数据。为此目的，正则化的方法，通过引入光滑罚相干的测地线距离在流形上。该模型适用于任何流形拓扑结构，能够自然地处理缺失数据和在不同网格点上评估的函数样本。我们的方法的离散化任务，通过有限元分析，并提出了一个有效的迭代算法的决议。我们比较所提出的算法与其他方法的经典文献中采用的性能。最后，我们将所提出的方法应用于人类连接组项目的静息状态功能磁共振成像数据，该方法显示了其他方法不明显的大脑区域之间的差异。
2016-09-12 stat.AP stat.ME
A novel nonconvex, smooth-at-origin penalty for statistical learning
针对深度学习等场景下变量选择需求低的问题，提出一种原点光滑的新型非凸正则化惩罚项，理论上证明其OLS估计渐近偏差指数衰减，实验显示在多数数据集上性能优于现有方法。
2022-04-06 stat.AP stat.ML
Logistic principal component analysis via non-convex singular value thresholding
在当前的生物学研究中，多元二进制数据变得越来越丰富。逻辑主成分分析（PCA）是通过利用底层低秩结构来探索多元二进制数据集内部关系的常用工具之一。基于二值数据的广义线性模型的潜变量解释，我们重新表达了逻辑主成分分析模型。多元二进制数据集被假定为未观测的定量数据集的符号观测，其上假定存在低秩结构。然而，标准的逻辑主成分分析模型（使用精确的低秩约束）容易过拟合，这可能导致一些估计的参数朝着无穷大发散。我们建议通过非凸奇异值阈值来拟合Logistic PCA模型，以减轻过拟合问题。采用一种高效的优化-最小化算法对模型进行拟合，并引入一种基于缺失值的交叉验证（CV）过程进行模型选择。对不平衡二进制数据和低信噪比的真实模拟实验表明，基于CV误差的模型选择过程在选择所提出的模型方面是成功的。此外，所选择的模型表现出优越的性能，在恢复底层的低秩结构相比，模型与凸核范数惩罚和精确的低秩约束。一个二进制拷贝数畸变数据集被用来说明所提出的方法在实践中。
2019-02-25 stat.ME stat.ML
Dynamic Principal Component Analysis in High Dimensions
主成分分析是一种通用的降维工具，在统计学和机器学习中有着广泛的应用。它特别适用于在变量数$p$与样本量$n$相当或远大于样本量的高维场景中建模数据。尽管关于这个主题的大量文献，研究人员一直专注于静态主特征向量的建模，这是不适合的随机过程，是动态的性质。为了刻画高维数据采集全过程中的变化，本文提出了一个统一的框架来直接估计协方差阵的动态特征向量。具体来说，我们制定了一个优化问题，结合局部线性光滑和正则化惩罚与正交约束，这可以有效地解决流形优化算法。我们表明，我们的方法是适用于常见的和不规则的设计下观察到的高维数据，估计的理论性质下的$l_q (0 \leq q \leq 1)$稀疏性进行了研究。大量的实验表明，所提出的方法在模拟和真实数据的例子的有效性。
2022-08-17 stat.ME
Iterative Reweighted Framework Based Algorithms for Sparse Linear Regression with Generalized Elastic Net Penalty
Institute of Applied Mathematics, Shenzhen Polytechnic University（深圳职业技术学院应用数学研究所）；School of Mathematics and Statistics, Henan University（河南大学数学与统计学院）；Center for Applied Mathematics of Henan Province, Henan University（河南大学河南省应用数学中心）
针对高维稀疏线性回归，本文提出损失含ℓ_r范数、惩罚含ℓ_q范数的广义弹性网模型，建立非零系数下界，并给出ADMM与PMM-SSN两种迭代重加权算法，实验显示二者性能优越且PMM-SSN更高效。
2024-12-05 cs.LG math.ST stat.ML
Fair principal component analysis (PCA): minorization-maximization algorithms for Fair PCA, Fair Robust PCA and Fair Sparse PCA
本文提出基于极小化-最大化方法的迭代算法解决公平PCA问题，并扩展至公平鲁棒PCA和公平稀疏PCA，算法高效且无需超参数，实验验证优于现有方法。
2023-05-10 eess.SP stat.ML
Efficient inference of dynamic gene regulatory networks using discrete penalty
针对传统基因调控网络推断方法存在偏差、超参数调优繁琐的问题，本研究提出采用离散惩罚的可扩展框架，高效求解混合整数优化问题，可精准控制网络稀疏性，在胶质母细胞瘤等转录组数据应用中展现出解析肿瘤异质性的优势。
2025-07-30 stat.AP stat.CO stat.OT
Hull Form Optimization with Principal Component Analysis and Deep Neural Network
University of California at Berkeley（加州大学伯克利分校）
设计和修改复杂的船体形状以获得最佳船舶性能一直是造船师面临的主要挑战。在本研究中，主成分分析（PCA）被引入到压缩的几何表示的一组现有的船只，和由此产生的主要分数被操纵，以产生大量的派生的船体形状，计算评估其静水性能。结果随后被用于训练深度神经网络（DNN），以准确地建立不同的船体形状和它们的相关性能之间的关系。然后，基于快速、并行的基于DNN的船体形状评估，执行最优船体形状的大规模搜索。
2018-10-27 cs.LG cs.NE stat.ML
Penalty, Shrinkage, and Preliminary Test Estimators under Full Model Hypothesis
本文考虑多元回归模型，在全模型假设下，分析比较了岭回归、LASSO、自适应LASSO、SCAD、弹性网等常用惩罚估计与最小二乘估计、约束估计、初步检验估计的性能，当参数空间的维数小于样本空间的维数时，证明了Stein型估计。我们发现，RR一致主导LSE，RE，PTE，SE和PRSE，而LASSO，aLASSO，SCAD和EN一致主导LSE。此外，据观察，惩罚估计量和斯坦型估计量都不占主导地位。
2015-03-24 math.ST stat.CO stat.ME
Cellwise robust and sparse principal component analysis
本文提出首个稀疏且单元稳健的PCA方法SCRAMBLE，通过稳健损失函数与稀疏惩罚项结合，并利用Riemannian随机梯度下降算法实现高维数据扩展，在模拟和摩擦学应用中均展现优越性。
2024-08-28 stat.AP stat.CO stat.ME
Variable Selection and Regularization via Arbitrary Rectangle-range Generalized Elastic Net
Claremont Graduate University（克莱蒙特研究生大学）；Old Mission Capital（老使命资本）
本文介绍了任意矩形范围的广义弹性网罚方法，简称ARGEN，用于高维稀疏线性模型的约束变量选择和正则化。作为非负弹性网罚方法的自然推广，在一定条件下证明了ARGEN方法具有变量选择一致性和估计一致性。研究了ARGEN估计量在分布中的渐近性态。我们还提出了一个算法称为MU-QP-RR-W- $l_1$有效地解决ARGEN。通过仿真研究，我们表明，ARGEN优于弹性网在一些设置。最后，标准普尔500指数跟踪与股票分配的限制的应用程序进行调整ARGEN解决现实世界的问题提供一般性的指导。
2021-12-14 cs.LG stat.ML
Nonparametric and high-dimensional functional graphical models
本文研究了高维函数数据的非参数无向图模型的构造问题。在这种情况下，大多数现有的统计方法假设顶点上的高斯分布或线性条件均值。在这篇文章中，我们提供了一个更灵活的模型，放宽了线性假设，取代它的任意添加剂的形式。函数主成分的使用提供了一种估计策略，该策略使用组套索惩罚来估计图的相关边。我们建立统计保证的估计，可以用来证明一致性，如果尺寸和数量的功能主成分发散到无穷大的样本量。我们还调查了我们的方法，通过模拟研究和实际数据应用的经验性能。
2021-03-18 math.ST stat.ME stat.TH
Huber Principal Component Analysis for Large-dimensional Factor Models
因子模型在经济学和金融学中有着广泛的应用。然而，宏观经济和金融数据的重尾性质在现有文献中往往被忽视。为了解决这个问题，并实现鲁棒性，我们提出了一种方法来估计因子载荷和分数，通过最小化的Huber损失函数，这是由传统的主成分分析（PCA）和约束最小二乘法在因子模型的等效性的动机。我们提供了两个算法，使用不同的惩罚形式。第一种算法，我们称之为Huber PCA，最小化$\ell_2$范数型Huber损失，并对加权样本协方差阵执行PCA。第二种算法涉及逐元素类型的Huber损失最小化，其可以通过迭代Huber回归算法来求解。我们的研究探讨了理论上的最小化的元素明智的Huber损失函数，并表明，它具有相同的收敛速度，传统的PCA时，特质误差有界的二阶矩。在较弱的条件下，我们还得到了它们的渐近分布。此外，我们提出了一个一致的模型选择标准，依赖于秩最小化估计的因素的数量鲁棒。我们展示了Huber PCA的好处，通过广泛的数值实验和一个真正的金融投资组合选择的例子。一个名为"HDRFA”的R软件包已经开发出来，以实现拟议的稳健因子分析。
2023-03-29 stat.ME
Sparse principal component regression for generalized linear models
主成分回归（PCR）是一种广泛使用的两阶段程序：主成分分析（PCA），然后是回归，其中所选择的主成分被视为模型中的新解释变量。请注意，PCA仅基于解释变量，因此不使用响应变量的信息选择主成分。在本文中，我们提出了一个一阶段的程序PCR的框架下，广义线性模型。基本损失函数基于回归损失和PCA损失的组合。回归参数的估计得到的基本损失函数的最小值与稀疏惩罚。我们称之为广义线性模型的稀疏主成分回归（SPCR-glm）。同时考虑两个损失函数，SPCR-glm使我们能够获得与响应变量相关的稀疏主成分载荷。然而，损失函数的组合可能会导致参数识别问题，但由于稀疏惩罚，避免了这个潜在的问题。因此，稀疏惩罚在该方法中起两个作用。参数估计过程中提出了使用各种更新算法与坐标下降算法。我们将SPCR-glm应用于两个真实数据集，医生访问数据和小鼠染色体品系数据。SPCR-glm提供了更容易解释的主成分（PC）得分和PC图上比通常的PCA更清晰的分类。
2016-10-13 stat.ME stat.ML
Precision Matrix Estimation under the Horseshoe-like Prior-Penalty Dual
多元高斯模型中的精确矩阵估计是网络估计的基础。虽然存在贝叶斯和频率论的方法，这是很难获得良好的贝叶斯和频率论的性质下相同的先验惩罚对偶。为了弥合这一差距，我们的贡献是一个新的先验-惩罚对偶，它非常接近图形马蹄铁先验和惩罚，并在贝叶斯和频率论意义上表现良好。马蹄形先验的一个主要困难是缺乏密度函数的封闭形式的表达，我们克服了在这篇文章中。在理论上，我们建立了与预言率匹配的精度矩阵的后验收敛速度，以及MAP估计的频率一致性。此外，我们的研究结果还提供了理论上的理由，以前开发的方法，迄今为止尚未探索，例如，图形马蹄事先。分别针对惩罚似然估计问题和完全贝叶斯估计问题提出了计算效率高的EM算法和MCMC算法。在数值实验中，基于马蹄铁的方法通过全面优于竞争方法来反映其优越的理论特性。B细胞淋巴瘤中的蛋白质-蛋白质相互作用网络估计被认为是验证所提出的方法。
2022-01-18 math.ST stat.ME stat.TH
Principal Component Networks: Parameter Reduction Early in Training
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近的研究表明，过参数化网络包含较小的子网络，在隔离训练时，这些子网络表现出与完整模型相当的准确性。这些结果突出了在不牺牲泛化性能的情况下降低深度神经网络训练成本的潜力。然而，现有的寻找这些小网络的方法依赖于昂贵的多轮训练和修剪过程，并且对于大型数据集和模型是不实用的。在本文中，我们展示了如何找到小型网络，这些网络在经过几次训练后表现出与超参数化网络相同的性能。我们发现超参数化网络中的隐层激活主要存在于小于实际模型宽度的子空间中。在此基础上，我们使用PCA为层输入找到高方差的基础，并使用这些方向表示层权重。我们消除了所有与PCA基础无关的权重，并将这些网络架构称为主元网络。在CIFAR-10和ImageNet上，我们证明了PCNs的训练速度更快，比过参数化模型使用更少的能量，而且没有精度损失。我们发现，我们的转换导致网络的参数减少了23.8倍，具有相等或更高的最终模型精度-在某些情况下，我们观察到高达3%的改进。我们还表明，ResNet-20 PCN的性能优于深度ResNet-110网络，同时训练速度更快。
2020-06-23 cs.LG cs.NE stat.ML
Principal Component Properties of Adversarial Samples
University of California San Diego（加州大学圣地亚哥分校）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
用于图像分类的深度神经网络被发现容易受到对抗性样本的影响，这些样本由添加到良性图像中的亚感知噪声组成，可以很容易地欺骗经过训练的神经网络，对其商业部署构成重大风险。在这项工作中，我们通过它们对每个图像的主成分的贡献来分析对抗样本，这与作者对整个数据集进行PCA的先前工作不同。我们研究了一些在ImageNet上训练的最先进的深度神经网络，以及对每个网络的几种攻击。我们的研究结果从经验上证明，几种攻击的对抗样本在对神经网络输入的主成分的贡献方面具有相似的特性。我们提出了一个新的度量神经网络来衡量其对抗样本的鲁棒性，称为（k，p）点。我们利用这个指标在ImageNet上训练的模型中检测对抗样本的准确率达到93.36%，与架构和攻击类型无关。
2019-12-07 cs.CV cs.LG eess.IV
A Tutorial on Principal Component Analysis with the Accord.NET Framework
本文档旨在澄清有关使用Accord.NET Framework执行统计分析的常见问题。在这里，我们重现了著名的Lindsay的主成分分析的所有步骤，试图给读者一个完整的动手概述框架的基础知识，同时也讨论了一些结果和Accord.NET和其他软件包生成的结果之间的分歧来源。
2012-10-28 cs.SE stat.CO
Network exploration via the adaptive LASSO and SCAD penalties
图形模型经常被用来探索网络，如遗传网络，在一组变量中。这通常是通过探索所考虑的变量的精度矩阵的稀疏性来进行的。惩罚似然法常用于此类探索。然而，精度矩阵的正定性约束使得优化问题具有挑战性。我们引入了非凹惩罚和自适应LASSO惩罚来减弱网络估计中的偏差问题。通过对非凹罚函数的局部线性逼近，将精度矩阵估计问题重新转换为具有加权$L_1$罚的惩罚似然问题序列，并使用Friedman等人[Biostatistics 9（2008）432- 441]的有效算法求解。我们的估计方案适用于两个真实的数据集。仿真实验和渐近理论被用来证明我们提出的方法。
2009-08-14 stat.AP
A Differentiable Alternative to the Lasso Penalty
正则化回归现在已经变得非常流行，特别是在高维问题中，在传统方法失败的情况下，向对数似然增加惩罚项允许进行推断。在文献中已经提出了许多惩罚措施，例如套索、SCAD、脊和弹性网等。尽管它们的优点和显着的性能，在相当极端的设置，其中$p \gg n$，所有这些处罚，除脊，是不可微的零。这在某些情况下可能是一种限制，例如非线性模型中参数估计的计算效率或模型选择标准的自由度估计量的推导。在这篇论文中，我们为科学界提供了一个可微的惩罚，它可以在任何情况下使用，特别是在可微性起关键作用的情况下。我们展示了这个函数的一些理想的功能，并证明了在正则化回归的背景下所产生的估计的理论性质。仿真研究和实际数据集的分析表明，在不同的情况下，总体上表现良好。该方法在CRAN免费提供的R包DLASSO中实现。
2016-09-16 stat.ME
Nonlinear Functional Principal Component Analysis Using Neural Networks
本文提出了一种基于神经网络的新型非线性函数主成分分析方法，用于处理偏离线性结构假设的函数数据，实现曲线重构，并在模拟与真实数据集上验证了其优越性。
2023-06-26 stat.ME
The Lambert Penalty: Logarithmic Shrinkage for Sparse Regression
İnönü University（伊诺努大学）
本文提出Lambert惩罚，通过限制保留比例的对数收缩实现稀疏回归，在预测与变量选择间平衡，模拟和QSAR应用中表现竞争性。
2026-10-08 stat.ME
Predictive support recovery with TV-Elastic Net penalty and logistic regression: an application to structural MRI
机器学习在神经影像学中的应用为脑部疾病的早期诊断和预后提供了新的视角。虽然这样的多变量方法可以捕获数据中的复杂关系，但是传统方法提供了具有非常有限的相关性的不规则（l2罚分）或分散（l1罚分）的预测模式。像全变差（TV）这样的惩罚利用了图像的自然3D结构，可以增加权重图的空间一致性。然而，TV惩罚导致难以最小化的非平滑优化问题。我们提出了一个优化框架，最大限度地减少任何组合的l1，l2和TV的处罚，同时保留确切的l1处罚。该算法使用Nesterov的平滑技术来近似TV惩罚与平滑函数，使得损失和惩罚最小化与精确加速邻近梯度算法。我们提出了一个原始的连续算法，使用连续较小的值的平滑参数，以达到规定的精度，同时实现最佳的收敛速度。该算法可以用于其他损失或处罚。该算法被应用在ADNI数据集上的分类问题。我们观察到，TV惩罚并不一定改善预测，但在预测性脑区的支持恢复方面提供了重大突破。
2014-07-21 stat.ML
FuNVol: A Multi-Asset Implied Volatility Market Simulator using Functional Principal Components and Neural SDEs
University of Toronto（多伦多大学）；Riskfuel Analytics
本文提出FuNVol，一种结合函数主成分与神经随机微分方程的多资产隐含波动率市场模拟器，通过概率积分变换惩罚减少模型误设，生成无静态套利且与历史一致的曲面，并验证对冲损益的准确性。
2023-12-26 cs.LG q-fin.CP q-fin.ST
The Penalty Imposed by Ablated Data Augmentation
Google（谷歌）
有一组数据增强技术可以随机消融部分输入。这些包括输入丢失、切断和随机擦除。我们称这些技术为消融数据增强。虽然这些技术在精神上看起来相似，并且在各种领域都成功地提高了模型性能，但我们还没有像对L1或L2等其他正则化技术那样对这些技术之间的差异有数学上的理解。首先，我们研究了线性回归的平均消融数据增强和倒辍学的形式化模型。我们证明，消融数据增强相当于优化普通最小二乘目标，以及一个惩罚，我们称之为贡献协方差惩罚和倒dropout，一个更常见的实现比流行的框架中的dropout，相当于优化普通最小二乘目标以及修改L2。对于深度网络，如果我们将贡献替换为属性，将系数替换为平均梯度，我们将证明结果的经验版本，即，贡献协方差惩罚和修正的L2惩罚随着各种网络上相应的消融数据增强的增加而下降。
2020-06-08 cs.LG stat.ML
Sparse Penalty in Deep Belief Networks: Using the Mixed Norm Constraint
CNRS（法国国家科学研究中心）；Aix-Marseille University（艾克斯-马赛大学）；Université Sud Toulon-Var（南土伦瓦尔大学）；Institut Universitaire de France（法兰西大学研究院）
深度信念网络（DBN）已成功应用于流行的机器学习任务。具体来说，当应用于手写数字识别时，DBN已经达到了98.8%的准确率。为了优化DBN实现的数据表示并最大化其描述能力，最近的进展集中在DBN的每一层引入稀疏约束。在本文中，我们提出了一种理论方法，稀疏约束的DBN使用混合范数的非重叠和重叠的群体。我们探讨了这些约束如何影响三个不同的数据集（MNIST，USPS，RIMES）的数字识别的分类精度，并通过改变不同的参数，如组大小和重叠百分比，提供其有用性的初步估计。
2013-02-22 cs.LG cs.NE stat.ML
How to Avoid Trivial Solutions in Physics-Informed Neural Networks
University of Stuttgart（斯图加特大学）
科学机器学习（SciML）的出现开辟了一个新的领域，通过在基于物理和数据的建模接口上开发方法，在仿真科学领域带来了许多希望和挑战。为此，近年来引入了物理信息神经网络（PINN），其通过在所谓的配置点处结合问题的物理知识来应对训练数据的稀缺。在这项工作中，我们研究了PINN的预测性能相对于用于执行基于物理的惩罚项的配置点的数量。我们表明，PINNs可以失败，学习一个平凡的解决方案，满足物理衍生的惩罚项的定义。我们已经开发了一种替代的采样方法和一个新的惩罚项，使我们能够在数据稀缺的情况下解决PINN的核心问题，同时减少基准问题所需的配置点数量高达80%。
2021-12-10 cs.LG stat.ML
What needles do sparse neural networks find in nonlinear haystacks
University of Geneva（日内瓦大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
在人工神经网络（ANN）中使用稀疏诱导惩罚避免了过拟合，特别是在噪声高并且训练集与特征的数量相比很小的情况下。对于线性模型，这样的方法也可证明恢复的重要功能，在政权的一个精心选择的惩罚参数的概率很高。设置惩罚参数的典型方式是通过分割数据集并执行交叉验证，这是（1）计算上昂贵的，并且（2）当数据集已经很小而不能进一步分割（例如，全基因组序列数据）时是不期望的。在这项研究中，我们建立了理论基础，选择惩罚参数，而没有交叉验证的基础上，以高概率边界的梯度损失函数在零零特征假设下的无穷范数。我们的方法是Donoho和Johnstone（1994）的通用阈值到非线性ANN学习的推广。我们对一个简单的模型进行了一组全面的蒙特卡罗模拟，数值结果表明了所提出的方法的有效性。
2020-06-07 cs.LG physics.data-an stat.ML
