Posterior contraction in group sparse logit models for categorical responses
本文研究了先验具有组稀疏结构的多类别logit模型的后验收缩率。我们考虑一类一般的logit模型,其中包括著名的多项logit模型作为一个特例。当预测变量自然聚集时,组稀疏性是有用的,并且对于多项logit模型中的变量选择特别有用。我们提供了一个统一的平台,包括个人稀疏下的二进制逻辑斯谛回归的组稀疏logit模型的后验收缩率。在本研究中,对真实信号没有直接的大小限制。除了建立有史以来第一次收缩属性下的多类别logit模型组稀疏性,这项工作也细化最近的研究结果的贝叶斯理论的二进制逻辑斯谛回归。
2022-01-29 math.ST stat.TH
Training for Faster Adversarial Robustness Verification via Inducing ReLU Stability
Massachusetts Institute of Technology(麻省理工学院)
我们探讨的概念协同设计的背景下,神经网络验证。具体来说,我们的目标是训练深度神经网络,不仅对对抗性扰动具有鲁棒性,而且其鲁棒性可以更容易地验证。为此,我们确定了网络模型的两个属性--权重稀疏性和所谓的ReLU稳定性--这两个属性会显著影响相应验证任务的复杂性。我们证明,提高权重稀疏性本身已经使我们能够把计算上棘手的验证问题变成易于处理的问题。然后,提高ReLU稳定性会导致验证时间增加4- 13倍。我们的方法的一个重要特点是它的“普遍性”,也就是说,它可以与广泛的培训程序和核查办法一起使用。
2019-04-23 cs.CR cs.LG cs.NE
Latent class analysis by regularized spectral clustering
Chongqing University of Technology(重庆理工大学)
本文提出基于正则化拉普拉斯矩阵的两种新算法,用于有序分类数据的潜在类别模型参数估计,并给出理论收敛速率、类别数确定度量及模拟与真实数据验证。
2026-09-09 cs.LG stat.ML
Adaptive Inducing Points Selection For Gaussian Processes
TU Berlin(柏林工业大学)
高斯过程(\textbf{GPs})是一种灵活的非参数模型,具有很强的概率解释。虽然作为对时间序列执行推断的标准选择,但GP在流设置中工作的技术很少。\cite{bui2017streaming}开发了一种有效的变分方法,通过使用稀疏技术来训练在线GP:整个观测集由一组较小的诱导点(\textbf{IPs})近似,并使用新数据进行移动。IP地址的数目和位置对算法的性能有很大的影响。除了优化它们的位置之外,我们还建议根据GP的属性和数据的结构自适应地添加新点。
2021-07-21 cs.LG stat.ML
Bayesian Structured Sparsity from Gaussian Fields
对结构稀疏性的大量研究有助于分析许多不同的应用。然而,在这项工作中很少有贝叶斯程序。在这里,我们开发了一个贝叶斯模型的结构化稀疏性,使用一个高斯过程(GP)共享参数的稀疏诱导前的比例特征相似性定义的任意正定内核。对于线性回归,回归系数上的这种稀疏诱导先验是将混合模型转换为法线的尺度混合的典型尖峰和平板先验的松弛。这种先验保留了包含参数的显式后验概率-现在使用GP概率先验分布-但通过潜在高斯场的椭圆切片采样实现了易于处理的计算。我们使用关联映射的基因组应用或识别与连续性状相关的遗传变异来激励这种先验的发展。我们的贝叶斯结构稀疏模型产生稀疏的结果,大大提高了灵敏度和精度相对于可比的方法。通过模拟,我们发现三个属性是这种改进的关键:i)在协变量中建模结构,ii)使用包含的后验概率进行显著性检验,iii)模型平均。我们目前的结果,从应用该模型到一个大型的基因组数据集,以证明计算的易处理性。
2014-07-08 q-bio.GN stat.ME
Two-way sparsity for time-varying networks, with applications in genomics
我们提出了一种新的建模时变网络的方式,通过诱导双向稀疏的本地模型的节点连接。这种双向稀疏性分别促进了跨时间的稀疏性和跨变量(时间内)的稀疏性。这两种类型的稀疏性的分离是通过一种新的先验结构实现的,它借鉴了贝叶斯套索和copula建模的思想。我们提供了一个有效的实施所提出的模型通过吉布斯采样器,我们应用该模型的数据从神经发展。在这样做的过程中,我们证明了所提出的模型能够识别与当前生物学知识相匹配的基因组网络结构的变化。然后,神经生物学家可以利用基因组网络结构的这种变化来确定进一步实验研究的潜在目标。
2020-11-18 stat.ME
Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors
Shanghai Jiao Tong University(上海交通大学);Northwestern University(西北大学)
科学和工程问题通常需要使用人工智能来帮助理解和寻找有前途的设计。虽然高斯过程(GP)作为易于使用和可解释的学习器脱颖而出,但它们难以适应大数据集,分类输入和多个响应,这已成为越来越多的数据驱动设计应用程序的共同挑战。在本文中,我们提出了一个GP模型,利用通过变分推理得到的潜变量和函数,同时解决上述挑战。该方法是建立在潜变量高斯过程(LVGP)模型,其中分类因素被映射到一个连续的潜在空间,使GP模型的混合变量数据集。通过将变分推理扩展到LVGP模型,大型训练数据集被一小组诱导点所取代,以解决可扩展性问题。输出响应向量由独立潜在函数的线性组合表示,形成灵活的内核结构以处理可能具有不同行为的多个响应。比较研究表明,所提出的方法可以很好地扩展超过10^4个数据点的大型数据集,同时优于最先进的机器学习方法,而不需要太多的超参数调整。此外,获得了一个可解释的潜在空间,以深入了解分类因素的影响,例如与超材料和材料设计中的建筑模块和元件选择相关的因素。我们的方法被证明是机器学习的三元氧化物材料和拓扑优化的多尺度顺应机制与非周期性的微结构和多种材料。
2021-06-30 cs.LG stat.ML
Type I and Type II Bayesian Methods for Sparse Signal Recovery using Scale Mixtures
University of California, San Diego(加州大学圣地亚哥分校)
在本文中,我们提出了一个广义尺度混合分布族,即幂指数尺度混合(PESM)的家庭,目前用于稀疏信号恢复(SSR)的稀疏诱导先验模型。我们表明,成功的和流行的方法,如LASSO,重新加权$\ell_1$和重新加权$\ell_2$方法可以制定在一个统一的方式在最大后验概率(MAP)或I型贝叶斯框架使用适当的成员PESM家庭的稀疏诱导先验。此外,利用自然层次框架诱导的PESM家庭,我们利用这些先验的II型框架,并开发相应的EM为基础的估计算法。I型和II型方法之间的差异提供了一些见解,特别感兴趣的算法开发是流行的和成功的加权$\ell_1$方法的II型变体。大量的实证结果表明,II型方法表现出更好的支持恢复比相应的I型方法。
2015-07-17 cs.LG stat.ML
Application of Bayesian Hierarchical Prior Modeling to Sparse Channel Estimation
用于稀疏信道估计的现有方法通常提供作为最大化目标函数的解来计算的估计,该目标函数被定义为对数似然函数和与感兴趣的参数的l1范数成比例的惩罚项的和。然而,其他惩罚项已被证明具有很强的稀疏诱导属性。在这项工作中,我们设计了导频辅助信道估计OFDM无线接收机的框架内的稀疏贝叶斯学习,通过定义层次贝叶斯先验模型,导致稀疏诱导惩罚条款。估计的结果作为一个应用程序的变分的消息传递算法的因素图表示的信号模型扩展的分层先验模型。数值结果表明,我们的信道估计相比,传统的和国家的最先进的稀疏方法的优越性能。
2012-04-03 stat.ML
Latent class analysis for multi-layer categorical data
Chongqing University of Technology(重庆理工大学)
针对多选项响应的多层分类数据建模需求,提出多层潜在类别模型与三种谱方法,证明其估计一致性,给出确定潜在类别数的方案,通过实验验证了方法的有效性。
2024-08-10 cs.LG stat.ML
An Iteratively Re-weighted Method for Problems with Sparsity-Inducing Norms
Northwestern Polytechnical University(西北工业大学);University of Pittsburgh(匹兹堡大学)
针对多任务学习、子空间聚类、特征选择、鲁棒主成分分析等机器学习任务中经常遇到的稀疏范数难以处理的问题,提出了一种具有可靠收敛保证的迭代重加权方法(IRW).我们研究其收敛速度,通过大量的实验上的真实数据。此外,为了验证IRW的实用性,我们使用它来解决一个具体的鲁棒特征选择模型,具有复杂的目标函数。实验结果表明,该模型与所提出的优化方法相结合,显着优于替代方法。
2019-07-02 cs.LG stat.ML
Sparse Bayesian Unsupervised Learning
本文研究了无监督高维环境下的变量选择、聚类和估计问题。我们的方法是基于拟合约束高斯混合模型,在那里我们学习的集群数量$K$和相关变量$S$的集合使用广义贝叶斯后验与稀疏诱导先验。我们证明了一个稀疏预言不等式,表明该过程选择最佳参数$K$和$S$。该过程使用基于面向聚类的贪婪建议的梅特罗波利斯-黑斯廷斯算法来实现,这使得收敛到后验非常快。
2014-01-30 stat.ML
Bayesian Effect Fusion for Categorical Predictors
在本文中,我们提出了一个贝叶斯方法,以获得一个稀疏表示的分类预测的影响,在回归型模型。由于分类预测因子的效应由一组水平效应捕获,因此稀疏性不仅可以通过排除单个不相关水平效应来实现,还可以通过排除与预测因子关联的整组效应或通过融合对响应具有基本相同效应的水平来实现。为了实现这一目标,我们提出了一个先验,它允许几乎完美的,以及几乎为零的水平影响之间的依赖先验。我们展示了如何通过指定与一个分类预测因子相关的所有效应差异上的尖峰和平板先验分布来获得此先验,以及如何实现限制性融合。提出了一种有效的后验计算MCMC方法。所提出的方法的性能进行了研究模拟数据。最后,我们说明了它的应用程序的实际数据从欧盟SILC。
2017-11-16 stat.CO
Bayesian Regression Tree Ensembles that Adapt to Smoothness and Sparsity
决策树集成是一个有用的工具,用于获得回归函数的灵活估计。这些方法的示例包括梯度提升决策树、随机森林和贝叶斯CART。树集合的两个潜在缺点是它们缺乏平滑性和易受维数灾难的影响。我们表明,这些问题可以克服,而不是考虑稀疏诱导软决策树中的决定被视为概率。我们在贝叶斯加性回归树框架的背景下实现了这一点,并通过在基准数据集上的测试说明了其良好的性能。我们提供了强有力的理论支持,我们的方法表明,后验分布集中在极小极大率(最多对数因子)的稀疏函数和功能与添加剂的结构在高维政权的协变量空间的维数允许增长近指数的样本量。我们的方法也适应未知的平滑度和稀疏度,并可以通过对现有的BART算法进行最小的修改来实现。
2018-09-15 stat.ME
Variational Inference and Sparsity in High-Dimensional Deep Gaussian Mixture Models
本文针对高维深度高斯混合模型拟合困难的问题,提出使用稀疏先验进行贝叶斯推断,并开发了一种可扩展的自然梯度变分推断算法,通过过拟合混合实现高效的架构选择,有效提升了高维数据的聚类效果。
2021-09-01 stat.ME
Doubly Sparse Variational Gaussian Processes
高斯过程模型的使用通常限于具有数万个观测值的数据集,这是由于它们的复杂性和内存占用。克服这种限制的两种最常用的方法是1)依赖于诱导点的变分稀疏近似和2)高斯过程的状态空间等效公式化,其可以被视为利用精度矩阵中的一些稀疏性。我们建议采取两全其美:我们表明,诱导点框架仍然是有效的状态空间模型,它可以带来进一步的计算和内存节省。此外,我们提供了自然梯度制定拟议变分参数化。最后,这项工作使得有可能使用深高斯过程模型内部的状态空间公式,如在一个实验中所示。
2020-01-15 cs.LG stat.ML
Optimization with Sparsity-Inducing Penalties
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);University of California(加利福尼亚大学)
稀疏估计方法旨在使用或获得数据或模型的简约表示。它们最初致力于线性变量选择,但现在已经出现了许多扩展,例如结构化稀疏或内核选择。事实证明,许多相关的估计问题可以通过用适当的非光滑范数正则化经验风险来转化为凸优化问题。本文的目标是从一个一般的角度来介绍专门用于这种稀疏诱导处罚的优化工具和技术。我们涵盖近端方法,块坐标下降,重新加权$\ell_2$惩罚技术,工作集和同伦方法,以及非凸配方和扩展,并提供了一个广泛的实验,从计算的角度来看,各种算法进行比较。
2011-11-22 cs.LG math.OC stat.ML
On Sparsity Inducing Regularization Methods for Machine Learning
Ecole Centrale de Paris(巴黎中央理工学院);EPFL(洛桑联邦理工学院);University at Albany(奥尔巴尼大学);University College London(伦敦大学学院)
在过去的几年里,人们对基于稀疏正则化的学习方法产生了极大的兴趣。在本文中,我们讨论了一类一般的方法,其中的正则化可以表示为一个凸函数$ω$与一个线性函数的组合。此设置包括几种方法,如组套索,融合套索,多任务学习等等。我们提出了一个一般的方法来解决这类正则化问题,在假设的邻近算子的功能$ω$。此外,我们评论这种方法的应用支持向量机,弗拉基米尔Vapnik的开创性工作开创的技术。
2013-03-25 cs.LG stat.ML
Resting Neurons, Active Insights: Robustifying Activation Sparsity in LLMs via Spontaneity
IBM Thomas J. Watson Research Center, Yorktown Heights, USA(IBM 托马斯·J·沃森研究中心,美国Yorktown Heights);Halıcıoğlu Data Science Institute, UC San Diego, La Jolla, USA(哈利奇欧数据科学研究所,美国UC圣地亚哥La Jolla);Stony Brook University, Stony Brook, USA(史泰文·布鲁克大学,美国Stony Brook)
本文提出了一种通过引入自发神经元(SPON)来增强LLM中激活稀疏性的方法,解决了高稀疏率下模型精度下降的问题,通过分布匹配训练SPON,使模型在稀疏计算中保持稳定和泛化能力。
2026-05-21 cs.LG
Exact Gaussian Processes for Massive Datasets via Non-Stationary Sparsity-Discovering Kernels
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University at Buffalo(布法罗大学)
高斯过程(GP)是一种在科学和工程应用中用于随机函数逼近的重要数学框架。这一成功在很大程度上归功于GP的分析易处理性,鲁棒性,非参数结构和自然包含的不确定性量化。不幸的是,精确GP的使用对于大型数据集是非常昂贵的,这是由于它们在计算中的$O(N^3)$和在存储中的$O(N^2)$的不利的数值复杂性。所有现有的解决这个问题的方法都利用某种形式的近似-通常考虑完整数据集的子集或找到代表性的伪点,使协方差阵结构良好且稀疏。这些近似方法可能导致函数近似的不准确性,并且经常限制用户在设计表达性内核时的灵活性。而不是通过数据点的几何形状和结构诱导稀疏性,我们建议利用自然发生的稀疏性,允许内核发现-而不是诱导-稀疏结构。本文的前提是,GP在其最原始的形式下通常是自然稀疏的,但常用的内核不允许我们利用这种稀疏性。精确且同时稀疏的GP的核心概念依赖于内核定义,这些内核定义提供了足够的灵活性来学习和编码非零协方差和零协方差。这种超灵活、紧支持和非静态内核的原理,结合HPC和约束优化,使我们能够扩展精确的GP远远超过500万个数据点。
2022-05-18 cs.LG math.PR stat.CO
Bayesian Conditional Tensor Factorizations for High-Dimensional Classification
在许多应用领域中,收集分类响应和高维分类预测因子的数据,目标是在对重要预测因子进行推断的同时构建用于分类的简约模型。在基因组学等环境中,预测因子之间可能存在复杂的相互作用。通过使用一个精心构造的塔克分解,我们定义了一个模型,可以描述任何条件概率,同时促进变量的选择和建模的高阶相互作用。贝叶斯方法之后,我们提出了一个马尔可夫链蒙特卡罗算法的后验计算容纳不确定性的预测要包括在内。在近稀疏假设下,后验分布的条件概率实现接近参数率的收缩,即使在超高维设置。使用模拟的例子和生物医学应用程序的方法进行说明。
2013-01-21 stat.ME
Structured Variable Selection with Sparsity-Inducing Norms
我们考虑线性监督学习的经验风险最小化问题,通过结构化稀疏诱导范数进行正则化。这些被定义为某些变量子集上的欧几里得范数的和,通过允许子集重叠来扩展通常的$\ell_1$ -范数和群$\ell_1$ -范数。这导致了一组特定的允许非零模式的解决方案,这样的问题。我们首先探讨了定义规范的组和由此产生的非零模式之间的关系,提供了向前和向后的算法来从组到模式来回。这使得设计的规范适应于特定的先验知识表示的非零模式。我们还提出了一个有效的活动集算法,并分析了最小二乘线性回归的变量选择的一致性在低,高维设置。
2010-05-31 stat.ML
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London(帝国理工学院)
差分隐私关注的是预测质量,同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的,但它们通常是不可微的。分析了标准的差分隐私算法,如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法,已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中,我们假设了一类特殊的凸但非光滑的正则化,诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作,分析了双重优化问题的风险最小化问题的背景下,差分隐私。
2019-05-13 cs.LG stat.ML
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University(斯坦福大学)
本文研究并行 ReLU 网络的训练问题,提出路径正则化以揭示隐藏凸性并诱导群稀疏,同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology(香港科技大学)
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失,并考虑到正交性约束。在文献中,凸稀疏诱导函数已被用于SRRR。在这项工作中,提出了一个非凸函数更好的稀疏诱导。基于交替极小化(或投影)方法,提出了一种求解非凸优化问题的有效算法。数值仿真结果表明,该算法是更有效的基准方法相比,非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
Sparse Bayesian Inference with Regularized Gaussian Distributions
正则化是变分反问题中对问题参数进行假设的常用工具。其中一个假设是稀疏性,通常使用套索和类全变差正则化来提升稀疏性。虽然许多这样的正则化反问题的解决方案可以被认为是精心选择的后验分布的最大概率点,这些分布的样本通常不是稀疏的。在本文中,我们提出了一个框架,隐式地定义一个概率分布,结合了稀疏性的影响施加正则化与高斯分布。与连续分布不同,这些隐式分布可以将正概率分配给稀疏向量。我们研究这些正则化分布的各种正则化函数,包括总变差正则化和分段线性凸函数。我们将所开发的理论应用于贝叶斯线性逆问题的不确定性量化,并推导出贝叶斯分层模型的吉布斯采样器。为了说明我们的稀疏诱导框架和连续分布之间的差异,我们将我们的框架应用于小规模去模糊和计算机断层扫描的例子。
2023-02-14 math.ST stat.TH
A Sparsity Inducing Nuclear-Norm Estimator (SpINNEr) for Matrix-Variate Regression in Brain Connectivity Analysis
经典的标量响应回归方法将协变量视为向量,并估计相应的回归系数向量。然而,在医学应用中,回归量通常是多维数组的形式。例如,人们可能对使用MRI成像来识别哪些大脑区域与健康结果相关感兴趣。矢量化二维图像阵列是一种不令人满意的方法,因为它破坏了图像的固有空间结构,并且在计算上具有挑战性。我们提出了一种替代方法-正则化矩阵回归-其中的矩阵的回归系数被定义为一个解决方案的具体优化问题。该方法,称为SParsity诱导核范数估计(SpINNEr),同时施加两种惩罚类型的回归系数矩阵-核范数和套索范数-鼓励低秩矩阵的解决方案,也有进入式稀疏。交替方向乘子法(ADMM)的一个特定的实现是用来建立一个快速和有效的数值求解器。我们的模拟表明,SpINNEr在估计准确性方面优于其他方法,当与响应相关的条目(代表大脑的功能连接)被安排在连接良好的社区中时。SpINNEr用于研究HIV相关结果与人脑功能连接之间的关联。
2020-01-30 cs.NA math.NA math.OC
Structured sparsity-inducing norms through submodular functions
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室)
用于监督学习的稀疏方法旨在从尽可能少的变量中找到良好的线性预测器,即,他们的支持者基数很小。这个组合选择问题通常通过用其凸包络(最紧凸下界)(在这种情况下为L1范数)替换基数函数而转化为凸优化问题。在本文中,我们调查更一般的集函数比基数,可能会纳入先验知识或结构约束,这是常见的在许多应用中:即,我们表明,非减次模集函数,相应的凸包络可以从它的\lova扩展,一个常见的工具,在次模分析。这定义了一个家庭的多面体规范,我们提供通用的算法工具(次梯度和邻近运营商)和理论结果(支持恢复或高维推理的条件)。通过选择特定的子模函数,我们可以给出一个新的解释已知的规范,如基于秩统计或分组规范与潜在的重叠组;我们还定义了新的规范,特别是那些可以用作非阶乘先验的监督学习。
2010-11-12 cs.LG math.OC stat.ML
Powerpropagation: A sparsity inducing weight reparameterisation
DeepMind(深度思维);Gatsby Unit, UCL(伦敦大学学院盖茨比研究组);University College London(伦敦大学学院)
稀疏神经网络的训练正在成为一种越来越重要的工具,用于减少模型在训练和评估时的计算足迹,以及实现模型的有效扩展。虽然多年来的大量工作一直致力于专门的修剪技术,很少注意到基于梯度的训练对模型稀疏性的固有影响。在这项工作中,我们介绍Powerpropagation,一个新的权重参数化的神经网络,导致固有的稀疏模型。利用梯度下降的行为,我们的方法产生了权重更新,表现出“富人更富”的动态,使低幅度的参数基本上不受学习的影响。以这种方式训练的模型表现出类似的性能,但具有在零处具有显著更高密度的分布,允许安全地修剪更多参数。Powerpropagation是通用的,直观的,便宜的和简单的实现,可以很容易地与各种其他技术相结合。为了突出它的通用性,我们在两个非常不同的环境中探索它:首先,根据最近的工作,我们研究了它对资源受限环境下稀疏训练的影响。在这里,我们将Powerpropagation与传统的权重修剪技术以及最新的最先进的稀疏到稀疏算法相结合,在ImageNet基准测试中表现出卓越的性能。其次,我们提倡使用稀疏性来克服灾难性遗忘,压缩表示允许以固定的模型容量容纳大量的任务。在所有情况下,我们的重新参数化大大提高了现成方法的有效性。
2021-10-06 cs.AI cs.LG stat.ML
Generating Multi-Categorical Samples with Generative Adversarial Networks
University of Luxembourg(卢森堡大学)
我们提出了一种方法来训练生成对抗网络的多变量特征向量表示多个分类值。与连续领域相比,基于GAN的方法已经取得了相当大的成果,GANs在离散数据上的表现也同样出色。我们提出并比较了几种架构的基础上,考虑到数据的结构多(Gumbel)softmax输出层。我们评估了我们的架构在具有不同稀疏性,特征数量,分类值范围以及特征之间依赖关系的数据集上的性能。我们提出的架构和方法优于现有的模型。
2018-07-04 cs.LG stat.ML
Shrinkage Bayesian Causal Forests for Heterogeneous Treatment Effects Estimation
University College London(伦敦大学学院)
本文开发了一个稀疏诱导版本的贝叶斯因果森林,最近提出的非参数因果回归模型,采用贝叶斯加性回归树,是专门设计来估计异质性处理效应使用观察数据。我们引入的稀疏诱导成分是由实证研究激发的,其中并非所有可用的协变量都是相关的,从而导致在估计个体处理效应时感兴趣的表面的稀疏程度不同。在这项工作中提出的扩展版本,我们称之为收缩贝叶斯因果森林,配备了一对额外的先验,允许模型通过树集合中相应的分裂数来调整每个协变量的权重。这些先验提高了模型对稀疏数据生成过程的适应性,并允许在处理效应估计的框架中执行完全贝叶斯特征收缩,从而揭示驱动异质性的调节因素。此外,该方法允许将有关相关混杂协变量及其对结果影响的相对幅度的先验知识纳入模型中。我们说明了我们的方法在模拟研究中的性能,与贝叶斯因果森林和其他最先进的模型相比,展示了它如何随着协变量数量的增加而扩展,以及它如何处理强烈混淆的场景。最后,我们还提供了一个使用真实世界数据的应用程序的例子。
2021-11-16 cs.LG stat.ME stat.ML
Structured Sparsity via Alternating Direction Methods
Columbia University(哥伦比亚大学)
我们考虑一类稀疏学习问题,在高维特征空间正则化的结构稀疏诱导规范,其中包括先验知识的组结构的功能。由于正则化项的非光滑性和不可分离性,这类问题常常对优化算法提出相当大的挑战。在本文中,我们专注于两个常用的稀疏诱导正则化项,重叠组Lasso惩罚$l_1/l_2$ -范数和$l_1/l_\infty$ -范数。我们提出了一个统一的框架,基于增广拉格朗日方法,在此框架下,这两种类型的正则化及其变体的问题可以有效地解决。作为该框架的核心构建块,我们开发了新的算法,使用交替的部分线性化/分裂技术,我们证明了这些算法的加速版本需要$O(\frac{1}{\sqrtε})$迭代,以获得$ε$ -最优解。为了证明我们的算法的效率和相关性,我们在一组数据集上进行了测试,并将其应用于两个现实问题,以比较两种规范的相对优点。
2011-12-15 cs.AI math.OC stat.ML
Measure Inducing Classification and Regression Trees for Functional Data
Politecnico di Milano(米兰理工大学)
我们提出了一种基于树的算法,用于功能数据分析背景下的分类和回归问题,该算法允许在节点级别利用表示学习和多个分裂规则,减少泛化错误,同时保留树的可解释性。这是通过学习加权功能$L^{2}$空间的约束凸优化,然后用于提取多个加权积分功能的输入函数,以确定二进制分裂的树的每个内部节点。该方法被设计为通过定义合适的分裂规则和损失函数来管理多个函数输入和/或输出,所述分裂规则和损失函数可以取决于特定问题,并且还可以与标量和分类数据相结合,因为树是用原始贪婪CART算法生长的。我们专注于一维域上定义的标量值函数输入的情况下,并说明我们的方法在分类和回归任务的有效性,通过模拟研究和四个现实世界中的应用。
2020-10-30 cs.LG stat.ML
On the Self-Penalization Phenomenon in Feature Selection
University of California, Berkeley(加州大学伯克利分校);The Voleon Group(沃利恩集团)
我们描述了一种基于一族内核最小化的隐式稀疏诱导机制:\begin{equation*} \min_{β, f}~\widehat{\mathbb{E}}[L(Y, f(β^{1/q} \odot X)] + λ_n \|f\|_{\mathcal{H}_q}^2~~\text{subject to}~~β\ge 0, \end{equation*},其中$L$是损失,$\odot$是坐标乘法,$\mathcal{H}_q$是基于内核$k_q(x, x') = h(\|x-x'\|_q^q)$的再现内核Hilbert空间,其中$\|\cdot\|_q$是$\ell_q$范数。使用梯度下降来优化这个目标相对于$β$导致精确稀疏平稳点的概率很高。稀疏性是在不使用任何公知的显式稀疏化技术的情况下实现的,例如惩罚(例如,$\ell_1$)、提前停止或后处理(例如,剪切)。作为一个应用程序,我们使用这种稀疏诱导机制,建立算法一致的特征选择。
2021-10-12 cs.LG math.ST stat.ML
Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院)
对于监督学习和无监督学习,正定核允许使用大的且可能无限维的特征空间,其计算成本仅取决于观测的数量。这通常是通过欧几里德或希尔伯特范数对预测函数进行惩罚来完成的。在本文中,我们探讨了稀疏诱导范数,如l1-范数或块l1-范数的惩罚。我们假设,内核分解成一个大的总和,可以嵌入在一个有向无环图的个别基础内核,我们表明,它是可以通过一个分层的多内核学习框架,在多项式时间中选择内核的数量进行内核选择。这个框架自然适用于非线性变量选择;我们对合成数据集和UCI存储库数据集的广泛模拟表明,通过稀疏诱导范数有效地探索大特征空间可以带来最先进的预测性能。
2008-09-09 cs.LG stat.ML
Discrete Diffusion Models are Minimax Optimal Under Sparsity
INRIA - École Normale Supérieure - PSL Research University - CNRS(法国国家信息与自动化研究所 - 巴黎高等师范学院 - 巴黎文理研究大学 - 法国国家科学研究中心);École Polytechnique - CMAP - IP Paris(巴黎综合理工学院 - 数学与应用中心 - 巴黎理工学院)
本研究针对离散扩散模型,在稀疏性假设下分析其统计速率,建立了稀疏 regime 下的极小极大最优速率,证明其可内在适配稀疏性,为离散扩散模型提供了理论支撑。
2026-10-15 cs.LG stat.ML
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
我们研究的问题,学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例:1)基于l1/l2混合范数惩罚的重叠组套索惩罚,以及2)图引导融合惩罚。对于这两种类型的惩罚,由于其不可分离性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一个通用的优化方法,称为平滑邻近梯度方法,它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法,次梯度方法更快的收敛速度,并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明,所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
Selective Factor Extraction in High Dimensions
本文研究了有监督和无监督学习中的同时特征选择和提取问题。我们提出并研究了选择性降秩回归,用于从输入特征的简约子集中构建最佳解释因子。所提出的估计享有尖锐的预言不等式,并与预测信息准则的模型选择,他们适应未知的稀疏性,通过控制秩和行支持的系数矩阵。一类算法的开发,可以容纳各种凸和非凸稀疏诱导处罚,并可用于在高维多变量数据的秩约束变量筛选。本文还展示了在宏观经济学和计算机视觉中的应用,以演示如何通过联合变量选择和投影有效地捕获低维数据结构。
2016-10-25 stat.ME stat.ML
Density-Matrix Spectral Embeddings for Categorical Data: Operator Structure and Stability
Universidad Cardenal Herrera-CEU, CEU Universities(卡德纳尔埃雷拉大学,CEU大学)
本文提出基于密度矩阵的类别数据降维方法,通过类条件频率构建密度矩阵,实现低维谱嵌入,并在高基数和不平衡数据上验证其有效性。
2026-03-02 cs.NA math.NA stat.ML
Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity
Instituto de Telecomunicações(电信研究所);University of Amsterdam(阿姆斯特丹大学);Instituto Superior Técnico(高等技术学院);Unbabel(Unbabel公司)
训练具有离散(分类或结构化)潜变量的神经网络模型可能在计算上具有挑战性,因为需要在大型或组合集合上进行边缘化。为了规避这个问题,通常诉诸于真实边际的基于采样的近似,需要噪声梯度估计器(例如,得分函数估计器)或具有较低方差重新参数化梯度的连续松弛(例如,Gumbel-Softmax)。在本文中,我们提出了一种新的训练策略,取代这些估计的准确而有效的边缘化。为了实现这一点,我们参数化离散分布在潜在的分配使用可微稀疏映射:sparsemax和它的结构对应。实际上,这些分布的支持大大减少,这使得有效的边缘化成为可能。我们报告了三个任务的成功结果,涵盖了一系列潜在变量建模应用:半监督深度生成模型,潜在通信游戏和具有位向量潜在表示的生成模型。在所有情况下,我们获得了良好的性能,同时仍然实现了基于采样的近似的实用性。
2020-12-28 cs.LG stat.ML
A phase transition for finding needles in nonlinear haystacks with LASSO artificial neural networks
Shandong University(山东大学);University of Geneva(日内瓦大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
为了拟合稀疏线性关联,具有单个超参数的LASSO稀疏诱导惩罚可证明地允许在某些制度中以高概率恢复重要特征(针),即使样本量小于输入向量(干草堆)的维度。最近,被称为人工神经网络(ANN)的学习器在许多机器学习任务中取得了巨大成功,特别是拟合非线性关联。小学习率、随机梯度下降算法和大训练集有助于应对深度神经网络中参数数量的爆炸。然而,很少有人工神经网络学习器被开发和研究,以在非线性干草堆中找到针。由一个单一的超参数驱动,我们的ANN学习器,像稀疏的线性关联,表现出一个相变的概率检索针,我们没有观察到与其他ANN学习器。为了选择我们的惩罚参数,我们推广了Donoho和Johnstone(1994)的通用阈值,这是一个比保守(太多的错误检测)和昂贵的交叉验证更好的规则。基于模拟退火的思想,我们提出了一种热启动稀疏诱导算法来解决高维、非凸、不可微的优化问题。我们进行精确的蒙特卡罗模拟,以显示我们的方法的有效性。
2022-01-21 cs.LG stat.ML
Product-based Neural Networks for User Response Prediction over Multi-field Categorical Data
Shanghai Jiao Tong University(上海交通大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);Shenzhen Graduate School, Harbin Institute of Technology(哈尔滨工业大学深圳研究生院);Tencent(腾讯)
用户响应预测是个性化信息检索和过滤场景(如推荐系统和Web搜索)的重要组成部分。用户响应预测中的数据主要是多字段分类格式,并通过独热编码转换为稀疏表示。由于表示和优化中的稀疏性问题,目前的研究主要集中在特征工程和浅层次建模上。最近,深度神经网络以其高容量和端到端训练方案引起了对此类问题的研究关注。在本文中,我们研究了点击预测场景下的用户响应预测。我们首先分析了一个耦合的梯度问题,在潜在的向量为基础的模型,并提出核积学习字段感知功能的相互作用。然后,我们讨论了基于DNN的模型中的不敏感梯度问题,并提出了基于乘积的神经网络(PNN),它采用特征提取器来探索特征的相互作用。将核心产品推广到网中网结构,我们进一步提出了产品网络中网络(PIN),它可以推广以前的模型。在4个工业数据集和1个竞赛数据集上的广泛实验表明,我们的模型在AUC和log损失方面始终优于8个基线。此外,PIN在在线A/B测试中的CTR也有很大的提高(相对于34.67%)。
2018-07-01 cs.IR cs.LG stat.ML
The Trimmed Lasso: Sparsity and Robustness
线性回归稀疏建模的非凸罚方法是近年来研究的热点。在这里,我们研究了一个家庭的非凸罚函数,我们称之为修剪套索,并提供了精确的控制所需的稀疏估计水平。我们分析了它的结构性质,并在这样做表明:1)绘制之间的相似性鲁棒统计和鲁棒优化,我们表明,修剪Lasso正则化最小二乘问题可以被看作是一个广义形式的总最小二乘在一个特定的模型的不确定性。相比之下,通过鲁棒优化透镜观察的相同的不确定性模型导致凸SLOPE(或OWL)惩罚。2)此外,在有关修剪的套索常用的稀疏诱导罚函数,我们提供了一个简洁的特征之间的连接修剪的Lasso样的方法和罚函数是坐标方式可分离的,表明修剪的处罚suburbs现有的坐标方式可分离的处罚,严格的遏制一般。3)最后,我们描述了各种精确和启发式算法,现有的和新的,修剪Lasso正则化估计问题。我们包括不同的方法和相应的算法实现之间的比较。
2017-08-15 math.OC math.ST stat.CO
Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection
Department of Mathematics, Washington State University(数学系,华盛顿州立大学);Department of Statistics, University of Connecticut(统计系,康涅狄格大学);Department of Industrial and Systems Engineering, University of Wisconsin-Madison(工业与系统工程系,威斯康星大学麦迪逊分校)
本文从锥优化视角探讨变量选择问题,证明MCP和反Huber惩罚函数可视为视角松弛的特例,并通过半定松弛解决,结合Goemans-Williamson方法获得近似解。
2015-10-20 cs.LG cs.NA math.NA
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子:(1)一般的群套索惩罚,从群套索惩罚推广;(2)图引导的融合套索惩罚,从融合套索惩罚推广。对于这两种类型的惩罚,由于其不可分离性和非光滑性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一种通用的优化方法,平滑邻近梯度(SPG)方法,它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法,次梯度方法,并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP