Learning Sparse Compositional Functions with Norm-Constrained Neural Networks
Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）；MaLGa（MaLGa实验室）；DIBRIS（迪布里兹实验室）；CBMM（生物医学工程与机器人实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文通过范数约束的深度神经网络，建立了学习稀疏组合函数的逼近率和过风险界，证明了深度网络能够利用层次表示避免维数灾难。
2026-05-25 cs.LG stat.ML
Two-dimensional Parallel Tempering for Constrained Optimization
Department of Electrical；Computer Engineering University of California, Santa Barbara, Santa Barbara, CA 93106, USA
针对Ising模型求解约束优化时软约束难以平衡的问题，提出新增惩罚强度维度的二维并行回火算法2D-PT，提升混合效率、免调参，在图稀疏化等任务中性能显著优于传统PT，可部署于现有Ising机。
2025-07-30 cond-mat.stat-mech cs.LG math.OC
A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization
Southern Methodist University（南卫理公会大学）；Shanghai university of Finance & Economics（上海财经大学）；Georgia Tech（佐治亚理工学院）
非凸稀疏模型在高维机器学习中受到了极大的关注。本文研究了一个新的模型，它由一般的凸或非凸目标和各种连续的非凸稀疏诱导约束组成。对于这种约束模型，我们提出了一种新的邻近点法，解决了一系列的凸子问题逐渐放松的约束水平。每个子问题，有一个近点目标和凸代理约束，可以有效地解决基于一个快速例程投影到代理约束。证明了算法对Karush-Kuhn-Tucker（KKT）解的渐近收敛.我们还建立了新的收敛复杂性，以实现一个近似的KKT解决方案时，目标可以是光滑/非光滑，确定性/随机和凸/非凸的复杂性，是在相应的情况下，与梯度下降无约束最优化问题。据我们所知，这是第一次研究的一阶方法的复杂性保证非凸稀疏约束问题。我们进行了数值实验，以证明我们的新模型的有效性和效率的大规模问题的算法。
2020-10-23 cs.LG math.OC
Efficient LLM Jailbreak via Adaptive Dense-to-sparse Constrained Optimization
Carnegie Mellon University（卡内基梅隆大学）；Shanghai AI Laboratory（上海人工智能实验室）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对LLMs易受越狱攻击生成有害内容的问题，提出token级自适应稠密到稀疏约束优化（ADC）方法，通过松弛离散优化并逐步增加稀疏性弥合离散与连续空间差距，在Harmbench上对8个LLMs中的7个实现最高攻击成功率，优于现有token级方法。
2025-02-12 cs.LG
Gradient Hard Thresholding Pursuit for Sparsity-Constrained Optimization
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
本文将硬阈值化追求算法推广到稀疏约束凸优化问题，通过梯度下降与硬阈值化步骤交替，证明其在收敛速度和参数估计精度上的强保证，并在稀疏逻辑回归和稀疏精度矩阵估计中优于现有方法。
2013-11-25 cs.LG cs.NA math.NA
Sparse Ising Models with Covariates
University of Michigan（密歇根大学）；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）
为了理解变量之间的条件依赖关系，已经有大量的工作将伊辛模型拟合到多变量二进制数据。然而，额外的协变量经常与二进制数据一起记录，并且可能影响依赖关系。出于这样一个数据集的基因组不稳定性收集的几种类型的肿瘤样本，我们提出了一个稀疏的协变量依赖伊辛模型研究的条件依赖性的二进制数据及其与其他协变量的关系。这导致了特定于受试者的伊辛模型，其中受试者的协变量影响基因之间的关联强度。在所有探索性数据分析中，结果的可解释性很重要，我们使用L1罚分来诱导拟合图和选定协变量数量的稀疏性。提出了两种模型拟合算法，并在一组模拟数据上进行了比较，建立了渐近结果。肿瘤数据集上的结果及其生物学意义进行了详细讨论。
2012-09-27 cs.LG stat.ML
A global approach for learning sparse Ising models
Istituto per le Applicazioni del Calcolo CNR（意大利国家研究委员会计算应用研究所）
我们考虑的问题，学习的链接参数以及结构的二进制值成对马尔可夫模型。在稀疏性假设下，我们提出了一种基于$l_1$ -正则化逻辑斯谛回归的方法，该方法全局估计整组边和链路参数。与文献中讨论的一次学习一个节点的边和相应的链路参数的最近的方法不同，在这项工作中，我们提出了一种方法，同时学习所有节点的所有边和相应的链路参数。这个提议背后的想法是在估计过程中利用节点之间的互逆信息。数值实验突出了这种技术的优势，并证实了它背后的直觉。
2020-02-26 cs.LG stat.ME stat.ML
Learning performance in inverse Ising problems with sparse teacher couplings
Laboratoire de Physique de l’Ecole Normale Supérieure（巴黎高等师范学院物理实验室）；Tokyo Institute of Technology（东京工业大学）；Kyoto University（京都大学）
我们研究了逆伊辛问题的伪李维最大化方法的学习性能。在教师-学生的情况下，教师的耦合是稀疏的，学生不知道的图形结构的假设下，学习曲线和序参量进行评估，在典型的情况下，使用副本和空腔方法从统计力学。我们的公式也适用于具有局部性的某类成本函数;标准似然不属于该类。导出的解析公式表明，教师的耦合的存在/不存在的完美的推断是可能的，在热力学极限采取的自旋数$N$为无穷大，同时保持数据集大小$M$成比例的$N$，只要$α=M/N > 2$。同时，公式还表明，教师真实存在的耦合值所对应的估计耦合值在绝对值上往往被高估，表现出估计偏差的存在。这些结果被认为是精确的热力学极限的局部树状网络，如定期随机或Erdens-Rényi图。数值模拟结果完全支持理论预测。另外还讨论了在循环图的估计偏差。
2020-05-02 cond-mat.dis-nn cs.LG stat.ML
Convex-constrained Sparse Additive Modeling and Its Extensions
Eller College of Management, University of Arizona（亚利桑那大学埃勒管理学院）；School of Computer Science, University of Waterloo（滑铁卢大学计算机科学学院）
稀疏可加模型是实现高维非参数回归的一类有效方法。在这项工作中，我们将展示如何形状约束，如凸性/凸性及其扩展，可以集成到添加剂模型。提出的稀疏差分凸可加模型（SDCAM）可以估计大多数连续函数，而无需任何先验光滑性假设。受凸函数差异的表征的启发，我们的方法结合了一个自然的正则化泛函，以避免过拟合和降低模型的复杂性。在计算上，我们开发了一个有效的回拟合算法与线性每次迭代的复杂性。在合成数据和真实数据上的实验验证了我们的方法与最先进的稀疏加性模型相比具有竞争力，在大多数情况下都具有更好的性能。
2017-05-01 cs.LG stat.ML
Scalable Convolutional Dictionary Learning with Constrained Recurrent Sparse Auto-encoders
Harvard University（哈佛大学）；Manifold AI（Manifold人工智能公司）
给定一组观测信号的卷积字典，精心设计的自动编码器能否在存在噪声的情况下恢复字典？我们引入了一个自动编码器架构，称为约束循环稀疏自动编码器（CRsAE），回答这个问题的肯定。给定输入信号和近似字典，编码器使用FISTA找到稀疏近似。解码器通过将字典应用于编码器的输出来重构信号。CRsAE中的编码器和解码器在用于字典学习的基于优化的交替最小化方案中并行稀疏编码和字典更新步骤。因此，编码器和解码器的参数不是独立的，这是我们第一次强制执行的约束。我们推导出反向传播算法CRsAE。CRsAE是一个盲声源分离的框架，只有知道源（字典元素）的数量，并假设稀疏-许多可以重叠，是能够分离它们。我们证明了它的实用程序的背景下，尖峰排序，计算神经科学中的声源分离问题。我们证明了CRsAE的能力，以恢复潜在的字典，并表征其灵敏度作为SNR的函数。
2018-07-12 cs.LG stat.ML
Weighted Sparse Subspace Representation: A Unified Framework for Subspace Clustering, Constrained Clustering, and Active Learning
University of Cambridge（剑桥大学）；Lancaster University（兰卡斯特大学）
基于谱的子空间聚类方法在许多具有挑战性的应用中已经被证明是成功的，例如基因测序、图像识别和运动分割。在这项工作中，我们首先提出了一种新的基于谱的子空间聚类算法，旨在表示每个点作为一个稀疏的凸组合的几个附近的点。然后，我们将算法扩展到约束聚类和主动学习设置。我们开发这样一个框架的动机源于这样一个事实，即通常可以提前获得少量的标记数据;或者有可能以一定的成本标记某些点。后一种情况通常在验证集群分配的过程中遇到。仿真和真实数据集上的实验表明，该方法是有效的，具有竞争力的国家的最先进的方法。
2021-06-08 cs.LG stat.ML
Matrix-wise $\ell_0$-constrained Sparse Nonnegative Least Squares
University of Mons（蒙斯大学）
多右端非负最小二乘问题（MNNLS）出现在依赖于加法线性组合的模型中。特别是，它们是大多数非负矩阵分解算法的核心，并有许多应用。已知非负性约束自然有利于稀疏性，即具有很少非零项的解。然而，进一步增强这种稀疏性通常是有用的，因为它提高了结果的可解释性，并有助于减少噪声，从而导致稀疏MNNLS问题。在本文中，相对于大多数以前的作品，执行稀疏列或行明智的，我们首先介绍了一种新的制定稀疏MNNLS，矩阵明智的稀疏约束。然后，我们提出了一个两步算法来解决这个问题。第一步将稀疏MNNLS划分为子问题，原始问题的每列一个。然后，它使用不同的算法来产生，精确或近似，帕累托前每个子问题，也就是说，产生一组代表重建误差和稀疏性之间的不同权衡的解决方案。第二步在这些Pareto前沿中选择解决方案，以构建使重构误差最小化的稀疏约束矩阵。我们在面部和高光谱图像上进行了实验，结果表明，我们提出的两步方法比列式和全局应用的最先进的稀疏编码算法提供了更准确的结果。
2022-06-22 cs.LG stat.ML
A constrained L1 minimization approach for estimating multiple Sparse Gaussian or Nonparanormal Graphical Models
University of Virginia（弗吉尼亚大学）
从聚合数据中识别特定于上下文的实体网络是一项重要的任务，经常出现在生物信息学和神经成像中。在计算上，这个任务可以被公式化为联合估计多个不同的，但相关的，稀疏的无向图形模型（UGM）从聚合样本在几个上下文中。之前的联合UGM研究主要集中在稀疏高斯图形模型（sGGM）上，并且无法直接识别特定于上下文的边缘模式。因此，我们提出了一种新的方法，SIMULE（检测共享和单个部分的MULtiple图解释）通过约束L1最小化学习多UGM。SIMULE自动推断每个上下文唯一的特定边缘模式和所有上下文之间保留的共享交互。通过L1约束公式，该问题被转换为多个独立的子任务的线性规划，可以有效地并行求解。除了高斯数据之外，SIMULE还可以处理多元非超常数据，这些数据极大地放松了许多现实世界应用程序不遵循的正态性假设。我们提供了一个新的理论证明，SIMULE实现了一致的结果，在速率O（log（Kp）/ n_{tot}）。在多个合成数据集和两个生物医学数据集上，SIMULE显示出比最先进的多sGGM和单UGM基线有显着改善。
2017-09-18 cs.AI cs.LG stat.ML
Sparse Range-constrained Learning and Its Application for Medical Image Grading
Cixi Institute of Biomedical Engineering, Chinese Academy of Sciences（中国科学院慈溪生物医学工程研究所）
稀疏学习已经被证明在解决许多现实问题方面是有效的。寻找稀疏表示在许多科学领域都是一个非常重要的课题，包括信号处理、计算机视觉、基因组研究和医学成像。在应用稀疏表示时的一个重要问题是找到表示数据的基础，特别是在计算机视觉和医学成像中，数据不一定是不相干的。在医学成像中，临床医生经常根据图像对疾病的严重程度进行分级或测量疾病的风险评分。这个过程被称为医学图像分级。通常使用疾病严重程度或风险评分的手动分级。然而，它是乏味的，主观的和昂贵的。稀疏学习已经被用于针对不同疾病的医学图像的自动分级。在分级中，我们通常从一个步骤开始，使用一组参考图像或原子从字典中找到测试图像的稀疏表示。然后在第二步中，选择的原子被用来作为参考计算测试图像的等级。由于这两个步骤是顺序进行的，因此第一步骤中的目标函数不必针对第二步骤进行优化。本文提出了一种新的稀疏范围约束学习（SRCL）算法用于医学图像的分级，与现有的大多数稀疏学习算法不同，SRCL算法将寻找稀疏表示和图像分级的目标统一到一个函数中。它的目的是找到一个稀疏表示的测试图像的基础上的原子是最相似的数据或特征表示和医学分级分数。我们将新提出的SRCL应用于CDR计算和白内障分级。实验结果表明，该方法能够提高杯盘比计算和白内障分级的准确性。
2018-07-11 cs.CV cs.LG stat.ML
Data-Driven Chance Constrained AC-OPF using Hybrid Sparse Gaussian Processes
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
交流（AC）机会约束最优潮流（CC-OPF）问题解决了发电量不确定情况下发电和输电的经济性。后者是现代电网所固有的，因为可再生能源的数量很高。尽管其学术上的成功，AC CC-OPF问题是高度非线性和计算要求，这限制了它的实际影响。为了改善AC-OPF问题的复杂性/精度权衡，本文提出了一种快速的数据驱动设置，使用稀疏和混合高斯过程（GP）框架来建模的潮流方程与输入的不确定性。我们提倡的效率，所提出的方法的数值研究多个IEEE测试用例显示高达两倍的速度和更准确的解决方案相比，国家的最先进的方法。
2022-08-30 cs.LG cs.SY eess.SY
Learning Sparse & Ternary Neural Networks with Entropy-Constrained Trained Ternarization (EC2T)
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度神经网络（DNN）在各种机器学习应用中取得了显著的成功。这些模型的容量（即，参数的数量），赋予他们表达能力，并允许他们达到预期的性能。近年来，对将DNN部署到资源受限设备（即，移动设备）具有有限的能量、存储器和计算预算。为了解决这个问题，我们提出了熵约束训练三值化（EC2 T），这是一个通用框架，用于创建稀疏和三值神经网络，这些网络在存储方面是有效的（例如，最多需要两个二进制掩码和两个全精度值来保存权重矩阵）和计算（例如，MAC操作减少到几个累加加上两个乘法）。这种方法包括两个步骤。首先，通过缩放预训练模型的维度来创建超级网络（即，其宽度和深度）。随后，在训练过程中同时修剪（使用熵约束）和量化（即，逐层分配三进制值）该超级网络，从而产生稀疏和三进制网络表示。我们在CIFAR-10，CIFAR-100和ImageNet数据集上验证了所提出的方法，显示了其在图像分类任务中的有效性。
2020-05-25 cs.IT cs.LG math.IT
High-Magnetization Sampling at Low Temperatures: Ising Models and Bayesian Sparse Linear Regression
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出利用稀疏性的采样框架，用于高磁化汉明切片上的伊辛模型和贝叶斯稀疏线性回归，分别改进了低温SK模型采样和测量复杂度。
2026-09-09 cs.DS cs.LG math.PR
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Approximate Subspace-Sparse Recovery with Corrupted Data via Constrained $\ell_1$-Minimization
高维数据通常位于与它们所属的不同类相对应的低维子空间中。在使用数据集合构建的字典中查找数据点的稀疏表示有助于发现低维子空间并解决聚类、分类、子集选择等问题。在本文中，我们解决的问题，恢复稀疏表示的噪声数据点的字典中的列对应于损坏的数据躺在靠近一个联盟的子空间。我们考虑一个约束$\ell_1$ -最小化和研究条件下，所提出的优化的解决方案满足近似子空间稀疏恢复条件。更具体地说，我们表明，每个嘈杂的数据点，扰动从一个子空间的$\varepsilon$的幅度的噪声，将使用数据点从同一子空间重建的顺序与小误差的$O(\varepsilon)$和对应于其他子空间中的数据点的系数将是足够小的，\ie的顺序为$O(\varepsilon)$。我们不对子空间的排列或每个子空间中数据点的分布施加任何随机性假设。我们的框架是基于一个新的推广的零空间属性的设置，其中数据位于多个子空间，在每个子空间中的数据点的数量超过了子空间的维度，所有的数据点被噪声破坏。此外，假设一个广义过程的数据点，我们进一步表明，从所需的支持系数不仅重建一个给定的点具有高精度，但也有足够大的值，\ie，顺序为$O(1)$。
2016-02-13 stat.ML
c-lasso -- a Python package for constrained sparse and robust regression and classification
我们介绍了c-lasso，一个Python包，它支持稀疏和鲁棒的线性回归和线性等式约束分类。假设基础的统计正演模型具有以下形式：\[ y = X β+ σε\qquad \textrm{subject to} \qquad Cβ=0 \]这里，$X \in \mathbb{R}^{n\times d}$是给定的设计矩阵，矢量$y \in \mathbb{R}^{n}$是连续或二进制响应矢量。矩阵$C$是一般约束矩阵。矢量$β\in \mathbb{R}^{d}$包含未知系数，而$σ$包含未知比例。突出的用例是具有组成数据$X$的（稀疏）对数对比回归，需要约束$1_d^T β= 0$（Aitchion和Bacon-Shone 1984）和广义套索，广义套索是所述问题的特殊情况（参见例如（James，Paulson和Rusmevichientong 2020），示例3）。c-lasso包提供用于推断未知系数和尺度的估计器（即，透视M-估计（Combettes和Müller 2020 a））的形式\[ \min_{β\in \mathbb{R}^d, σ\in \mathbb{R}_{0}} f\left(Xβ- y,σ \right) + λ\left\lVert β\right\rVert_1 \qquad \textrm{subject to} \qquad Cβ= 0 \]的几个…
2020-11-02 cs.MS math.OC stat.CO
$\ell_1$-norm constrained multi-block sparse canonical correlation analysis via proximal gradient descent
多块CCA构建线性关系，解释跨多个数据块的相干变化。我们认为，多块CCA的问题，寻找领先的广义特征向量，并提出解决它通过一个近似梯度下降算法与$\ell_1$约束的高维数据。特别是，我们使用衰减序列的约束在最近的迭代，并表明，由此产生的估计是速率最优的适当的假设下。虽然以前的几个作品已经证明了这种最优的$\ell_0$约束问题使用迭代方法，同样的水平的理论理解的$\ell_1$约束制定仍然缺乏。我们还描述了一个易于实现的放气过程来估计多个特征向量顺序。我们比较我们的建议，现有的几种方法，其实现可在R CRAN，所提出的方法在模拟和真实数据的例子中表现出竞争力的性能。
2022-01-14 math.ST stat.ME stat.ML
Greedy Sparsity-Constrained Optimization
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
提出一种贪婪算法GraSP，用于近似任意形式代价函数的稀疏最小值，并在代价函数满足稳定受限Hessian或稳定受限线性化时保证收敛到真稀疏最优解的有界距离内。
2013-01-06 cs.NA math.NA math.OC
Inverse Ising problem in continuous time: A latent variable approach
我们考虑逆伊辛问题，即从观测到的自旋轨迹的连续时间Glauber动力学模型的网络耦合的推断。通过引入两组辅助潜在随机变量，我们呈现的可能性到一个形式，它允许简单的迭代推理算法与分析更新。变量为：（1）Poisson变量，用于线性化指数项，这对于点过程似然是典型的;（2）Pólya-Gamma变量，其使得耦合参数中的似然是二次的。利用增广的似然估计，我们推导出一个期望最大化（EM）算法来获得网络参数的最大似然估计。使用第三组潜变量，我们通过L1正则化将期望最大化算法扩展到稀疏耦合。最后，我们开发了一个有效的近似贝叶斯推断算法，使用变分方法。我们证明了我们的算法的性能从伊辛模型模拟的数据。对于从一个更具生物学合理性的网络与尖峰神经元模拟的数据，我们表明，伊辛模型捕捉以及低顺序统计量的数据和伊辛耦合是如何相关的模拟网络的基础突触结构。
2017-12-21 physics.data-an stat.ML
Efficient methods for Gaussian Markov random fields under sparse linear constraints
线性约束高斯马尔可夫随机场（GMRF）的推理和模拟方法在约束数量很大时计算量很大。在某些情况下，例如对于固有GMRF，它们甚至可能是不可行的。我们提出了一类新的方法来克服这些挑战，在常见的情况下稀疏的约束，其中一个有大量的约束，每个只涉及几个元素。我们的方法依赖于一个基础上的转换成块的约束与非约束子空间，我们表明，该方法大大优于现有的替代方案的计算成本。通过将所提出的方法与高斯随机场的随机偏微分方程方法相结合，我们还展示了如何在GMRF设置中制定具有线性约束的高斯过程回归以降低计算成本。这在两个具有模拟数据的应用中说明。
2021-06-03 stat.CO stat.ME stat.ML
