Optimal PAC-Bayesian Posteriors for Stochastic Classifiers and their use for Choice of SVM Regularization Parameter
Indian Institute of Technology Bombay（印度理工学院孟买分校）
PAC-Bayesian设置涉及以分类器集合上的后验分布为特征的随机分类器，提供其平均真实风险的高概率界限，并且对所使用的训练样本是鲁棒的。对于一个给定的后验，这个界限捕捉平均经验风险和KL-分歧的模型复杂性之间的权衡。我们的目标是确定一个最佳的后验与最小的PAC-Bayesian界。我们考虑一个有限的分类器集和5个距离函数：KL-散度，其Pinsker的和六次多项式近似，线性和平方距离。基于线性距离的模型导致凸优化问题。我们得到了其最优后验的封闭形式表达式。对于均匀先验，该后验具有与误分类数量成负指数比例的权重的完全支持。平方距离和Pinsker的近似边界可能是准凸的，并观察到有单一的局部最小值。利用严格正性约束下的部分KKT系统导出了不动点方程。这避免了对最优后验的子集支持的组合搜索。对于均匀先验，全维单纯形上的指数搜索可以限于具有增加的经验风险值的分类器的有序子集。这些FPE快速收敛到一个固定点，即使是一个大型分类器集时，求解器失败。我们将这些方法应用于使用9个UCI数据集上的有限SVM正则化参数值生成的SVM。这些后验产生的随机SVM分类器与紧的界限。基于KL-发散的边界是最紧的，但是由于非凸性和对根查找算法的多次调用而计算昂贵。所有5个距离函数的最佳后验在大多数数据集上具有最低的10%测试误差值，其中线性距离最容易获得。
2019-12-14 cs.LG stat.ML
Training very large scale nonlinear SVMs using Alternating Direction Method of Multipliers coupled with the Hierarchically Semi-Separable kernel approximations
The University of Edinburgh（爱丁堡大学）
通常，非线性支持向量机（SVM）产生显着更高的分类质量相比，线性的，但在同一时间，他们的计算复杂性是禁止的大规模数据集：这个缺点是本质上涉及到的必要性，存储和操作大型，密集和非结构化的内核矩阵。尽管在训练SVM的核心存在一个\textit{simple}凸优化问题，但核矩阵的存在导致性能急剧下降，使得SVM在处理大型问题时速度慢得无法工作。针对大规模非线性SVM问题的有效解决方案，我们提出了使用\textit{Alternating Direction Method of Multipliers}耦合\textit{Hierarchically Semi-Separable}（HSS）核近似。如在这项工作中所示，它们的算法组件之间的相互作用的详细分析揭示了一个特别有效的框架，事实上，所提出的实验结果表明显着的速度相比，\textit{state-of-the-art}非线性SVM库（而不显着影响分类精度）。
2021-11-10 cs.LG math.OC
Robust support vector model based on bounded asymmetric elastic net loss for binary classification
本文提出了一种有界非对称弹性网络损失函数，结合支持向量机形成BAEN-SVM，有效处理噪声数据并解决传统SVM的几何不合理性，理论证明其鲁棒性和泛化能力。
2026-04-08 cs.LG stat.ML
SVM-based Deep Stacking Networks
Beihang University（北京航空航天大学）
深度网络模型，大部分建立在神经网络上，已被证明是一个强大的框架，可以表示高性能机器学习的复杂数据。近年来，越来越多的研究转向非神经网络方法来构建不同的深度结构，深度堆叠网络（DSN）模型就是这样一种方法，它使用堆叠的易于学习的块来构建参数训练可并行化的深度网络。在本文中，我们提出了一种新的基于SVM的深度堆叠网络（SVM-DSN），它使用DSN架构来组织线性SVM分类器进行深度学习。同时提出了一种BP类层调整方案，以确保堆叠支持向量机的整体和局部优化。该模型将支持向量机的一些优良的数学性质，如凸优化，引入到DSN框架中。从全局来看，SVM-DSN可以像深度神经网络一样逐层迭代地提取数据表示，但具有并行性，从局部来看，每个堆叠的SVM可以收敛到其最优解并获得支持向量，与神经网络相比，这可能会导致抗饱和和可解释性的有趣改进。在图像和文本数据集上的实验结果表明，与一些竞争对手的基准模型相比，SVM-DSN具有优异的性能。
2019-02-15 cs.LG stat.ML
Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes
Northwestern University（西北大学）
寻找有效且可证明的方法来解决非凸优化问题是机器学习和优化理论中的一个突出挑战。用于解决非凸问题的一种流行方法是使用凸松弛技术来寻找问题的凸替代。不幸的是，凸松弛通常必须在逐个问题的基础上找到。因此，提供一种通用的策略来估计凸松弛将具有广泛的影响。在这里，我们介绍凸松弛回归（CoRR），一种学习一类光滑函数凸松弛的方法。我们的方法背后的主要思想是通过在一组$T$随机点处评估$f$，然后将凸函数拟合到这些函数评估来估计函数$f$的凸包络。我们证明了在概率大于$1-δ$的情况下，对于某些$α> 0$，算法的解收敛到$f$的全局最优解，且误差为$\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$.我们的方法使使用凸优化工具来解决一类非凸优化问题。
2016-03-03 cs.LG stat.ML
A Unified Robust Classification Model
Keio University（庆应义塾大学）；Nagoya University（名古屋大学）
对于二进制分类，存在各种各样的机器学习算法，诸如支持向量机（SVM）、极小极大概率机（MPM）和Fisher判别分析（FDA）。本文的目的是提供一个统一的分类模型，包括上述模型，通过一个强大的优化方法。这种统一的模式有几个好处。一个是SVM的扩展和改进适用于MPM和FDA，反之亦然。另一个好处是通过处理统一的模型，一次性地为上述学习方法提供理论结果。我们给出了统一分类模型的统计解释，并提出了一个非凸优化算法，可应用于现有的学习方法的非凸变量。
2012-06-18 cs.LG stat.ML
A Non-generative Framework and Convex Relaxations for Unsupervised Learning
我们给了一个新的正式的理论框架无监督学习有两个鲜明的特点。首先，它不假设任何生成模型，并基于最坏情况下的性能指标。第二，它是比较性的，即绩效是相对于给定的假设类来衡量的。这允许避免已知的计算硬度结果和基于凸松弛的不适当算法。我们展示了几个家庭的无监督学习模型，这是以前只分析概率假设下，否则证明是棘手的，可以有效地学习在我们的框架凸优化。
2016-12-27 cs.DS cs.LG stat.ML
Tightened Convex Relaxations for Neural Network Robustness Certification
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在本文中，我们考虑的问题，证明的鲁棒性的神经网络扰动和敌对的输入数据。这种认证对于神经网络在安全关键决策和控制系统中的应用是必不可少的。已经提出了使用凸优化的认证技术，但是它们经常遭受使证书无效的松弛错误。我们的工作利用ReLU网络的结构，通过一种新的基于分区的认证程序来改善松弛错误。所提出的方法被证明是收紧现有的线性规划松弛，并渐近实现零松弛误差的分区更精细。我们开发了一个有限的分区，达到零松弛误差，并使用结果来推导出一个易于处理的分区计划，最大限度地减少最坏情况下的松弛误差。使用真实数据的实验表明，分区过程是能够发出鲁棒性证书的情况下，以前的方法失败。因此，分区为基础的认证程序被发现提供了一个直观的，有效的，理论上合理的方法收紧现有的凸松弛技术。
2020-09-18 cs.LG math.OC stat.ML
Convex Relaxation for Combinatorial Penalties
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）
在本文中，我们提出了一个统一的观点，最近提出的结构稀疏诱导规范。我们考虑了一个模型同时（a）被定义在未知参数向量的支持上的集函数惩罚的情况，该支持表示支持上的先验知识，以及（b）在Lp-范数下正则化的情况。我们表明，自然的组合优化问题，可以放松到凸优化问题，并引入一个概念，下组合包络的一组功能，我们的放松的紧密性的特点。此外，我们建立联系的基础上潜在的表示，包括潜在组拉索和块编码的规范，并从次模函数得到的规范。
2012-05-06 cs.LG stat.ML
Sparse $ε$ insensitive zone bounded asymmetric elastic net support vector machines for pattern classification
College of Mathematics and Statistics, Chongqing University（重庆大学数学与统计学院）
本文提出一种稀疏且鲁棒的 ε-BAEN-SVM，结合弹性网络损失与鲁棒损失框架，通过半二次算法提升计算效率，在噪声环境中实现良好的稀疏性和鲁棒性。
2026-04-09 cs.LG stat.ML
A Convex Formulation for Learning Scale-Free Networks via Submodular Relaxation
NICTA（国家信息通信技术澳大利亚有限公司）；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）
统计学和机器学习中的一个关键问题是从数据中确定网络结构。我们考虑的情况下，要重建的图的结构是已知的无标度。我们表明，在这种情况下，它是自然的，制定结构稀疏诱导先验使用次模函数，我们使用他们的Lovász扩展，以获得凸松弛。对于易于处理的类，如高斯图模型，这导致可以有效解决的凸优化问题。我们表明，我们的方法的结果在重建网络的准确性提高合成数据。我们还展示了我们的先验如何鼓励生物信息学数据集上的无标度重建。
2014-07-10 cs.LG stat.ML
Jensen: An Easily-Extensible C++ Toolkit for Production-Level Machine Learning and Convex Optimization
Microsoft Corporation（微软公司）；University of California, Davis（加州大学戴维斯分校）
本文介绍了Jensen，这是一个易于扩展和可扩展的生产级机器学习和凸优化工具包。Jensen实现了凸（或损失）函数、凸优化算法（包括梯度下降、L-BFGS、随机梯度下降、共轭梯度等）的框架，以及一系列机器学习分类器和回归器（逻辑回归、SVM、最小二乘回归等）。该框架使得使用几行代码部署和训练模型成为可能，并且还通过集成新的损失函数和优化算法来扩展和构建模型。
2018-07-17 cs.LG math.OC stat.ML
A sparse semismooth Newton based augmented Lagrangian method for large-scale support vector machines
Sichuan University（四川大学）；Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
支持向量机（SVM）是一种成功的建模和预测工具，有着广泛的应用。以往的工作已经证明了支持向量机在处理高维、低样本量问题上的优越性。然而，随着样本量的增加，支持向量机的数值计算困难将变得更加严重。虽然支持向量机的求解器有很多，但只有少数是利用支持向量机的特殊结构来设计的。本文提出了一种高效的稀疏半光滑牛顿增广拉格朗日方法来求解一个带有线性等式约束和简单盒子约束的大规模凸二次规划问题。利用原-对偶误差界结果，保证了增广拉格朗日方法的快速局部收敛速度。此外，该算法利用半光滑牛顿法求解问题的二阶稀疏性，可以有效地解决上述困难问题。最后，数值比较表明，该算法优于当前国家的最先进的求解器的大规模支持向量机。
2021-02-03 cs.LG cs.NA math.NA
Convex Relaxations for Learning Bounded Treewidth Decomposable Graphs
INRIA（法国国家信息与自动化研究所）
我们考虑的问题，学习的无向图形模型的结构有界树宽，在最大似然框架。这是一个NP难问题，大多数方法都考虑局部搜索技术。在本文中，我们把它作为一个组合优化问题，然后放松到一个凸优化问题，涉及搜索的森林和超森林多面体具有特殊结构，独立。一个超梯度方法被用来解决的对偶问题，与运行时的复杂度为$O(k^3 n^{k+2} \log n)$为每次迭代，其中$n$是变量的数量和$k$是一个边界上的树宽。我们将我们的方法与合成数据集和经典基准上的最先进方法进行比较，显示了新凸方法的收益。
2012-12-11 cs.DS cs.LG stat.ML
Streaming Complexity of SVMs
Columbia University（哥伦比亚大学）；Nanyang Technological University（南洋理工大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了流模型下求解偏正则化支持向量机问题的空间复杂度。这是一个经典的监督学习问题，已经引起了很多关注，包括开发近似解决问题的快速算法。用于近似优化SVM目标的最广泛使用的算法之一是随机梯度下降（SGD），其仅需要$O(\frac{1}{λε})$随机样本，并且其立即产生使用$O(\frac{d}{λε})$空间的流算法。对于相关的问题，更好的流算法只知道光滑函数，不像我们在这项工作中关注的SVM目标。我们开始调查的空间复杂性都找到一个近似的最佳的这个目标，并为相关的"点估计“问题的草图的数据集，以评估任何查询$(θ, b)$的功能值$F_λ$。我们表明，对于这两个问题，对于尺寸$d=1,2$，可以获得流算法的空间多项式小于$\frac{1}{λε}$，这是复杂的SGD强凸函数，如偏置正则化SVM，这是众所周知的是紧的一般，即使是$d=1$。我们还证明了点估计和优化的多项式下界。特别是，对于点估计，我们得到了一个紧界的$Θ(1/\sqrtε)$的$d=1$和$\widetildeΩ(d/ε^2)$的$d = Ω( \log(1/ε))$的近紧下界。最后，对于优化，我们证明了一个$Ω(1/\sqrtε)$下界为$d = Ω( \log(1/ε))$，并显示类似的界限时，$d$是常数。
2020-07-07 cs.CC cs.CG cs.DS
Convex losses and their applications to SVM, SVR, and Shallow Neural Networks
DAIS
该研究提出多种适用于SVM和神经网络的新型凸损失函数，结合粒子群优化算法求解原始SVM问题，经嵌套交叉验证实验，发现新型损失函数对部分数据集的泛化性能无显著影响。
2026-09-21 cs.LG
Convex and Scalable Weakly Labeled SVMs
Nanjing University（南京大学）；Nanyang Technological University（南洋理工大学）；Hong Kong University of Science & Technology（香港科技大学）
在本文中，我们研究了弱标记数据的学习问题，其中的训练样本的标签是不完整的。这包括，例如，（i）标签部分已知的半监督学习;（ii）标签隐含已知的多实例学习;以及（iii）标签完全未知的聚类。与监督学习不同，弱标签学习涉及困难的混合编程（MIP）问题。因此，它的可扩展性很差，也可能陷入局部最小值。在本文中，我们专注于支持向量机，并提出了WellSVM通过一种新的标签生成策略。这导致原始MIP的凸松弛，其至少与现有凸半定规划（SDP）松弛一样紧。此外，WellSVM可以通过一系列SVM子问题来解决，这些子问题比以前的凸SDP松弛更具可扩展性。在三个弱标记学习任务上的实验，即（i）半监督学习;（ii）基于内容的信息检索中定位感兴趣区域的多示例学习;以及（iii）聚类，清楚地表明了改进的性能，并且WellSVM也很容易适用于大数据集。
2013-08-22 cs.LG
Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks
本文提出了一种用于SVM和神经网络的凸损失函数，通过引入模式相关性提升泛化性能，并在多种数据集上验证了其有效性。
2026-02-26 cs.LG
Breakdown Point of Robust Support Vector Machine
Nagoya University（名古屋大学）；The University of Tokyo（东京大学）
支持向量机（SVM）是解决分类问题最成功的学习方法之一。尽管支持向量机很受欢迎，但它有一个严重的缺点，即对训练样本中的离群值敏感。错误分类的惩罚由称为铰链损失的凸损失定义，凸损失的无界性导致对离群值的敏感性。为了处理离群值，已经提出了SVM的鲁棒变体，例如鲁棒离群值检测算法和具有称为斜坡损失的有界损失的SVM。在本文中，我们提出了一个强大的SVM的变种，并研究其鲁棒性的崩溃点。崩溃点是鲁棒性度量，其是最大量的污染，使得估计的分类器仍然给出关于未污染数据的信息。本文的主要贡献是显示一个准确的评估故障点的强大的支持向量机。对于我们算法中的正则化参数等学习参数，我们推导出一个简单的公式，保证了分类器的鲁棒性。当使用交叉验证的网格搜索确定学习参数时，我们的公式可以减少候选搜索点的数量。数值实验证实了该方法的鲁棒性。我们表明，强大的支持向量机的统计特性很好地解释了故障点的理论分析。
2014-09-03 cs.LG stat.ML
Local Duality for Sparse Support Vector Machines
Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学）；School of Mathematics and Statistics, Beijing Jiaotong University（数学与统计学学院，北京交通大学）；Department of Data Science and Artificial Intelligence, and Department of Applied Mathematics, The Hong Kong Polytechnic University（数据科学与人工智能系和应用数学系，香港理工大学）
本文提出稀疏支持向量机的局部对偶性理论，证明其与hSVM和rSVM的关系，并展示SSVM在特定条件下能提升模型性能。
2026-01-28 cs.LG
Convex Relaxations of Convolutional Neural Nets
Stanford University（斯坦福大学）
我们提出了一个隐藏层的卷积神经网络的凸松弛输出权重是固定的。对于凸激活函数，如整流线性单元，松弛是凸二阶锥规划，可以非常有效地解决。我们证明了放松恢复种植模型假设下的全局最小值，从高斯分布给出足够多的训练样本。我们还确定了一个相变现象，在恢复全球最低的放松。
2018-12-31 cs.LG stat.ML
Robust and sparse support vector machine via hybrid truncated loss for supervised classification
School of Science, Beijing Forestry University（北京林业大学理学院）；Translational Cancer Research Center, Peking University First Hospital（北京大学第一医院转化肿瘤研究中心）
提出一种稀疏且有界的混合截断损失函数L_ht，构建L_ht-SVM模型用于单视图分类，并扩展为多视图MvL_ht-SVM，通过P-平稳点和交替方向乘子法实现高效优化，实验表明在准确率、稀疏性和鲁棒性上优于对比方法。
2026-06-04 cs.LG
Robust Explanations for Private Support Vector Machines
RISE Research Institutes of Sweden（瑞典RISE研究院）；Stockholm University（斯德哥尔摩大学）
我们认为反事实的解释私人支持向量机（SVM），其中的隐私机制，公开发布的分类保证差分隐私。虽然隐私保护是必不可少的处理敏感数据时，有一个随之而来的退化，由于在分类器的权重引入扰动的分类精度。对于这样的分类器，反事实解释需要对SVM权重中的不确定性具有鲁棒性，以便以高置信度确保待解释的数据实例的分类不同于其解释。我们通过一个随机向量来模拟SVM权重中的不确定性，并将解释问题表示为一个带有概率约束的优化问题。随后，我们描述了问题的确定性等价和研究其解决方案。对于线性支持向量机，问题是一个凸二阶锥规划。对于非线性SVM，问题是非凸的。因此，我们提出了一个次优的解决方案，是基于二分法。结果表明，相反，非鲁棒性的解释，从强大的解决方案的解释质量下降，增加隐私，以保证一个预先指定的置信水平，正确的分类。
2021-06-09 cs.CR cs.LG math.OC
Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers
University of Maryland, College Park（马里兰大学帕克分校）
凸松弛对于训练和验证神经网络对抗范数有界对抗攻击是有效的，但它们在可验证和经验鲁棒性之间留下了很大的差距。原则上，如果松弛问题的解对于原始非凸问题是可行的，则凸松弛可以提供紧边界。我们提出了两个正则化，可用于训练神经网络，产生更严格的凸松弛边界的鲁棒性。在我们所有的实验中，提出的正则化器比非正则化基线具有更高的认证准确性。
2020-02-22 cs.LG stat.ML
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth（拜罗伊特大学）
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification
Google Research（谷歌研究院）；Rice University（莱斯大学）；Columbia University（哥伦比亚大学）；Polytechnique Montréal（蒙特利尔理工学院）
我们改进了基于传播和线性优化的神经网络验证算法的有效性，为ReLU神经元提供了新的收紧凸松弛。与以前的单神经元松弛只关注ReLU的单变量输入空间不同，我们的方法考虑了ReLU之前的仿射预激活函数的多变量输入空间。使用子模块和凸几何的结果，我们得到一个明确的描述，最紧密的可能凸松弛时，这个多变量输入是在一个框域。我们表明，我们的凸松弛是显着强于常用的单变量输入松弛已被提出作为一个自然的凸松弛障碍验证。虽然我们的放松的描述可能需要指数数量的不等式，我们表明，它们可以在线性时间分离，因此可以有效地纳入优化算法的基础上，根据需要。基于这种新的松弛，我们设计了两个多项式时间算法的神经网络验证：一个基于线性规划的算法，利用我们的松弛的全部力量，和一个快速传播算法，概括现有的方法。在这两种情况下，我们表明，对于适度增加的计算工作量，我们加强放松使我们能够验证一个显着更大数量的实例相比，类似的算法。
2020-10-22 cs.LG stat.ML
Expressivity of ReLU-Networks under Convex Relaxations
ETH Zurich（苏黎世联邦理工学院）
该研究针对凸松弛与标准神经网络的精度差距问题，首次深入分析常用凸松弛下ReLU网络的表达能力，发现先进松弛可扩大可精确分析的函数类与解空间，但最精确的单神经元松弛仍无法表达多变量凸单调CPWL函数。
2023-11-07 cs.AI cs.LG
Between steps: Intermediate relaxations between big-M and convex hull formulations
Imperial College London（伦敦帝国学院）
本文在大M和凸包析取公式之间发展了一类松弛，并从两者中吸取了优点。提出的“P-分裂”公式将凸可加可分约束分裂为P个分区，并形成分区析取的凸包。参数P表示模型大小与松弛强度的权衡。我们研究了新的配方，并证明，在一定的假设下，松弛形成一个层次从一个大M等价和收敛到凸包。我们计算比较所提出的配方大M和凸包配方的测试集，包括：K均值聚类，P球问题，和ReLU神经网络。计算结果表明，中间P-分裂公式比扩展的凸包公式能以更少的变量和约束条件形成强的外逼近凸包，与大M和凸包相比具有明显的计算优势.
2021-01-29 cs.LG math.OC
Combinatorial Penalties: Which structures are preserved by convex relaxations?
LIONS, EPFL（洛桑联邦理工学院（LIONS））；INRIA - ENS - PSL Research University（法国国家信息与自动化研究所 - 巴黎高等师范学院 - 巴黎文理研究大学）
研究了定义在支撑集上的组合罚函数的齐次和非齐次凸松弛。我们的研究确定了关键的差异，通过较低的组合包络的概念，以及新的必要条件，支持识别的集合函数的紧张局势。然后，我们提出了一个一般的自适应估计的凸单调正则化，并获得新的充分条件，支持恢复的渐近设置。
2018-03-07 cs.LG stat.ML
ROMAX: Certifiably Robust Deep Multiagent Reinforcement Learning via Convex Relaxation
在多机器人系统中，许多网络物理攻击（例如，通信劫持、观察扰动）可以挑战代理的鲁棒性。这种鲁棒性问题在多智能体强化学习中存在，因为存在由同时学习的智能体引起的环境的非平稳性，其改变的策略影响过渡和奖励函数。在本文中，我们提出了一个极大极小MARL方法来推断其他代理的最坏情况下的政策更新。由于极大极小化公式在计算上难以求解，我们应用神经网络的凸松弛来解决内部极小化问题。这样的凸松弛使鲁棒性与对等代理，可能有显着不同的行为，也实现了原始优化问题的认证边界进行交互。我们评估了我们在多个混合合作竞争任务上的方法，并表明我们的方法优于之前在该主题上的最新方法。
2021-09-14 cs.LG
Expressiveness of Multi-Neuron Convex Relaxations in Neural Network Certification
Department of Computer Science（计算机科学系）；Department of Information Technology and Electrical Engineering（信息科技与电气工程系）
本研究首次严格分析了多神经元松弛的表达性，发现其本质上不完整，但通过增加神经元或划分输入域可实现完整性，为认证鲁棒性提供了新方向。
2026-11-03 cs.AI cs.LG
Convex Relaxations of Bregman Divergence Clustering
University of Alberta（阿尔伯塔大学）；National ICT Australia（澳大利亚国家信息通信技术中心）；ANU（澳大利亚国立大学）
虽然在过去的十年中已经提出了许多凸松弛的聚类，目前的配方仍然局限于球形高斯或歧视性模型，并容易受到不平衡的集群。为了解决这些缺点，我们提出了一类新的凸松弛，可以灵活地应用到更一般形式的Bregman发散聚类。通过基于这些新的配方规范化的等价关系，我们保留了额外的控制松弛质量，这使得聚类质量的改善。此外，我们开发的优化方法，提高可扩展性，利用最近的隐式矩阵范数方法。在实践中，我们发现新的配方能够有效地产生更紧密的聚类，提高了最先进的方法的准确性。
2013-09-26 cs.LG stat.ML
Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines
Sapienza University of Rome（罗马第一大学）；Alpen-Adria-Universität Klagenfurt（克拉根福阿尔卑斯-亚得里亚大学）
提出一种基于半定规划松弛的分支定界算法精确求解非凸的半监督支持向量机（S3VMs），通过界限紧致化与有效不等式加强下界，并利用局部搜索获取上界，显著提升了求解规模与效率。
2024-11-25 cs.LG math.OC
Exact Partitioning of High-order Models with a Novel Convex Tensor Cone Relaxation
Purdue University（普渡大学）
在本文中，我们提出了一个算法的精确划分的高阶模型。我们定义了一类一般的$m$ -度齐次多项式模型，它包含了几个例子，从以前的文献动机。精确划分可以用公式表示为张量优化问题。我们放松这个高阶组合问题的凸圆锥形问题。为此，我们仔细定义了Carathéodory对称张量锥，并证明了它的凸性，以及它的对偶锥的凸性。这使我们能够构建一个原始-对偶证书来表明凸松弛的解是正确的（等于未观察到的真实群分配），并分析精确划分的统计上限。
2021-07-15 cs.LG stat.ML
Gaussian Loss Smoothing Enables Certified Training with Tight Convex Relaxations
针对紧凸松弛在认证训练中表现不佳的问题，本文提出应用高斯损失平滑（GLS）方法，通过零阶和一阶优化算法变体有效缓解了损失表面不连续等问题，显著提升了可认证鲁棒神经网络的训练效果。
2025-07-15 cs.LG
Spectral Algorithms for Computing Fair Support Vector Machines
UC Berkeley（加州大学伯克利分校）
分类器和评级分数倾向于隐含地编码偏差，其可能存在于训练数据中，针对受保护的类（即，年龄、性别或种族）。因此，了解如何设计分类器和分数以防止预测中的歧视是很重要的。本文开发了计算上易于处理的算法，用于设计准确但公平的支持向量机（SVM）。我们的方法对每个受保护类的协方差矩阵施加了约束，这导致了SVM公式中的非凸二次约束。我们开发迭代算法来计算公平的线性和核SVM的，解决了一系列的松弛构造使用谱分解的非凸约束。在几个数据集上的数值实验表明，它在实现高预测精度，同时确保公平的有效性。
2017-10-16 cs.LG math.OC stat.ML
A Convex Relaxation for Weakly Supervised Classifiers
本文介绍了一种通用的多类弱监督分类方法。推断标签和学习模型的参数通常通过块坐标下降算法（例如期望最大化（EM））联合完成，这可能导致局部最小值。为了避免这个问题，我们提出了一个成本函数的基础上凸松弛的软最大损失。然后，我们提出了一个专门设计的算法，以有效地解决相应的半定规划（SDP）。从经验上讲，我们的方法相比之下，在不同的数据集上的多实例学习和半监督学习以及聚类任务的标准。
2012-06-27 cs.LG stat.ML
Tightening convex relaxations of trained neural networks: a unified approach for convex and S-shaped activations
Universidad de O’Higgins（奥希金斯大学）；Universidad de Chile（智利大学）
本文提出一种递归公式，为广泛激活函数（凸或S形）与仿射函数的组合提供紧致的凸化方法，用于高效计算分离超平面或判断是否存在。
2026-03-30 cs.LG math.OC
The Cost of Relaxation: Evaluating the Error in Convex Neural Network Verification
Foundation for Research and Technology – Hellas（希腊基础研究与技术研究所）；University of Crete（塞萨洛尼基大学）；Catalan Institution for Research and Advanced Studies（加泰罗尼亚研究与高级研究机构）；University of Lleida（莱里达大学）
研究凸松弛在神经网络验证中的误差，分析其在深度和输入半径下的指数增长特性，并通过实验验证结果。
2026-04-20 cs.AI cs.LG
Proximal gradient method for huberized support vector machine
Rice University（莱斯大学）；Siemens Corporate Research（西门子公司研究部）
支持向量机（SVM）已被用于各种各样的分类问题。原始的SVM使用铰链损失函数，这是不可微的，使得问题难以解决，特别是对于正则化的SVM，如$\ell_1$ -正则化。本文考虑了Huberized SVM（HSVM），它使用了可微近似的铰链损失函数。我们首先探讨使用的邻近梯度（PG）方法来解决二进制类HSVM（B-HSVM），然后将其推广到多类HSVM（M-HSVM）。在强凸性假设下，我们证明了算法的线性收敛性。此外，我们给出了一个关于解的支撑的有限收敛性结果，在此基础上，我们进一步用两阶段方法加速算法。我们提出了广泛的数值实验的合成和真实的数据集，证明了我们的方法优于一些国家的最先进的二进制和多类SVM的方法。
2015-11-30 cs.LG cs.NA math.NA
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta（阿尔伯塔大学）
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示：正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用，我们恢复了一个因子化的角度，揭示了一些差距，在目前的文献。除了确定一个有用的新损失流形展开，一个关键的贡献是获得新的凸正则化，结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
A New Convex Relaxation for Tensor Completion
University College London（伦敦大学学院）
我们研究了从一组线性测量中学习张量的问题。这个问题的一个突出的方法是基于迹范数正则化的推广，它已被广泛用于学习低秩矩阵，张量设置。在本文中，我们强调了这种方法的一些局限性，并提出了另一种凸松弛的欧几里德球。然后，我们描述了一种技术来解决相关的正则化问题，这是建立在交替方向的方法的乘数。在一个合成数据集和两个真实数据集上的实验表明，该方法在估计误差方面明显优于张量迹范数正则化，同时保持计算易处理。
2013-07-17 cs.LG math.OC stat.ML
Tokenisation via Convex Relaxations
ETH Zurich（苏黎世联邦理工学院）；Kensho Technologies（Kensho科技公司）
本文提出了一种基于凸松弛的分词方法ConvexTok，通过将分词构建问题转化为线性规划并利用凸优化工具求解，改进了分词指标和语言模型的bits-per-byte性能，并提升了下游任务表现。
2026-05-21 cs.CL cs.LG
Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time
Stanford University（斯坦福大学）
该研究针对带权重衰减的两层ReLU网络与凸松弛的最优性间隙问题，证明随机数据下间隙为O(log n^0.5)，提出多项式时间算法，且局部梯度法高概率收敛到低损失点，较现有结果有指数提升。
2024-07-12 cs.LG math.OC
DISCO : efficient unsupervised decoding for discrete natural language problems via convex relaxation
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们研究测试时间解码，几乎所有的顺序文本生成任务跨越了广泛的自然语言处理（NLP）问题的一个普遍存在的步骤。我们的主要贡献是开发了一个连续松弛框架的组合NP难解码问题，并提出迪斯科-一个有效的算法基于标准的一阶梯度为基础。我们提供了严密的分析，并表明我们提出的算法线性收敛到最优值的$ε$邻域内。最后，我们对对抗性文本生成任务进行了初步实验，并显示了Disco优于几种流行解码方法的性能。
2021-07-13 cs.AI cs.CL cs.LG
Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了噪声低秩矩阵的完备化问题：给定一个大型低秩矩阵的部分和噪声元素，目标是忠实而有效地估计底层矩阵。可以说，解决这个问题的最流行的范例之一是凸松弛，它在实践中取得了显着的效果。然而，这种方法的理论支持在噪声环境中仍然远远不是最佳的，无法解释其经验上的成功。我们取得了进展，对神秘的凸松弛与随机噪声的实际效果。当未知矩阵的秩和条件数是由一个常数的范围内，我们证明了凸规划方法实现了近最佳的估计误差--在欧氏损失，entrywise损失，和频谱范数损失-在很宽的范围内的噪声水平。所有这些都是通过将凸松弛与非凸Burer-Monteiro方法连接起来实现的，这是一种看似独特的算法范例，可证明对噪声具有鲁棒性。更具体地说，我们表明，一个近似的临界点的非凸制定作为一个非常紧密的近似凸的解决方案，从而使我们能够转移所需的统计保证的非凸的方法，其凸对应。
2019-10-07 cs.IT cs.LG math.IT
A Safe Screening Rule with Bi-level Optimization of $ν$ Support Vector Machine
College of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）；College of Science, China Agricultural University（中国农业大学理学院）
针对 $ν$-SVM 大规模训练开销问题，提出结合 KKT 条件、变分不等式和 $ν$-性质的双层优化安全筛选规则及 DCDM，并以统一框架推广到单类 SVM。
2024-03-04 cs.AI cs.LG math.OC
