Safe RuleFit: Learning Optimal Sparse Rule Model by Meta Safe Screening
Department of Computer Science, Nagoya Institute of Technology（名古屋工业大学计算机科学系）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）；Center for Materials Research by Information Integration, National Institute for Materials Science（国立材料科学研究所信息融合材料研究中心）
本文提出 Safe RuleFit 方法，通过扩展安全筛选技术为元安全筛选，利用超矩形包含关系高效筛选多个特征，从而在回归和分类中学习最优稀疏规则模型。
2025-03-12 cs.LG stat.ML
Safe Screening for Logistic Regression with $\ell_0$-$\ell_2$ Regularization
Department of Indutrial Engineering and Operations Research, University of California, Berkeley（加州大学伯克利分校工业工程与运筹学系）
在逻辑斯谛回归中，通常希望利用正则化来促进稀疏解，特别是对于与可用标签相比具有大量特征的问题。在本文中，我们提出了筛选规则，安全地删除功能的逻辑斯谛回归与$\ell_0-\ell_2$正则化解决问题之前。所提出的安全筛选规则是基于逻辑斯谛回归问题的强圆锥松弛的Fenchel对偶的下界。真实和合成数据的数值实验表明，高比例的功能，可以有效地和安全地删除先验，从而大大加快计算。
2022-02-01 cs.LG stat.ME stat.ML
Accelerating Non-Negative and Bounded-Variable Linear Regression Algorithms with Safe Screening
INRAE（法国国家农业食品与环境研究院）；CNRS（法国国家科学研究中心）；University of Toulouse（图卢兹大学）
本文提出一种基于安全筛选的加速技术，通过在迭代中识别饱和坐标来加速非负和有界变量线性回归求解器，并提供理论保证和实验验证。
2023-06-26 cs.LG stat.ML
Gap Safe Screening Rules for Fast Training of Robust Support Vector Machines under Feature Noise
Can Tho University（芹苴大学）
本文提出在特征噪声下快速训练鲁棒支持向量机的间隙安全筛选规则，通过非标准结构的鲁棒模型分析，减少训练复杂度并加速优化，实验显示显著降低训练时间且保持分类精度。
2026-03-26 cs.LG math.OC
Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）
我们设计了简单的筛选测试，以自动丢弃经验风险最小化的数据样本，而不会失去优化保证。我们推导出损失函数，产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失，以确保这样一个双重稀疏诱导属性，并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外，我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Distributed Dynamic Safe Screening Algorithms for Sparse Regularization
University of Pittsburgh（匹兹堡大学）
分布式优化作为大规模样本模型训练的有效方法之一，得到了广泛的应用。然而，在大数据时代，大规模学习问题广泛存在，既有海量样本，又有高维特征。安全筛选是一种通过丢弃零系数的非活动特征来加速高维模型的流行技术。然而，现有的安全筛查方法仅限于序贯设置。本文提出了一种新的稀疏正则化模型的分布式动态安全筛选（DDSS）方法，并将其分别应用于共享内存和分布式内存结构，该方法在保证模型和数据集稀疏性的前提下，能够在保证精度的前提下显著提高计算速度.据我们所知，这是分布式安全动态筛选方法的第一项工作。理论上，我们证明了所提出的方法实现了线性收敛速度与较低的整体复杂度，可以消除几乎所有的非活动功能，在有限的迭代次数几乎肯定。最后，在基准数据集上的大量实验结果证实了我们提出的方法的优越性。
2022-04-23 cs.DC cs.LG stat.ML
Stable safe screening and structured dictionaries for faster L1 regularization
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机系统研究所）
在本文中，我们提出了一种方法来结合两个加速技术的$\ell\_{1}$正则化最小二乘问题：安全筛选测试，它允许消除无用的字典原子;和使用快速结构化近似的字典矩阵。为此，我们引入了一个新的家庭的筛选测试，称为稳定的筛选，它可以应付近似错误的字典原子，同时保持测试的安全性（即零风险拒绝属于解决方案支持的原子）。一些主要的现有筛选测试扩展到这个新的框架。所提出的算法包括在初始迭代时使用较粗糙（但更快）的字典近似，然后切换到更好的近似，直到最终采用原始字典。基于对偶间隙饱和度和屏蔽比推导了一种系统的切换准则，仿真结果表明，在大范围的测试场景下，该切换准则在计算复杂性和执行时间上都有显著的降低。
2019-07-05 cs.LG eess.SP stat.ML
Expanding boundaries of Gap Safe screening
IRIT（图卢兹计算机研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
稀疏优化问题在统计学、信号/图像处理和机器学习等领域中普遍存在。这导致了许多迭代算法的诞生来解决它们。一个强大的策略，以提高这些算法的性能被称为安全筛选：它允许在解决方案中的零坐标的早期识别，然后可以消除，以减少问题的大小和加速收敛。在这项工作中，我们扩展了现有的差距安全的筛选框架，放松全球强有力的双重成本函数的假设。相反，我们利用当地的规律性，也就是说，强的正则性上精心选择的域的子集。非负约束也被整合到现有的框架。除了使安全筛选成为可能之外，还可以对包括β发散的更广泛类别的函数（例如，Kullback-Leibler分歧），提出的方法还改进了先前适用案例的现有Gap Safe筛选规则（例如，logistic回归）。所提出的一般框架的例子是一些值得注意的特殊情况下：逻辑函数，β = 1.5和Kullback-Leibler分歧。最后，我们展示了建议的筛选规则与不同的求解器（坐标下降，乘法更新和近端梯度算法）和不同的数据集（二进制分类，高光谱和计数数据）的有效性。
2023-01-06 cs.LG eess.SP math.OC
Safe Screening Rules for Group OWL Models
University of Pittsburgh（匹兹堡大学）；Georgia Institute of Technology（佐治亚理工学院）；the College of William and Mary（威廉玛丽学院）
本文首次针对 Group OWL 正则化模型提出安全筛选规则，通过处理结构化不可分离惩罚项快速识别并移除所有任务中系数为零的非活跃特征，从而在批处理和随机优化中实现显著计算加速和内存节省，且不损失精度。
2025-04-08 cs.LG stat.ML
Safe Active Feature Selection for Sparse Learning
Texas A&M University（得克萨斯农工大学）；University of Washington（华盛顿大学）
我们提出了安全的主动增量特征选择~（SAIF）来扩展LASSO解决方案的计算。SAIF不需要像在顺序筛选中那样来自较重惩罚参数的解决方案，也不需要像在动态筛选中那样针对每次迭代更新完整模型。与这些现有的筛选方法不同，SAIF从少量特征开始，逐步招募活跃特征并更新显著减少的模型。因此，它在计算上更加高效，并且随着特征的数量而可扩展。更重要的是，SAIF具有安全保证，因为它具有对原始完整LASSO问题的最优解的收敛保证。这种增量过程和理论收敛保证可以扩展到融合LASSO问题。与现有的筛选方法、工作集方法和同伦方法相比，SAIF方法在处理极高维数据集时，在保证安全性的前提下，具有更高的效率和可扩展性。使用合成和真实世界数据集的实验表明，SAIF可以比动态筛选快50倍，比计算LASSO或融合LASSO解决方案快数百倍。
2018-06-19 cs.LG stat.ML
Safe Screening for Sparse Conditional Random Fields
The Hong Kong University of Science and Technology（香港科技大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
稀疏条件随机场（CRF）是计算机视觉和自然语言处理中用于结构化预测的一种强大技术。然而，在大规模应用中解决稀疏CRF仍然具有挑战性。在本文中，我们提出了一种新的安全的动态筛选方法，利用一个准确的双重最佳估计，以识别和删除不相关的功能在训练过程中。因此，问题的大小可以不断减小，从而大大节省了计算成本，而不会牺牲最终学习模型的任何精度。据我们所知，这是第一个筛选方法，它引入了双重最佳估计技术-通过仔细探索和利用强凸性和复杂结构的双重问题-在静态筛选方法动态筛选。这样，我们可以吸收静态和动态筛选方法的优点，避免它们的缺点。我们的估计将比基于对偶间隙的估计更准确，这有助于更强的筛选规则。此外，我们的方法也是第一个筛选方法在稀疏CRF，甚至结构预测模型。在合成数据集和真实数据集上的实验结果表明，该方法具有显著的加速比。
2021-11-27 cs.CV cs.LG stat.ML
GAP Safe Screening Rules for Sparse-Group-Lasso
CNRS（法国国家科学研究中心）；Télécom ParisTech（巴黎电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
在高维环境中，稀疏结构对于效率是至关重要的，无论是在存储器，计算还是性能方面。在某些情况下，处理比纯稀疏性更精细的结构是很自然的，例如组稀疏性。最近在线性回归的上下文中引入了稀疏组Lasso，以在特征级别和组级别上实施稀疏性。我们适应的情况下，稀疏组套索最近的安全筛选规则，丢弃早期在求解器不相关的功能/组。这样的规则导致了大范围的迭代方法的重要加速。由于双间隙计算，我们提供了新的安全筛选规则的稀疏群套索，并显示出显着的收益，在计算时间的坐标下降实现。
2016-02-19 cs.LG math.OC stat.CO
GAP Safe screening rules for sparse multi-task and multi-class models
CNRS（法国国家科学研究中心）
高维回归受益于稀疏促进正则化。筛选规则通过忽略优化中的一些变量来利用解的已知稀疏性，从而加快求解器的速度。当该过程被证明不会错误地丢弃特征时，该规则被称为\emph{safe}。本文给出了用$\ell_1$和$\ell_1/\ell_2$范数正则化的广义线性模型的新的安全规则。该规则是基于对偶间隙计算和球形安全区域的直径收敛到零。这允许安全地丢弃更多的变量，特别是对于低正则化参数。GAP安全规则可以处理任何迭代求解器，我们展示了它在多任务Lasso，二进制和多项式逻辑斯谛回归的坐标下降上的性能，证明了所有测试数据集相对于以前的安全规则的显着速度。
2015-11-18 cs.LG math.OC stat.CO
Safe Element Screening for Submodular Function Minimization
Tencent AI Lab（腾讯人工智能实验室）
次模函数是凸函数的离散类似物，其在包括机器学习和计算机视觉的各个领域中具有应用。然而，在大规模应用中，解决次模函数最小化（SFM）问题仍然具有挑战性。在本文中，我们首次尝试将大规模稀疏学习中的筛选技术扩展到SFM，以加速其优化过程。首先，我们仔细研究了SFM与相应的凸近似问题之间的关系，以及近似问题的精确原始最优估计。依赖于这项研究，我们随后提出了一种新的安全筛选方法，以快速确定的元素保证被包括（我们称之为积极的）或排除（不活跃）在SFM的最终最优解的优化过程中。通过移除不活动的元素并固定活动的元素，可以显著减小问题的大小，从而在不牺牲任何精度的情况下极大地节省计算成本。据我们所知，该方法是第一个筛选方法在SFM领域，甚至组合优化，从而指出了一个新的方向，加速SFM算法。在合成数据集和真实数据集上的实验结果表明，该方法具有显著的加速比。
2018-06-07 cs.LG stat.ML
Distributionally Robust Safe Screening
RIKEN（理化学研究所）；Nagoya University（名古屋大学）；Nagoya Institute of Technology（名古屋工业大学）；DENSO CORPORATION（电装公司）
本文提出 DRSS 方法，将分布鲁棒学习与安全筛选结合，通过将 DR 协变量偏移转化为权重具有不确定性的加权经验风险最小化问题，在训练前可靠识别冗余样本与特征，并提供理论保证与实验验证。
2024-04-25 cs.LG stat.ML
Safe Screening Rules for Group SLOPE
University of Pittsburgh, Pittsburgh, PA 15260, United States（匹兹堡大学）；Georgia Institute of Technology, Atlanta, GA 30332, United States（佐治亚理工学院）；The College of William and Mary, Williamsburg, VA 23185, United States（威廉与玛丽学院）
针对 Group SLOPE 因块不可分离分组效应导致的高计算与内存成本，提出可识别零系数非活跃组的安全筛选规则，兼容批处理与随机求解器并保持结果和精度不变。
2025-06-11 cs.LG stat.ML
Fast OSCAR and OWL Regression via Safe Screening Rules
University of Pittsburgh（匹兹堡大学）；JD Finance America Corporation（京东金融美国公司）
有序加权$L_{1}$（OWL）正则化回归是一种新的高维稀疏学习回归分析方法。近似梯度方法被用作解决OWL回归的标准方法。然而，它仍然是一个紧迫的问题，以解决OWL回归由于相当大的计算成本和内存使用时，功能或样本大小是大的。本文提出了OWL回归的第一个安全筛选规则，通过迭代策略探索具有未知序结构的原始解的序，克服了处理不可分离正则化子的困难。该方法有效地避免了在学习过程中对系数必须为零的参数进行更新。更重要的是，建议的筛选规则可以很容易地应用到标准和随机邻近梯度方法。此外，我们证明了我们的筛选规则的算法是保证有相同的结果与原来的算法。在各种数据集上的实验结果表明，与现有的竞争算法相比，我们的筛选规则导致了显着的计算增益，而没有任何准确性的损失。
2021-10-19 cs.LG stat.ME stat.ML
Gap Safe screening rules for sparsity enforcing penalties
在高维回归设置中，稀疏强制惩罚已被证明有助于正则化数据拟合项。最近引入的一种称为筛选规则的技术建议忽略优化中的一些变量，利用解决方案的预期稀疏性，从而导致更快的求解器。当过程保证不会错误地丢弃变量时，这些规则被称为安全的。在这项工作中，我们提出了一个统一的框架，广义线性模型正则化与标准的稀疏执行处罚，如$\ell_1$或$\ell_1/\ell_2$规范。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量，特别是对于低正则化参数。我们提出的间隙安全规则（所谓的，因为它们依赖于对偶间隙计算）可以应付任何迭代求解器，但特别适合（块）坐标下降方法。应用于许多标准学习任务，Lasso，稀疏组Lasso，多任务Lasso，二进制和多项式逻辑斯谛回归等，我们在所有测试数据集上报告了与先前提出的安全规则相比的显著加速。
2017-12-27 cs.LG math.OC stat.CO
A Safe Screening Rule for Sparse Logistic Regression
Computer Science and Engineering, Arizona State University, USA（亚利桑那州立大学计算机科学与工程学院，美国）；SAS Institute Inc., USA（美国SAS研究所）
l1正则化逻辑回归（或稀疏逻辑回归）是一种广泛使用的同时进行分类和特征选择的方法。虽然最近的许多努力已经致力于其有效的实施，其应用到高维数据仍然构成了重大挑战。在本文中，我们提出了一种快速有效的稀疏逻辑回归筛选规则（Slores）来识别解决方案向量中的0分量，这可能会导致要进入优化的特征数量大幅减少。Slores的一个吸引人的特点是，数据集只需要扫描一次就可以运行筛选，与解决稀疏逻辑回归问题相比，其计算成本可以忽略不计。此外，Slores是独立的稀疏逻辑回归的求解器，因此Slores可以与任何现有的求解器集成，以提高效率。我们已经评估了Slores使用高维数据集从不同的应用程序。大量的实验结果表明，Slores优于现有的国家的最先进的筛选规则和解决稀疏逻辑回归的效率提高了一个数量级。
2013-07-18 cs.LG stat.ML
Beyond GAP screening for Lasso by exploiting new dual cutting half-spaces with supplementary material
Univ Rennes（雷恩大学）；CentraleSupelec（中央理工-高等电力学院）；Univ. de Bretagne Occidentale（西布列塔尼大学）；Inria Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）
在本文中，我们提出了一种新的安全筛选测试Lasso。我们的程序是基于一个安全的区域与圆顶几何，并利用一个规范表示的集半空间（称为“对偶切割半空间”在本文中）包含的对偶可行集。所提出的安全区域总是包括在Fercoq等人提出的最先进的“GAP球体”和“GAP圆顶”中（并且在非常温和的条件下严格如此），同时涉及相同的计算负担。数值实验证实，我们的新圆顶能够设计出比GAP区域更强大的筛选测试，并导致显着加速解决拉索。
2022-03-02 cs.LG stat.ML
Safe Screening for the Generalized Conditional Gradient Method
INRIA - Département d’Informatique de l’Ecole Normale Supérieure PSL Research University（法国国家信息与自动化研究所 - 巴黎高等师范学院信息学系 巴黎文理研究大学）
条件梯度法（CGM）是一种快速稀疏逼近方法，对于结构化的稀疏正则化算子具有每次迭代计算量小的优点。我们探讨的稀疏性获取属性的广义CGM（gCGM），其中的约束被取代的惩罚函数的基础上的规范罚款，这可以做到不显着增加每次迭代计算，并适用于一般的概念稀疏。在不假设有界迭代的情况下，我们证明了gCGM的函数值和间隙的$O(1/t)$收敛性。我们耦合这与一个安全的筛选规则，并表明，在率$O(1/(tδ^2))$，筛选支持匹配的支持在解决方案，其中$δ\geq 0$措施如何接近的问题是退化。在我们的实验中，我们表明，这些修改后的处罚的gCGM具有类似的特征选择属性作为常见的处罚，但可能更稳定的超参数的选择。
2020-02-22 cs.LG math.OC stat.ML
Not All Synthetic Data Are Equal: Expert-Committee Audit Screening for Imbalanced Crash-Injury-Severity Prediction in Automated Driving Systems
Ningbo University（宁波大学）；Imperial College London（帝国理工学院）；The University of Hong Kong（香港大学）；University College London（伦敦大学学院）
针对自动驾驶碰撞伤害严重性预测中数据不平衡与合成样本可信度不足的问题，提出专家委员会审计筛选（ECAS）框架，通过多维审计与帕累托筛选提升少数类样本质量，显著改善预测性能。
2026-09-25 cs.LG
Efficient Mixed-Norm Regularization: Algorithms and Safe Screening Methods
Computer Science and Engineering, Arizona State University, USA（美国亚利桑那州立大学计算机科学与工程学院, 美国亚利桑那州立大学计算机科学与工程学院, 美国亚利桑那州立大学计算机科学与工程学院）
稀疏学习最近在包括机器学习、统计学和应用数学在内的许多领域受到越来越多的关注。基于q>1的l1 q范数的混合范数正则化在回归和分类的许多应用中是有吸引力的，因为它促进了模型中的组稀疏性。然而，由于混合范数正则化的固有结构，所产生的优化问题是具有挑战性的。现有的工作涉及q=1，2，无穷大的特殊情况下，他们不能很容易地扩展到一般情况。在本文中，我们提出了一个有效的算法的基础上加速梯度法求解一般l1 q-正则化问题。该算法的一个关键组成部分是l1 q-正则化欧氏投影（EP_1q）。我们的理论分析揭示了EP_1q的关键性质，并说明了为什么EP_1q的一般q是显着更具挑战性的解决比特殊情况。在理论分析的基础上，我们通过求解两个零点问题，给出了求解EP_1q的一个有效算法。为了进一步提高求解高维混合范数正则化问题的效率，我们提出了一种能够快速识别非活动组的筛选方法，即，在解决方案中有0个组件的组。这可能导致要进入优化的组的数量的大幅减少。我们的筛选方法的一个吸引人的特点是，数据集只需要扫描一次运行筛选。与求解混合范数正则化问题相比，我们的筛选测试的计算成本可以忽略不计。该筛选方法的关键是对对偶最优解在正则化参数变化时的灵敏度进行精确分析。实验结果证明了该算法的有效性。
2013-07-16 cs.LG stat.ML
SafeBench-Seq: A Homology-Clustered, CPU-Only Baseline for Protein Hazard Screening with Physicochemical/Composition Features and Cluster-Aware Confidence Intervals
University of Copenhagen（哥本哈根大学）
SafeBench-Seq是一种基于同源聚类、仅CPU运行的蛋白质危险筛查基准，利用物理化学和组成特征及聚类感知置信区间，提供可重复的评估方法。
2025-12-19 cs.AI cs.CR cs.LG
From safe screening rules to working sets for faster Lasso-type solvers
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高等电信学院LTCI实验室）
凸稀疏促进正则化在现代统计学习中无处不在。通过构造，它们产生具有少数非零系数的解，这对应于对偶优化公式中的饱和约束。工作集（WS）策略是通用的优化技术，包括在解决简单的问题，只考虑一个子集的约束，其索引形式的WS。工作集方法，因此涉及两个嵌套的迭代：外循环对应的定义的WS和内循环调用一个求解器的子问题。对于Lasso估计器，WS是一组特征，而对于Group Lasso，它指的是一组组。在实践中，WS在这种情况下通常很小，因此相关联的特征Gram矩阵可以适合存储器。在这里，我们表明，高斯-Southwell规则（贪婪的块坐标下降技术的策略）导致快速求解器在这种情况下。结合工作集策略的基础上积极使用所谓的间隙安全筛选规则，我们提出了一个求解器实现国家的最先进的性能稀疏学习问题。结果在Lasso和多任务Lasso估计器上呈现。
2017-05-01 cs.LG math.OC stat.CO
TRUST: Threshold-Recalibrated Uncertainty-Safe Training for Certified Dismissal in Breast Cancer Screening
Memorial University of Newfoundland（纽芬兰纪念大学）；Cancer Care, Newfoundland and Labrador Health Services（纽芬兰与拉布拉多卫生服务癌症中心）
本研究提出TRUST闭环阈值感知训练策略，在NLBS、RSNA等数据集上验证其可在98%和95%召回率下提升乳腺癌筛查的病例级弃权率，减少放射科医生工作量且不影响癌症检测。
2026-09-02 cs.CV cs.LG
Joint Screening Tests for LASSO
INRIA Rennes-Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）；ENSTA Bretagne（法国国立高等先进技术布列塔尼分校）；Lab-STICC（通信、信息、信号与图像科学技术实验室）
本文着重于“安全”的筛选技术的LASSO问题。出于对低复杂度算法的需求，我们提出了一种新的方法，称为“联合”筛选测试，允许通过执行一个单一的测试来筛选一组原子。该方法是specialized到两个不同的原子，分别表示为球和圆顶区域。在介绍了测试的数学推导之后，我们详细说明了它们的相对有效性，并讨论了这些程序的实际使用。
2017-11-09 cs.LG stat.ML
A Safe Screening Rule with Bi-level Optimization of $ν$ Support Vector Machine
College of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）；College of Science, China Agricultural University（中国农业大学理学院）
针对 $ν$-SVM 大规模训练开销问题，提出结合 KKT 条件、变分不等式和 $ν$-性质的双层优化安全筛选规则及 DCDM，并以统一框架推广到单类 SVM。
2024-03-04 cs.AI cs.LG math.OC
Screening for a Reweighted Penalized Conditional Gradient Method
Stony Brook University（石溪大学）；INRIA-Paris（法国国家信息与自动化研究所巴黎分部）
条件梯度法（CGM）是一种广泛应用于大规模稀疏凸优化的方法，它具有构造稀疏正则化算子的低迭代计算量和收集非零值的贪婪方法。我们探讨了稀疏获取属性的一般惩罚CGM（P-CGM）的凸正则化和一个重新加权的惩罚CGM（RP-CGM）的非凸正则化，取代通常的凸约束规范启发的处罚。这种泛化不会显著增加每次迭代的复杂性。没有假设有界迭代或使用线搜索，我们显示$O(1/t)$收敛的间隙的每个子问题，它的措施距离一个固定点。我们将其与在凸情况下安全的筛选规则相结合，以$O(1/(δ^2))$的速率收敛到真正的支持，其中$δ\geq 0$测量问题与退化的接近程度。在非凸情形下，筛选规则在有限次迭代中收敛到真支撑，但在中间迭代中不一定是安全的。在我们的实验中，我们验证了该方法的一致性，并通过调整正则化器的宽度来调整筛选规则的积极性。
2021-07-02 cs.LG math.OC
Look-Ahead Screening Rules for the Lasso
Lund University（隆德大学）
针对高维场景下套索求解计算成本高的问题，本文提出前瞻筛选策略，利用安全筛选规则确定预测变量无法入模的惩罚值范围以沿解路径筛选变量，实验证明其性能优于Gap Safe规则的主动热启动版本。
2021-06-29 cs.LG stat.CO stat.ML
Safe Bayesian Optimization for Uncertain Correlation Matrices in Linear Models of Co-Regionalization
Institute of Control Systems, Hamburg University of Technology（控制系统研究所，汉堡技术大学）
本文将多任务贝叶斯优化的安全保证从内在共区域化模型扩展到线性共区域化模型，通过组合多个特征更灵活地建模任务间相关性，并推导了从线性共区域化核高斯过程中采样的向量值函数的统一误差界，同时在安全多任务贝叶斯优化基准上的数值比较中展示了线性共区域化模型的潜在性能优势。
2026-05-20 cs.LG cs.SY eess.SY
Mind the duality gap: safer rules for the Lasso
Institut Mines-Télécom（矿业电信研究院）；Télécom ParisTech（巴黎电信学院）；CNRS LTCI（法国国家科学研究中心电信与信息处理实验室）
筛选规则允许在Lasso问题或其衍生物的优化中早期丢弃不相关的变量，使求解器更快。在本文中，我们提出了新版本的所谓的$\textit{safe rules}$的套索。基于对偶间隙的考虑，我们的新规则创建安全的测试区域，其直径收敛到零，只要一个依赖于收敛求解器。这个属性有助于筛选出更多的变量，以获得更大范围的正则化参数值。除了更快的收敛之外，我们还证明了我们可以在有限时间内正确识别解的活动集（支持）。虽然我们提出的策略可以处理任何求解器，但使用特别适用于机器学习用例的坐标下降算法来证明其性能。相对于以前的安全规则，获得显着的计算时间减少。
2015-12-03 cs.LG math.OC stat.CO
Screening Rules for Convex Problems
MPI（马普研究所）；ETH（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
我们提出了一个新的框架推导筛选规则的凸优化问题。我们的方法涵盖了一大类的约束和惩罚的优化配方，并分为两个步骤。首先，给定任何近似点，利用目标函数的结构和对偶间隙来收集关于最优解的信息。在第二步中，该信息用于产生筛选规则，即安全地识别最优解的不重要的权重变量。我们的一般框架导致了大量的各种有用的现有以及新的筛选规则，许多应用程序。例如，我们为一般单纯形和$L_1$约束问题、弹性网络、平方损失支持向量机、最小封闭球以及结构化范数正则化问题（如组套索）提供了新的筛选规则。
2016-09-23 cs.LG math.OC stat.ML
Safe rules for the identification of zeros in the solutions of the SLOPE problem
IETR UMR CNRS 6164（法国国家科学研究中心电子与电信研究所（联合研究单位6164））；CentraleSupelec（中央理工-高等电力学院）；Inria centre Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）
在本文中，我们提出了一种方法来加速解决所谓的“排序L-One惩罚估计”（SLOPE）问题。我们的方法利用了“安全筛选”的概念，以及在文献中研究的\textit{group-separable}稀疏诱导规范，并旨在确定零的解决方案的斜率。更具体地说，我们得到了一组\(\tfrac{n(n+1)}{2}\)不等式的每个元素的\(n\)维原始向量，并证明了后者可以安全地筛选，如果这些不等式的一些子集得到验证。此外，我们还提出了一种有效的算法，将所提出的过程联合应用于所有原始变量。我们的程序有一个复杂性\(\mathcal{O}(n\log n + LT)\)，其中\(T\leq n\)是一个问题相关的常数和\(L\)是由测试确定的零的数量。数值实验证实，对于一个指定的计算预算，所提出的方法导致显着提高的求解精度。
2022-10-04 cs.LG
Lasso Screening Rules via Dual Polytope Projection
Arizona State University（亚利桑那州立大学）
Lasso是一种广泛使用的回归技术，用于寻找稀疏表示。当特征空间的维数和样本数量非常大时，解决Lasso问题仍然具有挑战性。为了提高解决大规模Lasso问题的效率，El Ghaoui和他的同事们提出了SAFE规则，该规则能够快速识别不活跃的预测因子，即，在解向量中具有$0$分量的预测变量。然后，可以从优化问题中移除不活动的预测因子或特征以减小其规模。通过将标准Lasso变换为其对偶形式，可以表明非活动预测器包括对最优对偶解的非活动约束的集合。在本文中，我们提出了一个高效和有效的筛选规则，通过对偶多面体投影（DPP），这主要是基于最佳对偶解的唯一性和非扩张性，由于事实上，在对偶空间中的可行集是凸的和封闭的多面体。此外，我们表明，我们的筛选规则可以扩展到确定组拉索中的非活性组。据我们所知，目前没有“确切”的筛选规则组拉索。我们已经评估了我们的筛选规则，使用合成和真实的数据集。结果表明，我们的规则是更有效地识别不活跃的预测比现有的国家的最先进的Lasso筛选规则。
2014-10-15 cs.LG stat.ML
Reliable Self-Harm Risk Screening via Adaptive Multi-Agent LLM Systems
Johns Hopkins University（约翰霍普金斯大学）
本文提出一种基于有向无环图的统计框架，通过自适应采样策略提升自伤风险评估的可靠性，实验表明其在精度和召回率上优于传统方法。
2026-04-24 cs.AI cs.LG
Accelerated Sparse Bayesian Learning via Screening Test and Its Applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在高维环境中，稀疏结构对于存储器和计算复杂度方面的效率至关重要。对于一个线性系统，直接寻找具有过完备特征字典的稀疏解通常是NP困难的，因此应该考虑替代的近似方法。在本文中，我们选择的替代方法是稀疏贝叶斯学习，作为经验贝叶斯方法，它使用参数化的先验来鼓励解决方案中的稀疏性，而不是具有固定先验的其他方法，如LASSO。而筛选测试的目的是快速识别出一个特征子集，其系数在最优解中保证为零，然后可以安全地从完整的字典中删除，以获得更小，更容易解决的问题。接下来，我们解决较小的问题，之后可以通过用零填充较小的解决方案来恢复原始问题的解决方案。所提出的方法的性能将在各种数据集和应用程序进行检查。
2020-07-08 cs.LG stat.ML
Distributionally Robust Safe Sample Elimination under Covariate Shift
RIKEN（理化学研究所）；Nagoya University（名古屋大学）；Nagoya Institute of Technology（名古屋工业大学）；DENSO CORPORATION（电装公司）
针对多部署环境定制模型导致的存储与训练成本问题，提出结合分布鲁棒优化和安全样本筛选的DRSSS方法，在协变量偏移下确保缩减数据集训练的模型与完整数据集表现一致。
2024-11-14 cs.LG stat.ML
Scaling SVM and Least Absolute Deviations via Exact Data Reduction
Arizona State University（亚利桑那州立大学）
支持向量机（SVM）是一种广泛使用的分类方法。虽然许多努力已经致力于开发有效的解决方案，它仍然具有挑战性的SVM应用到大规模的问题。SVM的一个很好的特性是非支持向量对分类器没有影响。受此启发，我们提出了快速，有效的筛选规则，通过分析支持向量机的对偶问题，通过变分不等式（DVI），以丢弃非支持向量。结果，可以大大减少要输入到优化中的数据实例的数量。我们的筛选方法的一些吸引人的特点是：（1）DVI是安全的，在这个意义上，DVI丢弃的向量是保证非支持向量;（2）数据集只需要扫描一次运行筛选，其计算成本是可以忽略不计相比，解决SVM问题;（3）DVI是独立的求解器，可以集成到任何现有的有效的解决方案。我们还表明，DVI技术可以扩展到检测非支持向量的最小绝对偏差回归（LAD）。据我们所知，目前还没有LAD的筛查方法。我们已经评估了DVI的合成和真实的数据集。实验表明，DVI明显优于现有的最先进的SVM筛选规则，是非常有效的，在丢弃非支持向量的LAD。通过DVI规则获得的加速比可以达到两个数量级。
2013-10-25 cs.LG stat.ML
Data-Optimized Contingency Screening: A Machine Learning Approach to Power System Security
Federal University of Agriculture（联邦农业大学）
本研究针对电力系统安全问题，采用机器学习算法结合SMOTE、PCA等预处理技术，在IEEE-14和IEEE-30系统上评估KNN、RF、SVM的性能，发现RF表现最优，PCA对模型性能的贡献大于SMOTE，为电力系统实时安全评估提供了新方法。
2026-09-07 cs.AI cs.LG
Safe Distributionally Robust Feature Selection under Covariate Shift
Graduate School of Engineering, Nagoya University, Nagoya, Japan（名古屋大学工学研究科）；Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（RIKEN高级智能项目）
本文研究了在协变量偏移下的分布鲁棒特征选择问题，提出安全-DRFS方法，通过扩展传统稀疏建模中的安全筛选到分布鲁棒设置，确保在输入分布偏移范围内包含所有可能最优的特征子集。
2026-03-17 cs.LG stat.ML
The Strong Screening Rule for SLOPE
Lund University（隆德大学）；University of Wroclaw（弗罗茨瓦夫大学）
针对高维场景下SLOPE正则化路径估计效率不足的问题，提出了套索强规则推广形式的SLOPE启发式筛选规则，验证了其可靠性与效率提升，并在R包SLOPE中实现了该方法。
2022-04-22 cs.LG stat.CO stat.ML
A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）；Frederick National Laboratory for Cancer Research（弗雷德里克国家癌症研究实验室）
通过结合各种癌细胞系（CCL）药物筛选小组，数据的大小显着增加，开始了解深度学习的进步如何促进药物反应预测。在本文中，我们训练了超过35，000个神经网络模型，涵盖了常见的特征化技术。我们发现RNA-seq是高度冗余和信息丰富的，即使子集大于128个特征。我们发现包含编码为计数矩阵的单核苷酸多态性（SNP）显著提高了模型性能，并且在常见的开源MORDRED描述符和Dragon 7描述符之间的分子特征化方面，模型性能没有实质性差异。除了这种分析，我们还概述了CCL筛选数据集之间的数据集成，并提出证据表明，需要开发新的指标和不平衡的数据技术，以及数据标准化的进展。
2020-05-04 cs.LG q-bio.GN q-bio.QM
The Good, the Bad, and the Sampled: a No-Regret Approach to Safe Online Classification
Eric and Wendy Schmidt Center（埃里克和文黛斯中心）；Department of Computer Science（计算机科学系）；Broad Institute（Broad研究所）；Boston University（波士顿大学）；Department of Data Science（数据科学系）；Faculty of Computing & Data Sciences（计算与数据科学学院）
研究二元疾病诊断的序列测试，通过保守阈值决定何时测试，实现低测试成本和可控误分类率。
2026-05-02 cs.AI cs.LG math.ST
