Safe Screening With Variational Inequalities and Its Application to LASSO
SAS Institute Inc.（赛仕软件研究所有限公司）；Arizona State University（亚利桑那州立大学）
稀疏学习技术已经被常规地用于特征选择，因为所得到的模型通常具有少量的非零条目。安全筛选是一种提高计算效率的技术，它消除了对于正则化参数的某个值保证具有零系数的特征。安全筛选越来越受到关注，因为1）求解稀疏学习公式通常具有很高的计算成本，特别是当特征数量很大时，以及2）需要尝试几个正则化参数来选择合适的模型。在本文中，我们提出了一种方法称为“Sasvi”（安全筛选变分不等式）。Sasvi利用变分不等式为对偶问题提供了充分必要的最优性条件。Lasso筛选的几种现有方法可以被视为所提出的Sasvi的放松版本，因此Sasvi提供了更强的安全筛选规则。我们进一步研究了Sasvi for Lasso的单调性，基于此，可以为每个特征确定一个确定的移除正则化参数。合成和真实数据集上的实验结果表明，建议的Sasvi Lasso筛选的有效性。
2014-05-12 cs.LG stat.ML
Safe RuleFit: Learning Optimal Sparse Rule Model by Meta Safe Screening
Department of Computer Science, Nagoya Institute of Technology（名古屋工业大学计算机科学系）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）；Center for Materials Research by Information Integration, National Institute for Materials Science（国立材料科学研究所信息融合材料研究中心）
本文提出 Safe RuleFit 方法，通过扩展安全筛选技术为元安全筛选，利用超矩形包含关系高效筛选多个特征，从而在回归和分类中学习最优稀疏规则模型。
2025-03-12 cs.LG stat.ML
Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）
我们设计了简单的筛选测试，以自动丢弃经验风险最小化的数据样本，而不会失去优化保证。我们推导出损失函数，产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失，以确保这样一个双重稀疏诱导属性，并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外，我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Accelerating high-throughput virtual screening through molecular pool-based active learning
Harvard University（哈佛大学）；MIT（麻省理工学院）
基于结构的虚拟筛选是药物发现早期阶段的重要工具，其对靶蛋白与候选配体之间的相互作用进行评分。随着虚拟文库的持续增长（超过$10^8$分子），对这些文库进行详尽的虚拟筛选活动所需的资源也在增长。然而，贝叶斯优化技术可以帮助他们的探索：一个替代的结构-性质关系模型训练的预测亲和力的一个子集的库可以应用于其余的库成员，允许最有希望的化合物被排除在评估。在这项研究中，我们评估了各种代理模型架构，采集功能和采集批量大小应用于几个蛋白质配体对接数据集，并观察到显着降低计算成本，即使使用贪婪的收购策略，例如，87.9%的前50000配体可以发现后，测试只有2.4%的100 M成员库。这种模型引导的搜索减轻了筛选越来越大的虚拟库所增加的计算成本，并且可以加速具有对接之外的应用的高通量虚拟筛选活动。
2020-12-13 cs.LG q-bio.QM
Safe Screening for Logistic Regression with $\ell_0$-$\ell_2$ Regularization
Department of Indutrial Engineering and Operations Research, University of California, Berkeley（加州大学伯克利分校工业工程与运筹学系）
在逻辑斯谛回归中，通常希望利用正则化来促进稀疏解，特别是对于与可用标签相比具有大量特征的问题。在本文中，我们提出了筛选规则，安全地删除功能的逻辑斯谛回归与$\ell_0-\ell_2$正则化解决问题之前。所提出的安全筛选规则是基于逻辑斯谛回归问题的强圆锥松弛的Fenchel对偶的下界。真实和合成数据的数值实验表明，高比例的功能，可以有效地和安全地删除先验，从而大大加快计算。
2022-02-01 cs.LG stat.ME stat.ML
Safe Screening Rules for Group OWL Models
University of Pittsburgh（匹兹堡大学）；Georgia Institute of Technology（佐治亚理工学院）；the College of William and Mary（威廉玛丽学院）
本文首次针对 Group OWL 正则化模型提出安全筛选规则，通过处理结构化不可分离惩罚项快速识别并移除所有任务中系数为零的非活跃特征，从而在批处理和随机优化中实现显著计算加速和内存节省，且不损失精度。
2025-04-08 cs.LG stat.ML
PharmacoNet: Accelerating Large-Scale Virtual Screening by Deep Pharmacophore Modeling
KAIST（韩国科学技术院）；HITS Inc.（HITS公司）
提出深度学习框架PharmacoNet，将药效团建模视为实例分割问题、结合姿态预测视为图匹配问题，在保持合理准确性的同时显著加速大规模虚拟筛选，并有效保留命中候选物。
2023-12-18 cs.LG q-bio.BM
Safe Active Feature Selection for Sparse Learning
Texas A&M University（得克萨斯农工大学）；University of Washington（华盛顿大学）
我们提出了安全的主动增量特征选择~（SAIF）来扩展LASSO解决方案的计算。SAIF不需要像在顺序筛选中那样来自较重惩罚参数的解决方案，也不需要像在动态筛选中那样针对每次迭代更新完整模型。与这些现有的筛选方法不同，SAIF从少量特征开始，逐步招募活跃特征并更新显著减少的模型。因此，它在计算上更加高效，并且随着特征的数量而可扩展。更重要的是，SAIF具有安全保证，因为它具有对原始完整LASSO问题的最优解的收敛保证。这种增量过程和理论收敛保证可以扩展到融合LASSO问题。与现有的筛选方法、工作集方法和同伦方法相比，SAIF方法在处理极高维数据集时，在保证安全性的前提下，具有更高的效率和可扩展性。使用合成和真实世界数据集的实验表明，SAIF可以比动态筛选快50倍，比计算LASSO或融合LASSO解决方案快数百倍。
2018-06-19 cs.LG stat.ML
Distributed Dynamic Safe Screening Algorithms for Sparse Regularization
University of Pittsburgh（匹兹堡大学）
分布式优化作为大规模样本模型训练的有效方法之一，得到了广泛的应用。然而，在大数据时代，大规模学习问题广泛存在，既有海量样本，又有高维特征。安全筛选是一种通过丢弃零系数的非活动特征来加速高维模型的流行技术。然而，现有的安全筛查方法仅限于序贯设置。本文提出了一种新的稀疏正则化模型的分布式动态安全筛选（DDSS）方法，并将其分别应用于共享内存和分布式内存结构，该方法在保证模型和数据集稀疏性的前提下，能够在保证精度的前提下显著提高计算速度.据我们所知，这是分布式安全动态筛选方法的第一项工作。理论上，我们证明了所提出的方法实现了线性收敛速度与较低的整体复杂度，可以消除几乎所有的非活动功能，在有限的迭代次数几乎肯定。最后，在基准数据集上的大量实验结果证实了我们提出的方法的优越性。
2022-04-23 cs.DC cs.LG stat.ML
Safe Element Screening for Submodular Function Minimization
Tencent AI Lab（腾讯人工智能实验室）
次模函数是凸函数的离散类似物，其在包括机器学习和计算机视觉的各个领域中具有应用。然而，在大规模应用中，解决次模函数最小化（SFM）问题仍然具有挑战性。在本文中，我们首次尝试将大规模稀疏学习中的筛选技术扩展到SFM，以加速其优化过程。首先，我们仔细研究了SFM与相应的凸近似问题之间的关系，以及近似问题的精确原始最优估计。依赖于这项研究，我们随后提出了一种新的安全筛选方法，以快速确定的元素保证被包括（我们称之为积极的）或排除（不活跃）在SFM的最终最优解的优化过程中。通过移除不活动的元素并固定活动的元素，可以显著减小问题的大小，从而在不牺牲任何精度的情况下极大地节省计算成本。据我们所知，该方法是第一个筛选方法在SFM领域，甚至组合优化，从而指出了一个新的方向，加速SFM算法。在合成数据集和真实数据集上的实验结果表明，该方法具有显著的加速比。
2018-06-07 cs.LG stat.ML
Distributionally Robust Safe Screening
RIKEN（理化学研究所）；Nagoya University（名古屋大学）；Nagoya Institute of Technology（名古屋工业大学）；DENSO CORPORATION（电装公司）
本文提出 DRSS 方法，将分布鲁棒学习与安全筛选结合，通过将 DR 协变量偏移转化为权重具有不确定性的加权经验风险最小化问题，在训练前可靠识别冗余样本与特征，并提供理论保证与实验验证。
2024-04-25 cs.LG stat.ML
Safe Screening Rules for Group SLOPE
University of Pittsburgh, Pittsburgh, PA 15260, United States（匹兹堡大学）；Georgia Institute of Technology, Atlanta, GA 30332, United States（佐治亚理工学院）；The College of William and Mary, Williamsburg, VA 23185, United States（威廉与玛丽学院）
针对 Group SLOPE 因块不可分离分组效应导致的高计算与内存成本，提出可识别零系数非活跃组的安全筛选规则，兼容批处理与随机求解器并保持结果和精度不变。
2025-06-11 cs.LG stat.ML
Stable safe screening and structured dictionaries for faster L1 regularization
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机系统研究所）
在本文中，我们提出了一种方法来结合两个加速技术的$\ell\_{1}$正则化最小二乘问题：安全筛选测试，它允许消除无用的字典原子;和使用快速结构化近似的字典矩阵。为此，我们引入了一个新的家庭的筛选测试，称为稳定的筛选，它可以应付近似错误的字典原子，同时保持测试的安全性（即零风险拒绝属于解决方案支持的原子）。一些主要的现有筛选测试扩展到这个新的框架。所提出的算法包括在初始迭代时使用较粗糙（但更快）的字典近似，然后切换到更好的近似，直到最终采用原始字典。基于对偶间隙饱和度和屏蔽比推导了一种系统的切换准则，仿真结果表明，在大范围的测试场景下，该切换准则在计算复杂性和执行时间上都有显著的降低。
2019-07-05 cs.LG eess.SP stat.ML
A Safe Screening Rule for Sparse Logistic Regression
Computer Science and Engineering, Arizona State University, USA（亚利桑那州立大学计算机科学与工程学院，美国）；SAS Institute Inc., USA（美国SAS研究所）
l1正则化逻辑回归（或稀疏逻辑回归）是一种广泛使用的同时进行分类和特征选择的方法。虽然最近的许多努力已经致力于其有效的实施，其应用到高维数据仍然构成了重大挑战。在本文中，我们提出了一种快速有效的稀疏逻辑回归筛选规则（Slores）来识别解决方案向量中的0分量，这可能会导致要进入优化的特征数量大幅减少。Slores的一个吸引人的特点是，数据集只需要扫描一次就可以运行筛选，与解决稀疏逻辑回归问题相比，其计算成本可以忽略不计。此外，Slores是独立的稀疏逻辑回归的求解器，因此Slores可以与任何现有的求解器集成，以提高效率。我们已经评估了Slores使用高维数据集从不同的应用程序。大量的实验结果表明，Slores优于现有的国家的最先进的筛选规则和解决稀疏逻辑回归的效率提高了一个数量级。
2013-07-18 cs.LG stat.ML
Beyond GAP screening for Lasso by exploiting new dual cutting half-spaces with supplementary material
Univ Rennes（雷恩大学）；CentraleSupelec（中央理工-高等电力学院）；Univ. de Bretagne Occidentale（西布列塔尼大学）；Inria Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）
在本文中，我们提出了一种新的安全筛选测试Lasso。我们的程序是基于一个安全的区域与圆顶几何，并利用一个规范表示的集半空间（称为“对偶切割半空间”在本文中）包含的对偶可行集。所提出的安全区域总是包括在Fercoq等人提出的最先进的“GAP球体”和“GAP圆顶”中（并且在非常温和的条件下严格如此），同时涉及相同的计算负担。数值实验证实，我们的新圆顶能够设计出比GAP区域更强大的筛选测试，并导致显着加速解决拉索。
2022-03-02 cs.LG stat.ML
Accelerating amorphous polymer electrolyte screening by learning to reduce errors in molecular dynamics simulated properties
Massachusetts Institute of Technology（麻省理工学院）
聚合物电解质是下一代锂离子电池技术的有希望的候选者。聚合物电解质的大规模筛选受到无定形体系中分子动力学（MD）模拟的显著成本的阻碍：聚合物的无定形结构需要多次重复采样以减少噪声，并且缓慢弛豫需要长的模拟时间以用于收敛。在这里，我们使用多任务图神经网络来加速筛选，该网络从大量有噪声的、未收敛的短MD数据和少量收敛的长MD数据中学习。我们实现了4个不同的收敛特性的准确预测，并筛选了6247个聚合物的空间，其数量级大于以前的计算研究。此外，我们提取了聚合物电解质的几个设计原则，并为社区提供了一个开放的数据集。我们的方法可以适用于广泛的一类材料发现问题，涉及复杂的，无定形材料的模拟。
2022-03-15 cond-mat.mtrl-sci cs.AI cs.LG
Safe Screening for Sparse Conditional Random Fields
The Hong Kong University of Science and Technology（香港科技大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
稀疏条件随机场（CRF）是计算机视觉和自然语言处理中用于结构化预测的一种强大技术。然而，在大规模应用中解决稀疏CRF仍然具有挑战性。在本文中，我们提出了一种新的安全的动态筛选方法，利用一个准确的双重最佳估计，以识别和删除不相关的功能在训练过程中。因此，问题的大小可以不断减小，从而大大节省了计算成本，而不会牺牲最终学习模型的任何精度。据我们所知，这是第一个筛选方法，它引入了双重最佳估计技术-通过仔细探索和利用强凸性和复杂结构的双重问题-在静态筛选方法动态筛选。这样，我们可以吸收静态和动态筛选方法的优点，避免它们的缺点。我们的估计将比基于对偶间隙的估计更准确，这有助于更强的筛选规则。此外，我们的方法也是第一个筛选方法在稀疏CRF，甚至结构预测模型。在合成数据集和真实数据集上的实验结果表明，该方法具有显著的加速比。
2021-11-27 cs.CV cs.LG stat.ML
Accelerating High-Throughput Catalyst Screening by Direct Generation of Equilibrium Adsorption Structures
DBCat 通过深度生成模型整合布朗桥框架与等变图神经网络，实现高保真吸附结构生成，提升高通量催化剂筛选效率。
2025-12-17 cs.LG
Fast OSCAR and OWL Regression via Safe Screening Rules
University of Pittsburgh（匹兹堡大学）；JD Finance America Corporation（京东金融美国公司）
有序加权$L_{1}$（OWL）正则化回归是一种新的高维稀疏学习回归分析方法。近似梯度方法被用作解决OWL回归的标准方法。然而，它仍然是一个紧迫的问题，以解决OWL回归由于相当大的计算成本和内存使用时，功能或样本大小是大的。本文提出了OWL回归的第一个安全筛选规则，通过迭代策略探索具有未知序结构的原始解的序，克服了处理不可分离正则化子的困难。该方法有效地避免了在学习过程中对系数必须为零的参数进行更新。更重要的是，建议的筛选规则可以很容易地应用到标准和随机邻近梯度方法。此外，我们证明了我们的筛选规则的算法是保证有相同的结果与原来的算法。在各种数据集上的实验结果表明，与现有的竞争算法相比，我们的筛选规则导致了显着的计算增益，而没有任何准确性的损失。
2021-10-19 cs.LG stat.ME stat.ML
GAP Safe Screening Rules for Sparse-Group-Lasso
CNRS（法国国家科学研究中心）；Télécom ParisTech（巴黎电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
在高维环境中，稀疏结构对于效率是至关重要的，无论是在存储器，计算还是性能方面。在某些情况下，处理比纯稀疏性更精细的结构是很自然的，例如组稀疏性。最近在线性回归的上下文中引入了稀疏组Lasso，以在特征级别和组级别上实施稀疏性。我们适应的情况下，稀疏组套索最近的安全筛选规则，丢弃早期在求解器不相关的功能/组。这样的规则导致了大范围的迭代方法的重要加速。由于双间隙计算，我们提供了新的安全筛选规则的稀疏群套索，并显示出显着的收益，在计算时间的坐标下降实现。
2016-02-19 cs.LG math.OC stat.CO
GAP Safe screening rules for sparse multi-task and multi-class models
CNRS（法国国家科学研究中心）
高维回归受益于稀疏促进正则化。筛选规则通过忽略优化中的一些变量来利用解的已知稀疏性，从而加快求解器的速度。当该过程被证明不会错误地丢弃特征时，该规则被称为\emph{safe}。本文给出了用$\ell_1$和$\ell_1/\ell_2$范数正则化的广义线性模型的新的安全规则。该规则是基于对偶间隙计算和球形安全区域的直径收敛到零。这允许安全地丢弃更多的变量，特别是对于低正则化参数。GAP安全规则可以处理任何迭代求解器，我们展示了它在多任务Lasso，二进制和多项式逻辑斯谛回归的坐标下降上的性能，证明了所有测试数据集相对于以前的安全规则的显着速度。
2015-11-18 cs.LG math.OC stat.CO
Safe Screening for Unbalanced Optimal Transport
Waseda University（早稻田大学）
本文提出利用安全筛选技术加速不平衡最优传输问题的优化，通过分析边界与对偶局部强凸性，设计了近似投影、椭圆安全区域和双超平面松弛方法，在不改变算法复杂度下显著提升了零元素的筛选效率。
2023-07-01 cs.LG math.OC
Gap Safe screening rules for sparsity enforcing penalties
在高维回归设置中，稀疏强制惩罚已被证明有助于正则化数据拟合项。最近引入的一种称为筛选规则的技术建议忽略优化中的一些变量，利用解决方案的预期稀疏性，从而导致更快的求解器。当过程保证不会错误地丢弃变量时，这些规则被称为安全的。在这项工作中，我们提出了一个统一的框架，广义线性模型正则化与标准的稀疏执行处罚，如$\ell_1$或$\ell_1/\ell_2$规范。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量，特别是对于低正则化参数。我们提出的间隙安全规则（所谓的，因为它们依赖于对偶间隙计算）可以应付任何迭代求解器，但特别适合（块）坐标下降方法。应用于许多标准学习任务，Lasso，稀疏组Lasso，多任务Lasso，二进制和多项式逻辑斯谛回归等，我们在所有测试数据集上报告了与先前提出的安全规则相比的显著加速。
2017-12-27 cs.LG math.OC stat.CO
Safe Screening for the Generalized Conditional Gradient Method
INRIA - Département d’Informatique de l’Ecole Normale Supérieure PSL Research University（法国国家信息与自动化研究所 - 巴黎高等师范学院信息学系 巴黎文理研究大学）
条件梯度法（CGM）是一种快速稀疏逼近方法，对于结构化的稀疏正则化算子具有每次迭代计算量小的优点。我们探讨的稀疏性获取属性的广义CGM（gCGM），其中的约束被取代的惩罚函数的基础上的规范罚款，这可以做到不显着增加每次迭代计算，并适用于一般的概念稀疏。在不假设有界迭代的情况下，我们证明了gCGM的函数值和间隙的$O(1/t)$收敛性。我们耦合这与一个安全的筛选规则，并表明，在率$O(1/(tδ^2))$，筛选支持匹配的支持在解决方案，其中$δ\geq 0$措施如何接近的问题是退化。在我们的实验中，我们表明，这些修改后的处罚的gCGM具有类似的特征选择属性作为常见的处罚，但可能更稳定的超参数的选择。
2020-02-22 cs.LG math.OC stat.ML
Efficient Mixed-Norm Regularization: Algorithms and Safe Screening Methods
Computer Science and Engineering, Arizona State University, USA（美国亚利桑那州立大学计算机科学与工程学院, 美国亚利桑那州立大学计算机科学与工程学院, 美国亚利桑那州立大学计算机科学与工程学院）
稀疏学习最近在包括机器学习、统计学和应用数学在内的许多领域受到越来越多的关注。基于q>1的l1 q范数的混合范数正则化在回归和分类的许多应用中是有吸引力的，因为它促进了模型中的组稀疏性。然而，由于混合范数正则化的固有结构，所产生的优化问题是具有挑战性的。现有的工作涉及q=1，2，无穷大的特殊情况下，他们不能很容易地扩展到一般情况。在本文中，我们提出了一个有效的算法的基础上加速梯度法求解一般l1 q-正则化问题。该算法的一个关键组成部分是l1 q-正则化欧氏投影（EP_1q）。我们的理论分析揭示了EP_1q的关键性质，并说明了为什么EP_1q的一般q是显着更具挑战性的解决比特殊情况。在理论分析的基础上，我们通过求解两个零点问题，给出了求解EP_1q的一个有效算法。为了进一步提高求解高维混合范数正则化问题的效率，我们提出了一种能够快速识别非活动组的筛选方法，即，在解决方案中有0个组件的组。这可能导致要进入优化的组的数量的大幅减少。我们的筛选方法的一个吸引人的特点是，数据集只需要扫描一次运行筛选。与求解混合范数正则化问题相比，我们的筛选测试的计算成本可以忽略不计。该筛选方法的关键是对对偶最优解在正则化参数变化时的灵敏度进行精确分析。实验结果证明了该算法的有效性。
2013-07-16 cs.LG stat.ML
Screening Rules for Lasso with Non-Convex Sparse Regularizers
Université Rouen Normandie（鲁昂诺曼底大学）；Criteo AI Lab（Criteo人工智能实验室）；INSA Rouen Normandie（鲁昂国立应用科学学院）；Universitéé de Montpellier（蒙彼利埃大学）
利用Lasso问题的凸性，筛选规则有助于在优化过程中通过丢弃不相关的变量来加速求解。然而，因为它们在识别相关变量方面提供了更好的理论保证，文献中已经提出了Lasso的几个非凸正则化子。这项工作是第一次将筛选规则策略引入非凸Lasso求解器。我们提出的方法是基于一个迭代优化最小化（MM）的策略，其中包括在内部求解器的筛选规则和MM的迭代之间的传播筛选变量的条件。除了提高效率的求解器，我们还提供保证，内部求解器能够识别其临界点的零组件在有限的时间。我们的实验分析说明了显着的计算增益所带来的新的筛选规则相比，经典的坐标下降或近端梯度下降方法。
2019-02-19 cs.LG stat.ML
Gap Safe Screening Rules for Fast Training of Robust Support Vector Machines under Feature Noise
Can Tho University（芹苴大学）
本文提出在特征噪声下快速训练鲁棒支持向量机的间隙安全筛选规则，通过非标准结构的鲁棒模型分析，减少训练复杂度并加速优化，实验显示显著降低训练时间且保持分类精度。
2026-03-26 cs.LG math.OC
Expanding boundaries of Gap Safe screening
IRIT（图卢兹计算机研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
稀疏优化问题在统计学、信号/图像处理和机器学习等领域中普遍存在。这导致了许多迭代算法的诞生来解决它们。一个强大的策略，以提高这些算法的性能被称为安全筛选：它允许在解决方案中的零坐标的早期识别，然后可以消除，以减少问题的大小和加速收敛。在这项工作中，我们扩展了现有的差距安全的筛选框架，放松全球强有力的双重成本函数的假设。相反，我们利用当地的规律性，也就是说，强的正则性上精心选择的域的子集。非负约束也被整合到现有的框架。除了使安全筛选成为可能之外，还可以对包括β发散的更广泛类别的函数（例如，Kullback-Leibler分歧），提出的方法还改进了先前适用案例的现有Gap Safe筛选规则（例如，logistic回归）。所提出的一般框架的例子是一些值得注意的特殊情况下：逻辑函数，β = 1.5和Kullback-Leibler分歧。最后，我们展示了建议的筛选规则与不同的求解器（坐标下降，乘法更新和近端梯度算法）和不同的数据集（二进制分类，高光谱和计数数据）的有效性。
2023-01-06 cs.LG eess.SP math.OC
Crys-JEPA: Accelerating Crystal Discovery via Embedding Screening and Generative Refinement
National University of Singapore（国立新加坡大学）；Loyola Marymount University（洛约拉玛丽蒙特大学）；New York University（纽约大学）；AMI
提出Crys-JEPA联合嵌入预测架构，通过能量感知的潜在空间和筛选-精炼流程，解决晶体生成中稳定性和新颖性的冲突，在MP-20和Alex-MP-20数据集上V.S.U.N.指标分别提升53.8%和72.7%。
2026-05-25 cs.LG
Accelerating Safe Reinforcement Learning with Constraint-mismatched Policies
Princeton University（普林斯顿大学）；Siemens Corporation, Corporate Technology（西门子公司企业技术部）
我们考虑的问题时，强化学习提供（1）基线控制策略和（2）一组约束，学习者必须满足。基线策略可以来自演示数据或教师代理，并且可以为学习提供有用的线索，但它也可能对于手头的任务是次优的，并且不能保证满足指定的约束，这些约束可能编码安全性，公平性或其他特定于应用的要求。为了安全地学习基线策略，我们提出了一种迭代策略优化算法，该算法在最大化任务的预期回报，最小化与基线策略的距离以及将策略投影到满足约束的集合之间交替。我们从理论上分析了我们的算法，并提供了一个有限时间收敛保证。在我们对五个不同的控制任务的实验中，我们的算法始终优于几个最先进的基线，实现了10倍的约束违规和40%的平均奖励。
2021-07-10 cs.AI cs.LG cs.RO
Joint Screening Tests for LASSO
INRIA Rennes-Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）；ENSTA Bretagne（法国国立高等先进技术布列塔尼分校）；Lab-STICC（通信、信息、信号与图像科学技术实验室）
本文着重于“安全”的筛选技术的LASSO问题。出于对低复杂度算法的需求，我们提出了一种新的方法，称为“联合”筛选测试，允许通过执行一个单一的测试来筛选一组原子。该方法是specialized到两个不同的原子，分别表示为球和圆顶区域。在介绍了测试的数学推导之后，我们详细说明了它们的相对有效性，并讨论了这些程序的实际使用。
2017-11-09 cs.LG stat.ML
EMA-FS: Accelerating GBDT Training via Gain-Informed Feature Screening
PayPal, Inc（PayPal公司）
提出EMA-FS算法，利用指数移动平均跟踪特征分裂增益，在预热后仅对历史增益最高的K个特征构建直方图，在密集中等高维数据上实现1.45-2.61倍加速，并引入随机版本S-EMA-FS统一确定性筛选与随机子采样。
2026-06-26 cs.LG
OmniSafe: An Infrastructure for Accelerating Safe Reinforcement Learning Research
Peking University（北京大学）
本文提出了OmniSafe框架，通过整合跨领域的安全强化学习算法并强调安全要素，旨在简化研究流程、解决现有框架缺失问题，从而加速AI安全研究。
2023-05-16 cs.AI cs.LG
From safe screening rules to working sets for faster Lasso-type solvers
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高等电信学院LTCI实验室）
凸稀疏促进正则化在现代统计学习中无处不在。通过构造，它们产生具有少数非零系数的解，这对应于对偶优化公式中的饱和约束。工作集（WS）策略是通用的优化技术，包括在解决简单的问题，只考虑一个子集的约束，其索引形式的WS。工作集方法，因此涉及两个嵌套的迭代：外循环对应的定义的WS和内循环调用一个求解器的子问题。对于Lasso估计器，WS是一组特征，而对于Group Lasso，它指的是一组组。在实践中，WS在这种情况下通常很小，因此相关联的特征Gram矩阵可以适合存储器。在这里，我们表明，高斯-Southwell规则（贪婪的块坐标下降技术的策略）导致快速求解器在这种情况下。结合工作集策略的基础上积极使用所谓的间隙安全筛选规则，我们提出了一个求解器实现国家的最先进的性能稀疏学习问题。结果在Lasso和多任务Lasso估计器上呈现。
2017-05-01 cs.LG math.OC stat.CO
Look-Ahead Screening Rules for the Lasso
Lund University（隆德大学）
针对高维场景下套索求解计算成本高的问题，本文提出前瞻筛选策略，利用安全筛选规则确定预测变量无法入模的惩罚值范围以沿解路径筛选变量，实验证明其性能优于Gap Safe规则的主动热启动版本。
2021-06-29 cs.LG stat.CO stat.ML
Safe Screening for Multi-Task Feature Learning with Multiple Data Matrices
University of Michigan（密歇根大学）
多任务特征学习（MTFL）是一种通过同时学习多个相关的分类/回归/聚类任务来提高预测性能的强大技术。然而，当特征尺寸非常大时，解决MTFL问题仍然具有挑战性。在本文中，我们提出了一种新的筛选规则-这是基于对偶投影到凸集（DPC）-快速识别非活动功能-在所有任务的解决方案向量中的系数为零。DPC的一个吸引人的特点是：它是安全的，在这个意义上，检测到的不活动的功能，保证在所有任务的解决方案向量中的系数为零。因此，通过从训练阶段移除不活跃的特征，我们可以在不牺牲准确性的情况下节省大量的计算成本和内存使用。据我们所知，这是适用于具有多个数据矩阵的稀疏模型的第一个筛选规则。在推导DPC的一个关键挑战是解决一个非凸问题。我们表明，我们可以有效地解决通过适当选择的参数化的约束集的全局最优解。此外，DPC具有非常低的计算成本，可以与任何现有的求解器集成。我们已经评估了建议的DPC规则的合成和真实的数据集。实验表明，DPC是非常有效的识别无效的功能-特别是对高维数据-这导致了几个数量级的加速。
2015-05-15 cs.LG
Deep Surrogate Docking: Accelerating Automated Drug Discovery with Graph Neural Networks
University of Michigan（密歇根大学）；Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）
筛选具有所需性质的分子的过程是从药物发现到材料设计等多种应用中的关键步骤。在药物发现过程中，蛋白质-配体对接或化学对接是一种标准的计算机模拟评分技术，用于评估分子与特定蛋白质靶标的结合亲和力。然而，最近，随着可用于测试的虚拟分子的数量迅速增长，这些经典的对接算法已经产生了显着的计算瓶颈。我们通过引入深度代理对接（DSD）来解决这个问题，DSD是一个应用基于深度学习的代理建模来大幅加速对接过程的框架。DSD可以被解释为几个早期的代理预过滤技术的形式主义，增加了新的指标和实际的培训实践。具体来说，我们表明，图神经网络（GNNs）可以作为快速和准确的估计经典的对接算法。此外，我们还介绍了FiLMv 2，这是一种新型的GNN架构，我们证明它优于现有的最先进的GNN架构，通过允许模型更有效地从数据中过滤掉不相关的信息，从而获得更准确和稳定的性能。通过大量的实验和分析，我们表明，DSD工作流结合FiLMv 2架构提供了一个9.496倍的加速在分子筛选与<3%的召回出错率的一个例子对接任务。我们的开源代码可以在https://github.com/ryienh/graph-dock上找到。
2022-11-04 cs.LG
Screening Rules for Convex Problems
MPI（马普研究所）；ETH（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
我们提出了一个新的框架推导筛选规则的凸优化问题。我们的方法涵盖了一大类的约束和惩罚的优化配方，并分为两个步骤。首先，给定任何近似点，利用目标函数的结构和对偶间隙来收集关于最优解的信息。在第二步中，该信息用于产生筛选规则，即安全地识别最优解的不重要的权重变量。我们的一般框架导致了大量的各种有用的现有以及新的筛选规则，许多应用程序。例如，我们为一般单纯形和$L_1$约束问题、弹性网络、平方损失支持向量机、最小封闭球以及结构化范数正则化问题（如组套索）提供了新的筛选规则。
2016-09-23 cs.LG math.OC stat.ML
ReLATE: Accelerating Tensor Decomposition via Safe and Efficient Learning of Sparse Encodings
Intel Corporation（英特尔公司）；University of Erlangen-Nürnberg（埃尔兰根-纽伦堡大学）；University of Oregon（俄勒冈大学）
ReLATE是一种学习增强框架，通过混合强化学习算法发现安全高效的稀疏编码，可在低开销下加速张量分解，在真实稀疏张量上较专家设计格式最高提速2倍。
2026-08-28 cs.DC cs.LG cs.PF
Mind the duality gap: safer rules for the Lasso
Institut Mines-Télécom（矿业电信研究院）；Télécom ParisTech（巴黎电信学院）；CNRS LTCI（法国国家科学研究中心电信与信息处理实验室）
筛选规则允许在Lasso问题或其衍生物的优化中早期丢弃不相关的变量，使求解器更快。在本文中，我们提出了新版本的所谓的$\textit{safe rules}$的套索。基于对偶间隙的考虑，我们的新规则创建安全的测试区域，其直径收敛到零，只要一个依赖于收敛求解器。这个属性有助于筛选出更多的变量，以获得更大范围的正则化参数值。除了更快的收敛之外，我们还证明了我们可以在有限时间内正确识别解的活动集（支持）。虽然我们提出的策略可以处理任何求解器，但使用特别适用于机器学习用例的坐标下降算法来证明其性能。相对于以前的安全规则，获得显着的计算时间减少。
2015-12-03 cs.LG math.OC stat.CO
TRUST: Threshold-Recalibrated Uncertainty-Safe Training for Certified Dismissal in Breast Cancer Screening
Memorial University of Newfoundland（纽芬兰纪念大学）；Cancer Care, Newfoundland and Labrador Health Services（纽芬兰与拉布拉多卫生服务癌症中心）
本研究提出TRUST闭环阈值感知训练策略，在NLBS、RSNA等数据集上验证其可在98%和95%召回率下提升乳腺癌筛查的病例级弃权率，减少放射科医生工作量且不影响癌症检测。
2026-09-02 cs.CV cs.LG
A Safe Screening Rule with Bi-level Optimization of $ν$ Support Vector Machine
College of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）；College of Science, China Agricultural University（中国农业大学理学院）
针对 $ν$-SVM 大规模训练开销问题，提出结合 KKT 条件、变分不等式和 $ν$-性质的双层优化安全筛选规则及 DCDM，并以统一框架推广到单类 SVM。
2024-03-04 cs.AI cs.LG math.OC
Lasso Screening Rules via Dual Polytope Projection
Arizona State University（亚利桑那州立大学）
Lasso是一种广泛使用的回归技术，用于寻找稀疏表示。当特征空间的维数和样本数量非常大时，解决Lasso问题仍然具有挑战性。为了提高解决大规模Lasso问题的效率，El Ghaoui和他的同事们提出了SAFE规则，该规则能够快速识别不活跃的预测因子，即，在解向量中具有$0$分量的预测变量。然后，可以从优化问题中移除不活动的预测因子或特征以减小其规模。通过将标准Lasso变换为其对偶形式，可以表明非活动预测器包括对最优对偶解的非活动约束的集合。在本文中，我们提出了一个高效和有效的筛选规则，通过对偶多面体投影（DPP），这主要是基于最佳对偶解的唯一性和非扩张性，由于事实上，在对偶空间中的可行集是凸的和封闭的多面体。此外，我们表明，我们的筛选规则可以扩展到确定组拉索中的非活性组。据我们所知，目前没有“确切”的筛选规则组拉索。我们已经评估了我们的筛选规则，使用合成和真实的数据集。结果表明，我们的规则是更有效地识别不活跃的预测比现有的国家的最先进的Lasso筛选规则。
2014-10-15 cs.LG stat.ML
Accelerated Sparse Bayesian Learning via Screening Test and Its Applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在高维环境中，稀疏结构对于存储器和计算复杂度方面的效率至关重要。对于一个线性系统，直接寻找具有过完备特征字典的稀疏解通常是NP困难的，因此应该考虑替代的近似方法。在本文中，我们选择的替代方法是稀疏贝叶斯学习，作为经验贝叶斯方法，它使用参数化的先验来鼓励解决方案中的稀疏性，而不是具有固定先验的其他方法，如LASSO。而筛选测试的目的是快速识别出一个特征子集，其系数在最优解中保证为零，然后可以安全地从完整的字典中删除，以获得更小，更容易解决的问题。接下来，我们解决较小的问题，之后可以通过用零填充较小的解决方案来恢复原始问题的解决方案。所提出的方法的性能将在各种数据集和应用程序进行检查。
2020-07-08 cs.LG stat.ML
On Newton Screening
本文提出内置筛选机制的广义 Newton 方法 NS 及其热启动序列版本 SNS，用于 Lasso 优化，并证明其一步局部收敛与高概率估计误差界，实验显示其在速度和精度上优于现有方法。
2023-04-21 cs.LG math.OC stat.ME
Accelerating Real-World Overtaking in F1TENTH Racing Employing Reinforcement Learning Methods
Centre for Automation and Robotic Engineering Science, The University of Auckland, New Zealand（自动化与机器人工程科学中心，奥克兰大学，新西兰）；New Dexterity research group, The University of Auckland, New Zealand（新灵活性研究组，奥克兰大学，新西兰）
虽然计时赛场景中的自动赛车性能已经取得了显著的进步和发展，但自动轮对轮赛车和超车仍然受到严重限制。这些限制在现实驾驶场景中尤其明显，在这些场景中，最先进的算法难以安全或可靠地完成超车操作。这一点很重要，因为其他车辆周围的可靠导航对于安全的自动轮对轮比赛至关重要。F1Tenth比赛为在标准化物理平台上开发轮对赛车算法提供了一个有用的机会。竞争的形式使得有可能评估超车和轮对轮赛车算法对国家的最先进的。这项研究提出了一种新的赛车和超车代理能够学习可靠地导航的轨道和超越对手在模拟和现实。该代理被部署在F1Tenth车辆上，并与在现实世界中运行不同竞争算法的对手竞争。结果表明，代理人对对手的训练能够实现故意超车行为，超车率为87%，而仅为比赛训练的代理人的超车率为56%。
2025-10-30 cs.LG cs.RO
