Exploring and Exploiting Decision Boundary Dynamics for Adversarial Robustness
University of Maryland, College Park(马里兰大学帕克分校);New York University(纽约大学)
本文提出动态感知鲁棒训练DyART,通过直接优化决策边界移动以优先增大较小间隔,缓解对抗训练中边界移动的冲突动力学,从而提升模型鲁棒性。
2023-04-15 cs.LG
Analysis of Generalizability of Deep Neural Networks Based on the Complexity of Decision Boundary
The George Washington University(乔治华盛顿大学)
对于监督学习模型,泛化能力(泛化能力)的分析是至关重要的,因为泛化能力表示模型在未知数据上的表现。传统的泛化方法,如VC维,不适用于深度神经网络(DNN)模型。因此,需要新的理论来解释DNN的普遍性。在这项研究中,我们假设DNN具有更简单的决策边界具有更好的概括性的简约定律(奥卡姆剃刀)。我们创建了决策边界复杂度(DBC)分数来定义和衡量DNN的决策边界的复杂度。DBC分数的思想是在决策边界上或附近生成数据点(称为对抗性示例)。然后,我们的新方法使用这些数据的特征值的熵来测量边界的复杂性。该方法同样适用于高维数据。我们使用训练数据和训练模型来计算DBC分数。而且,模型的推广性的基础事实是它的测试精度。基于DBC分数的实验验证了我们的假设。DBC提供了一种有效的方法来衡量一个决策边界的复杂性,并给出了DNN的泛化能力的定量测量。
2020-09-16 cs.AI cs.CV cs.LG
Active Decision Boundary Annotation with Deep Generative Models
Aiir Innovations(Aiir创新公司);Delft University of Technology(代尔夫特理工大学)
本文是关于主动学习的,其目标是通过在训练期间与(人类)Oracle交互来减少数据注释负担。标准的主动学习方法要求oracle注释数据样本。相反,我们采取了一种完全不同的方法:我们要求对决策边界进行注释。我们使用深度生成模型来沿着1D线创建新颖的实例来实现这一目标。在决策边界上的一个点上,实例改变了类。实验中,我们在三个数据集上显示,我们的方法可以插入到其他主动学习方案中,人类预言机可以有效地注释决策边界上的点,我们的方法对注释噪声具有鲁棒性,并且决策边界注释比注释数据样本更好。
2017-08-02 cs.CV cs.LG
Knowledge Distillation with Adversarial Samples Supporting Decision Boundary
Seoul National University(首尔国立大学);Hanyang University(汉阳大学);NAVER Corp(NAVER公司);Clova AI Research(Clova人工智能研究院)
近年来,许多关于知识蒸馏的研究提供了一种新的方法来转移网络的知识,以改善新网络的学习过程,但如何找到一种好的知识蒸馏技术仍然是一个悬而未决的问题。在本文中,我们提供了一个新的视角的基础上的决策边界,这是一个最重要的组成部分的分类。分类器的泛化性能与其决策边界的充分性密切相关,因此一个好的分类器具有一个好的决策边界。因此,传递与决策边界密切相关的信息可以成为知识蒸馏的一种很好的尝试。为了实现这一目标,我们利用对抗攻击来发现支持决策边界的样本。基于这一思想,为了传递更准确的决策边界信息,该算法利用支持决策边界的对抗样本训练学生分类器。实验结果表明,该方法确实提高了知识蒸馏,达到了最先进的性能。
2018-12-14 cs.CV cs.LG stat.ML
On the Decision Boundary of Deep Neural Networks
KAUST(沙特阿拉伯国王科技大学);CEMSE(计算、能源与数学科学与工程学院(CEMSE))
虽然深度学习模型和技术已经取得了巨大的经验成功,但我们对许多方面的成功来源的理解仍然非常有限。为了弥补这一差距,我们研究了生产深度学习架构的决策边界,该架构对训练数据和模型都有较弱的假设。我们证明,理论和经验,神经网络的最后一个权重层收敛到一个线性SVM训练的输出上的最后一个隐藏层,为二进制的情况下和多类的情况下,常用的交叉熵损失。此外,我们的经验表明,训练一个神经网络作为一个整体,而不是只微调最后一个权重层,可能会导致更好的偏置常数的最后一个权重层,这是很重要的泛化。除了促进对深度学习的理解外,我们的结果还有助于解决深度学习的广泛实际问题,例如灾难性遗忘和对抗性攻击。实验代码可在www.example.com上获得
2019-01-01 cs.AI cs.LG cs.NE
Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective
University of Maryland, College Park(马里兰大学帕克分校);Rice University(莱斯大学);New York University(纽约大学)
我们讨论了可视化神经网络决策边界和决策区域的方法。我们使用这些可视化来研究与神经网络训练中的可重复性和泛化相关的问题。我们观察到,模型架构(及其相关的归纳偏差)的变化会导致决策边界的明显变化,而相同架构的多次运行会产生具有很强相似性的结果,特别是在宽架构的情况下。我们还使用决策边界方法来可视化双下降现象。我们看到,决策边界再现性强烈依赖于模型的宽度。在插值阈值附近,神经网络的决策边界被分割成许多小的决策区域,并且这些区域是不可再现的。同时,非常窄和非常宽的网络在它们的决策边界中具有高水平的可再现性,而决策区域相对较少。我们讨论了我们的观察与凸模型中的双下降现象理论的关系。代码可在https://github.com/somepago/dbViz上获得
2022-03-15 cs.CV cs.LG
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation
Chung-Ang University(中央大学);Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(中央大学高级影像科学、多媒体与电影研究生院);Department of Artificial Intelligence, Chung-Ang University(中央大学人工智能系)
针对低资源场景下文本数据增强方法受限及鲁棒性不足的问题,提出基于决策边界感知的数据增强策略,通过移近潜在特征、重构生成软标签模糊样本并结合mid-K采样提升多样性,实验证明其有效性与可扩展性。
2024-03-22 cs.AI cs.CL cs.LG
Curvature Dynamic Black-box Attack: revisiting adversarial robustness via dynamic curvature estimation
Lanzhou University(兰州大学)
本文提出曲率动态黑盒攻击方法,通过动态曲率估计提升对抗鲁棒性分析
2025-11-28 cs.AI cs.LG
Membership inference attack with relative decision boundary distance
Tongji University(同济大学)
针对仅标签成员推理攻击中决策边界距离受随机初始点影响的问题,提出多类自适应 MIA,利用多目标 HopSkipJump 和相对边界距离提升攻击性能。
2023-06-07 cs.LG
Understanding the geometry of deep learning with decision boundary volume
本文提出通过局部表面体积测量神经网络决策边界,揭示其与模型准确性和鲁棒性的关系,验证了决策边界体积与分类准确度的反比关系。
2026-03-16 cs.LG stat.ML
Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study
neurocat GmbH(神经猫有限责任公司)
尽管在许多图像分类任务上实现了卓越的性能,但最先进的机器学习(ML)分类器仍然容易受到小输入扰动的影响。特别是,对抗性示例的存在引发了人们对在安全和安全关键环境中部署ML模型的担忧,如自动驾驶和疾病检测。在过去的几年里,已经发布了许多防御方法,目的是提高对抗性和腐败鲁棒性。然而,拟议的措施只取得了非常有限的成功。这种有限的进展部分是由于缺乏对深度神经网络的决策边界和决策区域的理解。因此,我们研究了数据点到决策边界的最小距离,以及这个距离在深度神经网络的训练过程中如何演变。通过在MNIST、FASHION-MNIST和CIFAR-10上进行实验,我们观察到决策边界在训练过程中更接近自然图像。这种现象甚至在训练的后期保持不变,其中分类器已经获得了低的训练和测试出错率。另一方面,对抗性训练似乎有可能防止决策边界的这种不期望的收敛。
2020-02-05 cs.CR cs.LG stat.ML
ADBA:Approximation Decision Boundary Approach for Black-Box Adversarial Attacks
Beijing University of Post and Telecommunication(北京邮电大学);Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出ADBA方法,利用近似决策边界高效比较扰动方向,并基于决策边界分布中位数开发ADBA-md算法,以极低查询成本提升黑盒对抗攻击效率。
2024-06-12 cs.AI cs.CV cs.LG
Epsilon-Neighborhood Decision-Boundary Governed Estimation (EDGE) of 2D Black Box Classifier Functions
Department of Mechanical and Aerospace Engineering, The Ohio State University(机械与航空航天工程系,俄亥俄州立大学)
EDGE算法通过中间值定理高效估计黑盒分类器的决策边界,适用于2D场景,展示出更高的样本效率和边界逼近性能。
2026-02-13 cs.CG cs.LG cs.NA
Unveiling the Hessian's Connection to the Decision Boundary
Technical University of Munich(慕尼黑工业大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);King’s College London(伦敦国王学院);Flatiron Institute(熨斗研究所)
该研究建立了深度学习中Hessian矩阵与决策边界的关联,证明Hessian顶部特征向量可表征决策边界、谱离群值数量与边界复杂度成正比,据此提出高维决策边界复杂度研究方法、新泛化度量及间隔估计技术,可精准识别简单宽间隔的泛化良好极小值。
2023-06-12 cond-mat.dis-nn cs.LG stat.ML
An Adaptive Strategy for Active Learning with Smooth Decision Boundary
Otto-von-Güricke Universität Magdeburg(马格德堡奥托·冯·格里克大学);Princeton University(普林斯顿大学)
我们提出了第一个自适应策略的主动学习设置的分类与光滑的决策边界。自Castro和Nowak(2007)的开创性工作以来,(对未知分布参数的)自适应性问题一直没有解决,该工作首次建立了这种设置的(主动学习)率。虽然这个问题的一些最新进展建立自适应率的情况下,单变量数据,自适应在更实际的设置多变量数据迄今仍然难以捉摸。结合各种最近的作品的见解,我们表明,对于多变量的情况下,仔细减少单变量自适应策略产生接近最优的利率,而无需先验知识的分布参数。
2017-11-25 cs.LG stat.ML
Finding Patterns in Ambiguity: Interpretable Stress Testing in the Decision~Boundary
针对深度学习黑盒模型决策过程难理解的问题,提出从决策边界选取原型并结合模型后解释算法的方法,经2D可视化和GradientSHAP验证可捕捉低置信度决策特征,助力可靠ML系统的负责任开发。
2024-08-12 cs.CV cs.LG
A Practical Method for Solving Contextual Bandit Problems Using Decision Trees
Columbia University(哥伦比亚大学);Moloco(Moloco公司);University of New Hampshire(新罕布什尔大学)
对于上下文多臂强盗问题,已经提出了许多具有强理论保证的有效算法。然而,在实践中应用这些算法可能很困难,因为它们需要领域专业知识来构建适当的功能并调整其参数。我们提出了一种新的方法,上下文强盗问题,是简单,实用,可以应用很少或没有领域的专业知识。我们的算法依赖于决策树模型的上下文奖励关系。决策树是非参数的、可解释的,并且在没有手工制作的特征的情况下工作得很好。为了指导探索-开发权衡,我们使用了一种自举方法,该方法将Thompson采样抽象为非贝叶斯设置。我们还讨论了几个计算算法,并证明了我们的方法在几个数据集上的性能。
2018-10-19 cs.LG stat.ML
Boosting Adversarial Attacks by Leveraging Decision Boundary Information
University of Electronic Science and Technology of China(电子科技大学)
由于替代模型和受害者模型之间的间隙,从替代模型生成的基于梯度的噪声对于受害者模型可能具有低的可传递性,因为它们的梯度不同。受不同模型的决策边界差别不大这一事实的启发,我们进行了实验,发现不同模型的梯度在决策边界上比在原始位置上更相似。此外,由于输入图像附近的决策边界在大多数方向上是平坦的,我们推测边界梯度可以帮助找到一个有效的方向来穿过受害者模型的决策边界。在此基础上,我们提出了一个边界拟合攻击,以提高可移植性。具体来说,我们引入了一种方法来获得一组边界点,并利用这些点的梯度信息来更新对抗性示例。值得注意的是,我们的方法可以与现有的基于梯度的方法相结合。大量的实验证明了我们的方法的有效性,即,与最先进的基于传输的攻击相比,针对正常训练的CNN的成功率平均提高了5.6%,针对防御CNN的成功率平均提高了14.9%。此外,我们比较了Transformers和CNN,结果表明,Transformers比CNN更强大。然而,我们的方法在攻击Transformers时仍然优于现有的方法。具体来说,当使用CNN作为替代模型时,我们的方法获得了58.2%的平均攻击成功率,比其他最先进的基于传输的攻击高出10.8%。
2023-03-10 cs.CR cs.CV cs.LG
ShapDBM: Exploring Decision Boundary Maps in Shapley Space
School of Computing, Newcastle University, UK(新castle大学计算机学院);Department of Information and Computing Science, Utrecht University, Netherlands(乌得勒支大学信息与计算科学系)
提出通过将数据空间转换为Shapley空间并计算降维来生成决策边界图,相比直接基于数据的方法,生成的图质量指标相似或更高,决策区域更紧凑、更易探索且与模型性能更一致。
2026-06-01 cs.HC cs.LG
Safeguarding Autonomy: a Focus on Machine Learning Decision Systems
本文针对机器学习自主性仅为理论概念、未广泛落地实践的问题,通过识别制约因素、分析ML流水线各阶段对用户自主性的影响并给出对应问题指引,弥合自主性理论与ML决策实践的鸿沟,助力AI监管落地。
2025-03-27 cs.AI cs.CY cs.LG
A Geometric Theory of Decision Boundaries in Structured Markov Decision Processes
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文提出结构化马尔可夫决策过程中最优策略的几何理论,证明策略重构复杂度由决策边界几何而非状态空间大小决定,并给出统计保证与实验验证。
2026-09-17 cs.LG math.OC
Boundary-Aware Quantization: Finite-Scale Decision Geometry of Neural Classifiers
提出边界感知量化方法,通过多种几何度量分析量化对决策边界的影响,在多个基准上实现精度与边界保持的平衡。
2026-07-03 cs.CV cs.LG math.OC
"Where Can I Trust You?": Boundary-Aware Evaluation of Surrogate Fidelity
本研究探究代理模型与教师模型的不一致性是否集中于教师决策边界附近,发现边界附近保真度显著更低,且基于置信度区域的条件化一致性比全局分数更能预测评估集变化时的表现,但边界稳定性受深度教师训练随机性影响。
2026-09-29 cs.LG
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway(爱尔兰国立高威大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);Linköping University(林雪平大学);University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学);Deakin University(迪肯大学);University of Washington(华盛顿大学);Universidade do Vale do Rio dos Sinos(南里奥格兰德河谷大学);Politecnico di Milano(米兰理工大学);Federation University Australia(澳大利亚联邦大学)
现实世界的决策任务通常是复杂的,需要在多个往往相互冲突的目标之间进行权衡。尽管如此,大多数强化学习和决策理论规划的研究要么假设只有一个目标,要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题,从而产生次优的结果。本文作为多目标方法应用于困难问题的指南,针对那些已经熟悉单目标强化学习和规划方法的研究人员,他们希望在研究中采用多目标视角,以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素,并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
Classification regions of deep neural networks
University of California, Los Angeles(加州大学洛杉矶分校);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文的目标是分析深度神经网络分类器在输入空间中的几何性质。我们专门研究了由深度网络创建的分类区域的拓扑结构,以及它们相关的决策边界。通过系统的实证调查,我们表明,最先进的深度网络学习连接的分类区域,并且数据点附近的决策边界在大多数方向上是平坦的。我们进一步在深度网络的两个看似无关的属性之间建立了本质联系:它们对输入中的附加扰动的敏感性,以及它们的决策边界的曲率。事实上,决策边界弯曲的方向显著地表征了分类器最易受影响的方向。最后,我们利用深度网络的决策边界曲率的基本不对称性,并提出了一种方法来区分原始图像和被小的对抗性示例扰动的图像。我们证明了这种纯粹的几何方法的有效性,用于检测图像中的小对抗扰动,并恢复扰动图像的标签。
2017-05-26 cs.AI cs.CV cs.LG
Dynamic Decision Boundary for One-class Classifiers applied to non-uniformly Sampled Data
University of Insubria(因苏布里亚大学)
模式识别中的一个典型问题是非均匀采样数据,这会修改机器学习算法的一般性能和能力,以进行准确的预测。一般来说,数据被认为是非均匀采样时,在数据空间的特定区域,他们是不够的,导致我们的误分类问题。这一问题降低了单类分类器性能下降的目标。在本文中,我们提出了一个单类分类器的基础上,最小生成树与动态决策边界(OCdmst),使良好的预测的情况下,我们也有非均匀采样数据。为了证明我们的方法的有效性和鲁棒性,我们比较了最新的一类分类器达到国家的最先进的,其中大多数。
2020-04-05 cs.CV cs.LG stat.ML
Efficient SVDD Sampling with Approximation Guarantees for the Decision Boundary
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Kassel(卡塞尔大学)
支持向量数据描述(SVDD)是一种流行的异常和新奇检测的一类分类器。但是,尽管它的有效性,SVDD并没有很好地扩展数据大小。为了避免过高的训练时间,采样方法选择训练数据的小子集,SVDD在其上训练决策边界,希望其等同于在完整数据集上获得的决策边界。因此,根据文献,一个好的样本应该包含所谓的边界观测值,SVDD将选择这些观测值作为完整数据集的支持向量。然而,非边界观测对于不分割连续的内点区域和避免差的分类准确性也是必不可少的。其他方面,例如选择具有充分代表性的样本,也很重要。但现有的抽样方法在很大程度上忽略了这一点,导致分类精度不高。在这篇文章中,我们研究如何选择一个样本考虑这些点。我们的方法是框架SVDD采样作为一个优化问题,约束保证采样确实接近原来的决策边界。然后,我们提出了快速,一个有效的算法来解决这个优化问题。RAPID不需要任何参数调整,易于实施,并且可以很好地扩展到大型数据集。我们评估我们的方法对现实世界和合成数据。我们的评估是迄今为止最全面的SVDD采样。我们的研究结果表明,RAPID在分类精度,样本量和运行时间方面优于其竞争对手。
2020-09-29 cs.LG stat.ML
Effective Decision Boundary Learning for Class Incremental Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对类增量学习中决策边界对新类过拟合问题,提出有效决策边界学习算法(EDBL),通过重采样与Mixup知识蒸馏及增量影响平衡方法,同时提升蒸馏性能并解决数据不平衡,在多个基准上达到最优。
2024-09-26 cs.CV cs.LG
Boundary-Aware Uncertainty for Feature Attribution Explainers
Northeastern University(东北大学)
本文提出 GPEC 框架,通过融合决策边界感知与解释函数逼近的不确定性,并引入测地线核,量化任意黑盒分类器特征归因解释的可信度。
2024-03-04 cs.LG
Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯)
本文提出一种决策边界感知的知识巩固蒸馏方法,通过在保留旧边界的同时适度扩展至失败案例,解决了实例增量学习中灾难性遗忘与概念漂移问题,并发现教师模型是更好的增量学习器。
2024-06-05 cs.CV cs.LG
Multiplicative Logit Adjustment Approximates Neural-Collapse-Aware Decision Boundary Adjustment
The University of Tokyo(东京大学)
本文从神经坍缩视角提出最优决策边界调整理论,并证明乘性 logit 调整(MLA)可近似该最优方法,同时通过长尾数据集实验验证其有效性并给出超参数调节指导。
2025-03-10 cs.LG
Pairwise Supervision Can Provably Elicit a Decision Boundary
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);UCL(伦敦大学学院);Preferred Networks, Inc.(Preferred Networks公司)
相似性学习是通过预测一对模式之间的关系来获得有用表征的一般性问题。这个问题涉及到各种重要的预处理任务,如度量学习,核学习和对比学习。建立在表示的分类器,预计在下游分类表现良好,然而,很少有理论已经在文献中给出了到目前为止,从而相似性和分类之间的关系仍然难以捉摸。因此,我们解决了一个基本的问题:相似性信息可以证明导致模型在下游分类中表现良好吗?在本文中,我们揭示了产品型配方的相似性学习是密切相关的二进制分类的目标。我们进一步表明,这两个不同的问题是明确连接的超额风险约束。因此,我们的研究结果阐明,相似性学习是能够解决二进制分类直接引出一个决策边界。
2022-03-01 cs.LG stat.ML
Avoid Forgetting by Preserving Global Knowledge Gradients in Federated Learning with Non-IID Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Arizona State University(亚利桑那州立大学);University of California San Diego(加州大学圣地亚哥分校);Purdue University(普渡大学);University of Maryland College Park(马里兰大学学院市分校)
本文针对联邦学习中非独立同分布数据导致客户端遗忘全局决策边界的问题,提出 FedProj 框架,通过服务器端集成知识迁移损失和基于公共无标签数据集平均集成 logits 的情景记忆调节局部梯度更新,实验表明其性能大幅超越现有方法。
2025-06-30 cs.AI cs.CV cs.DC
Dynamic Teaching in Sequential Decision Making Environments
Center for Educational Testing and Evaluation(教育测试与评估中心);Department of Computer Science(计算机科学系);University of Kansas(堪萨斯大学);Rutgers University(罗格斯大学)
我们描述的理论界限和一个实用的算法,教学模型的演示顺序决策环境。与以往的努力,优化学习者观看教师演示静态政策,我们专注于教师作为决策者谁可以动态地选择不同的政策,教环境的不同部分。我们开发了几个教学框架的基础上,以前定义的监督协议,如教学维度,扩展它们来处理噪声和序列中遇到的输入MDP。我们提供了在这种设置中的几个重要的模型类的可学习性的理论界限,并提出了一个实用的算法动态教学。
2012-10-16 cs.AI cs.LG stat.ML
PandaAI: A Practical Agent CQ2 for Neuro-symbolic Data Analysis And Integrated Decision-Making in Quantitative Finance
Panda AI
针对金融数据低信噪比和非平稳性,提出PandaAI,一种结合市场状态建模与约束alpha生成的闭环神经符号LLM智能体,通过领域微调和模块化架构实现风险感知决策,在沪深300数据上Rank IC提升18.2%,最大回撤降低25.7%。
2026-06-05 cs.AI cs.LG q-fin.ST
Dynamics to decision: A mathematical theory of Lyapunov spectra and decision boundaries in deep classifiers
Colorado State University(科罗拉多州立大学)
本文提出将深度分类器视为动力系统,通过有限时间最大Lyapunov指数(FTMLE)分析决策边界几何,证明其在不同层与边界的关系,并提出几何感知微调方法。
2026-10-01 cs.LG cs.SY eess.SY
HopSkipJumpAttack: A Query-Efficient Decision-Based Attack
University of California, Berkeley(加州大学伯克利分校);Voleon Group(沃伦集团)
对训练模型进行基于决策的对抗攻击的目标是仅基于观察目标模型返回的输出标签来生成对抗示例。我们开发HopSkipJumpAttack,一个家庭的算法的基础上,一种新的估计的梯度方向使用二进制信息在决策边界。建议的家庭包括无针对性和有针对性的攻击$\ell_2$和$\ell_\infty$相似性度量分别优化。理论分析所提出的算法和梯度方向估计。实验表明,HopSkipJumpAttack比Boundary Attack需要更少的模型查询。它还在攻击几种广泛使用的防御机制方面取得了竞争力。(HopSkipJumpAttack在之前的预印本版本中被命名为Boundary Attack++。
2020-04-28 cs.CR cs.LG math.OC
Explaining Predictions by Approximating the Local Decision Boundary
Jheronimus Academy of Data Science(杰罗尼姆斯数据科学学院);University of Amsterdam(阿姆斯特丹大学);Tilburg University(蒂尔堡大学);Eindhoven University of Technology(埃因霍温理工大学)
为不透明的机器学习模型构建准确的模型不可知解释仍然是一项具有挑战性的任务。高维数据(如图像)的分类模型通常本质上是复杂的。为了降低这种复杂性,可以在本地解释各个预测,或者根据更简单的本地代理模型,或者通过传达预测如何与另一类的预测进行对比。然而,现有的方法在以下方面仍然不足:a)它们使用(欧几里德)度量,这对于非线性高维数据没有意义;或者b)它们不试图解释决策边界,这是针对分类精度优化的分类器的最相关特性;或者c)它们不给予用户指定对他们有意义的属性的任何自由。我们解决了这些问题,在一个新的局部决策边界近似(DBA)的程序。为了构造有意义的度量,我们训练变分自编码器来学习编码数据表示的欧几里得潜在空间。我们施加解释性利用属性注释映射的潜在空间的属性是有意义的用户。评估可解释性方法的一个困难是缺乏基础事实。我们通过引入一个新的基准数据集与人工生成的虹膜图像,并表明我们可以恢复本地确定类的潜在属性来解决这个问题。我们进一步评估我们的方法在表格数据和CelebA图像数据集。
2020-10-22 cs.LG stat.ML
Adversarial Detection by Approximation of Ensemble Boundary
University of Surrey(萨里大学)
针对深度神经网络易受对抗攻击的问题,提出基于Walsh系数的二分类DNN集成模型对抗检测方法,通过近似决策边界、利用曲率变化差异检测攻击,还可辅助理解DNN特性,方法具备跨领域应用潜力。
2025-01-10 cs.AI cs.CR cs.CV
Defining Locality for Surrogates in Post-hoc Interpretablity
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);AXA(安盛);Polish Academy of Science(波兰科学院)
局部代理模型,近似于黑盒分类器的局部决策边界,构成了一种方法来生成对由黑盒做出的个体预测背后的基本原理的解释。本文强调了定义正确的局部性的重要性,即训练局部代理的邻域,以便准确地近似局部黑盒决策边界。不幸的是,如本文所示,这个问题不仅是一个参数或采样分布的挑战,并有一个重大影响的相关性和质量的近似的本地黑盒决策边界,从而对所产生的解释的意义和准确性。为了克服识别出的问题,量化与适应的措施和程序,我们建议生成基于代理的解释为基础的采样集中在特定的地方的决策边界,相关的预测解释,而不是预测本身,因为它是经典的。我们将这种新方法与最先进的方法进行了比较,并在四个UCI数据集上对其进行了直接改进。
2018-06-19 cs.AI cs.LG stat.ML
Consumer-Driven Explanations for Machine Learning Decisions: An Empirical Study of Robustness
IBM Research(IBM研究院)
许多解释机器学习预测的方法实际上很难让非技术消费者理解。本文建立在另一种消费者驱动的方法,称为TED,要求在训练数据中提供解释,以及目标标签。使用半合成数据从信贷审批和员工保留的应用程序,实验进行了调查与TED的一些实际考虑,包括其性能与不同的分类算法,不同数量的解释,和解释的变化。针对某些训练样本没有解释的情况,提出了一种新的算法。我们的研究结果表明,TED是强大的越来越多的解释,嘈杂的解释,和大部分的缺失的解释,从而使其实际部署的进步。
2020-01-13 cs.AI cs.LG stat.ML
Practical Federated Gradient Boosting Decision Trees
National University of Singapore(新加坡国立大学);The University of Western Australia(西澳大利亚大学)
梯度提升决策树(GBDTs)近年来已经变得非常成功,在机器学习和数据采掘竞赛中获得了许多奖项。最近有几项关于如何在联邦学习环境中训练GBDTs的研究。在本文中,我们专注于水平联邦学习,其中具有相同特征的数据样本分布在多方之间。然而,现有的研究是不够有效的,有效的实际应用。它们要么由于使用昂贵的数据转换(例如秘密共享和同态加密)而效率低下,要么由于差分隐私设计而模型精度低。在本文中,我们研究了一个实用的联邦环境,放宽隐私限制。在这种环境下,不诚实的一方可能会获得有关其他方数据的一些信息,但不诚实的一方仍然不可能获得其他方的实际原始数据。具体来说,每一方都通过利用基于位置敏感哈希的相似性信息来提升一些树。我们证明了我们的框架是安全的,而不会将原始记录暴露给其他各方,同时训练过程中的计算开销保持较低。实验结果表明,与传统的基于各方数据的训练方法相比,该方法能够显著提高预测精度,并在基于各方数据的情况下达到与原始GBDT相当的精度。
2019-12-13 cs.LG stat.ML
Leveraging Predictive Equivalence in Decision Trees
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出一种无预测等价性的决策树布尔逻辑表示,忠实于决策边界,用于改善模型选择、鲁棒性分析、变量重要性量化及预测成本优化。
2025-10-13 cs.LG
Decision Explanation and Feature Importance for Invertible Networks
Yale University(耶鲁大学);Yale School of Medicine(耶鲁医学院)
深度神经网络容易受到对抗攻击的攻击,并且由于其黑箱性质而难以解释。最近提出的可逆网络能够准确地从其输出重构到一个层的输入,从而有可能解开黑箱模型。可逆网络分类器可以看作是一个两阶段模型:(1)从输入空间到特征空间的可逆变换;(2)特征空间中的线性分类器。我们可以在特征空间中确定线性分类器的决策边界;由于变换是可逆的,我们可以将决策边界从特征空间反转到输入空间。此外,我们建议确定数据点到决策边界的投影,并将解释定义为数据与其投影之间的差异。最后,我们提出了一个局部近似的神经网络与其一阶泰勒展开,并定义特征的重要性使用局部线性模型。我们提供了我们的方法的实现:\url{https://github.com/juntang-zhuang/explain_invertible}。
2019-10-15 cs.LG stat.ML
Elicitation and Decision Geometry in Single-Index Bandits
Case Western Reserve University(凯斯西储大学);CSIRO(澳大利亚联邦科学与工业研究组织)
针对双臂单指标上下文老虎机,提出自然边界学习(NBL)方法,利用序贯斯坦对比直接学习最优边界,在决策稳定性条件下实现对数遗憾,并通过数值实验验证。
2026-09-29 cs.LG stat.ML
Models That Are Interpretable But Not Transparent
Duke University(杜克大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校)
针对高风险应用中模型可解释性与专有性冲突的问题,提出FaithfulDefense方法,基于最大集合覆盖公式生成完全可信但最小化决策边界泄露的解释。
2025-02-26 cs.LG
Natural Spectral Fusion: p-Exponent Cyclic Scheduling and Early Decision-Boundary Alignment in First-Order Optimization
该研究提出自然谱融合(NSF)框架,通过p指数扩展二阶矩项与循环调度调控优化器的谱偏好,实现早期决策边界对齐,在多基准上以更低训练成本提升测试准确率。
2025-09-05 cs.LG
Fast Decision Boundary based Out-of-Distribution Detector
MIT(麻省理工学院);UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出一种无需辅助模型且计算高效的分布外检测器,通过闭式估计样本到决策边界的特征距离并结合特征偏差正则化,在匹配或超越现有方法有效性的同时显著降低了推理开销。
2024-06-04 cs.LG eess.IV
Automated Grading of Anatomical Objective Structured Practical Exams Using Decision Trees
McMaster University(麦克马斯特大学);University of Toronto(多伦多大学)
客观结构化实践考试(OSPE)是一种有效和强大的,但资源密集型,评估解剖知识的手段。由于大多数OSPE采用简答或填空式的问题,这种格式需要许多熟悉内容的人来标记考试。然而,解剖学和生理学课程在线交付的日益普及可能会导致学生失去他们将在面对面的学习课程中获得的OSPE实践。本研究的目的是测试决策树(DT)在标记OSPE问题的准确性,作为创建智能在线OSPE辅导系统的第一步。该研究使用了麦克马斯特大学健康科学学院解剖学和生理学课程(HTHSCI 2FF 3/2LL 3/1D 06)的2020年冬季学期期末OSPE的结果作为数据集。百分之九十的数据集用于10倍验证算法,以针对54个问题中的每个问题训练DT。每个DT由出现在正确的学生书面答案中的独特单词组成。其余10%的数据集由生成的DT标记。当由DT标记的答案进行比较,由工作人员和教师标记的答案,DT实现了94.49%的平均准确率在所有54个问题。这表明,机器学习算法,如DT是一个非常有效的选择OSPE评分,并适合于智能,在线OSPE辅导系统的开发。
2021-06-01 cs.LG
Continual Learning with Support Boundary Experience Blending
National Taiwan University(国立台湾大学)
提出经验混合框架,通过差分隐私启发的噪声生成支持边界数据,联合训练样本和边界数据以正则化决策边界,在多个数据集上提升持续学习准确率。
2026-06-19 cs.CV cs.LG
Building a Regular Decision Boundary with Deep Networks
Ecole Normale Supérieure(巴黎高等师范学院)
在这项工作中,我们构建了一个通用的卷积神经网络架构来发现神经网络的经验属性。我们的第一个贡献是引入一个最先进的框架,它依赖于一些超参数,并在我们改变它们时研究网络。它没有最大池化,没有偏差,只有13层,是纯卷积的,在CIFAR 10和CIFAR 100上的准确率分别高达95.4%和79.6%。我们表明,深度网络的非线性不需要是连续的,非扩展的或逐点的,以实现良好的性能。我们表明,增加我们的网络的宽度允许与非常深的网络竞争。我们的第二个贡献是这个网络的收缩和分离特性的分析。实际上,应用于深度特征的1-最近邻分类器随着深度而逐渐改进,这表明表示逐渐更加规则。此外,我们定义和分析了局部支持向量,局部分离类。我们所有的实验都是可重复的,代码可以在线获得,基于TensorFlow。
2017-03-06 cs.CV cs.LG
PromptAL: Sample-Aware Dynamic Soft Prompts for Few-Shot Active Learning
School of Cyberspace Security, Beijing University of Posts and Telecommunications(网络安全学院,北京邮电大学);Key Laboratory of Trustworthy Distributed Computing and Service (BUPT), Ministry of Education(可信分布式计算与服务重点实验室(北京邮电大学));QI-ANXIN Group(QI-ANXIN集团);RapidAI Research(RapidAI研究院);ZGC Lab(ZGC实验室)
针对少样本主动学习中经验分布偏离目标分布的问题,提出PromptAL框架,利用未标注数据构建样本感知动态软提示优化决策边界,并结合不确定性与全局局部多样性选择高质量样本,在多个数据集上优于九个基线。
2025-07-22 cs.CL cs.LG
Decision SincNet: Neurocognitive models of decision making that predict cognitive processes from neural signals
University of California, Irvine(加州大学欧文分校);University of California, San Diego(加州大学圣地亚哥分校);University of Amsterdam(阿姆斯特丹大学)
在心理学实验中,人们用选择-反应时间数据来观察人类的决策行为。这些数据的漂移扩散模型由维纳首次通过时间(WFPT)分布组成,并由认知参数:漂移率,边界分离和起点描述。这些估计的参数是神经科学家感兴趣的,因为它们可以映射到决策的认知过程的特征(如速度,谨慎和偏见),并与大脑活动有关。观察到的RT模式也反映了由神经动力学介导的从审判到审判的认知过程的可变性。我们采用了基于SincNet的浅层神经网络架构,以适应漂移扩散模型,使用EEG信号的每个实验试验。该模型由一个SincNet层,一个depressive空间卷积层和两个独立的FC层组成,它们并行预测每次试验的漂移率和边界。SincNet层对内核进行参数化,以便直接学习应用于EEG数据的带通滤波器的低截止频率和高截止频率,以预测漂移和边界参数。在训练过程中,模型参数进行了更新,最大限度地减少WFPT分布的负对数似然函数给定的审判RT。我们开发了单独的决策SincNet模型,为每个参与者执行两个替代的被迫选择任务。我们的研究结果表明,在训练和测试数据集中,漂移和边界的单次试验估计在预测RT方面优于中值估计,这表明我们的模型可以成功地使用EEG特征来估计有意义的单次试验扩散模型参数。此外,浅层SincNet架构识别了与证据积累和谨慎相关的信息处理的时间窗口以及反映每个参与者内这些过程的EEG频带。
2022-08-17 cs.LG q-bio.NC