Understanding and Mitigating Overrefusal in LLMs from an Unveiling Perspective of Safety Decision Boundary
The State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院);Language and Machine Intelligence Department, Ant Group(蚂蚁集团语言与机器智能部门)
本文从安全决策边界视角分析大型语言模型过度拒绝问题,提出自动化框架RASS,利用引导向量生成并筛选边界提示,有效缓解过度拒绝并支持多语言场景,同时构建MORBench评估集以衡量模型安全性与有用性。
2025-09-17 cs.AI cs.LG
ADBA:Approximation Decision Boundary Approach for Black-Box Adversarial Attacks
Beijing University of Post and Telecommunication(北京邮电大学);Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出ADBA方法,利用近似决策边界高效比较扰动方向,并基于决策边界分布中位数开发ADBA-md算法,以极低查询成本提升黑盒对抗攻击效率。
2024-06-12 cs.AI cs.CV cs.LG
Adversarial Detection by Approximation of Ensemble Boundary
University of Surrey(萨里大学)
针对深度神经网络易受对抗攻击的问题,提出基于Walsh系数的二分类DNN集成模型对抗检测方法,通过近似决策边界、利用曲率变化差异检测攻击,还可辅助理解DNN特性,方法具备跨领域应用潜力。
2025-01-10 cs.AI cs.CR cs.CV
Curvature Dynamic Black-box Attack: revisiting adversarial robustness via dynamic curvature estimation
Lanzhou University(兰州大学)
本文提出曲率动态黑盒攻击方法,通过动态曲率估计提升对抗鲁棒性分析
2025-11-28 cs.AI cs.LG
Fast Decision Boundary based Out-of-Distribution Detector
MIT(麻省理工学院);UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出一种无需辅助模型且计算高效的分布外检测器,通过闭式估计样本到决策边界的特征距离并结合特征偏差正则化,在匹配或超越现有方法有效性的同时显著降低了推理开销。
2024-06-04 cs.LG eess.IV
Leveraging Predictive Equivalence in Decision Trees
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出一种无预测等价性的决策树布尔逻辑表示,忠实于决策边界,用于改善模型选择、鲁棒性分析、变量重要性量化及预测成本优化。
2025-10-13 cs.LG
On Training-Test (Mis)alignment in Unsupervised Combinatorial Optimization: Observation, Empirical Exploration, and Analysis
School of Electrical Engineering, KAIST(韩国庆熙大学电气工程学院);AI4CO Open-Source Community(AI4CO开源社区);Kim Jaechul Graduate School of Artificial Intelligence, KAIST(韩国庆熙大学人工智能研究生院)
本研究指出无监督组合优化中训练与测试存在不对齐,提出将可微去随机化纳入训练以改善对齐,经验验证有效但带来训练挑战。
2025-06-20 cs.AI cs.DM cs.LG
Knowledge Distillation with Adversarial Samples Supporting Decision Boundary
Seoul National University(首尔国立大学);Hanyang University(汉阳大学);NAVER Corp(NAVER公司);Clova AI Research(Clova人工智能研究院)
近年来,许多关于知识蒸馏的研究提供了一种新的方法来转移网络的知识,以改善新网络的学习过程,但如何找到一种好的知识蒸馏技术仍然是一个悬而未决的问题。在本文中,我们提供了一个新的视角的基础上的决策边界,这是一个最重要的组成部分的分类。分类器的泛化性能与其决策边界的充分性密切相关,因此一个好的分类器具有一个好的决策边界。因此,传递与决策边界密切相关的信息可以成为知识蒸馏的一种很好的尝试。为了实现这一目标,我们利用对抗攻击来发现支持决策边界的样本。基于这一思想,为了传递更准确的决策边界信息,该算法利用支持决策边界的对抗样本训练学生分类器。实验结果表明,该方法确实提高了知识蒸馏,达到了最先进的性能。
2018-12-14 cs.CV cs.LG stat.ML
Understanding the geometry of deep learning with decision boundary volume
本文提出通过局部表面体积测量神经网络决策边界,揭示其与模型准确性和鲁棒性的关系,验证了决策边界体积与分类准确度的反比关系。
2026-03-16 cs.LG stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
Rectified Decision Trees: Towards Interpretability, Compression and Empirical Soundness
Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院)
如何获得具有良好可解释性和性能的模型一直是一个重要的研究课题。在本文中,我们提出了修正决策树(ReDT),一个知识蒸馏的决策树整流具有高的可解释性,小的模型大小,和经验的可靠性。具体来说,我们扩展了经典决策树的杂质计算和纯结束条件,提出了一种决策树扩展,允许在训练和预测过程中使用由训练有素的教师模型生成的软标签。值得注意的是,对于软标签的获取,我们提出了一种新的基于多重交叉验证的方法来减少随机性和过拟合的影响。这些方法保证了RedT在保持良好的可解释性的同时,在压缩方面甚至比决策树实现更少的节点,同时具有相对较好的性能。此外,与传统的知识蒸馏不同,ReDT不需要学生模型的反向传播,是一种新的知识蒸馏方法的尝试。大量的实验进行,这表明了优势的可解释性,压缩,和经验的合理性的ReDT。
2020-08-24 cs.LG stat.ML
An Adaptive Strategy for Active Learning with Smooth Decision Boundary
Otto-von-Güricke Universität Magdeburg(马格德堡奥托·冯·格里克大学);Princeton University(普林斯顿大学)
我们提出了第一个自适应策略的主动学习设置的分类与光滑的决策边界。自Castro和Nowak(2007)的开创性工作以来,(对未知分布参数的)自适应性问题一直没有解决,该工作首次建立了这种设置的(主动学习)率。虽然这个问题的一些最新进展建立自适应率的情况下,单变量数据,自适应在更实际的设置多变量数据迄今仍然难以捉摸。结合各种最近的作品的见解,我们表明,对于多变量的情况下,仔细减少单变量自适应策略产生接近最优的利率,而无需先验知识的分布参数。
2017-11-25 cs.LG stat.ML
Unveiling the Hessian's Connection to the Decision Boundary
Technical University of Munich(慕尼黑工业大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);King’s College London(伦敦国王学院);Flatiron Institute(熨斗研究所)
该研究建立了深度学习中Hessian矩阵与决策边界的关联,证明Hessian顶部特征向量可表征决策边界、谱离群值数量与边界复杂度成正比,据此提出高维决策边界复杂度研究方法、新泛化度量及间隔估计技术,可精准识别简单宽间隔的泛化良好极小值。
2023-06-12 cond-mat.dis-nn cs.LG stat.ML
Active Decision Boundary Annotation with Deep Generative Models
Aiir Innovations(Aiir创新公司);Delft University of Technology(代尔夫特理工大学)
本文是关于主动学习的,其目标是通过在训练期间与(人类)Oracle交互来减少数据注释负担。标准的主动学习方法要求oracle注释数据样本。相反,我们采取了一种完全不同的方法:我们要求对决策边界进行注释。我们使用深度生成模型来沿着1D线创建新颖的实例来实现这一目标。在决策边界上的一个点上,实例改变了类。实验中,我们在三个数据集上显示,我们的方法可以插入到其他主动学习方案中,人类预言机可以有效地注释决策边界上的点,我们的方法对注释噪声具有鲁棒性,并且决策边界注释比注释数据样本更好。
2017-08-02 cs.CV cs.LG
Analysis of Generalizability of Deep Neural Networks Based on the Complexity of Decision Boundary
The George Washington University(乔治华盛顿大学)
对于监督学习模型,泛化能力(泛化能力)的分析是至关重要的,因为泛化能力表示模型在未知数据上的表现。传统的泛化方法,如VC维,不适用于深度神经网络(DNN)模型。因此,需要新的理论来解释DNN的普遍性。在这项研究中,我们假设DNN具有更简单的决策边界具有更好的概括性的简约定律(奥卡姆剃刀)。我们创建了决策边界复杂度(DBC)分数来定义和衡量DNN的决策边界的复杂度。DBC分数的思想是在决策边界上或附近生成数据点(称为对抗性示例)。然后,我们的新方法使用这些数据的特征值的熵来测量边界的复杂性。该方法同样适用于高维数据。我们使用训练数据和训练模型来计算DBC分数。而且,模型的推广性的基础事实是它的测试精度。基于DBC分数的实验验证了我们的假设。DBC提供了一种有效的方法来衡量一个决策边界的复杂性,并给出了DNN的泛化能力的定量测量。
2020-09-16 cs.AI cs.CV cs.LG
Understanding Deep Learning via Decision Boundary
The University of Sydney(悉尼大学);University of Edinburgh(爱丁堡大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出算法与数据决策边界变异性度量,实验与理论证明其与泛化能力负相关,并给出不依赖样本量与网络规模的理论界。
2023-12-24 cs.AI cs.LG stat.ML
Decision Potential Surface: A Theoretical and Practical Approximation of Large Language Model Decision Boundary
The Hong Kong Polytechnic University(香港理工大学);University of Macau(澳门大学);Shanghai Jiaotong University(上海交通大学);Huawei(华为);Rochester Institute of Technology(罗切斯特理工学院);PolyU Research Centre for Privacy and Security Technologies in Future Smart Systems(PolyU未来智能系统隐私与安全技术研究中心)
本文提出决策潜力面(DPS)作为一种新的分析大型语言模型决策性质的方法,通过K-DPS算法以有限样本近似决策边界,理论推导了误差上限,展示了误差与采样次数的权衡。
2026-05-21 cs.AI cs.LG
The Vanishing Decision Boundary Complexity and the Strong First Component
Sony AI(索尼人工智能研究院);University of Alberta(阿尔伯塔大学)
我们发现,与机器学习分类器不同,经过良好训练的深度模型的决策边界中没有复杂的边界结构。然而,我们发现,复杂的结构确实出现在训练中,但它们在成形后不久就消失了。如果人们试图捕捉决策边界中不同级别的复杂性以理解泛化,这是一个悲观的消息,这在机器学习中工作得很好。尽管如此,我们发现在训练数据上的前代模型的决策边界反映了最终模型的泛化。我们展示了如何使用前辈决策边界来研究深度模型的泛化。我们有三个主要发现。一个是关于深度模型的第一主成分的强度,另一个是关于优化器的奇异性,另一个是关于ResNets中跳跃连接的影响。代码位于https://github.com/hengshu1/decision_boundary_github。
2022-11-25 cs.AI cs.LG
Efficient SVDD Sampling with Approximation Guarantees for the Decision Boundary
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Kassel(卡塞尔大学)
支持向量数据描述(SVDD)是一种流行的异常和新奇检测的一类分类器。但是,尽管它的有效性,SVDD并没有很好地扩展数据大小。为了避免过高的训练时间,采样方法选择训练数据的小子集,SVDD在其上训练决策边界,希望其等同于在完整数据集上获得的决策边界。因此,根据文献,一个好的样本应该包含所谓的边界观测值,SVDD将选择这些观测值作为完整数据集的支持向量。然而,非边界观测对于不分割连续的内点区域和避免差的分类准确性也是必不可少的。其他方面,例如选择具有充分代表性的样本,也很重要。但现有的抽样方法在很大程度上忽略了这一点,导致分类精度不高。在这篇文章中,我们研究如何选择一个样本考虑这些点。我们的方法是框架SVDD采样作为一个优化问题,约束保证采样确实接近原来的决策边界。然后,我们提出了快速,一个有效的算法来解决这个优化问题。RAPID不需要任何参数调整,易于实施,并且可以很好地扩展到大型数据集。我们评估我们的方法对现实世界和合成数据。我们的评估是迄今为止最全面的SVDD采样。我们的研究结果表明,RAPID在分类精度,样本量和运行时间方面优于其竞争对手。
2020-09-29 cs.LG stat.ML
Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective
University of Maryland, College Park(马里兰大学帕克分校);Rice University(莱斯大学);New York University(纽约大学)
我们讨论了可视化神经网络决策边界和决策区域的方法。我们使用这些可视化来研究与神经网络训练中的可重复性和泛化相关的问题。我们观察到,模型架构(及其相关的归纳偏差)的变化会导致决策边界的明显变化,而相同架构的多次运行会产生具有很强相似性的结果,特别是在宽架构的情况下。我们还使用决策边界方法来可视化双下降现象。我们看到,决策边界再现性强烈依赖于模型的宽度。在插值阈值附近,神经网络的决策边界被分割成许多小的决策区域,并且这些区域是不可再现的。同时,非常窄和非常宽的网络在它们的决策边界中具有高水平的可再现性,而决策区域相对较少。我们讨论了我们的观察与凸模型中的双下降现象理论的关系。代码可在https://github.com/somepago/dbViz上获得
2022-03-15 cs.CV cs.LG
Pairwise Supervision Can Provably Elicit a Decision Boundary
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);UCL(伦敦大学学院);Preferred Networks, Inc.(Preferred Networks公司)
相似性学习是通过预测一对模式之间的关系来获得有用表征的一般性问题。这个问题涉及到各种重要的预处理任务,如度量学习,核学习和对比学习。建立在表示的分类器,预计在下游分类表现良好,然而,很少有理论已经在文献中给出了到目前为止,从而相似性和分类之间的关系仍然难以捉摸。因此,我们解决了一个基本的问题:相似性信息可以证明导致模型在下游分类中表现良好吗?在本文中,我们揭示了产品型配方的相似性学习是密切相关的二进制分类的目标。我们进一步表明,这两个不同的问题是明确连接的超额风险约束。因此,我们的研究结果阐明,相似性学习是能够解决二进制分类直接引出一个决策边界。
2022-03-01 cs.LG stat.ML
Dynamic Decision Boundary for One-class Classifiers applied to non-uniformly Sampled Data
University of Insubria(因苏布里亚大学)
模式识别中的一个典型问题是非均匀采样数据,这会修改机器学习算法的一般性能和能力,以进行准确的预测。一般来说,数据被认为是非均匀采样时,在数据空间的特定区域,他们是不够的,导致我们的误分类问题。这一问题降低了单类分类器性能下降的目标。在本文中,我们提出了一个单类分类器的基础上,最小生成树与动态决策边界(OCdmst),使良好的预测的情况下,我们也有非均匀采样数据。为了证明我们的方法的有效性和鲁棒性,我们比较了最新的一类分类器达到国家的最先进的,其中大多数。
2020-04-05 cs.CV cs.LG stat.ML
Consumer-Driven Explanations for Machine Learning Decisions: An Empirical Study of Robustness
IBM Research(IBM研究院)
许多解释机器学习预测的方法实际上很难让非技术消费者理解。本文建立在另一种消费者驱动的方法,称为TED,要求在训练数据中提供解释,以及目标标签。使用半合成数据从信贷审批和员工保留的应用程序,实验进行了调查与TED的一些实际考虑,包括其性能与不同的分类算法,不同数量的解释,和解释的变化。针对某些训练样本没有解释的情况,提出了一种新的算法。我们的研究结果表明,TED是强大的越来越多的解释,嘈杂的解释,和大部分的缺失的解释,从而使其实际部署的进步。
2020-01-13 cs.AI cs.LG stat.ML
Epsilon-Neighborhood Decision-Boundary Governed Estimation (EDGE) of 2D Black Box Classifier Functions
Department of Mechanical and Aerospace Engineering, The Ohio State University(机械与航空航天工程系,俄亥俄州立大学)
EDGE算法通过中间值定理高效估计黑盒分类器的决策边界,适用于2D场景,展示出更高的样本效率和边界逼近性能。
2026-02-13 cs.CG cs.LG cs.NA
Enhancing the Robustness of Deep Neural Networks by Boundary Conditional GAN
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院);Shanghai Jiaotong University(上海交通大学)
深度神经网络已被广泛部署在各种机器学习任务中。然而,最近的研究表明,它们容易受到对抗性例子的影响:精心制作的小扰动会导致网络的错误分类。在这项工作中,我们提出了一种新的防御机制,称为边界条件GAN,以增强深度神经网络对对抗性示例的鲁棒性。边界条件GAN是条件GAN的一个改进版本,可以在预训练分类器的决策边界附近生成具有真实标签的边界样本。这些边界样本被馈送到预先训练的分类器作为数据增强,以使决策边界更鲁棒。我们的经验表明,我们的方法改进的模型一致地成功抵御各种类型的对抗攻击。进一步的定量调查的鲁棒性和可视化的决策边界的改善也提供了证明我们的策略的有效性。这种利用边界样本增强网络鲁棒性的新防御机制为一致防御对抗攻击开辟了一条新途径。
2019-02-28 cs.LG stat.ML
Membership inference attack with relative decision boundary distance
Tongji University(同济大学)
针对仅标签成员推理攻击中决策边界距离受随机初始点影响的问题,提出多类自适应 MIA,利用多目标 HopSkipJump 和相对边界距离提升攻击性能。
2023-06-07 cs.LG
Explaining Predictions by Approximating the Local Decision Boundary
Jheronimus Academy of Data Science(杰罗尼姆斯数据科学学院);University of Amsterdam(阿姆斯特丹大学);Tilburg University(蒂尔堡大学);Eindhoven University of Technology(埃因霍温理工大学)
为不透明的机器学习模型构建准确的模型不可知解释仍然是一项具有挑战性的任务。高维数据(如图像)的分类模型通常本质上是复杂的。为了降低这种复杂性,可以在本地解释各个预测,或者根据更简单的本地代理模型,或者通过传达预测如何与另一类的预测进行对比。然而,现有的方法在以下方面仍然不足:a)它们使用(欧几里德)度量,这对于非线性高维数据没有意义;或者b)它们不试图解释决策边界,这是针对分类精度优化的分类器的最相关特性;或者c)它们不给予用户指定对他们有意义的属性的任何自由。我们解决了这些问题,在一个新的局部决策边界近似(DBA)的程序。为了构造有意义的度量,我们训练变分自编码器来学习编码数据表示的欧几里得潜在空间。我们施加解释性利用属性注释映射的潜在空间的属性是有意义的用户。评估可解释性方法的一个困难是缺乏基础事实。我们通过引入一个新的基准数据集与人工生成的虹膜图像,并表明我们可以恢复本地确定类的潜在属性来解决这个问题。我们进一步评估我们的方法在表格数据和CelebA图像数据集。
2020-10-22 cs.LG stat.ML
Empirical Evidence for Simply Connected Decision Regions in Image Classifiers
Medical Data Privacy and Privacy-preserving Machine Learning (MDPPML), University of Tübingen(医疗数据隐私与隐私保护机器学习(MDPPML),图宾根大学)
研究通过迭代四边形填充法验证图像分类器决策区域的简单连通性,结合Coons补片量化方法偏差,提供实证支持。
2026-10-09 cs.CV cs.LG
Robust Losses for Decision-Focused Learning
Delft University of Technology(代尔夫特理工大学)
针对决策聚焦学习中经验后悔值作为期望后悔值替代不准确的问题,评估了不确定性影响并提出三种鲁棒损失函数,有效改善了测试样本经验后悔值且不增加计算时间。
2024-07-27 cs.LG math.OC
Finding Patterns in Ambiguity: Interpretable Stress Testing in the Decision~Boundary
针对深度学习黑盒模型决策过程难理解的问题,提出从决策边界选取原型并结合模型后解释算法的方法,经2D可视化和GradientSHAP验证可捕捉低置信度决策特征,助力可靠ML系统的负责任开发。
2024-08-12 cs.CV cs.LG
Towards a Science of Human-AI Decision Making: A Survey of Empirical Studies
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Chicago(芝加哥大学);Microsoft Research(微软研究院);Dataminr
随着人工智能系统表现出越来越强的预测性能,它们在许多领域的采用率都在增长。然而,在刑事司法和医疗保健等高风险领域,出于安全、道德和法律方面的考虑,完全自动化通常是不可取的,而完全手动的方法可能不准确且耗时。因此,研究界越来越有兴趣通过人工智能辅助来增强人类决策。除了为此目的开发人工智能技术外,人工智能决策的新兴领域必须采用经验方法,以形成对人类如何与人工智能互动和合作做出决策的基本理解。为了邀请并帮助构建理解和改善人类人工智能决策科学的研究工作,我们调查了最近关于这一主题的实证人类受试者研究文献。我们从三个重要方面总结了100多篇论文中的研究设计选择:(1)决策任务,(2)AI模型和AI辅助元素,以及(3)评估指标。对于每个方面,我们总结了当前的趋势,讨论了该领域当前实践中的差距,并为未来的研究提出了建议。我们的调查强调了开发通用框架的必要性,以解释人类人工智能决策的设计和研究空间,以便研究人员可以在研究设计中做出严格的选择,研究界可以在彼此的工作基础上建立并产生可推广的科学知识。我们还希望这项调查将成为人机交互和人工智能社区共同努力的桥梁,共同塑造人类-人工智能决策的经验科学和计算技术。
2021-12-21 cs.AI cs.CL cs.CY
ShapDBM: Exploring Decision Boundary Maps in Shapley Space
School of Computing, Newcastle University, UK(新castle大学计算机学院);Department of Information and Computing Science, Utrecht University, Netherlands(乌得勒支大学信息与计算科学系)
提出通过将数据空间转换为Shapley空间并计算降维来生成决策边界图,相比直接基于数据的方法,生成的图质量指标相似或更高,决策区域更紧凑、更易探索且与模型性能更一致。
2026-06-01 cs.HC cs.LG
Boundary-Aware Quantization: Finite-Scale Decision Geometry of Neural Classifiers
提出边界感知量化方法,通过多种几何度量分析量化对决策边界的影响,在多个基准上实现精度与边界保持的平衡。
2026-07-03 cs.CV cs.LG math.OC
Elicitation and Decision Geometry in Single-Index Bandits
Case Western Reserve University(凯斯西储大学);CSIRO(澳大利亚联邦科学与工业研究组织)
针对双臂单指标上下文老虎机,提出自然边界学习(NBL)方法,利用序贯斯坦对比直接学习最优边界,在决策稳定性条件下实现对数遗憾,并通过数值实验验证。
2026-09-29 cs.LG stat.ML
$λ$-models: Effective Decision-Aware Reinforcement Learning with Latent Models
University of Toronto(多伦多大学);Vector Institute(矢量研究院)
本文研究决策感知强化学习模型的关键组件,指出 MuZero 式潜变量模型的重要性及其损失在随机环境中的偏差,并给出不同场景下损失函数选择的实践建议。
2024-02-29 cs.AI cs.LG
A Geometric Theory of Decision Boundaries in Structured Markov Decision Processes
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文提出结构化马尔可夫决策过程中最优策略的几何理论,证明策略重构复杂度由决策边界几何而非状态空间大小决定,并给出统计保证与实验验证。
2026-09-17 cs.LG math.OC
Estimating the Value of Evidence-Based Decision Making
Department of Economics, MIT(MIT经济学系);Department of Industrial Engineering and Operations Research, Columbia University(哥伦比亚大学工业工程与运筹学系);Graduate School of Business, Stanford(斯坦福大学商学院)
本文提出一个实证框架,用于估算基于证据的决策制定的价值,并评估统计精度和项目构想的回报率。
2026-02-09 cs.LG econ.EM stat.ME
Data-driven robust Markov decision processes on Borel spaces: performance guarantees via an axiomatic approach
本文提出了一种数据驱动的鲁棒马尔可夫决策过程方法,通过公理化方法在博雷尔空间上提供性能保证,建立了鲁棒最优值函数与样本外值函数的收敛性及概率收敛速率。
2026-03-09 cs.LG math.OC stat.ML
On the Decision Boundary of Deep Neural Networks
KAUST(沙特阿拉伯国王科技大学);CEMSE(计算、能源与数学科学与工程学院(CEMSE))
虽然深度学习模型和技术已经取得了巨大的经验成功,但我们对许多方面的成功来源的理解仍然非常有限。为了弥补这一差距,我们研究了生产深度学习架构的决策边界,该架构对训练数据和模型都有较弱的假设。我们证明,理论和经验,神经网络的最后一个权重层收敛到一个线性SVM训练的输出上的最后一个隐藏层,为二进制的情况下和多类的情况下,常用的交叉熵损失。此外,我们的经验表明,训练一个神经网络作为一个整体,而不是只微调最后一个权重层,可能会导致更好的偏置常数的最后一个权重层,这是很重要的泛化。除了促进对深度学习的理解外,我们的结果还有助于解决深度学习的广泛实际问题,例如灾难性遗忘和对抗性攻击。实验代码可在www.example.com上获得
2019-01-01 cs.AI cs.LG cs.NE
Classification regions of deep neural networks
University of California, Los Angeles(加州大学洛杉矶分校);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文的目标是分析深度神经网络分类器在输入空间中的几何性质。我们专门研究了由深度网络创建的分类区域的拓扑结构,以及它们相关的决策边界。通过系统的实证调查,我们表明,最先进的深度网络学习连接的分类区域,并且数据点附近的决策边界在大多数方向上是平坦的。我们进一步在深度网络的两个看似无关的属性之间建立了本质联系:它们对输入中的附加扰动的敏感性,以及它们的决策边界的曲率。事实上,决策边界弯曲的方向显著地表征了分类器最易受影响的方向。最后,我们利用深度网络的决策边界曲率的基本不对称性,并提出了一种方法来区分原始图像和被小的对抗性示例扰动的图像。我们证明了这种纯粹的几何方法的有效性,用于检测图像中的小对抗扰动,并恢复扰动图像的标签。
2017-05-26 cs.AI cs.CV cs.LG
Effective Decision Boundary Learning for Class Incremental Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对类增量学习中决策边界对新类过拟合问题,提出有效决策边界学习算法(EDBL),通过重采样与Mixup知识蒸馏及增量影响平衡方法,同时提升蒸馏性能并解决数据不平衡,在多个基准上达到最优。
2024-09-26 cs.CV cs.LG
Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯)
本文提出一种决策边界感知的知识巩固蒸馏方法,通过在保留旧边界的同时适度扩展至失败案例,解决了实例增量学习中灾难性遗忘与概念漂移问题,并发现教师模型是更好的增量学习器。
2024-06-05 cs.CV cs.LG
Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation
Chung-Ang University(中央大学);Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(中央大学高级影像科学、多媒体与电影研究生院);Department of Artificial Intelligence, Chung-Ang University(中央大学人工智能系)
针对低资源场景下文本数据增强方法受限及鲁棒性不足的问题,提出基于决策边界感知的数据增强策略,通过移近潜在特征、重构生成软标签模糊样本并结合mid-K采样提升多样性,实验证明其有效性与可扩展性。
2024-03-22 cs.AI cs.CL cs.LG
"Where Can I Trust You?": Boundary-Aware Evaluation of Surrogate Fidelity
本研究探究代理模型与教师模型的不一致性是否集中于教师决策边界附近,发现边界附近保真度显著更低,且基于置信度区域的条件化一致性比全局分数更能预测评估集变化时的表现,但边界稳定性受深度教师训练随机性影响。
2026-09-29 cs.LG
Sentiment Analysis Based on RoBERTa for Amazon Review: An Empirical Study on Decision Making
本研究采用RoBERTa模型对亚马逊评论做情感分析,验证模型有效性并结合行为经济学挖掘消费者行为规律,为决策与营销提供参考。
2024-10-18 cs.AI cs.LG stat.AP
Improved Analysis of UCRL2 with Empirical Bernstein Inequality
我们考虑的问题,探索开发的沟通马尔可夫决策过程。我们用经验伯恩斯坦不等式(UCRL 2B)对UCRL 2进行了分析。对于具有$S$状态、$A$动作、$Γ\leq S$下一状态和直径$D$的任何MDP,UCRL 2B的遗憾被限制为$\widetilde{O}(\sqrt{DΓS A T})$。
2020-07-10 cs.LG stat.ML
Small Data, Big Decisions: Model Selection in the Small-Data Regime
DeepMind(深度思维)
高度过参数化的神经网络可以表现出令人好奇的强大泛化性能--为了更好地理解这一现象,最近已经积累了大量的理论和实证研究。与大多数以前的工作相反,这些工作通常认为性能是模型大小的函数,在本文中,我们经验性地研究了当训练集的大小在多个数量级上变化时的泛化性能。这些系统性的实验产生了一些有趣且可能非常有用的观察结果;也许最值得注意的是,在较小的数据子集上进行训练可以导致更可靠的模型选择决策,同时享受更小的计算成本。此外,我们的实验使我们能够估计最小描述LQs的常见数据集给定现代神经网络架构,从而铺平了道路的原则模型选择考虑到奥卡姆剃刀。
2020-09-26 cs.LG stat.ML
EPASAD: Ellipsoid decision boundary based Process-Aware Stealthy Attack Detector
IIT Kanpur(印度理工学院坎普尔分校)
由于关键基础设施(CI)在国家经济中的重要性,它们一直是网络攻击者有利可图的目标。这些关键基础设施通常是网络物理系统(CPS),如电网,水和污水处理设施,石油和天然气管道等,近年来,这些系统多次遭受网络攻击。研究人员一直在为CI开发网络安全解决方案,以避免持久的损害。根据标准框架,基于识别、保护、检测、响应和恢复的网络安全是这些研究的核心。检测正在进行的攻击,逃避标准的保护,如防火墙,防病毒和主机/网络入侵检测已经变得越来越重要,因为这种攻击最终会影响系统的物理动态。因此,物理动力学中的异常检测被证明是实现纵深防御的有效手段。PASAD是传感器/致动器数据中的异常检测的一个示例,其表示这样的系统的物理动态。我们提出了EPASAD,它改进了PASAD中使用的检测技术来检测这些微隐身攻击,因为我们的实验表明,PASAD的基于球形边界的检测无法检测到。我们的方法EPASAD通过使用椭球边界克服了这一点,从而在各个维度上收紧边界,而球形边界平等地对待所有维度。我们验证EPASAD使用的数据集产生的TE过程模拟器和C-town数据集。实验结果表明,EPASAD在两个数据集上分别使PASAD的平均召回率提高了5.8%和9.5%。
2022-04-08 cs.CR cs.LG
Dynamics to decision: A mathematical theory of Lyapunov spectra and decision boundaries in deep classifiers
Colorado State University(科罗拉多州立大学)
本文提出将深度分类器视为动力系统,通过有限时间最大Lyapunov指数(FTMLE)分析决策边界几何,证明其在不同层与边界的关系,并提出几何感知微调方法。
2026-10-01 cs.LG cs.SY eess.SY
Boundary-Aware Uncertainty for Feature Attribution Explainers
Northeastern University(东北大学)
本文提出 GPEC 框架,通过融合决策边界感知与解释函数逼近的不确定性,并引入测地线核,量化任意黑盒分类器特征归因解释的可信度。
2024-03-04 cs.LG
On the Statistical Optimality of Optimal Decision Trees
本文研究了最优决策树在高维回归和分类中的统计性能,通过统一集中框架和新的函数类,建立了ERM树的最优性理论和鲁棒保证。
2026-03-16 cs.LG math.ST stat.ML
Multiplicative Logit Adjustment Approximates Neural-Collapse-Aware Decision Boundary Adjustment
The University of Tokyo(东京大学)
本文从神经坍缩视角提出最优决策边界调整理论,并证明乘性 logit 调整(MLA)可近似该最优方法,同时通过长尾数据集实验验证其有效性并给出超参数调节指导。
2025-03-10 cs.LG
Understanding Clinical Decision-Making in Traditional East Asian Medicine through Dimensionality Reduction: An Empirical Investigation
Seoul National University College of Medicine(首尔大学医学院);Gachon University College of Korean Medicine(嘉泉大学韩医学院)
本研究以八纲辨证和《伤寒论》数据为基础,通过降维视角和定量分析证明表里辨证包含最抽象且最具泛化性的症状信息,并有助于症状到方剂的高效映射,为传统东亚医学的AI诊断工具开发提供了客观框架。
2024-09-29 cs.AI cs.LG
Avoid Forgetting by Preserving Global Knowledge Gradients in Federated Learning with Non-IID Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Arizona State University(亚利桑那州立大学);University of California San Diego(加州大学圣地亚哥分校);Purdue University(普渡大学);University of Maryland College Park(马里兰大学学院市分校)
本文针对联邦学习中非独立同分布数据导致客户端遗忘全局决策边界的问题,提出 FedProj 框架,通过服务器端集成知识迁移损失和基于公共无标签数据集平均集成 logits 的情景记忆调节局部梯度更新,实验表明其性能大幅超越现有方法。
2025-06-30 cs.AI cs.CV cs.DC