Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学)
对于许多应用,利用DNN(深度神经网络)需要以关于能耗、存储器要求、吞吐量等的优化方式在目标架构上实现。DNN压缩用于在硬件上部署DNN之前减少DNN的存储器占用和复杂性。近年来,人们对人工智能(人工智能)方法的理解和解释产生了一个新的研究领域,称为可解释人工智能。可解释的人工智能方法使我们能够更好地理解DNN的内部工作,例如不同神经元和特征的重要性。可解释人工智能的概念提供了一个机会来改进DNN压缩方法,例如量化和修剪,这些方法到目前为止还没有得到充分的探索。在本文中,我们使用可解释的AI方法:主要是DeepLIFT方法。我们将这些方法用于(1)DNN的修剪;这包括\ac{CNN}过滤器的结构化和非结构化修剪以及全连接层的修剪权重,(2)使用聚类算法的DNN权重的非均匀量化;这也被称为权重共享,以及(3)基于整数的混合精度量化;这是DNN的每一层可以使用不同数目的整数比特的地方。我们使用典型的图像分类数据集和常见的深度学习图像分类模型进行评估。在所有这三种情况下,我们展示了在DNN压缩中使用可解释AI的显着改进以及新的见解和机会。
2020-08-20 cs.AI cs.CV cs.LG
DKM: Differentiable K-Means Clustering Layer for Neural Network Compression
Apple(苹果公司)
深度神经网络(DNN)模型压缩用于有效的设备上推理对于降低存储器需求并将用户数据保持在设备上变得越来越重要。为此,我们提出了一种新的可微分k均值聚类层(DKM)及其在基于训练时权重聚类的DNN模型压缩中的应用。DKM将k-means聚类作为注意力问题,并实现DNN参数和聚类中心的联合优化。与依赖于额外的正则化器和参数的先前工作不同,基于DKM的压缩保持原始损失函数和模型架构固定。我们在各种DNN模型上评估了基于DKM的压缩,用于计算机视觉和自然语言处理(NLP)任务。我们的研究结果表明,DKM在ImageNet 1 k和GLUE基准测试中提供了卓越的压缩和准确性权衡。例如,基于DKM的压缩可以在ResNet 50 DNN模型上提供74.5%的top-1 ImageNet 1 k准确度,模型大小为3.3MB(29.4x模型压缩因子)。对于MobileNet-v1,这是一个具有挑战性的DNN压缩,DKM提供了63.9%的top-1 ImageNet 1 k精度与0.72 MB的模型大小(22.4倍模型压缩因子)。这一结果比当前最先进的DNN压缩算法高出6.8%的top-1精度和33%的相对较小的模型大小。此外,DKM可以将DistilBERT模型压缩11.8倍,在GLUE NLP基准测试中损失最小(1.1%)的准确性。
2022-02-20 cs.AI cs.CV cs.LG
A Regularization Method to Improve Adversarial Robustness of Neural Networks for ECG Signal Classification
University of Miami(迈阿密大学)
心电图(ECG)是最广泛使用的监测人类心脏状况的诊断工具。通过使用深度神经网络(DNN),ECG信号的解释可以完全自动化,以便在几分之一秒内识别患者心脏中的潜在异常。研究表明,给定足够大的训练数据量,用于ECG分类的DNN准确性可以达到人类专家心脏病专家水平。然而,尽管DNN在分类准确性方面表现出色,但DNN非常容易受到对抗性噪声的影响,这些噪声是DNN输入中的细微变化,并可能导致错误的类别标签预测。提高DNN对对抗性噪声的鲁棒性是具有挑战性和必要性的,对抗性噪声对生命至关重要的应用构成威胁。在这项工作中,我们提出了一种正则化方法,以提高DNN的鲁棒性的噪声信号比(NSR)的角度为ECG信号分类的应用。我们在PhysioNet MIT-BIH数据集和CPSC 2018 ECG数据集上评估了我们的方法,结果表明,我们的方法可以大大增强DNN对对抗攻击产生的对抗性噪声的鲁棒性,并且在干净数据上的准确性变化最小。
2022-03-15 cs.AI cs.CV cs.LG
Improve robustness of DNN for ECG signal classification:a noise-to-signal ratio perspective
University of Miami(迈阿密大学)
心电图(ECG)是监测心血管系统状况的最广泛使用的诊断工具。深度神经网络(DNN)已在许多研究实验室中开发,用于自动解释ECG信号,以识别患者心脏的潜在异常。研究表明,如果数据量足够大,DNN的分类精度可以达到人类专家心脏病专家的水平。基于DNN的自动ECG诊断系统将是缺乏人类专家心脏病专家的发展中国家患者的负担得起的解决方案。然而,尽管DNN在分类准确性方面表现出色,但已经表明DNN非常容易受到对抗性攻击:DNN输入的细微变化可能导致高置信度的错误分类输出。因此,提高用于ECG信号分类的DNN的对抗鲁棒性是具有挑战性和必要的,这是一个生命关键的应用。在这项工作中,我们提出了从信噪比(NSR)的角度来提高DNN的鲁棒性,并开发了两种方法来最小化训练过程中的NSR。我们在PhysionNets MIT-BIH数据集上对所提出的方法进行了评估,结果表明,我们提出的方法增强了对PGD对抗攻击和SPSA攻击的鲁棒性,并且在干净数据上的准确性变化最小。
2021-04-15 cs.CV cs.LG eess.SP
Faster Convergence & Generalization in DNNs
University College London(伦敦大学学院)
深度神经网络在过去几年中获得了巨大的普及。它们已被应用于几乎所有领域的分类任务。尽管取得了成功,但深度网络在足够大的数据集上进行训练即使是中等规模的模型也会非常缓慢。此外,这些网络需要大量的数据才能进行概括。加速深度网络中的收敛和泛化的重要性怎么强调都不为过。在这项工作中,我们开发了一个优化算法的基础上,来自minibatches,导致更快的收敛的广义最优更新。最后,我们在两个基准数据集上证明了所提出的方法比传统的反向传播方法实现了两个数量级的速度,并且对噪声/过拟合更具鲁棒性。
2018-10-10 cs.LG stat.ML
Improving DNN Robustness to Adversarial Attacks using Jacobian Regularization
Tel Aviv University(特拉维夫大学)
深度神经网络最近在包括视觉和语音处理任务在内的各种应用中表现出了巨大的性能。然而,除了它们能够以如此高的准确度执行这些任务之外,已经表明它们非常容易受到对抗攻击的影响:输入的微小变化会导致网络在高置信度下出错。这种现象暴露了这些网络的固有缺陷及其良好的泛化能力。因此,为对抗攻击提供鲁棒性是网络训练中的一个重要挑战,这导致了广泛的研究。在这项工作中,我们提出了一种理论启发的新方法来提高网络的鲁棒性。我们的方法使用网络雅可比矩阵的Frobenius范数进行正则化,在常规训练完成后,将其用作后处理。我们的经验表明,它会导致增强的鲁棒性的结果与原始网络的准确性的最小变化。
2019-05-28 cs.CR cs.CV cs.LG
Is the Last Layer Sufficient for Uncertainty Quantification?
School of Mathematics and Physics, University of Queensland, Australia(昆士兰大学数学与物理学院,澳大利亚);School of Mathematics and Statistics, University of Melbourne, Australia(墨尔本大学数学与统计学学院,澳大利亚);Department of Electrical and Electronic Engineering, University of Melbourne, Australia(墨尔本大学电子与电气工程系,澳大利亚);ARC Training Centre for Information Resilience (CIRES), Brisbane, Australia(信息韧性ARC培训中心(CIRES),布里斯班,澳大利亚)
通过理论分析和实验评估,比较全网络线性化与最后一层线性化在深度神经网络认知不确定性量化中的性能,发现最后一层近似在保持相当UQ性能的同时显著提升计算效率。
2026-05-29 cs.LG stat.ML
Adaptive Approximation and Generalization of Deep Neural Network with Intrinsic Dimensionality
Rutgers University(罗格斯大学);The University of Tokyo(东京大学);Komaba Institute for Science, The University of Tokyo(东京大学驹场科学研究所);Center for Advanced Intelligence Project, RIKEN(理化学研究所革新智能综合研究中心)
在这项研究中,我们证明了协变量的内在低维度是决定深度神经网络(DNN)性能的主要因素。DNN通常提供出色的经验性能。因此,许多研究积极研究DNN的理论特性,以了解其潜在机制。特别是,DNN在高维数据方面的行为是最关键的问题之一。然而,这个问题还没有得到充分的研究方面的协变量,虽然高维数据实际上具有较低的内在维数。在这项研究中,我们推导出的近似误差和泛化误差与本质上低维协变量的DNN的界限。我们应用闵可夫斯基维数的概念,并开发了一种新的证明技术。因此,我们证明了DNN的误差收敛速度不依赖于数据的名义高维,而是依赖于其较低的内在维数。我们进一步证明了该速率在极大极小意义下是最优的。我们通过证明DNN可以处理比其他自适应估计器更广泛的一类内在低维数据来确定DNN的优势。最后,我们进行了数值模拟,以验证理论结果。
2020-09-17 cs.LG stat.ML
Optimizing DNN Inference on Multi-Accelerator SoCs at Training-time
Politecnico di Torino(都灵理工大学)
针对多加速器异构SoC上DNN映射的精度-效率权衡问题,提出训练阶段的硬件感知工具ODiMO,通过细粒度分层拆分并行映射实现帕累托最优,大幅提升推理能效与延迟表现。
2025-02-21 cs.LG
SwapNet: Efficient Swapping for DNN Inference on Edge AI Devices Beyond the Memory Budget
City University of Hong Kong(香港城市大学)
针对边缘AI设备内存不足限制DNN部署的问题,本研究提出SwapNet中间件,通过分块交换并消除冗余内存操作,在超内存需求2.32-5.81倍时仍实现接近充足内存的推理延迟。
2024-01-30 cs.AI cs.DC cs.LG
Operational Calibration: Debugging Confidence Errors for DNNs in the Field
State Key Lab of Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
经过训练的DNN模型越来越多地被用作软件系统的组成部分,但它们在该领域的表现往往不足。一个特别具有破坏性的问题是,DNN模型经常给出高置信度的错误预测,这是由于操作数据和训练数据之间不可避免的轻微差异。为了尽量减少由于不准确的信心造成的损失,操作校准,即,针对DNN分类器的操作域校准DNN分类器的置信度函数成为整个系统工程中的必要调试步骤。考虑到标记操作数据的预算有限和DNN模型的可解释性较弱,操作校准是困难的。我们提出了一种贝叶斯方法来操作校准,逐渐校正的信心下校准与少量的标记的操作数据故意从一个较大的未标记的操作数据集选择的模型。通过利用DNN模型的学习表示的局部性并将校准建模为高斯过程回归,该方法变得有效和高效。对各种实际数据集和DNN模型的综合实验表明,它的性能明显优于其他方法,在一些困难的任务中,它消除了约71%至97%的高置信度(>0.9)错误,而实际学习技术所需的最小标记操作数据量仅为10%左右。
2020-09-13 cs.LG cs.SE stat.ML
MemSE: Fast MSE Prediction for Noisy Memristor-Based DNN Accelerators
Polytechnique Montreal(蒙特利尔综合理工学院);IMT Atlantique(大西洋国立高等矿业电信学校);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
忆阻器使得能够在存储器中计算矩阵向量乘法(MVM),并且因此在高度提高深度神经网络(DNN)推理加速器的能量效率方面显示出巨大的潜力。然而,忆阻器中的计算受到硬件非理想性的影响,并且受到可能对系统性能产生负面影响的不同噪声源的影响。在这项工作中,我们从理论上分析了DNN的均方误差,使用忆阻器交叉杆计算MVM。我们考虑了量化噪声(由于需要减小DNN模型大小)和编程噪声(由于在编程忆阻值期间的可变性)。对预训练的DNN模型的模拟展示了分析预测的准确性。此外,所提出的方法是几乎两个数量级的速度比蒙特卡洛模拟,从而使它有可能优化的实施参数,以实现最小的误差为给定的功率约束。
2022-05-03 cs.ET cs.LG cs.NE
Learning Deep Morphological Networks with Neural Architecture Search
ENSTA Paris, Institut Polytechnique de Paris(巴黎高等先进技术学院,巴黎理工学院);Safrantech, Safran Group(赛峰技术公司,赛峰集团);Mines ParisTech, PSL Research University(巴黎高等矿业学院,巴黎文理研究大学);National University of Singapore(新加坡国立大学)
深度神经网络(DNN)是通过顺序执行线性和非线性过程生成的。使用线性和非线性过程的组合对于生成足够深的特征空间至关重要。大多数非线性算子是激活函数或池函数的导数。数学形态学是为各种图像处理问题提供非线性算子的数学分支。在本文中,我们研究了在端到端深度学习框架中集成这些操作的实用性。DNN旨在为特定作业获取真实的表示。形态学算子给出拓扑描述符,其传达关于图像中描绘的对象的形状的显著信息。我们提出了一种基于元学习的方法,将形态算子纳入DNN。学习的架构展示了我们的新形态操作如何显着提高DNN在各种任务上的性能,包括图片分类和边缘检测。
2022-07-27 cs.AI cs.CV cs.LG
Contravariance Theory: Strong Alignment for Minimal Solutions to Hard Tasks
研究神经人工智能中深度神经网络模型与大脑比较及趋同进化问题,通过证明两个最小DNN解在硬任务中的对齐特性,形式化逆变概念,指出强任务下网络比较度量选择不敏感且趋同进化或不可避免。
2026-08-03 cs.LG q-bio.NC
Adaptive Adversarial Training to Improve Adversarial Robustness of DNNs for Medical Image Segmentation and Detection
University of Miami(迈阿密大学)
众所周知,深度神经网络(DNN)容易受到对抗性攻击,并且DNN的对抗性鲁棒性可以通过向训练数据添加对抗性噪声(例如,标准对抗训练(SAT)。然而,不适当的噪声添加到训练数据可能会降低模型的性能,这被称为准确性和鲁棒性之间的权衡。这个问题已经充分研究了整个图像的分类,但很少被探索的图像分析任务在医学应用领域,包括图像分割,地标检测,和对象检测任务。在本研究中,我们表明,对于这些医学图像分析任务,SAT方法存在一个严重的问题,限制了其实际用途:它为所有训练样本生成固定且统一的噪声水平,以进行稳健的DNN训练。高噪声水平可能导致模型性能的大幅降低,而低噪声水平可能无法有效提高鲁棒性。为了解决这个问题,我们设计了一种自适应边缘对抗训练(AMAT)方法,该方法生成样本自适应对抗噪声,用于鲁棒DNN训练。与现有的面向分类的对抗训练方法相比,我们的AMAT方法使用了损失定义的边际策略,只要损失函数定义良好,它就可以应用于不同的任务。我们成功地将我们的AMAT方法应用于最先进的DNN,使用五个公开可用的数据集。实验结果表明:(1)我们的AMAT方法可以应用于医学图像应用领域的三个看似不同的任务;(2)AMAT在对抗鲁棒性方面优于SAT方法;(3)与SAT方法相比,AMAT在干净数据上的预测精度降低最小;(4)AMAT的训练时间成本与SAT几乎相同。
2022-06-22 cs.AI cs.CV cs.LG
Minimal Sufficient Representations for Self-interpretable Deep Neural Networks
Center of Statistical Research, School of Statistics(统计研究中心,统计学院);New Cornerstone Science Laboratory(新基石科学实验室);Southwestern University of Finance and Economics(西南财经大学);School of Mathematics and Statistics(数学与统计学院)
本文提出DeepIn框架,通过自适应识别和学习最小表示,提升深度神经网络的可解释性与泛化能力,实验证明其在生物医学和视觉任务中提高了预测精度和可解释性。
2026-03-25 cs.LG stat.ME
Neural Networks Weights Quantization: Target None-retraining Ternary (TNT)
WeBank(微众银行);Harbin Engineering University(哈尔滨工程大学);University of Hyogo(兵库县立大学);Gakushuin University(学习院大学)
深度神经网络(DNN)的权重量化已被证明是在边缘设备(如移动设备、ASIC和FPGA)上实现DNN的有效解决方案,因为它们没有足够的资源来支持涉及数百万个高精度权重和乘法累加运算的计算。本文提出了一种新的方法来压缩DNN的高精度权重向量到三进制向量,即基于余弦相似性的目标非训练三进制(TNT)压缩方法。我们的方法利用余弦相似性而不是文献中常用的欧氏距离,并成功地减少了搜索空间的大小,以找到从3N到N的最佳三元向量,其中N是目标向量的维数。因此,TNT寻找理论上最优的三元向量的计算复杂性仅为O(N log(N))。此外,我们的实验表明,当我们用高精度参数对DNN模型进行三值化时,所获得的量化模型可以表现出足够高的精度,因此不需要重新训练模型。
2019-12-18 cs.CC cs.LG
An Analysis of the Expressiveness of Deep Neural Network Architectures Based on Their Lipschitz Constants
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
深度神经网络(DNN)由于其对高度非线性函数建模的能力而成为函数逼近的流行数学工具。它们的应用范围从图像分类和自然语言处理到基于学习的控制。尽管他们在经验上取得了成功,但仍然缺乏对这种深层架构的代表性力量的理论理解。在这项工作中,我们提供了一个理论分析的表现力的全连接,前馈DNN与1-Lipschitz激活函数。特别是,我们通过其Lipchitz常数来表征DNN的表达能力。通过利用随机矩阵理论,我们表明,给定足够大和随机分布的权重,DNN的Lipschitz常数的预期上限和下限以及它们的表达能力随深度呈指数增长,随宽度呈多项式增长,这使得DNN架构的深度有利于有效的函数逼近。这一观察结果与基于DNN的替代表达性度量的既定结果一致。与大多数现有的工作相比,我们基于DNN的Lipschitz性质的分析适用于更广泛的激活非线性,并可能使我们能够在DNN的复杂性与DNN近似的函数之间进行合理的比较。我们认为这项工作是朝着理解DNN的表达能力和为实际应用(如系统控制)设计适当的深度架构迈出的一步。
2019-12-24 cs.LG cs.RO cs.SY
ENOS: Energy-Aware Network Operator Search for Hybrid Digital and Compute-in-Memory DNN Accelerators
这项工作提出了一种新的能量感知网络运营商搜索(ENOS)方法,以解决深度神经网络(DNN)加速器的能量准确性权衡。近年来,已经提出了新的推理算子来提高DNN的计算效率。通过对算子的扩充,探索了相应的新的计算模式。然而,DNN运算符的简化总是以较低的精度为代价,特别是在复杂的处理任务中。我们提出的ENOS框架允许推理算子和计算模式的最佳逐层集成,以实现所需的能量和精度的平衡。ENOS中的搜索被公式化为一个连续优化问题,可以使用典型的梯度下降方法求解,从而可以以最小的训练成本增加扩展到更大的DNN。我们在两种情况下表征ENOS。在第一种设置中,对于数字加速器,我们讨论了乘法累加(MAC)核心上的ENOS,这些核心可以重新配置为不同的运算符。讨论并比较了单目标和双目标的ENOS训练方法。我们还讨论了ENOS中的顺序操作符分配策略,该策略仅在一个训练步骤中学习一个层的分配,从而在收敛到最佳操作符分配时具有更大的灵活性。此外,根据贝叶斯原理,还提出了一种基于抽样的ENOS变分模式。ENOS在CIFAR10和CIFAR100上流行的DNN ShuffleNet和SqueezeNet上具有特征。
2021-04-12 cs.LG cs.SY eess.SY
Minimal Achievable Sufficient Statistic Learning
California Institute of Technology(加州理工学院);Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所)
我们介绍了最小可重复充分统计(MASS)学习,这是一种用于机器学习模型的训练方法,它试图针对一类被优化的函数(例如深度网络)产生最小的充分统计。在推导MASS学习时,我们还引入了保守差分信息(CDI),这是一种信息理论量,与标准互信息不同,它可以有效地应用于确定性相关的连续随机变量,如深度网络的输入和输出。在一系列实验中,我们证明了使用MASS学习训练的深度网络在监督学习和不确定性量化基准上具有竞争力的性能。
2019-06-11 cs.LG stat.ML
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
实证研究表明,基于梯度的方法可以学习深度神经网络(DNN),在过参数化机制中具有非常好的泛化性能,其中DNN可以很容易地适应训练数据的随机标记。最近,一系列工作在理论上解释了,通过过度参数化和适当的随机初始化,基于梯度的方法可以找到DNN训练损失的全局最小值。然而,现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的,并且与训练算法无关。在这项工作中,我们推导出深度ReLU网络的算法相关泛化误差界,并表明在对数据分布的某些假设下,具有适当随机初始化的梯度下降(GD)能够训练一个充分过参数化的DNN,以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
Neural Network Verification with Proof Production
The Hebrew University of Jerusalem(希伯来大学);Stanford University(斯坦福大学);East China Normal University(华东师范大学)
深度神经网络(DNN)越来越多地用于安全关键系统,迫切需要保证其正确性。因此,验证社区已经设计了多种用于验证DNN的技术和工具。当DNN验证器发现触发错误的输入时,很容易确认;但是当他们报告不存在错误时,无法确保验证工具本身没有缺陷。由于在DNN验证工具中已经观察到多个错误,这使得DNN验证的适用性受到质疑。在这项工作中,我们提出了一种新的机制,用于增强基于单纯形的DNN验证器的证明生产能力:生成一个易于检查的不可满足性证据,证明没有错误。我们的证明生产是基于著名的法卡斯引理的有效适应,结合处理分段线性函数和数值精度误差的机制。作为概念证明,我们在Marabou DNN验证器上实现了我们的技术。我们的评估的安全关键系统的空中防撞表明,证明生产成功,在几乎所有的情况下,只需要最小的开销。
2022-08-27 cs.LG cs.LO
DNN Modularization via Activation-Driven Training
University of Southern California(南加州大学)
MODA通过激活驱动的模块化训练方法,减少训练时间并提升模型模块化效果,同时保持原有准确率。
2026-01-14 cs.LG
ForeCal: Random Forest-based Calibration for DNNs
Dream11
ForeCal是一种基于随机森林的DNN事后校准方法,通过弱单调性和范围保持性实现更精确的校准,优于现有方法并在保持判别能力的同时降低校准误差。
2024-09-04 cs.LG
EagleEye: Attack-Agnostic Defense against Adversarial Inputs (Technical Report)
Lehigh University(理海大学)
深度神经网络(DNN)天生容易受到对抗性输入的影响:这种恶意制作的样本会触发DNN行为不端,从而对DNN驱动的系统造成不利后果。缓解敌对性投入的根本挑战来自其适应性和可变性。现有的解决方案试图提高DNN对特定攻击的弹性;然而,这种静态防御通常可以通过自适应工程输入或新的攻击变体来规避。在这里,我们介绍了一个用于DNN系统的攻击不可知对抗篡改分析引擎。我们的设计利用了许多攻击背后的{ \em最小原则}:为了最大限度地提高攻击的规避性,对手通常会寻求最小可能的失真来将真实输入转换为对抗性输入。我们表明,这种做法需要在输入空间中的对抗性输入的独特的分布特性。通过以原则性的方式利用这些属性,QualleEye可以有效地区分对抗性输入,甚至发现它们正确的分类输出。通过使用一系列基准数据集和DNN模型进行广泛的实证评估,我们验证了QuilleEye的有效性。我们进一步调查对手的可能的对策,这意味着一个困难的困境,她:逃避的检测,过度的失真是必要的,从而显着减少攻击的逃避其他检测机制。
2018-08-01 cs.CR cs.LG
Adversarial Parameter Attack on Deep Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种新的DNN参数扰动攻击,称为对抗性参数攻击,即对DNN的参数进行小的扰动,使得被攻击DNN的精度不会降低太多,但其鲁棒性会降低很多。对抗性参数攻击比以前的参数扰动攻击更强,因为攻击更难被用户识别,并且被攻击的DNN以高概率对任何修改的样本输入给出错误的标签。证明了对抗参数的存在性。对于一个DNN $F_Θ$与参数集$Θ$满足一定的条件,它表明,如果DNN的深度是足够大的,那么存在一个敌对的参数集$Θ_a$ $Θ$,使$F_{Θ_a}$的准确性是等于$F_Θ$,但$F_{Θ_a}$的鲁棒性措施小于任何给定的界限。给出了一种有效的训练算法来计算对抗参数,并通过数值实验证明了该算法能够有效地产生高质量的对抗参数。
2022-03-20 cs.CR cs.LG
Mix-and-Match Pruning: Globally Guided Layer-Wise Sparsification of DNNs
1 Brandenburg Technical University, Cottbus, Germany;2 University of Zanjan, Iran;3 Tallinn University of Technology, Estonia;4 Leibniz Institute for High Performance Microelectronics, Frankfurt Oder, Germany
本文提出混合匹配剪枝方法,通过全局引导分层稀疏化DNNs,在不同层和架构对剪枝响应不同的情况下,生成多样化高质量剪枝配置,实现部署-ready的精度-稀疏度平衡。
2026-03-17 cs.AR cs.CV cs.LG
NeuRecover: Regression-Controlled Repair of Deep Neural Networks with Training History
Fujitsu Limited(富士通有限公司);National Institute of Informatics(国立信息学研究所)
鉴于对包括安全关键型应用在内的实际应用的需求日益增长,提高深度神经网络(DNN)质量的系统技术至关重要。关键的挑战来自于更新DNN的可控性。为了纠正某些行为而进行的再培训通常会对其他行为产生破坏性影响,导致回归,即,更新后的DNN在原始DNN正确处理输入的情况下失败。这个问题是至关重要的,当工程师需要调查的安全或信任的密集保证活动的失败。DNN的基于搜索的修复技术有可能通过仅对DNN内部的“负责参数”进行本地化更新来解决这一挑战。然而,潜力还没有被探索,以实现足够的可控性,以抑制回归DNN修复任务。在本文中,我们提出了一种新的DNN修复方法,该方法利用训练历史来判断哪些DNN参数应该改变或不应该改变以抑制回归。我们将该方法实现到一个名为NeuRecover的工具中,并使用三个数据集对其进行评估。我们的方法优于现有的方法,实现往往不到四分之一,甚至在某些情况下,十分之一,回归的数量。我们的方法是特别有效的,当维修要求是严格的,以修复特定的故障类型。在这种情况下,我们的方法显示出稳定的低回归率(<2%),在许多情况下,这是再训练引起的回归的十分之一。
2022-03-04 cs.LG cs.NE cs.SE
Differentiable Projection for Constrained Deep Learning
University of Tokyo(东京大学)
深度神经网络(DNN)在解决各个领域的不同任务方面取得了非凡的性能。然而,传统的DNN模型通过损失反向传播稳定地接近地面实况值。在某些应用中,可以容易地获得一些先验知识,例如地面实况观测所遵循的约束。在这里,我们试图给出一种通用的方法来结合这些约束的信息,以提高DNN的性能。从理论上讲,我们可以将这类问题表示为KKT条件可以解决的约束优化问题。在本文中,我们建议在DNN中使用可微投影层,而不是直接求解耗时的KKT条件。所提出的投影方法是可微的,并且不需要大量的计算。最后,我们还使用随机生成的合成数据集和使用PASCAL VOC数据集的图像分割任务进行了一些实验,以评估所提出的投影方法的性能。实验结果表明,投影方法是充分的,优于基线方法。
2021-11-21 cs.LG
Confidence Aware Neural Networks for Skin Cancer Detection
Beheshti University(贝赫什提大学);University of Tehran(德黑兰大学);Isfahan University of Technology(伊斯法罕理工大学);Deakin University(迪肯大学)
深度学习(DL)模型由于其有前途的模式识别能力而在医学成像中受到特别关注。然而,深度神经网络(DNN)需要大量的数据,由于该领域缺乏足够的数据,迁移学习可能是一个很好的解决方案。用于疾病诊断的DNN专注于提高预测的准确性,而不提供关于其预测置信度的数字。了解DNN模型在计算机辅助诊断模型中的置信度对于获得临床医生对基于DL的解决方案的信心和信任是必要的。为了解决这个问题,这项工作提出了三种不同的方法来量化皮肤癌检测图像的不确定性。它还使用新的不确定性相关指标全面评估和比较了这些DNN的性能。所得到的结果表明,预测的不确定性估计方法是能够标记风险和错误的预测与高的不确定性估计。我们还表明,合奏方法是更可靠的捕捉不确定性,通过推理。
2021-07-24 cs.CV cs.LG eess.IV
Explaining Image Classifiers using Statistical Fault Localization
Queen’s University Belfast(贝尔法斯特女王大学);King’s College London(伦敦国王学院);University of Liverpool(利物浦大学);University of Oxford(牛津大学)
深度神经网络(DNN)的黑箱性质使得人们无法理解为什么会产生特定的输出,从而产生了对“可解释的人工智能”的需求。在本文中,我们表明,统计故障定位(SFL)技术从软件工程提供高质量的解释DNN的输出,我们定义的解释作为一个最小的子集功能足以作出相同的决定,为原始输入。我们提出了一种算法和一个工具,称为DeepCover,它综合了使用SFL的输入的功能的排名,并根据这个排名构造DNN的决策的解释。我们将DeepCover产生的解释与最先进的工具GradCAM,LIME,SHAP,RISE和Extremal进行了比较,并表明DeepCover产生的解释在广泛的实验中始终更好。在一个具有已知地面事实的基准测试集上,DeepCover达到了76.7%的准确率,比第二好的Extremal高出6%。
2020-07-17 cs.AI cs.LG
Breaking Transferability of Adversarial Samples with Randomness
University of Texas at Dallas(德克萨斯大学达拉斯分校);Purdue University(普渡大学)
我们研究了对抗攻击的可转移性在深度神经网络(DNN)所观察到的漏洞中的作用。我们证明,引入随机性的DNN模型足以击败对抗攻击,因为对手没有无限的攻击预算。不是让一个特定的DNN模型对完美的知识攻击(也就是白盒攻击)具有鲁棒性,而是在DNN大军中创建随机性,完全消除了完美的知识获取的可能性,从而导致DNN集成对最强形式的攻击具有更强的鲁棒性。我们还表明,当对手有一个无限的预算的数据扰动,所有的防御技术将最终打破预算的增加。因此,重要的是要了解对手不会进一步追求这一努力的博弈鞍点。此外,我们探讨了版本空间中攻击严重性与决策边界鲁棒性之间的关系。我们的经验表明,通过简单地向学习的权重添加一个小的高斯随机噪声,DNN模型可以将其对对抗攻击的弹性提高74.2%。更重要的是,我们表明,通过在每个查询请求中随机激活/揭示预训练DNN池中的模型,我们可以对对手的攻击策略施加巨大的压力。我们将我们的随机化技术与Encourage Adversarial Training技术进行了比较,并表明我们的随机化技术在不同的攻击预算约束下更优越。
2018-06-17 cs.CR cs.LG
Towards Hardware Supported Domain Generalization in DNN-Based Edge Computing Devices for Health Monitoring
RWTH Aachen University(亚琛工业大学)
本文面向可穿戴 ECG 健康监测,综述 ECG 加速器与域泛化方法,并提出基于单层校正的边缘 DG 部署方案,以极小内存开销将计算复杂度降低逾 2.5 倍、目标域 F1 平均提升逾 20%。
2025-03-12 cs.LG
Calibration-Aided Edge Inference Offloading via Adaptive Model Partitioning of Deep Neural Networks
Universidade Federal do Rio de Janeiro(里约热内卢联邦大学)
移动设备可以将基于深度神经网络(DNN)的推理卸载到云端,克服本地硬件和能源限制。然而,卸载增加了通信延迟,从而增加了总体推理时间,因此应该仅在需要时使用。解决这个问题的一种方法是使用基于早期退出DNN的自适应模型划分。因此,推断在移动终端处开始,并且中间层估计准确度:如果估计的准确度足够,则设备采取推断决策;否则,DNN的其余层在云中运行。因此,只有当设备不能以高置信度对样本进行分类时,才将推断卸载到云。这种卸载需要在设备处进行正确的准确度预测。然而,DNN通常是错误的,提供过度自信的决策。这项工作表明,通过模型划分使用一个错误校准的早期退出DNN进行卸载可以显着降低推理精度。相比之下,我们认为,在部署之前实施校准算法可以解决这个问题,允许更可靠的卸载决策。
2021-01-28 cs.LG cs.NI
Enhance CNN Robustness Against Noises for Classification of 12-Lead ECG with Variable Length
University of Miami(迈阿密大学)
心电图(ECG)是监测心血管系统状况的最广泛使用的诊断工具。深度神经网络(DNN)已在许多研究实验室中开发,用于自动解释ECG信号,以识别患者心脏的潜在异常。研究表明,如果数据量足够大,DNN的分类准确度可以达到人类专家心脏病专家的水平。然而,尽管DNN在分类准确性方面表现出色,但已经表明DNN非常容易受到对抗性噪声的影响,这些噪声是DNN输入的细微变化,并导致具有高置信度的错误类别标签预测。因此,提高DNN对对抗性噪声的鲁棒性对于ECG信号分类是具有挑战性和必要性的,这是一个生命攸关的应用。在这项工作中,我们设计了一个CNN的12导联心电图信号的分类与可变长度,我们采用了三种防御方法,以提高这个CNN的鲁棒性,这个分类任务。本研究中的ECG数据非常具有挑战性,因为样本量有限,并且每个ECG记录的长度在很大范围内变化。评估结果表明,我们定制的CNN达到了令人满意的F1得分和平均准确度,与CPSC 2018 ECG分类挑战中的前6名条目相当,并且防御方法增强了我们的CNN对对抗性噪声和白噪声的鲁棒性,并且在干净数据上的准确度降低最小。
2020-11-30 cs.CV cs.LG eess.SP
Accuracy Booster: Enabling 4-bit Fixed-point Arithmetic for DNN Training
EPFL(洛桑联邦理工学院);Korea University(高丽大学)
针对DNN训练的计算资源需求,本文提出Accuracy Booster技术,通过混合尾数的HBFP格式,在超过99%的训练算术中使用4位尾数,在保持SOTA精度的同时将算术密度至少提升2.3倍。
2024-05-31 cs.LG
Prediction Inference of Time Series with Standard ReLU Deep Neural Networks
Loyola University Chicago(芝加哥洛约拉大学)
该研究针对时间序列预测的不确定性量化问题,提出基于标准ReLU DNN的方法构建相关预测区间,通过理论推导和实验验证其有效性。
2026-08-18 cs.LG stat.CO stat.ML
Interlaced R2D2 DNN Series for Scalable Non-Cartesian MRI with Sensitivity Self-calibration
Institute of Sensors, Signals and Systems, Heriot-Watt University Edinburgh, United Kingdom(传感器、信号与系统研究所,赫里奥特-沃斯大学爱丁堡分校,英国);Department of Diagnostic Imaging and Interventional Radiology, Lausanne University and Hospital, Switzerland(诊断影像与介入放射学系,洛桑大学及医院,瑞士)
本文提出iR2D2,一种用于加速非笛卡尔k空间MRI图像重建的DNN系列框架,通过自校准敏感性图提升重建性能。
2026-05-02 cs.CV cs.LG eess.IV
Stability of Accuracy for the Training of DNNs Via the Uniform Doubling Condition
Penn State(宾夕法尼亚州立大学)
本文提出均匀加倍条件,确保深度神经网络训练中精度稳定性,并扩展至Leaky ReLU等分段线性激活函数。
2023-12-24 cs.LG math.OC
Using Undervolting as an On-Device Defense Against Adversarial Machine Learning Attacks
The Ohio State University(俄亥俄州立大学)
深度神经网络(DNN)分类器是一种强大的工具,可以驱动从图像识别到自动驾驶汽车等广泛的重要应用。不幸的是,DNN容易受到对抗攻击的攻击,这些攻击几乎影响了所有最先进的模型。这些攻击对输入进行了微小的不可察觉的修改,足以诱导DNN产生错误的分类。在本文中,我们提出了一种新的,轻量级的对抗性校正和/或检测机制的图像分类器,依赖于欠电压(运行芯片的电压略低于其安全裕度)。我们建议使用控制欠电压的芯片运行的推理过程,以引入有限数量的计算错误。我们表明,这些错误以一种可用于纠正分类或检测输入为对抗性的方式破坏了对抗性输入。我们评估所提出的解决方案在FPGA设计和通过软件仿真。我们评估了10次攻击,并在两个流行的DNN上显示出77%和90%的平均检测率。
2021-08-06 cs.AR cs.CR cs.LG
Progressive transfer learning for low frequency data prediction in full waveform inversion
Advanced Geophysical Technology, Inc.(先进地球物理技术公司);University of Houston(休斯顿大学)
为了有效抑制全波形反演(FWI)中的跳周现象,我们开发了一种深度神经网络(DNN)方法,通过利用地下地质和地球物理属性连接低频和高频数据的隐式关系来预测缺失的低频分量。为了解决这个具有挑战性的非线性回归问题,提出了两种新的策略来设计DNN架构和学习工作流程:1)双数据馈送; 2)渐进式迁移学习。通过双数据馈送结构,高频数据和相应的Beat Tone数据都被馈送到DNN中,以减轻特征提取的负担,从而降低网络复杂度和训练成本。第二种策略,渐进式迁移学习,使我们能够使用单个训练数据集无偏地训练DNN。与大多数已建立的训练数据集是固定的深度学习方法不同,在渐进式迁移学习的框架内,训练数据集以迭代的方式进化,同时逐渐吸收基于物理的反演模块检索的地下信息,逐步提高DNN的预测精度,并推动FWI过程摆脱局部最小值。渐进式迁移学习以互补的方式交替更新训练速度模型和DNN参数,使我们免于被大量的训练数据所淹没,并避免了欠拟合和有偏差的采样问题。数值实验验证了,在没有任何先验地质信息的情况下,渐进式迁移学习预测的低频数据对于FWI引擎来说足够准确,可以产生可靠的地下速度模型,而不会产生周期跳跃引起的伪影。
2019-12-20 cs.LG eess.SP physics.geo-ph