Explainable AI for ML jet taggers using expert variables and layerwise relevance propagation
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；University of Oregon（俄勒冈大学）
提出了一种框架，用于从射流子结构标记技术的深度神经网络（DNN）分类器中提取和理解决策信息。研究的一般方法是提供专家变量，增加输入（“eXpert AUGmented”变量，或XAUG变量），然后应用分层相关传播（LRP）的网络与和没有XAUG变量。XAUG变量在特定于网络的操作（如卷积或递归）后与中间层连接，并用于网络的最终层。比较添加和不添加XAUG变量的网络的结果表明，XAUG变量可以用来解释分类器的行为，当与低级特征结合时，可以提高区分能力，并且在某些情况下可以完全捕获分类器的行为。LRP技术可用于查找网络正在使用的相关信息，并且当与XAUG变量结合时，可用于对特征进行排名，从而允许找到捕获部分网络性能的精简特征集。在所提出的研究中，将XAUG变量添加到低级DNN将分类器的效率提高了30- 40%。除了性能改进之外，还提出了一种方法来量化这些DNN训练中的数值不确定性。
2021-05-12 cs.LG hep-ex hep-ph
Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators
University of Missouri（密苏里大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
基于系统阵列的深度神经网络（DNN）加速器最近因其低计算成本而获得了重视。然而，它们的高能耗对其在能量受限设备中的部署构成了瓶颈。为了解决这个问题，近似计算可以采用一些可容忍的精度损失的代价。然而，这种小的精度变化可能会增加DNN对不期望的细微干扰（例如永久性故障）的敏感性。永久性故障对精确DNN的影响已经在文献中进行了彻底的研究。相反，近似DNN加速器（AxDNN）中永久性故障的影响尚未得到充分研究。这种故障的影响可能随着AxDNN层中的故障位位置、激活函数和近似误差而变化。这种动态性对探索AxDNN的能量效率和故障恢复能力之间的权衡提出了相当大的挑战。为此，我们使用最先进的Evoaprox8b符号乘法器对不同AxDNN进行了广泛的逐层和逐位故障恢复和能量分析。特别是，我们改变固定在0，固定在1故障位的位置，和激活函数，以研究其影响使用最广泛使用的MNIST和时尚MNIST数据集。我们的定量分析表明，与精确的DNN加速器相比，永久性故障加剧了AxDNN的准确性损失。例如，AxDNN中的永久性故障可能导致高达66%的准确性损失，而在精确的DNN加速器中，相同的故障位可能仅导致9%的准确性损失。我们的研究结果表明，AxDNN中的故障恢复与能量效率正交。
2021-01-08 cs.AI cs.AR cs.LG
Nearly-tight bounds on linear regions of piecewise linear neural networks
Department of Electrical Engineering, Tsinghua University（清华大学电子工程系）
近年来，深度神经网络（DNN）的发展为人工智能开辟了一个崭新的时代。DNN被证明在解决非常复杂的问题方面非常出色，例如，视觉识别和文本理解，达到与人竞争甚至超越人的程度。尽管DNN取得了鼓舞人心的成功，但仍然缺乏彻底的理论分析来揭开其魔力的奥秘。DNN结构的设计主要取决于网络深度、神经元数量和激活方面的经验结果。最近发表的一些试图解释DNN的杰出作品已经建立了对其内部机制的初步了解。尽管如此，探索DNN如何运作的研究仍处于初始阶段，还有很大的改进空间。在本文中，我们扩展了关于线性区域边界的分段线性激活神经网络（PLNN）的研究。我们提出了（i）单层PLNN的线性区域的确切最大数量;（ii）多层PLNN的上限;以及（iii）整流器网络上线性区域的最大数量的更严格的上限。导出的边界也间接解释了为什么深层模型比浅层模型更强大，以及激活函数的非线性如何影响网络的表现力。
2018-12-26 cs.AI cs.LG stat.ML
Layerwise Change of Knowledge in Neural Networks
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）；Stevens Institute of Technology（史蒂文斯理工学院）
该研究拓展交互作用定义，首次提取并量化追踪DNN前向传播各层新出现与被遗忘的交互作用，为理解其学习行为、泛化能力变化及特征表示不稳定性提供新视角。
2024-09-13 cs.AI cs.CL cs.CV
An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture
UT Austin（德克萨斯大学奥斯汀分校）
本文提出一种两阶段自适应框架，通过逐层训练、正则化与稳定性增强机制构建稀疏DNN，并利用浅层网络后处理残差，在回归、分类及偏微分方程正逆问题中均优于传统网络且具备可解释性与可证明稳定性。
2024-09-22 cs.LG math.OC
Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs
Inception Institute of Artificial Intelligence（起源人工智能研究院）
条件分析通过探索曲率矩阵的频谱来揭示优化目标的景观。这在线性模型的理论上已经得到了很好的探索。我们将这种分析扩展到深度神经网络（DNN），以研究它们的学习动态。为此，我们提出了逐层条件分析，它独立地探索每一层的优化景观。这样的分析在理论上是支持的温和的假设，在实践中大致成立。基于我们的分析，我们表明，批量归一化（BN）可以稳定的训练，但有时会导致局部最小值的假象，这对学习有不利影响。此外，我们通过实验观察到BN可以改善优化问题的逐层条件。最后，我们发现一个非常深的残差网络的最后一个线性层显示病态行为。我们通过在最后一个线性层之前仅添加一个BN层来解决这个问题，这比原始和预激活的残差网络实现了更好的性能。
2020-07-29 cs.CV cs.LG
Beyond Backpropagation: Exploring Innovative Algorithms for Energy-Efficient Deep Neural Network Training
AGH University of Science and Technology（亚格技术科学大学）
本文提出无反向传播的MF算法，在能耗和训练时间上优于传统反向传播方法，同时在准确率上表现更优。
2025-09-23 cs.AI cs.LG
Optimization Variance: Exploring Generalization Properties of DNNs
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）；Nanyang Technological University（南洋理工大学）
与统计学习理论中的传统观点不同，深度神经网络（DNN）的测试误差通常表现为双下降：随着模型复杂度的增加，它首先遵循经典的U形曲线，然后显示第二次下降。通过偏差方差分解，最近的研究表明，钟形方差是模型方面的双下降（当DNN逐渐加宽时）的主要原因。本文研究逐时双下降，即，DNN的测试误差也随着训练时期的数量增加而显示出双下降。通过将偏差-方差分析扩展到0 - 1损失的逐时期双下降，我们惊奇地发现，方差本身，没有偏差，与测试误差一致地变化。受这一结果的启发，我们提出了一种新的度量，优化方差（OV），来衡量由同一迭代中随机训练批次的随机梯度引起的模型更新的多样性。OV可以仅使用来自训练集的样本来估计，但与（未知）\emph{test}误差很好地相关，因此可以在不使用验证集的情况下实现早期停止。
2021-06-03 cs.AI cs.LG
PQA: Exploring the Potential of Product Quantization in DNN Hardware Acceleration
Cornell University（康奈尔大学）；Flower Labs（Flower实验室）；University of Cambridge（剑桥大学）
本文提出PQA硬件加速器，通过乘积量化将MAC替换为内存查找，并实证研究PQ参数化与训练方法，在紧凑型DNN上实现单位面积性能最高提升3.1倍且准确率损失极小。
2024-03-28 cs.AR cs.LG
Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；Key Lab. of Machine Perception, School of Artificial Intelligence, Peking University（北京大学人工智能学院机器感知重点实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；University of California, Los Angeles（加州大学洛杉矶分校）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
众所周知，深度神经网络（DNN）容易受到对抗攻击的攻击。已经提出了一系列的防御方法来训练对抗鲁棒的DNN，其中对抗训练已经证明了有希望的结果。然而，尽管对对抗训练有了初步的理解，但从架构的角度来看，什么样的配置可以带来更强大的DNN仍然不清楚。在本文中，我们通过全面调查网络宽度和深度对对抗训练DNN鲁棒性的影响来解决这一差距。具体来说，我们做了以下关键观察：1）更多的参数（更高的模型容量）并不一定有助于对抗鲁棒性; 2）在网络的最后阶段（最后一组块）减少容量实际上可以提高对抗鲁棒性; 3）在相同的参数预算下，存在对抗鲁棒性的最佳架构配置。我们还提供了一个理论分析，为什么这样的网络配置可以帮助鲁棒性。这些架构见解可以帮助设计对抗性强的DNN。代码可在\url{https://github.com/HanxunH/RobustWRN}上获得。
2022-01-23 cs.CV cs.LG stat.ML
Exploring DNN Robustness Against Adversarial Attacks Using Approximate Multipliers
Shahid Bahonar University of Kerman（克尔曼沙希德巴霍纳尔大学）；York University（约克大学）；Instituto Tecnológico de Costa Rica（哥斯达黎加技术学院）
本文利用近似乘法器替换深度神经网络中的精确乘法器，在可行时间内探索并提升了模型对抗攻击的鲁棒性，无攻击时精度下降最多7%，攻击时鲁棒精度提升最多10%。
2024-04-17 cs.CR cs.LG
Utilizing Mutations to Evaluate Interpretability of Neural Networks on Genomic Data
Ghent University（根特大学）；University of Edinburgh（爱丁堡大学）
尽管深度神经网络（DNN）在涉及基因组数据的许多问题上取得了最先进的结果，但由于其黑箱性质，让DNN解释其决策过程一直是一个重大挑战。让DNN解释其预测推理的一种方法是通过归因方法，该方法被认为突出了对预测贡献最大的输入部分。由于存在众多的归因方法和缺乏定量的结果，这些方法的保真度，基于序列的任务的归因方法的选择主要是定性的。在这项工作中，我们提出了一种利用点突变的计算方法，从而朝着确定最忠实的归因方法迈出了一步。七个流行的归因方法提供定量结果，我们发现分层相关传播（LRP）是最合适的翻译起始，与LRP确定两个重要的生物特征翻译：Kozak序列的完整性以及过早终止密码子的不利影响。
2022-12-12 cs.AI cs.LG q-bio.GN
AutoQNN: An End-to-End Framework for Automatically Quantizing Neural Networks
Nankai University（南开大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
提出端到端框架AutoQNN，通过量化方案搜索（QSS）、量化精度学习（QPL）和量化架构生成（QAG）三项技术，无需人工即可自动寻找最优量化方案与混合精度策略，持续优于现有量化方法。
2023-04-07 cs.AI cs.CV cs.LG
Deep Optimisation: Solving Combinatorial Optimisation Problems using Deep Neural Networks
University of Southampton（南安普顿大学）；University of Birmingham（伯明翰大学）
深度优化（DO）以一种新颖的方式将进化搜索与深度神经网络（DNN）相结合-不是为了优化学习算法，而是为了找到优化问题的解决方案。深度学习已成功应用于分类、回归、决策和生成任务，在本文中，我们将其应用扩展到解决优化问题。模型构建优化算法（MBOA）是进化算法的一个分支，它已经成功地将机器学习方法和进化搜索结合起来，但到目前为止，它们还没有使用DNN。DO是第一个使用DNN来学习和利用问题结构以适应变异算子（改变搜索过程的邻域结构）的算法。我们证明了性能的DO使用MAXSAT类内的两个理论优化问题。分层转换优化问题（HTOP）具有可控的深层结构，可以清楚地评估DO如何工作，以及为什么使用分层技术对于学习和利用问题结构至关重要。奇偶模块约束问题（MCparity）是一个简单的例子，包含更高阶的依赖关系（大于成对），DO可以解决，最先进的MBOA不能解决。此外，我们表明，DO可以利用TSP实例中的深层结构。总之，这些结果表明，存在的问题，DO可以发现和利用深层问题结构，其他算法不能。在DNN和优化之间建立这种联系，可以利用适用于DNN的先进工具，而这些工具是当前MBOA无法使用的。
2018-11-02 cs.LG cs.NE stat.ML
A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks
Vienna University of Technology（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
激活函数影响DNN的行为和性能。非线性激活函数，如整流线性单位（ReLU），指数线性单位（ELU）和缩放指数线性单位（SELU），优于线性对应物。然而，选择适当的激活函数是一个具有挑战性的问题，因为它影响给定DNN的准确性和复杂性。在本文中，我们提出了一种新的方法来自动选择最好的激活函数为每一层的给定DNN，这样的整体DNN的准确性，相比只考虑一种类型的激活函数为整个DNN，提高。然而，在探索激活函数的所有不同配置方面的相关科学挑战将是时间和资源消耗。为此，我们的方法在学习过程中识别评估点，以评估训练中间步骤的准确性，并通过检查学习曲线的准确性梯度来执行提前终止。这有助于显著减少训练期间的探索时间。此外，我们的方法为每一层选择了优化准确性的丢失率。实验表明，我们能够在MNIST，CIFAR-10和CIFAR-100基准测试中实现平均7%至15%的相对错误减少，而GPU的性能和功耗损失有限。
2018-10-27 cs.LG cs.NE stat.ML
Distributed Training of Deep Neural Networks with Theoretical Analysis: Under SSP Setting
我们提出了一种分布式方法来训练深度神经网络（DNN），该方法在理论上保证了收敛性，并在经验上具有很大的可扩展性：当使用6台机器运行时，ImageNet数据集的实例速度接近6倍。所提出的计划是接近最佳可扩展的机器数量，并保证收敛到相同的最优值作为未分配的设置。分布式设置的收敛性和可扩展性在不同的数据集（TIMIT和ImageNet）和机器学习任务（图像分类和音素提取）之间以经验为基础进行了展示。收敛性分析为这种复杂的学习方案提供了新的见解，包括：1）逐层收敛，2）权重的概率收敛。
2015-12-11 cs.LG math.OC stat.ML
Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale
University of California, Berkeley（加州大学伯克利分校）
近年来，研究界发现，深度神经网络（DNN）和卷积神经网络（CNN）可以产生比以前所有解决广泛机器学习问题的解决方案更高的准确性。据我们所知，没有单一的CNN/DNN架构可以最佳地解决所有问题。相反，“正确的”CNN/DNN架构取决于手头的应用。CNN/DNN包括巨大的设计空间。定量地，我们发现CNN设计空间的一个小区域包含300亿个不同的CNN架构。在本论文中，我们开发了一种方法，使CNN的设计空间的系统探索。我们的方法包括以下四个主题。1.明智地选择基准和指标。2.快速训练CNN模型。3.定义和描述CNN设计空间。4.探索CNN架构的设计空间。综合起来，这四个主题构成了一个有效的方法，用于发现“正确的”CNN架构，以满足实际应用的需求。
2016-12-20 cs.CV cs.LG cs.NE
Exploring the Common Principal Subspace of Deep Features in Neural Networks
Texas A&M University（得克萨斯农工大学）；Baidu Research（百度研究院）；University of Maryland（马里兰大学）；Huazhong University of Science and Technology（华中科技大学）
我们发现，使用相同数据集训练的不同深度神经网络（DNN）在潜在空间中共享共同的主子空间，无论在哪种架构中（例如，卷积神经网络（CNN）、多层预编码器（MLP）和自动编码器（AE）），或者甚至是否在训练中使用了标签（例如，监督学习、无监督学习和自监督学习）。具体来说，我们设计了一个新的度量$\mathcal{P}$ -向量来表示DNN中学习的深度特征的主子空间，并提出使用$\mathcal{P}$ -向量来测量主子空间之间的角度。在使用不同算法/架构训练的任何两个DNN之间的比较中发现了小角度（余弦接近$1.0$）。此外，在从随机开始的训练过程中，角度从较大的角度（通常为$70^\circ-80^\circ$）减小到较小的角度，这与特征空间从开始到收敛的学习过程相一致。然后，我们进行了案例研究，以衡量之间的角度$\mathcal{P}$ -向量和主子空间的训练数据集，并将这种角度与泛化性能。在MNIST、CIFAR-10和CIFAR-100数据集上，使用实际使用的多层感知器（MLP）、AE和CNN进行分类、图像重建和自监督学习任务的广泛实验已经完成，以有力的证据支持我们的主张。深度学习、特征学习和深度特征子空间的可解释性
2021-10-06 cs.AI cs.CV cs.LG
Exploring Bit-Slice Sparsity in Deep Neural Networks for Efficient ReRAM-Based Deployment
Duke University（杜克大学）；Fudan University（复旦大学）
新兴的电阻式随机存取存储器（ReRAM）最近被深入研究以加速深度神经网络（DNN）的处理。由于原位计算能力，与传统的数字方法相比，模拟ReRAM交叉开关可以显著提高吞吐量并降低能耗。然而，功耗巨大的模数转换器（ADC）阻碍了在芯片面积和功耗预算有限的终端设备上实际部署基于ReRAM的DNN加速器。我们观察到，由于ReRAM单元的位密度有限，DNN权重被位切片并相应地存储在多个ReRAM位线上。由权重产生的位线上的累积电流直接决定ADC的开销。因此，按位权重稀疏性而不是全权重的稀疏性对于高效的ReRAM部署是期望的。在这项工作中，我们提出了位片L1，这是第一个在动态定点DNN训练过程中引入位片稀疏性的算法。实验结果表明，我们的方法实现了2倍的稀疏性改善相比，以前的算法。由此产生的稀疏性允许ADC分辨率降低到最高有效位片的1位，其他位降低到3位，从而显著加快处理速度并降低功耗和面积开销。
2019-11-19 cs.LG stat.ML
Exploring the Space of Black-box Attacks on Deep Neural Networks
Princeton University（普林斯顿大学）；University of California, Berkeley（加州大学伯克利分校）
到目前为止，现有的对深度神经网络（DNN）的黑盒攻击主要集中在可转移性上，即为本地训练模型生成的对抗性实例可以“转移”到攻击其他学习模型。在本文中，我们提出了新的梯度估计黑箱攻击的对手查询访问目标模型的类概率，这不依赖于可转移性。我们还提出了一些策略来解耦生成每个对抗样本所需的查询数量与输入的维度。我们的攻击的迭代变体在DNN上的有针对性和无针对性攻击的对抗成功率接近100%。我们进行了广泛的实验，对黑盒攻击进行了全面的比较评估，并表明所提出的梯度估计攻击优于我们在MNIST和CIFAR-10数据集上测试的所有基于可转移性的黑盒攻击，实现了与众所周知的最先进的白盒攻击相似的对抗成功率。我们还成功地将梯度估计攻击应用于Clarifai托管的真实内容审核分类器。此外，我们评估黑箱攻击对国家的最先进的防御。我们表明，梯度估计攻击是非常有效的，即使对这些防御。
2017-12-27 cs.CR cs.CV cs.LG
Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression
Microsoft（微软）；Lehigh University（利哈伊大学）
针对现有联合剪枝与量化方法的工程复杂、黑盒优化和泛化不足问题，提出GETA框架，通过量化感知依赖图、部分投影随机梯度及联合学习策略，在CNN和Transformer上实现更优的压缩性能。
2025-02-23 cs.AI cs.CV cs.LG
Exploring the Trade-Off Between Structured Pruning and Fault Tolerance in Deep Neural Networks for Space Applications
Magics Technologies；KU Leuven（鲁汶大学）；Flanders Make
本文实证研究深度神经网络宽度与容错性的权衡，发现结构化剪枝虽增加单次推理故障敏感性，但缩短执行时间可抵消风险，实现节能降延迟且不损可靠性，为空间AI系统设计提供指导。
2026-10-19 cs.LG
Exploring Learned Representations of Neural Networks with Principal Component Analysis
Cornell University（康奈尔大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
本文用PCA分析CIFAR-10上ResNet-18的逐层表征，揭示少量主成分即可决定k-NN与NCC性能，并提出可解释替代模型以定位神经坍缩。
2023-09-27 cs.LG
Third ArchEdge Workshop: Exploring the Design Space of Efficient Deep Neural Networks
George Mason University（乔治梅森大学）；Microsoft（微软）
本文概述了我们正在进行的高效深度神经网络（DNN）的设计空间探索工作。具体来说，我们涵盖了两个方面：（1）静态架构设计效率和（2）动态模型执行效率。对于静态架构设计，与现有的端到端硬件建模假设不同，我们在GPU核心级别进行全栈分析，以确定DNN设计的更好的准确性-延迟权衡。对于动态模型执行，与以前在DNN通道级别处理模型冗余的工作不同，我们探索了一个新的DNN特征映射冗余维度，以便在运行时动态遍历。最后，我们强调了几个开放的问题，准备在未来几年内引起研究的关注。
2020-11-22 cs.AR cs.LG
Examining the causal structures of deep neural networks using information theory
Tufts University（塔夫茨大学）；University of California, Berkeley（加州大学伯克利分校）
深度神经网络（DNN）通常在其对输入的响应水平上进行检查，例如分析节点和数据集之间的互信息。然而，DNN也可以在因果关系的层面上进行研究，探索网络本身的层中的“什么做什么”。从历史上看，分析DNN的因果结构比理解它们对输入的响应受到的关注要少。然而，从定义上讲，可概括性必须是DNN因果结构的函数，因为它反映了DNN如何响应看不见的甚至尚未定义的未来输入。在这里，我们介绍了一套基于信息论的度量标准，以量化和跟踪DNN在训练过程中因果结构的变化。具体地说，我们引入了前馈DNN的有效信息（EI），这是层输入和输出之间的互信息的最大熵扰动。EI可用于评估节点和边对其每层中下游目标的因果影响程度。我们表明，EI可以进一步分解，以检查层的灵敏度（测量边缘如何传输扰动）和层的退化（测量边缘重叠如何干扰传输），以及层的综合信息量的估计。这些属性共同定义了每一层在"因果平面"中的位置，可用于可视化层连接性如何随着时间的推移变得更加敏感或退化，以及集成在训练过程中如何变化，从而揭示逐层因果结构如何区分。这些结果可能有助于理解DNN的泛化能力，并为使DNN更具泛化性和更可解释性提供基础工具。
2020-10-26 cs.AI cs.LG
Exploring Robustness of Image Recognition Models on Hardware Accelerators
University of Edinburgh（爱丁堡大学）；University of Glasgow（格拉斯哥大学）
提出MutateNN工具，结合差分与变异测试，在4种硬件加速器上对7个DNN模型注入21个变异，发现条件运算符变异导致跨设备差异达90.3%，层修改等变异严重损害性能或致崩溃。
2025-03-25 cs.LG cs.SE cs.SY
Number Systems for Deep Neural Network Architectures: A Survey
Khalifa University（哈利法大学）
本文综述了用于深度神经网络数据表示的各种传统与非传统数制系统，分析其对性能和硬件设计的影响、相关挑战及解决方案，并展望未来研究趋势。
2023-07-11 cs.AR cs.LG cs.NE
DORA: Exploring Outlier Representations in Deep Neural Networks
Leibniz Institute for Agriculture and Bioeconomy (ATB)（莱布尼茨农业与生物经济研究所（ATB））；Technical University of Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））；Korea University（高丽大学）；Max Planck Institut für Informatik（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）；University of Potsdam（波茨坦大学）；UiT Arctic University of Norway（挪威北极大学）
本文提出首个数据无关的DORA框架及极端激活（EA）距离度量，通过分析最高激活数据点上的激活模式来识别深度神经网络内部表示中的离群概念，从而有效发现模型学习到的虚假相关性和伪影特征。
2023-07-10 cs.AI cs.CV cs.LG
AdvAD: Exploring Non-Parametric Diffusion for Imperceptible Adversarial Attacks
Sun Yat-Sen University（中山大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出AdvAD，将对抗攻击建模为非参数扩散过程，仅利用被攻击模型逐步生成不可感知对抗样本，在多个DNN上以更低扰动实现更高攻击成功率。
2025-03-12 cs.CV cs.LG
Exploring and Exploiting the Asymmetric Valley of Deep Neural Networks
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本研究系统探究深度神经网络损失谷非对称性的影响因素，发现噪声与收敛点的符号一致性是关键指标，并用ReLU和softmax理论解释，为模型融合与联邦学习提供新思路。
2024-10-09 cs.AI cs.LG
Exploring the Effect of DNN Depth on Adversarial Attacks in Network Intrusion Detection Systems
Computer Engineering Carleton University Ottawa, Canada（计算机工程 卡尔顿大学渥太华加拿大）；School of Information Technology Carleton University Ottawa, Canada（信息科技学院 卡尔顿大学渥太华加拿大）
本文研究NIDS领域中DNN深度对对抗攻击鲁棒性的影响，发现增加层数反而可能显著降低NIDS中DNN的对抗鲁棒性，而在计算机视觉领域影响较温和，为鲁棒NIDS模型开发提供指导。
2025-10-22 cs.CR cs.LG
Optimal Control Theoretic Neural Optimizer: From Backpropagation to Dynamic Programming
FAIR, Meta（FAIR、Meta）；the School of Aerospace Engineering, Georgia Institute of Technology（航空航天工程学院、佐治亚理工学院）；Apple MLR
本文提出最优控制理论神经优化器（OCNOpt），利用反向传播与动态规划的算法相似性，通过高阶Bellman方程展开实现高效鲁棒的深度网络优化，支持逐层反馈和连续时间模型训练。
2025-10-15 cs.LG stat.ML
Exploring Vision Neural Network Pruning via Screening Methodology
Department of Statistics（统计学系）；Florida State University（佛罗里达州立大学）；GPU ML Accelerator Team（GPU ML 加速器团队）；Qualcomm Inc.（高通公司）
本文提出一种通过统计分析组件显著性进行剪枝的框架，减少存储和计算需求，同时保持模型精度，适用于全连接网络和卷积网络。
2026-04-29 cs.LG stat.ML
DNA: Differentiable Network-Accelerator Co-Search
Rice University（莱斯大学）；University of Notre Dame（圣母大学）；Facebook, Inc.（脸书公司）
本文提出可微分的网络-加速器协同搜索框架 DNA，通过通用加速器设计空间和联合搜索算法同时优化 DNN 结构、加速器微架构与映射，在提升精度和效率的同时大幅缩短搜索时间。
2025-01-04 cs.LG
SCANN: Synthesis of Compact and Accurate Neural Networks
Princeton University（普林斯顿大学）
深度神经网络（DNN）已经成为最近人工智能（AI）研究背后的驱动力。实现神经网络的一个重要问题是其体系结构的设计。通常，这样的架构是通过探索其超参数空间手动获得的，并在训练期间保持固定。这种方法既费时又低效。另一个问题是现代神经网络通常包含数百万个参数，而许多应用和设备需要小的推理模型。然而，将DNN迁移到这样的设备的努力通常会导致分类准确性的显著损失。为了解决这些挑战，我们提出了一种两步神经网络合成方法，称为DR+SCANN，它结合了两种互补的方法来设计紧凑和准确的DNN。在我们的框架的核心是SCANN方法，使用三个基本的架构改变操作，即连接增长，神经元增长，连接修剪，合成前馈架构与任意结构。SCANN封装了三种综合方法，将重复的增长和修剪范例应用于三个架构起点。DR+SCANN将SCANN方法与数据集降维相结合，以减轻维数灾难。我们证明了SCANN和DR+SCANN在各种图像和非图像数据集上的有效性。我们在MNIST和ImageNet基准上评估了SCANN。此外，我们还评估了使用降维与SCANN（DR+SCANN）在9个中小型数据集上的有效性。我们还表明，我们的合成方法产生的神经网络，更好地导航的准确性与能源效率空间。这将使基于神经网络的推理即使在物联网传感器上。
2021-03-29 cs.LG cs.NE
AutoHLS: Learning to Accelerate Design Space Exploration for HLS Designs
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
AutoHLS框架结合深度神经网络与贝叶斯优化，加速HLS设计空间探索，实现高达70倍探索时间加速。
2024-03-15 cs.AI cs.AR cs.LG
Blending Pruning Criteria for Convolutional Neural Networks
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；Purdue University（普渡大学）
卷积神经网络（CNN）在各种视觉应用中的进步引起了人们的广泛关注。然而，大多数CNN无法满足实际部署的严格要求。为了克服这一问题，近年来流行的网络剪枝是一种有效的方法来减少模型的冗余。然而，根据过滤器在不同修剪标准上的“重要性”对过滤器的排名可能不一致。一个过滤器可能根据某个标准是重要的，而根据另一个标准是不必要的，这表明每个标准只是全面“重要性”的一部分。从这个动机，我们提出了一个新的框架来整合现有的过滤器修剪标准，探索标准的多样性。该框架包括两个阶段：标准聚类和过滤器重要性校准。首先，我们通过基于“重要性”得分的等级的分层聚类来浓缩修剪标准。其次，在每个聚类中，我们提出了一个校准因子来调整它们对每个选定的混合候选者的重要性，并通过进化算法搜索最佳的混合标准。CIFAR-100和ImageNet基准测试的定量结果表明，我们的框架优于最先进的基线，在修剪后重新分级为紧凑模型性能。
2021-07-11 cs.AI cs.CV cs.LG
A Survey on Deep Neural Networks in Collaborative Filtering Recommendation Systems
Center for Artificial Intelligence and Technology（人工智能与技术中心）；Faculty of Information Science and Technology（信息科学与技术学院）；The National University of Malaysia（马来西亚国立大学）
本文综述DNN在协同过滤推荐中的应用，梳理基础原理、模型类别、评估协议、辅助信息及未来挑战。
2024-12-02 cs.AI cs.LG
Taxonomy of Saliency Metrics for Channel Pruning
Trinity College Dublin（都柏林圣三一学院）
修剪不重要的参数可以允许深度神经网络（DNN）减少其繁重的计算和内存需求。显着性度量估计哪些参数可以安全地修剪，而对DNN的分类性能影响很小。已经提出了许多显着性度量，每个都在更广泛的修剪算法的上下文中。结果是很难将显著性度量的有效性与围绕它的更广泛的修剪算法分开。由于明显较小的设计选择，看起来相似的显著性度量可能会产生非常不同的结果。我们提出了一种基于四个最正交主成分的显着性度量分类。我们表明，广泛的修剪文学的度量可以根据这些组件进行分组。我们的分类法不仅作为指导以前的工作，但允许我们通过探索我们的分类组件的新组合来构建新的显着性度量。我们对300多个显着性指标进行了深入的实验研究。我们的研究结果提供了决定性的答案，开放的研究问题，并证明了减少和缩放修剪组的权重时的重要性。我们发现，我们构造的一些指标可以优于现有的最好的最先进的卷积神经网络通道修剪的指标。
2021-07-04 cs.LG stat.ML
Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
当训练数据被恶意篡改时，获得的深度神经网络（DNN）的预测可以被称为特洛伊木马攻击（或中毒后门攻击）的对手操纵。DNN对特洛伊木马攻击缺乏鲁棒性可能会严重损害下游应用中的现实机器学习（ML）系统，因此对其可信度造成广泛关注。在本文中，我们研究了数据稀缺制度下的特洛伊木马网络（TrojanNet）检测问题，其中检测器只访问经过训练的DNN的权重。我们首先提出了一个数据有限的特洛伊木马检测器（TND），当只有少数数据样本可用于特洛伊木马检测。我们发现，一个有效的数据有限的TND可以建立通过探索特洛伊木马攻击和预测规避对抗攻击，包括每样本攻击以及所有样本的通用攻击之间的联系。此外，我们提出了一个无数据的TND，它可以检测一个特洛伊木马，而无需访问任何数据样本。我们表明，这样的TND可以通过利用隐藏的神经元，即使在随机噪声输入表现出特洛伊木马的行为的内部响应。通过在不同的模型架构和数据集（包括CIFAR-10，GTSRB和ImageNet）下进行广泛的实验，评估了我们建议的有效性。
2020-07-31 cs.CR cs.LG stat.ML
Piracy Resistant Watermarks for Deep Neural Networks
University of Chicago（芝加哥大学）
随着公司继续在更大、更准确、更强大的深度学习模型上投入巨资，他们正在探索在保护知识产权的同时将模型货币化的方法。模型许可是有前途的，但需要一个强大的工具，所有者声称模型的所有权，即水印。不幸的是，目前的设计还不能解决盗版攻击，其中第三方通过将他们自己的“盗版水印”嵌入到已经加水印的模型中来错误地声称模型所有权。我们观察到，对盗版攻击的抵抗从根本上与当前使用增量训练将水印嵌入模型不一致。在这项工作中，我们提出了空嵌入，这是一种将防盗版水印构建到DNN中的新方法，只能在模型的初始训练中进行。空嵌入将位串（水印值）作为输入，并在模型的正常分类精度和水印之间建立强依赖关系。因此，攻击者无法通过调整或增量训练来移除嵌入的水印，也无法向已加水印的模型添加新的盗版水印。我们的经验表明，我们提出的水印实现盗版阻力和其他水印属性，在广泛的任务和模型。最后，我们探索了一些自适应的对策，并显示我们的水印仍然对各种模型修改，包括模型微调，压缩和现有的方法来检测/删除后门强大。我们的水印模型也适合迁移学习，而不会失去其水印属性。
2020-12-02 cs.CR cs.LG stat.ML
AccelAT: A Framework for Accelerating the Adversarial Training of Deep Neural Networks through Accuracy Gradient
Politecnico di Torino（都灵理工大学）；Technische Universität Wien (TU Wien)（维也纳工业大学（维也纳技术大学））；New York University Abu Dhabi（纽约大学阿布扎比分校）
对抗性训练被用来开发一个强大的深度神经网络（DNN）模型来对抗恶意修改的数据。这些攻击可能会对DNN模型产生灾难性影响，但对人类来说是无法区分的。例如，外部攻击可以修改图像，添加人眼不可见的噪声，但DNN模型会对图像进行错误分类。开发鲁棒DNN模型的一个关键目标是使用一种快速的学习算法，但也可以给出对不同类型的对抗攻击鲁棒的模型。特别是对于对抗训练，需要非常长的训练时间来在使用不同对抗攻击技术生成的许多不同类型的对抗样本下获得高精度。本文旨在加速对抗性训练，以快速开发针对对抗攻击的强大DNN模型。提高训练性能的一般方法是对超参数进行微调，其中学习率是最关键的超参数之一。通过在训练过程中修改它的形状（随时间变化的值）和值，我们可以比标准训练更快地获得对对抗攻击鲁棒的模型。首先，我们在两个不同的数据集（CIFAR10，CIFAR100）上进行实验，探索各种技术。然后，利用这种分析来开发一种新的快速训练方法，CRAMAT，它自动调整学习率的基础上的准确度梯度的不同时期。实验显示了与相关作品相当的结果，在几个实验中，使用我们的WARNAT框架进行DNN的对抗训练比现有技术快2倍。因此，我们的研究结果提高了对抗训练的速度，在这个时代，安全性和性能是基于DNN的应用程序的基本优化目标。
2022-10-13 cs.CV cs.LG
DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep Neural Networks
University of Ottawa（渥太华大学）；École de Technologie Supérieure（高等技术学院）；Lero SFI Centre on Software Research and University of Limerick（Lero SFI软件研究中心与利默里克大学）
本文提出黑盒多目标方法 DeepGD，通过高不确定性与多样性选择测试输入，在四个数据集和五个 DNN 上提升故障检测及再训练指导效果。
2024-02-29 cs.LG cs.PF cs.SE
