Model-Agnostic Reachability Analysis on Deep Neural Networks
University of Exeter(埃克塞特大学);University of Liverpool(利物浦大学)
本文提出了一个名为DeepAgn的模型无关验证框架,基于Lipschitz连续性和全局收敛优化方案对深度神经网络进行可达性分析,无需访问网络内部结构,能解决最大安全半径计算和对抗样本生成等鲁棒性问题,并在处理超深网络时展现出卓越效率。
2023-04-03 cs.LG
Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective
University of Science;Technology of China \& State Key Laboratory of Cognitive Intelligence Hefei China;Technology of China \& State Key Laboratory of Cognitive Intelligence
本文从维度鲁棒性角度探讨DNN在特征交互模型中的有效性,通过实验验证并分析DNN缓解嵌入维度崩溃的机制。
2026-04-29 cs.IR cs.LG
Interleaved Sequence RNNs for Fraud Detection
Feedzai(Feedzai公司);Cleverly(Cleverly公司)
支付卡欺诈给全球银行和商家造成数十亿美元的损失,往往助长复杂的犯罪活动。为了解决这个问题,许多实时欺诈检测系统使用基于树的模型,需要复杂的特征工程系统来有效地丰富历史数据的交易,同时遵守毫秒级延迟。在这项工作中,我们不需要那些昂贵的功能,通过使用递归神经网络和处理支付作为一个交织序列,其中每张卡的历史是一个无界的,不规则的子序列。我们提出了一个完整的RNN框架来实时检测欺诈,提出了一个从预处理到部署的高效ML管道。我们证明了这些无特征的多序列RNN的性能优于最先进的模型,节省了数百万美元的欺诈检测费用,并使用更少的计算资源。
2020-06-17 cs.CR cs.LG stat.ML
RNNs perform task computations by dynamically warping neural representations
University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学)
本文提出RNNs通过动态扭曲其表示来执行任务计算,并利用黎曼几何框架验证了这一假设。
2026-02-08 cs.LG math.DG math.DS
Explainability and Adversarial Robustness for RNNs
Technische Universität Wien(维也纳工业大学)
递归神经网络(RNN)为构建网络数据的入侵检测系统(IDS)提供了有吸引力的特性。随着无处不在的机器学习(ML)系统的兴起,恶意行为者一直在迅速追赶,寻找利用ML漏洞获利的新方法。最近开发的对抗性ML技术专注于计算机视觉,它们对网络流量的适用性并不简单:网络数据包比图像暴露更少的特征,是连续的,并对其特征施加了几个约束。我们表明,尽管有这些完全不同的特征,但RNN可以可靠地生成对抗样本。为了了解分类器的潜在误分类,我们扩展了现有的可解释性技术,并提出了新的,特别适合于序列数据。应用它们表明,通信流的第一个数据包已经非常重要,很可能成为攻击者的目标。特征重要性方法表明,即使是相对不重要的特征也可以被有效地滥用来生成对抗样本。由于传统的评估指标(如准确性)不足以量化对抗性威胁,我们提出了对抗性鲁棒性得分(ARS)来比较IDS,捕捉对抗性鲁棒性的共同概念,并表明对抗性训练过程可以显着并成功地减少攻击面。
2020-02-19 cs.CR cs.LG cs.NI
Transfer Learning for Clinical Time Series Analysis using Recurrent Neural Networks
TCS Research(塔塔咨询服务研究院)
深度神经网络在诊断、死亡率预测、住院时间预测等各种临床预测任务中表现出了良好的效果。然而,训练深度网络(例如基于循环神经网络(RNN)的网络)需要大量标记数据、高计算资源和显著的超参数调整工作。在这项工作中,我们研究了当使用深度RNN对多变量临床时间序列进行建模时,迁移学习可以在多大程度上解决这些问题。我们考虑使用大型标记数据集同时传输在多个源任务上训练的RNN中捕获的知识,以构建具有有限标记数据的目标任务的模型。在几个任务上预先训练的RNN提供了通用特征,然后用于为新的目标任务构建更简单的线性模型,而无需训练特定于任务的RNN。为了进行评估,我们训练了一个深度RNN来识别MIMIC-III数据库中时间序列上的几种患者表型,然后使用RNN提取的特征来构建分类器,以识别以前看不见的表型,以及看似无关的住院死亡率任务。我们证明了:(i)使用预训练的RNN提取的特征训练的模型优于或在最坏的情况下,执行特定于任务的RNN;(ii)使用预训练模型的特征的模型比特定于任务的RNN对标记数据的大小更鲁棒;(iii)使用预训练的RNN提取的特征足够通用,并且比典型的统计手工特征表现得更好。
2018-07-04 cs.LG stat.ML
Interpreting Robustness Proofs of Deep Neural Networks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);VMware Research(威睿研究院)
近年来,已经开发了许多方法来正式验证深度神经网络(DNN)的鲁棒性。虽然所提出的技术在提供DNN行为的数学保证方面是有效的,但尚不清楚这些方法生成的证明是否是人类可解释的。在本文中,我们通过开发新的概念,算法和表示来弥合这一差距,以生成人类可理解的解释证明。利用所提出的方法,我们表明,标准DNN的鲁棒性证明依赖于虚假的输入特征,而训练为可证明鲁棒的DNN的证明甚至过滤掉了语义上有意义的特征。结合对抗性和可证明鲁棒性训练的DNN的证明在选择性过滤虚假特征以及依赖人类可理解的输入特征方面是最有效的。
2023-01-31 cs.LG
SDE-Attention: Latent Attention in SDE-RNNs for Irregularly Sampled Time Series with Missing Data
School of Mathematics and Statistics(数学与统计学学院);UNSW Sydney(新南威尔士大学悉尼分校);School of Computer Science and Engineering(计算机科学与工程学院)
SDE-Attention通过引入潜变量注意力机制,提升SDE-RNN在不规则采样时间序列中处理缺失数据的性能,尤其在高缺失率下表现优异。
2025-11-28 cs.LG
Transfer Learning for Clinical Time Series Analysis using Deep Neural Networks
TCS Research(塔塔咨询服务研究部门)
深度神经网络已经在各种临床预测任务中显示出有希望的结果。然而,训练深度网络(例如基于递归神经网络(RNN)的深度网络)需要大量标记数据、大量超参数调整工作和专业知识以及高计算资源。在这项工作中,我们研究了当使用深度RNN对多变量临床时间序列进行建模时,迁移学习可以在多大程度上解决这些问题。我们考虑使用RNN的迁移学习的两种场景:i)域自适应,即,利用深度RNN -即TimeNet -预训练用于对来自不同领域的时间序列进行特征提取,并使其适应医疗保健领域中的特征提取和后续目标任务,ii)任务适应,即,在医疗保健领域的不同任务上预训练深度RNN -即HealthNet,并使其适应同一领域的新目标任务。我们在公开的MIMIC-III基准数据集上评估了上述方法,并证明了(a)使用通过预训练的RNN提取的特征训练的计算高效的线性模型优于或在最坏的情况下,表现得与深度RNN和专门为目标任务训练的基于统计手工特征的模型一样好;(b)与特定于任务的RNN相比,通过调整目标任务的预训练模型获得的模型对标记数据的大小具有更强的鲁棒性,同时也具有计算效率。因此,我们得出结论,像TimeNet和HealthNet这样的预先训练的深度模型可以利用深度学习的优势进行临床时间序列分析任务,同时还可以最大限度地减少对手工特征的依赖,在不过度拟合的情况下稳健地处理稀缺的标记训练数据场景,以及减少对从头开始训练深度网…
2021-03-04 cs.LG stat.ML
Feature-Filter: Detecting Adversarial Examples through Filtering off Recessive Features
Wuhan University(武汉大学);Pennsylvania State University(宾夕法尼亚州立大学)
深度神经网络(DNN)正受到对抗性示例攻击的威胁。攻击者可以通过向输入添加精心设计的小扰动来轻松改变DNN的输出。对抗性样本检测是基于DNNs的鲁棒服务的基础工作。对抗性例子显示了人类和DNN在图像识别方面的差异。从以人为中心的角度来看,图像特征可以分为人类可理解的显性特征和人类不可理解但被DNN利用的隐性特征。在本文中,我们发现,不可感知的对抗性的例子是产品的隐性特征误导神经网络,和一个对抗攻击本质上是一种方法,以丰富这些隐性特征的图像。对抗样本的不可感知性表明扰动丰富了隐性特征,但几乎不影响显性特征。因此,对抗性样本对过滤掉隐性特征很敏感,而良性样本对这种操作免疫。受这个想法的启发,我们提出了一种仅标签的对抗性检测方法,称为特征过滤器。突变滤波器利用离散余弦变换近似分离显性特征和隐性特征,得到滤除隐性特征的突变图像。通过只比较DNN在输入和其突变体上的预测标签,特征过滤器可以以高精度和低误报率实时检测不可感知的对抗性示例。
2021-11-29 cs.LG
Gated recurrent neural networks discover attention
ETH Zürich(苏黎世联邦理工学院)
本研究揭示,配备线性循环层和乘法门控的现代RNN能精确实现自注意力,且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法,凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
Hierarchical RNNs-Based Transformers MADDPG for Mixed Cooperative-Competitive Environments
Communication University of China(中国传媒大学);Columbia University in the City of New York(纽约市哥伦比亚大学)
目前,注意力机制已广泛应用于深度学习模型领域。基于注意力机制的结构化模型不仅可以记录特征位置之间的关系,而且可以根据特征的权重来度量不同特征的重要性。通过建立动态加权参数选择相关和不相关的特征,可以加强关键信息,并削弱无关信息。因此,深度学习算法的效率可以显著提高和改进。尽管Transformers在包括强化学习在内的许多领域都有很好的表现,但在这一领域仍然存在许多问题和应用。MARL(称为多智能体强化学习)可以被认为是一组独立的智能体试图通过自己的方式适应和学习以达到目标。为了强调一定时间段内各个MDP决策之间的关系,我们应用了分层编码方法并验证了该方法的有效性。本文提出了一种基于RNN的层次变换器MADDPG,我们称之为基于层次RNNs-Based Transformers MADDPG(HRTMADDPG)。该算法由一个基于RNN的低层编码器和一个基于Transformer的高层编码器组成,前者对每个时间序列进行多步长编码,后者学习多个序列之间的相关性,从而捕捉子时间序列之间的因果关系,提高HRTMADDPG算法的效率。
2021-05-11 cs.LG cs.MA
Dynamical Isometry and a Mean Field Theory of RNNs: Gating Enables Signal Propagation in Recurrent Neural Networks
Google(谷歌);Google Brain(谷歌大脑)
循环神经网络在跨各个领域的序列数据建模中得到了广泛的应用。虽然许多成功的递归架构都采用了门控的概念,但实现这种卓越性能的确切机制还没有得到很好的理解。我们开发了一个理论,在经常性网络随机初始化后,使用平均场理论和随机矩阵理论相结合的信号传播。为了简化我们的讨论,我们引入了一个新的RNN单元,它具有一个简单的门控机制,我们称之为minimalRNN,并将其与vanilla RNN进行比较。我们的理论允许我们定义RNN可以记住输入的最大时间尺度。我们表明,这一理论预测可训练的经常性架构。我们发现,门控递归网络比普通RNN具有更广泛,更强大,更可训练的区域,这证实了最近的实验结果。最后,我们开发了一个封闭形式的临界初始化方案,在vanilla RNN和minimalRNN中实现动态等距。我们表明,这导致训练动态的显着改善。最后,我们证明了minimalRNN在语言建模任务中的性能与其更复杂的同行(如LSTM或GRU)相当。
2018-08-15 cs.LG stat.ML
Interpreting and Disentangling Feature Components of Various Complexity from DNNs
Shanghai Jiao Tong University(上海交通大学)
本文提出通用特征复杂度定义与解耦方法,并设计指标评估特征分量,揭示了特征复杂度与 DNN 性能的关系,可分析网络压缩和知识蒸馏。
2023-12-01 cs.AI cs.CV cs.LG
Exclusion and Inclusion -- A model agnostic approach to feature importance in DNNs
Optum, UnitedHealth Group(联合健康集团Optum)
NLP中的深度神经网络使系统能够学习复杂的非线性关系。能够将DNN用于现实世界应用的主要瓶颈之一是它们的黑盒特征。为了解决这个问题,我们引入了一个模型无关的算法,计算输入特征的短语重要性。我们认为,我们的方法是可推广到一组不同的任务,通过进行实验回归和分类。我们还观察到,我们的方法对离群值是鲁棒的,这意味着它只捕获了输入的基本方面。
2020-07-13 cs.CL cs.LG stat.CO
Shorten Spatial-spectral RNN with Parallel-GRU for Hyperspectral Image Classification
Sun Yat-sen University(中山大学)
卷积神经网络(CNN)在高光谱遥感图像(HSI)分类中取得了很好的性能,但CNN将光谱视为无序向量。因此,将光谱看作序列,利用递归神经网络(RNN)处理序列数据的优势,将其应用于HSI分类。然而,对于长序列任务,RNN很难训练,也没有我们预期的那么有效。此外,在RNN中不考虑空间上下文特征。在本研究中,我们提出了一种具有并行GRU的缩短空间谱RNN(St-SS-pGRU)用于HSI分类。缩短的RNN比逐带RNN更有效,更容易训练。St-SSpGRU模型通过结合融合层,不仅考虑了光谱特征,还考虑了空间特征,从而提高了模型的性能。提出了一种并行GRU结构,并将其应用于St-SS-pGRU。在此架构下,模型得到了更好的性能和更强的鲁棒性。
2018-10-30 cs.CV cs.LG stat.ML
Log-Linear RNNs: Towards Recurrent Neural Networks with Flexible Prior Knowledge
Xerox Research Centre Europe(施乐欧洲研究中心)
我们引入了LL-RNN(对数线性RNN),这是循环神经网络的一种扩展,它用对数线性输出层取代了softmax输出层,其中softmax是一种特殊情况。这个概念简单的举措有两个主要优点。首先,它允许学习者通过允许它将单词(或更一般地,输出符号)建模为复杂的属性组合来对抗训练数据稀疏性,而不需要在训练数据中直接观察每个组合(如softmax所做的那样)。第二,它允许包含灵活的先验知识的形式的先验指定的模块化功能,其中的神经网络组件学习动态控制的对数线性分布的权重,利用这些功能。我们在法语的语言建模领域进行了实验,利用形态学先验知识,并显示出相对于基线RNN的困惑度的重要降低。我们提供了其他激励性的例证,最后认为,对数线性和神经网络组件的LL-RNN的互补优势:LL方面允许模型将丰富的先验知识,而NN方面,根据“表示学习“的范式,允许模型发现新的组合特征。
2016-12-16 cs.AI cs.CL cs.LG
An empirical study of neural networks for trend detection in time series
Société Générale CIB(法国兴业银行企业与投资银行)
在噪声时间序列中检测结构是一项困难的任务。一个直观的特征是趋势的概念。从理论上的提示和使用模拟的时间序列,我们实证研究的效率,标准的递归神经网络(RNN)检测趋势。我们展示了某些标准RNN结构相对于其他各种估计器的整体优越性和多功能性。这些RNN可以用作构建更复杂的时间序列趋势估计器的基本模块。
2020-02-28 cs.LG q-fin.ST stat.ML
Attribution Mask: Filtering Out Irrelevant Features By Recursively Focusing Attention on Inputs of DNNs
Hanyang University(汉阳大学)
归因方法通过突出显示输入特征的重要部分来计算属性,从而直观地解释深度神经网络(DNN)的预测。特别是,基于梯度的属性(GBA)方法被广泛使用,因为它们可以很容易地通过自动微分实现。在这项研究中,我们使用过滤掉输入特征中不相关部分的属性,然后通过测量预训练DNN的分类准确性来验证这种方法的有效性。这是通过计算并将\textit{attribution mask}应用于输入特征并随后将掩蔽的特征引入DNN来实现的,为此,掩码被设计为递归地将注意力集中在与目标标签相关的输入部分上。在一定条件下提高了精度,\textit{no implicit bias},它可以基于我们对将DNN压缩成单层神经网络的理论见解而导出。我们还提供梯度\,*\,输入符号(GxSI)来获得进一步提高准确性的属性掩码。作为一个例子,在CIFAR-10上,使用从GxSI获得的属性掩码进行修改,我们在没有额外训练的情况下实现了99.8%到99.9%的准确率。
2021-02-15 cs.AI cs.LG
Black-box Safety Analysis and Retraining of DNNs based on Feature Extraction and Clustering
University of Luxembourg(卢森堡大学);University of Ottawa(渥太华大学)
深度神经网络(DNN)已经证明了优于经典机器学习的性能,可以支持安全关键系统中的许多功能。尽管DNN现在广泛用于这样的系统(例如,自动驾驶汽车),在基于DNN的系统中自动支持功能安全分析方面进展有限。例如,识别错误的根本原因,以实现风险分析和DNN再训练,仍然是一个悬而未决的问题。在本文中,我们提出了SAFE,这是一种黑盒方法,可以自动表征DNN错误的根本原因。SAFE依赖于在ImageNet上预训练的迁移学习模型,从错误诱导图像中提取特征。然后,它适用于基于密度的聚类算法来检测任意形状的图像建模的错误的似是而非的原因集群。最后,使用聚类来有效地重新训练和改进DNN。SAFE的黑盒性质是由我们的目标驱动的,即不需要更改甚至不需要访问DNN内部来促进采用。实验结果表明,基于汽车领域的案例研究,SAFE在识别DNN错误的不同根本原因方面具有卓越的能力。它还在重新训练后显著提高了DNN的准确性,同时与替代方案相比节省了大量的执行时间和内存。
2022-10-14 cs.LG cs.SE
Understanding the Dynamics of DNNs Using Graph Modularity
Zhejiang University of Technology(浙江工业大学);Northwestern Polytechnical University(西北工业大学);Science and Technology on Communication Information Security Control Laboratory(通信信息安全控制科学技术实验室)
有很好的论据支持这样一种说法,即深度神经网络(DNN)比以前的手工特征工程捕获更好的特征表示,这导致了显着的性能改进。在本文中,我们朝着理解层上特征表示的动态迈出了一小步。具体来说,我们将预训练DNN中中间表示的类分离过程建模为动态图中社区的演化。然后,我们引入模块化,图论中的一个通用度量,量化社区的演化。在初步实验中,我们发现模块性大致倾向于随着层的深入而增加,并且当模型复杂度相对于数据集较大时,会出现退化和平台。通过渐近分析,我们证明了模块性可以广泛地用于不同的应用。例如,模块化提供了新的见解来量化特征表示之间的差异。更重要的是,我们证明了模块化曲线中的退化和平台表示DNN中的冗余层,并且可以在对性能影响最小的情况下进行修剪,这为层修剪提供了理论指导。我们的代码可在https://github.com/yaolu-zjut/Dynamic-Graphs-Construction上获得。
2022-07-22 cs.CV cs.LG
Comparison between DeepESNs and gated RNNs on multivariate time-series prediction
University of Pisa(比萨大学)
我们提出了深度回声状态网络(DeepESN)和门控递归神经网络(RNN)在多变量时间序列预测任务上的实验比较。特别是,我们比较了水库和完全训练的RNN,它们能够表示具有多个时间尺度动态特征的信号。在4个复调音乐任务的效率和预测精度方面进行了分析。我们的研究结果表明,DeepESN在预测准确性和效率方面能够优于ESN。然而,在完全训练的方法之间,门控递归单元(GRU)在大多数情况下优于长短期记忆(LSTM)和简单的RNN模型。总体而言,DeepESN比其他RNN方法效率更高,并且在4个任务中的3个任务的预测准确性方面是最佳解决方案。
2019-11-20 cs.LG cs.NE stat.ML
Theory of gating in recurrent neural networks
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院);CUNY(纽约市立大学)
循环神经网络(RNN)是一种强大的动态模型,广泛应用于机器学习(ML)和神经科学。之前的理论工作主要集中在具有加性相互作用的RNN上。然而,门控-即乘法-相互作用在真实神经元中无处不在,也是ML中性能最好的RNN的核心特征。在这里,我们表明,门控提供了灵活的控制集体动力学的两个显着特征:i)时间尺度和ii)维度。门控制时间尺度导致一个新的,边缘稳定的状态,其中网络作为一个灵活的积分器。与以前的方法不同,门控允许这个重要的功能,而无需参数微调或特殊的对称性。门还提供了一种灵活的、依赖于上下文的机制来重置记忆轨迹,从而补充了记忆功能。调制维度的门可以诱导一种新的、不连续的混沌过渡,其中输入将稳定系统推向强混沌活动,与输入的典型稳定效果相反。在这种过渡中,与加性RNN不同,临界点的扩散(拓扑复杂性)与混沌动力学的出现(动力学复杂性)解耦。丰富的动力学在相图中进行了总结,从而为ML从业者提供了一个原则性参数初始化选择的地图。
2021-12-01 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory
Nordita(诺迪塔理论物理研究所);KTH Royal Institute of Technology(KTH皇家理工学院);Stockholm University(斯德哥尔摩大学)
循环神经网络(RNN)是在机器学习中广泛用于分析序列数据的大脑启发模型。目前的工作是对RNN如何使用非平衡统计力学的响应理论来处理输入信号的更深入理解的贡献。对于一类由输入信号驱动的连续时间随机RNN(SRNN),我们推导出其输出的Volterra型级数表示。这种表示是可解释的,并且将输入信号从SRNN架构中分离出来。该系列的内核是某些递归定义的相关函数相对于未扰动的动态,完全确定的输出。利用这种表示及其对粗糙路径理论的影响,我们确定了一个通用的功能-响应功能,这原来是输入信号的张量积和自然支持基础的签名。特别是,我们表明,SRNN,只有在读出层中的权重优化和隐藏层中的权重保持固定,而不是优化,可以被视为内核机器上运行的再生核希尔伯特空间与响应功能。
2021-01-18 cond-mat.dis-nn cs.LG math.PR
Deep State Space Recurrent Neural Networks for Time Series Forecasting
CREST-ENSAE;Institut Polytechnique de Paris(巴黎综合理工学院)
针对加密货币市场动态预测,提出融合状态空间模型与RNN的框架,采用LSTM、GRU和TKANs,其中TKANs表现最佳。
2024-07-21 cs.LG
Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
递归神经网络(RNN)是自动语音识别或机器翻译等应用的关键技术。与传统的前馈DNN不同,RNN记住过去的信息以提高未来预测的准确性,因此它们对于序列处理问题非常有效。对于每个应用程序运行,递归层被执行多次,以处理潜在的大输入序列(单词,图像,音频帧等)。在本文中,我们观察到神经元的输出在连续调用中表现出微小的变化。我们利用这个属性来建立一个神经元级的模糊记忆计划,动态缓存每个神经元的输出,并重用它,每当它被预测,当前的输出将类似于以前计算的结果,避免以这种方式的输出计算。该方案的主要挑战是确定新神经元对序列中当前输入的输出是否与最近计算的结果相似。为此,我们用一个更简单的逐位神经网络(BNN)扩展了递归层,并证明了BNN和RNN的输出是高度相关的:如果两个BNN的输出非常相似,那么原始RNN层中相应的输出可能会出现可以忽略不计的变化。BNN提供了一种低成本和有效的机制,用于决定何时可以应用模糊记忆,对精度的影响很小。我们在最先进的RNN加速器上评估我们的记忆方案,用于来自多个应用领域的各种不同的神经网络。我们表明,我们的技术避免了超过26.7\%的计算,从而节省了21\%的能源和1.4倍的加速平均。
2022-02-14 cs.AR cs.LG cs.NE
Real-time Power System State Estimation and Forecasting via Deep Neural Networks
当代电网正面临着快速电压波动的挑战,这些波动是由可再生能源发电、电动汽车和需求响应计划的大规模部署引起的。在这种情况下,实时的监测电网的操作条件变得越来越重要。然而,随着大规模和非凸性的出现,现有的电力系统状态估计(PSSE)方案变得计算量大或产生次优性能。为了绕过这些障碍,本文提倡将深度神经网络(DNN)用于实时的电力系统监测。通过展开基于迭代物理的非线性求解器,开发了一种新的特定于模型的DNN,用于实时的PSSE,具有负担得起的训练和最小的调整工作。为了进一步实现系统感知,甚至在时间范围之前,以及赋予基于DNN的估计器弹性,深度递归神经网络(RNN)也被用于电力系统状态预测。深度RNN利用历史电压时间序列中存在的长期非线性依赖关系进行预测,并且易于实现。数值测试表明,与现有的替代方案相比,所提出的基于DNN的估计和预测方法的性能有所改善。在IEEE 118总线基准系统的实际负载数据实验中,基于DNN的新型模型特定PSSE方案的性能几乎超过竞争替代方案,包括广泛采用的高斯-牛顿PSSE求解器。
2018-11-30 cs.LG stat.ML
Fast Axiomatic Attribution for Neural Networks
TU Darmstadt(达姆施塔特工业大学)
减轻对训练数据集中存在的虚假相关性的依赖是深度学习的一个快速出现的重要主题。最近的方法包括将深度神经网络(DNN)的特征属性的先验信息纳入训练过程,以减少对不需要的特征的依赖。然而,到目前为止,人们需要权衡高质量的归因,满足理想的公理,对计算它们所需的时间。这反过来又导致了长时间的训练或无效的归因先验。在这项工作中,我们打破了这种权衡,考虑一类特殊的高效公理化归因的DNN,其中一个公理化的功能属性可以计算只有一个单一的向前/向后通过。我们正式证明,非负齐次DNN,这里称为$\mathcal{X}$ -DNN,是有效的公理归因,并表明,他们可以毫不费力地从广泛的常规DNN构造简单地删除每一层的偏置项。各种实验证明了$\mathcal{X}$ -DNN的优势,击败了常规DNN上最先进的通用归因方法,用于使用归因先验进行训练。
2021-11-15 cs.CV cs.LG
Model-based feature selection for neural networks: A mixed-integer programming approach
KTH Royal Institute of Technology(瑞典皇家理工学院);Imperial College London(帝国理工学院)
在这项工作中,我们为基于ReLU的深度神经网络(DNN)开发了一种新的输入特征选择框架,该框架建立在混合整数优化方法的基础上。虽然该方法通常适用于各种分类任务,但我们专注于寻找用于图像分类的输入特征,以便清晰地呈现。这个想法是使用一个经过训练的DNN或一组经过训练的DNN来识别显著的输入特征。将输入特征选择公式化为一系列混合整数线性规划(MILP)问题,该问题找到使每个类别的分类置信度最大化的稀疏输入集。这些“逆”问题通过为每个类别选择的输入数量和分布约束进行正则化。在著名的MNIST和FashionMNIST数据集上的数值结果表明,所提出的输入特征选择允许我们将输入的大小大幅减少到$\sim$ 15\%,同时保持良好的分类精度。这使我们能够设计具有更少连接的DNN,减少计算工作量,并产生对对抗性攻击更鲁棒的DNN。
2023-02-20 cs.LG math.OC
Graph based manifold regularized deep neural networks for automatic speech recognition
McGill University(麦吉尔大学);Google Inc.(谷歌公司)
近年来,深度神经网络(DNN)已成功应用于各种声学建模任务。这些包括DNN在判别特征提取或混合声学建模场景中的应用。尽管在这一领域取得了快速进展,但在训练DNN方面仍然存在许多挑战。本文提出了一种使用基于流形学习的正则化框架来训练DNN的有效方法。在这个框架中,网络的参数进行了优化,以保持语音特征向量之间基于流形的关系,同时最大限度地减少网络输出和目标之间的损失。这是通过将基于流形的局部约束纳入DNN的客观标准来实现的。经验证据表明,训练一个网络与流形约束保持在网络的隐藏层的结构紧凑性。在基于隐马尔可夫模型(HMM)的语音识别中,流形正则化被应用于训练瓶颈DNN的特征提取。实验在Aurora-2语音数字和Aurora-4读新闻大词汇量连续语音识别任务上进行。性能通过这些任务的字错误率(WER)来衡量。结果表明,流形正则化DNN导致WER相对于标准DNN减少高达37%。
2016-06-19 cs.CL cs.LG stat.ML
Explainable Enterprise Credit Rating via Deep Feature Crossing Network
Central University of Finance and Economics(中央财经大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
由于深度神经网络对高阶和非线性特征具有强大的学习能力,正被应用于各个领域的数据采掘和机器学习,并表现出比传统方法更高的判别性能。然而,基于DNN的应用在企业信用评级任务中并不多见,因为大多数DNN采用“端到端”的学习范式,输出对象的高级表示和预测结果,而不需要任何解释。因此,金融行业的用户无法理解这些高级表示是如何生成的,它们意味着什么以及与原始输入存在什么关系。然后,用户无法确定DNN提供的预测是否可靠,并且不信任这种“黑盒”模型提供的预测。因此,在本文中,我们提出了一种新的网络显式建模的企业信用评级问题,使用DNN和注意力机制。该模型实现了可解释的企业信用评级。在真实企业数据集上的实验结果验证了该方法比传统方法具有更高的性能,并提供了对个人评级结果和模型训练可靠性的见解。
2021-05-22 cs.CE cs.LG
Catching the Phish: Detecting Phishing Attacks using Recurrent Neural Networks (RNNs)
University of Oxford(牛津大学);University of Kent(肯特大学)
在线服务在我们日常生活中的出现伴随着一系列恶意尝试,以欺骗个人执行不受欢迎的操作,通常是为了对手的利益。这些尝试中最流行的媒介是网络钓鱼攻击,特别是通过电子邮件和网站。为了抵御此类攻击,迫切需要自动化机制来在恶意内容到达用户之前对其进行识别。机器学习技术已逐渐成为此类分类问题的标准。然而,识别网络钓鱼内容的常见可测量特征(例如,在电子邮件中)是众所周知的困难。为了解决这个问题,我们对基于递归神经网络(RNN)的网络钓鱼内容分类器进行了一项新的研究,该网络可以在没有人工输入的情况下识别这些特征。在这个阶段,我们的研究范围是电子邮件,但我们的方法可以扩展到网站。我们的研究结果表明,该系统优于国家的最先进的工具。此外,我们的分类器是高效的,只考虑文本,特别是电子邮件的文本结构。由于这些功能很少被认为是在电子邮件分类,我们认为,我们的分类器可以补充现有的分类器具有较高的信息增益。
2019-08-09 cs.CL cs.CR cs.CY
Hybridization of Persistent Homology with Neural Networks for Time-Series Prediction: A Case Study in Wave Height
本研究提出一种基于计算拓扑的特征工程方法,通过提取数据的拓扑特征并结合 FNNs、RNNs、LSTM 和 GRU 等神经网络模型,有效提升了波高时间序列预测的准确率并显著降低了误差。
2024-12-19 cs.LG stat.ML
One Size Does Not Fit All: Multi-Scale, Cascaded RNNs for Radar Classification
The Ohio State University(俄亥俄州立大学);University of Washington(华盛顿大学);Microsoft Research India(微软印度研究院);Indian Institute of Technology Delhi(印度理工学院德里分校);The Samraksh Company(Samraksh公司)
微功率脉冲多普勒雷达的边缘检测是智能城市应用中的监测和监视领域。杂波与多源雷达分类任务的现有解决方案在准确性或效率方面受到限制,并且在某些情况下,在虚警和召回源之间进行权衡。我们发现这个问题可以通过在多个时间尺度上学习分类器来解决。我们提出了一个多尺度,级联递归神经网络架构,MSC-RNN,包括一个有效的多实例学习(MIL)递归神经网络(RNN)的杂波歧视在较低层,和一个更复杂的RNN分类器的源分类在上层。通过在下层的帮助下有条件地控制上层RNN的调用,MSC-RNN实现了0.972的总体准确度。我们的方法从整体上提高了适用于雷达推理的ML模型的准确性和每类召回率。值得注意的是,我们的性能优于跨域手工特征工程和时域深度特征学习,同时也比竞争解决方案更高效地达到$\sim$ 3 $\times$。
2019-09-06 cs.LG eess.SP
Semantics for Global and Local Interpretation of Deep Neural Networks
The University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
具有高表现力的深度神经网络(DNN)在许多任务中已经实现了最先进的性能。然而,它们的分布式特征表示很难从语义上解释。在这项工作中,人类可解释的语义概念与特征空间中的向量相关联。关联过程在数学上被表述为优化问题。从最优解获得的语义向量被应用于全局和局部地解释深度神经网络。全局解释对于理解DNN学习的知识是有用的。对本地行为的解释可以帮助更好地理解DNN做出的个人决策。实证实验演示了如何使用识别的语义来解释现有的DNN。
2019-10-21 cs.CV cs.LG
T2G-Former: Organizing Tabular Features into Relation Graphs Promotes Heterogeneous Feature Interaction
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Medicine, Zhejiang University(浙江大学医学院);University of Notre Dame(圣母大学)
用于表格学习的深度神经网络(DNN)的最新发展在很大程度上受益于DNN用于自动特征交互的能力。然而,表格特征的异质性使得这些特征相对独立,并且开发有效的方法来促进表格特征交互仍然是一个悬而未决的问题。在本文中,我们提出了一种新的图估计,自动估计表格功能之间的关系,并建立图之间分配相关功能的边缘。这种关系图将独立的表格特征组织成一种图形数据,使得节点(表格特征)的交互可以以有序的方式进行。基于我们提出的Graph Estimate,我们提出了一个定制的Transformer网络,称为T2 G-Former,它通过执行由关系图引导的表格特征交互来处理表格数据。一个特定的跨级别读出收集T2 G-Former中不同级别的层预测的显著特征,并获得最终预测的全局语义。综合实验表明,我们的T2 G-Former在DNN中取得了优异的性能,与非深度梯度提升决策树模型相比具有竞争力。
2023-03-05 cs.LG
Feature Noise Boosts DNN Generalization under Label Noise
本文提出并理论证明直接向训练数据特征添加噪声可提升DNN在标签噪声下的泛化能力,通过约束PAC-Bayes泛化界限实现,实验验证其显著增强现有方法性能。
2023-08-03 cs.LG
Adversarial Framework with Certified Robustness for Time-Series Domain via Statistical Features
Washington State University(华盛顿州立大学)
时间序列数据出现在许多现实世界的应用中(例如,移动健康)和深度神经网络(DNN)在解决这些问题方面取得了巨大成功。尽管它们取得了成功,但人们对它们对对抗攻击的鲁棒性知之甚少。在本文中,我们提出了一种新的对抗框架,称为通过STATISTIVE特征的时间序列攻击(TSA-STAT)。为了解决时间序列领域的独特挑战,TSA-STAT采用对时间序列数据的统计特征的约束来构建对抗性示例。优化的多项式变换用于创建比基于加性扰动的攻击更有效的攻击(就成功欺骗DNN而言)。我们还提供了用于构建对抗性示例的统计特征范数的认证界限。我们在不同的真实世界基准数据集上的实验表明,TSA-STAT在欺骗时间序列域的DNN和提高其鲁棒性方面是有效的。TSA-STAT算法的源代码可在https://github.com/tahabelkhouja/Time-Series-Attacks-via-STATistical-Features上获得
2022-07-09 cs.LG
Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
近年来,递归神经网络(RNN)在语音增强方面取得了显著的进步。然而,RNN的模型复杂度和推理时间成本远高于深度前馈神经网络(DNN)。因此,这些限制了语音增强的应用。提出了一种全数据学习的深度时延神经网络(TDNN)语音增强方法。TDNN具有很好的潜力,捕捉长距离的时间上下文,它利用模块化和增量设计。此外,TDNN保留了前馈结构,因此其推理成本与标准DNN相当。为了充分利用训练数据,提出了一种全数据学习的语音增强方法。更具体地说,我们不仅使用噪声到清洁(输入到目标)来训练增强模型,而且使用清洁到清洁和噪声到静音数据。因此,所有训练数据都可以用于训练增强模型。我们的实验是在TIMIT数据集上进行的。实验结果表明,我们提出的方法可以实现更好的性能比DNN和可比甚至更好的性能比BLSTM。同时,与BLSTM相比,该方法大大减少了推理时间。
2020-11-11 cs.LG cs.SD eess.AS
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院)
批量归一化(BN)由于改进了收敛性而被广泛用于现代深度神经网络(DNN)中。观察到BN提高了模型的准确性,同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响,特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说,准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征(RF)或非鲁棒特征(NRF)。我们的工作提出了实证证据,支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变,我们提出了一个框架,用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解,例如DNN首先主要学习RF,然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Feature Learning in $L_{2}$-regularized DNNs: Attraction/Repulsion and Sparsity
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Institut de Science Financière et d’Assurances(金融与保险科学研究所);Université Lyon 1(里昂第一大学)
我们使用$L_{2}$正则化方法研究了DNN的损失面。我们表明,损失的参数可以重新制定成损失的逐层激活$Z_{\ell}$的训练集。这种重新表述揭示了特征学习背后的动力学:每个隐藏的表示$Z_{\ell}$都是最优的。一个吸引/排斥问题,并在输入和输出表示之间进行插值,从输入中保留尽可能少的信息,以构建下一层的激活。对于正齐次非线性,损失可以根据隐藏表示的协方差进一步重新表述,其形式为凸锥上的部分凸优化。这第二个重新表述允许我们证明同质DNN的稀疏性结果:$L_{2}$正则化损失的任何局部最小值都可以在每个隐藏层中最多使用$N(N+1)$神经元实现(其中$N$是训练集的大小)。我们表明,这个界是紧的,给出一个例子,需要$N^{2}/4$隐藏的神经元的局部最小值。但我们也观察到,在更传统的设置中,达到最小值所需的$N^{2}$神经元要少得多。
2022-10-13 cs.AI cs.LG cs.NE
Reformulation is All You Need: Addressing Malicious Text Features in DNNs
Zhejiang University(浙江大学);Guizhou Medical University(贵州医科大学)
针对DNN在NLP任务中易受对抗性和后门攻击的问题,提出基于重构模块的统一自适应防御框架,处理恶意文本特征并保持语义,实验证明优于现有基线。
2025-09-25 cs.CL cs.CR cs.LG
Modeling Missing Data in Clinical Time Series with RNNs
University of California, San Diego(加利福尼亚大学圣迭戈分校);USC Information Sciences Institute(南加州大学信息科学研究所);Children’s Hospital LA(洛杉矶儿童医院)
我们展示了一个简单的策略,以应付丢失的数据在顺序输入,解决任务的多标签分类的诊断临床时间序列。从洛杉矶儿童医院儿科重症监护室(PICU)收集的数据,我们的数据包括多变量时间序列的观察。测量是不规则间隔的,导致在时间离散化序列中的缺失模式。虽然这些文物通常是由填补处理,我们实现了优越的预测性能,通过处理文物的功能。与线性模型不同,递归神经网络可以仅使用简单的二进制缺失指标来实现这种改进。对于线性模型,我们展示了另一种捕获此信号的策略。仅在缺失模式上训练模型,我们表明,对于某些疾病,运行的测试可以与结果本身一样具有预测性。
2016-11-11 cs.IR cs.LG cs.NE
A self consistent theory of Gaussian Processes captures feature learning effects in finite CNNs
Hebrew University(希伯来大学);Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨夫拉脑科学中心);Racah Institute of Physics(拉卡物理研究所)
无限宽度/通道限制的深度神经网络(DNN)最近受到了广泛关注,因为它们通过映射到高斯过程(GP)为深度学习提供了一个清晰的分析窗口。尽管这种观点在理论上很有吸引力,但它缺乏有限DNN中深度学习的关键要素,而这正是它们成功的核心--特征学习。在这里,我们考虑在大型训练集上使用噪声梯度下降训练的DNN,并推导出一个自洽的高斯过程理论,该理论考虑了强大的有限DNN和特征学习效果。将其应用于双层线性卷积神经网络(CNN)的玩具模型,显示出与实验的良好一致性。我们进一步确定,无论是分析和数值,在这个模型中的特征学习制度和懒惰的学习制度之间的急剧转变。强有限DNN效应也来自一个非线性的两层全连接网络。我们的自洽理论为研究有限DNN中的特征学习和其他非懒惰效应提供了一个丰富而通用的分析框架。
2021-06-08 cond-mat.stat-mech cs.LG stat.ML
Sublinearly Structured Deep Neural Networks Achieve Feature Learning Consistency for Compositional Functions
Ewha Womans University(东亚大学);New Jersey Institute of Technology(新泽西理工学院);Purdue University(普渡大学)
针对亚线性结构化DNN(输入/输出维度和隐层神经元数随样本量亚线性增长),证明了学习层次组合函数时的特征学习一致性,并在过参数化下仍成立;实验表明其预测性能不逊于宽网络,且常用CNN(如AlexNet)具有亚线性结构。
2026-06-23 cs.LG math.ST stat.ML
Advantages of biologically-inspired adaptive neural activation in RNNs during learning
Mila - Quebec Artificial Intelligence Institute(米拉——魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
单神经元响应的动态适应在生物神经网络的神经编码中起着重要作用。然而,大多数用于人工网络的神经激活函数是固定的,并且大多数被认为是无关紧要的架构选择。在本文中,我们研究了非线性激活函数适应在大的时间尺度的学习,并概述其影响的顺序处理循环神经网络。我们引入了一种新的非线性激活函数的参数族,其灵感来自于生物神经元的输入频率响应曲线,该函数允许在诸如ReLU和sigmoid等众所周知的激活函数之间进行插值。使用简单的数值实验和工具,从动力系统和信息论,我们研究的神经激活功能的学习动力学的作用。我们发现,激活适应提供了独特的任务特定的解决方案,在某些情况下,提高学习速度和性能。重要的是,我们发现,从我们的参数家庭出现的最佳激活功能是相当不同的文献中使用的典型功能,这表明利用这些通常的配置之间的差距可以帮助学习。最后,我们概述了神经激活适应可能有助于减轻给定任务中输入统计数据变化的情况,提出了迁移学习优化机制。
2020-06-22 cs.LG cs.NE q-bio.NC
Layer Adaptive Deep Neural Networks for Out-of-distribution Detection
University of Texas at Dallas(德克萨斯大学达拉斯分校)
在深度神经网络(DNN)的前向传递过程中,输入逐渐从低级特征转换为高级概念标签。虽然不同层的特征可以概括不同层次输入的重要因素,但现代的分布外(OOD)检测方法主要集中在利用其结束层特征。在本文中,我们提出了一种新的层自适应OOD检测框架(LA-OOD)的DNN,可以充分利用中间层的输出。具体来说,我们不是在固定的结束层训练统一的OOD检测器,而是在中间层同时训练多个One-Class SVM OOD检测器,以利用在DNN的不同深度编码的全谱特征。我们开发了一个简单而有效的层自适应的政策,以确定最好的层检测每个潜在的OOD的例子。LA-OOD可以应用于任何现有的DNN,并且在训练期间不需要访问OOD样本。使用三个不同深度和架构的DNN,我们的实验表明,LA-OOD对不同复杂度的OOD具有鲁棒性,并且在一些真实世界的数据集上可以大幅超越最先进的竞争对手。
2022-03-01 cs.AI cs.LG
GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity
William & Mary(威廉与玛丽学院);Northeastern University(东北大学);University of Southern California(南加州大学)
在移动设备上实现实时的【形】深度神经网络(DNN)推理是有吸引力但具有挑战性的,因为即使是功能强大的现代移动设备在执行大规模DNN时也被认为是“资源受限的”。它需要通过权重修剪进行稀疏模型推理,即,DNN权重稀疏性,并且期望设计一种新的DNN权重稀疏性方案,其可以促进移动设备上的实时的【形】推理,同时保持高稀疏模型精度。本文设计了一种新的移动推理加速框架GRIM,该框架通用于卷积神经网络(CNN)和递归神经网络(RNN),并实现了实时的【形】执行和高精度,利用细粒度结构化稀疏模型推理和编译器优化。首先,我们提出了一个新的细粒度结构稀疏方案,通过基于块的列行(BCR)修剪。基于这种新的细粒度结构稀疏性,GRIM框架由两部分组成:(a)用于实时的【形】移动推理的编译器优化和代码生成;(b)用于确定剪枝超参数和执行权重剪枝的BCR剪枝优化。我们将GRIM与Alibaba MNN,TVM,TensorFlow-Lite,基于CSR,PatDNN和ESE(RNN的代表性FPGA推理加速框架)的稀疏实现进行了比较,并实现了高达14.08倍的加速比。
2021-08-25 cs.AI cs.LG
Exploring layerwise decision making in DNNs
Faculty of Engineering, North-West University(西北大学工程学院);North-West University(西北大学)
虽然深度神经网络(DNN)已经成为许多机器学习任务的标准架构,但其内部决策过程和一般可解释性仍然知之甚少。相反,普通的决策树很容易解释,理论上也很容易理解。我们表明,通过将节点的离散样本激活值编码为二进制表示,我们能够提取一棵决策树,解释ReLU激活的多层感知器(MLP)中每一层的分类过程。然后,我们将这些决策树与现有的特征属性技术相结合,以产生模型的每一层的解释。最后,我们提供了一个分析所产生的解释,二进制编码的行为,以及这些如何与样本分组过程中创建的神经网络的训练过程中。
2022-02-01 cs.LG
Transport Analysis of Infinitely Deep Neural Network
RIKEN AIP(理化学研究所先进智能项目中心);Waseda University(早稻田大学)
我们通过跟踪传输图来研究深度神经网络(DNN)内部的特征图。我们对深度的作用感兴趣(为什么DNN比浅模型表现更好?)和DNN的解释(中间层做什么?)尽管DNN的应用发展迅速,但由于隐藏层是嵌套的,参数不可靠,DNN仍然无法解析。受浅神经网络的积分表示(宽度的连续极限或隐藏单元数)的启发,我们开发了DNN的流表示和传输分析。流表示是深度或隐藏层数的连续极限,并且它由具有向量场的常微分方程指定。我们将普通DNN解释为传输映射或流的欧拉折线近似。从技术上讲,动态系统是嵌套特征映射的自然模型。此外,它通过避免DNN的冗余参数化,为DNN的无坐标处理开辟了一条新的途径。本文从Wasserstein几何学的角度出发,从动力系统、连续性方程和Wasserstein梯度流三个方面对流动进行了分析。一个关键的发现是,我们指定了一系列去噪自动编码器(DAE)的传输映射。本文从浅层DAE出发,发展了三个主题:深层DAE的输运映射,堆积DAE与DAE合成之间的等价性,以及流表示的双连续极限或积分表示的发展。作为研究问题的部分答案,我们发现更深的DAE收敛更快,提取的特征更好;此外,深高斯DAE传输质量以降低数据分布的香农熵。
2018-10-31 cs.LG stat.ML
Improving Adversarial Robustness by Encouraging Discriminative Features
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Auburn University(奥本大学)
深度神经网络(DNN)在各种模式识别任务中取得了最先进的成果。然而,它们在分发外的对抗性示例中表现不佳,即由对手专门制作的输入,导致DNN行为不端,质疑应用程序的安全性和可靠性。在本文中,除了常规的softmax交叉熵损失之外,我们还鼓励DNN分类器通过施加中心损失来学习更多的判别特征。直观地说,中心丢失鼓励DNN同时学习每个类的深度特征的中心,并最小化类内深度特征与其相应的类中心之间的距离。我们假设,最小化类内特征之间的距离,同时最大化类间特征之间的距离将提高分类器对对抗性样本的鲁棒性。我们在MNIST、CIFAR-10和CIFAR-100上的最新架构上的结果证实了这种直觉,并强调了区分特征的重要性。
2019-05-08 cs.CR cs.LG
Dominant Patterns: Critical Features Hidden in Deep Neural Networks
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们发现了隐藏在深度神经网络(DNN)中的关键特征的存在,这些特征是不可感知的,但实际上可以控制DNN的输出。我们称这些特征为主导模式。顾名思义,对于自然图像,如果我们将DNN的主导模式添加到其中,则该DNN的输出由主导模式而不是原始图像确定,即,DNN的预测结果与主导模式的预测结果一致。我们设计了一个算法来寻找这样的模式,通过追求在特征空间中的不敏感性。主导模式的直接应用是通用对抗性扰动(UAP)。数值实验表明,所发现的主导模式击败了最先进的UAP方法,尤其是在无标签环境中。此外,主导模式被证明有可能攻击DNN共享相同骨干的下游任务。我们认为,DNN特定的主导模式揭示了DNN的一些基本属性,对于DNN的特征分析和鲁棒性增强具有重要意义。
2021-05-31 cs.CR cs.CV cs.LG
Recurrent neural networks: vanishing and exploding gradients are not the end of the story
ETH Zürich(苏黎世联邦理工学院);ELLIS Institute Tübingen(图宾根ELLIS研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心)
本文发现RNN优化困难不仅源于梯度消失/爆炸,还源于记忆增强时参数变化引发输出剧变,并揭示逐元素递归与精细参数化(如SSM、LSTM)可缓解此效应。
2024-11-05 cs.AI cs.LG math.OC
Mask Off: Analytic-based Malware Detection By Transfer Learning and Model Personalization
Macquarie University(麦考瑞大学);University of Sydney(悉尼大学)
智能手机易受网络攻击的问题一直是用户严重关注的问题,这是由于安装的应用程序(\textit{apps})的完整性造成的。虽然应用程序提供合法和多样化的移动服务,但有害和危险的应用程序也揭示了渗透智能手机进行恶意行为的可行方法。彻底的应用程序分析是揭示恶意意图和提供对应用程序行为的更深入了解以进行安全风险评估的关键。这样的深入分析促使对从应用提取的一组特征和模式采用深度神经网络(DNN),以促进独立地检测潜在危险的应用。本文提出了一种基于分析的深度神经网络,Android恶意软件检测(ADAM),它采用细粒度的特征集来训练特定于特征的DNN,以便在应用程序标签的基础事实未知时对应用程序标签达成共识。此外,ADAM利用迁移学习技术来获得其对跨智能手机的新应用的可调整性,以回收预先训练的模型,并通过模型个性化和联邦学习技术使它们更具适应性。这种可调整性也得到了联邦学习保护的帮助,它通过模型分析保护ADAM免受中毒攻击。ADAM依赖于包含超过153000个应用程序的多样化数据集,其中包含超过41000个用于DNN训练的提取特征。ADAM的特定功能DNN平均达到了98%以上的准确率,从而在抵御数据操纵攻击方面表现出色。
2022-11-20 cs.CR cs.LG