On Interpretability of Deep Learning based Skin Lesion Classifiers using Concept Activation Vectors
Hochschule Pforzheim（普福尔茨海姆应用技术大学）；Smart Data and Knowledge Services German Research Center for Artificial Intelligence GmbH (DFKI)（德国人工智能研究中心智能数据与知识服务部）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Universitätsklinikum Münster（明斯特大学医院）；Universitätsklinikum Düsseldorf（杜塞尔多夫大学医院）；National University of Science and Technology (NUST)（巴基斯坦国立科技大学）；National Center of Artificial Intelligence（国家人工智能中心）
基于深度学习的医学图像分类器在眼科、皮肤科、病理学和放射学等各种应用领域都表现出了卓越的性能。然而，这些计算机辅助诊断（CAD）系统在实际临床设置中的接受程度受到严重限制，主要是因为它们的决策过程在很大程度上仍然模糊不清。这项工作的目的是阐明一个基于深度学习的医学图像分类器，通过验证该模型学习和利用皮肤科医生描述和使用的类似疾病相关概念。我们使用由RECOD实验室开发的经过良好训练的高性能神经网络对三种皮肤肿瘤进行分类，即黑色素细胞痣，黑色素瘤和脂溢性角化病，并对其潜在空间进行详细分析。两个完善的和公开可用的皮肤病数据集，PH2和derm7pt，用于实验。利用概念激活向量将人类可理解的概念映射到RECOD图像分类模型中，提出了一种新的概念激活向量训练和显著性检验方法。我们在独立评估集上的结果清楚地表明，分类器在其潜在表示中学习和编码人类可理解的概念。此外，TCAV分数（用CAV测试）表明，神经网络在进行预测时确实以正确的方式利用了疾病相关的概念。我们期望这项工作不仅可以增加对CAD的医疗从业者的信心，但也作为一个垫脚石，为进一步发展的CAV为基础的神经网络解释方法。
2020-05-05 cs.CV cs.LG eess.IV
Melanoma Classification Through Deep Ensemble Learning and Explainable AI
Sam Houston State University（萨姆休斯顿州立大学）
本文提出利用深度集成学习和XAI技术，提升黑色素瘤分类的可靠性与可解释性。
2025-10-31 cs.CV cs.LG
High Fidelity Synthetic Face Generation for Rosacea Skin Condition from Limited Data
Dublin City University（都柏林城市大学）
与大多数深度学习应用程序类似，使用计算机视觉和深度学习诊断皮肤病通常需要大量数据。然而，由于隐私问题，获得特定类型的面部皮肤状况的足够数据可能是困难的。因此，像酒渣鼻这样的疾病在计算机辅助诊断中往往研究不足。面部皮肤状况数据的有限性导致了对计算机辅助诊断的替代方法的研究。近年来，生成对抗网络（GANs），主要是StyleGANs的变体，在生成合成面部图像方面表现出了很好的效果。在这项研究中，第一次，一个小的数据集酒渣鼻与300全脸图像被用来进一步调查的可能性，产生合成数据。初步实验表明，如何微调模型和不同的实验设置显着影响酒渣鼻功能的保真度。结果表明，$R_1$正则化强度有助于实现高保真的细节。此外，这项研究提出了由专家皮肤科医生和非专业参与者合成/生成的面部的定性评价。使用几个验证指标进行定量评价。此外，一些限制和未来的发展方向进行了讨论。代码和生成的数据集可从以下网址获得：\url{https://github.com/thinkercache/stylegan2-ada-pytorch}
2023-03-08 cs.CV cs.LG eess.IV
Dermo-DOCTOR: A framework for concurrent skin lesion detection and recognition using a deep convolutional neural network with end-to-end dual encoders
Khulna University of Engineering & Technology（库尔纳工程技术大学）
用于同时检测和识别的自动皮肤病变分析对于类间同质性和类内异质性仍然具有挑战性，导致具有有限数据集的单卷积神经网络（CNN）的低通用能力。本文提出了一个端到端的基于深度CNN的框架，用于同时检测和识别皮肤病变，名为Dermo-DOCTOR，由两个编码器组成。来自两个编码器的特征图是按通道融合的，称为融合特征图（FFM）。FFM用于检测子网络中的解码，将两个编码器的输出的每一级与对应的解码器层连接，以检索由于编码器中的池化而丢失的空间信息。对于识别子网络，利用两个编码器和FFM的特征图，将三个完全连接的层的输出聚合以获得最终的病变类。我们利用两个公开的基准数据集（如ISIC-2016和ISIC-2017）对拟议的Dermo-Doctor进行训练和评估。对于ISIC-2016和ISIC-2017测试数据集，实现的分割结果分别显示出85.0%和80.0%的平均交集。所提出的Dermo-DOCTOR还证明了在病变识别方面值得称赞的成功，为这两个数据集分别提供了0.98和0.91的受试者工作特征曲线下的面积。实验结果表明，建议Dermo-DOCTOR优于文献中提到的替代方法，皮肤病变检测和识别。由于Dermo-DOCTOR在两个不同的测试数据集上提供了更好的结果，即使训练数据有限，它也可以成为皮肤科医生的吉祥计算机辅助工具。
2021-02-23 cs.CV cs.LG eess.IV
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM（国际商业机器公司）
概率深度学习是考虑不确定性的深度学习，包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法：概率神经网络和深度概率模型。前者采用深度神经网络，其利用概率层来表示和处理不确定性;后者使用概率模型，其包含深度神经网络组件，这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子，包括贝叶斯神经网络和混合密度网络（概率神经网络），以及变分自编码器，深度高斯过程和深度混合效应模型（深度概率模型）。TensorFlow Probability是一个用于概率建模和推理的库，可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS（高等研究院）；Harvard University（哈佛大学）
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核（NTK）来描述，其中证明了在无限宽度限制下，NTK收敛到显式限制核，并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6，13，14]。在过度参数化机制中，完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络，梯度下降实现了零训练损失。然而，在[5]中观察到，使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化，由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中，我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程，神经切线层次（NTH），它捕获了深度神经网络的梯度下降动态。此外，在一定的条件下的神经网络的宽度和数据集的维数，我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能，并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在本文中，我们从理论上证明了深度ReLU神经网络在神经切核（NTK）机制下的损失景观中不存在虚假的局部最小值，也就是说，在深度ReLU神经网络的梯度下降训练动态中，其参数由正态分布初始化，因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University（普林斯顿大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们证明了对于低维解析函数，深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology（麻省理工学院）
我们提出了两个有界的比较指标，可以实现任意尺寸的回归任务。一个是量化不确定性的结构，另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性，而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程（GP），嵌入式深度神经网络（DNN）和嵌入式深度神经运算符（DNO）。我们发现，比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到，DNN和DNO，特别是与GP相比，在高维数据中提供了令人鼓舞的度量值，无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science（计算机学院）；Faculty of Information Technology（信息技术学院）；Beijing University of Technology（北京工业大学）
随着深度学习的发展，如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络，并证明了一个关于连通有向无环图诱导网络的生成定理。然后，我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述，为深度学习模型的图形化设计和编程技术提供了理论基础，对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Princeton University（普林斯顿大学）；HKUST（香港科技大学）
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明，这种系统的行为像凸系统下各种restrictedsettings，如两个层次的神经网络，当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而，没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术，最初在（Fang et al.，2019 a）用于两级神经网络，以分析深度神经网络。研究表明，在合适的表示下，过参数化深度神经网络本质上是凸的，当优化时，系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致，即深度神经网络能够学习有效的特征表示。因此，这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实，我们的理论预测是一致的，在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong（香港城市大学）
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是，对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力，缺乏理论基础。在这里，我们证明了深度卷积神经网络（CNN）是通用的，这意味着当神经网络的深度足够大时，它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计，严格按照要计算的自由参数的数量给出，验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；Sorbonne Université（索邦大学）
训练非常深的神经网络是一项具有挑战性的任务，因为神经网络越深，它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能，用于训练深度增加的神经网络。对于浅层神经网络，Langevin算法没有带来任何改进，但是网络越深，Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱，这对于非常深的神经网络来说更常见。在此启发式之后，我们引入了一种新的Langevin算法，称为Layer Langevin，该算法仅将Langevin噪声添加到与最深层相关的权重。然后，我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
Exploring convolutional neural networks with transfer learning for diagnosing Lyme disease from skin lesion images
Université Clermont Auvergne（克莱蒙奥弗涅大学）；CNRS（法国国家科学研究中心）；ENSMSE（圣艾蒂安国立矿业工程师学校）；INRAE（法国国家农业食品与环境研究院）；VetAgro Sup（法国兽医与农学高等学院）；Université de Lyon（里昂大学）；CHU Clermont-Ferrand（克莱蒙费朗大学医院）；Inserm（法国国家健康与医学研究院）；Tous Chercheurs Laboratory（全民研究者实验室）；CPIE Champenoux（尚佩努环境倡议中心）；University Hospital of Nancy（南锡大学医院）；University Hospital of Saint Etienne（圣艾蒂安大学医院）；IHU-Méditerranée Infection（地中海感染大学医院研究所）；Aix Marseille Univ（艾克斯-马赛大学）；IRD（法国发展研究院）；AP-HM（马赛公立医院援助机构）；SSA（法国军队卫生勤务局）；Hôpitaux Universitaires（斯特拉斯堡大学医院）；Pontchaillou University Hospital（蓬查卢大学医院）；CHR Orléans（奥尔良地区中心医院）；Hospital of Villeneuve-Saint-Georges（维勒讷夫圣乔治医院）；Centre Hospitalier Universitaire de Rennes（雷恩大学医院）
莱姆病是最常见的传染性媒介传播疾病之一，在大多数情况下表现为游走性红斑（EM）皮肤病变。最近的研究表明，卷积神经网络（CNN）在从图像中识别皮肤病变方面表现良好。用于资源受限的移动设备的基于轻量级CNN的预扫描仪应用程序可以帮助用户早期诊断莱姆病，并通过适当的抗生素治疗防止转变为严重的晚期形式。此外，基于资源密集型CNN的强大计算机应用程序可以帮助非专业从业人员进行准确的诊断。本研究的主要目的是广泛分析CNN从图像诊断莱姆病的有效性，并找出考虑资源限制的最佳CNN架构。首先，我们在法国克莱蒙费朗大学医院中心的皮肤科专家的帮助下创建了一个EM数据集。其次，我们在预测性能、计算复杂性和统计显著性方面，对从VGG、ResNet、DenseNet、MobileNet、Xception、NASNet和EfficientNet架构定制的23个CNN架构的数据集进行了基准测试。第三，为了提高CNN的性能，我们使用了ImageNet预训练模型的自定义迁移学习，并使用皮肤病变数据集HAM10000对CNN进行了预训练。第四，对于模型的可解释性，我们使用了加权类激活映射来可视化对CNN进行预测有重要意义的输入区域。第五，我们提供了基于预测性能和计算复杂性的模型选择指南。
2022-02-15 cs.CV cs.LG eess.IV
DeepStreamCE: A Streaming Approach to Concept Evolution Detection in Deep Neural Networks
Birmingham City University（伯明翰城市大学）
深度神经网络已经在实验中证明了在决策预测方面优于其他机器学习方法的性能。然而，一个主要的问题是训练类的分类决策的闭集性质，这可能会在安全关键系统中产生严重的后果。当深度神经网络处于流式传输环境中时，需要对该分类进行快速解释以确定分类结果是否可信。当深度神经网络的输入数据随时间变化时，可能会发生不可信分类。一种可能发生的变化是概念进化，其中引入了一个新的类，而深度神经网络没有在其上进行训练。在大多数深度神经网络架构中，唯一的选择是将此实例分配给它在其上进行训练的类之一，这是不正确的。本研究的目的是检测流中新类的到达。现有的解释深度神经网络的工作通常集中在神经元激活，以提供视觉解释和特征提取。我们的新方法，创造了DeepStreamCE，使用流方法在深度神经网络中进行实时概念进化检测。DeepStreamCE在离线阶段使用自动编码器和基于MCOD流的聚类来应用神经元激活减少。两个输出都用于在线阶段，以分析进化流中的神经元激活，从而实时的检测概念进化的发生。我们通过在CIFAR-10数据集的数据组合上训练VGG 16卷积神经网络来评估DeepStreamCE，并提供一些类作为概念进化。为了进行比较，我们将数据和VGG 16网络应用于开放集深度网络解决方案- OpenMax。DeepStreamCE在识别我们数据集的概念演变时优于OpenMax。
2020-04-08 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑了深度神经网络中的选择性预测（也称为拒绝选项）问题，并引入了SelectiveNet，这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下，SelectiveNet经过训练，可以同时优化分类（或回归）和拒绝，端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中，我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡，从而达到了深度选择性分类的最新结果。
2019-06-26 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University（首尔大学）
人们对深度神经网络的表达能力越来越感兴趣。然而，关于这个主题的大多数现有工作只关注特定的激活函数，如ReLU或sigmoid。在本文中，我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度，宽度和稀疏性的深度神经网络，以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析，我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题，提出带校正的对抗训练方案，证明其能达到上确界范数意义下的最优速率，并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）
本文针对连续时间参数的神经常微分方程及相应深度残差网络，基于Lipschitz论证推导泛化界，并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Embedding Differentiable Sparsity into Deep Neural Network
ETRI（韩国电子通信研究院）
在本文中，我们提出将稀疏性嵌入到深度神经网络的结构中，其中模型参数在使用随机梯度下降进行训练期间可以精确为零。因此，它可以同时学习网络的稀疏结构和权值。所提出的方法可以学习结构化以及非结构化稀疏性。
2020-06-23 cs.LG stat.ML
Deep Neural Networks as Point Estimates for Deep Gaussian Processes
University of Cambridge（剑桥大学）；Secondmind；Amazon（亚马逊）；Imperial College London（伦敦帝国学院）；Google Brain（谷歌大脑）
神经网络和高斯过程在它们的优点和缺点上是互补的。更好地理解它们之间的关系意味着承诺让每种方法都能从另一种方法的优势中受益。在这项工作中，我们建立了神经网络和（深）稀疏高斯过程模型的前向传递之间的等价性。我们开发的理论是基于解释激活函数作为域间诱导功能，通过激活函数和内核之间的相互作用的严格分析。这导致模型既可以被视为具有改进的不确定性预测的神经网络，也可以被视为具有提高的预测精度的深度高斯过程。这些主张得到了回归和分类数据集上的实验结果的支持。
2021-12-09 cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia（西澳大学）；Murdoch University（莫道克大学）；Monash University（莫纳什大学）
现代深度学习方法是解决无数挑战性问题的强大工具。然而，由于深度学习方法作为黑箱运行，因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集，用于设计，实施，训练，使用和评估贝叶斯神经网络，即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
On the rate of convergence of a deep recurrent neural network estimate in a regression problem with dependent data
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
考虑了一类非独立数据的回归问题。正则性假设的依赖性的数据进行了介绍，它表明，在适当的结构假设的回归函数的深度循环神经网络估计是能够规避灾难的维数。
2020-10-31 cs.LG stat.ML
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；École Normale Supérieure Paris-Saclay（巴黎萨克雷高等师范学院）
在本文中，我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地，对于一个给定的$G$ -不变/等变函数，我们通过深度神经网络构造了它的通用逼近器，该深度神经网络的层装备了$G$ -作用，并且每个仿射变换都是$G$ -等变/不变的。由于表示理论，我们可以证明，这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
Power Law in Sparsified Deep Neural Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
在许多生物神经网络的度分布中都观察到幂律。稀疏深度神经网络从数据中学习经济的表示，在许多方面类似于生物神经网络。在本文中，我们研究这些人工网络是否也表现出幂律性质。在两种流行的深度学习模型，即多层感知器和卷积神经网络上的实验结果是肯定的。幂律也自然地与优先依附有关。为了研究深度网络在持续学习中的动力学性质，我们提出了一个内部偏好连接模型来解释网络拓扑结构的演变。实验结果表明，随着新任务的到来，新的连接遵循这种优先连接过程。
2018-05-04 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University（首尔国立大学）；Hongik University（弘益大学）
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上，因此没有充分解决深度在深度学习中的作用。在这项工作中，我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器（MLP）的无限深度限制，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深度卷积神经网络（CNN）并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science；Engineering Waseda University Tokyo, Japan；Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则，从逼近精度和线性区域性质角度分析，证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）
近年来，应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去，许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中，我们扩展了以前的工作，并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明，这种GA辅助的方法提高了深度自动编码器的性能，产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University（密歇根州立大学）
深度神经网络，特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功，但我们对它们如何工作的了解仍然有限，对这种了解的需求正在不断增长。在这方面，深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而，这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点，我们提出了一种新的方法，我们称之为深度决策边界实例生成（DeepDIG）。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后，我们引入了一组重要的原则性特征，这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验，并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
Synthetic Melanoma Image Generation and Evaluation Using Generative Adversarial Networks
Department of Engineering Technology, University of Houston（休斯顿大学工程技术系）；Department of Electrical and Computer Engineering, University of Houston（休斯顿大学电气与计算机工程系）；Department of Information Science Technology, University of Houston（休斯顿大学信息科学与技术系）；School of Computing, Clemson University（克莱姆斯大学计算学院）；Department of Public Health, Texas Tech University（德克萨斯技术大学公共卫生系）；Department of Dermatology and Pathology, Texas Tech University（德克萨斯技术大学皮肤科与病理学系）；Department of Dermatology, University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心皮肤科）；Department of Biomedical Engineering, University of Houston（休斯顿大学生物医学工程系）
本文通过比较四种GAN架构，生成高分辨率黑色素瘤图像，发现StyleGAN2在定量性能和感知质量上表现最佳，且能有效缓解黑色素瘤数据集中的类别不平衡问题。
2026-03-13 cs.CV cs.LG
DropNeuron: Simplifying the Structure of Deep Neural Networks
Data Science Institute（数据科学研究所）；Imperial College London（伦敦帝国理工学院）
使用多层神经网络（NN）架构的深度学习在现代机器学习系统中表现出超强的能力。经过训练的深度神经网络（DNN）通常很大。我们想要解决的问题是，是否有可能在训练过程中简化NN，以在可接受的计算时间内实现合理的性能。我们提出了一种通过网络结构的正则化来优化深度神经网络的新方法。我们提出了正则化器，它支持在网络训练过程中丢弃神经元的简单机制。该方法支持构造一个更简单的深度神经网络，其性能与其简化版本兼容。作为概念的证明，我们评估所提出的方法的例子，包括稀疏线性回归，深度自动编码器和卷积神经网络。估值显示了出色的业绩。该工作的代码可以在http://www.github.com/panweihit/DropNeuron中找到
2016-07-03 cs.CV cs.LG stat.ML
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综（MME）。在此之后，经验证据支持{ \it现象}，即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失，即，累积圆谱差（CSD）。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响，如使用神经结构搜索（NAS）和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
DLL: A Blazing Fast Deep Neural Network Library
HES-SO, University of Applied Science of Western Switzerland University of Fribourg, Switzerland（瑞士西部应用科学与艺术大学（HES-SO）、弗里堡大学）
深度学习库（DLL）是一个用于机器学习的新库，它具有深度神经网络，专注于速度。它支持前馈神经网络，如全连接人工神经网络（ANN）和卷积神经网络（CNN）。它还非常全面地支持受限玻尔兹曼机（RBM）和卷积RBM。我们这项工作的主要动机是提出和评估新的软件工程策略，有可能加快训练和推理的运行时间。这些策略大多独立于底层的深度学习算法。在三个不同的数据集和四个不同的神经网络模型上，我们将DLL与五个流行的深度学习框架进行了比较。实验表明，该框架在CPU和GPU上的速度明显提高。在分类性能方面，报告了与其他框架类似的准确性。
2018-04-11 cs.CV cs.LG stat.ML
Global optimality conditions for deep neural networks
Massachusetts Institute of Technology（麻省理工学院）
我们研究了具有平方误差损失的深度线性和非线性神经网络的误差景观。最小化深度线性神经网络的损失是一个非凸问题，尽管最近取得了进展，但我们对这种损失面的理解仍然不完整。对于深度线性网络，我们给出了风险函数的临界点是全局最小值的充分必要条件。令人惊讶的是，我们的条件提供了一个有效的检查测试的全局最优性，而这样的测试通常是棘手的非凸优化。我们进一步将这些结果扩展到深度非线性神经网络，并证明了类似的全局最优性的充分条件，尽管在更有限的函数空间设置。
2018-03-24 cs.LG math.OC stat.ML
Building Robust Deep Neural Networks for Road Sign Detection
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
深度神经网络是通过使用正则化、早期停止和丢弃等技术来构建的，以在训练集之外进行泛化。但是，很少有人考虑让它们更能适应对抗性的例子。随着深度神经网络在关键任务和实时系统中变得越来越普遍，不法分子开始通过故意使深度神经网络将一种类型的对象错误分类为另一种类型来攻击它们。在某些情况下，这可能是灾难性的，其中深度神经网络的分类可能导致机器做出致命的决定。在这项工作中，我们使用GTSRB数据集通过快速梯度符号方法和雅可比显著性方法来制作对抗样本，使用这些制作的对抗样本来攻击另一个深度卷积神经网络，并通过防御蒸馏和对抗训练使被攻击的网络对对抗攻击更具弹性
2017-12-26 cs.AI cs.LG stat.ML
An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology（阿米提信息技术学院）；Amity University（阿米提大学）；Coventry University（考文垂大学）
在本文中，我们提出了一种深度量子SVM公式，并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性，并与可能的经典实现进行了比较。我们的调查表明，所提出的量子版本的深度聚类公式显示出显着的性能增益（在许多部分指数加速增益）对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的，是对量子经典机器学习公式的新颖研究，以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Limitations on approximation by deep and shallow neural networks
证明了关于深、浅神经网络逼近紧集K的误差的Carl型不等式。这反过来又给出了当要求近似值来自这样的网络的输出时，我们可以近似K中的函数的下限。我们的结果是作为最近推出的Lipschitz宽度的研究的副产品。
2022-11-30 cs.LG math.FA stat.ML
On the approximation of rough functions with deep neural networks
ETH Zürich（苏黎世联邦理工学院）；University of Southern California（南加州大学）
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明，在任何阶数下，ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络，包括其近似Lipschitz函数的高阶精度。数值试验结果表明，神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University（乌普萨拉大学）
在本文中，我们证明了，在深度极限，ResNet型深度神经网络，其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降，以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下，我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
2022-04-22 cs.LG
Verifying Properties of Binarized Deep Neural Networks
VMware Research（VMware研究院）；Amazon（亚马逊）；UNSW（新南威尔士大学）；Data61
理解深度神经网络的属性是深度学习中的一个重要挑战。在本文中，我们在这个方向上迈出了一步，提出了一个严格的方法来验证一个流行的神经网络类，二进制神经网络的属性，使用成熟的布尔可满足性。我们的主要贡献是一个构造，创建一个表示的二进制神经网络作为一个布尔公式。我们的编码是深度神经网络的第一个精确布尔表示。使用这种编码，我们利用现代SAT求解器的功能以及提出的反例引导搜索程序来验证这些网络的各种属性。一个特别的重点将是对抗性扰动的鲁棒性的关键属性。对于这个属性，我们的实验结果表明，我们的方法可扩展到用于图像分类任务的中等大小的深度神经网络。据我们所知，这是第一个使用网络的精确布尔编码来验证深度神经网络属性的工作。
2018-05-31 cs.AI cs.CR cs.LG
Deep Learning with Darwin: Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）
从生物进化中获得灵感，我们探索了“深度神经网络能否在连续几代中自然进化成高效的深度神经网络？“通过引入通过从祖先深度神经网络的进化过程在连续几代中合成新的高效但强大的深度神经网络的概念。祖先深层神经网络的结构特征是使用突触概率模型编码的，突触概率模型可以被视为这些网络的“DNA”。具有不同网络架构的新后代网络基于来自祖先网络的这些突触概率模型和计算环境因子模型以随机方式合成，以模仿遗传、自然选择和随机突变。然后，这些后代网络被训练成功能齐全的网络，就像训练新生儿一样，并且具有比其祖先网络更高效、更多样化的网络架构，同时实现强大的建模能力。视觉显着性任务的实验结果表明，与原始祖先网络相比，合成的“进化”后代网络可以实现最先进的性能，同时具有显着更有效的网络架构（到第四代，突触减少了惊人的$\sim$ 48倍）。
2017-02-06 cs.CV cs.LG cs.NE
On variation of gradients of deep neural networks
Seoul National University（首尔大学）
我们对深度神经网络中每层节点数量的作用提供了理论解释。我们证明了具有ReLU激活函数的深度神经网络的最大变化出现在具有最少节点的层改变其激活模式时。一个重要的含义是，深度神经网络是生成函数的有用工具，这些函数的大部分变化集中在与具有最少节点的层相对应的边界附近的输入空间的较小区域上。反过来，该属性使函数对输入变换更具有不变性。也就是说，我们的理论结果为如何设计深度神经网络的架构以同时增加复杂性和变换不变性提供了线索。
2018-12-02 cs.LG math.ST stat.ML
DeepSearch: A Simple and Effective Blackbox Attack for Deep Neural Networks
MPI-SWS（马克斯·普朗克软件系统研究所）
尽管深度神经网络在图像分类任务中非常成功，但它们容易受到对抗攻击。为了生成对抗性输入，出现了各种各样的技术，例如针对神经网络的黑盒和白盒攻击。在本文中，我们提出了DeepSearch，这是一种针对图像分类器的新型基于模糊的，查询效率高的黑盒攻击。尽管它很简单，但DeepSearch在寻找对抗性输入方面比最先进的黑盒方法更有效。与这些方法相比，DeepSearch还能够生成最微妙的对抗性输入。
2020-08-15 cs.LG
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology（瑞典皇家理工学院）
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响，这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性，这些方法基于在存在这些不可感知的扰动的情况下进行训练（即对抗性训练）。在本文中，我们研究了对抗性训练对智能体学习神经策略的影响。特别是，我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法，我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验，我们表明，针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上，这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法，我们提出了一种新的方法来测量深度神经策略的特征敏感性，并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信，我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
Are Deep Neural Networks "Robust"?
Rutgers University（罗格斯大学）
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
2020-08-25 cs.CV cs.LG
Deep Neural Networks with Short Circuits for Improved Gradient Learning
IHPC A*STAR（A*STAR高性能计算研究所）；Georgia State University（佐治亚州立大学）
深度神经网络在计算机视觉和自然语言处理任务中都取得了巨大成功。然而，大多数最先进的方法高度依赖于外部训练或计算来提高性能。为了减轻外部依赖，我们提出了一种梯度增强方法，由短路神经连接进行，以改善深度神经网络的梯度学习。所提出的短路是一个单向连接，单回传播的敏感从深层到浅层。此外，短路公式是其交叉层的梯度截断，其可以插入到骨干深层神经网络中，而无需引入外部训练参数。大量的实验表明，具有我们的短路的深度神经网络在计算机视觉和自然语言处理任务上都比基线有很大的优势。
2020-09-23 cs.LG
DeepCSHAP: Utilizing Shapley Values to Explain Deep Complex-Valued Neural Networks
University of Münster（明斯特大学）
本文提出DeepCSHAP，将Shapley值解释方法扩展到复值神经网络，并给出四种梯度解释方法，评估质量并开源。
2024-03-13 cs.LG
Convergence of Deep Convolutional Neural Networks
Old Dominion University（欧道明大学）；Sun Yat-sen University（中山大学）
深度神经网络的收敛是建立深度学习数学基础的基础，因为网络的深度趋于无穷大。在之前的研究中，我们研究了具有固定宽度的深度ReLU网络的这个问题。这并不包括重要的卷积神经网络，其中的宽度从一层到另一层不断增加。出于这个原因，我们首先研究一般ReLU网络随着宽度增加的收敛性，然后将所得结果应用于深度卷积神经网络。事实证明，这种收敛性归结为矩阵大小不断增加的无限乘积的收敛性，而文献中尚未考虑过这一点。我们建立了这样的矩阵无穷乘积收敛的充分条件。基于这些条件，我们提出了一般深度ReLU网络随着宽度增加而分段收敛的充分条件，以及深度ReLU卷积神经网络的逐点收敛的充分条件。
2022-01-23 cs.LG
Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间，使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播，但会修改反向传播方程，以允许达到最深网络层的良好缩放梯度流，而不会出现消失或爆炸。对非常深的神经网络的测试结果表明，新技术可以做一个有效的控制梯度范数，允许在最深层的权重更新，并提高网络的精度在几个实验条件。
2021-06-17 cs.LG
