Towards Proving the Adversarial Robustness of Deep Neural Networks
Stanford University(斯坦福大学)
自动驾驶汽车是高度复杂的系统,需要在各种情况下可靠地运行。为这些车辆手动制作软件控制器是困难的,但在使用机器学习生成的深度神经网络方面取得了一些成功。然而,深度神经网络对人类工程师来说是不透明的,这使得它们的正确性很难手动证明;而现有的自动化技术,不是为了在神经网络上运行而设计的,无法扩展到大型系统。本文的重点是证明深度神经网络的对抗鲁棒性,即证明对网络正确分类的输入的小扰动不会导致它被错误分类。我们描述了我们最近和正在进行的一些验证网络对抗鲁棒性的工作,并讨论了我们遇到的一些开放性问题以及如何解决这些问题。
2017-09-08 cs.CR cs.LG cs.LO
Are Deep Sequence Classifiers Good at Non-Trivial Generalization?
dMetrics(dMetrics公司)
用于序列分类的深度学习模型的最新进展极大地提高了其分类准确性,特别是当大训练集可用时。然而,一些作品表明,在某些设置下,这些模型的预测校准不良。在这项工作中,我们研究二进制序列分类问题,我们从不同的角度来看模型校准,提出这样一个问题:深度学习模型是否能够学习底层目标类分布?我们专注于稀疏序列分类,即目标类很少的问题,并比较了三种深度学习序列分类模型。我们开发了一种评估方法,可以衡量分类器学习目标类分布的程度。此外,我们的评估解开了良好的性能,实现了单纯的压缩训练序列与性能实现了适当的模型泛化。我们的研究结果表明,在这种二进制设置中,深度学习模型确实能够以非平凡的方式学习底层类分布,即通过超越数据压缩的适当泛化。
2022-11-11 cs.LG
DeepSaucer: Unified Environment for Verifying Deep Neural Networks
Hitachi, Ltd.(日立有限公司);University of Southampton(南安普顿大学)
近年来,已经开发了许多用于验证DNN的方法。由于这些方法的方法不同,有自己的局限性,我们认为,一些验证方法应适用于开发DNN。要将许多方法应用于DNN,需要转换DNN的实现或验证方法,以便一个在相同的环境中运行。由于这些翻译非常耗时,因此提出了一种名为DeepSaucer的实用工具,该工具有助于保留和重用DNN,验证方法及其环境的实现。在DeepSaucer中,加载DNN、运行验证方法和创建其环境的代码片段被保留并作为软件资产重用,以降低验证DNN的成本。DeepSaucer的可行性通过在Anaconda的基础上实现来证实,Anaconda为加载DNN和运行验证方法提供了虚拟环境。最后通过实例验证了DeepSaucer的有效性。
2018-11-09 cs.LG cs.SE
Algorithms for Verifying Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
深度神经网络广泛用于非线性函数逼近,其应用范围从计算机视觉到控制。虽然这些网络涉及简单算术运算的组合,但要验证特定网络是否满足某些输入输出属性可能非常具有挑战性。这篇文章调查的方法,最近出现了健全的验证这些属性。这些方法借鉴了可达性分析、优化和搜索的见解。我们讨论现有算法之间的根本差异和联系。此外,我们提供了现有方法的教学实现,并在一组基准问题上进行比较。
2020-10-15 cs.LG stat.ML
ModelVerification.jl: a Comprehensive Toolbox for Formally Verifying Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Verona(威尼斯大学)
本文提出 ModelVerification.jl,首个综合前沿的 DNN 形式化验证工具箱,集成多种最先进方法以支持不同类型网络与安全规范的验证。
2025-07-20 cs.LG cs.SE
Vertex-based reachability analysis for verifying ReLU deep neural networks
神经网络在不同的任务上实现了高性能,即图像识别、话音识别和其他应用。尽管取得了成功,但这些模型在小扰动方面仍然很脆弱,可以用来制作所谓的对抗性例子。已经提出了不同的方法来规避它们的脆弱性,包括形式化验证系统,它采用各种技术,包括可达性,优化和搜索过程,以验证模型满足某些属性。在本文中,我们提出了三种新的可达性算法,用于验证具有ReLU激活的深度神经网络。第一个和第三个算法计算可达集的过近似,而第二个算法计算精确可达集。与以前提出的方法不同,我们的算法以V-多面体作为输入。我们对ACAS徐问题的实验表明,在这项工作中提出的精确多面体网络映射(EPNM)的可达性算法超过了国家的最先进的结果,从文献中,特别是在有关其他可达性方法。
2023-01-27 cs.LG
A DPLL(T) Framework for Verifying Deep Neural Networks
George Mason University(乔治梅森大学);University of Virginia(弗吉尼亚大学)
本文提出NeuralSAT验证方法,将SMT求解器中的DPLL(T)算法与基于抽象的演绎理论求解器及冲突子句学习相结合,在具有挑战性的DNN验证基准上展现出显著优势。
2024-01-19 cs.LG cs.LO cs.SE
Verifying Properties of Binarized Deep Neural Networks
VMware Research(VMware研究院);Amazon(亚马逊);UNSW(新南威尔士大学);Data61
理解深度神经网络的属性是深度学习中的一个重要挑战。在本文中,我们在这个方向上迈出了一步,提出了一个严格的方法来验证一个流行的神经网络类,二进制神经网络的属性,使用成熟的布尔可满足性。我们的主要贡献是一个构造,创建一个表示的二进制神经网络作为一个布尔公式。我们的编码是深度神经网络的第一个精确布尔表示。使用这种编码,我们利用现代SAT求解器的功能以及提出的反例引导搜索程序来验证这些网络的各种属性。一个特别的重点将是对抗性扰动的鲁棒性的关键属性。对于这个属性,我们的实验结果表明,我们的方法可扩展到用于图像分类任务的中等大小的深度神经网络。据我们所知,这是第一个使用网络的精确布尔编码来验证深度神经网络属性的工作。
2018-05-31 cs.AI cs.CR cs.LG
Deep Stable Learning for Out-Of-Distribution Generalization
Tsinghua University(清华大学)
基于深度神经网络的方法在测试数据和训练数据共享相似分布时取得了惊人的性能,但否则可能会严重失败。因此,消除训练和测试数据之间的分布偏移的影响对于构建性能有希望的深度模型至关重要。传统方法假设训练数据(例如域标签)的已知异质性或不同域的近似相等容量。在本文中,我们考虑一个更具挑战性的情况下,上述假设都不成立。我们建议通过学习训练样本的权重来消除特征之间的依赖关系来解决这个问题,这有助于深度模型摆脱虚假的相关性,从而更专注于区分性特征和标签之间的真正联系。大量的实验清楚地证明了我们的方法的有效性多分布泛化基准相比,国家的最先进的同行。通过在PACS、VLCS、MNIST-M和NICO等分布泛化基准上的大量实验,我们证明了该方法与现有方法相比的有效性。
2021-04-16 cs.AI cs.CV cs.LG
VerIDeep: Verifying Integrity of Deep Neural Networks through Sensitive-Sample Fingerprinting
Princeton University(普林斯顿大学)
深度学习已经变得流行,并且提供了许多基于云的服务来帮助客户开发和部署深度学习应用。与此同时,各种攻击技术也被发现悄悄地损害模型的完整性。当云计算客户在云中部署深度学习模型并将其提供给最终用户时,能够验证所部署的模型没有被篡改以及模型的完整性受到保护对他来说非常重要。我们提出了一种新的低成本和自助服务的方法,让客户验证部署在云中的模型是完整的,同时只有黑盒访问(例如,通过API)到部署的模型。客户可以检测其深度学习模型的任意更改。具体来说,我们定义了\texttt{Sensitive-Sample}指纹,这是一个小的一组转换后的输入,使模型的输出敏感的模型的参数。即使是很小的重量变化也可以清楚地反映在模型输出中,并被客户观察到。我们对不同类型的模型完整性攻击的实验表明,我们可以检测模型完整性破坏的准确性高($>$ 99\%)和低开销($<$ 10黑盒模型访问)。
2018-08-20 cs.CR cs.LG
Safe Deep Reinforcement Learning by Verifying Task-Level Properties
Northeastern University(东北大学);University of Verona(维罗纳大学)
安全深度强化学习(DRL)中通常采用成本函数。然而,由于难以量化状态空间中的策略决策的风险,成本通常被编码为指示函数。这样的编码要求代理访问许多不安全的状态,以学习成本-价值函数来驱动学习过程朝向安全。因此,增加了不安全的相互作用的数量并降低了样本效率。在本文中,我们研究了另一种方法,使用领域知识来量化的风险,在附近的这种状态,通过定义一个违规度量。此度量通过验证任务级属性(形状为输入输出条件)来计算,并用作惩罚,以使策略偏离不安全状态,而无需学习其他价值函数。我们调查的好处,使用违规指标在标准的安全DRL基准和机器人无地图导航任务。导航实验弥合了安全日间行车灯和机器人之间的差距,引入了一个框架,允许在真正的机器人上进行快速测试。我们的实验表明,使用违规惩罚训练的策略在安全DRL基线上实现了更高的性能,并显着减少了访问的不安全状态的数量。
2023-02-20 cs.AI cs.LG
Verifying Low-dimensional Input Neural Networks via Input Quantization
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
深度神经网络是一个有吸引力的工具,用于压缩系统中的控制策略查找表,如机载防撞系统(ACAS)。通过验证技术确保这种神经控制器的安全性至关重要。分析ACAS Xu网络的问题已经激发了许多成功的神经网络验证器。这些验证器通常分析神经网络的内部计算,以决定关于输入/输出的属性是否成立。神经网络计算的内在复杂性使得这种验证器运行缓慢并且容易受到浮点错误的影响。本文重新讨论了ACAS Xu网的原问题。该网络采用低维传感器输入和由预先计算的查找表提供的训练数据。我们建议将输入量化层前置到网络。量化允许通过输入状态枚举进行有效的验证,其复杂性受量化空间的大小限制。量化相当于在运行时间的最近邻插值,这已被证明在模拟中为ACAS提供可接受的精度。此外,我们的技术可以提供精确的验证结果免疫浮点错误,如果我们直接枚举的目标推理实现或对目标实现的准确模拟的网络输出。
2021-08-18 cs.LG cs.LO
Verified Probabilistic Policies for Deep Reinforcement Learning
University of Birmingham(伯明翰大学)
深度强化学习是一种越来越流行的技术,用于合成策略以控制代理与其环境的交互。人们对正式验证这些策略是否正确并安全执行的兴趣也越来越大。在这一领域取得的进展是建立在现有工作的基础上,对深层神经网络和连续状态动力系统进行验证。在本文中,我们解决了验证深度强化学习的概率策略的问题,例如,用于解决对抗性环境,打破对称性和管理权衡。我们提出了一个抽象的方法,基于区间马尔可夫决策过程,产生概率保证政策的执行,目前的技术来建立和解决这些模型,使用抽象的解释,混合整数线性规划,基于熵的细化和概率模型检验。我们实现我们的方法,并说明其有效性的选择强化学习基准。
2022-06-01 cs.AI cs.LG cs.LO
VeriDIP: Verifying Ownership of Deep Neural Networks through Privacy Leakage Fingerprints
Anhui University of Technology(安徽工业大学);James Cook University(詹姆斯库克大学);Macquarie University(麦考瑞大学);Southeast University(东南大学)
VeriDIP利用成员推断攻击估计隐私泄露下界作为指纹,并采用较少隐私样本增强性能,高效验证深度神经网络所有权,在图像和表格数据集上表现优异。
2023-09-07 cs.AI cs.CR cs.LG
Verifying Integrity of Deep Ensemble Models by Lossless Black-box Watermarking with Sensitive Samples
Shanghai University(上海大学)
随着深度神经网络(DNN)在许多领域的广泛应用,保护DNN模型免受知识产权(IP)侵害的研究越来越多。现有的许多方法使用数字水印来保护DNN模型。它们中的大多数要么直接将水印嵌入到内部网络结构/参数中,要么通过微调要用一组所谓的触发样本保护的模型来插入零比特水印。虽然这些方法工作得很好,但它们是为单个DNN模型设计的,不能直接应用于组合多个DNN模型以做出最终决策的深度集成模型(DEM)。本文提出了一种新的数字高程模型黑盒水印算法,用于验证数字高程模型的完整性。该方法通过模拟真实世界中的DEM攻击,并分析未受攻击的DEM和受攻击的DEM的子模型在精心制作的数据集上的预测结果,精心选择一定数量的敏感样本。通过分析目标DEM在这些精心制作的敏感样本上的预测结果,我们能够验证目标DEM的完整性。与以往的许多方法不同,该方法不修改要保护的原始DEM,这表明该方法是无损的。实验结果表明,即使只有一个子模型受到攻击,DEM的完整性可以得到可靠的验证,具有良好的应用潜力。
2022-05-10 cs.CR cs.LG
Formally Verifying Deep Reinforcement Learning Controllers with Lyapunov Barrier Certificates
Stanford University(斯坦福大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);IT University of Copenhagen(哥本哈根信息技术大学);Google(谷歌公司);GE Aerospace Research(GE航空航天研究院)
针对深度强化学习智能体黑箱特性难保障安全、神经李雅普诺夫屏障证书学习与验证难度大的问题,提出证书组合与过滤技术,实现离散时间系统下DRL控制器的形式化安全与活性保证,并通过航天器控制案例验证有效性。
2024-08-14 cs.AI cs.LG cs.SY
veriFIRE: Verifying an Industrial, Learning-Based Wildfire Detection System
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Elbit Systems(埃尔比特系统公司);Elisra Ltd.(埃利斯拉有限公司)
在这篇简短的论文中,我们介绍了我们正在进行的veriFIRE项目的工作-工业界和学术界之间的合作,旨在使用验证来提高现实世界的安全关键系统的可靠性。我们的目标系统是一个用于野火检测的机载平台,它包含两个深度神经网络。我们描述了系统及其感兴趣的属性,并讨论了我们试图验证系统的一致性,即,它能够继续并正确地分类给定的输入,即使它所描述的野火强度增加。我们认为,这项工作是朝着将学术导向的核查工具纳入现实世界感兴趣的系统迈出的一步。
2022-12-06 cs.LG cs.LO cs.SE
ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models
George Mason University(乔治梅森大学)
ZonoGPT提出一种与深度无关的抽象域,通过结构化zonotope和融合变换高效验证大型GPT模型,首次扩展到GPT-2 Medium并成功验证1,339个实例。
2026-10-07 cs.LG cs.SE
veriFIRE: an Industrial Case Study in Verifying Consistency Properties for a DNN-Based Wildfire Detection System
The Hebrew University of Jerusalem(海法大学);Elbit Systems - ISTAR & EW - Elisra L.T.D;Cornell University(康奈尔大学)
本文提出一种端到端方法,通过将应用需求编码为求解器兼容查询,利用现有神经网络验证器验证野火检测系统中的单调性和有界响应等一致性属性,并在真实背景样本上评估,展示了工业系统可获得有意义的领域特定保证。
2026-06-02 cs.LG cs.LO cs.SE
Verifying Learning-Based Robotic Navigation Systems
The Hebrew University of Jerusalem(希伯来大学);University of Verona(维罗纳大学);The Weizmann Institute of Science(魏茨曼科学研究所)
深度强化学习(DRL)已成为在反应式系统中学习复杂策略的任务的主要深度学习范式。不幸的是,这些政策是众所周知的容易受到错误。尽管DNN验证取得了重大进展,但在现实世界中,DRL控制的系统上使用现代验证工具的工作很少。在这个案例研究中,我们试图开始弥合这一差距,并专注于无地图机器人导航的重要任务-一个经典的机器人问题,其中一个机器人,通常由DRL代理控制,需要有效和安全地通过一个未知的领域向目标导航。我们展示了现代验证引擎如何用于有效的模型选择,即,从候选策略池中为所述机器人选择最佳可用策略。具体来说,我们使用验证来检测和排除可能表现出次优行为的策略,例如冲突和无限循环。我们还应用验证来识别具有过度保守行为的模型,从而允许用户选择更好的策略,这可能更好地找到到达目标的更短路径。为了验证我们的工作,我们在实际机器人上进行了广泛的实验,并证实了我们的方法检测到的次优策略确实存在缺陷。我们还证明了我们的验证驱动的方法优于最先进的梯度攻击。我们的工作是第一个建立DNN验证在识别和过滤现实世界机器人中次优DRL策略方面的有用性,我们相信这里提出的方法适用于包含基于深度学习的代理的各种系统。
2023-01-10 cs.LG cs.RO math.OC
Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets
University of Sydney(悉尼大学)
在本文中,我们研究了在过参数化深度ReLU网络上实现经验风险最小化(ERM)的全局极小值的泛化性能。使用深度ReLU网络的一种新的深化方案,我们严格证明了在温和的条件下,存在完美的全局最小值,对于许多类型的数据,这些最小值几乎达到了最佳的泛化误差界。由于过度参数化对于确保深度ReLU网络上的ERM全局最小值可以通过广泛使用的随机梯度下降(SGD)算法实现至关重要,因此我们的结果确实填补了优化和泛化之间的空白。
2023-02-28 cs.LG
Exploring Generalization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
为了理解是什么驱动了深度网络的泛化,我们考虑了最近提出的几种解释,包括基于范数的控制、锐度和鲁棒性。我们研究了这些措施如何确保泛化,突出规模归一化的重要性,并在锐度和PAC-Bayes理论之间建立联系。然后,我们调查如何以及措施解释不同的观察到的现象。
2017-07-06 cs.LG
A practical generalization metric for deep networks benchmarking
本文提出一种实用泛化度量及基准测试平台,用于评估深度网络泛化能力,发现其取决于分类准确率与数据多样性,并揭示现有理论估计与实际测量不相关的问题。
2024-09-02 cs.LG
Deep Learning: Generalization Requires Deep Compositional Feature Space Design
Indian Institute of Technology, Guwahati(印度理工学院古瓦哈提分校)
泛化误差定义了深度模型的可辨别性和表示能力。在这项工作中,我们声称,使用深层组合函数的特征空间设计在泛化以及显式和隐式正则化中起着重要作用。我们的主张正在建立与几个图像分类实验。我们表明,由于卷积和最大池的信息损失可以边缘化的组合设计,提高泛化性能。此外,我们将证明学习率衰减在深度模型训练中充当隐式正则化器。
2017-07-08 cs.LG stat.ML
Generalization and Expressivity for Deep Nets
Wenzhou University(温州大学)
随着深度学习在实践中的快速发展,对其成功的理论解释变得迫切。泛化和表达性是量化深度学习理论行为的两个广泛使用的度量。表达性的重点是找到深网络可表达的函数,但不能用具有类似数量神经元的浅网络近似。它通常意味着大容量。泛化的目的是为深度网络获得快速的学习率。它通常需要较小的容量来减小方差。与以往深度学习的研究中追求表达性或泛化性不同,我们将这两个因素都考虑在内,以探索深度网络的理论优势。为此,我们构建了一个深度网络,其中两个隐藏层在局部和稀疏近似方面具有出色的表现力。然后,利用众所周知的覆盖数来衡量容量,我们发现,深网具有良好的表达能力(通过局部和稀疏近似来衡量),而不会扩大浅网的容量。因此,我们获得了接近最优的学习率,用于在构建的深度网络上实现经验风险最小化(ERM)。这些结果从理论上展示了从学习理论角度来看深度网络的优势。
2018-03-23 cs.LG
Gi and Pal Scores: Deep Neural Network Generalization Statistics
IBM Research(IBM研究院)
深度学习领域有丰富的经验证据表明,在各种回归、分类和控制任务上都有类似人类的表现。然而,尽管取得了这些成功,但该领域缺乏强有力的理论误差界和一致的网络泛化措施和学习不变性。在这项工作中,我们引入了两个新的措施,GI评分和PAL评分,捕捉深度神经网络的泛化能力。受基尼系数和帕尔马比率(衡量收入不平等的指标)的启发,我们的统计数据是网络对扰动的不变性的稳健度量,可以准确预测泛化差距,即,训练集和测试集的准确性之间的差异。
2021-06-10 cs.LG
Understanding Deep Learning Generalization by Maximum Entropy
University of Science and Technology of China(中国科学技术大学);Beijing Jiaotong University(北京交通大学)
深度学习通过大量的模型参数实现了卓越的泛化能力。对深度学习泛化的理论理解最近受到关注,但尚未得到充分探索。本文试图从最大熵的角度提供另一种理解。首先推导出softmax回归严格应用最大熵原理的两个特征条件。然后,DNN被认为是近似的特征条件与多层特征学习,并证明了最大熵原则的递归解决方案。DNN和最大熵之间的联系很好地解释了为什么诸如捷径和正则化之类的典型设计可以提高模型的泛化能力,并为未来的模型开发提供了指导。
2017-11-21 cs.LG
Frustratingly Simple Domain Generalization via Image Stylization
Georgia Institute of Technology(佐治亚理工学院)
卷积神经网络(CNN)在标准分类设置中表现出令人印象深刻的性能,其中训练和测试数据是独立同分布的。从给定的域。然而,CNN并不容易推广到具有不同统计数据的新领域,这对人类来说很简单。在这项工作中,我们解决了领域泛化问题,分类器必须推广到一个未知的目标域。受最近一些研究的启发,这些研究显示了CNN和人类之间的偏差差异,我们展示了一种非常简单但有效的方法,即通过用风格化图像增强数据集来纠正这种偏差。与现有的使用外部数据源(如艺术)的风格化作品相比,我们进一步引入了一种完全在域中使用的方法,不使用此类额外的数据源。我们提供了一个详细的分析,该方法的工作机制,验证我们的说法,它改变了形状/纹理的偏见,并证明结果超越或可比的最先进的,利用更复杂的方法。
2020-07-10 cs.CV cs.LG
Stronger generalization bounds for deep nets via a compression approach
Princeton University(普林斯顿大学);Duke University(杜克大学);Institute for Advanced Study(高等研究院)
尽管深度网络的参数比训练样本的数量多,但它的泛化能力很好。最近的作品试图用PAC贝叶斯和基于边际的分析给出一个解释,但还没有得到比朴素参数计数更好的样本复杂性界限。目前的论文显示了泛化范围,在实践中更好的数量级。这些依赖于新的简洁的重新参数化的训练网络--一个压缩,是明确和有效的。这些通过这里介绍的一个简单的基于压缩的框架产生泛化边界。我们的研究结果还为压缩深度网络的广泛经验成功提供了一些理论依据。我们的压缩正确性的分析依赖于一些新识别的\textquotedblleft噪声稳定性\textquotedblright属性的训练深度网络,这也是实验验证。对这些属性和由此产生的泛化界限的研究也扩展到卷积网络,这在早期证明泛化的尝试中未能实现。
2018-11-26 cs.LG
Ranking Deep Learning Generalization using Label Variation in Latent Geometry Graphs
IMT Atlantique(IMT大西洋高等矿业电信学院);Université Fédérale de Toulouse(图卢兹联邦大学)
在不依赖验证集的情况下测量深度神经网络(DNN)的泛化性能是一项艰巨的任务。在这项工作中,我们提出利用潜在几何图形(LGG)来表示训练DNN架构的潜在空间。这样的图是通过连接在所考虑的DNN的给定层产生类似潜在表示的样本来获得的。然后,我们通过查看LGG中不同类的样本的连接程度来获得泛化得分。这一成绩使我们在NeurIPS 2020预测深度学习泛化(PGDL)竞赛中排名第三。
2020-11-25 cs.LG
On a Built-in Conflict between Deep Learning and Systematic Generalization
在本文中,我们假设内部功能共享是削弱o.o.d.的原因之一。或者在用于分类任务的深度学习中的系统泛化。在等效预测下,模型将输入空间划分为由边界分隔的多个部分。功能共享更倾向于重用边界,导致新输出的部分更少,这与系统泛化相冲突。我们在标准的深度学习模型中展示了这种现象,例如全连接、卷积、残差网络、LSTM和(Vision)Transformers。我们希望这项研究提供了新的见解系统的推广,并形成新的研究方向的基础。
2022-08-24 cs.AI cs.LG
Predicting Generalization in Deep Learning via Local Measures of Distortion
University of California, San Francisco(加州大学旧金山分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们通过诉诸最初在近似和信息论中开发的复杂性度量来研究深度学习中的泛化。虽然这些概念受到深度学习的高维和数据定义性质的挑战,但我们表明,简单的矢量量化方法(如PCA,GARCH和SVM)在逐层应用于深度提取的特征时捕捉到了它们的精神,从而产生了相对廉价的复杂性度量,与泛化性能密切相关。我们在2020年NeurIPS PGDL挑战中讨论了我们的结果。
2020-12-16 cs.LG stat.ML
NeurIPS 2020 Competition: Predicting Generalization in Deep Learning
Google Research(谷歌研究院);University of Toronto(多伦多大学);Element AI;Microsoft Research(微软研究院);University Paris-Saclay(巴黎-萨克雷大学);ChaLearn
理解深度学习中的泛化可以说是深度学习中最重要的问题之一。深度学习已经成功地应用于从模式识别到复杂决策的大量问题,但最近许多研究人员对深度学习提出了许多担忧,其中最重要的是泛化。尽管进行了许多尝试,但传统的统计学习方法仍然无法对深度学习的工作原理提供令人满意的解释。最近的一系列工作旨在解决这个问题,试图通过复杂性的措施来预测泛化性能。在这个竞赛中,我们邀请社区提出可以准确预测模型泛化的复杂性度量。一个强大而通用的复杂性度量可能会更好地理解深度学习的底层机制和深度模型在不可见数据上的行为,或者揭示更好的泛化边界。所有这些结果对于使深度学习更加强大和可靠都很重要。
2020-12-14 cs.LG stat.ML
Representation Based Complexity Measures for Predicting Generalization in Deep Learning
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
深度神经网络可以泛化,尽管被显著过度参数化。最近的研究试图从各种观点来研究这种现象,并提供基于这些观点的泛化误差或泛化差距的预测措施的泛化误差的界限,例如基于范数的,基于PAC贝叶斯的,和基于边缘的分析。在这项工作中,我们从深层神经网络内部表示的质量角度对泛化进行了解释,基于人类视觉系统如何创建不变和未纠缠的对象表示的神经科学理论。我们没有提供理论上的界限,而是展示了实际的复杂性度量,这些度量可以通过临时计算来揭示深度模型中的泛化行为。我们还提供了我们的解决方案的详细描述,该解决方案赢得了在NeurIPS 2020举行的NeurIPS竞赛中关于深度学习中预测泛化的竞赛。我们的解决方案的实现可在https://github.com/parthnatekar/pgdl上获得。
2020-12-04 cs.CV cs.LG
Predicting Generalization in Deep Learning via Metric Learning -- PGDL Shared task
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院)
“预测深度学习的泛化(PGDL)”竞赛旨在为严格研究深度学习模型的泛化提供一个平台,并深入了解理解和解释这些模型的进展。本报告介绍了用户\emph{smeznar}提交的解决方案,该解决方案在竞赛中获得了第八名。在所提出的方法中,我们创建简单的度量,并在所提供的数据集上自动测试,找到它们的最佳组合,探索如何将输入神经网络架构的各种属性的组合用于预测其泛化。
2020-12-16 cs.LG stat.ML
Using noise resilience for ranking generalization of deep neural networks
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近的论文表明,充分过参数化的神经网络甚至可以完美地拟合随机标签。因此,理解网络在真实世界数据上泛化性能背后的根本原因至关重要。在这项工作中,我们提出了几种措施来预测泛化误差的网络给定的训练数据和它的参数。使用其中一种基于网络抗噪能力的措施,我们在NeurIPS 2020的深度学习(PGDL)竞赛中获得了预测泛化的第五名。
2020-12-16 cs.LG stat.ML
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University(巴伊兰大学);Technion(以色列理工学院);University of Illinois(伊利诺伊大学)
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而,为了获得边界,当前技术使用严格的假设,诸如一致有界或Lipschitz损失函数。为了避免这些假设,在本文中,我们通过利用Log-Sobolev不等式的收缩性,提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界,这是直观的模型复杂性的替代品。从经验上讲,我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
Inconsistency, Instability, and Generalization Gap of Deep Neural Network Training
RJ Research Consulting(RJ研究咨询);HKUST(香港科技大学)
本文从训练随机性出发,提出用模型输出的不一致性和不稳定性界定泛化差距,并通过实验证明不一致性比损失景观锐度更可靠,降低不一致性可提升性能,同时为协同蒸馏和集成等方法提供理论依据。
2023-10-29 cs.LG
Assessing Generalization in Deep Reinforcement Learning
University of California Berkeley(加州大学伯克利分校);Intel Labs(英特尔实验室);National University of Singapore(新加坡国立大学);University of Texas Austin(得克萨斯大学奥斯汀分校)
深度强化学习(RL)在许多任务上取得了突破性的成果,但智能体往往无法泛化到它们所训练的环境之外。因此,促进泛化的深度RL算法正受到越来越多的关注。然而,在这一领域的作品使用各种各样的任务和实验设置进行评估。文献缺乏一个控制评估的优点,不同的推广计划。我们的目标是在深度RL中促进社区范围内的泛化进展。为此,我们提出了一个基准和实验协议,并进行了系统的实证研究。我们的框架包含一组不同的环境,我们的方法涵盖了分布内和分布外泛化,我们的评估包括专门处理泛化的深度RL算法。我们的关键发现是,“香草”深度RL算法的泛化能力优于专门为解决泛化问题而提出的专门方案。
2019-03-15 cs.AI cs.LG stat.ML
Characterizing the Action-Generalization Gap in Deep Q-Learning
Brown University(布朗大学);Amazon Web Services(亚马逊云科技)
我们研究了深度Q学习在离散动作空间中的动作泛化能力。泛化对于有效的强化学习(RL)至关重要,因为它允许代理使用从过去经验中学到的知识来执行新任务。但是,虽然函数近似为深度RL代理提供了一种自然的方法来概括状态输入,但相同的概括机制并不适用于离散动作输出。然而,令人惊讶的是,我们的实验表明,使用这种类型的函数近似器的深度Q网络(DQN)仍然能够实现适度的动作泛化。我们的主要贡献是两方面的:第一,我们提出了一种使用动作相似性的专家知识来评估动作泛化的方法,并从经验上证实了动作泛化会导致更快的学习;第二,我们描述了不同领域中的动作泛化差距(DQN和专家之间的学习性能差异)。我们发现,DQN确实可以概括在几个简单的领域的行动,但它的能力,这样做的行动空间变得越来越大。
2022-05-11 cs.AI cs.LG
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室)
本文针对连续时间参数的神经常微分方程及相应深度残差网络,基于Lipschitz论证推导泛化界,并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
A Generalization Bound of Deep Neural Networks for Dependent Data
University of Science, Vietnam National University Ho Chi Minh City(越南国家大学胡志明市分校科学大学);AISIA Research Lab(AISIA研究实验室);Dalhousie University(达尔豪斯大学)
针对现有深度神经网络泛化界依赖独立同分布假设、不适用于实际依赖数据场景的问题,该研究建立了非平稳$\phi$-混合数据下前馈神经网络的泛化界。
2023-10-09 cs.LG stat.ML
Deep network as memory space: complexity, generalization, disentangled representation and interpretability
Southeast University(东南大学)
通过将深度网络和物理学联系起来,提出了深度网络几何化方案,作为深度学习系统可解释性的框架。根据这个计划,我们可以将物理学的两个关键思想,物理学的几何化和最小作用原理应用于深度网络,并提供深度网络的新图景:深度网络作为信息的存储空间,其中存储器的容量,鲁棒性和效率与深度网络的复杂性,泛化性和解纠缠密切相关。这种理解的关键组成部分包括:(1)基于Fisher度量的网络复杂性公式;(2)深度网络上的最小作用(复杂性=作用)原则;(3)建立在深度网络配置上的几何结构。我们将展示这幅图将如何为我们带来对深度学习系统可解释性的新理解。
2019-07-12 cs.AI cs.LG
Deep Learning Generalization, Extrapolation, and Over-parameterization
Yale Center for Medical Informatics(耶鲁医学信息学中心);VA Connecticut Healthcare System(康涅狄格州退伍军人医疗系统)
我们研究了过参数化深度网络(用于图像分类)相对于其训练集的凸包的泛化。尽管它们取得了巨大的成功,但深度网络的泛化仍然被认为是一个谜。这些模型的参数比训练样本多几个数量级,即使训练图像被随机标记,或者图像内容被随机噪声替换,它们也可以在训练集上达到完美的精度。这些模型的训练损失函数具有无限数量的近零极小值,其中只有一小部分极小值具有很好的推广性。总的来说,目前尚不清楚为什么模型需要过度参数化,为什么我们应该使用非常特定的训练机制来训练它们,以及为什么它们的分类对不可感知的对抗性扰动(称为对抗性脆弱性的现象)\cite{papernot2016limitations,shafahi2018adversarial,tsipras2018robustness}如此敏感。最近的一些研究在回答这些问题上取得了进展,但他们只考虑插值。我们表明插值不足以理解深度网络的泛化,我们应该拓宽我们的视角。
2022-03-19 cs.LG
On Compatible Generalization Bounds of Deep Residual Networks From a Dynamical System Perspective
School of Mathematical Sciences, Nankai University(南开大学数学科学学院)
本文从动力系统视角研究深度残差网络的泛化行为,通过结合Rademacher复杂性、流映射和收敛行为,推导出离散和连续时间ResNets的泛化误差界,揭示了深度均匀和渐近的泛化特性。
2026-11-11 cs.LG
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC(维迪亚游戏有限责任公司)
深度强化学习容易出现过拟合,Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练,验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践,使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明,该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
Generalization Error in Deep Learning
Tel Aviv University(特拉维夫大学);University College London(伦敦大学学院)
深度学习模型最近在计算机视觉、语音识别、语音翻译和自然语言处理等各个领域都表现出了出色的性能。然而,除了他们的最先进的性能,它仍然是普遍不清楚是什么来源,他们的泛化能力。因此,一个重要的问题是,是什么让深度神经网络能够很好地从训练集推广到新数据。在这篇文章中,我们提供了一个概述的现有理论和边界的表征深度神经网络的泛化误差,结合经典和最近的理论和实证结果。
2019-04-06 cs.AI cs.LG stat.ML
On the Robustness and Generalization of Deep Learning Driven Full Waveform Inversion
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
数据驱动方法已被证明是解决复杂科学问题的一种有前途的技术。全波形反演(FWI)通常被概括为图像到图像的翻译任务,这促使使用深度神经网络作为端到端解决方案。尽管使用合成数据进行训练,但深度学习驱动的FWI在使用足够的真实数据进行评估时预计会表现良好。在本文中,我们通过以下问题来研究这些性质:这些深度神经网络的鲁棒性如何?它们如何推广?对于鲁棒性,我们证明了从干净和嘈杂的数据的预测之间的偏差的上界。此外,我们证明了噪声水平和额外的增益损失之间的相互作用。对于推广,我们证明了一个基于范数的泛化误差上界通过一个稳定的推广框架。在地震FWI数据集上的实验结果与理论结果相吻合,有助于更好地理解将深度学习用于复杂的科学应用。
2021-11-28 cs.LG eess.SP
Sparsity-aware generalization theory for deep neural networks
Johns Hopkins University(约翰斯·霍普金斯大学)
本文利用隐藏层激活的稀疏性建立深度ReLU网络泛化分析框架,揭示稀疏性与泛化性的权衡,并在过参数化模型中给出非空泛化界。
2023-07-04 cs.AI cs.LG
On Tighter Generalization Bound for Deep Neural Networks: CNNs, ResNets, and Beyond
Princeton University(普林斯顿大学);Northwestern University(西北大学);University of Minnesota(明尼苏达大学);Georgia Institute of Technology(佐治亚理工学院)
我们建立了一个基于间隔的数据依赖泛化误差界的深度和宽度,以及网络的雅可比矩阵的一般家庭的深度神经网络。通过对神经网络族的Lipschitz性质引入一个新的刻画,得到了比已有结果更严格的推广界.此外,我们证明了推广界可以进一步提高有界损失。除了一般的前馈深度神经网络之外,我们的结果还可以用于推导流行架构的新边界,包括卷积神经网络(CNN)和残差网络(ResNets)。当达到与以前的技术相同的泛化误差时,我们的边界允许选择更大的权重矩阵参数空间,从而诱导神经网络潜在的更强的表达能力。数值计算也支持我们的理论。
2019-07-03 cs.LG stat.ML
An analytic theory of generalization dynamics and transfer learning in deep linear networks
Stanford University(斯坦福大学)
最近,人们对深度学习中的泛化难题给予了很大的关注:大型深度网络可以很好地泛化,但现有的泛化误差理论非常松散,因此无法解释这种惊人的性能。此外,一个主要的希望是知识可以在任务之间转移,因此多任务学习可以提高单个任务的泛化能力。然而,我们缺乏分析理论,可以定量地预测知识转移的程度如何取决于任务之间的关系。我们开发了一个分析理论的非线性动力学的泛化在深度线性网络,无论是内部和跨任务。特别是,我们的理论为深度网络的训练和测试误差提供了解析解,这些误差是训练时间、样本数量、网络大小和初始化以及任务结构和SNR的函数。我们的理论表明,深度网络首先逐步学习最重要的任务结构,因此早期停止时的泛化误差主要取决于任务结构,而与网络大小无关。这表明泛化误差的任何严格限制都必须考虑任务结构,并解释了关于真实数据比随机数据学习得更快的观察结果。有趣的是,我们的理论还揭示了一种学习算法的存在,这种算法可以证明通过梯度下降进行神经网络训练。最后,对于迁移学习,我们的理论揭示了知识转移敏感地依赖于任务对的SNR和输入特征对齐,但可计算。
2019-01-04 cs.LG stat.ML
Bias and Generalization in Deep Generative Models: An Empirical Study
Stanford University(斯坦福大学)
在高维环境中,密度估计算法关键地依赖于它们的归纳偏差。尽管最近的经验成功,深生成模型的归纳偏差还没有得到很好的理解。在本文中,我们提出了一个框架来系统地研究图像深度生成模型中的偏差和泛化。受认知心理学实验方法的启发,我们使用精心设计的训练数据集来探索每种学习算法,以表征现有模型何时以及如何生成新的属性及其组合。我们确定了与人类心理学的相似之处,并验证了这些模式在常用的模型和架构中是一致的。
2018-11-08 cs.LG stat.ML
Generalization by design: Shortcuts to Generalization in Deep Learning
Technical University of Denmark(丹麦技术大学)
我们从几何学的角度出发,通过Bregman散度损失函数,对监督式深度学习提出了一个统一的观点-这需要频繁的分类和预测任务。受模拟的启发,我们认为,深度模型的香草随机梯度下降训练对"更简单"的函数基本上没有隐含的偏见。相反,我们表明,良好的推广可能会煽动有界谱产品层导致一种新的几何正则化。据透露,在足够深的模型,这样的正则化,使双方,极端的准确性和泛化,达到。我们将流行的正则化技术,如权重衰减、丢弃、批量归一化和提前停止与此观点联系起来。在理论的支持下,我们进一步证明了“设计泛化”在实践中是可能的,并且良好的泛化可以被编码到网络的结构中。我们设计了两个这样的易于使用的结构正则化,插入一个额外的\textit{generalization layer}到一个模型架构,一个跳过连接和另一个辍学。我们在各种前馈和卷积架构的实验中验证了我们的理论结果,包括ResNets和数据集(MNIST,CIFAR10,合成数据)。我们相信这项工作开辟了新的研究途径,以更好地推广架构。
2021-07-05 cs.LG math.DG math.PR