Intriguing Properties of Data Attribution on Diffusion Models
Singapore Management University(新加坡管理大学);Sea AI Lab(Sea AI实验室)
本研究通过广泛实验发现,扩散模型数据归因中理论上不合理的简单设计反而大幅优于现有基线,提出更高效方法并揭示理论假设在非凸场景可能限制归因性能。
2024-03-15 cs.AI cs.CV cs.LG
Intriguing properties of synthetic images: from generative adversarial networks to diffusion models
University Federico II of Naples(那不勒斯费德里科二世大学);NVIDIA(英伟达)
本文系统研究了GAN、DM和VQ-GAN等不同系列图像生成器,发现合成图像在傅里叶域、自相关及中高频信号上具有可区分的取证特征。
2023-06-29 cs.CV
Intriguing Frequency Interpretation of Adversarial Robustness for CNNs and ViTs
Shanghai Jiao Tong University, China(上海交通大学);Southeast University, China(东南大学);Mohamed bin Zayed University of Artificial Intelligence, UAE(穆罕默德·本·扎耶德人工智能大学);National University of Singapore, Singapore(新加坡国立大学)
该研究针对图像分类任务探究CNN与ViT中对抗样本的频域特性,发现不同架构存在频率偏好差异,频域分量差异影响模型鲁棒性,并提出三项安全参考建议。
2025-06-15 cs.CV cs.LG
Aesthetics of Neural Network Art
Adobe Research(奥多比研究院)
提出了一种将神经网络艺术作品理解为自然图像线索并置的方法。假设具有现实视觉线索的不寻常组合的图像是有趣的,并且训练用于对自然图像进行建模的神经模型非常适合创建有趣的图像。使用神经模型的艺术产生了与自然图像相似的新图像,但具有奇怪和有趣的变化。这种分析应用于基于生成对抗网络、图像风格化、深度梦想和感知引擎的神经艺术。
2019-03-18 cs.AI cs.CV
Intriguing Properties of Robust Classification
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所)
本文通过理论分析证明鲁棒分类可能需要指数级训练数据,并在CIFAR-10上验证数据量是决定鲁棒性能的主要因素,揭示了鲁棒与非鲁棒泛化在数据利用上的本质差异。
2025-07-17 cs.CV
Intriguing Properties of Vision Transformers
Monash University(莫纳什大学);Linköping University(林雪平大学);University of California, Merced(加利福尼亚大学默塞德分校);Australian National University(澳大利亚国立大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Stony Brook University(石溪大学);Yonsei University(延世大学);Google Research(谷歌研究院)
视觉Transformer(ViT)在各种机器视觉问题上表现出令人印象深刻的性能。这些模型是基于多头自我注意力机制,可以灵活地参加一系列的图像补丁编码上下文线索。一个重要的问题是,在以给定块为条件的关注图像范围上下文方面的这种灵活性如何能够促进处理自然图像中的干扰,严重的遮挡、域移位、空间排列、对抗性和自然扰动。我们通过一系列广泛的实验系统地研究了这个问题,这些实验包括三个ViT家族,并与高性能卷积神经网络(CNN)进行了比较。我们展示并分析了ViT的以下有趣特性:(a)Transformers对严重的遮挡、扰动和域偏移具有高度鲁棒性,例如,即使在随机遮挡80%的图像内容后,仍能在ImageNet上保持高达60%的top-1准确率。(b)对遮挡的鲁棒性能不是由于对局部纹理的偏见,与CNN相比,ViT对纹理的偏见明显更少。当经过适当的训练来编码基于形状的特征时,ViTs表现出与人类视觉系统相当的形状识别能力,这在文献中是前所未有的。(c)使用ViTs对形状表示进行编码导致了一个有趣的结果,即精确的语义分割而无需像素级监督。(d)来自单个ViT模型的现成特征可以被组合以创建特征集成,从而在传统和少样本学习范例中跨一系列分类数据集实现高准确率。我们表明,有效的功能ViTs是由于灵活和动态的感受野可能通过自我注意力机制。
2021-11-25 cs.AI cs.CV cs.LG
Explaining Away Attacks Against Neural Networks
SAP Asia(思爱普亚洲)
我们研究了识别基于图像的神经网络上的对抗攻击的问题。我们提出了有趣的实验结果,显示了对干净数据和对抗数据模型预测的解释之间存在显着差异。利用这种直觉,我们提出了一个框架,可以根据模型给出的解释来识别给定的输入是否是对抗性的。我们的实验代码可以在这里找到:https://github.com/seansaito/Explaining-Away-Attacks-Against-Neural-Networks。
2020-03-06 cs.CR cs.CV cs.LG
Intriguing properties of adversarial training at scale
Johns Hopkins University(约翰斯·霍普金斯大学)
对抗性训练是对抗对抗攻击的主要手段之一。在本文中,我们首次对对抗性训练的诊断元素进行了严格的研究,揭示了两个有趣的特性。首先,我们要研究规范化的作用。批量归一化(BN)是在许多视觉任务中实现最先进性能的关键因素,但我们发现它可能会阻止网络在对抗训练中获得强大的鲁棒性。一个意想不到的观察结果是,对于使用BN训练的模型,简单地从训练数据中移除干净的图像可以大大提高对抗鲁棒性,即,百分之十八点三我们将这种现象与干净图像和对抗图像来自两个不同领域的假设联系起来。这种双域假设可以解释在使用干净图像和对抗图像的混合进行训练时的BN问题,因为估计这种混合分布的归一化统计是具有挑战性的。在这个两域假设的指导下,我们展示了用于归一化的混合分布的解纠缠,即,将单独的BN应用于干净和对抗图像以进行统计估计,实现了更强的鲁棒性。此外,我们发现,强制BN在训练和测试中表现一致可以进一步增强鲁棒性。其次,我们研究了网络容量的作用。我们发现我们所谓的“深度”网络对于对抗性学习的任务来说仍然很浅。与传统的分类任务不同,在传统的分类任务中,通过向“深度”网络添加更多层(例如,ResNet-152),对抗训练对更深的网络表现出更强的需求,以实现更高的对抗鲁棒性。甚至通过将网络容量推到前所未有的规模,即,ResNet-638.
2019-12-21 cs.CV
Intriguing Properties of Dynamic Sampling Networks
McGill University(麦吉尔大学);MILA-Quebec AI Institute(魁北克AI研究所)
本文提出了一种新的操作符'变形',用于分析动态采样网络的理论特性,并通过理论和实证研究揭示了其稳定训练条件及损失景观可视化方法。
2025-11-25 cs.CV
ReBNet: Residual Binarized Neural Network
University of California San Diego(加利福尼亚大学圣地亚哥分校)
本文提出了ReBNet,这是一个端到端的框架,用于在软件上训练可重构二进制神经网络,并开发在FPGA上执行的高效加速器。二进制神经网络为在资源受限的设备上部署大规模深度学习模型提供了一个有趣的机会。二值化减少了内存占用,并用轻量级的XnorPopcount操作取代了耗电的矩阵乘法。然而,二进制网络与其固定点对应物相比具有降低的准确性。我们发现,优化二进制网络准确性的最先进方法显着增加了实现成本和复杂性。为了补偿降低的准确性,同时坚持二进制网络的简单性,我们设计了第一个可重构的方案,可以根据应用程序来调整分类精度。我们的建议提高了分类精度表示功能与多层次的残留二进制化。与以前的方法不同,我们的方法不会加剧硬件加速器的面积成本。相反,它提供了吞吐量和精度之间的折衷,而多级二值化的面积开销可以忽略不计。
2018-03-27 cs.CV cs.LG cs.NE
Intriguing Properties of Large Language and Vision Models
School of Computing, KAIST(韩国科学技术院计算学院);NAVER Cloud Multimodal AI(NAVER 云多模态人工智能)
该研究针对大语言视觉模型在基础感知任务上性能偏低的问题,通过10个基准测试系统探究其特性,发现了全局处理图像、数值感知不全仍能解题等四点奇特性质,并提出未来优化方向。
2024-10-07 cs.CL cs.CV
Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks
Nanyang Technological University, Singapore(新加坡南洋理工大学)
在深度神经网络(DNN)的普及应用道路上,对抗性样本是不可避免的。应用于自然样本的不可感知的扰动可能会导致基于DNN的分类器输出错误的预测,并具有公平的置信度得分。越来越重要的是获得具有高鲁棒性的模型,以抵抗对抗性的例子。在本文中,我们从不同的角度调查了如何理解这种有趣的属性,即对抗鲁棒性的最新进展。我们给出了对抗攻击和鲁棒性的初步定义。在此之后,我们研究了常用的基准测试,并提到了理论上证明的对抗鲁棒性界限。然后,我们概述了分析对抗鲁棒性和DNN模型的其他关键指标之间的相关性。最后,我们介绍了最近的争论的潜在成本的对抗性训练,引起了研究界的广泛关注。
2020-11-03 cs.CV cs.LG
Reconstructing Training Data from Trained Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所);TTI-Chicago(丰田工业大学芝加哥分校);Hebrew University(希伯来大学)
理解神经网络在多大程度上记忆训练数据是一个具有实际意义和理论意义的有趣问题。在本文中,我们表明,在某些情况下,一个显着的分数的训练数据,实际上可以重建从一个训练有素的神经网络分类器的参数。我们提出了一种新的重建方案,源于最近的理论结果的隐式偏差训练神经网络与基于梯度的方法。据我们所知,我们的研究结果是第一次表明,重建一个训练有素的神经网络分类器的实际训练样本的大部分通常是可能的。这对隐私有负面影响,因为它可以被用作泄露敏感训练数据的攻击。我们证明了我们的方法的二进制MLP分类器上的几个标准的计算机视觉数据集。
2022-12-05 cs.CR cs.CV cs.LG
StochasticNet: Forming Deep Neural Networks via Stochastic Connectivity
University of Waterloo(滑铁卢大学);Aimetis Corp.(Aimetis公司)
深度神经网络是机器学习的一个分支,由于其在高度复杂的数据中表示和建模高级抽象的强大能力,它的流行度迅速上升。深度神经网络中一个已经成熟的探索领域是神经连接的形成。一项关于大鼠脑组织的关键研究发现,新皮层神经微回路中特定功能连接的突触形成可以令人惊讶地被建模和预测为随机形成。受这一有趣发现的启发,我们引入了StochasticNet的概念,其中深层神经网络通过神经元之间的随机连接形成。因此,通过允许神经元连接是随机的,任何类型的深度神经网络都可以形成为StochasticNet。在深度神经网络架构中,随机突触形成可以允许有效利用神经元来执行特定任务。为了评估这种深度神经网络架构的可行性,我们使用四种不同的图像数据集(CIFAR-10,MNIST,SVHN和STL-10)训练StochasticNet。实验结果表明,使用不到传统深度神经网络一半数量的神经连接的StochasticNet在CIFAR-10,MNIST和SVHN数据集上实现了相当的准确性并减少了过拟合。有趣的是,与传统的深度神经网络相比,神经连接数量不到一半的StochasticNet在STL-10数据集上实现了更高的准确性(与ConvNet相比,测试出错率相对提高了约6%)。最后,StochasticNets具有更快的运行速度,同时实现更好或类似的精度性能。
2015-11-10 cs.CV cs.LG cs.NE
On Correlation of Features Extracted by Deep Neural Networks
University of Louisville(路易斯维尔大学);University of Social Science(社会科学大学)
深度神经网络(DNN)模型的冗余性一直是其最有趣和最重要的特性之一。DNN已经被证明过度参数化,或者提取了很多冗余的特征。在这项工作中,我们探讨了大小(宽度和深度),激活函数和权重初始化对深度神经网络模型提取冗余特征的敏感性的影响。为了估计每一层中冗余特征的数量,给定层的所有特征根据它们在特征空间中的相对余弦距离和设定的阈值进行分层聚类。结果表明,网络大小和激活函数是两个最重要的组成部分,培养DNN的倾向,以提取冗余功能。分别使用深层多层感知器和卷积神经网络在MNIST数字识别和CIFAR-10数据集上说明了该概念。
2019-01-30 cs.CV cs.LG stat.ML
A Survey on Transferability of Adversarial Examples across Deep Neural Networks
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学);University of Chinese Academy of Sciences(中国科学院大学);University of Toronto(多伦多大学);Sun Yat-sen University(中山大学)
本文综述了深度神经网络间对抗样本的可迁移性,系统分类了增强迁移性的方法并讨论其原理,同时将视角从图像分类拓展到更广泛的视觉任务,为提升DNN对抗鲁棒性提供参考。
2024-05-02 cs.CV
Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units
Oculus VR;NEC Laboratories America(NEC美国实验室);Enlitic;University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
近年来,卷积神经网络(CNN)已被用作解决机器学习和计算机视觉的许多问题的有力工具。在本文中,我们的目标是提供对卷积神经网络特性的深入了解,以及提高许多CNN架构性能的通用方法。具体来说,我们首先检查现有的CNN模型,并观察到一个有趣的特性,即较低层中的滤波器形成对(即,反相滤波器)。受我们观察的启发,我们提出了一种新的,简单而有效的激活方案,称为级联ReLU(CRelu),并从理论上分析了它在CNN中的重建特性。我们将CRelu集成到几种最先进的CNN架构中,并在CIFAR-10/100和ImageNet数据集上证明了其识别性能的改进,并且具有更少的可训练参数。我们的研究结果表明,更好地理解CNN的属性可以通过简单的修改来显着提高性能。
2016-07-19 cs.CV cs.LG
The Local Elasticity of Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
本文提出了神经网络中的一种现象,我们称之为\textit{local elasticity}。粗略地说,如果在分类器经由在(标记的)特征向量$\bx$(在某种意义上是\textit{dissimilar}到$\bx'$)处的随机梯度下降更新之后,分类器在特征向量$\bx'$处的预测是\textit{not}显著扰动的,则分类器被认为是局部弹性的。通过对现实生活和合成数据集的广泛模拟,这种现象在具有非线性激活函数的神经网络中持续存在,而在线性分类器中没有观察到。此外,我们提供了一个几何解释的局部弹性神经切线核\citep{jacot2018neural}。在局部弹性的基础上,我们获得了特征向量之间的成对相似性度量,这些相似性度量可用于结合$K$ -均值进行聚类。聚类算法在MNIST和CIFAR-10数据集上的有效性反过来又证实了神经网络对现实数据的局部弹性假设。最后,我们讨论了局部弹性的一些含义,以阐明深度神经网络的几个有趣的方面。
2020-02-15 cs.CV cs.LG stat.ML
Intriguing Differences Between Zero-Shot and Systematic Evaluations of Vision-Language Transformer Models
Florida State University(佛罗里达州立大学)
本文发现视觉-语言Transformer模型虽在零样本分类上表现卓越,却在系统性评估中完全失败,并基于梯度下降优化与线性近似提供解释框架及检测修改图像的鲁棒方法。
2024-02-13 cs.AI cs.CV cs.LG
Improving Deep Neural Network Random Initialization Through Neuronal Rewiring
University of São Paulo(圣保罗大学);Ghent University(根特大学)
深度学习文献不断更新新的架构和训练技术。然而,权重初始化被最近的研究所忽视,尽管有一些有趣的发现关于随机权重。另一方面,最近的工作已经接近网络科学,以了解训练后的人工神经网络(ANN)的结构和动力学。因此,在这项工作中,我们分析了随机初始化网络中神经元的中心性。我们发现,较高的神经元强度方差可能会降低性能,而较低的神经元强度方差通常会提高它,然后提出了一种新的方法来重新布线神经元连接根据优先连接(PA)规则的基础上,他们的强度,这显着减少了强度方差的层初始化的常见方法。从这个意义上说,PA重新布线仅重组连接,同时保留权重的大小和分布。我们通过对图像分类的广泛统计分析表明,在大多数情况下,无论是在训练还是测试过程中,当使用简单和复杂的架构和学习时间表时,性能都得到了提高。我们的研究结果表明,除了幅度之外,权重的组织也与深度ANN的更好初始化有关。
2022-07-17 cs.CV cs.LG cs.NE
Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation
Technical University of Munich(慕尼黑工业大学);University of Southern California(南加利福尼亚大学)
未经训练的卷积神经网络已经成为图像恢复和恢复的非常成功的工具。它们能够通过简单地将神经网络模型拟合到来自单个图像或信号的测量值来解决标准逆问题,例如去噪和压缩传感,并且具有优异的结果,而不需要任何额外的训练数据。对于某些应用程序,这非常需要以提前停止优化的形式进行额外的正则化。然而,对于从几个测量值中恢复信号,未经训练的卷积网络具有有趣的自正则化特性:即使网络可以完美地拟合任何图像,当使用梯度下降训练时,网络从几个测量值中恢复自然图像,直到收敛。在本文中,我们提供了数值证据,并从理论上研究了这一性质。我们证明了-没有任何进一步的正则化-一个未经训练的卷积神经网络可以近似地重建信号和图像,这些信号和图像是充分结构化的,从几乎最小数量的随机测量。
2020-05-07 cs.CV cs.LG eess.IV
Intriguing Properties of Diffusion Models: An Empirical Study of the Natural Attack Capability in Text-to-Image Generative Models
University of California, Irvine(加州大学欧文分校);University of Cambridge(剑桥大学)
本文揭示扩散模型存在自然去噪扩散(NDD)攻击风险,通过文本提示移除人类视觉关键特征仍可欺骗DNN,并构建NDDA数据集实证评估其低成本、模型无关且可迁移的对抗攻击能力。
2024-05-02 cs.CR cs.CV
Limitations of Neural Collapse for Understanding Generalization in Deep Learning
University of California San Diego(加州大学圣地亚哥分校)
Papyan,Han和Donoho(2020)最近的工作提出了一个有趣的“神经崩溃”现象,显示了训练后期插值分类器的结构特性。这为研究这一现象开辟了一个丰富的探索领域。我们的动机是研究这个研究计划的上限:理解神经崩溃将使我们在理解深度学习方面走多远?首先,我们研究它在泛化中的作用。我们将神经崩溃猜想细化为两个独立的猜想:训练集上的崩溃(优化属性)和测试分布上的崩溃(泛化属性)。我们发现,虽然神经崩溃经常发生在训练集,它不会发生在测试集。因此,我们得出结论,神经崩溃主要是一种优化现象,与泛化的联系尚不清楚。其次,我们研究了神经崩溃在特征学习中的作用。我们展示了简单、现实的实验,其中训练时间越长,最后一层的特征越差,这是通过下游任务的传输性能来衡量的。这表明,神经崩溃并不总是表示学习所希望的,如前所述。最后,我们给出了“级联崩溃”现象的初步证据,其中某种形式的神经崩溃不仅发生在最后一层,而且也发生在更早的层中。我们希望我们的工作鼓励社区继续丰富的神经崩溃研究,同时也考虑到其固有的局限性。
2022-02-17 cs.CV cs.LG stat.ML
The Nonlinearity Coefficient - Predicting Generalization in Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
很长一段时间以来,设计表现出高性能的神经架构被认为是一种需要专家手工调整的黑暗艺术。建筑设计中为数不多的著名准则之一是避免梯度爆炸,尽管即使是这一准则也仍然相对模糊和间接。我们引入了非线性系数(NLC),这是一个基于梯度大小的神经网络计算的函数复杂性的度量。通过一个广泛的实证研究,我们表明,NLC是一个强大的预测测试误差,达到一个正确的大小NLC是必不可少的最佳性能。NLC具有一系列有趣而重要的特性。它与计算单个网络梯度所获得的信息量密切相关。它与用线性运算代替网络中的非线性运算时产生的误差有关。它不容易受到乘性标度、加性偏差和层宽的混淆。它在层与层之间是稳定的。因此,我们认为NLC是深度网络中过拟合的第一个鲁棒预测器。
2019-01-31 cs.CV cs.LG stat.ML
Regularizing linear inverse problems with convolutional neural networks
Technical University of Munich(慕尼黑工业大学)
在大型数据集上训练的深度卷积神经网络已经成为压缩图像和解决逆问题(如去噪和压缩感知)的有趣替代方案。然而,直到最近才意识到,即使没有训练,卷积网络也可以作为简洁的图像模型,从而正则化逆问题。在本文中,我们通过研究将几个权重参数映射到图像的卷积神经网络的变体,为这一发现提供了进一步的证据。我们考虑的网络仅由卷积运算组成,具有固定或参数化的滤波器,然后是ReLU非线性。我们证明,使用固定和参数化卷积滤波器,这些网络可以用很少的系数表示图像。更重要的是,欠参数化使逆问题的正则化,特别是从很少的观察恢复图像。我们表明,类似于标准的压缩感知保证,在模型参数的数量的顺序上,许多测量足以从压缩测量中恢复图像。最后,我们证明了使用未经训练的卷积网络的信号恢复优于磁共振成像(MRI)的标准l1和总变差最小化。
2019-07-06 cs.CV cs.IT cs.LG
Towards Evaluating and Training Verifiably Robust Neural Networks
SenseTime-CUHK Joint Lab(商汤-香港中文大学联合实验室);The Chinese University of Hong Kong(香港中文大学);Centre of Perceptual and Interactive Intelligence(感知与交互智能研究中心)
最近的工作表明,区间界限传播(IBP)可以用于训练可验证的鲁棒神经网络。研究人员在这些IBP训练的网络上观察到一个有趣的现象:CROWN,一种基于紧线性松弛的边界方法,通常会在这些网络上给出非常宽松的边界。我们还观察到大多数神经元在IBP训练过程中死亡,这可能会损害网络的表示能力。本文研究了IBP和CROWN之间的关系,证明了在选择合适的边界线时,CROWN总是比IBP紧。我们进一步提出了一个宽松版本的皇冠,线性边界传播(LBP),可用于验证大型网络,以获得较低的验证错误比IBP。我们还设计了一个新的激活函数,参数化斜坡函数(ParamRamp),它比ReLU具有更多的神经元状态的多样性。我们在MNIST,CIFAR-10和Tiny-ImageNet上进行了广泛的实验,并使用ParamRamp激活,实现了最先进的验证鲁棒性。代码和附录可在https://github.com/ZhaoyangLyu/VerifiablyRobustNN上获得。
2021-06-16 cs.CR cs.CV cs.LG
Improving Traffic Density Forecasting in Intelligent Transportation Systems Using Gated Graph Neural Networks
University Of South Dakota(南达科他大学);Lamar University(拉马尔大学);Independent University Bangladesh(孟加拉国独立大学);University of Tennessee(田纳西大学)
本研究比较了GCN、GraphSAGE和GGNN三种图神经网络在交通密度预测中的表现,发现GGNN以最低MAE成为最优模型。
2023-10-26 cs.AI cs.CV cs.LG
SAR-ShipNet: SAR-Ship Detection Neural Network via Bidirectional Coordinate Attention and Multi-resolution Feature Fusion
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心)
研究了一种具有实际意义的基于神经网络的合成孔径雷达(SAR)图像舰船检测问题。我们广泛提取不同类型的SAR图像特征,并提出一个有趣的问题:这些提取的特征是否有利于(1)抑制数据变化(例如,复杂的海陆背景、散射噪声);(2)增强了具有不同长宽比的小目标舰船的特征,从而提高了舰船检测性能。针对这一问题,本文提出了一种基于CenterNet的SAR舰船检测神经网络(SAR-ShipNet),它是在CenterNet的基础上,通过新发展的双向协调注意力(BCA)和多分辨率特征融合(MRF)来实现的。此外,考虑到任意舰船长宽比的变化,我们在CenterNet中采用椭圆高斯概率分布,以提高基础检测器模型的性能。在公共SAR-Ship数据集上的实验结果表明,我们的SAR-ShipNet在速度和准确性方面都具有竞争优势。
2022-03-29 cs.CV
Correspondence of Deep Neural Networks and the Brain for Visual Textures
University of Miami(迈阿密大学)
在物体和场景上训练的深度卷积神经网络(CNN)已经显示出预测视觉皮层神经元的一些响应特性的有趣能力。然而,引起这种能力的因素和计算,以及中间处理阶段在解释皮层层次结构各区域发展变化中的作用,都知之甚少。我们集中在纹理的敏感性作为一个典型的例子,因为最近的神经生理学实验提供了丰富的数据,指向纹理敏感性在次级,而不是初级视觉皮层。我们开发了一种定量方法,用于从最能描述大脑神经记录的CNN中选择神经单元群体的子集。我们发现,CNN的前两层在许多指标上显示出与皮层数据的定性和定量对应关系。对于其他一些相关的分层模型,这种兼容性仅针对架构而不是学习的权重而降低,并且在缺乏类似于局部分裂归一化的非线性计算的情况下仅轻微降低。我们的研究结果表明,CNN类模型可以有效地捕捉大脑皮层早期区域的变化,并有可能促进对大脑分层处理计算的理解。
2018-06-07 cs.CV q-bio.NC
SWNet: Small-World Neural Networks and Rapid Convergence
UC San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
训练大型且高度准确的深度学习(DL)模型在计算上是昂贵的。这种成本在很大程度上是由于过多的训练参数,这是众所周知的冗余和可压缩的执行阶段。本文提出了一种新的转换,改变DL架构的拓扑结构,使其达到最佳的跨层连接。这种转换利用了我们的重要观察结果,即对于一定的精度水平,当网络拓扑到达小世界网络的边界时,收敛速度最快。已知小世界图具有特定的连通性结构,能够增强节点之间的信号传播。我们的小世界模型,称为SWNets,提供了几个有趣的好处:它们促进了网络内的数据(梯度)流,通过添加远程连接实现了特征图的重用,并适应各种网络架构/数据集。与密集连接的网络(例如,DenseNets),SWNets需要的训练参数数量少得多,同时保持类似的分类精度水平。我们在各种DL模型架构和图像分类数据集上评估了我们的网络,即CIFAR 10,CIFAR 100和ILSVRC(ImageNet)。我们的实验表明,平均约2.1倍的收敛速度提高到所需的精度
2019-04-09 cs.AI cs.CV cs.LG