What Makes Data Suitable for a Locally Connected Neural Network? A Necessary and Sufficient Condition Based on Quantum Entanglement
Tel Aviv University（特拉维夫大学）
本文利用量子纠缠刻画数据分布与局部连接神经网络的适配性，证明低纠缠是准确预测的充要条件，并提出可提升适配性的预处理方法。
2024-01-21 cs.AI cs.LG quant-ph
Flowification: Everything is a Normalizing Flow
University of Geneva（日内瓦大学）
规范化流的两个关键特征是它是可逆的（特别是维保持），并且当样本沿着网络传播时，它会监控数据点的可能性的变化量。最近，已经引入了放松这两个条件的规范化流的多个概括。另一方面，神经网络只对输入执行前向传递，既没有神经网络的逆的概念，也没有其似然贡献之一。在本文中，我们认为，某些神经网络架构可以丰富的随机逆通，他们的可能性贡献可以监测的方式，他们属于广义的概念，规范化流上述。我们称之为富集流动化。我们证明了仅包含线性层，卷积层和可逆激活（如LeakyReLU）的神经网络可以在图像数据集上的生成设置中进行流化和评估。
2023-01-26 cs.LG stat.ML
Recurrent Neural Networks for Stochastic Control in Real-Time Bidding
Verizon Media（威瑞森传媒）
实时的【形】拍卖中的投标可能是一个困难的随机控制任务，特别是如果交付不足会招致严厉的惩罚和市场是非常不确定的。大多数当前的作品和实现集中在最佳地提供一个合理的预测市场的活动。实际的实现有一个反馈回路来调整和稳健的预测错误，但没有实现，据我们所知，使用市场风险模型，并积极预测市场变化。在实践中解决这样的随机控制问题实际上是非常具有挑战性的。本文提出了一种基于递归神经网络（RNN）架构的近似解决方案，该架构对于在生产环境中实施既有效又实用。RNN投标者提供了避免错过目标所需的一切。它还故意达不到目标，因为购买缺失的印象所花费的成本超过了没有达到目标的惩罚。
2020-06-12 cs.AI cs.GT cs.LG
Finding Everything within Random Binary Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
Ramanujan et al.（2020）最近的一项工作提供了重要的经验证据，证明充分过参数化的随机神经网络包含未经训练的子网络，这些子网络在几个预测任务上达到了最先进的精度。后续的理论工作证明了这些发现的合理性，证明了稍微过度参数化的神经网络，与常用的连续值随机初始化确实可以修剪，以近似任何目标网络。在这项工作中，我们表明，这些随机权重的幅度甚至不重要。我们证明，任何目标网络可以近似到任意精度，通过简单地修剪一个随机网络的二进制$\{\pm1\}$权重，只是一个多对数因子比目标网络更宽，更深。
2021-10-22 cs.AI cs.LG
Understanding the Ability of Deep Neural Networks to Count Connected Components in Images
The George Washington University Medical Center（乔治华盛顿大学医学中心）
人类通过subitizing可以非常快地计数，但随着对象数量的增加，计数速度会大幅减慢。先前的研究表明，经过训练的深度神经网络（DNN）检测器可以在随着对象数量缓慢增加的时间内计算对象数量。这种现象表明了DNN的subitizing能力，与人类不同，它对大量数据同样有效。许多现有的研究已经成功地将DNN应用于对象计数，但很少有研究研究DNN的subitizing能力及其解释。在这篇论文中，我们发现DNN没有能力计算连接组件。我们提供了实验来支持我们的结论和解释，以理解这些实验的结果和现象。我们提出了三个ML可学习的特征来验证ML模型（如DNN）的可学习问题，并解释了为什么DNN适用于特定的计数问题，但通常不能计数连接组件。
2021-01-05 cs.AI cs.CV cs.LG
Exploiting Spline Models for the Training of Fully Connected Layers in Neural Network
Zhejiang University, UIUC Institute（浙江大学UIUC学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
全连接层是人工神经网络（ANN）中最基本的模块之一，由于其大量的参数而导致的过拟合风险等问题，常常被认为是训练困难和低效的。基于以前的工作研究人工神经网络从线性样条的角度来看，我们提出了一种基于样条的方法，减轻了训练FC层的难度。对于给定的数据集，我们首先通过样条方法（如多元自适应回归样条（MARS））获得连续分段线性（CPWL）拟合。接下来，我们从线性样条模型构建ANN模型，并使用梯度下降优化算法在数据集上继续训练ANN模型。我们的实验结果和理论分析表明，我们的方法降低了计算成本，加快FC层的收敛，并显着增加了所得到的模型（FC层）的可解释性相比，标准的人工神经网络训练与随机参数初始化，然后梯度下降优化。
2021-02-12 cs.AI cs.LG
Structure and Performance of Fully Connected Neural Networks: Emerging Complex Network Properties
São Carlos Institute of Physics, University of São Paulo（圣保罗大学圣卡洛斯物理研究所）
理解人工神经网络的行为是最近该领域的主要课题之一，因为自从深度学习广泛传播以来，黑盒方法已经变得很常见。这样的高维模型可能会表现出类似复杂系统的不稳定性和怪异特性。因此，我们提出了复杂网络（CN）技术来分析全连接神经网络的结构和性能。为此，我们构建了一个包含4000个模型及其各自CN属性的数据集。他们采用监督分类设置考虑四个视觉基准。每个神经网络被视为神经元和突触的加权无向图，并在训练后计算中心性度量。结果表明，这些措施是高度相关的网络分类性能。我们还提出了Bag-Of-Neurons（BoN）的概念，这是一种基于CN的方法，用于寻找连接相似神经元的拓扑签名。结果表明，六种神经元类型出现在这样的网络中，独立于目标域，并根据分类精度分布不同。我们还解决了与性能相关的特定CN属性，例如在性能较低的模型上具有较高的子图中心性。我们的研究结果表明，CN属性在全连接神经网络的性能中起着至关重要的作用，拓扑模式独立出现在各种模型中。
2021-07-29 cs.AI cs.CV cs.LG
Phish-Defence: Phishing Detection Using Deep Recurrent Neural Networks
VIT-AP University（VIT-AP大学）
在不断发展的互联网世界中，获取关键数据（如密码和登录凭据）以及敏感个人信息的方法越来越多。页面模拟（通常称为网络钓鱼）是获取此类有价值信息的一种方法。网络钓鱼是黑客最直接的网络攻击形式之一，也是受害者最容易上当的形式之一。它还可以为黑客提供访问目标个人和企业帐户所需的一切。这些网站不提供服务，而是收集用户的个人信息。在本文中，我们使用循环神经网络在检测恶意URL方面实现了最先进的准确性。与以前的研究不同，这些研究关注在线内容，URL和流量数字，我们只关注URL中的文本，这使得它更快，并捕获零日攻击。该网络已经过优化，可以在移动设备和树莓派等小型设备上使用，而不会牺牲推理时间。
2022-09-06 cs.AI cs.CR cs.NE
Dense Cross-Connected Ensemble Convolutional Neural Networks for Enhanced Model Robustness
University of South Dakota（南达科他大学）；Auburn University（奥本大学）；Murray State University（默里州立大学）
针对卷积神经网络易受输入变化和对抗攻击影响的问题，提出融合 DenseNet 密集连接、路径交叉连接与集成学习的 DCC-ECNN，以增强特征共享并提升模型鲁棒性。
2024-12-09 cs.AI cs.CV
Harnessing Large Language Models for Intelligent Resource Allocation in the Internet of Everything
University of Science and Technology Beijing（北京科技大学）
该研究针对万物互联的动态资源调度挑战，提出大语言模型驱动的资源分配方案，构建多维调度决策模型并引入反馈模块，仿真显示其在收敛速度等指标上表现优异。
2026-07-30 cs.LG cs.NI
Embed Everything: A Method for Efficiently Co-Embedding Multi-Modal Spaces
Carnegie-Mellon University（卡内基梅隆大学）；Harvey Mudd College（哈维穆德学院）；Soot
任何通用的人工智能系统都必须能够在多模态潜在空间中解释、操作和生成数据，这些潜在空间可以表示音频、图像、文本等。在过去的十年中，深度神经网络在单峰数据分布方面取得了显着的成功，而迁移学习技术在相关领域的模型重用方面取得了巨大的发展。然而，从头开始训练多模态网络仍然昂贵且虚幻，而异构迁移学习（HTL）技术仍然相对不发达。在本文中，我们提出了一种新的和成本有效的HTL策略的共同嵌入多模态空间。我们的方法通过使用所有组件的预训练模型来预处理嵌入，而不通过这些模型传递梯度，从而避免了成本效率低下。我们证明了使用该系统在联合图像音频嵌入任务。我们的方法具有广泛的应用，因为成功地弥合不同潜在空间之间的差距可以为承诺的“通用”嵌入提供一个框架。
2021-10-09 cs.LG cs.MM
Everything Has a Cause: Leveraging Causal Inference in Legal Text Analysis
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
因果推理是捕捉变量之间因果关系的过程。现有的大多数工作集中在处理结构化数据，而非结构化数据，如文本，挖掘因素之间的因果关系，已经很少检查，但非常重要，特别是在法律领域。在本文中，我们提出了一种新的基于图的因果推理（GCI）框架，该框架从事实描述中构建因果图，而无需太多的人工参与，并使因果推理能够帮助法律从业者做出正确的决策。我们评估一个具有挑战性的类似收费消歧任务的框架。实验结果表明，GCI能够从事实描述中捕捉到多个混淆指控之间的细微差别，并提供可解释的区分，特别是在Few-Shot设置中。我们还观察到GCI中包含的因果知识可以有效地注入到强大的神经网络中，以获得更好的性能和可解释性。
2021-04-21 cs.CL cs.LG
Eco-Driving Control of Connected and Automated Vehicles using Neural Network based Rollout
The Ohio State University（俄亥俄州立大学）；Motional
针对网联自动驾驶汽车生态驾驶问题，提出基于神经网络的分层多时域优化框架，通过学习全路线价值函数近似终端成本，在真实路线上达到与强化学习相当的节能性能，且无需复杂训练和大量内存。
2023-10-16 cs.LG
When Can Neural Networks Learn Connected Decision Regions?
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）；Monash University（莫纳什大学）
以前的工作提出了质疑的条件下，神经网络的决策区域连接，并进一步显示了相应的理论的对抗性操作的分类器的问题的影响。已经证明，对于一类包含Leaky ReLU的激活函数，具有金字塔结构的神经网络（即没有一层具有比输入维度更多的隐藏单元）产生必然连接的决策区域。在本文中，我们通过进一步发展神经网络的决策区域是连通的充分必要条件来推进这一重要结果。然后，我们应用我们的框架来克服现有工作的局限性，并进一步研究学习神经网络的连接区域的能力，用于更广泛的一类激活函数，包括那些广泛使用的，即ReLU，sigmoid，tanh，softlus和指数线性函数。
2019-01-25 cs.LG stat.ML
Enhanced Decentralized Federated Learning based on Consensus in Connected Vehicles
Inner Mongolia University of Technology（内蒙古工业大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；New Jersey Institute of Technology（新泽西理工学院）
互联车辆的高级研究最近瞄准了车辆到一切（V2X）网络与机器学习（ML）工具和分布式决策的集成。联邦学习（FL）正在作为一种新的范例出现，以在分布式系统（包括V2X网络中的车辆）中训练机器学习（ML）模型。不是共享和上传训练数据到服务器，模型参数（例如，神经网络的权重和偏置）由大量互连车辆应用，充当本地学习器。尽管有这些好处，但现有方法的局限性是集中式优化，其依赖于服务器来聚合和融合本地参数，导致单点故障的缺点和增加V2X网络规模的扩展问题。同时，在智能交通场景中，从车载传感器收集的数据是冗余的，这降低了聚合的性能。为了解决这些问题，我们探索了一种新的分散数据处理的想法，并引入了一个联邦学习框架，在网络车辆，C-DFL（基于共识的分散联邦学习），以解决联邦学习连接车辆和提高学习质量。大量的模拟已经实施，以评估C-DFL的性能，这表明C-DFL的性能优于传统的方法在所有情况下。
2022-09-22 cs.AI cs.DC cs.LG
Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks
McGill University（麦吉尔大学）
最近，深度神经网络由于其提取和表示数据集中的高级抽象的能力而受到相当大的关注。深度神经网络（如全连接和卷积神经网络）在广泛的识别和分类任务中表现出出色的性能。然而，由于其高度复杂性，它们的硬件实现目前遭受大硅面积和高功耗。神经网络的功率/能量消耗由存储器访问支配，其中大部分发生在全连接网络中。事实上，它们包含了大部分的深层神经网络参数。在本文中，我们提出了稀疏连接网络，通过展示全连接网络中的连接数量可以减少高达90%，同时提高三种流行数据集（MNIST，CIFAR 10和SVHN）的准确性性能。然后，我们提出了一个有效的硬件架构的基础上，线性反馈移位寄存器，以减少所提出的稀疏连接网络的内存需求。与传统的全连接神经网络实现相比，所提出的架构可以节省高达90%的内存。此外，实施结果表明，减少高达84%的能量消耗的一个神经元的建议稀疏连接的网络相比，一个神经元的全连接神经网络。
2017-03-30 cs.LG cs.NE
PHANTOM: PHysical ANamorphic Threats Obstructing Connected Vehicle Mobility
George Mason University（乔治·马歇尔大学）
PHANTOM通过形变艺术生成视角依赖的对抗示例，揭示了联网车辆在感知和通信层面对物理攻击的脆弱性。
2025-12-15 cs.AI cs.CR cs.CV
Equivalence of approximation by convolutional neural networks and fully-connected networks
University of Oxford（牛津大学）；Katholische Universität Eichstätt–Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
卷积神经网络是应用中最广泛的神经网络类型。然而，在数学分析中，主要研究全连接网络。在本文中，我们建立了两个网络架构之间的连接。使用这种连接，我们表明，所有关于{全连接}神经网络的函数$f \in \mathcal{C}$的近似率的上限和下界-对于任意函数类$\mathcal{C}$ -转换为基本上相同的界限，关于卷积神经网络的函数$f \in {\mathcal{C}^{equi}}$的近似率，类${\mathcal{C}^{equi}}$由所有平移等变函数组成，其第一个坐标属于$\mathcal{C}$。所有给出的结果都专门考虑了卷积神经网络的情况，没有任何池化操作，并且具有循环卷积，即，而不是基于零填充。
2021-01-28 cs.LG math.FA
Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks
Apple Inc.（苹果公司）；Florida State University（佛罗里达州立大学）
人工神经网络形成了非常强大的学习方法的基础。已经观察到，将全连接神经网络幼稚地应用于具有许多不相关变量的数据通常会导致过拟合。为了避免这个问题，可以将关于哪些特征是相关的以及它们可能的特征交互的先验知识编码到这些网络中。在这项工作中，我们使用决策树来捕捉这些相关的功能和它们的相互作用，并定义一个映射，以编码提取到一个神经网络的关系。这解决了全连接神经网络的初始化相关问题。同时，通过特征选择，与现有技术的基于树的方法相比，它能够学习紧凑表示。实证评估和仿真研究表明，这种方法优于完全连接的神经网络和基于树的方法
2020-02-11 cs.LG stat.ML
Collaboration between parallel connected neural networks -- A possible criterion for distinguishing artificial neural networks from natural organs
Sun Yat-sen University（中山大学）
本研究发现并联人工神经网络存在子网络非最优、优劣子网络贡献相当、全子网络错误仍能输出正确结果的特性，提出以此作为区分人工神经网络与天然器官、衡量仿生水平的准则，并验证ReLU激活函数比sigmoid、Tanh更能提升网络仿生度。
2022-08-21 cs.LG cs.NE
Highly connected dynamic artificial neural networks
本文介绍了一种实现人工神经网络的面向对象方法。以这种方式获得的网络是高度连接的，因为它们允许网络的任何层中的节点之间的边，并且是动态的，因为节点、节点的边或层的插入或删除可以以直接的方式实现。此外，节点的激活函数在层内不需要是统一的，并且也可以在各个节点内改变。在这种网络中实现前馈步骤和反向传播技术的方法在这里提出。还描述了用于创建网络、用于实现各种动态属性以及用于保存和重新创建网络的方法。
2023-02-17 cs.LG
Generalisation in fully-connected neural networks for time series forecasting
CWI Amsterdam, the Netherlands（荷兰阿姆斯特丹数学与计算机科学研究院）
在本文中，我们研究的推广能力的全连接神经网络训练的背景下，时间序列预测。时间序列不满足统计学习理论中关于数据独立同分布的典型假设。一些数据生成分布的样本。我们使用输入和权重Hessians，即学习函数相对于输入的平滑度和权重空间中最小值的宽度，来量化网络推广到未知数据的能力。虽然这样的泛化度量已经在i.i.d.例如图像识别的设置，在这里，我们凭经验验证它们在时间序列预测任务中的使用。此外，我们讨论了如何可以控制的泛化能力的网络的训练过程中使用的学习率，批量大小和训练迭代次数作为控制。使用这些超参数，可以有效地控制输出函数的复杂性，而无需施加显式约束。
2019-07-27 cs.LG stat.ML
On the rate of convergence of fully connected very deep neural network regression estimates
Technische Universität Darmstadt（达姆施塔特工业大学）
非参数回归的最新结果表明，深度学习，即，具有许多隐藏层的神经网络估计能够在对回归函数的结构进行适当限制的情况下规避所谓的维数灾难。这些结果中使用的神经网络的一个关键特征是，它们的网络架构具有进一步的约束，即网络稀疏性。在本文中，我们证明了我们也可以得到类似的结果，最小二乘估计基于简单的全连接神经网络与ReLU激活函数。这里，或者每个隐藏层的神经元的数量是固定的，并且对于趋于无穷大的样本量，隐藏层的数量趋于无穷快，或者隐藏层的数量由样本量中的某个对数因子限制，并且对于趋于无穷大的样本量，每个隐藏层的神经元的数量趋于无穷快。证明是基于新的近似结果有关深神经网络。
2020-09-29 cs.LG math.ST stat.ML
Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights
Seoul National University（首尔大学）
本文提出了参数有界的非稀疏深度神经网络新逼近理论，并证明了具有非稀疏一般先验的全连接贝叶斯神经网络能达到近极小化极大最优后验集中速率。
2024-03-21 cs.LG stat.ML
Spatiotemporal Capsule Neural Network for Vehicle Trajectory Prediction
Nanyang Technological University（南洋理工大学）
通过推进车联网（V2X）网络，道路安全、能源消耗和交通效率可以得到显著改善。准确的车辆轨迹预测有利于V2X网络实时应用的通信流量管理和网络资源分配。最近的研究报告了递归神经网络及其变体来预测车辆移动性。然而，车辆运动行为的空间属性一直被忽视，导致信息利用不充分。为了弥补这一差距，我们提出了第一次使用胶囊神经网络（CapsNet）与三个连续组件的分层轨迹预测结构。首先，地理信息被转换成一个网格地图表示，描述空间和时间的车辆移动分布。其次，CapsNet作为核心模型，通过层次胶囊嵌入局部时间和全局空间相关性。最后，在波尔图市（葡萄牙）和新加坡收集的实际出租车移动数据进行了广泛的实验表明，所提出的方法优于国家的最先进的方法。
2023-03-06 cs.CV cs.LG
A case where a spindly two-layer linear network whips any neural network with a fully connected input layer
Google Research（谷歌研究院）；Poznan University of Technology（波兹南理工大学）
证明了任何结构的神经网络和节点处的任意可微传递函数在使用梯度下降训练时不能有效地学习以下问题样本：实例是$d$维Hadamard矩阵的行，目标是特征之一，即非常稀疏。我们从本质上证明了这个猜想：我们表明，在接收大小为$k < d$的随机训练集后，预期平方损失仍然是$1-\frac{k}{(d-1)}$。唯一的要求是输入层是完全连接的，并且输入节点的初始权重向量是从旋转不变分布中选择的。令人惊讶的是，同样类型的问题可以通过简单的2层线性神经网络更有效地解决，其中$d$输入通过长度为2的链连接到输出节点（现在输入层每个输入只有一条边）。当这样的网络通过梯度下降训练时，已经表明其预期平方损失是$\frac{\log d}{k}$。我们的下界本质上表明，当样本数量小于输入特征数量时，需要稀疏输入层来有效地采样学习具有梯度下降的稀疏目标。
2020-10-16 cs.LG stat.ML
Neural Ideal Point Estimation Network
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
理解政治具有挑战性，因为政治影响一切。即使我们局限于立法过程中的政治背景，我们也需要更好地了解潜在的因素，如立法者，法案，他们的理想点，以及他们之间的关系。从建模的角度来看，这是困难的，1）因为这些观察结果位于高维度，需要在低维度表示上学习，2）因为这些观察结果需要使用潜在变量进行复杂的概率建模以反映因果关系。本文提出了一个新的模式，以反映和理解这种政治环境，NIPEN，包括上述因素的立法。我们提出了两个版本的NIPEN：一个是深度学习和概率图模型的混合模型，另一个是神经张量模型。我们的研究结果表明，NIPEN成功地学习了立法法案文本的流形，NIPEN利用学习到的低维潜变量来提高立法者投票的预测性能。此外，NIPEN作为一个领域丰富的概率模型，显示了立法者信任网络的隐藏力量和投票的各种特征。
2019-04-26 cs.CY cs.LG cs.SI
Connecting the Dots: Is Mode-Connectedness the Key to Feasible Sample-Based Inference in Bayesian Neural Networks?
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；The University of Manchester（曼彻斯特大学）
本研究探讨贝叶斯神经网络中基于样本推断的可行性，通过连接权重与函数空间的关系，提出深度集成初始化方法，并建立采样与收敛诊断的实用指南。
2024-05-28 cs.LG stat.CO stat.ML
EA-CG: An Approximate Second-Order Method for Training Fully-Connected Neural Networks
HTC Research & Healthcare（HTC研究与医疗）
为了训练全连接神经网络（FCNN），提出了一种实用的近似二阶方法，包括：1）Hessian矩阵的近似和2）基于共轭梯度（CG）的方法。我们提出的近似Hessian矩阵是记忆有效的，可以应用于任何FCNN，其中激活和标准函数是两次可微的。我们设计了一种基于CG的方法，结合一阶近似来推导训练FCNN的牛顿方向，这显着降低了空间和时间复杂度。这种基于CG的方法可以用来解决任何线性方程的系数矩阵是克罗内克因子，对称和正定。实验结果表明了该方法的有效性和有效性。
2018-12-06 cs.LG
Requirements for Developing Robust Neural Networks
CCDC Army Research Laboratory（美国陆军研究实验室（CCDC））；Oak Ridge Associated Universities（橡树岭联合大学）
验证准确性是衡量神经网络分类器质量的必要但不充分的指标。开发过程中的高验证准确度并不能保证模型没有严重的缺陷，例如易受对抗攻击的攻击，或者倾向于错误分类（高置信度）它没有训练的数据。模型也可能是人类无法理解的，或者基于不合理的标准做出决策。这些问题，这不是唯一的分类器，一直是大量的最近的研究的焦点。然而，在模型开发过程中，它们并没有被优先考虑，这几乎总是优化验证准确性，而排除其他一切。这种方法的产品很可能在培训环境之外以意想不到的方式失败。我们认为，除了验证准确性之外，模型开发过程还必须增加其他性能指标的权重，例如可解释性，对对抗攻击的抵抗力以及对分布外数据的过度自信。
2019-10-04 cs.LG
CHNNet: An Artificial Neural Network With Connected Hidden Neurons
BRAC University（布拉克大学）
针对传统人工神经网络缺乏层内神经元连接、限制层内信息整合的问题，本文提出隐层神经元互联的CHNNet，理论上其收敛速度快于传统前馈神经网络，且该结论得到实验验证。
2025-11-14 cs.LG cs.NE
Explaining Convolutional Neural Networks using Softmax Gradient Layer-wise Relevance Propagation
Kyushu University（九州大学）
卷积神经网络（CNN）已经成为图像分类领域的最新技术。然而，并不是所有的东西都能理解它们的内在表现。本文讨论了CNN预测多类分类问题的可解释性和可解释性。具体来说，我们提出了一种新的可视化方法，称为Softmax梯度逐层相关传播（SGLRP）的像素级输入属性。该模型是对深度泰勒分解（DTD）的类判别扩展，使用softmax的梯度将输出概率的相关性反向传播到输入图像。通过定性和定量的分析，我们证明了SGLRP可以成功地定位和属性的区域输入图像，有助于目标对象的分类。我们表明，所提出的方法擅长区分图像中的其他可能的对象的目标对象类。我们确认SGLRP比现有的基于分层相关传播（LRP）的方法表现更好，可以帮助理解CNN的决策过程。
2019-11-07 cs.CV cs.LG cs.NE
Investigation of Densely Connected Convolutional Networks with Domain Adversarial Learning for Noise Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
我们研究了密集连接的卷积网络（DenseNets）及其扩展与域对抗训练的噪声鲁棒性语音识别。DenseNets是非常深入，紧凑的卷积神经网络，它在计算机视觉的最新成果上表现出令人难以置信的改进。我们的实验结果表明，DenseNets比其他基于神经网络的模型（如深度前馈神经网络和卷积神经网络）对噪声更具鲁棒性。此外，域对抗学习可以进一步提高DenseNets对已知和未知噪声条件的鲁棒性。
2021-12-19 cs.CL cs.LG eess.AS
Compression of Fully-Connected Layer in Neural Network by Kronecker Product
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Megvii Inc.（旷视科技有限公司）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出并研究了一种技术，以减少参数的数量和计算时间在全连接层的神经网络使用克罗内克积，在一个温和的成本的预测质量。该技术通过用所谓的克罗内克全连接层替换全连接层来进行，其中FC层的权重矩阵由较小矩阵的多个克罗内克乘积的线性组合来近似。特别是，给定一个在SVHN数据集上训练的模型，我们能够构建一个新的KFC模型，参数总数减少了73%，而误差只轻微上升。相比之下，使用低秩方法只能实现35%的总数量的参数减少相同的质量退化容限。如果我们仅比较KFC层与其对应的全连接层，则参数数量的减少超过99%。由于我们用KFC层中几个较小矩阵的矩阵乘积代替FC层中大矩阵的矩阵乘积，计算量也减少了。在MNIST、SVHN和一些汉字识别模型上的实验也证明了该方法的有效性。
2015-07-22 cs.CV cs.LG cs.NE
Input Invex Neural Network
NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））；University College London (UCL)（伦敦大学学院（UCL））
本文提出两种用神经网络构造反凸函数以生成连通决策边界的方法，并证明基于连通集合的分类器可逼近任意分类函数，同时增强可解释性且不损失性能。
2024-08-03 cs.LG cs.NE
Densely Connected Recurrent Residual (Dense R2UNet) Convolutional Neural Network for Segmentation of Lung CT Images
Washington University School of Medicine（华盛顿大学医学院）
深度学习网络已经为语义分割提供了最先进的性能。这些技术被广泛应用于医学检测、分割和分类。基于U-Net的架构的出现对于该应用已经变得特别流行。本文提出了基于U-Net模型结构的递归残差卷积神经网络（Dense R2 U CNN），它是递归CNN、残差网络和稠密卷积网络的综合。残差单元有助于训练更深的网络，而密集的递归层增强了分割所需的特征传播。在基准肺部病变数据集上测试的所提出的模型在分割任务上表现出比其等效模型更好的性能。
2021-02-01 cs.CV cs.LG eess.IV
The BUTTER Zone: An Empirical Study of Training Dynamics in Fully Connected Neural Networks
本研究构建了一个包含483,000种超参数配置、1100万次训练运行的实证数据集，揭示了全连接神经网络中跨任务和拓扑的持久训练模式，旨在促进机器学习理论的发展。
2023-10-16 cs.LG
Redundancy in Deep Linear Neural Networks
Faculty of Math&CS（数学与计算机科学学院）；Weizmann Institute of Science（魏茨曼科学研究所）
传统观点认为，深度线性神经网络受益于单个线性层的表现力和优化优势。本文提出，在实践中，使用传统优化器的深度线性全连接网络的训练过程与单个线性全连接层相同，是凸的。本文旨在解释并证明这一说法。尽管卷积网络与此描述不一致，但这项工作旨在获得对全连接线性网络的新概念理解，这可能会揭示卷积设置和非线性架构的可能约束。
2022-06-09 cs.LG cs.PF
Synthesizing real-world distributions from high-dimensional Gaussian Noise with Fully Connected Neural Network
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本文提出基于全连接神经网络和随机损失函数的高效合成数据生成方法，通过将随机高斯分布转换为近似目标现实数据集，实验表明其在分类质量提升和隐私保护方面优于现有生成方法。
2026-07-17 cs.LG
Locally Connected Spiking Neural Networks for Unsupervised Feature Learning
University of Massachusetts Amherst, College of Computer and Information Sciences（马萨诸塞大学阿默斯特分校计算机与信息科学学院）；University of Memphis（孟菲斯大学）
近年来，脉冲神经网络（SNN）在完成各种机器学习任务方面取得了巨大的成功。我们介绍了一种学习图像特征的方法，\textit{locally connected layers}在SNN使用尖峰时间依赖可塑性（STDP）规则。在我们的方法中，子网络通过竞争性抑制相互作用来学习来自输入空间不同位置的特征。这些\textit{Locally-Connected SNNs}（LC-SNN）表现出生物神经元空间相互作用的关键拓扑特征。我们探索生物启发的n-gram分类方法，允许并行处理的图像空间的各种补丁。我们报告了简单的两层LC-SNN在两个图像数据集上的分类精度，这与最先进的性能相匹配，是迄今为止的第一个结果。LC-SNN具有快速收敛到数据集表示的优点，并且它们比其他具有无监督学习的SNN方法需要更少的可学习参数。鲁棒性测试表明，LC-SNN表现出优雅的性能下降，尽管随机删除大量的突触和神经元。
2019-04-12 cs.LG cs.NE
The relationship between Fully Connected Layers and number of classes for the analysis of retinal images
City, University of London（伦敦城市大学）
本文实验了深度卷积神经网络中的全连接层的数量，并将其应用于眼底视网膜图像的分类。所分析的图像对应于2019年北京大学国际眼科疾病智能识别竞赛[9]，其中包括各种眼科疾病（白内障，青光眼，近视，糖尿病视网膜病变，年龄相关性黄斑变性（AMD），高血压）以及正常病例的图像。本研究主要针对正常、白内障、AMD和近视进行分类。神经网络的特征提取（卷积）部分保持不变，而网络的特征映射（线性）部分发生变化。不同的数据集也在这些神经网络上进行了探索。每个数据集都因其拥有的类的数量而与另一个数据集不同。因此，本文的目的是找到类的数量和全连接层的数量之间的关系。研究发现，增加神经网络的全连接层数量的效果取决于所使用的数据集的类型。对于简单的线性可分数据集，应该探索增加全连接层，这可能会导致更好的训练精度，但没有发现直接相关性。然而，随着数据集复杂性的增加（更多的重叠类），增加全连接层的数量会导致神经网络停止学习。数据集越复杂，这种现象发生得越快。
2020-04-14 cs.CV cs.LG eess.IV
Introduction to dynamical mean-field theory of randomly connected neural networks with bidirectionally correlated couplings
School of Physics, Sun Yat-sen University（中山大学物理学院）；Guangdong Provincial Key Laboratory of Magnetoelectric Physics and Devices, Sun Yat-sen University（中山大学广东省磁电物理与器件重点实验室）
本文以具有双向关联耦合的随机全连接神经网络为例，教学式介绍动力学平均场理论，并引入动力学腔方法推导相同结果，同时给出数值求解方案。
2023-10-07 cond-mat.dis-nn cond-mat.stat-mech cs.LG
GloNets: Globally Connected Neural Networks
University of Chieti-Pescara（基耶蒂-佩斯卡拉大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Parma（帕尔马大学）
针对深度学习中的性能退化问题，提出全局连接神经网络GloNet，通过让网络头部均匀接收各层级信息并自我调节信息流，实现任意深度下的稳定训练，成为传统架构的强有力替代方案。
2023-11-27 cs.LG cs.NE
From Weight Perturbation to Feature Attribution for Explaining Fully Connected Neural Networks
NCSR Demokritos（德米克里托斯研究所）
本文提出通过扰动特征权重而非值来估计特征归因，改进了Occlusion方法的局限性，提出XWP和XWP_c两种新方法，在简单DNN中表现优异，为模型可解释性提供稳健框架。
2026-05-14 cs.LG
FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks
University of Vienna（维也纳大学）
尽管神经网络在各个领域得到了有效的应用，但人们对它的许多方面还知之甚少。研究神经网络特性的一个重要方法是探索损失景观。然而，大多数模型产生一个高维的非凸景观，这是很难可视化。我们讨论和扩展现有的可视化方法的基础上，1D和2D切片与一种新的方法，近似的实际损失景观的几何形状，通过使用图表与可解释的轴。基于小神经网络上的观察可以推广到更复杂的系统并为我们提供有用的见解的假设，我们专注于几十个权重范围内的小模型，这使得计算成本低廉的实验和交互式仪表板的使用成为可能。我们观察到零向量周围的对称性，不同层对全局景观的影响，最小值周围的不同权重敏感性，以及梯度下降如何导航高损失障碍。用户研究得出了平均SUS（系统可用性量表）分数，并提出了改进建议，并开辟了许多可能的应用场景，如自动编码器和集成网络。
2022-04-09 cs.LG
Lightweight Residual Densely Connected Convolutional Neural Network
Sharif University of Technology（谢里夫理工大学）
高效的卷积神经网络架构是有限资源设备（如嵌入式和移动设备）的最重要要求之一。计算能力和存储器大小是这些设备的两个重要约束。最近，已经提出了一些架构，以克服这些限制，考虑特定的硬件-软件设备。本文提出了轻量级的剩余密集连接块，以保证卷积神经网络的深度监督，有效的梯度流和特征重用能力。所提出的方法降低了训练和推理过程的成本，而不使用任何特殊的硬件-软件设备，通过减少参数和计算操作的数量，同时达到可行的精度。大量的实验结果表明，该架构比AlexNet和VGGNet更有效的模型大小，所需的参数，甚至精度。该模型已经在ImageNet、MNIST、Fashion MNIST、SVHN、CIFAR-10和CIFAR-100上进行了评估。它在Fashion MNIST数据集上取得了最先进的结果，在其他数据集上取得了合理的结果。所得到的结果表明，所提出的方法的优越性，如挤压网有效的模型。它也可以与最先进的高效模型（如CondenseNet和ShuffleNet）相媲美。
2020-06-08 cs.CV cs.LG
AutoInit: Analytic Signal-Preserving Weight Initialization for Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant AI Labs（高知特人工智能实验室）
神经网络需要仔细的权重初始化，以防止信号爆炸或消失。现有的初始化方案通过假设网络具有特定的激活函数或拓扑来解决特定情况下的这个问题。很难推导出这样的权重初始化策略，因此现代架构经常使用这些相同的初始化方案，即使它们的假设不成立。本文介绍了AutoInit，一种能自动适应不同神经网络体系结构的权值初始化算法。通过分析跟踪信号在网络中传播时的均值和方差，AutoInit适当地缩放每一层的权重，以避免信号爆炸或消失。实验表明，AutoInit在一系列激活函数、丢弃、权重衰减、学习率和归一化器设置中提高了卷积、残差和Transformer网络的性能，并且比依赖于数据的初始化方法更可靠。这种灵活性允许AutoInit初始化从小型表格任务到大型数据集（如ImageNet）的所有模型。这种普遍性在神经结构搜索和激活函数发现中特别有用。在这些设置中，AutoInit会适当地初始化每个候选项，使性能评估更加准确。因此，AutoInit作为一个自动配置工具，使新的神经网络架构的设计更加健壮。AutoInit包提供了TensorFlow模型的包装器，可在https://github.com/cognizant-ai-labs/autoinit上获得。
2022-11-29 cs.LG
DCNAS: Densely Connected Neural Architecture Search for Semantic Image Segmentation
Joyy Inc.（欢聚时代）；Kwai Inc.（快手科技）；Beihang University（北京航空航天大学）
神经结构搜索（NAS）在自动设计用于密集图像预测的可扩展网络结构方面显示出巨大的潜力。然而，现有的NAS算法通常妥协有限的搜索空间和搜索代理任务，以满足可实现的计算需求。为了允许尽可能广泛的网络架构，并避免目标和代理数据集之间的差距，我们提出了一个密集连接的NAS（DCNAS）框架，它直接搜索最佳的网络结构的视觉信息的多尺度表示，在一个大规模的目标数据集。具体来说，通过使用可学习的权重将单元彼此连接，我们引入了一个密集连接的搜索空间，以覆盖大量的主流网络设计。此外，通过结合路径级和通道级的采样策略，我们设计了一个融合模块，以减少内存消耗的丰富的搜索空间。我们证明了从我们的DCNAS算法获得的架构在公共语义图像分割基准上实现了最先进的性能，包括Cityscapes上的84.3%和PASCAL VOC 2012上的86.9%。在更具挑战性的ADE 20K和Pascal Context数据集上评估架构时，我们也保持了领先的性能。
2021-03-27 cs.CV cs.LG eess.IV
Densely connected neural networks for nonlinear regression
School of Mathematical and Statistical Sciences, Clemson University（克莱姆森大学数学与统计科学学院）；Faculty of Engineering, Monash University（莫纳什大学工程学院）；Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）；Institute of Atmospheric Physics, Chinese Academy of Sciences（中国科学院大气物理研究所）
密集连接卷积网络（DenseNet）在图像处理中表现良好。然而，对于回归任务，卷积DenseNet可能会丢失来自独立输入特征的基本信息。为了解决这个问题，我们提出了一种新的DenseNet回归模型，其中卷积和池化层被完全连接的层取代，并且保留了原始的连接快捷方式以重用该功能。为了研究深度和输入尺寸的影响，所提出的模型进行了仔细的验证，通过广泛的数值模拟。结果给出了最佳深度（19），并建议有限的输入尺寸（低于200）。与支持向量回归、决策树回归和残差回归等基线模型相比，最优深度模型的性能最好。最后，将DenseNet回归应用于相对湿度的预测，结果显示与观测值的相关性很高（0.91），这表明我们的模型可以促进环境数据分析。
2021-07-29 cs.LG physics.ao-ph physics.data-an
Using Deep Neural Network for Android Malware Detection
North China Electric Power University（华北电力大学）
Android操作系统的普及，以及几乎所有应用程序的可用性，都可以在官方Google Play商店或十几个替代第三方市场中轻松访问。此外，智能手机在现代生活中的重要作用导致在设备上存储重要信息，不仅是个人信息，还有公司信息，这吸引恶意软件开发人员开发可以渗透用户设备以窃取信息并执行有害任务的应用程序。这伴随着当前防御技术的局限性，例如Google Play商店中的无效筛选，第三方市场中的弱筛选或无筛选。仍然依赖于基于签名的数据库的防病毒软件，该数据库仅在识别已知恶意软件时有效。为了应对日益增长的恶意应用，提出了一种基于深度学习技术的Android恶意软件检测系统。在包含良性和恶意应用程序的真实数据集上进行的大量实验表明，该系统的准确率达到95.31%。
2019-01-16 cs.CR cs.LG
