A Unified Lottery Ticket Hypothesis for Graph Neural Networks
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science and Technology of China（中国科学技术大学）；AWS Deep Learning（AWS深度学习部门）
随着图形规模的快速增长和更深层次的图神经网络（GNN）的出现，GNN的训练和推理变得越来越昂贵。现有的网络权值剪枝算法不能解决GNN中由图的大小和连通性引起的主要空间和计算瓶颈。为此，本文首先提出了一个统一的GNN稀疏化（UGS）框架，该框架同时修剪图邻接矩阵和模型权重，以有效地加速大规模图上的GNN推理。利用这个新工具，我们首次将最近流行的彩票假设推广到GNN，将图彩票（GLT）定义为一对核心子数据集和稀疏子网络，可以通过迭代应用UGS从原始GNN和全稠密图中联合识别。与卷积神经网络中的对应物一样，GLT可以单独训练，以使训练性能与完整模型和图相匹配，并且可以从随机初始化和自监督预训练的GNN中提取。我们的建议已经在各种GNN架构和各种任务中进行了实验验证，包括小规模图数据集（Cora，Citeseer和PubMed）以及来自具有挑战性的开放图基准（OGB）的大规模数据集。具体来说，对于节点分类，我们发现的GLT达到相同的准确性，在小图上节省20%~98%的MAC，在大图上节省25%~85%的MAC。对于链接预测，GLT在不影响预测性能的情况下，在小图数据集和大图数据集上分别节省了48%~97%和70%的MAC。代码可在https://github.com/VITA-Group/Unified-LTH-GNN获得。
2021-06-07 cs.AI cs.LG stat.ML
Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs
Intel AI Lab（英特尔人工智能实验室）
我们提出了顺序聚合和再物质化（SAR）计划的分布式全批训练的图神经网络（GNNs）在大型图。最近，GNN的大规模训练主要是基于采样的方法和基于不可学习消息传递的方法。另一方面，SAR是一种分布式技术，可以直接在整个大型图上训练任何GNN类型。SAR中的关键创新是分布式顺序重新物质化方案，该方案在向后传递期间顺序地重建然后释放过大的GNN计算图的片段。这导致了出色的内存扩展行为，其中每个工作线程的内存消耗随工作线程的数量线性下降，即使是密集连接的图形。使用SAR，我们报告了迄今为止全批GNN训练的最大应用，并展示了随着工人数量的增加而节省的大量内存。我们还提出了一种基于核融合和注意力矩阵再物质化的通用技术，以优化基于注意力的模型的运行时间和内存效率。我们表明，与SAR相结合，我们优化的注意力内核可以显著提高基于注意力的GNNs的速度并节省内存。我们提供了SAR GNN训练库：\url{https://github.com/IntelLabs/SAR}。
2022-04-15 cs.AI cs.LG
Reinforced Epidemic Control: Saving Both Lives and Economy
Tsinghua University（清华大学）；McGill University（麦吉尔大学）
在大多数城市，拯救生命还是经济是疫情控制的两难选择，而智能追踪技术则引发了人们对隐私的担忧。在本文中，我们提出了一个解决方案，不需要私人数据的生活或经济困境。我们绕过私人数据的要求，通过动态控制区域间的流动性，仅依赖于原产地（OD）数据来抑制流行病的传播。我们开发了双目标强化学习流行病控制代理（DURLECA）搜索移动控制策略，可以同时最大限度地减少感染传播和最大限度地保持流动性。DURLECA采用一种新的图神经网络，即Flow-GNN，来估计城市流动性引起的病毒传播风险。估计的风险用于支持强化学习代理生成移动控制动作。DURLECA的训练是由一个构造良好的奖励函数指导的，该函数捕捉了流行病控制和流动性保持之间的自然权衡关系。此外，我们还设计了两种探索策略，以提高智能体的搜索效率，帮助其摆脱局部最优。在真实世界OD数据集上的广泛实验结果表明，DURLECA能够将感染抑制在极低的水平，同时保持城市中76%的流动性。我们的实现可以在https://github.com/anyleopeace/DURLECA/上获得。
2020-08-04 cs.AI cs.LG
Separable Hamiltonian Neural Networks
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Singapore Institute of Manufacturing Technology (SIMTech)（新加坡制造技术研究院）
针对哈密顿神经网络回归动力系统的问题，提出嵌入加性可分性偏置的可分离哈密顿神经网络，在哈密顿量与向量场回归、动力学预测和能量守恒上表现更优。
2024-08-15 cs.AI cs.LG
Adaptive Explainable Neural Networks (AxNNs)
Wells Fargo（富国银行）
虽然机器学习技术已成功应用于多个领域，但模型的黑盒性质给解释和解释结果带来了挑战。我们开发了一个名为自适应可解释神经网络（AxNN）的新框架，以实现良好的预测性能和模型可解释性的双重目标。对于预测性能，我们建立了一个结构化的神经网络，由广义可加模型网络和加性指数模型（通过可解释的神经网络）的集成使用两个阶段的过程。这可以使用增强或堆叠集合来完成。为了便于解释，我们展示了如何将AxNN的结果分解为主效应和高阶交互效应。这些计算继承自Google的开源工具AdaNet，可以通过分布式计算进行训练来有效地加速。模拟和真实数据集上的结果进行了说明。
2020-06-02 cs.AI cs.LG stat.ML
High-Resolution Peak Demand Estimation Using Generalized Additive Models and Deep Neural Networks
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文介绍了预测高分辨率电力峰值需求的特点，给出了较低的分辨率数据。这是一个相关的设置，因为它回答了当高分辨率数据不再可用时，有限的高分辨率监视是否有助于估计未来的高分辨率峰值负载。对于出于经济考虑而考虑更换高分辨率监测预测模型的网络运营商来说，这个问题特别有趣。我们提出了模型来预测半小时的最小值和最大值的高分辨率（每分钟）的电力负荷数据，而模型的输入是一个较低的分辨率（30分钟）。我们结合了广义加性模型（GAM）和深度人工神经网络（DNN）的预测，这是流行的负荷预测。我们广泛地分析了预测模型，包括输入参数的重要性，重点是负荷，天气和季节性影响。所提出的方法赢得了由英国配电网运营商西方配电组织的数据竞赛。此外，我们提供了一个严格的评估研究，超越了竞争框架，分析模型的鲁棒性。结果表明，所提出的方法优于竞争基准的样本外均方根误差（RMSE）。这适用于竞争月和补充评价研究，后者涵盖额外的11个月。总体而言，我们提出的模型组合减少了57.4%的样本外RMSE相比，基准。
2022-11-02 cs.LG cs.SY econ.EM
QuickNets: Saving Training and Preventing Overconfidence in Early-Exit Neural Architectures
College of Computer and Information Sciences（计算机与信息科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
深度神经网络具有较长的训练和处理时间。添加到神经网络的早期退出允许网络在时间敏感的应用中使用网络中的中间激活来进行早期预测。然而，提前退出增加了神经网络的训练时间。我们介绍QuickNets：一种新的级联训练算法，用于神经网络的快速训练。QuickNet以逐层的方式进行训练，使得每个连续层仅在不能被先前层正确分类的样本上进行训练。我们证明了QuickNets可以动态分布学习，并且与标准反向传播相比，具有更低的训练成本和推理成本。此外，我们还引入了承诺层，通过识别过度自信的预测来显着改善早期退出，并证明其成功。
2022-12-25 cs.AI cs.LG cs.NE
DSLOT-NN: Digit-Serial Left-to-Right Neural Network Accelerator
Chosun University（朝鲜大学）
本文提出 DSLOT-NN 加速器，利用数字串行从左到右的在线运算器加速 DNN 卷积推理，通过提前终止无效卷积并在 FPGA 上实现，相比 Stripes 显著节省功耗并提升约 50% 的每瓦特性能。
2023-09-22 cs.AI cs.AR cs.PF
Random orthogonal additive filters: a solution to the vanishing/exploding gradient of deep neural networks
University of Pisa（比萨大学）；University of Exeter（埃克塞特大学）
自从九十年代早期认识到神经网络（NN）训练中的消失/爆炸（V/E）梯度问题以来，人们已经做出了很大的努力来克服这个障碍。然而，迄今为止，V/E问题的明确解决方案仍然难以捉摸。在这篇手稿中，提出了一种新的NN架构，旨在从数学上防止V/E问题的发生。追求近似动态等距，即输入-输出雅可比矩阵的奇异值紧密分布在1周围的参数配置，导致了NN架构的推导，该架构与流行的残差网络模型具有共同的特征。我们的想法不是跳过层之间的连接，而是正交地过滤先前的激活，并将它们添加到下一层的非线性激活中，从而实现它们之间的凸组合。值得注意的是，梯度更新不可能消失或爆炸，即使在无限深度的情况下也有分析界限。通过反向传播训练一个50 k层的极深多层感知器和一个Elman NN来学习过去10 k个时间步长的输入中的长期依赖关系，经验证明了该方法的有效性。与专门设计用于处理V/E问题的其他架构（例如用于递归NN的LSTM）相比，所提出的模型更简单，但更有效。令人惊讶的是，单层vanilla RNN可以被增强以达到最先进的性能，同时收敛速度超快;例如在psMNIST任务中，可以在第一个epoch中获得超过94%的测试准确度，并且在10个epoch后超过98%。
2022-10-03 cs.AI cs.LG cs.NA
A Neural Transfer Function for a Smooth and Differentiable Transition Between Additive and Multiplicative Interactions
Technische Universität München（慕尼黑工业大学）；fortiss（Fortiss研究所）
结合加法和乘法神经单元的现有方法要么使用固定的操作分配，要么需要离散优化来确定神经元应该执行什么功能。这导致计算资源的低效分配或训练过程的计算复杂性的大幅增加。我们提出了一种新的，可参数化的传递函数的基础上的数学概念的非整数函数迭代，使每个神经元执行的操作是顺利的，最重要的是，微分之间的加法和乘法调整。这允许将加法和乘法之间的决策集成到标准反向传播训练过程中。
2016-03-29 cs.LG cs.NE stat.ML
TentacleNet: A Pseudo-Ensemble Template for Accurate Binary Convolutional Neural Networks
Politecnico di Torino（都灵理工大学）
二值化是实现轻量级深度卷积神经网络（CNN）的一种有吸引力的策略。尽管提供了毫无疑问的节省，最重要的是内存占用，但它可能会导致过度的准确性损失，从而阻止广泛使用。这项工作详细阐述了这方面的内容，介绍了TentacleNet，这是一种新的模板，旨在通过并行化提高二值化CNN的预测性能。受集成学习理论的启发，它由一个紧凑的拓扑结构组成，该拓扑结构是端到端可训练的，并经过组织以最大限度地减少内存使用。通过三个真实的基准测试收集的实验结果表明，TentacleNet填补了经典二进制模型留下的空白，确保了大量的内存节省。最先进的二元系综方法。
2019-12-26 cs.CV cs.LG cs.NE
Equivalence of Additive and Multiplicative Coupling in Spiking Neural Networks
本文证明脉冲神经网络中加性耦合与乘性耦合在同时修改神经元内在时间演化时等价，从而可在不同耦合机制模型间迁移理论成果并简化工程应用。
2023-04-11 cond-mat.dis-nn cs.NE math.DS
Neural network with optimal neuron activation functions based on additive Gaussian process regression
School of Materials and Chemical Technology, Tokyo Institute of Technology（东京工业大学材料与化学技术学院）
本文提出用加性 GPR 为每个神经元构造最优且独立的激活函数，并避免非线性参数拟合，在分子势能面任务中于高精度区间优于传统 NN。
2023-01-19 cs.LG cs.NE stat.ML
Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme
Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
递归神经网络（RNN）是自动语音识别或机器翻译等应用的关键技术。与传统的前馈DNN不同，RNN记住过去的信息以提高未来预测的准确性，因此它们对于序列处理问题非常有效。对于每个应用程序运行，递归层被执行多次，以处理潜在的大输入序列（单词，图像，音频帧等）。在本文中，我们观察到神经元的输出在连续调用中表现出微小的变化。我们利用这个属性来建立一个神经元级的模糊记忆计划，动态缓存每个神经元的输出，并重用它，每当它被预测，当前的输出将类似于以前计算的结果，避免以这种方式的输出计算。该方案的主要挑战是确定新神经元对序列中当前输入的输出是否与最近计算的结果相似。为此，我们用一个更简单的逐位神经网络（BNN）扩展了递归层，并证明了BNN和RNN的输出是高度相关的：如果两个BNN的输出非常相似，那么原始RNN层中相应的输出可能会出现可以忽略不计的变化。BNN提供了一种低成本和有效的机制，用于决定何时可以应用模糊记忆，对精度的影响很小。我们在最先进的RNN加速器上评估我们的记忆方案，用于来自多个应用领域的各种不同的神经网络。我们表明，我们的技术避免了超过26.7\%的计算，从而节省了21\%的能源和1.4倍的加速平均。
2022-02-14 cs.AR cs.LG cs.NE
Towards Green AI-Native Networks: Evaluation of Neural Circuit Policy for Estimating Energy Consumption of Base Stations
Ericsson Research（爱立信研究院）；Ericsson AB（爱立信公司）
本研究评估了稀疏结构的神经回路策略（NCPs）在估计基站能耗中的应用，发现其相比传统LSTM模型能显著降低计算开销与能耗，且对超参数变化具有鲁棒性，适合电信领域的绿色MLOps。
2025-04-03 cs.AI cs.LG cs.NE
Improving Memory Utilization in Convolutional Neural Network Accelerators
CSEM SA（瑞士电子与微技术中心）；Swiss Federal Institute of Technology, ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
虽然通过引入更大更深的网络架构，卷积神经网络的准确性得到了巨大的提高，但存储其参数和激活的内存占用也有所增加。这一趋势尤其挑战了功率和资源有限的加速器设计，这些设计通常限于将所有网络数据存储在片上存储器中，以避免连接高能耗的外部存储器。因此，最大化适合给定加速器的网络大小需要最大化其内存利用率。虽然传统上使用的乒乓缓冲技术是后续激活层映射到分离的内存区域，我们提出了一种映射方法，允许这些区域重叠，从而更有效地利用内存。这项工作提出了计算最大激活内存重叠的数学模型，从而计算在内存有限的加速器上执行卷积神经网络逐层处理所需的片上内存的下限。我们对各种真实世界对象检测器网络的实验表明，与传统的乒乓缓冲相比，所提出的映射技术可以将激活内存减少高达32.9%，将整个网络的总内存减少高达23.9%。对于更高分辨率的去噪网络，我们实现了48.8%的激活内存节省。此外，我们在基于FPGA的摄像头上实现了一个人脸检测器网络，以在一个完整的端到端系统上验证这些内存节省。
2021-04-06 cs.CV cs.LG cs.NE
Financial Market Modeling with Quantum Neural Networks
经济物理学已经发展成为一个应用统计力学和量子力学的形式主义来解决经济和金融问题的研究领域。将量子理论应用于经济学和金融学的经济物理学分支称为量子经济物理学。在金融领域，量子经济物理学的贡献范围从期权定价到市场动态建模，行为金融学和博弈论的应用，整合了人类决策分析的经验发现，表明概率中的非线性更新规则，导致非可加决策权重，可以从量子计算中计算接近，由此产生的量子干涉项解释了非可加概率。目前的工作借鉴了这些结果，引入新的工具，从量子人工智能，即量子人工神经网络作为一种方式来建立和模拟金融市场模型与自适应选择的交易规则，导致动荡和过度峰度的回报分布的参数范围很广。
2015-08-26 cs.NE physics.soc-ph q-fin.CP
