CHAOS: A Parallelization Scheme for Training Convolutional Neural Networks on Intel Xeon Phi
Linnaeus University（林奈大学）；Machine Intelligence Research Labs (MIR Labs)（机器智能研究实验室）
深度学习是大数据分析工具和智能应用的重要组成部分，例如自动驾驶汽车、计算机视觉、语音识别或精准医疗。然而，训练过程是计算密集型的，并且如果按顺序执行，则通常需要大量时间。现代并行计算系统提供了减少深度神经网络所需训练时间的能力。在本文中，我们提出了我们的并行化方案训练卷积神经网络（CNN）命名为受控Hogwild与任意顺序的同步（混沌）。CHAOS的主要功能包括支持线程和向量并行性，在反向传播过程中没有明显延迟的权重参数的非即时更新，以及任意顺序的隐式同步。CHAOS专为使用英特尔至强融核加速的并行计算系统量身定制。我们评估我们的并行化方法经验使用测量技术和性能建模的线程和CNN架构的各种数量。使用Xeon Phi上的线程总数对手写数字的MNIST数据集进行的实验结果显示，与Xeon Phi的一个线程上执行相比，加速高达103倍，与英特尔至强E5上的顺序执行相比，加速高达14倍，与英特尔酷睿i5上的顺序执行相比，加速高达58倍。
2017-02-25 cs.CV cs.DC cs.LG
NPTC-net: Narrow-Band Parallel Transport Convolutional Neural Network on Point Clouds
Beijing International Center for Mathematical Research, Peking University（北京大学北京数学科学中心）；Center for Data Science, Peking University（北京大学数据科学中心）；Beijing Institute of Big Data Research（北京大数据研究院）；Department of Mathematics, Rensselaer Polytechnic Institute（伦斯勒理工学院数学系）
卷积在信号和图像处理、分析和识别的各种应用中起着至关重要的作用。它也是卷积神经网络（CNN）的主要构建块。在流形结构的点云上设计适当的卷积神经网络可以继承CNN的最新进展，并使其能够分析和处理点云数据。然而，一个主要的挑战是定义一个适当的方式来“扫描”过滤器通过点云作为一个自然的概括的平面卷积，并反映点云的几何形状在同一时间。在本文中，我们考虑通过在点云上适应并行传输来推广卷积。受三角化曲面方法的启发[Stefan C. Schonsheck，Bin Dong，and Rongjie Lai，arXiv：1805.07857.]，我们提出了窄带并行传输卷积（NPTC），其在点云数据的基于体素的窄带近似上使用特定定义的连接。在此基础上，我们进一步提出了一种基于NPTC的深度卷积神经网络（称为NPTC-net），用于点云分类和分割。综合实验表明，提出的NPTC网络实现类似或更好的结果比当前国家的最先进的点云分类和分割的方法。
2021-02-21 cs.CV cs.LG
FPGA deep learning acceleration based on convolutional neural network
Chongqing University（重庆大学）
针对卷积神经网络（CNN）计算量大、计算时间长的问题，提出了一种基于现场可编程逻辑门阵列（FPGA）的卷积神经网络硬件加速器。首先，通过深入分析卷积层的前向运算原理，探索卷积层运算的并行性，设计了一种输入通道并行、输出通道并行、卷积窗口深度流水的硬件架构。然后在上述架构中，设计了一个完全并行的乘加树模块来加速卷积运算，设计了一个高效的窗口缓冲模块来实现卷积窗口的流水线运算。最终实验结果表明，本文提出的加速器能效比达到32.73 GOPS/W，比现有方案提高了34%，性能达到317.86 GOPS。
2020-11-17 cs.AR cs.LG
High Throughput Multi-Channel Parallelized Diffraction Convolutional Neural Network Accelerator
George Washington University（乔治华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）
卷积神经网络在包括相关分类和训练任务的图像和信号处理中至关重要，并且构成了当今大多数机器学习计算需求。由于卷积运算是计算密集型的，下一代硬件加速器需要提供并行化和算法硬件同态。幸运的是，衍射显示光学器件能够以低延迟进行百万通道并行数据处理，然而，到目前为止，仅显示出数十赫兹的慢单个图像和内核能力，从而显着低于其性能潜力。在这里，我们展示了一个操作并行化的高吞吐量傅里叶光学卷积神经网络加速器。对于第一次同时处理多个内核在傅立叶域启用光学衍射已经实现了与已经常规的现场输入并行。此外，我们还展示了比现有的基于光学衍射的处理器快100倍的系统速度，这一演示可与现代电子解决方案的性能相媲美。因此，该系统能够比现有技术的电子系统快十倍地处理大规模矩阵。
2022-07-07 cs.LG physics.optics
FlowNet: Learning Optical Flow with Convolutional Networks
University of Freiburg（弗莱堡大学）；Technical University of Munich（慕尼黑工业大学）
卷积神经网络（CNN）最近在各种计算机视觉任务中非常成功，特别是在与识别相关的任务中。光流估计并不是CNN成功的任务之一。在本文中，我们构建了适当的CNN，能够解决光流估计问题作为一个监督学习任务。我们提出并比较了两种架构：一个通用的架构和另一个包括一个层，在不同的图像位置的相关特征向量。由于现有的地面实况数据集不足以训练CNN，我们生成一个合成的飞椅数据集。我们发现，在这种不切实际的数据上训练的网络仍然可以很好地推广到现有的数据集，如Sintel和KITTI，在5到10 fps的帧速率下实现了有竞争力的准确性。
2015-05-04 cs.CV cs.LG
Parallel Transport Convolution: A New Tool for Convolutional Neural Networks on Manifolds
Rensselaer Polytechnic Institute（伦斯拉尔理工学院）
本文提出平行运输卷积（PTC），一种在流形及其离散对应物上扩展卷积操作的新方法，能够保持卷积的紧凑支持、方向性和跨流形的可转移性，从而在曲面域上构建小波样操作和深度卷积神经网络。
2018-12-08 cs.CV cs.LG cs.NA
Murmur Detection Using Parallel Recurrent & Convolutional Neural Networks
TCS Research（塔塔咨询服务研究院）
在这篇文章中，我们提出了一种新的技术，在心音杂音的分类。我们引入了一种新的深度神经网络架构，使用基于双向长短期记忆（BiLSTM）和卷积神经网络（CNN）的递归神经网络（RNN）的并行组合来学习PCG波形中的Murmur的视觉和时间相关特性。一组声学特征被呈现给我们提出的深度神经网络，以区分Normal和Murmur类。使用5倍交叉验证在大数据集上对所提出的方法进行了评估，灵敏度和特异性分别为96 +-0.6%，100 +-0%，F1评分为98 +-0.3%。
2018-08-13 cs.LG cs.SD eess.AS
An Oracle for Guiding Large-Scale Model/Hybrid Parallel Training of Convolutional Neural Networks
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；RIKEN-CCS（理化学研究所计算科学研究中心）
深度神经网络（DNN）框架使用分布式训练来实现更快的收敛时间，并在训练大型模型和/或使用高维输入时减轻内存容量限制。随着数据集和模型规模的稳步增长，模型/混合并行性被认为在DNN的分布式训练的未来中具有重要作用。我们分析了卷积神经网络（CNN）的计算，通信和内存要求，以了解性能和可扩展性的不同并行方法之间的权衡。我们利用我们的模型驱动的分析的基础上，甲骨文实用程序，可以帮助检测的限制和瓶颈，不同的并行方法的规模。我们评估了六种并行化策略的oracle，四个CNN模型和多个数据集（2D和3D），最多1024个GPU。结果表明，预言机具有约86.74%的平均准确率相比，经验的结果，高达97.57%的数据并行。
2021-04-19 cs.DC cs.LG
Implementation of Training Convolutional Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）
深度学习是机器学习的一个闪亮分支，它基于对表示的学习水平。卷积神经网络（CNN）是一种深度神经网络。可以同时学习。本文详细分析了CNN算法的前向过程和反向传播过程。然后应用特殊的卷积神经网络，用java实现了典型的人脸识别问题。然后，在第四节中提出了一种并行策略。另外，通过测量前后向计算的实际时间，从理论上分析了最大加速比和并行效率。
2015-06-04 cs.CV cs.LG cs.NE
Multi Layered-Parallel Graph Convolutional Network (ML-PGCN) for Disease Prediction
Technische Universität München（慕尼黑工业大学）；Klinikum der Universität München（慕尼黑大学附属医院）；Johns Hopkins University（约翰斯·霍普金斯大学）
来自电子健康记录的结构数据作为疾病预测的成像数据的补充信息。我们将新的加权层纳入图卷积网络，通过探索其与潜在疾病的关系来加权结构数据的每个元素。我们证明了我们开发的技术在计算速度方面的优越性，并获得了令人鼓舞的结果，当应用于两个公开可用的数据集ABIDE和胸部X射线时，我们的方法在相对性能方面优于最先进的方法，预测精度分别为5.31%和8.15%，ROC曲线下面积分别为4.96%和10.36%。分别此外，该模型重量轻，速度快，易于训练。
2018-04-28 cs.LG stat.ML
A Bi-layered Parallel Training Architecture for Large-scale Convolutional Neural Networks
Hunan University（湖南大学）；National Supercomputing Center in Changsha（长沙国家超级计算中心）；COMSATS University Islamabad（伊斯兰堡COMSATS大学）；Qatar University（卡塔尔大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）
卷积神经网络（Convolutional Neural Networks，CNN）因其具有训练数据规模大、训练网络复杂等优点，在各个领域得到了广泛的应用。然而，CNN的训练过程非常耗时，需要大量的训练样本和迭代操作来获得高质量的权重参数。针对大规模CNN训练耗时的问题，提出了一种分布式计算环境下的双层并行训练（BPT-CNN）架构。BPT-CNN由两个主要部分组成：（a）在单独的数据子集上对多个CNN子网络进行外层并行训练，以及（b）对每个子网络进行内层并行训练。在外层并行性中，我们解决了分布式和并行计算的关键问题，包括数据通信，同步和工作负载平衡。提出了一种异构感知的增量式数据划分与分配策略（IDPA），将大规模训练数据集按照计算能力分批划分并分配给计算节点。为了减少全局权值更新过程中的同步等待时间，提出了一种异步全局权值更新策略。在内层并行性方面，我们进一步加速了每台计算机上每个CNN子网络的训练过程，其中卷积层的计算步骤和局部权重训练基于任务并行性并行化。我们引入了任务分解和调度策略，目标是线程级的负载均衡和最小等待时间的关键路线。大量的实验结果表明，所提出的BPT-CNN有效地提高了CNN的训练性能，同时保持准确性。
2018-10-17 cs.LG stat.ML
Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition
University of Cologne（科隆大学）；Center for Data and Simulation Science, University of Cologne（科隆大学数据与模拟科学中心）
本文提出一种基于区域分解的模型并行CNN架构，将输入数据分解为子图像并行训练局部CNN，再通过DNN聚合局部分类，并对比了多种聚合方案及迁移学习策略的性能。
2024-08-26 cs.CV cs.LG cs.NA
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin（都柏林大学圣三一学院）；The School of Computer Science and Statistics（计算机科学与统计学院）；Institute of Technology Carlow（卡洛理工学院）
卷积神经网络（CNN）通常使用16位或32位浮点（FP）进行训练，研究人员表明，低精度浮点（FP）可以非常有效地进行推理。低精度FP可以在现场可编程门阵列（FPGA）和专用集成电路（ASIC）加速器中实现，但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符（HOBFLOPS），生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程，使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作，和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽（32-512个元素）的矢量化卷积神经网络（CNN）卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符（HOBFLOPS）乘法累加（MAC）性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP，例如，HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外，HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
Minimal Filtering Algorithms for Convolutional Neural Networks
West Pomeranian University of Technology Szczecin（西波美拉尼亚工业大学什切青分校）
在本文中，我们提出了几个资源高效的算法解决方案，关于在卷积神经网络的卷积层中执行的基本滤波操作的完全并行硬件实现。实际上，这些基本操作计算由滑动时间窗从当前数据流形成的相邻向量与M抽头有限脉冲响应滤波器的脉冲响应的两个内积。我们使用Winograd最小滤波技巧，并将其应用于开发完全并行的面向硬件的算法，用于实现M= 3，5，7，9和11的基本滤波操作。在每种情况下，所提出的算法的完全并行硬件实现给出了大约30%的节省嵌入式乘法器的数量相比，一个完全并行的硬件实现的天真的计算方法。
2020-04-12 cs.LG eess.SP stat.ML
Geometric Evolution Graph Convolutional Networks: Enhancing Graph Representation Learning via Ricci Flow
School of Mathematics, Renmin University of China（中国人民大学数学学院）
本文提出GEGCN框架，通过建模图上的几何演化提升图表示学习，利用LSTM处理离散里奇流生成的结构序列，并将学习的动态表示注入图卷积网络，实验显示其在多种基准数据集上的分类性能优异，尤其在异质图上表现突出。
2026-03-27 cs.LG
MaCow: Masked Convolutional Generative Flow
Carnegie Mellon University（卡内基梅隆大学）
基于流的生成模型，由于精确的对数似然计算和潜变量推理的易处理性以及训练和采样的效率，在概念上很有吸引力，已经取得了许多令人印象深刻的经验成功，并产生了许多先进的变体和理论研究。尽管具有计算效率，但基于流的生成模型的密度估计性能显着落后于最先进的自回归模型。在这项工作中，我们介绍了掩码卷积生成流（MaCow），这是一种使用掩码卷积的简单而有效的生成流架构。通过限制小内核中的局部连通性，MaCow具有快速稳定的训练和高效采样的特性，同时在标准图像基准的密度估计方面实现了Glow的显着改进，大大缩小了与自回归模型的差距。
2019-10-27 cs.AI cs.CV cs.LG
MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks
Vienna University of Technology (TU Wien)（维也纳工业大学（TU Wien））；Information Technology University (ITU)（信息技术大学（ITU））
用于卷积神经网络（CNN）的最先进的加速器通常只专注于加速卷积层，但不会优先考虑完全连接的层。因此，它们缺乏硬件架构的协同优化和用于完整CNN设计的不同流程，这可以提供更高的性能/能量效率潜力。为此，我们提出了一种新型的大规模并行神经阵列（MPNA）加速器，它集成了两个异构的脉动阵列和各自的高度优化的卷积模式，以共同加速卷积（CONV）和全连接（FC）层。除了充分利用可用的片外内存带宽之外，这些优化的FIFO还实现了所有数据类型（即，重量，输入和输出激活），从而使我们的MPNA实现高节能。我们使用28 nm技术的ASIC设计流程合成了我们的MPNA架构，并使用多个真实世界的复杂CNN进行了功能和时序验证。MPNA在280 MHz时达到149.7GOPS/W，功耗为239 mW。实验结果表明，我们的MPNA架构提供了1.7倍的整体性能提高相比，国家的最先进的加速器，和51%的节能相比，基线架构。
2018-10-30 cs.AR cs.DC cs.LG
PFCNN: Convolutional Neural Networks on 3D Surfaces Using Parallel Frames
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
表面网格是广泛使用的形状表示，并捕获比点云或体积网格更精细的几何数据，但由于其非欧几里得结构，直接应用CNN具有挑战性。我们使用表面上的平行框架来定义PFCNN，通过忠实地模仿标准卷积来实现表面网格上的有效特征学习。特别是，PFCNN的卷积不仅将局部曲面片映射到平坦的切平面上，而且还对齐切平面，使得它们局部形成平坦的欧几里得结构，从而能够恢复标准卷积。对齐是通过借用离散微分几何的局部平坦连接工具来实现的，它可以通过并行帧场进行有效的编码和计算。此外，对曲面缺乏典型轴的情况，采用框架方向采样的方法进行处理。实验表明，对于可变形几何域上的分类、分割和配准，以及刚性域上的语义场景分割等任务，PFCNN在不使用复杂输入特征的情况下，比最先进的基于表面的CNN实现了鲁棒性和优越的性能。
2020-06-12 cs.CG cs.CV cs.GR
Multi-Task Learning based Convolutional Models with Curriculum Learning for the Anisotropic Reynolds Stress Tensor in Turbulent Duct Flow
Harvard University（哈佛大学）；Imperial College London（帝国理工学院）；Dassault Systemes, Simulia Corp.（达索系统Simulia公司）
雷诺平均Navier-Stokes（RANS）方程需要精确的各向异性雷诺应力张量模型。传统的截流模型虽然复杂，但往往只适用于限流结构。研究人员已经开始使用机器学习方法来解决这个问题，方法是开发更通用的基于数据的闭包模型。在这项工作中，我们建立在最近用于湍流建模的卷积神经网络架构的基础上，并提出了一种基于多任务学习的完全卷积神经网络，该网络能够准确预测湍流管道流的归一化各向异性雷诺应力张量。此外，我们还探讨了课程学习在数据驱动湍流建模中的应用。
2022-01-31 cs.LG physics.flu-dyn
Predicting Citywide Crowd Flows in Irregular Regions Using Multi-View Graph Convolutional Networks
JD Intelligent Cities Research（京东智能城市研究院）；JD Intelligent Cities Business Unit, JD Digits（京东数字科技智能城市业务部）；Institute of Artificial Intelligence, Southwest Jiaotong University（西南交通大学人工智能研究院）；Xidian University（西安电子科技大学）；National University of Singapore（新加坡国立大学）
能够预测城市各个部分，特别是不规则区域的人群流量，对于交通控制、风险评估和公共安全具有重要的战略意义。然而，由于不同区域之间的相互作用和空间相关性，这是非常具有挑战性的。此外，它还受到许多因素的影响：i）不同时间间隔之间的多重时间相关性：接近度，周期，趋势; ii）复杂的外部影响因素：天气，事件; iii）元特征：一天中的时间、一周中的日期等等。在本文中，我们将不规则区域中的人群流量预测公式化为时空图（STG）预测问题，其中每个节点表示具有时间的区域，不同的流量。通过扩展图卷积来处理空间信息，我们提出了使用空间图卷积来构建多视图图卷积网络（MVGCN）的人群流量预测问题，其中不同的视图可以捕获不同的因素，如上所述。我们评估MVGCN使用四个真实世界的数据集（出租车和自行车）和广泛的实验结果表明，我们的方法优于国家的最先进的方法的适应。我们还开发了一个适用于不规则区域的人群流量预测系统，现在可以在内部使用。
2020-07-17 cs.CV cs.LG
The Riemannian Geometry Associated to Gradient Flows of Linear Convolutional Networks
UM6P College of Computing（穆罕默德六世理工大学计算机学院）；KTH Royal Inst. of Technology & Digital Futures（皇家理工学院 & Digital Futures）；LMU Dept. of Math & MCML（慕尼黑大学数学系 & MCML）
研究线性卷积网络学习的梯度流的几何性质，证明无论初始化如何，参数空间的梯度流均可表示为函数空间上的黎曼梯度流，适用于多维卷积。
2026-04-05 cs.LG math.AG
Interpretable Parallel Recurrent Neural Networks with Convolutional Attentions for Multi-Modality Activity Modeling
School of Computer Science and Engineering, UNSW Sydney, Australia（澳大利亚新南威尔士大学计算机科学与工程学院）；School of Information Technology, RMIT University, Australia（澳大利亚皇家墨尔本理工大学信息技术学院）；School of Computer Science, Northwestern Polytechnical University, China（中国西北工业大学计算机学院）；School of Software, Tsinghua University China（中国清华大学软件学院）
多模态特征在基于传感器的可穿戴人体活动识别（HAR）中起着关键作用。自适应地选择最显著的特征是最大化多模态传感器数据的有效性的一种有前途的方法。在这方面，我们提出了一个“收集充分和明智地选择”的原则，以及一个可解释的并行递归模型与卷积注意力，以提高识别性能。我们首先收集模态特征和每对特征之间的关系来生成活动框架，然后引入注意力机制来精确地从活动框架中选择最显著的区域。所选择的帧不仅最大限度地利用有效的功能，但也减少了要有效地计算的功能的数量。我们进一步分析了所提出的模型的准确性和可解释性的基础上广泛的实验。结果表明，我们的模型在两个基准数据集上实现了具有竞争力的性能，并且在现实生活中效果良好。
2018-05-17 cs.AI cs.HC cs.LG
FasterSTS: A Faster Spatio-Temporal Synchronous Graph Convolutional Networks for Traffic flow Forecasting
Wuhan University of Technology（武汉理工大学）；Zhejiang Sci-Tech University（浙江理工大学）
针对现有交通流预测方法时空建模分离且复杂度高的问题，提出更快速有效的时空同步图卷积网络FasterSTS，以提升预测性能并控制模型复杂度。
2025-01-01 cs.LG
Convolutional L2LFlows: Generating Accurate Showers in Highly Granular Calorimeters Using Convolutional Normalizing Flows
Center for Data and Computing in Natural Sciences CDCS, Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所自然科学数据与计算中心）；Rutgers University（罗格斯大学）
本文提出卷积L2LFlows，通过引入卷积层、U-Net连接和耦合层扩展原有L2LFlows框架，成功在ILD电磁量能器和CaloChallenge Dataset 3上模拟横向剖面大9倍的高维簇射。
2024-09-04 cs.LG hep-ex hep-ph
Enhanced Traffic Flow Prediction with Multi-Segment Fusion Tensor Graph Convolutional Networks
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Southwest University（西南大学）
本文提出多段融合张量图卷积网络MS-FTGCN，通过张量M-product统一时空建模，并结合小时、日、周组件与注意力融合，在两个数据集上实现了优于现有模型的交通流预测性能。
2024-08-08 cs.IR cs.LG
VW-SDK: Efficient Convolutional Weight Mapping Using Variable Windows for Processing-In-Memory Architectures
Sungkyunkwan University（成均馆大学）
由于其高能效，内存处理（PIM）阵列越来越多地用于卷积神经网络（CNN）推理。在基于PIM的CNN推理中，计算延迟和能量取决于CNN权重如何映射到PIM阵列。最近的一项研究提出了移位和重复内核（SDK）映射，该映射以并行窗口为单位重用输入特征映射，该窗口与重复内核卷积以并行获得多个输出元素。然而，现有的基于SDK的映射算法并不总是导致最小的计算周期，因为它只映射一个方形的并行窗口与整个通道。在本文中，我们介绍了一种新的映射算法，称为可变窗口SDK（VW-SDK），它自适应地确定并行窗口的形状，导致最小的计算周期为一个给定的卷积层和PIM阵列。通过允许带有部分通道的矩形窗口，VW-SDK可以更有效地利用PIM阵列，从而进一步减少计算周期的数量。使用512 x512 PIM阵列和Resnet-18进行的仿真表明，与现有的基于SDK的算法相比，VW-SDK将推理速度提高了1.69倍。
2021-12-21 cs.LG cs.NE
Newton methods based convolution neural networks using parallel processing
Panjab University（旁遮普大学）
针对卷积神经网络训练中二阶Newton方法计算Hessian矩阵复杂且耗时的问题，本文使用完整数据并在小批量计算中采用并行处理，显著缩短了训练时间。
2023-04-05 cs.AI cs.LG
Convergence of gradient flow for learning convolutional neural networks
aiXbrain GmbH（aiXbrain公司）；Department of Mathematics, Ludwig-Maximilians-Universität（数学系，路德维希-马克西米利安大学）；Munich Center for Machine Learning, Ludwig-Maximilians-Universität München（慕尼黑机器学习中心，路德维希-马克西米利安大学）
本文研究了线性卷积网络中梯度流的收敛性，证明在特定损失函数下，梯度流总能收敛到临界点。
2026-01-13 cs.LG math.OC
5 Parallel Prism: A topology for pipelined implementations of convolutional neural networks using computational memory
IBM Research – Zurich（IBM研究院（苏黎世））；ETH Zurich（苏黎世联邦理工学院）
存内计算是一种新兴的计算范式，它可以以显著更高的能量效率和更低的延迟实现深度学习推理。基本思想是将对应于每层的突触权重映射到一个或多个计算存储器（CM）核。在推断期间，这些核以O（1）时间复杂度就地执行相关联的矩阵-向量乘法运算，从而避免了将突触权重移动到附加处理单元的需要。此外，这种架构可以使这些网络的执行在一个高度流水线的方式。然而，一个关键的挑战是设计一个有效的通信结构的CM核心。在这里，我们提出了一个这样的通信结构的基础上的图形拓扑结构，非常适合于广泛成功的卷积神经网络（CNN）。我们表明，这种通信结构有利于所有国家的最先进的CNN的流水线执行证明这些网络的一个图形表示和建议的图形拓扑之间的同态的存在。然后，我们提出了一个定量的比较与已建立的通信拓扑结构，并表明我们提出的拓扑结构实现了最低的带宽要求，每个通信信道。最后，我们给出了一个将ResNet-32映射到CM核心阵列上的具体示例。
2019-06-08 cs.LG
Multi-Graph Convolutional-Recurrent Neural Network (MGC-RNN) for Short-Term Forecasting of Transit Passenger Flow
Delft University of Technology（代尔夫特理工大学）；City University of Hong Kong（香港城市大学）；Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
短期客流预测对于公交管理和人群调节至关重要。空间相关性、时间相关性、其他潜在因素驱动下的站间相关性以及外生因素对城市轨道交通网络客流短期预测带来了挑战。提出了一种新的深度学习方法--多图卷积-递归神经网络（MGC-RNN）来预测城市轨道交通系统中的客流，以综合考虑这些复杂因素。我们建议使用多个图来编码的空间和其他异质站间的相关性。站间相关性的时间动态也通过建议的多图卷积递归神经网络结构建模。所有站点的流入和流出可以通过序列到序列（seq 2seq）架构提前多个时间步长进行集体预测。将该方法应用于深圳地铁客流的短期预测。实验结果表明，MGC-RNN在预测精度方面优于基准算法。此外，研究发现，由网络距离、网络结构和最近的客流模式驱动的站间是客流预测的重要因素。此外，LSTM-编解码器的架构可以很好地捕捉时间依赖性。总体而言，该框架可以提供多视角的客流动态精细预测，并为时空预测任务中的多源异构数据融合提供了可能性。
2022-05-20 cs.LG
Recurrent convolutional neural network for the surrogate modeling of subsurface flow simulation
Stanford University（斯坦福大学）
多孔介质中流体流动不确定性的量化常常受到多尺度非均匀性和场地表征不足的阻碍。蒙特卡罗模拟（MCS）对大量输入参数的实现进行数值模拟，当模拟成本昂贵或不确定性程度较大时变得不可行。许多基于深度神经网络的方法被开发出来以取代数值流模拟，但以前的研究仅集中于在固定的时间步长生成输出的多个快照，并且缺乏反映模拟数据的时间依赖性。最近，卷积长短期记忆（ConvLSTM）被用来处理时间序列图像数据。在这里，我们建议将SegNet与ConvLSTM层相结合，用于数值流模拟的代理建模。结果表明，当仿真输出为时间序列数据时，该方法显著提高了基于SegNet的代理模型的性能.
2020-10-08 cs.LG physics.flu-dyn
Convolutional Normalizing Flows for Deep Gaussian Processes
Tencent（腾讯）；National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
深度高斯过程（DGP）是GP模型的分层组合，它成功地提高了单层模型的表达能力。然而，它是不可能执行精确的推理DGP，这激发了最近的发展变分推理为基础的方法。不幸的是，这些方法要么产生有偏见的后验信念，要么很难评估其收敛性。本文介绍了一种新的方法来指定灵活的，任意复杂的，可扩展的近似后验分布。后验分布是通过一个归一化流（NF），通过一系列可逆变换将一个简单的初始概率转换为一个更复杂的概率。此外，开发了一种新的卷积归一化流（CNF），以提高时间效率和捕获层之间的依赖性。实证评估表明，CNF DGP优于最先进的DGP近似方法。
2021-05-26 cs.LG
Convolutional Normalizing Flows
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯后验推理广泛应用于各种机器学习问题中。变分推理提供了一种近似后验分布的方法，但它的表达能力是有限的，因此是所得近似的准确性。近年来，由于神经网络结构的灵活性，出现了使用神经网络来逼近变分后验分布的趋势。构造灵活的变分分布的一种方法是通过归一化流将简单的密度弯曲成复杂的密度，其中所得到的密度可以解析地评估。然而，在规范化流的灵活性和高效转换的计算成本之间存在权衡。在本文中，我们提出了一个简单而有效的架构规范化流，ConvFlow，基于卷积的随机输入向量的维度。对合成和真实世界后验推理问题的实验表明了该方法的有效性和效率。
2018-07-09 cs.LG
Community-based Layerwise Distributed Training of Graph Convolutional Networks
The State Key Laboratory of Integrated Service Networks, Xidian University（西安电子科技大学综合业务网理论及关键技术国家重点实验室）；Department of Computer Science and Informatics, Emory University（埃默里大学计算机科学与信息学系）；Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）
图卷积网络（GCN）已成功地应用于许多基于图的应用。然而，训练大规模的GCN模型仍然具有挑战性：由于GCN架构的节点依赖性和层依赖性，在训练过程中需要大量的计算时间和内存。在本文中，我们提出了一个并行和分布式的GCN训练算法的基础上交替方向乘法（ADMM）同时解决这两个挑战。我们首先将GCN层拆分为独立的块以实现层并行。此外，我们通过将图划分为几个密集的社区来减少节点依赖性，这样每个社区都可以用代理并行训练。最后，我们提供了解决方案的所有子问题，基于社区的ADMM算法。初步结果表明，我们提出的基于社区的ADMM训练算法可以导致三倍以上的加速比，同时实现最佳性能与国家的最先进的方法相比。
2021-12-17 cs.LG
DRMap: A Generic DRAM Data Mapping Policy for Energy-Efficient Processing of Convolutional Neural Networks
Technische Universität Wien（维也纳工业大学）
许多卷积神经网络（CNN）加速器面临着性能和能效挑战，这对于嵌入式实现至关重要，因为DRAM访问延迟和能耗很高。最近，一些DRAM架构已经被提出来利用子阵列级并行来减少访问延迟。为此，我们提出了一种设计空间探索方法来研究不同的DRAM架构上的不同映射策略的延迟和能量，并确定帕累托最优的设计选择。结果表明，能量有效的DRAM访问可以通过映射策略，有序的优先级，以最大限度地提高行缓冲器的命中，银行和子阵列级的并行性。
2020-04-21 cs.AR cs.LG
Data-Driven Traffic Assignment: A Novel Approach for Learning Traffic Flow Patterns Using a Graph Convolutional Neural Network
University of Central Florida（中佛罗里达大学）
我们提出了一种新的数据驱动的方法来学习交通网络的交通流模式，给出了许多实例的起点到目的地（OD）的出行需求和链接流的网络。代替假设某些用户行为（例如，用户平衡或系统最优），在这里我们探索直接从数据中学习这些流模式的想法。为了实现这一思想，我们将交通分配问题转化为一个数据驱动的学习问题，并提出了一个基于神经网络的框架--图卷积神经网络（GCNN）来解决这个问题，该框架有效地描述了交通网络和OD需求，并利用了多个OD需求从节点到路段的扩散过程。我们验证了该模型的解决方案对分析的解决方案，从运行静态用户平衡为基础的交通分配在苏福尔斯和东马萨诸塞州的网络。验证结果表明，所实现的GCNN模型可以很好地学习流模式，在不同的拥塞条件下，两个网络的实际和估计链路流量之间的平均绝对差小于2%。当模型训练完成后，它可以立即确定大规模网络的流量。因此，这种方法可以克服在大规模网络上部署交通分配模型的挑战，并在数据驱动的网络建模中开辟新的研究方向。
2022-02-21 cs.LG
Splitting and Parallelizing of Quantum Convolutional Neural Networks for Learning Translationally Symmetric Data
Fujitsu Limited（富士通株式会社）；Fujitsu Research（富士通研究所）
本文提出分割并行化量子卷积神经网络（sp-QCNN），利用平移对称性分割电路，在不增加量子比特数的情况下提高测量效率并加速学习，在量子相位识别任务中达到与传统 QCNN 相当的准确率。
2024-02-28 cs.LG quant-ph
Bike Flow Prediction with Multi-Graph Convolutional Networks
Hong Kong University of Science and Technology（香港科技大学）
管理自行车共享系统的一个基本问题是自行车流量预测。由于单站流量预测的困难，目前的研究工作往往预测的自行车流量在集群水平。虽然这些研究获得了令人满意的预测精度，但它们不能直接指导车站级的一些细粒度共享单车系统管理问题。在本文中，我们重新审视了车站级自行车流量预测的问题，旨在利用深度学习技术的突破来提高预测精度。我们提出了一种新的多图卷积神经网络模型来预测车站级的自行车流量，其中关键的新颖性是从图的角度来看自行车共享系统。更具体地说，我们构建了多个站点间的自行车共享系统图。在每个图中，节点是站点，边是站点之间的某种关系。然后，构建多个图来反映异构关系（例如，距离、行驶记录相关性）。然后，我们融合多个图，然后在融合的图上应用卷积层来预测车站级别的未来自行车流量。除了估计的自行车流量值外，我们的模型还给出了预测置信区间，以帮助自行车共享系统管理者做出决策。使用纽约市和芝加哥的自行车共享数据进行实验，我们的模型可以通过在纽约市和芝加哥分别减少25.1%和17.0%的预测误差来超越最先进的车站级预测模型。
2018-07-28 cs.AI cs.LG stat.ML
Attention-based Dynamic Graph Convolutional Recurrent Neural Network for Traffic Flow Prediction in Highway Transportation
North China University of Technology（北方工业大学）
本文提出ADGCRNN模型，通过自注意力整合多时间分辨率特征并动态创建多动态图，引入专用门控核减少过拟合，有效提升了高速公路交通流预测精度。
2023-09-13 cs.AI cs.GR cs.LG
Hot-Starting the Ac Power Flow with Convolutional Neural Networks
获得良好的初始条件来求解基于Newton-Raphson（NR）的交流潮流（ACPF）问题是一项非常困难的任务。在本文中，我们提出了一个框架，以获得初始总线电压幅度和相位值，减少解决方案的迭代和时间为NR的ACPF模型，使用直流潮流（DCPF）的结果和一维卷积神经网络（1D CNN）。我们通过从负载需求分布中采样，并通过计算每个样本的DCPF和ACPF结果，生成用于训练1D CNN的数据集。在IEEE 118节点和\textsc{Pegase} 2869节点系统上的实验表明，该算法分别减少了33.56%和30.06%的求解时间，减少了66.47%和49.52%的求解迭代次数。我们包括1D CNN架构和使用的超参数，这可以通过对这个主题的未来研究来扩展。
2020-04-20 cs.LG cs.SY eess.SP
Parallel Multi-Circuit Quantum Feature Fusion in Hybrid Quantum-Classical Convolutional Neural Networks for Breast Tumor Classification
Robert College of Istanbul（伊斯坦布尔罗伯特学院）
本文提出一种混合量子-经典卷积神经网络架构，利用量子电路与经典特征融合提升乳腺肿瘤二分类性能，通过统计检验验证量子方法在医学图像分类中的有效性。
2026-05-10 cs.AI cs.LG eess.IV
ZNN - A Fast and Scalable Algorithm for Training 3D Convolutional Networks on Multi-Core and Many-Core Shared Memory Machines
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
卷积网络（ConvNets）已经成为计算机视觉的一种流行方法。加速ConvNet训练是很重要的，这是计算成本很高的。我们提出了一种新的并行算法的基础上分解成一组任务，其中大部分是卷积或FFT。应用布伦特定理的任务依赖图意味着线性加速与处理器的数量是可实现的PRAM模型的并行计算，广泛的网络架构。为了在真正的共享内存机器上实现这样的性能，我们的算法计算收敛在网络的同一节点上的卷积，具有时间局部性，以减少缓存未命中，并通过几乎无等待的并发方法对收敛卷积输出进行求和，以减少在关键部分花费的时间。我们实现了一个公开的软件包称为ZNN的算法。多核CPU的基准测试表明，ZNN可以达到大约等于物理核数量的加速比。我们还表明，ZNN可以在多核CPU（Xeon Phi Knights Corner）上获得超过90倍的加速比。这些加速比是针对具有常用宽度的网络架构实现的。ZNN算法的任务并行性适合于CPU，而以前算法的SIMD并行性与GPU兼容。通过示例，我们表明ZNN可以比某些GPU实现更快或更慢，这取决于网络架构，内核大小以及输出补丁的密度和大小。由于通用CPU编程相对容易，ZNN的开发和维护成本可能更低。
2015-10-22 cs.CV cs.DC cs.LG
Identification of hydrodynamic instability by convolutional neural networks
Zhou Pei-Yuan Center for Applied Mathematics, Tsinghua University（清华大学周培源应用数学中心）；College of Mathematics and Data Science, Minjiang University（闽江学院数学与数据科学学院）
流体动力学不稳定性的发生在工业和日常生活中都是非常重要的，因为不同类型的流体运动会引起剧烈的力学和热力学变化。在本文中，现代机器学习技术，特别是卷积神经网络（CNN），应用于识别由流体动力学不稳定性引起的不同流动运动之间的过渡，以及用于表征这种过渡的关键无量纲参数。CNN不仅能正确预测各种条件下的Taylor-Couette（TC）流和Rayleigh- Bénard（RB）对流的临界转捩值，而且在鲁棒性和噪声容限方面表现出优异的性能。此外，用于分类不同的流模式的关键空间特征，揭示了主成分分析。
2020-06-02 cs.LG physics.comp-ph
Convolutional Neural Networks over Control Flow Graphs for Software Defect Prediction
Japan Advanced Institute of Information Technology（日本信息学研究所）；Le Quy Don Technical University（黎魁东技术大学）
软件构件中存在的缺陷是不可避免的，不仅浪费时间和金钱，而且会导致许多严重的后果。为了建立预测模型，以前的研究集中在手动提取特征或使用程序的树表示，并利用不同的机器学习算法。然而，由于现有的特征和树结构往往无法捕捉程序的语义，模型的性能并不高。为了深入研究程序的语义，本文提出利用精确的图表示程序执行流程，并利用深度神经网络自动学习缺陷特征。首先，控制流图的编译源代码获得的汇编指令构造，然后我们应用多视图多层有向图为基础的卷积神经网络（DGCNN）学习语义特征。在四个真实世界数据集上的实验表明，我们的方法显着优于基线，包括其他几种深度学习方法。
2018-02-14 cs.LG cs.NE cs.SE
ESGCN: Edge Squeeze Attention Graph Convolutional Network for Traffic Flow Forecasting
Yonsei University（延世大学）
针对交通流的动态时空依赖问题，提出ESGCN，通过多尺度节点卷积、边缘注意力GCN、自适应邻接矩阵和节点对比损失提升预测性能。
2023-07-12 cs.AI cs.LG
Multi-graph Spatio-temporal Graph Convolutional Network for Traffic Flow Prediction
North China University of Technology（北方工业大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
本文针对公路日交通流预测中的数据不平衡和时空因素复杂问题，提出一种多图时空图卷积网络方法，结合数据归一化、多语义图卷积及气象日历特征，在省级高速公路上验证了其优于基线方法的预测精度和业务价值。
2023-08-10 cs.AI cs.LG
BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Partition-Parallelism and Random Boundary Node Sampling
Rice University（莱斯大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
图卷积网络（GCN）已经成为基于图的学习任务的最先进的方法。然而，大规模训练GCN仍然具有挑战性，阻碍了更复杂的GCN架构的探索及其在现实世界大型图中的应用。虽然考虑图分区和分布式训练来应对这一挑战可能是很自然的，但由于现有设计的限制，这个方向在以前的工作中只是稍微触及了表面。在这项工作中，我们首先分析了为什么分布式GCN训练是无效的，并确定其根本原因是每个分区子图的边界节点数量过多，这很容易爆炸的内存和通信成本的GCN训练。此外，我们提出了一个简单而有效的方法称为BNS-GCN，采用随机边界节点采样，使高效和可扩展的分布式GCN训练。实验和消融研究一致地验证了BNS-GCN的有效性，例如，将吞吐量提高多达16.2倍，并将内存使用量减少多达58%，同时保持完整图形的准确性。此外，理论和实证分析表明，BNS-GCN享有更好的收敛性比现有的采样为基础的方法。我们相信，我们的BNS-GCN为大规模GCN培训开辟了一个新的范例。该代码可在https://github.com/RICE-EIC/BNS-GCN上获得。
2022-03-26 cs.AI cs.LG
Convolutional autoencoders for the reconstruction of three-dimensional interfacial multiphase flows
Department of Mechanical Engineering, Stanford University（斯坦福大学机械工程系）；Department of Engineering Mechanics, KTH Royal Institute of Technology（皇家理工学院工程力学系）
本文研究了卷积自编码器在三维界面多相流重建中的应用，发现适度扩散的界面表示在精度与结构保留间取得最佳平衡。
2025-12-26 cs.CE cs.LG physics.flu-dyn
TSSRGCN: Temporal Spectral Spatial Retrieval Graph Convolutional Network for Traffic Flow Forecasting
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
交通流预测对于提高交通系统的效率和预防突发事件的发生具有重要意义。由于短、长时段交通流的高度非线性和复杂的演化模式，现有方法往往不能充分利用时空信息，特别是不同时段变化的时间模式和路段的特点。此外，没有同时考虑代表交通状态指标绝对值的全局性和代表相对值的局部性。本文提出了一个神经网络模型，侧重于交通网络的全局性和局部性以及交通数据的时间模式。基于循环的膨胀可变形卷积块被设计为准确地捕获每个节点上的不同时变趋势。我们的模型可以提取全局和局部的空间信息，因为我们结合了两个图卷积网络的方法来学习节点和边缘的表示。在两个真实数据集上的实验表明，该模型能够很好地反映交通数据的时空相关性，其性能优于现有的相关方法。进一步的分析表明，交通网络的局部性和全局性是交通流预测的关键，所提出的TSSRGCN模型可以适应不同的时间交通模式。
2020-11-30 cs.LG
Reconfigurable co-processor architecture with limited numerical precision to accelerate deep convolutional neural networks
University of Moratuwa（莫拉图瓦大学）
卷积神经网络（CNN）广泛用于深度学习应用，例如视觉系统、机器人等。然而，现有的软件解决方案效率不高。因此，已经提出了许多硬件加速器来优化实现的性能、功率和资源利用。在现有的解决方案中，基于现场可编程门阵列（FPGA）的架构提供了更好的成本-能量-性能权衡以及可扩展性和最小化开发时间。在本文中，我们提出了一种模型无关的可重构协处理架构来加速CNN。我们的体系结构由并行乘法和累加（MAC）单元与高速缓存技术和互连网络，以利用最大的数据并行。与现有的解决方案相比，我们引入有限精度的32位Q格式定点量化的算术表示和操作。因此，我们的架构实现了显著降低资源利用率与竞争力的准确性。此外，我们开发了一个汇编类型的微指令来访问协处理结构，以管理逐层并行，从而使有限的资源重用。最后，我们在Xilinx Virtex 7 FPGA上测试了高达9 x9内核大小的架构，在3x 3内核大小下实现了高达226.2 GOp/S的吞吐量。
2021-08-21 cs.AI cs.AR cs.DC
Graph Convolutional Networks for Simulating Multi-phase Flow and Transport in Porous Media
Chevron Technical Center（雪佛龙技术中心）；The University of Arizona（亚利桑那大学）
针对CNN难以处理多孔介质多相流模拟中非结构化网格的问题，提出适配耦合PDE双曲特性的GCN代理模型，可高精度预测压力与饱和度演化，对未见过的不规则域和非结构化网格泛化性好。
2024-04-15 cs.LG physics.comp-ph
DeepCFD: Efficient Steady-State Laminar Flow Approximation with Deep Convolutional Neural Networks
German Aerospace Center (DLR)（德国航空航天中心(DLR)）；German Research Center for AI (DFKI)（德国人工智能研究中心(DFKI)）；NUST School of Electrical Engineering and Computer Science（巴基斯坦国立科技大学）
计算流体动力学（CFD）模拟的数值解的纳维-斯托克斯方程是一个重要的工具，在广泛的应用范围从工程设计到气候建模。然而，计算流体动力学代码所需的计算成本和内存需求可能会变得非常高的实际利益的流动，如在气动外形优化。该费用与流体流动控制方程的复杂性相关联，流体流动控制方程包括难以求解的非线性偏导数项，导致计算时间长并且限制了在迭代设计过程期间可以测试的假设的数量。因此，我们建议DeepCFD：基于卷积神经网络（CNN）的模型，其有效地近似非均匀稳定层流问题的解。所提出的模型是能够学习完整的解决方案的纳维-斯托克斯方程，速度和压力场，直接从地面实况数据产生的使用国家的最先进的CFD代码。使用DeepCFD，我们发现与标准CFD方法相比，速度提高了3个数量级，但错误率很低。
2021-11-26 cs.LG physics.comp-ph physics.flu-dyn
Parallel bootstrap-based on-policy deep reinforcement learning for continuous flow control applications
MINES Paristech（巴黎高等矿业学院）；PSL - Research University（巴黎文理研究大学）
针对并行环境破坏同策略强化学习假设的问题，本文提出带回报自举的部分轨迹缓冲并行模式，并在连续流动控制任务中验证其有效性。
2023-07-13 cs.LG physics.data-an
ParallelFlow: Parallelizing Linear Transformers via Flow Discretization
Imperial College London（伦敦帝国学院）
本文提出基于矩阵值状态空间模型的理论框架Parallel Flows，将线性注意力的时间动态与实现约束解耦，利用粗糙路径理论重新解释分块过程，不仅泛化了DeltaNet的硬件高效算法，还设计了具有更低复杂度的新算法。
2025-04-01 cs.LG math.DS
