Exploiting Convolutional Neural Network for Risk Prediction with Medical Feature Embedding
University of Southern California（南加州大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
电子健康记录（EHR）的广泛可用性有望迎来个性化医疗时代。然而，从纵向EHR数据中提取有用的临床表示的问题仍然具有挑战性。在本文中，我们探索了深度神经网络模型与学习的医疗特征嵌入，以处理高维和时间性的问题。具体来说，我们使用多层卷积神经网络（CNN）来参数化模型，从而能够捕捉复杂的非线性纵向演变的EHR。我们的模型可以有效地捕捉EHR中的局部/短时依赖性，这有利于风险预测。为了解决高维问题，我们在CNN模型中使用了嵌入的医学特征，这些特征保持了自然的医学概念。我们最初的实验产生了有希望的结果，并证明了医疗特征嵌入和所提出的卷积神经网络在充血性心力衰竭和糖尿病患者队列的风险预测中与几个强基线相比的有效性。
2017-01-25 cs.LG stat.ML
Exploiting Transductive Property of Graph Convolutional Neural Networks with Less Labeling Effort
Adana Alparslan Turkes Science and Technology University（阿达纳·阿尔帕斯兰·图尔凯斯科学技术大学）
近年来，基于图数据的机器学习方法已经变得非常流行。据观察，通过在构成模型数据的数据样本之间包括隐式或显式逻辑连接，可以获得显著的结果。在这种情况下，发展中的GCN模型已经做出了显着的实验贡献与卷积滤波器应用于图形数据。该模型采用了“Transductive”和“半监督学习”方法。由于其传导性质，所有部分标记的数据样本都作为模型的输入。标签，这是一个成本，是非常重要的。在本研究的范围内，试图回答以下研究问题：如果至少有多少个样本被标记，最佳模型的成功实现？此外，一些实验的贡献已经取得了模型的准确性，无论是使用固定的标签工作的采样方法。实验表明，局部中心性度量可以提高模型的成功率。
2021-05-01 cs.AI cs.LG
Ultrasound Scatterer Density Classification Using Convolutional Neural Networks by Exploiting Patch Statistics
Concordia University（康考迪亚大学）；Universidad Nacional Autonoma de Mexico（墨西哥国立自治大学）；University of Wisconsin（威斯康星大学）
针对传统超声散射体密度分类方法受图像块尺寸和成像设置限制的问题，提出结合图像块统计特征的CNN架构，经多类数据验证其分类性能更优且无需参考体模。
2020-12-04 cs.CV cs.LG eess.IV
Deep convolutional neural networks for cyclic sensor data
Saarland University（萨尔大学）
针对液压系统周期性传感器数据的状态监测，研究比较传统基线、单CNN和2L-CNN，表明后期融合与双通道架构可有效缓解多传感器特征差异并降低错误率。
2023-08-14 cs.LG eess.SP
CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Technische Universität Wien (TU Wien)（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
在当今智能网络物理系统的时代，深度神经网络（DNN）由于其在复杂的现实世界应用中的最先进性能而变得无处不在。这些网络的高计算复杂性转化为增加的能耗，是在资源受限系统中部署大型DNN的最大障碍。通过训练后量化实现的定点（FP）实现通常用于减少这些网络的能耗。然而，FP中的均匀量化间隔将数据结构的比特宽度限制为大值，这是由于需要以足够的分辨率表示大多数数字并避免高量化误差。在本文中，我们利用了关键的见解，即（在大多数情况下）DNN权重和激活大多集中在零附近，只有少数具有较大的幅度。我们提出了CoNLoCNN，这是一种通过利用以下内容实现节能低精度深度卷积神经网络推理的框架：（1）权重的非均匀量化，从而简化复杂的乘法运算;以及（2）激活值之间的相关性，从而能够以低成本部分补偿量化误差，而无需任何运行时开销。为了从非均匀量化中显著受益，我们还提出了一种新的数据表示格式，编码低精度二进制有符号数字，以压缩权重的位宽，同时确保直接使用编码权重进行处理，使用新的乘法和累加（MAC）单元设计。
2022-07-31 cs.AR cs.LG
Cyclic orthogonal convolutions for long-range integration of features
MediaTek Research（联发科研究）
在卷积神经网络（CNN）中，信息在图像每个像素的一个小邻域中流动，防止在到达网络深层之前进行长距离的特征整合。我们提出了一种新的架构，允许灵活的信息流之间的功能$z$和位置$(x,y)$在整个图像与少量的层。该架构使用三个正交卷积的循环，不仅在$(x,y)$坐标中，而且在$(x,z)$和$(y,z)$坐标中。我们堆叠一系列这样的循环来获得我们的深度网络，名为CycleNet。由于这只需要对标准卷积的轴进行排列，因此其性能可以直接与CNN进行比较。与类似大小的CNN相比，我们的模型在CIFAR-10和ImageNet数据集上的图像分类中获得了有竞争力的结果。我们假设长距离整合有利于通过形状而不是纹理识别对象，并且我们证明CycleNet比CNN更好地传输到风格化图像。在Pathfinder挑战中，远距离特征的整合至关重要，CycleNet的表现远远优于CNN。我们还表明，即使采用小卷积核，CycleNet的感受野大小在一个周期后达到最大值，而传统的CNN需要大量的层。
2020-12-11 cs.CV cs.LG
Cyclically Equivariant Neural Decoders for Cyclic Codes
Tsinghua-Berkeley Shenzhen Institute, Tsinghua Shenzhen International Graduate School（清华-伯克利深圳学院，清华大学深圳国际研究生院）
神经译码器是经典的置信传播（BP）译码算法的推广，将BP算法中的格形图看作一个神经网络，通过训练神经网络来优化格形图中的权值。在这项工作中，我们提出了一种新的神经解码器的循环码，利用其循环不变的属性。更准确地说，我们对神经解码器的权重施加了一个移位不变结构，使得输入的任何循环移位都会导致输出的相同循环移位。BCH码和删余Reed-Muller（RM）码的大量仿真表明，我们的新解码器在解码循环码时始终优于以前的神经解码器。最后，我们提出了一个列表解码过程，可以显着降低BCH码和删余RM码的解码错误概率。对于某些高速率码，我们的列表解码器和最大似然解码器之间的间隙小于$0.1$ dB。代码可在https://github.com/cyclicallyneuraldecoder/CyclicallyEquivariantNeuralDecoders获得
2021-05-12 cs.IT cs.LG math.IT
Loom: Exploiting Weight and Activation Precisions to Accelerate Convolutional Neural Networks
University of Toronto（多伦多大学）
介绍了一种用于卷积神经网络（CNN）的硬件推理加速器Loom（LM）。在LM中，可以节省的每一位数据精度都转化为成比例的性能增益。具体来说，对于卷积层，LM的执行时间与权重和激活的精度成反比。对于全连接层，LM的性能与权重的精度成反比。LM的目标是面积和带宽受限的片上系统设计，例如那些在移动设备上无法负担存储片上每层所需的多兆字节缓冲区的设计。因此，在给定数据带宽预算的情况下，LM相对于等效的位并行加速器提高了能量效率和性能。对于权重和激活，LM可以利用轮廓导出的每层精度。然而，在运行时，LM进一步以比层粒度小得多的粒度调整激活精度。此外，它可以自然地以比层更小的粒度利用权重精度可变性。平均而言，在几个图像分类CNN中，对于每个周期可以执行相当于128个16 b x 16 b乘法累加操作的配置，LM的性能比最先进的位并行加速器[1]高出4.38倍，而精度没有任何损失，同时能效高出3.54倍。LM可以在执行性能和能源效率的额外改进上权衡准确性，并且与仅针对激活精度的加速器相比是有利的。我们还研究了2位和4位LM变体，发现每周期2位变体是最节能的。
2018-05-16 cs.AR cs.DC cs.LG
CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models
National Taiwan University（台湾大学）
自监督学习（SSL）是一种从未标记数据中学习表示的强大技术。基于Transformer的模型，如HuBERT，由特征提取器和Transformer层组成，在语音领域处于领先地位。SSL模型在广泛的下游任务上进行了微调，这涉及到为每个任务重新训练大部分模型。以前的研究已经引入了应用适配器，这是自然语言处理（NLP）中常用的小型轻量级模块，用于使预训练模型适应新任务。然而，这种高效的调谐技术仅在Transformer层提供自适应，而未能在特征提取器处执行自适应。在本文中，我们提出了CHAPTER，一个有效的调整方法，专门为SSL语音模型设计，通过在特征提取器应用CNN适配器。使用这种方法，与完全微调相比，我们只能微调每个任务不到5%的参数，并实现更好，更稳定的性能。我们经验性地发现，将CNN适配器添加到特征提取器可以帮助情感和说话人任务的适应。例如，SID的准确度从87.71提高到91.56，ER的准确度提高了5%。
2023-01-20 cs.CL cs.LG cs.SD
Exploiting Supply Chain Interdependencies for Stock Return Prediction: A Full-State Graph Convolutional LSTM
Department of Information Engineering and Computer Science, University of Trento（信息工程与计算机科学系，特伦托大学）
本文提出FS-GCLSTM模型，通过整合价值链关系与图卷积机制，提升股票收益率预测的准确性与投资回报率。
2025-12-07 cs.LG q-fin.CP q-fin.ST
Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks
University of Padua（帕多瓦大学）；Università di Bologna（博洛尼亚大学）
随机梯度下降（SGD）是训练深度网络的主要方法：它通过在小批量上评估的损失梯度方向上迭代更新模型的参数来实现成本函数的最优值。已经提出了SGD的几种变体，以使每个参数的步长自适应（自适应梯度），并考虑到以前的更新（动量）。在SGD的几种替代方案中，最流行的是AdaGrad、AdaDelta、RMSProp和Adam，它们通过对过去梯度中的平方坐标进行某种形式的平均的平方根来缩放梯度的坐标，并在参数的基础上自动调整学习率。在这项工作中，我们比较亚当基于当前和过去的梯度之间的差异的基础上的变体，步长为每个参数进行调整。我们运行了几个测试基准提出的方法使用医学图像数据。实验采用ResNet50结构的神经网络进行。此外，我们还测试了网络的集成以及与使用随机梯度下降训练的ResNet 50的融合。为了组合ResNet50的集合，应用了简单求和规则。所提出的集成获得了非常高的性能，它获得了与现有技术相当或更好的精度。为了提高再现性和研究效率，用于本研究的MATLAB源代码可在GitHub上获得：www.example.com。
2021-03-26 cs.AI cs.LG
Improving CSI-based Massive MIMO Indoor Positioning using Convolutional Neural Network
Jožef Stefan Institute（约热夫·斯蒂芬研究所）；Jožef Stefan International Postgraduate School（约热夫·斯蒂芬国际研究生院）
多输入多输出（MIMO）是满足对具有大量终端的无线网络中的更快和更可靠的通信的不断增长的需求的使能技术，但是它也可以应用于利用来自多个天线的多径传播的终端的位置估计。在本文中，我们研究新的卷积神经网络（CNN）结构，利用MIMO的信道状态信息（CSI），以提高室内定位。我们使用相同的训练评估数据集，评估并比较了所提出的CNN结构的三种变体与科学文献中提出的五种NN结构的性能。结果表明，所提出的残差卷积神经网络结构提高了位置估计的准确性，并保持总的权重数低于公布的神经网络结构。所提出的CNN结构比用作参考的已知NN结构产生从2cm到10cm的更好的位置精度。
2021-02-05 cs.LG eess.SP
Exploiting the potential of deep reinforcement learning for classification tasks in high-dimensional and unstructured data
Universidad Autónoma de Occidente（西方自治大学）
本文提出了一个框架，有效地学习特征选择政策，使用较少的功能，以达到高的分类精度对大型非结构化数据。它使用深度卷积自动编码器（DCAE）来学习紧凑的特征空间，并结合最近提出的强化学习（RL）算法，如双DQN和Retrace。
2019-12-20 cs.LG stat.ML
A 3D 2D convolutional Neural Network Model for Hyperspectral Image Classification
School of Computer Science, China University of Geosciences（中国地质大学计算机学院）
在SEHybridSN模型中，使用密集块来重用浅层特征，旨在更好地利用分层空间光谱特征。随后的深度可分离卷积层用于区分空间信息。空间谱特征的进一步细化是通过信道注意方法实现的，该方法在每个3D卷积层和每个2D卷积层之后执行。实验结果表明，我们提出的模型学习更多的区分空间光谱特征，使用很少的训练数据。SEHybridSN仅使用0.05和0.01标记数据进行训练，获得了非常令人满意的性能。
2021-11-19 cs.CV cs.LG eess.IV
Pixel-Translation-Equivariant Quantum Convolutional Neural Networks via Fourier Multiplexers
School of Physics and Engineering, ITMO University, St. Petersburg, Russia（物理与工程学院，ITMO大学，圣彼得堡，俄罗斯）
本文提出了一种基于傅里叶多路复用器的像素平移等变量子卷积神经网络，通过构造与编码诱导的像素循环平移对称性相容的量子卷积层，解决了传统量子卷积神经网络在平移等变性上的不匹配问题。
2026-04-27 cs.LG quant-ph
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入，并执行一系列层，这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反，现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN，我们发现一个重要的特点，他们表现出非常高的中间特征稀疏。我们观察到，随着深层和残余连接，中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会，这是以前不存在的。在本文中，我们提出了SGCN，一个快速，节能的GCN加速器，充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术，以实现比现有加速器更高的性能和能源效率。首先，SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量，这往往是GCN执行的瓶颈。其次，我们提出了微架构无缝处理的压缩特征格式。第三，为了更好地处理在不同的稀疏性存在的局部性，SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式，展示了多个重用窗口，这样缓存可以捕获不同大小的工作集，从而适应不同的稀疏程度。我们表明，SGCN实现了1.71倍的加速比和43.9%的高能效相比，现有的加速器。
2023-01-25 cs.AR cs.LG
Applying Cyclical Learning Rate to Neural Machine Translation
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
在训练深度学习网络时，优化器和相关的学习率通常在没有经过太多考虑或进行最小调整的情况下使用，尽管它对于确保快速收敛到损失函数的良好质量最小值至关重要，该最小值也可以在测试数据集上很好地推广。从计算机视觉相关卷积网络和数据集的循环学习率策略的成功应用中汲取灵感，我们探索了如何将循环学习率应用于神经机器翻译的训练基于transformer的神经网络。从我们精心设计的实验，我们表明，优化器的选择和相关的周期性学习率政策可以有显着的影响性能。此外，我们建立了将循环学习率应用于神经机器翻译任务的指导方针。因此，通过我们的工作，我们希望提高人们对选择正确的优化器和相应的学习率政策的重要性的认识，同时鼓励进一步研究易于使用的学习率政策。
2020-04-06 cs.CL cs.LG stat.ML
Convolutional Clustering for Unsupervised Learning
Purdue University（普渡大学）
为训练深度神经网络标记数据的任务是艰巨而繁琐的，需要数百万个标签才能实现当前最先进的结果。这种对大量标记数据的依赖可以通过利用经由无监督学习技术的分层特征来放松。在这项工作中，我们提出了训练一个基于增强版k-means聚类算法的深度卷积网络，它减少了类似过滤器形式的相关参数的数量，从而提高了测试分类的准确性。我们称我们的算法为卷积k均值聚类。我们进一步表明，学习深度卷积神经网络层之间的连接可以提高其在少量标记数据上训练的能力。我们的实验表明，该算法优于其他技术，学习过滤器无监督。具体来说，我们在STL-10上获得了74.1%的测试准确度，在MNIST上获得了0.5%的测试误差。
2016-02-16 cs.CV cs.LG
RePr: Improved Training of Convolutional Filters
Brandeis University（布兰迪斯大学）；Microsoft Research（微软研究院）
一个训练良好的卷积神经网络可以很容易地被修剪，而不会有明显的性能损失。这是因为网络过滤器捕获的特征存在不必要的重叠。网络架构的创新，如跳跃/密集连接和Inception单元，在一定程度上缓解了这个问题，但这些改进带来了运行时计算和内存需求的增加。我们试图从另一个角度解决这个问题-不是通过改变网络结构，而是通过改变训练方法。我们表明，通过暂时修剪，然后恢复模型的过滤器的子集，并循环重复这个过程，重叠的学习功能减少，产生改进的泛化。我们发现，现有的模型修剪标准是不是最佳的选择过滤器修剪在这种情况下，并引入过滤器间的正交性作为排名标准，以确定表达不足的过滤器。我们的方法适用于普通卷积网络和更复杂的现代架构，并提高了各种任务的性能，特别是在应用于较小的网络时。
2019-02-25 cs.CV cs.LG
DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心）；Research Center for Medical AI, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院医学人工智能研究中心）；Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences（中国科学院大学深圳先进技术学院）；The State University of New York, Buffalo（纽约州立大学布法罗分校）
本文提出了一种多通道图像重建方法，命名为Deepcomplex MRI，以加速并行MR成像与剩余复杂卷积神经网络。与大多数依赖于利用线圈灵敏度或预定义变换的先验信息的现有工作不同，DeepcomplexMRI利用大量现有多通道groundtruth图像的可用性，并将其用作标记数据来离线训练深度残差卷积神经网络。特别地，提出了一种复杂的卷积网络，以考虑MR图像的实部和虚部之间的相关性。此外，k空间数据一致性进一步在网络的层之间重复地实施。在活体数据集上的评价表明，该方法具有恢复所需的多通道图像的能力。与现有方法的比较也表明，该方法能够更准确地重建出所需的MR图像。
2019-07-29 cs.LG eess.IV stat.ML
I Know What You See: Power Side-Channel Attack on Convolutional Neural Network Accelerators
The Chinese University of Hong Kong（香港中文大学）；Sangfor Technologies Inc.（深信服科技股份有限公司）
深度学习已成为各种感知问题的事实上的计算范式，包括许多隐私敏感应用，例如在线医学图像分析。毫无疑问，这些深度学习系统的数据隐私是一个严重的问题。与以往研究侧重于利用深度学习模型的隐私泄漏不同，本文提出了对深度学习模型实现的第一次攻击。具体来说，我们对基于FPGA的卷积神经网络加速器进行攻击，并且在不知道神经网络中的详细参数的情况下，我们设法从收集的功率迹线恢复输入图像。对于MNIST数据集，我们的功率侧信道攻击能够实现高达89%的识别准确率。
2019-11-29 cs.CV cs.LG
Group Equivariant Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；University of California Irvine（加州大学欧文分校）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了群等变卷积神经网络（G-CNN），它是卷积神经网络的自然推广，通过利用对称性降低了样本复杂度。G-CNN使用G-convolutions，这是一种新型的层，比常规卷积层享有更高的权重共享程度。G-卷积在不增加参数数量的情况下增加了网络的表达能力。组卷积层易于使用，并且对于由平移、反射和旋转生成的离散组，其计算开销可以忽略不计。G-CNN在CIFAR 10和旋转MNIST上实现了最先进的结果。
2016-06-03 cs.LG stat.ML
Exploiting Temporality for Semi-Supervised Video Segmentation
University of Amsterdam（阿姆斯特丹大学）；TomTom（汤姆汤姆公司）；VU Amsterdam（阿姆斯特丹自由大学）
近年来，有监督图像分割技术取得了显著的进展。视频分割较少探索，尽管时间维度是高度信息化的。可以通过合并来自先前帧的信息来推断例如在当前帧中不能准确检测的语义标签。然而，由于需要处理的数据量以及更重要的是获得每帧的地面实况注释所涉及的成本，视频分割是具有挑战性的。在本文中，我们通过使用视频的连续帧来解决标签稀缺的问题，其中只有一帧被注释。我们提出了一个深度的、端到端的可训练模型，该模型利用时间信息来利用易于获取的未标记数据。我们的网络架构依赖于两个组件的新型互连：一个完全卷积网络，用于对空间信息和时间单元进行建模，这些时间单元用于卷积网络的中间层，以便通过时间传播信息。这项工作的主要贡献是通过网络的时间信号的指导。我们表明，只有放置一个时间模块之间的编码器和解码器是次优（基线）。我们在CityScapes数据集上进行的大量实验表明，所得到的模型可以利用未标记的时间帧，并且显著优于逐帧图像分割和基线方法。
2019-08-29 cs.CV cs.LG eess.IV
MotifNet: a motif-based Graph Convolutional Network for directed graphs
University of Lugano（卢加诺大学）；Harvard University（哈佛大学）；Tel Aviv University（特拉维夫大学）
图上的深度学习，特别是图卷积神经网络，最近在机器学习界引起了极大的关注。许多这样的技术探索图拉普拉斯特征向量和经典傅立叶基之间的类比，允许将卷积公式化为谱域中的乘法。谱CNN的一个关键缺点是它们对无向图的显式假设，导致具有正交特征分解的对称拉普拉斯矩阵。在这项工作中，我们提出了MotifNet，一个图形CNN能够处理有向图，利用本地图形图案。我们提出的实验证据表明，我们的方法对真实数据的优势。
2018-02-04 cs.LG
Generalization Bounds for Convolutional Neural Networks
University of Sydney（悉尼大学）
卷积神经网络（CNN）在图像分类、语义分割和目标检测等广泛应用中取得了突破性的性能。以往表征神经网络泛化能力的研究大多集中在全连接神经网络（FNN）上，将CNN视为FNN的特例，而没有考虑卷积层的特殊结构。在这项工作中，我们提出了一个更严格的泛化界CNN利用其权重矩阵的稀疏和置换结构。由于泛化界依赖于权矩阵的谱范数，本文进一步研究了标准卷积、深度卷积和逐点卷积三种常用卷积运算的谱范数。理论和实验结果都表明，我们的CNN的界限比现有的界限更紧。
2019-10-03 cs.LG stat.ML
Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks
The University of Hong Kong（香港大学）
在压缩深度神经网络（DNN）时，已经探索了深度、宽度、核大小和分辨率方面的弹性。认识到卷积神经网络（CNN）中的内核是4向张量，我们进一步利用沿输入输出通道的新弹性维度。具体而言，提出了一种新的核范数秩最小化因子分解（NRMF）方法，用于在训练过程中动态全局搜索降低的张量秩。揭示了多层张量秩之间的相关性，并在模型大小和精度之间获得了一个优雅的折衷。实验结果表明，NRMF优于以前的非弹性变分贝叶斯矩阵分解（VBMF）计划。
2021-05-10 cs.LG
Exploiting Edge Features in Graph Neural Networks
University of Kentucky（肯塔基大学）
边特征包含有关图形的重要信息。然而，当前设计用于图学习的现有技术的神经网络模型，例如图卷积网络（GCN）和图注意力网络（GAT），充分利用边缘特征，特别是多维边缘特征。在本文中，我们建立了一个新的框架，一个家庭的新的图神经网络模型，可以更充分地利用边缘功能，包括那些无向或多维边缘。所提出的框架可以整合当前的图神经网络模型;例如，图卷积网络（GCN）和图注意力网络（GAT）。所提出的框架和新模型具有以下新颖性：首先，我们提出使用图边缘特征的双重随机归一化，而不是当前图神经网络中常用的行或对称归一化方法。其次，我们构造新的公式，在每个单独的层的操作，使他们能够处理多维的边缘功能。第三，对于所提出的新框架，边缘特征是跨网络层自适应的。因此，我们提出的新框架和新模型可以利用丰富的图形信息源。我们将我们的新模型应用于几个引文网络上的图节点分类、全图分类和几个分子数据集上的回归。与现有的GCN和GAT方法相比，该模型具有更好的性能，证明了利用边缘特征在图神经网络中的重要性.
2019-01-28 cs.LG cs.SI stat.ML
Structured Sequence Modeling with Graph Convolutional Recurrent Networks
EPFL（洛桑联邦理工学院）
本文介绍了图卷积递归网络（GCRN），这是一种能够预测结构化数据序列的深度学习模型。准确地说，GCRN是经典递归神经网络（RNN）对由任意图结构化的数据的推广。这样的结构化序列可以表示视频中的一系列帧、传感器网络上的时空测量、或用于自然语言建模的词汇图上的随机游动。该模型结合了图上的卷积神经网络（CNN）来识别空间结构，并结合了RNN来寻找动态模式。我们研究了GCRN的两种可能的架构，并将模型应用于两个实际问题：预测移动MNIST数据，并使用Penn Treebank数据集对自然语言进行建模。实验表明，同时利用图的空间和动态信息的数据可以提高精度和学习速度。
2016-12-22 cs.LG stat.ML
Sample Efficient Semantic Segmentation using Rotation Equivariant Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）
我们提出了一个语义分割模型，利用旋转和反射对称性。我们证明了显着的增益，由于增加的权重共享，以及对称变换的鲁棒性的改善，在样本效率。通过引入新的等变（G->Z2）卷积将组上的特征图转换为平面特征图，扩展了组等变CNN框架用于分割。此外，等变转置卷积公式化用于编码器-解码器网络中的上采样。为了证明样本效率的改进，我们评估了旋转等变分割任务的多个数据机制：组织病理学图像中的癌症转移检测。我们进一步证明了利用更多的对称性，通过改变组的大小的有效性。
2018-07-02 cs.CV cs.LG stat.ML
A Graph Convolutional Topic Model for Short and Noisy Text Streams
Hanoi University of Science and Technology（河内科技大学）
从数据流中学习隐藏的主题已经成为绝对必要的，但提出了具有挑战性的问题，如概念漂移以及短和嘈杂的数据。利用先验知识丰富主题模型是应对这些挑战的潜在解决方案之一。从人类知识（例如Wordnet）或预先训练的模型（例如Word2vec）中获得的先验知识对于帮助主题模型更好地工作非常有价值和有用。然而，在流媒体环境中，数据到达连续和无限，现有的研究仅限于有效地利用这些资源。特别地，包含有意义的词关系的知识图谱被忽略。在本文中，旨在有效地利用知识图谱，我们提出了一种新的图卷积主题模型（GCTM），它集成了图卷积网络（GCN）到一个主题模型和学习方法，学习网络和主题模型同时为数据流。在每一个小批量中，我们的方法不仅可以利用外部的知识图谱，但也可以平衡的外部和旧的知识表现良好的新数据。我们进行了大量的实验，以评估我们的方法与人类知识图谱（Wordnet）和从预先训练的词嵌入（Word2vec）构建的图。实验结果表明，我们的方法取得了显着更好的性能比国家的最先进的基线方面的概率预测措施和主题一致性。特别是，我们的方法可以很好地处理短文本以及概念漂移。GCTM的实施可在\url{https://github.com/bachtranxuan/GCTM.git}上获得。
2021-12-24 cs.LG stat.ML
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗校区）
本文的工作重点是通过考虑模型复杂度和实际性能之间的权衡来设计低复杂度的混合张量网络。首先，我们利用低阶张量训练深度神经网络（TT-DNN）来构建端到端的深度学习流水线，即LR-TT-DNN。其次，将LR-TT-DNN与卷积神经网络（CNN）相结合，建立了一个混合模型，表示为CNN+（LR-TT-DNN），以提高性能。我们利用黎曼梯度下降来确定与小TT秩相关联的TT-DNN，而不是随机地为TT-DNN分配大TT秩。此外，CNN+（LR-TT-DNN）由底部的用于特征提取的卷积层和顶部的几个TT层组成，以解决回归和分类问题。我们分别评估了LR-TT-DNN和CNN+（LR-TT-DNN）模型对语音增强和口述命令识别任务的影响。我们的经验证据表明，具有较少模型参数的LR-TT-DNN和CNN+（LR-TT-DNN）模型可以优于TT-DNN和CNN+（TT-DNN）模型。
2022-03-11 cs.AI cs.LG cs.SD
CBinfer: Change-Based Inference for Convolutional Neural Networks on Video Data
ETH Zurich（苏黎世联邦理工学院）
使用卷积神经网络提取每帧特征用于视频数据的实时处理目前主要在功能强大的GPU加速工作站和计算集群上执行。然而，有许多应用，如智能监控摄像头，需要或将受益于现场处理。为此，我们提出并评估了一种新的算法，用于对静态摄像机设置记录的视频数据进行基于变化的CNN评估，利用像素变化的时空稀疏性。我们在一个现实的基准上实现了cuDNN基线的平均速度提升8.6倍，准确性损失小于0.1%，并且没有对网络进行再训练。由此产生的能效比每帧评估高出10倍，在Tegra X1平台上达到328 GOp/s/W的等效能效。
2017-06-21 cs.AI cs.CV cs.LG
Constant Curvature Graph Convolutional Networks
ETH Zürich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）
最近，人们对表示非欧几里德空间（例如双曲或球面）中的数据的方法越来越感兴趣，这些方法提供了对某些真实世界数据属性（例如无标度，分层或循环）有用的特定归纳偏差。然而，目前流行的图神经网络仅限于通过欧几里德几何和相关的向量空间运算来建模数据。在这里，我们通过提出数学上接地的推广图卷积网络（GCN）（的产品）常曲率空间来弥合这一差距。我们这样做是通过i）引入一个统一的形式主义，可以在所有常曲率的几何之间平滑地插值，ii）利用陀螺重心坐标，概括了经典的欧几里得质心概念。我们的模型类顺利恢复他们的欧几里德对应时，曲率从任何一方为零。从经验上讲，我们优于欧几里得GCN的节点分类和失真最小化的任务，表现出非欧几里得行为的符号数据，根据其离散曲率。
2020-05-19 cs.AI cs.LG
Spectral and Rhythm Features for Audio Classification with Deep Convolutional Neural Networks
Target Innovation AI
研究使用深度卷积神经网络评估多种频谱与节奏特征在音频分类中的表现，发现mel尺度频谱图和MFCCs效果显著最优。
2024-10-18 cs.AI cs.CV cs.LG
Generalizing Graph Convolutional Neural Networks with Edge-Variant Recursions on Graphs
University of Pennsylvania（宾夕法尼亚大学）
本文通过边变图滤波器的视角对图卷积神经网络（GCNN）进行了综述。边变图滤波器是一个有限阶、线性和局部递归的算法，它允许每个节点在每次迭代中对其邻居的信息进行不同的加权。通过利用这种递归，我们制定了一个通用框架GCNN认为国家的最先进的解决方案作为特殊情况。该框架结果有助于i）理解每个解决方案的局部细节和参数数量之间的权衡，以及ii）为开发可以在顶点域中局部实现的无数新颖方法提供指导。这样的方法之一，在这里显示优越的性能w.r.t.图信号分类问题的当前替代方案。
2019-03-04 cs.LG eess.SP stat.ML
Efficient Training Convolutional Neural Networks on Edge Devices with Gradient-pruned Sign-symmetric Feedback Alignment
HKUST-Qualcomm Joint Innovation and Research Laboratory（香港科技大学-高通联合创新研究实验室）；Dept. ECE, Hong Kong University of Science and Technology（香港科技大学电子及计算机工程系）
随着移动设备的繁荣，分布式学习方法使模型训练与分散的数据吸引了广泛的研究。然而，边缘设备缺乏训练能力，极大地限制了分布式学习在现实生活中的能效。本文描述了一种利用传统反向传播的冗余和权重不对称潜力来训练DNN的新方法。我们证明，在分类精度损失可以忽略不计的情况下，所提出的方法在能源效率方面比现有技术高出5倍。
2021-05-13 cs.AR cs.LG cs.NI
Combined convolutional and recurrent neural networks for hierarchical classification of images
Northwestern University（西北大学）；Allstate（好事达）
基于CNN的深度学习模型主要用于图像分类任务。这种方法假设对象类别的独立性，通常使用CNN作为特征学习器，并在其上应用平面分类器。许多设置中的对象类别具有层次关系，利用这些关系的分类器应该表现得更好。我们提出了分层分类模型，结合了CNN来提取图像的分层表示，以及RNN或序列到序列模型来捕获类的分层树。此外，我们将残差学习应用于RNN部分，以便于训练我们的复合模型并提高模型的泛化能力。在真实世界专有图像数据集上的实验结果表明，我们的分层网络比最先进的CNN表现得更好。
2019-11-18 cs.LG stat.ML
Classifying Signals on Irregular Domains via Convolutional Cluster Pooling
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
我们提出了一种新的和层次化的方法，用于跨越固定图的信号的监督分类，反映了数据集的共享属性。为此，我们引入了一个卷积聚类池层，利用多尺度聚类，以不同的分辨率突出显示输入图上的局部连接区域。我们的建议概括了成熟的神经模型，如卷积神经网络（CNN）的不规则和复杂的域，通过开发的重量共享属性在一个面向图形的架构。在这项工作中，这样的属性是基于软分配的集群内的每个顶点的中心性。在NTU RGB+D、CIFAR-10和20 NEWS上进行的大量实验证明了所提出的方法在不同领域的图结构数据中捕获局部和全局模式的有效性。
2019-02-13 cs.LG stat.ML
