FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary
Arizona State University（亚利桑那州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；StylingAI Inc.（StylingAI公司）
我们提出了一种通过卷积滤波器的新表示进行权重共享来压缩深度卷积神经网络（CNN）的新方法。所提出的方法通过学习称为滤波器摘要（FS）的1D向量来减少每个卷积层的参数数量。卷积滤波器位于FS中作为重叠的1D段，FS中的邻近滤波器以自然的方式在其重叠区域中共享权重。基于这种权重共享方案的所得神经网络（称为滤波器摘要CNN或FSNet）在每个卷积层中具有FS，而不是常规卷积层中的一组独立滤波器。FSNet具有与待压缩的基线CNN相同的架构，并且FSNet的每个卷积层在前向过程中具有与基线CNN相同数量的来自FS的滤波器。FSNet的参数空间远小于基线CNN的参数空间，具有令人信服的计算加速比。此外，FSNet是量化友好的。具有权重量化的FSNet导致甚至更高的压缩比，而没有明显的性能损失。我们进一步提出了可微分FSNet，其中过滤器共享权重的方式是以可微分和端到端的方式学习的。实验证明了FSNet在压缩CNN用于计算机视觉任务（包括图像分类和目标检测）中的有效性，并且DFSNet的有效性通过神经结构搜索任务得到了证明。
2020-04-10 cs.AI cs.LG stat.ML
A Convolutional Neural Network for Language-Agnostic Source Code Summarization
Two Six Labs（双六实验室）
描述性注释在软件工程过程中起着至关重要的作用。它们减少了开发时间，实现了更好的bug检测，并促进了以前编写的代码的重用。然而，注释通常是软件开发人员的最后一个优先级，因此要么是不足的，要么是完全缺失的。因此，自动源代码摘要可能具有显著改进软件开发过程的能力。我们引入了一种新颖的编码器-解码器模型，它总结了源代码，有效地编写了一个注释来描述代码的功能。我们在当前的源代码摘要模型之外做了两个主要的创新。首先，我们的编码器是完全语言无关的，不需要复杂的输入预处理。其次，我们的解码器有一个开放的词汇表，使它能够预测任何单词，甚至是在训练中没有看到的单词。我们展示的结果相当于国家的最先进的方法在一个单一的语言数据集，并提供了第一个由多个程序设计语言的数据集上的结果。
2019-03-29 cs.CL cs.LG stat.ML
Selective Attention Encoders by Syntactic Graph Convolutional Networks for Document Summarization
DiDi Chuxing（滴滴出行）；DiDi Research America（美国滴滴研究院）；Peking University（北京大学）
摘要文本摘要是一项具有挑战性的任务，需要设计一种机制来有效地从源文本中提取显著信息，然后生成摘要。源文本的分析过程包含关键的句法或语义结构，这有助于生成更准确的摘要。然而，建模一个解析树的文本摘要是不平凡的，由于其非线性结构，它是很难处理的文档，包括多个句子和它们的解析树。在本文中，我们提出使用图连接的解析树从一个文件中的句子，并利用堆叠图卷积网络（GCN）学习的语法表示的文件。选择性注意力机制用于提取语义和结构方面的显著信息并生成抽象摘要。我们在CNN/Daily Mail文本摘要数据集上评估了我们的方法。实验结果表明，所提出的基于GCN的选择性注意方法优于基线，并在数据集上达到了最先进的性能。
2020-03-18 cs.CL cs.LG
A Convolutional Attention Network for Extreme Summarization of Source Code
University of Edinburgh（爱丁堡大学）；Peking University（北京大学）
神经网络中的注意力机制已被证明对于输入和输出不具有固定维数的问题是有用的。通常存在局部平移不变的特征，并且对于引导模型的注意力是有价值的，但是以前的注意力架构并不是专门为了学习这些特征而构建的。我们引入了一个注意力神经网络，它采用卷积的输入令牌检测本地时不变和长距离的主题注意力特征的上下文相关的方式。我们将这种架构应用于将源代码片段极端总结成简短的、描述性的函数名称之类的摘要的问题。使用这些功能，该模型通过边缘化两个注意力机制来顺序生成摘要：一个基于输入标记的注意力权重预测下一个摘要标记，另一个能够将代码标记直接复制到摘要中。我们在10个流行的Java项目上展示了我们的卷积注意力神经网络的性能，表明与以前的注意力机制相比，它实现了更好的性能。
2016-05-25 cs.CL cs.LG cs.SE
Convolutional Normalization
随着深度神经网络被应用于复杂任务，网络和架构的规模增加，其拓扑结构也变得更加复杂。与此同时，培训变得缓慢，在某些情况下效率低下。这促使了各种规格化技术的引入，例如批量归一化和层归一化。上述归一化方法使用算术运算来计算层数据的近似统计量（主要是一阶矩和二阶矩）并使用其来归一化。上述方法使用普通蒙特卡罗方法来近似统计量，并且这种方法在近似分布复杂的统计量时失败。在这里，我们提出了一种使用加权和的方法，该方法使用深度方向的卷积神经网络来实现，不仅可以近似统计数据，还可以学习和的系数。
2021-02-19 cs.LG stat.ML
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University（复旦大学）
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序，AOS系统需要解决两个核心子任务，方面提取和情感分类。现有的大多数方面提取方法，使用语言分析或主题建模，是通用的不同的产品，但不够精确或适合于特定的产品。相反，我们采用了一种不太一般但更精确的方案，直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类，我们提出了两种基于卷积神经网络（CNN）的方法，级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务，第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN，但不同的网络共享相同的词嵌入。实验结果表明，级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
Modelling, Visualising and Summarising Documents with a Single Convolutional Neural Network
University of Oxford（牛津大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
捕获将单词的含义映射到文档的含义的合成过程是自然语言处理和信息检索研究人员的核心挑战。我们引入了一个模型，它能够通过将文档嵌入到低维向量空间中来表示文档的含义，同时保留对于捕捉细微语义至关重要的单词和句子顺序的区别。我们的模型是基于一个扩展的动态卷积神经网络，学习卷积过滤器在句子和文档级别，分层学习捕获和组成低级别的词汇特征到高级别的语义概念。我们证明了该模型在一系列文档建模任务上的有效性，在没有特征工程和更紧凑的模型的情况下取得了很好的效果。受计算机视觉可视化深度卷积网络的最新进展的启发，我们为我们的文档网络提出了一种新的可视化技术，不仅可以深入了解它们的学习过程，而且可以解释为产生一个引人注目的文本自动摘要系统。
2014-06-15 cs.CL cs.LG stat.ML
Harmonic Decompositions of Convolutional Networks
CREST, ENSAE（CREST，ENSAE）；University of Washington（华盛顿大学）
我们提出了一个与卷积网络相关的函数空间和平滑类的描述，使用再生核希尔伯特空间的机器。我们证明了与卷积网络相关的映射扩展为涉及类似于球谐函数的初等函数的和。这种函数分解可以与非参数统计中的函数ANOVA分解相关联。在卷积网络的功能特性的基础上，我们获得了统计界限，突出了近似误差和估计误差之间的一个有趣的权衡。
2020-11-16 cs.LG stat.ML
Summarized Network Behavior Prediction
Qualcomm Inc.（高通公司）
本文从海量的网络日志中研究了基于实体的主题行为。结合递归神经网络（RNN）和卷积神经网络（CNN）的学习架构，探索了行为的时间和空间关系。为了使行为数据适合于CNN中的空间学习，采取了几个简化步骤来形成主题度量，并将它们均匀地放置在图像中的像素中。实验结果表明，与多层感知器（MLP）网络相比，时间和空间增益。引入了一种称为空间连接卷积网络（SCCN）的新学习框架，以更有效地预测行为。
2017-05-02 cs.LG stat.ML
Dynamic Graph Convolutional Networks Using the Tensor M-Product
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research（IBM研究院）；Tufts University（塔夫茨大学）；Tel Aviv University（特拉维夫大学）
许多不规则的领域，如社交网络，金融交易，神经元连接，和自然语言结构使用图结构表示。近年来，各种图神经网络（GNN）已成功地应用于此类图的表示学习和预测。在许多现实世界的应用中，底层图随着时间的推移而变化，然而，大多数现有的GNN不足以处理这种动态图。在本文中，我们提出了一种新的技术学习嵌入的动态图使用张量代数框架。我们的方法扩展了流行的图卷积网络（GCN）的学习表示的动态图使用最近提出的张量M-产品技术。理论结果建立了张量方法和张量谱卷积之间的联系。所提出的方法TM-GCN是一致的消息传递神经网络（MPNN）的框架，占空间和时间的消息传递。在真实数据集上的数值实验证明了所提出的方法在动态图上的边缘分类和链接预测任务的性能。我们还考虑了与COVID-19大流行相关的应用，并展示了我们的方法如何用于从接触者追踪数据中早期检测感染者。
2021-01-23 cs.LG stat.ML
Research Progress of Convolutional Neural Network and its Application in Object Detection
East China University of Science and Technology（华东理工大学）
随着计算机性能的提高和数据量的增加，基于卷积神经网络（CNN）的目标检测已成为目标检测的主要算法。综述了卷积神经网络及其在目标检测中的应用研究进展，重点分析和讨论了将卷积神经网络应用于目标检测的具体思路和方法，指出了目前存在的不足和未来的发展方向。
2020-07-27 cs.CV cs.LG eess.IV
Graph Edge Representation via Tensor Product Graph Convolutional Representation
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Key Laboratory of Multimodal Cognitive Computation（多模态认知计算重点实验室）
针对现有图卷积无法处理带高维边特征图的问题，本文结合张量收缩表示与张量积图扩散理论提出TPGC算子以获取边嵌入，补充传统图卷积并在多任务中验证有效。
2024-06-21 cs.LG
Using Contrastive Learning and Pseudolabels to learn representations for Retail Product Image Classification
Paralleldots, Inc.（Paralleldots公司）
零售产品图像分类问题通常是Few Shot分类问题，因为零售产品类别不能像猫、狗或树那样在图像之间具有变化类型。以前的工作已经显示了不同的方法来微调卷积神经网络，以实现更好的分类精度在这样的数据集。在这项工作中，我们试图解决问题的陈述：我们能否预训练一个卷积神经网络骨干，产生足够好的零售产品图像表示，以便在这些表示上训练一个简单的逻辑回归给我们好的分类器？我们使用对比学习和基于伪标签的噪声学生训练来学习表示，以获得准确性，从而微调零售产品图像分类的整个Convnet主干。
2021-10-07 cs.CV cs.LG
Probabilistic and Regularized Graph Convolutional Networks
University of Cambridge（剑桥大学）
本文探讨了最近提出的图卷积网络架构（Kipf & Welling，2016），总结了他们工作的关键点，并再现了他们的结果。图正则化和替代图卷积方法进行了探讨。我发现显式图正则化被正确地拒绝了（Kipf & Welling，2016）。我试图提高GCN的性能近似k步转移矩阵的地方规范化的图形拉普拉斯算子，但我没有找到积极的结果。尽管如此，该GCN变体的几种配置的性能在Cora、Citeseer和Pubmed数据集上显示。
2018-03-12 cs.LG stat.ML
Convolutional Recurrent Neural Networks for Music Classification
Queen Mary University of London（伦敦玛丽女王大学）；New York University（纽约大学）
我们介绍了一个卷积递归神经网络（CRNN）的音乐标签。CRNN利用卷积神经网络（CNN）进行局部特征提取，并利用循环神经网络对提取的特征进行时间总结。我们将CRNN与三种用于音乐标记的CNN结构进行比较，同时控制每个样本的性能和训练时间的参数数量。总体而言，我们发现CRNN在参数数量和训练时间方面表现出很强的性能，表明其混合结构在音乐特征提取和特征摘要中的有效性。
2016-12-21 cs.LG cs.MM cs.NE
Automated visual inspection of CMS HGCAL silicon sensor surface using an ensemble of a deep convolutional autoencoder and classifier
CERN（欧洲核子研究中心）
超过一千个8”硅传感器将在CERN CMS实验的高粒度量热计组装之前的质量控制期间进行目视检查，以寻找其表面上的异常。开发了一种基于深度学习的算法，可以实时预选传感器表面的潜在异常图像，以自动进行视觉检测。异常检测是由独立的深度卷积神经网络集成完成的：自动编码器和分类器。在生产中获取的图像上评估性能。预先选择将需要人工检查的图像数量减少了85%，召回率为97%。生产中收集的数据可用于持续学习，以逐步提高准确性。
2023-03-09 cs.CV cs.LG physics.ins-det
Efficient Consensus Model based on Proximal Gradient Method applied to Convolutional Sparse Problems
Pontificia Universidad Católica del Perú（秘鲁天主教大学）
卷积稀疏表示（CSR）是一种平移不变的反问题模型，在信号/图像处理、机器学习和计算机视觉等领域受到广泛关注。CSR中最具挑战性的问题意味着$min_x \sum_i f_i(x) + g(x)$形式的复合函数的最小化，其中直接和低成本的解决方案可能难以实现。然而，据报道，半分布式配方，如ADMM共识可以提供重要的计算效益。在目前的工作中，我们推导和详细的一个有效的共识算法的基础上近端梯度（PG）方法的理论分析。所提出的算法相对于其ADMM对应的有效性，主要是在经典的卷积字典学习问题进行评估。此外，我们的共识方法，这是一般结构，可以用来解决其他优化问题，其中一个凸函数与正则项共享一个单一的全局变量。作为一个例子，所提出的算法也被应用到另一个特定的卷积问题的异常检测任务。
2020-11-19 cs.LG
Optimisation of Overparametrized Sum-Product Networks
Austrian Research Institute for AI（奥地利人工智能研究所）；Graz University of Technology（格拉茨工业大学）；University of Cambridge（剑桥大学）
与浅层混合模型相比，深度和积网络中的参数学习速度惊人，这似乎是传统智慧的珍珠。本文研究了和积网络中参数优化速度过参数化的影响。使用理论分析和实证实验，我们表明，深和产品网络表现出一个隐式的加速相比，他们的浅对应。事实上，深度树结构和积网络中基于梯度的优化等于具有自适应和时变学习率以及附加动量项的梯度上升。
2019-05-29 cs.LG stat.ML
Permutation Matters: Anisotropic Convolutional Layer for Learning on Point Clouds
Artificial Intelligence Institute（人工智能研究所）；Shanghai Jiao Tong University（上海交通大学）
在许多3D计算机视觉应用中，对点云的有效表示学习的需求日益增长。卷积神经网络（CNN）成功的背后是数据（例如，图像）是欧几里得结构的。然而，点云是不规则和无序的。各种点神经网络已经开发出各向同性滤波器或使用加权矩阵来克服点云上的结构不一致性。然而，各向同性滤波器或加权矩阵限制了表示能力。在本文中，我们提出了一个可置换的各向异性卷积运算（PAI-Conv），根据球体表面上均匀分布的核点集，使用点积注意力计算每个点的软置换矩阵，并执行共享各向异性滤波器。实际上，具有核点的点积与自然语言处理（NLP）中广泛使用的Transformer中具有键的点积类似。从这个角度来看，PAI-Conv可以被视为点云的Transformer，它具有物理意义，并且与高效的随机点采样方法配合使用。点云上的综合实验表明，与最先进的方法相比，PAI-Conv在分类和语义分割任务中产生了有竞争力的结果。
2020-06-05 cs.CV cs.LG eess.IV
Deep Convolutional Neural Networks for Smile Recognition
Imperial College London（帝国理工学院）
本文描述了一个基于深度卷积神经网络的微笑检测器的设计与实现。它首先概述了神经网络，训练它们的困难和新的训练方法，如限制玻尔兹曼机或自动编码器。然后，它提供了卷积神经网络和递归神经网络的文献综述。为了选择用于微笑识别的数据库，本文对人脸表情识别领域中常用的数据库进行了综合统计，并进行了总结。然后提出了一个微笑检测的模型，其中的主要部分是实现。实验结果进行了讨论，并证明了全面的模型选择的基础上进行。所有实验都在Tesla K40c GPU上运行，其加速比CPU上的计算快10倍。丹佛自发面部动作强度（DISFA）数据库的微笑检测测试准确率达到99.45%，显著优于现有的方法，准确率范围从65.55%到79.67%。该实验在各种变化下重新运行，例如保留较少的中性图像或仅保留低强度或高强度，其中结果被广泛比较。
2015-08-26 cs.CV cs.LG cs.NE
Graph-Time Convolutional Neural Networks
Delft University of Technology（代尔夫特理工大学）
时空数据可以表示为图上的过程，该过程显式或隐式地捕获它们的空间关系。如何利用这种结构来学习表示是使用图形时的关键挑战之一。在本文中，我们表示的时空关系，通过产品图和发展的第一原理图-时间卷积神经网络（GTCNN）。GTCNN是一种组合架构，每一层都包括一个图时间卷积模块、一个图时间池化模块和一个非线性。我们通过遵循卷积运算符的移位和求和原理来开发一个图时间卷积滤波器，以在乘积图上学习更高级别的特征。乘积图本身是参数化的，因此我们也可以从数据中学习时空耦合。我们开发了一个零垫池，保留了空间图（关于数据的先验），同时减少了活动节点的数量和参数。合成和真实数据的实验结果证实了不同的组件，并与基线和国家的最先进的解决方案进行比较。
2021-03-02 cs.AI cs.LG cs.NE
Plant Disease Detection using Region-Based Convolutional Neural Network
University of Dhaka（达卡大学）
本文提出一种改进的轻量级基于区域的卷积神经网络模型，用于自动检测番茄叶片病害，在基准数据集上表现良好，并可结合无人机图像系统实现植物健康监测。
2023-09-12 cs.CV cs.LG
Convergence of Deep Convolutional Neural Networks
Old Dominion University（欧道明大学）；Sun Yat-sen University（中山大学）
深度神经网络的收敛是建立深度学习数学基础的基础，因为网络的深度趋于无穷大。在之前的研究中，我们研究了具有固定宽度的深度ReLU网络的这个问题。这并不包括重要的卷积神经网络，其中的宽度从一层到另一层不断增加。出于这个原因，我们首先研究一般ReLU网络随着宽度增加的收敛性，然后将所得结果应用于深度卷积神经网络。事实证明，这种收敛性归结为矩阵大小不断增加的无限乘积的收敛性，而文献中尚未考虑过这一点。我们建立了这样的矩阵无穷乘积收敛的充分条件。基于这些条件，我们提出了一般深度ReLU网络随着宽度增加而分段收敛的充分条件，以及深度ReLU卷积神经网络的逐点收敛的充分条件。
2022-01-23 cs.LG
Canonical convolutional neural networks
Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）；Fraunhofer Center for Machine Learning and SCAI（弗劳恩霍夫机器学习中心与算法与科学计算研究所）；University of Bonn（波恩大学）
本文介绍了卷积神经网络的规范权值归一化。受正则张量分解的启发，我们将所谓的正则网络中的权重张量表示为外部向量乘积的缩放和。特别地，我们以分解形式训练网络权重，其中针对每个模式分别优化尺度权重。此外，类似于权重归一化，我们包括一个全局缩放参数。我们研究的初始化的标准形运行的权力方法和随机绘制高斯分布或均匀分布。我们的结果表明，我们可以取代功率方法与廉价的初始化标准分布。规范的重新参数化导致MNIST，CIFAR10和SVHN数据集上的竞争性归一化性能。此外，该公式简化了网络压缩。一旦训练收敛，标准形式允许通过截断参数和来方便地压缩模型。
2022-06-03 cs.LG
An Evaluation of Edge TPU Accelerators for Convolutional Neural Networks
Enfabrica；Google（谷歌）；Cruise；Google Research（谷歌研究院）
Edge TPU是低功耗边缘设备的加速器领域，广泛用于Coral和Pixel设备等各种Google产品。在本文中，我们首先讨论了边缘TPU的主要微架构细节。然后，我们广泛评估了三类边缘TPU，涵盖不同的计算生态系统，这些TPU目前部署在Google产品中，或者是423 K独特的卷积神经网络中的产品管道。基于这一广泛的研究，我们讨论了关键的和可解释的微架构的见解研究类边缘TPU。我们主要讨论Edge TPU加速器如何在具有不同结构的卷积神经网络上执行。最后，我们介绍了我们正在努力开发高精度的学习机器学习模型，以估计加速器的主要性能指标，如延迟和能耗。这些学习的模型使加速器的评估速度大大加快（以毫秒为单位），作为耗时的周期精确模拟器的替代方案，并为快速硬件/软件协同设计提供了令人兴奋的机会。
2022-10-11 cs.AR cs.LG
Tensor Graph Convolutional Network for Dynamic Graph Representation Learning
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chinese Academy of Sciences（中国科学院）；Southwest University（西南大学）
本文提出张量图卷积网络，通过张量形式表示动态图并利用张量积在单一卷积框架中同时建模时空特征，在真实数据集上取得了最先进性能。
2024-01-13 cs.AI cs.LG
Graph-Time Convolutional Neural Networks: Architecture and Theoretical Analysis
Delft University of Technology（代尔夫特理工大学）
设计和分析时空网络数据的学习模型对于预测、异常检测和多智能体协调等任务具有重要意义。图卷积神经网络（GCNN）是一种从时不变网络数据中学习的成熟方法。图卷积操作提供了一种原则性的方法来聚合多分辨率信息。然而，将卷积原理学习和相应分析扩展到时空域是具有挑战性的，因为时空数据具有更多的内在依赖性。因此，需要更高的灵活性来联合捕获空间和时间依赖性，以学习有意义的高阶表示。在这里，我们利用产品图来表示数据中的时空依赖关系，并引入图-时间卷积神经网络（GTCNN）作为辅助学习的原则架构。所提出的方法可以与任何类型的产品图，我们还介绍了一个参数产品图学习也时空耦合。卷积原理还允许与GCNN类似的数学易处理性。特别地，稳定性结果表明GTCNN对空间扰动是稳定的，但在可辨别性和鲁棒性之间存在隐含的权衡;即，模型越复杂，稳定性越差。基准数据集上的大量数值结果证实了我们的发现，并显示GTCNN与最先进的解决方案相比毫不逊色。我们预计GTCNN将成为更复杂模型的起点，这些模型将实现良好的性能，但也从根本上扎根。
2022-06-30 cs.LG
Autoregressive Convolutional Neural Networks for Asynchronous Time Series
Imperial College London（帝国理工学院）；Hellebore Capital Limited（Hellebore Capital有限公司）；Ecole Polytechnique（巴黎综合理工学院）
我们提出了显著性偏移卷积神经网络，这是一种用于多元异步时间序列回归的深度卷积网络架构。该模型受到标准自回归（AR）模型和递归神经网络中使用的门控机制的启发。它涉及一个类似AR的加权系统，其中最终预测值是作为调整后回归量的加权和获得的，而权重是通过卷积网络学习的数据相关函数。该架构专为异步时间序列的应用程序而设计，并在以下数据集上进行评估：对冲基金专有的信用衍生品指数超过200万次报价的数据集，人工生成的噪声自回归序列和UCI家庭用电量数据集。与卷积和递归神经网络相比，所提出的架构取得了令人鼓舞的结果。
2018-06-12 cs.LG
Sum-Product-Attention Networks: Leveraging Self-Attention in Probabilistic Circuits
TU Darmstadt（达姆施塔特工业大学）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）
概率电路（PC）已经成为概率建模中学习和推理的事实标准。我们介绍和产品注意力网络（SPAN），一个新的生成模型，集成了概率电路与Transformers。SPAN使用自注意力来选择概率电路中最相关的部分，这里是和积网络，以提高底层和积网络的建模能力。我们表明，在建模时，SPAN专注于一组特定的独立的假设，在每一个产品层的总和产品网络。我们的实证评估表明，SPAN优于国家的最先进的概率生成模型在各种基准数据集，以及是一个有效的生成图像模型。
2021-09-14 cs.LG
PCB Defect Detection Using Denoising Convolutional Autoencoders
University of Isfahan（伊斯法罕大学）；Pardisan Rayaneh System Company（帕尔迪桑·拉亚内系统公司）
印刷电路板（PCB）是制造电子产品的最重要阶段之一。PCB中的一个小缺陷可能会导致最终产品出现重大缺陷。因此，检测PCB中的所有缺陷并定位它们至关重要。在本文中，我们提出了一种基于去噪卷积自编码器的方法来检测有缺陷的PCB并定位缺陷。去噪自动编码器获取损坏的图像并尝试恢复完整的图像。我们用有缺陷的PCB训练我们的模型，并强迫它修复有缺陷的部件。我们的模型不仅可以检测各种缺陷并定位它们，而且还可以修复它们。通过从输入中减去修复的输出，定位有缺陷的部件。实验结果表明，我们的模型检测有缺陷的PCB具有较高的准确性（97.5%）相比，国家的最先进的作品。
2020-08-28 cs.LG eess.IV
ColdGuess: A General and Effective Relational Graph Convolutional Network to Tackle Cold Start Cases
Amazon Inc.（亚马逊公司）；AWS AI Education and Research（AWS人工智能教育与研究部门）
在线零售网站中的低质量列表和不良行为威胁着电子商务业务，因为这些导致次优的购买体验并侵蚀客户信任。当一个新的列表被创建时，如何判断它具有良好的质量？该方法是否有效、快速且可扩展？先前的方法通常具有三个限制/挑战：（1）不能处理新卖家/列表缺乏足够的销售历史的冷启动问题。(2)无法大规模地对数亿个列表进行评分，或者在可扩展性方面牺牲性能。(3)具有巨大的电子商务业务规模的大规模图的空间挑战。为了克服这些限制/挑战，我们提出了ColdGuess，这是一种基于异构卖家产品图的基于归纳图的风险预测器，它可以有效地识别大规模的风险卖家/产品/列表。ColdGuess通过合并节点来处理大规模图，并使用齐次影响来解决冷启动问题1。对真实数据的测试表明，随着未知特征数量的增加，ColdGuess算法具有稳定的性能。在新卖家销售新产品的冷启动情况下，它比lightgbm 2高出34 pcp ROC-AUC。由此产生的系统ColdGuess是有效的，能够适应不断变化的风险卖方行为，并且已经投入生产
2022-05-26 cs.AI cs.LG
A Scalable, Interpretable, Verifiable & Differentiable Logic Gate Convolutional Neural Network Architecture From Truth Tables
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
我们提出了$\mathcal{T}$ Ruth $\mathcal{T}$ able net（$\mathcal{TT}$ net），一种新的卷积神经网络（CNN）架构，通过设计，解决了可解释性，形式化验证和逻辑门转换的开放挑战。$\mathcal{TT}$网络是使用CNN的过滤器构建的，这些过滤器相当于易处理的真值表，我们称之为学习真值表（LTT）块。LTT块的对偶形式允许使用梯度下降轻松训练真值表，并使这些CNN易于解释、验证和推断。具体而言，$\mathcal{TT}$网是一种深度CNN模型，在训练后转换之后，可以自动表示为布尔决策树的总和，或表示为析取/合取范式（DNF/CNF）公式的总和，或表示为紧凑的布尔逻辑电路。我们证明了$\mathcal{TT}$网在多个数据集上的有效性和可扩展性，与最先进的方法相比，具有与决策树相当的可解释性，快速完整/健全的形式化验证和可扩展的逻辑门表示。我们相信这项工作代表了使CNN在现实世界的关键应用中更加透明和值得信赖的一步。
2023-02-02 cs.AI cs.FL cs.LG
Ball Mill Fault Prediction Based on Deep Convolutional Auto-Encoding Network
Huazhong University of Science and Technology（华中科技大学）；Wugang Resources Group Co., Ltd.（武钢资源集团有限公司）
本文提出基于深度卷积自编码神经网络（DCAN）的异常检测方法，利用正常运行振动数据训练，克服标注与数据不平衡问题，有效识别球磨机轴承故障，提高检测效率并降低维护成本。
2023-11-09 cs.AI cs.LG
