Evaluating Distribution System Reliability with Hyperstructures Graph Convolutional Nets
Temple University（天普大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
如今，电力系统界广泛认识到，为了满足不断扩大的能源部门的需求，不再可能仅仅依靠基于物理的模型，如果没有人工智能（AI）工具的系统集成，能源系统的可靠，及时和可持续运行是不可能的。尽管如此，人工智能在电力系统中的应用仍然有限，而人工智能的整合，特别是在配电网投资规划中，仍然是一个未知的领域。我们迈出了弥合这一差距的第一步，展示了如何图卷积网络加上超结构表示学习框架可以用于准确，可靠和计算效率高的配电网规划与弹性目标。我们进一步提出了一个超结构图卷积神经网络（Hyper-GCNN），以捕捉隐藏的高阶表示的配电网络与注意力机制。我们的数值实验表明，与配电网规划中的主流方法相比，所提出的Hyper-GCNN方法在计算效率上有了很大的提高，并且明显优于来自深度学习（DL）社区的七种最先进的模型。
2022-11-14 cs.AI cs.LG stat.ML
T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor
Samsung AI Center, Cambridge（三星人工智能中心（剑桥））
最近的研究结果表明，过度参数化虽然对于成功训练深度神经网络至关重要，但也会引入大量冗余。张量方法有可能通过利用这种冗余来有效地参数化过完备表示。在本文中，我们提出完全参数化卷积神经网络（CNN）与一个单一的高阶，低秩张量。以前关于网络张量化的工作主要集中在参数化单个层（卷积或全连接），并逐层单独执行张量化。相比之下，我们建议通过使用单个高阶张量对其进行参数化来共同捕获神经网络的完整结构，其模式表示网络的每个架构设计参数（例如卷积块的数量，深度，堆栈的数量，输入特征等）。这种参数化允许正则化整个网络并大大减少参数的数量。我们的模型是端到端可训练的，施加在权重张量上的低秩结构充当隐式正则化。我们研究了具有丰富结构的网络的情况，即全卷积网络（FCN），我们建议用单个8阶张量参数化。我们表明，我们的方法可以实现卓越的性能与小的压缩率，并达到高压缩率，可以忽略不计的准确性下降的挑战性任务的人体姿态估计。
2019-04-04 cs.AI cs.CV cs.LG
Universal Approximation of Input-Output Maps by Temporal Convolutional Nets
University of Illinois（伊利诺伊大学）
最近序列到序列建模从递归网络架构转移到卷积网络架构，这是由于在训练和操作中的计算优势，同时仍然实现了有竞争力的性能。对于具有有限的长期时间依赖性的系统，递归网络的近似能力基本上等同于时间卷积网络（TCN）。我们证明了TCN可以近似一个大类的输入-输出映射具有近似有限的内存任意容错。此外，我们根据网络的宽度和深度以及原始输入-输出映射的连续性模量推导出深度ReLU TCN的定量近似率，并将这些结果应用于允许有限维状态空间实现的系统的输入-输出映射（即，循环模型）。
2019-10-27 cs.LG cs.SY eess.SY
Fast Convolutional Nets With fbfft: A GPU Performance Evaluation
Facebook AI Research（脸书人工智能研究院）
我们研究了卷积神经网络在当前一代NVIDIA图形处理器上的训练性能。我们介绍了两种新的快速傅里叶变换卷积实现：一种基于NVIDIA的cuFFT库，另一种基于Facebook编写的FFT实现fbfft，它为整个CNN提供了比cuFFT显著的加速（超过1.5倍）。这两种卷积实现都是开源的，并且对于许多常见的卷积层，比NVIDIA的cuDNN实现更快（对于某些合成内核配置，速度高达23.5倍）。我们讨论了卷积的不同性能机制，比较了直接时域卷积优于傅立叶频域卷积的区域。还提供了有关NVIDIA GPU硬件在fbfft实现中的算法应用的详细信息。
2015-04-10 cs.DC cs.LG cs.NE
Evaluation of Deep Convolutional Nets for Document Image Classification and Retrieval
Ryerson University（瑞尔森大学）
本文提出了一种新的最先进的文档图像分类和检索，使用深卷积神经网络（CNN）学习的特征。在对象和景物分析中，深度神经网络能够学习从像素输入到简洁和描述性表示的分层抽象链。目前的工作探讨了这种能力在文档分析领域，并证实，这种表示策略优于各种流行的手工制作的替代品。实验还表明，（i）从CNN中提取的特征对压缩具有鲁棒性，（ii）在非文档图像上训练的CNN可以很好地转移到文档分析任务中，以及（iii）如果有足够的训练数据，则不需要强制执行特定于区域的特征学习。这项工作还提供了IIT-CDIP集合的一个新的标记子集，包含16个类别的40万个文档图像，可用于训练新的CNN进行文档分析。
2015-02-25 cs.CV cs.IR cs.LG
Clebsch-Gordan Nets: a Fully Fourier Space Spherical Convolutional Neural Network
The University of Chicago（芝加哥大学）；Toyota Technological Institute（丰田工业研究所）
Cohen \emph{et al.}最近的工作通过使用群表示理论和非交换调和分析的思想，以旋转不变的方式学习球面图像，取得了最先进的结果。在本文中，我们提出了一个概括的这项工作，一般表现出更好的性能，但从实现的角度来看，实际上是更简单。所提出的架构的一个不寻常的功能是，它使用的Clebsch-Gordan变换作为其唯一的非线性源，从而避免重复的前向和后向傅立叶变换。本文的基本思想推广到构造神经网络是不变的其他紧凑组的行动。
2018-11-10 cs.LG stat.ML
Convolutional Neural Nets vs Vision Transformers: A SpaceNet Case Study with Balanced vs Imbalanced Regimes
Department of Computer Science（计算机科学系）；San Francisco State University（旧金山州立大学）
本研究在SpaceNet数据集的平衡与非平衡划分下对比EfficientNet-B0与ViT-Base，发现类别平衡缩小架构性能差距，CNN仍具效率优势，并公开相关资源支持复现。
2025-09-29 cs.AI cs.CV cs.LG
Baseline Detection in Historical Documents using Convolutional U-Nets
Deutsches Medizinrechenzentrum GmbH & Co KG（德国医学计算中心有限两合公司）
基线检测仍然是一个具有挑战性的任务，历史文档的异构集合。我们提出了一种新的方法来提取基线在这样的设置，变成了获奖作品ICDAR 2017年竞赛的基线检测（cBAD）。它利用深度卷积网络（CNN）进行基线的实际提取，以及预处理步骤中简单形式的布局分析。据我们所知，这是第一个基于CNN的基线提取系统，应用U-网络架构和滑动窗口检测，从提取的候选线的高局部精度中获益。最终的基线后处理补充了我们的方法，补偿了主要由于滑动窗口检测期间丢失上下文信息而导致的不准确性。我们在cBAD数据集上单独对系统的组件进行了实验评估。此外，我们还研究了它如何通过用于ICDAR 2017年挑战性中世纪手稿布局分析竞赛（HisDoc）基线提取任务的数据集来推广到不同的数据。与HisDoc报告的结果相比，它的表现也优于后者的参赛者。
2018-10-22 cs.CV cs.LG
Entangled q-Convolutional Neural Nets
Institute of Physics, University of Amsterdam（阿姆斯特丹大学物理研究所）
我们介绍了一种机器学习模型，q-CNN模型，它与卷积神经网络共享关键特征，并允许张量网络描述。作为示例，我们将q-CNN应用于MNIST和Fashion MNIST分类任务。我们解释了网络如何将量子态与每个分类标签相关联，并研究了这些网络态的纠缠结构。在我们对MNIST和Fashion-MNIST数据集的实验中，我们观察到在训练过程中，随着网络学习数据的精细特征，左/右以及上/下二分纠缠熵都有明显的增加。更一般地说，我们观察到纠缠熵的值和成本函数的值之间存在普遍的负相关性，这表明网络需要学习纠缠结构才能准确地执行任务。这支持了利用纠缠结构作为指导来设计适合于给定任务的机器学习算法的可能性。
2021-03-06 cs.LG quant-ph stat.ML
Convolutional Dynamic Alignment Networks for Interpretable Classifications
MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出卷积动态对齐网络CoDA-Nets，通过动态对齐单元实现输入依赖的线性变换，在保持与ResNet、VGG相当分类性能的同时，提供高质量、可线性分解的内在可解释性。
2024-01-15 cs.LG
A Taxonomy of Deep Convolutional Neural Nets for Computer Vision
Indian Institute of Science（印度科学学院）
解决计算机视觉问题的传统架构及其成功程度严重依赖于手工制作的功能。然而，最近，深度学习技术提供了一种引人注目的替代方案-自动学习特定问题的特征。有了这种新的范式，计算机视觉中的每一个问题现在都在从深度学习的角度重新审视。因此，了解什么样的深度网络适合特定问题变得非常重要。虽然存在对这种快速发展的范式（即深度网络）的一般调查，但缺少针对计算机视觉的调查。我们特别考虑了广泛用于计算机视觉的一种形式的深度网络-卷积神经网络（CNN）。我们从“AlexNet”作为我们的基础CNN开始，然后研究随着时间的推移提出的广泛变化，以适应不同的应用。我们希望我们的食谱式调查将作为指导，特别是对于打算将深度学习技术用于计算机视觉的新手从业者。
2016-01-25 cs.CV cs.LG cs.MM
DeepLung: 3D Deep Convolutional Nets for Automated Pulmonary Nodule Detection and Classification
University of California, Irvine（加州大学尔湾分校）；Baidu Research（百度研究院）
在这项工作中，我们提出了一个完全自动化的肺癌CT诊断系统，DeepLung。DeepLung包含两个部分，结节检测和分类。考虑到肺部CT数据的三维特性，设计了两个三维网络分别用于结节检测和分类。具体来说，3D Faster R-CNN被设计用于结节检测，具有类似U网的编码器-解码器结构，以有效地学习结节特征。对于结节分类，提出了具有3D双路径网络（DPN）特征的梯度提升机（GBM）。结节分类子网络在LIDC-IDRI的公共数据集上进行了验证，其性能优于最先进的方法，并超过了四位经验丰富的医生的平均性能。对于DeepLung系统，首先通过结节检测子网络检测候选结节，并通过分类子网络进行结节诊断。大量的实验结果表明，DeepLung在LIDC-IDRI数据集上的结节级别和患者级别诊断方面与经验丰富的医生相当。
2017-09-16 cs.CV cs.LG cs.NE
Video Anomaly Detection Using Pre-Trained Deep Convolutional Neural Nets and Context Mining
NSF Center for Cloud and Autonomic Computing（NSF云与自主计算中心）；Department of Computer Science（计算机科学系）；The University of Arizona（亚利桑那大学）；The University of North Texas（北得克萨斯大学）
异常检测对于智能监控系统及时检测任何恶意活动至关重要。许多使用深度学习方法的视频异常检测方法关注具有固定场景的单个摄像机视频流。这些深度学习方法使用具有大复杂度的大规模训练数据。作为一种解决方案，在本文中，我们展示了如何使用预训练的卷积神经网络模型来执行特征提取和上下文挖掘，然后使用具有相对较低模型复杂度的去噪自动编码器来提供高效准确的监视异常检测，这对于物联网（IoT）边缘设备等资源受限的设备非常有用。我们的异常检测模型根据从选定的嵌入式计算机视觉模型（如对象分类和目标检测）中获得的高级特征做出决策。此外，我们从高层次的功能，以进一步提高我们的视频异常检测方法的性能得到上下文属性。我们使用两个UCSD数据集来证明我们的方法具有相对较低的模型复杂度，可以实现与最先进的方法相比相当的性能。
2020-10-06 cs.CV cs.LG
Network Inversion of Convolutional Neural Nets
IIT Bombay（印度理工学院孟买分校）
针对神经网络决策不透明的“黑箱”问题，提出一种基于精心条件化生成器的网络反演方法，通过学习输入空间数据分布、最小化生成图像特征余弦相似度，提升神经网络的可解释性与可信度。
2024-11-26 cs.CV cs.LG
Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations
University of Notre Dame（圣母大学）；Lawrence Livermore National Laboratories（劳伦斯利弗莫尔国家实验室）
缺失数据的插补是一项在许多工程和科学应用中起着至关重要作用的任务。这种缺失的数据通常出现在实验观测中，原因是传感器的限制或后处理转换误差。其他时候，它们来自于计算机模拟中的数值和算法约束。风暴潮的数值模拟就是其中的一个实例，也是本文的应用重点。模拟数据对应于感兴趣的地理域内的多个保存点上的时间序列浪涌预测，从而产生时空插补问题，其中浪涌点在空间和时间上高度相关，并且缺失值区域在结构上随机分布。最近，诸如神经网络方法的机器学习技术已经被开发并用于缺失数据填补任务。生成对抗网络（GANs）和基于GAN的技术作为无监督机器学习方法特别受到关注。在这项研究中，通过应用卷积神经网络而不是完全连接的层来更好地捕获数据的相关性并促进从相邻浪涌点的学习，从而提高了生成对抗性填补网络（GAIN）的性能。对研究数据特别需要的方法的另一个调整是将点的坐标视为附加特征，以通过卷积层为模型提供更多信息。我们将我们提出的方法命名为卷积生成对抗性填补网络（Conv-GAIN）。通过考虑风暴潮数据所需的改进和适应，评估所提出的方法的性能，并与原始GAIN和其他一些技术进行比较。结果表明，Conv-GAIN具有更好的性能比替代方法的研究数据。
2021-11-26 cs.AI cs.CE cs.LG
Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs
Univ. of California, Los Angeles（加州大学洛杉矶分校）；Google Inc.（谷歌公司）；CentraleSupélec（巴黎中央理工-高等电力学院）；INRIA（法国国家信息与自动化研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
深度卷积神经网络（DCNN）最近在高级视觉任务（诸如图像分类和目标检测）中显示出最先进的性能。这项工作汇集了DCNN和概率图形模型的方法，用于解决像素级分类（也称为“语义图像分割”）的任务。我们发现，DCNN最后一层的响应对于准确的对象分割来说并不充分。这是由于DCNN的不变性使其适合高级任务。我们通过将最终DCNN层的响应与完全连接的条件随机场（CRF）相结合，克服了深度网络的这种较差的本地化特性。我们的“DeepLab”系统能够以超越以往方法的准确度定位片段边界。量化，我们的方法在PASCAL VOC-2012语义图像分割任务中设置了新的最先进的技术，在测试集中达到了71.6%的IOU准确率。我们展示了如何有效地获得这些结果：仔细的网络重新利用和小波社区的“孔”算法的新应用允许在现代GPU上以每秒8帧的速度密集计算神经网络响应。
2016-06-07 cs.CV cs.LG cs.NE
Harnessing the Power of Infinitely Wide Deep Nets on Small-data Tasks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Carnegie Mellon University（卡内基梅隆大学）
最近的研究表明，以下两个模型是等效的：（a）无限宽神经网络（NN），通过具有无限小学习率的梯度下降在l2损失下训练;（b）关于所谓的神经切线核（NTK）的核回归（Jacot et al.，2018年）。一种计算NTK及其卷积对应物的有效算法出现在Arora et al.（2019 a）中，该算法允许在CIFAR-10等数据集上研究无限宽网络的性能。然而，内核方法的超二次运行时间使它们最适合小数据任务。我们报告的结果表明，神经切线核在低数据任务上表现强劲。1.在UCI数据库的分类/回归任务的标准测试平台上，NTK SVM击败了以前的黄金标准随机森林（RF）以及相应的有限网络。2.在具有10 - 640个训练样本的CIFAR-10上，卷积NTK始终击败ResNet-34 1% -3%。3.在具有迁移学习的ImageNet上的Few-Shot图像分类任务的VOC 07测试平台上（Goyal等人，2019年），用卷积NTK SVM取代目前使用的线性SVM，不断提高性能。4.将NTK的性能与其所源自的有限宽度网进行比较，NTK行为开始于比理论分析所建议的更低的网宽度（Arora等人，2019年a）。NTK的功效可以追溯到较低的输出方差。
2019-10-27 cs.LG stat.ML
Do Deep Nets Really Need to be Deep?
University of Toronto（多伦多大学）；Microsoft Research（微软研究院）
目前，深度神经网络是语音识别和计算机视觉等问题的最新技术。在这个扩展的摘要中，我们证明了浅层前馈网络可以学习之前由深层网络学习的复杂函数，并实现以前只能通过深层模型实现的精度。此外，在某些情况下，浅层神经网络可以使用与原始深度模型相似的参数总数来学习这些深度函数。我们在TIMIT音素识别任务上评估了我们的方法，并且能够训练浅层全连接网络，其性能类似于复杂的，精心设计的深度卷积架构。我们在训练浅层神经网络以模拟更深层次模型方面的成功表明，可能存在比目前可用的更好的训练浅层前馈网络的算法。
2014-10-11 cs.LG cs.NE
DeepSat V2: Feature Augmented Convolutional Neural Nets for Satellite Image Classification
Louisiana State University（路易斯安那州立大学）；Bay Area Environmental Research Institute（湾区环境研究所）；NASA Ames Research Center（美国国家航空航天局埃姆斯研究中心）
卫星图像分类是遥感、计算机视觉和机器学习的交叉点上的一个具有挑战性的问题。由于卫星数据固有的高度可变性，大多数当前的对象分类方法不适合处理卫星数据集。卫星图像分析的进展也因缺乏具有多个类别标签的单一标签高分辨率数据集而受到抑制。在这项工作的初步版本中，我们引入了两个新的高分辨率卫星图像数据集（SAT-4和SAT-6），并提出了基于“手工”特征和深度信念网络（DBN）的DeepSat分类框架。本文是一个扩展版本，我们提出了一个端到端的框架，利用改进的架构，增强了卷积神经网络（CNN）与手工制作的功能（而不是使用基于DBN的架构）进行分类。我们的框架可以访问从手工制作的特征以及CNN特征图获得的融合空间信息，在SAT-4和SAT-6上分别实现了99.90%和99.84%的准确率，超过了所有其他最先进的结果。基于分布可分性准则的统计分析证实了我们的方法在学习更好的卫星图像表示的鲁棒性。
2019-11-15 cs.CV cs.LG eess.IV
Chirality Nets for Human Pose Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了手征网络，这是一个与“手征变换”等变的深度网络家族，即，产生手性对的转化。通过参数共享、奇对称和偶对称，我们提出并证明了满足等方差特性的深度网络标准构建块的变体，包括全连接层、卷积层、批量归一化和LSTM/GRU单元。所提出的层导致更有效的数据表示和利用对称性减少计算。我们评估手征网络的任务，人体姿态回归，自然利用左/右镜像的人体。我们研究了三个姿态回归任务：从视频中估计3D姿态，2D姿态预测和基于骨架的活动识别。我们的方法实现/匹配最先进的结果，在小数据集和有限的数据设置上有更显著的收益。
2019-10-31 cs.CV cs.LG
Evolutionary Deep Nets for Non-Intrusive Load Monitoring
该研究针对内存与计算受限场景，提出自适应稀疏进化训练与热启动压缩方法，在非侵入式负荷监测中优化卷积网络，提升F1值并减少权重与连接数，但受样本限制无法验证泛化性能。
2026-10-23 cs.AI cs.LG cs.NE
On the Behavior of Convolutional Nets for Feature Extraction
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC））；Universitat Politècnica de Catalunya - BarcelonaTech (UPC)（加泰罗尼亚理工大学 - 巴塞罗那技术大学（UPC））；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
深度神经网络是表示学习技术。在训练过程中，深度网络能够生成机器学习中前所未有的规模和细节的描述性语言。提取在训练的CNN模型中编码的描述性语言（在图像数据的情况下），并将其重新用于其他目的是一个感兴趣的领域，因为它提供了对CNN在处理数百万图像之后先前学习的视觉描述符的访问，而不需要昂贵的训练阶段。到目前为止，对这一领域的贡献（通常称为特征表示转移或迁移学习）纯粹是经验性的，从靠近输出的单层提取所有CNN特征，并通过将它们馈送到分类器来测试它们的性能。这种方法提供了一致的结果，虽然其相关性仅限于分类任务。在一种完全不同的方法中，在本文中，我们统计测量了在深度CNN中发现的每个特征的区分能力，当用于表征11个数据集的每一类时。我们试图为CNN特征的行为提供新的见解，特别是来自卷积层的特征，因为这可能与它们在知识表示和推理中的应用相关。我们的研究结果证实，低，中级别的功能可能会表现出不同的高级别的功能，但只有在一定的条件下。我们发现，所有的CNN功能都可以用于知识表示的目的，无论是通过他们的存在或不存在，加倍的信息，一个单一的CNN功能可以提供。我们还研究了这些特征可能包含多少噪声，并提出了一种阈值方法来丢弃大部分噪声。所有这些见解都直接应用于CNN嵌入空间的生成。
2018-01-29 cs.AI cs.LG cs.NE
Quantum Deep Learning: Sampling Neural Nets with a Quantum Annealer
School of Computing Science（计算科学学院）；University of Glasgow（格拉斯哥大学）；OxBrdgRbtx Ltd（OxBrdgRbtx有限公司）
我们证明了将经典学习的深度神经网络框架为基于能量的模型的可行性，该模型可以在一步量子退火机上处理，以利用快速采样时间。我们提出的方法，以克服两个障碍的高分辨率图像分类的量子处理单元（QPU）：所需的数量和二进制性质的模型状态。通过这种新方法，我们成功地将卷积神经网络转移到QPU，并显示出至少一个数量级的分类加速潜力。
2021-07-19 cs.LG quant-ph
Convolutional Bipartite Attractor Networks
University of Colorado, Boulder（科罗拉多大学博尔德分校）；Google Research（谷歌研究院）
在人类感知和认知中，大脑执行的一项基本操作是解释：从嘈杂的、不完整的和本质上模糊的证据中构建连贯的神经状态。解释的问题是很好地匹配到一个早期的，往往被忽视的架构，吸引子网络-一个经常性的神经网络，执行约束满足，填补缺失的功能，并通过能量最小化动态清理噪声数据。我们根据现代深度学习方法重新审视吸引子网络，并提出了一种具有新的训练损失，激活函数和连接约束的卷积二分架构。我们解决了比以前探索的吸引子网络更大的问题，并展示了它们在图像完成和超分辨率方面的潜力。我们认为，这种架构比更深入的前馈模型更有动力，并且是一系列监督和无监督任务上更昂贵的基于采样的生成方法的可行替代方案。
2019-09-26 cs.LG cs.NE stat.ML
Optimising for Interpretability: Convolutional Dynamic Alignment Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出卷积动态对齐网络（CoDA Nets），通过动态对齐单元实现输入依赖的线性变换，使分类输出可分解为输入贡献，在保持与 ResNet、VGG 相当分类性能的同时，提供优于现有归因方法的模型内在可解释性，并可与常规网络结合扩展到复杂数据集。
2024-01-15 cs.CV cs.LG stat.ML
Hybrid machine-learned homogenization: Bayesian data mining and convolutional neural networks
University of Stuttgart（斯图加特大学）
除了通常部署的特征用于微结构性能预测之外，本研究旨在通过开发新的特征描述符来改进机器学习预测。因此，贝叶斯注入的数据采掘进行获取样本包含无法解释的当前特征集的特征，并提出合适的特征描述符来描述这些特征。特征描述符的迭代开发产生了37个新特征，能够将预测误差减少约三分之一。为了进一步改进预测模型，部署卷积神经网络（Conv Nets）以监督机器学习方式生成辅助特征。Conv Nets能够超越基于特征的方法。这方面的一个关键因素是新提出的数据增强计划和所谓的深度初始模块的开发。基于特征的方法和卷积神经网络的组合导致混合神经网络：在单个模型中并行部署两个神经网络原型实现了低于1%的相对均方根误差，与在相同数据上操作的先前模型相比，误差减少了一半以上。混合神经网络被发现足够强大的扩展到预测可变的材料参数，从低到高的相位差，同时允许任意的微观结构的几何形状在同一时间。
2023-02-24 cs.LG
Convolutional Nets for Diabetic Retinopathy Screening in Bangladeshi Patients
Saratoga High School（萨拉托加高中）；BRAC University JPG School of Public Health（BRAC大学JPG公共卫生学院）
糖尿病是孟加拉国最流行的慢性疾病之一，因此，糖尿病视网膜病变（DR）在人口中很普遍。DR是一种由糖尿病引起的眼部疾病，如果在早期阶段没有发现和治疗，可能导致失明。不幸的是，DR的诊断需要受过医学训练的专业人员，但与其人口相比，孟加拉国的专家有限。此外，筛查过程往往费用昂贵，使许多人无法得到及时和适当的诊断。为了解决这个问题，我们引入了一种深度学习算法，可以筛选DR的不同阶段。我们使用最先进的CNN架构来基于视网膜眼底图像诊断患者。本文是我们专门为孟加拉国患者开发的DR诊断和筛查算法的实验评估。我们使用来自孟加拉国医院和实地研究的真实患者的视网膜图像数据的单独池进行此验证研究。实验结果表明，该算法能够有效地筛选孟加拉国人的眼睛，并且能够准确地确定DR的阶段，在两个孟加拉国人眼睛的验证集上的总体准确率分别为92.27%和93.02%。结果证实了该算法的能力，用于实际的临床环境和应用程序，由于其高精度和classwise指标。我们的算法在应用程序Drishti中实现，该应用程序用于筛选生活在孟加拉国农村地区的患者的DR，在那里获得专业筛查的机会有限。
2021-07-31 cs.CV cs.LG eess.IV
Deep Generalized Convolutional Sum-Product Networks
KTH Royal Institute of Technology（瑞典皇家理工学院）；MessageBird（MessageBird公司）；University of Washington（华盛顿大学）
和积网络（SPN）是一种分层的图形模型，结合了深度学习和概率建模的优点。SPN为需要对高维噪声输入进行精确概率推理的应用提供了独特的优势。然而，与卷积神经网络相比，它们难以捕捉图像数据中复杂的空间关系。为了缓解这个问题，我们引入了深度广义卷积和积网络（DGC-SPN），它以类似于CNN的方式对空间特征进行编码，同时保留了概率SPN模型的有效性。与现有的基于SPN的图像表示相反，DGC-SPN允许通过膨胀和步幅的新参数化来重叠卷积补丁，从而显著提高特征覆盖率和特征分辨率。DGC-SPN在多个视觉数据集上以及在生成和区分任务（包括图像修补和分类）上都大大优于其他SPN架构。这些贡献通过第一个简单，可扩展和GPU优化的SPN实现得到了加强，并与广泛使用的Keras/TensorFlow框架集成。由此产生的模型是完全概率和通用的，但有效和直接应用于实际应用中，代替传统的深度网络。
2020-09-22 cs.CV cs.LG stat.ML
$Π-$nets: Deep Polynomial Neural Networks
Imperial College London（帝国理工学院）；Department of Computing, Imperial College London, UK（帝国理工学院计算机系）
深度卷积神经网络（DCNN）目前是计算机视觉和机器学习中生成学习和判别学习的首选方法。DCNN的成功可以归因于对其构建块的仔细选择（例如，残余块、整流器、复杂的归一化方案，仅举几例）。在本文中，我们提出了$Π$ -Nets，一类新的DCNN。$Π$ -网络是多项式神经网络，即，输出是输入的高阶多项式。$Π$ -网络可以使用特殊类型的跳跃连接来实现，它们的参数可以通过高阶张量来表示。我们凭经验证明，$Π$ -Nets比标准DCNN具有更好的表示能力，并且它们甚至在大量任务和信号中不使用非线性激活函数的情况下产生良好的结果，即，图像、图表和音频。当与激活函数结合使用时，$Π$ -Nets可在具有挑战性的任务（如图像生成）中产生最先进的结果。最后，我们的框架阐明了为什么最近的生成模型，如StyleGAN，改进了他们的前辈，例如，ProGAN。
2020-03-26 cs.CV cs.LG stat.ML
Wide Compression: Tensor Ring Nets
Purdue University（普渡大学）；Technicolor Research（泰克尼科尔研究（Technicolor Research））；Adobe（Adobe公司）；Duke University（杜克大学）
深度神经网络已经在各种现实世界的应用中展示了最先进的性能。为了获得性能增益，这些网络变得越来越大，越来越深，包含数百万甚至数十亿个参数和上千层。代价是这些大型架构需要大量的内存、存储和计算，从而限制了它们的可用性。受最近的张量环分解的启发，我们引入了张量环网络（TR-Nets），它显著压缩了深度神经网络的全连接层和卷积层。我们的研究结果表明，我们的TR-网络方法{能够通过$11\times$压缩LeNet-5而不损失准确性}，并且可以通过$243\times$压缩最先进的Wide ResNet，在{Cifar 10图像分类}中只有2.3\%的退化。总的来说，这种压缩方案在科学计算和深度学习中显示出了前景，特别是对于新兴的资源受限设备，如智能手机，可穿戴设备和物联网设备。
2018-02-25 cs.CV cs.LG stat.ML
Depth Selection for Deep ReLU Nets in Feature Extraction and Generalization
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所机器人学国家重点实验室）
深度学习被认为能够通过利用人类的独创性和先验知识来发现用于表示学习和模式识别的深度特征，而不需要优雅的特征工程技术。因此，它引发了机器学习和模式识别的大量研究活动。深度学习最重要的挑战之一是弄清楚深度神经网络（简称深度网络）的特征和深度之间的关系，以反映深度的必要性。我们的目的是在特征提取和泛化中量化这种特征深度对应。我们提出的自适应功能的深度和反之亦然，通过显示在提取单一功能和复合功能的深度参数的权衡。基于这些结果，我们证明了在深度网络上实现经典的经验风险最小化可以为许多学习任务实现最佳的泛化性能。我们的理论结果得到了一系列数值实验的验证，包括玩具模拟和地震烈度预测的实际应用。
2020-04-01 cs.LG stat.ML
Graph U-Nets
Texas A&M University（德州农工大学）
我们考虑图数据的表示学习问题。卷积神经网络可以自然地对图像进行操作，但在处理图形数据方面存在重大挑战。给定图像是节点位于2D格子上的图的特殊情况，图嵌入任务与图像像素级预测任务（如分割）具有自然的对应关系。虽然像U-Nets这样的编码器-解码器架构已经成功地应用于许多图像逐像素预测任务，但对于图形数据缺乏类似的方法。这是由于池化和上采样操作在图数据上并不自然。为了解决这些挑战，我们提出了新的图池（gPool）和unpooling（gUnpool）操作。gPool层基于可训练投影向量上的标量投影值自适应地选择一些节点以形成较小的图。我们进一步提出gUnpool层作为gPool层的逆操作。gUnpool层使用在相应的gPool层中选择的节点的位置信息将图恢复到其原始结构。基于我们提出的gPool和gUnpool层，我们开发了一个图上的编码器-解码器模型，称为图U网。我们在节点分类和图分类任务上的实验结果表明，我们的方法比以前的模型具有更好的性能。
2019-05-11 cs.LG stat.ML
Deep learning for inverse problems with unknown operator
University of Twente（特文特大学）；University of Göttingen（哥廷根大学）
我们考虑不适定的逆问题，其中正向算子$T$是未知的，相反，我们可以访问由函数$f_i$和它们的噪声图像$Tf_i$组成的训练数据。这是一个实际相关且具有挑战性的问题，当前的方法只能在对训练集的强假设下才能解决。在这里，我们提出了一种新的方法，需要对数据的假设最少，并证明重建率取决于训练点的数量和噪声水平。我们表明，在“许多”训练数据的制度，该方法是最小最大最优的。所提出的方法采用了一种卷积神经网络（U网）和经验风险最小化，以“适合”未知的运营商。简而言之，我们的方法基于两个想法：第一个是将U-网与小波等多尺度分解联系起来，从而将它们与现有的理论联系起来，第二个是使用U-网的层次结构和卷积神经网络的低参数来证明实际有用的熵界。与现有的非参数统计中神经网络的工作的一个显着区别是，我们使用它们来近似运算符，而不是函数，我们认为这在数学上更自然，技术上更方便。
2023-02-20 cs.LG math.ST stat.ML
Descriptor Matching with Convolutional Neural Networks: a Comparison to SIFT
最新的结果表明，通过卷积神经网络学习的特征在分类任务中的表现大大优于以前的描述符。事实证明，当这些网络应用于与它们训练时不同的数据集或识别任务时，它们仍然工作得很好。然而，像SIFT这样的描述符不仅用于识别，而且还用于许多依赖于描述符匹配的对应问题。在本文中，我们将卷积神经网络的各个层的特征与标准SIFT描述符进行了比较。我们考虑一个在ImageNet上训练的网络和另一个在没有监督的情况下训练的网络。令人惊讶的是，卷积神经网络在描述符匹配方面明显优于SIFT。本文已与arXiv：1406.6909合并
2015-06-24 cs.CV cs.LG
GMLS-Nets: A framework for learning from unstructured data
Sandia National Laboratories（桑迪亚国家实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）
在不规则间隔点上采样的数据场出现在科学和工程的许多应用中。对于规则网格，卷积神经网络（CNN）已成功地用于从权重共享和不变性中获得益处。我们通过引入基于广义移动最小二乘法（GMLS）的非结构化点云数据方法来推广CNN。GMLS是一种非参数技术，用于估计线性有界泛函从分散的数据，最近已被用于在文献中求解偏微分方程。通过参数化GMLS估计，我们获得了非结构化的stenestant算子的学习方法。在GMLS-Nets中，必要的计算是局部的，易于并行化，并且估计器由严格的近似理论支持。我们展示了如何框架可用于非结构化的物理数据集进行功能回归，以确定相关的微分算子和回归感兴趣的数量。结果表明，该架构是一个有吸引力的基础，数据驱动的模型开发在科学机器学习应用程序。
2019-09-13 cs.LG math.DS physics.data-an
A Dimensionality Reduction Approach for Convolutional Neural Networks
SISSA（的里雅斯特国际高等研究院）
提出结合主动子空间、POD与PCE或前馈网络的通用降维方法，用于压缩预训练CNN，在保持相近精度的同时降低内存占用。
2021-10-18 cs.AI cs.LG cs.NA
Nowcasting-Nets: Deep Neural Network Structures for Precipitation Nowcasting Using IMERG
The University of Arizona（亚利桑那大学）
准确和及时地估计降水量对于发布灾害警报至关重要（例如，山洪暴发或山体滑坡）。目前的遥感降水产品有几个小时的潜伏期，这与卫星数据的获取和处理有关。通过将强大的即时预报系统应用于这些产品，（原则上）可以减少这种延迟并提高其适用性，价值和影响力。然而，这样一个系统的发展是复杂的大气的混沌性质，以及随之而来的快速变化，可能会发生在降水系统的结构在这项工作中，我们开发了两种方法（以下简称为Nowcasting网），使用递归和卷积深神经网络结构，以解决降水临近预报的挑战。使用全球降水测量（GPM）集成多卫星反演GPM（IMERG）降水数据在美国东部沿海地区（CONUS），然后对东部和西部CONUS的独立数据进行测试，共训练了五个模型。这些模型的设计是为了提供提前时间最长为1.5小时的预报，并通过使用反馈回路方法，研究了这些模型将预报时间延长到4.5小时的能力。将模型性能与随机森林（RF）和线性回归（LR）机器学习方法进行比较，并与使用最新观测值作为预测的持久性基准（BM）进行比较。独立的IMERG观测被用作参考，并进行了实验，以检查涉及特定降水事件的总体统计数据和案例研究。总的来说，Nowcasting-Net模型提供的预测是优越的，具有剩余水头的卷积Nowcasting Network（CNC-R）在测试中实现了25%，28%和46%的改进。
2021-08-16 cs.CV cs.LG cs.NE
Reduced-Precision Strategies for Bounded Memory in Deep Neural Nets
University of Toronto（多伦多大学）；University of British Columbia（不列颠哥伦比亚大学）
这项工作研究了在卷积神经网络（CNN）中使用精度降低的数据如何影响分类过程中的网络精度。更具体地说，本研究考虑了每层可能使用不同精度数据的网络。我们的关键结果是观察到CNN对精度降低的数据的容忍度不仅在网络之间存在差异，而且在网络内部也存在差异。调整每层的精度是有吸引力的，因为它可以实现能源和性能的改善。在本文中，我们研究如何跨层的容错变化，并提出了一种方法，找到一个低精度的网络配置，同时保持高精度。分析了一组不同的CNN，结果表明，与所有层使用32位浮点表示的传统实现相比，相对准确度损失不到1%，这些网络所需的数据足迹平均可以减少74%，最高可达92%。
2016-01-08 cs.LG cs.NE
A Convolutional Neural Network Approach to the Classification of Engineering Models
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文提出了一种使用卷积神经网络（CNN）对工程（CAD）模型进行分类的深度学习方法。由于大型注释数据集的可用性以及GPU形式的足够计算能力，最近提出了许多基于深度学习的对象分类解决方案，特别是在图像和图形模型领域。然而，很少有解决方案已被提出的CAD模型的功能分类的任务。因此，对于这项研究，CAD模型已从工程形状基准（ESB），国家设计库（NDR）收集，并使用建模软件创建的更新模型进行增强，以形成数据集-“CADNET”。受流行的ResNet的启发，建议使用CADNET的剩余网络架构。选择加权光场描述符（LFD）方案作为特征提取的方法，并且将生成的图像作为输入馈送到CNN。使用类权重方法解决数据集中类不平衡的问题。已经使用深度网络以及CADNET上的其他网络架构对测地线距离等其他签名进行了实验。使用所提出的网络架构的基于LFD的CNN方法以及梯度提升在CADNET上产生了最佳的分类精度。
2021-07-14 cs.AI cs.CV cs.GR
Very Deep Convolutional Networks for Text Classification
Facebook AI Research（Facebook人工智能研究院）；University of Le Mans（勒芒大学）
许多NLP任务的主要方法是递归神经网络，特别是LSTM和卷积神经网络。然而，与推动计算机视觉发展的深度卷积网络相比，这些架构相当肤浅。我们提出了一个新的架构（VDCNN）的文本处理，直接在字符级，只使用小卷积和池操作。我们能够证明该模型的性能随着深度的增加而增加：使用多达29个卷积层，我们报告了几个公共文本分类任务的最新改进。据我们所知，这是第一次将非常深的卷积网络应用于文本处理。
2017-01-27 cs.CL cs.LG cs.NE
Stroke Lesion Segmentation with Visual Cortex Anatomy Alike Neural Nets
Nanjing University of Information Science & Technology（南京信息工程大学）
脑血管意外，或俗称中风，是一种急性疾病，对患者和医疗保健系统的影响极大，是全球第二大死亡原因。快速准确的脑卒中病灶检测和定位对于脑卒中的诊断、治疗和预后是一个极其重要的过程。除了手动分割方法之外，考虑到效率和准确性，基于机器学习的分割方法是最有前途的方法，基于卷积神经网络的模型是同类中的第一个。然而，这些神经网络模型中的大多数并不真正与大脑解剖结构相一致。直觉上，这项工作提出了一个更像大脑的模型，它模仿了人类视觉皮层的解剖结构。通过对中风病灶分割任务的初步实验，发现所提出的模型能够表现得与事实上的标准U-Net一样好或更好。部分实现将在https://github.com/DarkoBomer/VCA-Net上提供。
2021-05-23 cs.CV cs.LG eess.IV
Towards Understanding the Invertibility of Convolutional Neural Networks
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
最近的几项工作已经从经验上观察到卷积神经网络（CNN）是（近似）可逆的。为了理解这种近似可逆现象以及如何更有效地利用它，我们专注于理论解释，并开发了一个与具有随机权重的CNN一致的稀疏信号恢复的数学模型。我们给出了基于模型的压缩感知（及其恢复算法）和随机权重CNN的特定模型的精确连接。我们经验性地证明了几个学习过的网络与我们的数学分析是一致的，然后证明了有了这样一个简单的理论框架，我们可以在真实图像上获得合理的重建结果。我们还讨论了我们的模型假设和在实际场景中训练用于分类的CNN之间的差距。
2017-05-24 cs.LG stat.ML
Deep Residual-Dense Lattice Network for Speech Enhancement
Institute for Integrated and Intelligent Systems, Griffith University, Australia（格里菲斯大学综合智能系统研究所）；School of Artificial Intelligence, Xidian University, China（西安电子科技大学人工智能学院）
具有残差链接（ResNets）和因果扩张卷积单元的卷积神经网络（CNN）一直是深度学习方法用于语音增强的首选网络。虽然残差链接在训练期间改善了梯度流，但由于与较深层输出的重复求和，可能会发生浅层输出的特征减少。提高特征重用的一种策略是融合ResNets和密集连接的CNN（DenseNets）。然而，DenseNets为功能重用过度分配参数。受此启发，我们提出了残差密集格型网络（RDL-Net），这是一种新的CNN用于语音增强，它采用残差和密集聚合，而不会过度分配参数用于特征重用。这是通过RDL块的拓扑来管理的，RDL块限制了用于密集聚合的输出数量。我们广泛的实验研究表明，RDL-Net能够比采用残留和/或密集聚合的CNN实现更高的语音增强性能。RDL-Net使用的参数也少得多，计算要求也低。此外，我们证明RDL-Nets在语音增强方面优于许多最先进的深度学习方法。
2020-02-27 cs.LG cs.SD eess.AS
Component Segmentation of Engineering Drawings Using Graph Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个数据驱动的框架，自动化的矢量化和机器解释的二维工程零件图纸。在工业环境中，大多数制造工程师仍然依赖于手动读取来识别设计师提交的图纸中的拓扑和制造要求。解释过程费力费时，严重制约了零件报价和制造任务的效率。虽然基于图像的计算机视觉方法的最新进展已经证明了通过语义分割方法解释自然图像的巨大潜力，但将这些方法应用于将工程技术图纸解析成语义准确的组件仍然是一个重大挑战。工程图中严重的像素稀疏性也制约了基于图像的数据驱动特征化方法的有效实现。为了克服这些挑战，我们提出了一个基于深度学习的框架，该框架预测每个矢量化组件的语义类型。以光栅图像作为输入，我们通过细化，笔画跟踪和三次贝塞尔拟合矢量化所有组件。然后，基于组件之间的连接性来生成这样的组件的图。最后，在该图数据上训练图卷积神经网络以识别每个组件的语义类型。我们测试我们的框架的背景下，语义分割的文本，尺寸和轮廓组件在工程图纸。结果表明，我们的方法产生最好的性能相比，最近的图像，基于图形的分割方法。
2023-03-14 cs.CV cs.LG
Feature Engineering Combined with 1 D Convolutional Neural Network for Improved Mortality Prediction
重症监护病房（ICU）负责以电子健康记录（EHR）的形式生成大量有用的数据。这些数据允许开发具有完美知识支持的预测工具。我们的目的是在2012年Physionet Challenge死亡率预测数据库中建立4000例ICU患者的死亡率预测模型。通过特征工程和新变量构造，利用分析方法和工具解决了数据集中的挑战，如高维，不平衡分布和缺失值。研究的目的是利用临床变量之间的关系，并构造新的变量，这将建立一维卷积神经网络（1- D CNN）的有效性与构造的功能。它的性能与传统的机器学习算法，如XGBoost分类器，支持向量机（SVM），K-近邻分类器（K-NN），和随机森林分类器（RF）的曲线下面积（AUC）进行了比较。研究表明，使用一维CNN模型的最佳AUC为0.848。
2020-07-27 cs.LG stat.ML
WW-Nets: Dual Neural Networks for Object Detection
University of California, Merced（加州大学默塞德分校）
我们提出了一种新的深度卷积神经网络框架，该框架使用网络连接权重中隐含的对象位置知识来指导目标检测任务中的选择性注意力。我们的方法被称为“在哪里网”（WW-Nets），它的灵感来自于人类视觉路径的结构。在大脑中，视觉包含两个独立的流，一个在颞叶，另一个在顶叶，分别称为腹侧流和背侧流。来自初级视皮层的腹侧通路主要由“什么”信息主导，而背侧通路主要由“哪里”信息主导。受此结构的启发，我们提出了一个目标检测框架，涉及“什么网络”和“哪里网络”的集成。什么网络的目的是提供对输入图像的相关部分的选择性注意。Where Network使用这些信息来定位和分类感兴趣的对象。在本文中，我们将这种方法与PASCAL VOC 2007和2012以及COCO目标检测挑战数据集上的最先进算法进行了比较。此外，我们比较了人类的“地面真相”的注意力的方法。我们报告的结果，使用PASCAL VOC 2007年的图像对人类受试者的眼动跟踪实验，我们证明了有趣的关系，人类的外显注意力和信息处理在我们的万维网。最后，我们提供的证据表明，我们提出的方法表现良好，相比其他目标检测方法，往往是一个很大的保证金。代码和眼动跟踪地面实况数据集可以在https://github.com/mkebrahimpour上找到。
2020-05-15 cs.CV cs.LG eess.IV
Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Polytechnique Montreal（蒙特利尔理工学院）
对神经架构的最小改变（例如，改变关键层中的单个超参数）可以导致卷积神经网络（CNN）中的预测性能的显著提高。在这项工作中，我们提出了一种新的方法来感受野分析，可以产生这些类型的理论和经验的性能增益在二十个著名的CNN架构在我们的实验中检查。通过进一步开发和形式化卷积神经网络中感受野扩展的分析，我们可以在训练模型之前以自动化的方式预测非生产层。这使我们能够以低成本优化给定架构的参数效率。我们的方法在计算上是简单的，可以以自动化的方式完成，甚至手动最常见的架构，以最小的努力。我们证明了这种方法的有效性，通过提高参数效率在过去和当前的顶级性能CNN架构。具体来说，我们的方法能够在广泛的知名的最先进的（SOTA）模型类中提高ImageNet 1 K的性能，包括：VGG Nets，MobileNetV 1，MobileNetV 3，NASNet A（移动），MnasNet，EfficientNet和ConvNeXt -为每个模型类带来新的SOTA结果。
2022-11-26 cs.AI cs.CV cs.LG
Classification of Computer Aided Engineering (CAE) Parts Using Graph Convolutional Networks
General Motors（通用汽车公司）
CAE工程师处理分布在多个车身模型上的数百个零件。采用图卷积网络（GCN）开发了CAE零件分类器。来自代表性身体模型的多达866个不同部位被用作训练数据。部件表示为三维（3-D）有限元分析（FEA）网格，每个节点的值在x、y、z坐标系中。将基于GCN的分类器与基于全连接神经网络和PointNet的模型进行了比较。使用测试集评价训练模型的性能，该测试集包括来自训练数据的部件，但具有额外的孔、旋转、平移、网格细化/粗化、网格模式的变化、沿x和y轴的镜像、地形特征的变化以及网格节点排序的变化。经过训练的GCN模型能够在测试集上实现88.5%的分类准确率，即，它能够从866个零件的数据集中找到正确的匹配零件，尽管与基线零件存在显著差异。在这项研究中展示的CAE零件分类器可能是非常有用的工程师过滤CAE零件分布在几个身体模型，以找到符合他们的要求的零件。
2022-02-23 cs.LG
Automatic Instrument Recognition in Polyphonic Music Using Convolutional Neural Networks
New York University（纽约大学）
处理许多音乐信息检索任务的传统方法通常遵循两步架构：特征工程，然后是简单的学习算法。在这些“浅”架构中，特征工程和学习通常是不相交和不相关的。此外，特征工程是困难的，并且通常依赖于广泛的领域专业知识。在本文中，我们提出了一个应用卷积神经网络的任务，自动乐器识别。在该模型中，特征提取和学习算法以端到端的方式一起训练。我们证明了在原始音频上训练的卷积神经网络可以实现超越依赖手工特征的传统方法的性能。
2015-11-17 cs.IR cs.LG cs.NE
Probabilistic Forecasting with Temporal Convolutional Neural Network
Bigo Inc.（Bigo公司）；Beihang University（北京航空航天大学）；IBM China CIC（IBM中国创新中心）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出了一种基于卷积神经网络的概率预测框架，用于多个相关时间序列的预测。该框架可以应用于估计参数和非参数设置下的概率密度。更具体地说，基于扩张的因果卷积网的堆叠的残差块被构造成捕获序列的时间依赖性。结合表征学习，我们的方法能够学习复杂的模式，如季节性，系列内和跨系列的假日效应，并利用这些模式进行更准确的预测，特别是当历史数据稀疏或不可用时。在几个真实世界的数据集上进行了广泛的实证研究，包括来自中国最大的在线零售商JD.com的数据集。结果表明，我们的框架优于其他国家的最先进的方法在准确性和效率。
2020-03-16 cs.LG stat.ML
CSP-Net: Common Spatial Pattern Empowered Neural Networks for EEG-Based Motor Imagery Classification
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；Shenzhen Huazhong University of Science and Technology Research Institute（华中科技大学深圳研究院）
本文提出CSP-Net-1和CSP-Net-2两种网络，将知识驱动的CSP滤波器与数据驱动的CNN相结合，在四个公开运动想象数据集上一致提升了被试内和跨被试分类性能，尤其在训练样本极少时优势明显。
2024-11-04 cs.AI cs.HC cs.LG
Learning with Neural Tangent Kernels in Near Input Sparsity Time
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
神经切线核（NTK）通过梯度下降来表征在最小二乘损失下训练的无限宽神经网络的行为。然而，尽管它的重要性，内核方法的超二次运行时间限制了NTK在大规模学习任务中的使用。为了用NTK加速核机器，我们提出了一种近输入稀疏时间算法，该算法将输入数据映射到随机化的低维特征空间，使得变换后的数据的内积近似于其NTK评估。我们的变换通过绘制反余弦核的多项式展开来工作。此外，我们提出了一个特征映射来近似NTK的卷积对应物，它可以使用仅在像素数量上呈线性的运行时来变换任何图像。我们表明，在标准的大规模回归和分类任务中，在我们的特征上训练的线性回归器优于训练的神经网络和NTK内核的Nystrom近似。
2021-07-27 cs.AI cs.DS cs.LG
SEP-Nets: Small and Effective Pattern Networks
The University of Iowa（爱荷华大学）；Snap Research（Snap研究院）
虽然更深入已经被证明可以提高卷积神经网络（CNN）的性能，但由于其对移动/嵌入式应用的吸引力，CNN的更小最近已经受到越来越多的关注。如何设计一个小型网络，同时保持大型和深度CNN的性能（例如，Inception Nets、ResNets）。尽管已经有关于压缩CNN大小的深入研究，但性能的大幅下降仍然是许多设计中的一个关键问题。本文解决了这一问题的几个新的贡献。首先，我们提出了一种简单而强大的方法，用于压缩基于参数二值化的深度CNN的大小。与以前大多数关于参数二值化/量化的工作的显著区别在于对$1\times 1$卷积和$k\times k$卷积（$k>1$）的不同处理，其中我们仅将$k\times k$卷积二值化为二进制模式。由此产生的网络被称为模式网络。通过这样做，我们证明了以前的深度CNN，如GoogLeNet和Inception-type Nets，可以被大幅压缩，性能略有下降。其次，针对$1\times 1$（数据投影/变换）和$k\times k$卷积（模式提取）的不同功能，提出了一种新的模式残差块结构，将$1\times 1$卷积生成的变换后的特征映射加入到$k\times k$卷积生成的模式特征映射中，并在此基础上设计了一个具有$\sim 1$百万参数的小型网络。结合我们的参数二进制化，我们在ImageNet上实现了比使用类似规模的网络（包括最近发布的Google …
2017-06-13 cs.CV cs.LG
Discretization Invariant Networks for Learning Maps between Neural Fields
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出离散化不变神经网络（DI-Nets）框架，通过准蒙特卡洛采样实现连续域函数间映射的离散化不变学习，并证明其具有普遍逼近能力，在神经场分类和分割任务中表现出对各种离散化的鲁棒性。
2023-10-19 cs.CV cs.LG cs.NE
