Muon-C: Operator-Aligned Muon for Convolutional Kernels
University of California, Berkeley（加州大学伯克利分校）
提出算子对齐的Muon-C优化器，通过傅里叶域块极化卷积核动量，在CIFAR-10流匹配中显著提升FID并降低计算开销，且泛化至分类任务。
2026-09-10 cs.LG stat.ML
Deep-Aligned Convolutional Neural Network for Skeleton-based Action Recognition and Segmentation
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）；Eurodecision（欧洲决策公司）
卷积神经网络（CNN）是一种深度学习框架，以其在分类任务中的出色表现而闻名。因此，许多基于动作识别和分割（SBARS）的算法在其设计中受益于它们。然而，这样的应用的缺点是在这样的数据类型中的输入特征之间通常缺乏空间关系。此外，非均匀的时间缩放是基于时间的数据流中的一个常见问题，这导致即使在一个特定的动作类别中也有不同的输入大小。在这项工作中，我们提出了一种新的深度对齐的卷积神经网络（DACNN），以解决上述挑战的特定问题的SBARS。我们的网络是通过在CNN的上下文中引入一种新型的过滤器来设计的，CNN是根据它们与输入中的局部序列的对齐来训练的。这些过滤器导致有效的预测以及学习数据中可解释的模式。我们在现实世界的基准测试中对我们的框架进行了经验评估，结果表明，与最先进的算法相比，所提出的DACNN算法获得了具有竞争力的性能，同时受益于一个不太复杂但更易于解释的模型。
2019-11-12 cs.CV cs.LG eess.IV
Learning Vertex Convolutional Networks for Graph Classification
Central University of Finance and Economics（中央财经大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of York（约克大学）
在本文中，我们开发了一种新的对齐顶点卷积网络模型来学习多尺度局部顶点特征，用于图分类。我们的思想是将任意大小的图转换成固定大小的对齐顶点网格结构，并通过在网格结构上采用一组固定大小的一维卷积滤波器来定义一种新的顶点卷积运算。我们表明，该模型不仅集成了图之间的精确的结构对应信息，但也最大限度地减少了本地级顶点上的结构信息的损失。在标准图数据集上的实验证明了该模型的有效性。
2019-02-26 cs.LG stat.ML
Reinforcement Learning via Recurrent Convolutional Neural Networks
IIT Guwahati（印度理工学院古瓦哈提分校）
深度强化学习使得能够在部分可观察的环境中学习复杂任务的策略，而无需显式地学习任务的底层模型。虽然这种无模型方法取得了相当大的性能，他们往往忽略了任务的结构。为了更好地利用这种固有结构，我们使用递归卷积神经网络（RCNN）对强化学习（RL）问题进行了自然表示。我们定义了3个这样的RCNN，它们的前向传递执行有效的值迭代，在部分可观察的环境中传播状态的信念，并分别选择最佳动作。通过这些RCNN的反向传播梯度允许系统显式学习与底层MDP相关的转换模型和奖励函数，作为经典的基于模型的RL的优雅替代方案。我们评估所提出的算法在仿真中，考虑到机器人规划问题。我们证明了我们的框架能够降低重新规划的成本，学习准确的MDP模型，并最终使用学习的模型重新规划以实现接近最优的政策。
2017-01-09 cs.AI cs.LG
Explicit Inductive Bias for Transfer Learning with Convolutional Networks
Sorbonne universités（索邦大学）；Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Heudiasyc（人机交互与自动化实验室）
在归纳迁移学习中，微调预训练的卷积网络的性能大大优于从头开始的训练。当使用微调时，基本假设是预训练模型提取通用特征，这些特征至少部分与解决目标任务相关，但难以从目标任务上可用的有限数据量中提取。然而，除了使用预训练模型进行初始化和提前停止之外，没有任何微调机制来保留在源任务上学习的特征。在本文中，我们研究了几个正则化方案，显式地促进最终解与初始模型的相似性。我们展示了对初始模型有显式归纳偏差的好处，我们最终推荐了一个简单的$L^2$惩罚，预训练模型作为迁移学习任务惩罚的基准。
2018-06-06 cs.LG
Probing Equivariance and Symmetry Breaking in Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；New Theory AI；UC, Berkeley（加州大学伯克利分校）
本文通过理论分析与实证研究，引入统一的群卷积架构Rapidash，探究了等变性与对称性破缺在卷积网络中的权衡，发现与任务几何对齐的等变模型及显式对称性破缺能显著提升性能，为模型选择提供了更细致的依据。
2025-06-02 cs.AI cs.CV cs.LG
Community detection over a heterogeneous population of non-aligned networks
Purdue University（普渡大学）
利用多个图的聚类和社区发现通常集中在对齐的图上，其中在图上的节点之间存在映射（例如，多视图、多层、时间图）。然而，有许多应用领域具有仅部分对齐或甚至未对齐的多个图。这些图通常是从同一个种群中绘制的，其中具有潜在不同大小的社区表现出相似的结构。在本文中，我们开发了一个联合随机块模型（联合SBM）来估计跨异构非对齐图集的共享社区。我们推导出一个有效的谱聚类方法来学习联合SBM的参数。我们在合成数据集和真实数据集上对该模型进行了评估，结果表明，与在每个图上学习单独的SBM相比，联合模型能够利用交叉图信息更好地估计社区。
2019-04-04 cs.LG cs.SI stat.ML
Are Perceptually-Aligned Gradients a General Property of Robust Classifiers?
Carnegie Mellon University（卡内基梅隆大学）
对于标准的卷积神经网络，优化输入像素以最大化某些目标类别的得分通常会产生原始图像的颗粒状版本。然而，Santurkar等人（2019）证明，对于经过逆向训练的神经网络，这种优化会产生与目标类惊人相似的图像。在本文中，我们表明，这些“感知对齐梯度”也发生在随机平滑，另一种手段，构建对抗强大的分类。我们的研究结果支持的假设，感知对齐的梯度可能是一个强大的分类器的一般属性。我们希望我们的研究结果将激发旨在解释感知对齐梯度和对抗鲁棒性之间联系的研究。
2019-10-23 cs.CV cs.LG stat.ML
Musical Tempo and Key Estimation using Convolutional Neural Networks with Directional Filters
tagtraum industries incorporated（tagtraum工业公司）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
在这篇文章中，我们将探讨如何利用谱图的时间和频率轴的不同语义，使用卷积神经网络（CNN）进行音乐节奏和基调估计。通过使用相同的网络架构解决这两个任务，从浅的，特定于域的方法到带有方向滤波器的深度变体，我们表明轴对齐架构与为计算机视觉开发的常见VGG风格网络表现相似，同时不容易受到混淆因素的影响，并且需要较少的模型参数。
2019-03-26 cs.LG cs.SD eess.AS
Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks
Georgia Institute of Technology（佐治亚理工学院）；UC Santa Barbara（加州大学圣巴巴拉分校）；Northwestern University（西北大学）；University of Tokyo（东京大学）；Princeton University（普林斯顿大学）；UC San Diego（加州大学圣迭戈分校）
本文从非参数分类视角分析带权重衰减的过参数化 ConvResNeXts，证明其可利用低维流形与光滑性实现高效学习并规避维数灾难。
2024-12-10 cs.LG
Generative Convolutional Networks for Latent Fingerprint Reconstruction
USI Lugano（卢加诺大学）；Intel（英特尔）
指纹识别的性能在很大程度上取决于细节点的提取。因此，指纹脊图案的增强是显著降低假阳性和假阴性检测率的必要预处理步骤。一个特别具有挑战性的设置是当指纹图像损坏或部分丢失时。在这项工作中，我们应用生成卷积网络来去除可见细节点的噪声，并预测脊线图案的缺失部分。所提出的增强方法进行测试，作为一个预处理步骤，结合几个标准的特征提取方法，如MINDTCT，其次是生物特征比较使用MCC和BOZORTH3。我们评估我们的方法上使用不同的传感器捕获的几个公开可用的潜在指纹数据集。
2017-05-04 cs.CV cs.LG
Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series
École Polytechnique, IP Paris（巴黎理工学院）
本文提出时间参数化卷积神经网络（TPCNN），通过时间显式初始化的卷积核处理不规则采样时间序列，在插值和分类任务上取得竞争性能且效率显著优于现有方法。
2023-08-09 cs.LG
Graph Convolutional Neural Networks based on Quantum Vertex Saliency
Central University of Finance and Economics（中央财经大学）；Southern University of Science and Technology（南方科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of York（约克大学）
本文提出量子空间图卷积神经网络（QSGCNN），通过量子空间图卷积提取多尺度顶点特征并结合传统卷积层实现端到端图分类，解决了现有模型中信息丢失和不精确表示的问题。
2019-01-03 cs.LG stat.ML
Harmonic Convolutional Networks based on Discrete Cosine Transform
ADAPT Centre（ADAPT中心）；Trinity College Dublin（都柏林圣三一学院）；Dublin City University（都柏林城市大学）；Maynooth University（梅努斯大学）
卷积神经网络（CNN）学习滤波器，以捕获特征空间中的局部相关模式。我们建议学习这些过滤器的组合定义的离散余弦变换（DCT）的预设频谱滤波器。我们提出的基于DCT的谐波块取代传统的卷积层，以产生新的或现有的CNN架构的部分或完全谐波版本。使用DCT能量压缩属性，我们演示了如何谐波网络可以有效地压缩截断谐波块中的高频信息由于在谱域中的冗余。我们报告了大量的实验验证，证明了将谐波块引入图像分类、目标检测和语义分割应用中的最先进的CNN模型的好处。
2022-04-09 cs.CV cs.LG
Graph Convolutional Memory using Topological Priors
University of Cambridge（剑桥大学）；Toshiba Europe Limited（东芝欧洲有限公司）
当将强化学习应用于现实世界的问题时，解决部分可观察的马尔可夫决策过程（POMDPs）是至关重要的，其中代理人对世界的看法是不完整的。我们提出了图卷积记忆（GCM），第一个使用强化学习解决POMDPs的混合记忆模型。GCM使用人类定义的或数据驱动的拓扑先验来形成图邻域，使用动态规划将它们组合成更大的网络拓扑。我们使用图卷积查询图，将相关记忆合并为上下文相关的信念。在没有人类先验知识的情况下使用时，GCM的表现与最先进的方法相似。当与人类先验一起使用时，GCM在控制，记忆和导航任务上优于这些方法，同时使用更少的参数。
2021-10-08 cs.AI cs.LG cs.RO
Exploiting Cyclic Symmetry in Convolutional Neural Networks
Google DeepMind（谷歌DeepMind）
许多类别的图像表现出旋转对称性。有时使用数据增强来训练卷积神经网络以利用这一点，但它们仍然需要从数据中学习旋转等方差特性。将这些属性编码到网络架构中，就像我们已经习惯于使用卷积层进行平移等方差一样，可以通过减轻模型的学习来更有效地使用参数预算。我们引入了四种操作，它们可以作为层插入到神经网络模型中，并且可以组合起来使这些模型与旋转部分等变。它们还支持在不同方向上共享参数。我们评估了这些架构修改对三个数据集的影响，这些数据集表现出旋转对称性，并在较小的模型中表现出更好的性能。
2016-05-26 cs.CV cs.LG cs.NE
A Convolutional Neural Network based Live Object Recognition System as Blind Aid
New York University（纽约大学）；WIEECT
本文介绍了一个活体物体识别系统，作为一个盲人援助。视力受损的人严重依赖他们的其他感官，如触觉和听觉信号来理解周围的环境。要知道盲人面前的物体是什么而不接触它（用手或其他工具）是非常困难的。在某些情况下，人与物体之间的身体接触可能是危险的，甚至是致命的。该项目采用卷积神经网络来识别ImageNet数据集上的预训练对象。与系统的预定方向对准的摄像机用作计算机系统的输入，该计算机系统具有部署用于执行实时目标检测的对象识别神经网络。然后，可以对来自网络的输出进行解析，以音频或盲文文本的形式呈现给视障人士。
2018-11-26 cs.CV cs.LG
Convolutional Sequence to Sequence Non-intrusive Load Monitoring
Department of Electrical Engineering, Tsinghua University（清华大学电气工程系）；Department of Information Technology and Electrical Engineering, ETH Zürich（苏黎世联邦理工学院信息技术与电气工程系）；Department of Industrial and Systems Engineering, University of Southern California（南加州大学工业与系统工程系）；Department of Electrical Engineering, Beijing Jiaotong University（北京交通大学电气工程系）
提出了一种卷积序列对序列的非侵入式负荷监测模型。门控线性单元卷积层用于从总电力消耗的序列中提取信息。还引入了残差块来细化神经网络的输出。对网络的部分重叠输出序列进行平均，以产生模型的最终输出。我们将该模型应用于REDD数据集，并将其与文献中的卷积序列到点模型进行比较。结果表明，该模型能够对不同特征的家电产品给出满意的解集性能。
2018-06-06 cs.LG stat.AP stat.ML
Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint
Hong Kong Baptist University（香港浸会大学）；Georgia Tech（佐治亚理工学院）；The Hong Kong University of Science and Technology（香港科技大学）；Google Research（谷歌研究院）
过度参数化的神经网络对复杂数据具有强大的表示能力，更重要的是产生足够平滑的输出，这对其泛化和鲁棒性至关重要。大多数现有的函数逼近理论表明，有足够多的参数，神经网络可以很好地逼近某些类别的函数的函数值。然而，神经网络本身可能是高度非光滑的。为了弥补这一差距，我们以卷积残差网络（ConvResNets）为例，证明大型ConvResNets不仅可以在函数值方面近似目标函数，而且还表现出足够的一阶平滑性。此外，我们扩展我们的理论，以逼近低维流形上支持的函数。我们的理论部分证明了在实践中使用深度和广度网络的好处。对抗性鲁棒图像分类的数值实验提供了支持我们的理论。
2022-06-09 cs.LG stat.ML
Learning Deep Graph Representations via Convolutional Neural Networks
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
图结构数据出现在许多场景中。一个基本的问题是量化图的相似性，以完成分类等任务。R-卷积图核是将图分解为子结构并比较它们的半正定函数。有效实现这一思想的一个问题是子结构不是独立的，这导致高维特征空间。此外，图核不能捕获顶点之间的高阶复杂交互。为了缓解这两个问题，我们提出了一个名为DeepMap的框架来学习图形特征映射的深度表示。图的学习深度表示是一个密集的低维向量，它捕获顶点邻域中复杂的高阶交互。DeepMap将卷积神经网络（CNN）扩展到任意图形，生成对齐的顶点序列并为每个顶点构建感受野。我们在各种图分类基准上对DeepMap进行了经验验证，并证明它达到了最先进的性能。
2022-01-24 cs.LG stat.ML
MaxDropoutV2: An Improved Method to Drop out Neurons in Convolutional Neural Networks
Federal University of São Carlos（圣卡洛斯联邦大学）；São Paulo State University（圣保罗州立大学）；University of Wolverhampton（伍尔弗汉普顿大学）
在过去的十年中，指数数据增长提供了基于机器学习的算法的能力，并使其能够在日常生活活动中使用。另外，这种改进部分地归因于深度学习技术的出现，即，一堆简单的架构，最终形成更复杂的模型。虽然这两个因素都产生了出色的结果，但它们也带来了关于学习过程的缺点，因为训练复杂的模型表示昂贵的任务，并且结果易于过拟合训练数据。最近提出了一种名为MaxDropout的监督正则化技术来解决后者，对传统正则化方法进行了一些改进。在本文中，我们提出了它的改进版本称为MaxDropoutV2。考虑两个公共数据集的结果表明，该模型的执行速度比标准版本更快，在大多数情况下，提供更准确的结果。
2022-03-05 cs.CV cs.LG
CrackGAN: Pavement Crack Detection Using Partially Accurate Ground Truths Based on Generative Adversarial Learning
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰伦公司）
全卷积网络是逐像素语义分割/检测的强大工具。然而，当使用部分准确的地面真值（GT）处理裂缝检测时，这是有问题的：由于准确的GT的不可用和数据不平衡，网络可能很容易收敛到将所有像素视为背景（BG）的状态，并且仍然实现了非常好的损失，称为“全黑”现象。为了解决这个问题，我们提出了crack-patch-only（CPO）监督生成对抗学习进行端到端训练，这迫使网络始终生成crack-GT图像，同时通过将较大尺寸的裂缝图像馈送到非对称U形生成器中来保留裂缝和BG图像翻译能力，以克服“全黑”问题。使用四个裂缝数据集验证了所提出的方法，并实现了最先进的性能相比，最近发表的作品在效率和准确性。
2020-06-26 cs.CV cs.LG eess.IV
Convolutional Imputation of Matrix Networks
Stanford University（斯坦福大学）
矩阵网络是一个矩阵族，其相关性由加权图建模。我们考虑的任务是完成一个部分可观察的矩阵网络。我们假设一个新的采样方案，其中一部分矩阵可能是完全不可观察的。我们如何从不完整的观察中恢复整个矩阵网络？这个数学问题出现在许多应用中，包括医学成像和社交网络。为了恢复矩阵网络，我们提出了一个结构假设，矩阵具有低秩的图形傅立叶变换。我们制定了一个凸优化问题，并证明了一个精确的恢复保证的优化问题。此外，我们数值表征的准确恢复制度，不同的秩和采样率，并发现了一个新的相变现象。然后给出了一种迭代插补算法，有效地解决了优化问题，完成了大规模矩阵网络。我们证明了该算法与各种应用程序，如MRI和Facebook的用户网络。
2018-06-07 cs.LG stat.ML
Deep Convolutional Neural Networks for Map-Type Classification
地图是一种重要的媒介，使人们能够全面了解不同时间和地点的文化活动和自然要素的配置。虽然在数字时代有大量的地图可用，但如何有效和准确地访问所需的地图仍然是当今的挑战。以前的工作部分涉及地图类型分类主要集中在地图比较和地图匹配在本地尺度。从当地地图区域得出的特征可能不足以描述地图内容。为了便于建立访问所需地图的自动方法，本文报告了我们使用深度学习技术识别七种类型地图的研究，包括地形图，地形图，物理图，城市场景图，国家地图，3D地图，夜间地图，正射影像图和土地覆盖分类图。实验结果表明，最先进的深度卷积神经网络可以支持自动地图类型分类。此外，分类精度根据不同的地图类型而变化。我们希望我们的工作能够有助于深度学习技术在制图领域的应用，并推动地理人工智能（GeoAI）的发展。
2018-05-26 cs.LG stat.ML
Vehicle Shape and Color Classification Using Convolutional Neural Network
IDEMIA Identity & Security Germany AG（IDEMIA身份与安全德国股份公司）；Ruhr-University Bochum（波鸿鲁尔大学）
本文提出了一种基于品牌/车型和颜色分类的车辆再识别模块。它可以用于自动车辆监控（AVS）或视频数据的快速分析。与此相关的许多问题都需要解决。为了促进和加快这一主题的进展，我们将介绍我们的方式来收集和标记一个大规模的数据集。我们在训练中使用了更深层的神经网络。他们表现出良好的分类精度。我们显示的结果，使/模型和颜色分类控制和视频数据集。我们演示了一个开发的应用程序的帮助下，重新识别的车辆的视频图像的基础上，使/模型和颜色分类。这项工作的部分资金来自赠款。
2019-05-15 cs.CV cs.LG stat.ML
A convolutional neural network for prestack fracture detection
China University of Petroleum - Beijing（中国石油大学（北京））；PST Service Corporation（PST服务公司）；Beijing Concord O&M Wind Power Technology Co., Ltd.（北京康科德运维风电技术有限公司）
裂缝在油气藏中广泛发育，是油气的聚集空间和输导通道。裂缝检测是储层描述的一项基本任务。从叠前地震道集出发，通常采用各向异性分析和反演来表征裂缝的优势方位和相对强度。然而，现有的方法大多是基于垂直排列的裂缝假设，无法识别裂缝倾角。此外，现有的方法很难或不切实际地获得真实的裂缝密度。基于数据驱动的深度学习，设计了一种卷积神经网络进行叠前裂缝检测。利用地震响应与裂缝参数之间的关系，首先通过裂缝有效介质建模和各向异性平面波分析，生成合适的方位数据集。构造了多输入多输出的卷积神经网络，实现了裂缝密度、倾角和走向方位的同时检测。实际调查的应用验证了所提出的CNN模型的有效性。
2021-07-03 cs.AI cs.LG physics.geo-ph
Locally Scale-Invariant Convolutional Neural Networks
University of Maryland（马里兰大学）
卷积神经网络（ConvNets）在许多视觉分类任务上表现出了出色的效果。除了ImageNet之外，这些数据集都是精心制作的，使得对象在相似的尺度上对齐。自然，随着数据变化量的增加，特征学习问题变得更具挑战性，因为模型必须学会对某些外观变化保持不变。最近在ImageNet数据集上的结果表明，如果有足够的数据，ConvNets可以学习这种不变性，从而产生非常有区别的特征[1]。但是，如果在学习过程中加入一定的不变性，我们是否可以做得更多：使用更少的参数，更少的数据，学习更多的判别特征？在本文中，我们提出了一个简单的模型，允许ConvNets以局部尺度不变的方式学习特征，而无需增加模型参数的数量。我们在修改后的MNIST数据集上显示，当面临尺度变化时，构建尺度不变性允许ConvNets学习更多的判别特征，减少过度拟合的机会。
2014-12-16 cs.CV cs.LG cs.NE
Exploiting Transductive Property of Graph Convolutional Neural Networks with Less Labeling Effort
Adana Alparslan Turkes Science and Technology University（阿达纳·阿尔帕斯兰·图尔凯斯科学技术大学）
近年来，基于图数据的机器学习方法已经变得非常流行。据观察，通过在构成模型数据的数据样本之间包括隐式或显式逻辑连接，可以获得显著的结果。在这种情况下，发展中的GCN模型已经做出了显着的实验贡献与卷积滤波器应用于图形数据。该模型采用了“Transductive”和“半监督学习”方法。由于其传导性质，所有部分标记的数据样本都作为模型的输入。标签，这是一个成本，是非常重要的。在本研究的范围内，试图回答以下研究问题：如果至少有多少个样本被标记，最佳模型的成功实现？此外，一些实验的贡献已经取得了模型的准确性，无论是使用固定的标签工作的采样方法。实验表明，局部中心性度量可以提高模型的成功率。
2021-05-01 cs.AI cs.LG
ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks
ConceptFlow通过概念注意力和概念通路追踪CNN中概念跨层传播与演化，模拟模型内部思维路径，从而提供更忠实且人类可对齐的层级化细粒度解释。
2025-09-16 cs.AI cs.LG
Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
预测性维修的一个重要任务是通过对多变量时间序列的分析来预测剩余使用寿命。使用滑动窗口方法，卷积神经网络（CNN）和传统的递归神经网络（RNN）方法已经在这个问题上产生了令人印象深刻的结果，因为它们能够学习优化的特征。然而，序列信息仅部分地由CNN方法建模。由于传统RNN中的扁平化机制，如长短期记忆（LSTM），窗口内的时间信息没有完全保留。为了利用多层次的时间信息，提出了许多结合CNN和RNN模型的方法。在这项工作中，我们提出了一种新的LSTM变体，称为嵌入式卷积LSTM（ECLSTM）。在ECLSTM中，一组不同的1D卷积被嵌入到LSTM结构中。通过这样，时间信息在窗口之间和窗口内被保留。由于模型的超参数需要仔细调整，我们还提出了一个自动预测框架的基础上贝叶斯优化与hyperband优化器，这使得网络架构的有效优化。最后，我们展示了我们提出的ECLSTM方法在几个广泛使用的基准数据集上的优越性。
2020-08-10 cs.LG stat.ML
S2Engine: A Novel Systolic Architecture for Sparse Convolutional Neural Networks
Beihang University（北京航空航天大学）
卷积神经网络（CNN）在执行认知任务方面取得了巨大成功。然而，CNN的执行需要大量的计算资源，并产生大量的内存流量，这对计算系统设计提出了严峻的挑战。通过优化卷积的并行执行和数据重用，脉动架构在加速CNN计算方面表现出巨大的优势。然而，传统脉动架构中的规则内部数据传输路径阻止脉动架构完全利用由神经网络稀疏性引入的益处。部署细粒度稀疏现有的脉动架构是极大地阻碍了所产生的计算开销。在这项工作中，我们提出了S2引擎$-$一种新的脉动架构，可以充分利用CNN的稀疏性，最大限度地提高数据重用。S2Engine在内部传输压缩数据，并允许每个处理元件在卷积中动态地从压缩数据流中选择对齐的数据。与原始脉动阵列相比，S2引擎在速度和能效上分别实现了约$3.2\times$和约$3.0\times$的改进。
2021-06-15 cs.AR cs.DC cs.LG
Fusion Graph Convolutional Networks
Indian Institute of Technology Madras（马德拉斯印度理工学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Ohio State University（俄亥俄州立大学）
属性图中的半监督节点分类，即，具有节点特征的图，涉及学习在给定部分标记的图的情况下对未标记的节点进行分类。标签预测是通过对节点及其邻域特征进行联合建模来进行的。在这种属性图上进行节点分类的最新模型使用可微递归函数，该函数能够聚合和过滤来自多跳的邻域信息。在这项工作中，我们分析了这些模型的表示能力，以调节信息从多个跳独立。从我们的分析中，我们得出结论，这些模型，尽管是强大的，有有限的表示能力，有效地捕捉多跳邻域信息。此外，我们还提出了一个数学动机，但简单的扩展现有的图卷积网络（GCN），提高了表示能力。我们广泛地评估了所提出的模型，F-GCN八个流行的数据集从不同的领域。F-GCN在六个数据集上的表现优于最先进的半监督学习模型，同时在其他两个数据集上极具竞争力。
2018-09-21 cs.LG cs.SI stat.ML
Ethically aligned Deep Learning: Unbiased Facial Aesthetic Prediction
University of Surrey（萨里大学）；Reutlingen University（罗伊特林根大学）；Hunan University of Science Technology（湖南科技大学）；Xi’an Polytechnic University（西安工程大学）
面部美预测（FBP）旨在开发一种自动进行面部吸引力评估的机器。在过去，这些结果与人类的评级高度相关，因此也与他们在注释中的偏见有关。由于人工智能可能具有种族主义和歧视倾向，因此必须确定数据中出现偏差的原因。开发对有偏见的信息具有鲁棒性的训练数据和人工智能算法是科学家面临的新挑战。由于审美判断通常是有偏见的，我们想更进一步，提出一个无偏见的卷积神经网络的FBP。虽然可以创建网络模型来对面部的吸引力进行高水平的评价，但从道德的角度来看，确保模型是公正的也同样重要。在这项工作中，我们引入了AestheticNet，这是一种最先进的吸引力预测网络，其Pearson相关系数为0.9601，明显优于竞争对手。此外，我们提出了一种新的方法来生成无偏置的CNN，以提高机器学习的公平性。
2021-11-09 cs.CV cs.LG
Adversarial adaptive 1-D convolutional neural networks for bearing fault diagnosis under varying working condition
China University of Mining and Technology（中国矿业大学）；Xuzhou Medical University（徐州医科大学）
传统的滚动轴承智能故障诊断方法都是基于一个共同的假设，即带标签的训练数据（源域）和未带标签的测试数据（目标域）来自同一个分布。然而，在许多实际应用中，这一假设并不成立，特别是当工作条件变化时。在本文中，一个新的对抗自适应一维CNN称为A2 CNN提出来解决这个问题。A2CNN由源特征提取器、目标特征提取器、标签分类器和域分类器四部分组成。在训练阶段，源和目标特征提取器之间的层被部分解开，以兼顾训练效率和域适应性。实验表明，A2CNN具有较强的故障判别能力和领域不变性，因此在不同的工作条件下都能达到较高的准确率。我们还可视化了学习的特征和网络，以探索我们提出的模型高性能背后的原因。
2018-05-09 cs.LG cs.SD eess.AS
Abdominal multi-organ segmentation with cascaded convolutional and adversarial deep networks
IMT Atlantique（大西洋国立高等矿业电信学校）；Dokuz Eylul University（Dokuz Eylul大学）；CHRU Brest（布雷斯特大学地区医疗中心）
目的：腹部解剖分割对于从计算机辅助诊断到图像引导手术的许多应用至关重要。在这种情况下，我们使用深度学习解决了腹部CT和MR图像的全自动多器官分割。方法：该模型扩展了标准的条件生成对抗网络。除了强制模型创建逼真的器官轮廓之外，它还嵌入了级联的部分预训练卷积编码器-解码器作为生成器。从大量非医学图像中进行编码器微调会加剧数据稀缺性的局限性。该网络是端到端训练的，以受益于使用自动上下文的同时多级分割细化。结果如下：用于健康的肝脏，肾脏和脾脏分割，我们的管道提供了优于最先进的编码器-解码器方案有前途的结果。接下来是与2019年IEEE国际生物医学成像研讨会联合组织的联合健康腹部器官分割（CHAOS）挑战，它为我们提供了三个竞赛类别的第一名：肝脏CT，肝脏MR和多器官MR分割。结论：结合级联卷积和对抗网络，增强了深度学习管道自动描绘多个腹部器官的能力，具有良好的泛化能力。重要性：提供的综合评价表明，可以实现更好的指导，以帮助临床医生在腹部图像的解释和临床决策。
2020-01-26 cs.CV cs.LG eess.IV
Neural Network Segmentation of Cell Ultrastructure Using Incomplete Annotation
University of Southern California（南加州大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
胰岛β细胞是糖尿病研究的重要靶点。对于β细胞超微结构的可扩展建模，我们研究了通过软X射线断层扫描获得的全细胞成像数据的自动分割。在研究过程中，为不同的数据子集手动生成完整和部分超微结构注释。为了更有效地使用现有的注释，我们提出了一种方法，使部分标记的数据的应用程序的完整标签分割。为了进行实验验证，我们将我们的方法应用于训练卷积神经网络，该网络具有一组12个完全注释的数据和12个部分注释的数据，并且与单独使用完全注释的数据的标准训练相比显示出有希望的改进。
2020-04-20 cs.LG eess.IV q-bio.QM
A Neural Spiking Approach Compared to Deep Feedforward Networks on Stepwise Pixel Erasement
Chemnitz University of Technology（开姆尼茨工业大学）
在现实世界的场景中，对象通常被部分遮挡。这需要对象识别对这些扰动的鲁棒性。卷积网络在分类任务中表现出良好的性能。学习的卷积滤波器似乎类似于初级视觉皮层中发现的简单细胞的感受野。或者，脉冲神经网络在生物学上更合理。我们开发了一个两层尖峰网络，在自然场景中训练，具有生物学上合理的学习规则。它是比较两个深卷积神经网络使用分类任务的逐步像素擦除MNIST。与这些网络相比，尖峰方法实现了良好的准确性和鲁棒性。
2019-12-06 cs.CV cs.LG cs.NE
Feature-Attention Graph Convolutional Networks for Noise Resilient Learning
Florida Atlantic University（佛罗里达大西洋大学）；Hunan University of Science and Technology（湖南科技大学）
噪声和不一致性普遍存在于现实世界的信息网络中，由于人类固有的易错性或用户隐私问题。到目前为止，已经做出了巨大的努力来推进从网络的特征学习，包括最新的图卷积网络（GCN）或注意力GCN，通过集成节点内容和拓扑结构。然而，所有现有的方法都将网络视为无误差源，并将每个节点中的特征内容视为独立的，并且对节点关系建模同样重要。错误的节点内容，结合稀疏的功能，提供了现有的方法在现实世界中的噪声网络中使用的基本挑战。在本文中，我们提出了FA-GCN，一个特征-注意力图卷积学习框架，用于处理具有噪声和稀疏节点内容的网络。为了解决每个节点中的噪声和稀疏内容，FA-GCN首先采用长短期记忆（LSTM）网络来学习每个特征的密集表示。为了对相邻节点之间的交互进行建模，引入特征注意力机制以允许相邻节点学习并改变关于它们的连接的特征重要性。通过使用基于谱的图卷积聚合过程，允许每个节点更多地集中于与相应的学习任务对齐的最确定的邻域特征。实验和验证，w.r.t.不同的噪声水平，证明FA-GCN实现更好的性能比国家的最先进的方法在无噪声和噪声网络。
2019-12-26 cs.AI cs.LG cs.SI
Generating Music using an LSTM Network
Columbia University（哥伦比亚大学）
一个音乐模型需要有能力回忆过去的细节，并对音乐结构有清晰、连贯的理解。论文中详细介绍了一种神经网络架构，它可以预测并生成符合音乐规则的复调音乐。所呈现的概率模型是一个双轴LSTM，它用一个让人想起卷积核的核来训练。从定量和定性的角度分析，这一方法在复调音乐创作中有着良好的表现。提供了代码的链接。
2018-04-18 cs.LG cs.SD eess.AS
