Local Convolutions Cause an Implicit Bias towards High Frequency Adversarial Examples
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）；Manifold AI（Manifold人工智能公司）；University of Tübingen（图宾根大学）
对抗性攻击仍然是神经网络面临的一个重大挑战。最近的研究表明，对抗性扰动通常包含高频特征，但这种现象的根本原因仍然未知。受线性全宽卷积模型理论工作的启发，我们假设当前神经网络中常用的局部（即有界宽度）卷积运算隐含地偏向于学习高频特征，这是高频对抗性示例的根本原因之一。为了验证这一假设，我们分析了线性和非线性架构的不同选择对空间和频率域中学习特征的隐式偏差和对抗性扰动的影响。我们发现，高频对抗性扰动是严重依赖于卷积运算，因为局部卷积的空间有限的性质诱导了对高频特征的隐式偏差。对后者的解释涉及傅立叶不确定性原理：空间受限（空间域中的局部）滤波器也不能是频率受限（频域中的局部）的。此外，使用更大的卷积核大小或避免卷积（例如，通过使用Vision Transformers架构）显著降低了这种高频偏差，但不会降低对攻击的总体敏感性。展望未来，我们的工作强烈表明，理解和控制架构的隐式偏差对于实现对抗鲁棒性至关重要。
2023-03-08 cs.LG stat.ML
Analysis of convolutional neural network image classifiers in a hierarchical max-pooling model with additional local pooling
Technische Universität Darmstadt（达姆施塔特工业大学）
图像分类被认为是，并引入了一个分层的最大池模型与额外的局部池。这里，附加的局部池化使得分层模型能够组合图像的彼此具有可变相对距离的部分。介绍了各种卷积神经网络图像分类器，并就其收敛速度进行了比较。有限样本量的估计性能进行了分析，通过将它们应用到模拟和真实数据。
2021-05-31 cs.CV cs.LG stat.ML
Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations
提出一种基于遗传算法的模型无关方法，自动演化局部解释以提升深度卷积神经网络的可解释性，实验表明其解释易于理解且比LIME快十倍以上。
2025-03-26 cs.CV cs.LG
Semi-Blind Spatially-Variant Deconvolution in Optical Microscopy with Local Point Spread Function Estimation By Use Of Convolutional Neural Networks
Idiap Research Institute（伊迪亚普研究所）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们提出了一种半盲，空间变化的反卷积技术，旨在光学显微镜，结合了局部估计步骤的点扩散函数（PSF）和反卷积使用空间变化，正则化Richardson-Lucy算法。为了以计算上易于处理的方式找到局部PSF图，我们训练卷积神经网络来对合成模糊图像块执行光学参数模型的回归。我们反卷积合成和实验获得的数据，并实现了平均1.00 dB的图像信噪比的改善，相比其他反卷积算法。
2019-05-17 cs.CV cs.LG
Graph Convolution with Low-rank Learnable Local Filters
Duke University（杜克大学）；Purdue University（普渡大学）
几何变化，如旋转，缩放和视点变化对视觉理解构成了重大挑战。一种常见的解决方案是直接对某些内在结构进行建模，例如，使用地标。然而，构建有效的深度模型变得非常重要，特别是当底层非欧几里得网格不规则且粗糙时。最近使用图卷积的深度模型提供了一个适当的框架来处理这种非欧几里德数据，但其中许多模型，特别是基于全局图拉普拉斯算子的模型，缺乏表达能力来捕获表示非欧几里德网格上的信号所需的局部特征。本文介绍了一种新型的图卷积与可学习的低秩局部滤波器，这是证明比以前的谱图卷积方法更有表现力。该模型还为谱卷积和空间图卷积提供了一个统一的框架。为了提高模型的鲁棒性，引入了局部图拉普拉斯正则化。利用图滤波局部性和局部图正则化理论证明了该表示对输入图数据扰动的稳定性。球形网格数据，真实世界的面部表情识别/基于动作识别数据，和模拟图形噪声的数据上的实验表明，所提出的模型的经验优势。
2020-10-11 cs.CV cs.LG stat.ML
Hyperbolic Convolution via Kernel Point Aggregation
University of California at Berkeley（加州大学伯克利分校）；Duke Kunshan University（昆山杜克大学）
针对欧几里得卷积无法适配双曲空间、现有双曲神经网络忽略局部模式或缺失关键属性的问题，提出具备排列等变性与平行移动不变性的可训练双曲卷积HKConv，提升了多项任务的性能。
2023-06-15 cs.LG stat.ML
MRL: Learning to Mix with Attention and Convolutions
Sony Group Corporation（索尼集团公司）
在本文中，我们提出了一个新的神经架构块的视觉域，名为混合区域和本地（MRL），开发的目的是有效地和高效地混合提供的输入功能。我们将输入特征混合任务分为区域和局部混合。为了实现有效的混合，我们利用自注意力提供的全域感受野进行区域尺度混合，并将卷积核限制在局部尺度进行局部尺度混合。更具体地说，我们提出的方法混合了与定义区域内的局部特征相关联的区域特征，然后是由区域特征增强的局部尺度特征混合。实验表明，这种自我注意和卷积的混合带来了改进的能力，泛化（右归纳偏差）和效率。在类似的网络设置下，MRL在分类、目标检测和分割任务方面优于或与同类产品相当。我们还表明，我们基于MRL的网络架构实现了H&E组织学数据集的最先进性能。我们分别为Kumar、CoNSep和CPM-17数据集实现了0.843、0.855和0.892的DICE，同时突出了MRL框架通过合并群卷积等层来改善特定于
2022-08-30 cs.CV cs.LG
Local Spectral Graph Convolution for Point Set Feature Learning
McGill University（麦吉尔大学）
点云上的特征学习已经显示出巨大的前景，引入了有效和可推广的深度学习框架，如pointnet++。然而，到目前为止，点特征一直是以独立和孤立的方式提取的，忽略了相邻点的相对布局以及它们的特征。在本文中，我们建议通过在局部图上使用谱图卷积，结合一种新的图池策略来克服这一限制。在我们的方法中，图卷积是在从一个点的邻域构造的最近邻图上进行的，这样特征就被联合学习了。我们用递归聚类和池化策略取代标准的最大池化步骤，旨在从光谱坐标中彼此接近的节点集群中聚合信息，从而获得更丰富的整体特征描述符。通过对不同数据集的广泛实验，我们显示了点集分类和分割任务的一致可证明的优势。
2018-03-15 cs.CV cs.LG
Semi-Supervised Classification with Graph Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院）
我们提出了一种可扩展的方法，半监督学习的图形结构的数据，是基于一个有效的变种卷积神经网络，直接在图上操作。我们通过谱图卷积的局部一阶近似来激励我们的卷积架构的选择。我们的模型在图边缘的数量上线性缩放，并学习对局部图结构和节点特征进行编码的隐藏层表示。在引文网络和知识图谱数据集上的大量实验中，我们证明了我们的方法明显优于相关方法。
2017-02-22 cs.LG stat.ML
Human Action Recognition using Local Two-Stream Convolution Neural Network Features and Support Vector Machines
University of the Witwatersrand（金山大学）；School of Computer Science and Applied Mathematics（计算机科学与应用数学系）；Johannesburg, South Africa（约翰内斯堡，南非（注：此为地址，非机构））
提出了一种简单有效的视频人体动作识别方法。所提出的方法分别提取局部外观和运动特征，使用国家的最先进的三维卷积神经网络从采样片段的视频。这些本地功能，然后连接，形成全球表示，然后用于训练线性SVM执行动作分类使用完整的上下文的视频，作为部分上下文中使用的在以前的作品。视频经过两个简单的预处理技术，光流缩放和裁剪填充。我们对三个常见的基准数据集进行了广泛的评估，以实证的方式展示了SVM和两个预处理步骤的好处。
2020-02-19 cs.CV cs.LG stat.ML
Arguments for the Unsuitability of Convolutional Neural Networks for Non--Local Tasks
Universität Innsbruck（因斯布鲁克大学）
卷积神经网络在过去几年中已经确立了自己作为图像分类的最先进方法的地位，对于许多数据集，它们甚至在分类图像方面超过了人类。不幸的是，相同的架构在必须将图像的部分相互比较以正确分类该图像时表现得更差。到目前为止，还没有形成良好的理论论据来解释这一缺陷。在本文中，我们将认为卷积层对此类问题几乎没有用处，因为比较任务本质上是全局的，但卷积层在设计上是局部的。我们将利用这一洞察力将比较任务重新定义为排序任务，并利用排序网络的发现提出一个神经网络以可推广的方式解决比较任务所需参数数量的下限。我们将使用这个下限来论证注意力以及迭代/递归处理是防止组合爆炸所必需的。
2021-02-23 cs.AI cs.CV cs.LG
Deep Graph-Convolutional Image Denoising
Politecnico di Torino（都灵理工大学）
针对卷积神经网络未融合非局部自相似性先验的问题，提出采用动态图卷积层、引入轻量级边条件卷积的端到端去噪网络，在合成与真实噪声任务上均达到SOTA性能。
2019-07-19 cs.CV cs.LG cs.MM
Intensity-free Convolutional Temporal Point Process: Incorporating Local and Global Event Contexts
University of Electronic Science and Technology of China（电子科技大学）
针对现有时间点过程（TPP）模型忽略局部事件上下文的问题，提出结合连续时间卷积编码器与RNN的新框架，融合局部与全局上下文，提升了事件预测准确率。
2023-06-24 cs.AI cs.LG cs.SI
Reconstructing the local density field with combined convolutional and point cloud architecture
Ecole Polytechnique Rte de Saclay, 91120 Palaiseau, France（巴黎-萨克雷高等理工学院）；Center for Data-Driven Discovery Kavli IPMU, UTIAS, The University of Tokyo（数据驱动发现中心）；The University of Tokyo（东京大学）
本文提出结合卷积和点云架构的神经网络，用于基于暗物质团的异常速度重建局部密度场，提升了小尺度的聚类特征恢复能力。
2025-11-26 astro-ph.CO cs.LG stat.ML
Local Latent Representation based on Geometric Convolution for Particle Data Feature Exploration
The Ohio State University（俄亥俄州立大学）
特征相关粒子数据分析在流体模拟、宇宙学模拟和分子动力学等科学应用中起着重要的作用。与传统的使用手工特征描述符的方法相比，最近的一些研究集中在将数据转换到一个新的潜在空间中，在这个空间中，特征更容易被识别、比较和提取。然而，将粒子数据转换为潜在表示是具有挑战性的，因为先前研究中使用的卷积神经网络需要以规则网格呈现的数据。在本文中，我们采用几何卷积，一个神经网络构建块设计的三维点云，创建科学粒子数据的潜在表示。这些潜在的表示捕捉粒子的位置和它们的物理属性在局部邻域，以便可以通过聚类在潜在的空间中提取的功能，并通过应用跟踪算法，如均值漂移跟踪。我们使用来自三个应用程序的数据集验证了从我们的方法中提取的特征和跟踪结果，并表明它们与为每个特定数据集定义手工特征的方法相当。
2022-03-10 cs.GR cs.HC cs.LG
Learning Convolutional Neural Networks for Graphs
NEC Labs Europe（NEC欧洲实验室）
许多重要的问题可以被定义为从图形数据中学习。我们提出了一个学习任意图的卷积神经网络的框架。这些图可以是无向的、有向的，并且具有离散和连续的节点和边属性。类似于对输入的局部连接区域进行操作的基于图像的卷积网络，我们提出了一种从图中提取局部连接区域的通用方法。使用已建立的基准数据集，我们证明了学习的特征表示与最先进的图形内核具有竞争力，并且它们的计算效率很高。
2016-06-08 cs.AI cs.LG stat.ML
AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery
Atomwise, Inc.（Atomwise公司）
深度卷积神经网络包括具有约束架构的深度神经网络（DNN）的子类，该约束架构利用它们建模的域的空间和时间结构。卷积网络通过将简单的局部特征分层组成复杂的模型，在语音和图像识别等领域实现了最佳的预测性能。尽管DNN已被用于药物发现的QSAR和基于配体的生物活性预测，但这些模型都没有从这种强大的卷积架构中受益。本文介绍了AtomNet，这是第一个基于结构的深度卷积神经网络，旨在预测药物发现应用中小分子的生物活性。我们演示了如何将特征局部性和层次组成的卷积概念应用于生物活性和化学相互作用的建模。与现有的DNN技术相比，我们表明AtomNet将局部卷积滤波器应用于结构目标信息，成功地预测了没有先前已知调制器的目标的新活性分子。最后，我们证明了AtomNet在一组不同的基准测试中的表现优于以前的对接方法，在DUDE基准测试中，57.8%的目标的AUC大于0.9。
2015-10-10 cs.LG cs.NE q-bio.BM
