High-dimensional Convolutional Networks for Geometric Pattern Recognition
NVIDIA(英伟达);POSTECH(浦项科技大学);Intel Labs(英特尔实验室)
科学和工程中的许多问题都可以用高维空间中的几何模式来表述。我们提出了高维卷积网络(ConvNets)的模式识别的问题,出现在几何注册的上下文中。我们首先研究卷积网络在高达32维的高维空间中检测线性子空间的有效性:比ConvNets的先前应用高得多的维度。然后,我们将高维ConvNets应用于刚性运动和图像对应估计下的3D配准。实验表明,我们的高维ConvNets优于依赖于基于全局池运算符的深度网络的先前方法。
2020-05-17 cs.CV cs.LG stat.ML
Towards Better Exploiting Convolutional Neural Networks for Remote Sensing Scene Classification
Universidade Federal de Minas Gerais (UFMG)(米纳斯吉拉斯联邦大学);SAMSUNG Research Institute(三星研究院)
我们分析了三种可能的策略,以利用现有卷积神经网络(ConvNets)在不同场景下的能力:完全训练,微调,以及使用ConvNets作为特征提取器。在许多应用中,特别是包括遥感,完全设计和训练一个新的ConvNet是不可行的,因为这通常需要大量的标记数据,并要求高计算成本。因此,了解如何从现有ConvNets中获得最佳利润非常重要。我们使用三个遥感数据集与六个流行的ConvNets进行实验。我们还将每个策略中的ConvNets与现有描述符和最先进的基线进行比较。结果指出,微调往往是最好的执行策略。事实上,使用线性SVM的微调ConvNet的特征可以获得最佳结果。我们还为所使用的三个数据集取得了最先进的结果。
2016-02-04 cs.CV
fpgaConvNet: A Toolflow for Mapping Diverse Convolutional Neural Networks on Embedded FPGAs
Imperial College London(帝国理工学院)
近年来,卷积神经网络(ConvNets)已经成为广泛的新型嵌入式人工智能系统的使能技术。在各种应用中,性能需求差异很大,从高吞吐量视频监控到自动驾驶汽车的极低延迟要求。在这种情况下,FPGA可以提供一个潜在的平台,可以根据不同的性能需求进行优化配置。然而,ConvNet模型的复杂性不断增加,使其映射到FPGA设备成为一项具有挑战性的任务。这项工作提出了fpgaConvNet,这是一个用于在FPGA上映射ConvNet的端到端框架。该框架采用了一种基于同步数据流(SDF)范式的自动化设计方法,并定义了一组SDF转换,以有效地探索建筑设计空间。通过选择性地优化吞吐量,延迟或多目标标准,所提出的工具能够有效地探索设计空间,并从高级ConvNet规范中生成硬件设计,并针对感兴趣的性能指标进行明确优化。总体而言,我们的框架产生的设计,提高了高达6.65倍的性能超过高度优化的嵌入式GPU设计,在嵌入式环境中相同的功率限制。
2017-11-23 cs.AR cs.CV cs.LG
Learning Spatiotemporal Features with 3D Convolutional Networks
Facebook AI Research(脸书人工智能研究院);Dartmouth College(达特茅斯学院)
我们提出了一种简单而有效的时空特征学习方法,使用在大规模监督视频数据集上训练的深度三维卷积网络(3D ConvNets)。我们的发现有三个方面:1)与2D ConvNets相比,3D ConvNets更适合时空特征学习; 2)在所有层中具有小3x 3x 3卷积核的同构架构是3D ConvNets的最佳性能架构之一;和3)我们学习的功能,即C3 D(卷积3D),一个简单的线性分类器优于国家的,艺术方法在4个不同的基准,并与目前最好的方法在其他2个基准。此外,这些特征是紧凑的:在UCF 101数据集上实现了52.8%的准确率,只有10个维度,并且由于ConvNets的快速推理,计算效率也非常高。最后,它们在概念上非常简单,易于训练和使用。
2015-10-07 cs.CV
Alias-Free Convnets: Fractional Shift Invariance via Polynomial Activations
Technion(以色列理工学院)
本文提出一种同时处理下采样与非线性层的抗混叠方法,构建真正无混叠、平移不变的CNN,实现对整数及分数平移的不变性,提升对抗平移鲁棒性。
2023-03-15 cs.CV eess.IV
Explainable 3D Convolutional Neural Networks by Learning Temporal Transformations
Radboud University(拉德堡德大学)
在本文中,我们介绍了时间分解的3D卷积(3TConv)作为一个可解释的替代规则的3D卷积(3DConv)。在3TConv中,通过学习2D滤波器和一组时间变换参数来获得3D卷积滤波器,从而得到稀疏滤波器,其中2D切片在时间维度上顺序地彼此依赖。我们证明了3TConv学习提供直接解释的时间变换。时间参数可以与各种现有的2D可视化方法结合使用。我们还表明,可以通过分析层和模型级别上的转换参数统计来实现对模型学习的洞察。最后,我们隐式地证明,在流行的ConvNets中,2DConv可以用3TConv替换,并且可以转移权重以产生预训练的3TConv。预训练的3TConvnets利用了传统2DConvNets十多年的工作,能够利用已被证明在图像分类基准测试中提供出色结果的功能。
2020-06-29 cs.AI cs.CV cs.LG
Global Second-order Pooling Convolutional Networks
Dalian University of Technology(大连理工大学);Tianjin University(天津大学)
深度卷积网络(ConvNets)除了大规模视觉识别之外,还对许多视觉任务至关重要。由于ConvNets的主要目标是表征高维空间中数千个类的复杂边界,因此学习高阶表示以增强非线性建模能力至关重要。近年来,连接在网络末端的全局二阶池(Global Second-order Pooling,GSoP)算法引起了越来越多的关注,在各种视觉任务中取得了比经典一阶网络更好的性能。然而,如何有效地在早期层中引入高阶表示以提高ConvNets的非线性能力仍然是一个悬而未决的问题。在本文中,我们提出了一种新的网络模型,引入GSoP从低到高的层,利用整个网络的整体图像信息。给定由某个先前卷积层输出的输入3D张量,我们执行GSoP以获得协方差矩阵,该协方差矩阵在非线性变换后用于沿通道维度的张量缩放。类似地,我们也可以沿着空间维度执行GSoP以进行张量缩放。通过这种方式,我们可以充分利用整个网络中整体图像的二阶统计量。在大规模ImageNet-1 K上对所提出的网络进行了全面评估,实验表明,它们在实现最先进结果的同时,表现出了非平凡的表现。
2018-11-30 cs.CV
Low-complexity Approximate Convolutional Neural Networks
Universidade Federal de Pernambuco(伯南布哥联邦大学);Université de Lyon(里昂大学)
在本文中,我们提出了一种方法,用于最小化训练的卷积神经网络(ConvNet)的计算复杂性。其思想是近似给定ConvNet的所有元素,并使用能够极大降低计算复杂性的有效近似来替换原始卷积滤波器和参数(池化和偏置系数;以及激活函数)。低复杂度的卷积滤波器是通过一个二进制(0 - 1)线性规划计划的基础上Frobenius范数集的二进有理数。所得到的矩阵允许无乘法计算,只需要加法和移位运算。这种低复杂度的结构为低功耗、高效的硬件设计铺平了道路。我们将我们的方法应用于三个不同复杂度的用例:(i)用于人脸检测的“轻型”但高效的ConvNet(约有1000个参数);(ii)另一个用于手写数字分类的ConvNet(超过180000个参数);以及(iii)更大的ConvNet:AlexNet,具有$\approx$ 120万个矩阵。我们评估了不同近似水平下各自任务的整体表现。在所有考虑的应用程序中,非常低的复杂性近似已被导出保持几乎相等的分类性能。
2022-07-29 cs.CC cs.CV cs.LG
IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition
National University of Defense Technology(国防科技大学)
有效的时空特征表示是基于视频的动作识别任务的关键。针对区分时空特征学习问题,在流行的时间段网络(TSN)框架的基础上,提出了用于动作识别的信息融合时间变换网络(IF-TTN)。在网络中,信息融合模块(IFM)被设计为融合每个视频片段的多个ConvNet级别的外观和运动特征,形成短期视频描述符。以融合特征为输入,采用时间变换网络(TTN)来建模相邻片段之间的中期时间变换。由于TSN本身通过分段共识来描述长期的时间结构,因此该网络综合考虑了多粒度的时间特征。我们的IF-TTN在两个最流行的动作识别数据集上实现了最先进的结果:UCF 101和HMDB 51。实证研究表明,我们的架构是强大的输入运动地图的质量。用压缩视频流中的运动矢量代替光流,性能与基于流的方法相当,而测试速度提高了10倍。
2019-04-11 cs.CV
A Novel Convolutional Neural Network Architecture with a Continuous Symmetry
Tsinghua University(清华大学);Zhejiang Future Technology Institute(浙江未来技术研究院)
受拟线性双曲系统这类偏微分方程启发,研究提出一种具备连续对称性的新型卷积神经网络架构,图像分类性能可比现有模型,可通过连续对称群修改权重,提出将内部对称性作为神经网络新理想属性,推广PDE视角的卷积网络分析思路。
2024-05-20 cs.CV cs.LG cs.NE
Self-Supervised Convolutional Subspace Clustering Network
Beijing University of Posts and Telecommunications(北京邮电大学);University of California, Berkeley(加州大学伯克利分校);Shenzhen Research Institute of Big Data(深圳大数据研究院);Peking University(北京大学)
基于数据自表达的子空间聚类方法已经成为非常流行的学习数据,位于一个低维线性子空间的联合。然而,子空间聚类的适用性受到限制,因为原始形式的实际视觉数据不一定位于这样的线性子空间中。另一方面,虽然卷积神经网络(ConvNet)已被证明是一个强大的工具,用于从视觉数据中提取判别特征,训练这样的ConvNet通常需要大量的标记数据,这是不可用的子空间聚类应用。为了同时实现特征学习和子空间聚类,我们提出了一个端到端的可训练框架,称为自监督卷积子空间聚类网络(S $^2$ ConvSCN),它将ConvNet模块(用于特征学习),自表达模块(用于子空间聚类)和谱聚类模块(用于自监督)组合成一个联合优化框架。特别是,我们引入了一个双重自我监督,利用谱聚类的输出来监督特征学习模块(通过分类损失)和自我表达模块(通过谱聚类损失)的训练。我们在四个基准数据集上的实验表明了双重自我监督的有效性,并展示了我们所提出的方法的优越性能。
2019-05-01 cs.CV
DGC-Net: Dense Geometric Correspondence Network
Aalto University(阿尔托大学);University of Oulu(奥卢大学);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软);Tampere University of Technology(坦佩雷理工大学)
本文解决了两幅图像之间的密集像素对应估计的挑战。这个问题与光流估计任务密切相关,其中ConvNets(CNN)最近取得了重大进展。虽然光流方法对于小像素平移和有限的外观变化场景产生非常准确的结果,但它们很难处理我们在这项工作中考虑的强几何变换。在本文中,我们提出了一个由粗到细的基于CNN的框架,可以利用光流方法的优势,并将其扩展到大型变换的情况下,提供密集和亚像素的准确估计。它在合成转换上进行了训练,并对看不见的,现实的数据表现出非常好的性能。此外,我们将我们的方法应用于相对相机姿态估计的问题,并证明该模型优于现有的密集方法。
2018-10-22 cs.CV
Bayesian Fusion of Active Contour Models and ConvNet Priors for Standing Dead Tree Segmentation
The Hong Kong Polytechnic University(香港理工大学);TomTom North America(TomTom北美公司);University of Freiburg(弗莱堡大学)
针对自然资源监测影像中枯木实例分割,提出贝叶斯最大后验推断框架,融合CNN先验与GAN深度形状模型,驱动主动轮廓水平集演化,在树冠轮廓重建上显著优于Mask R-CNN和K-net。
2026-09-23 cs.CV
Cooperative Training of Descriptor and Generator Networks
Hikvision Research Institute(海康威视研究院);Facebook(脸书);University of California, Los Angeles(加州大学洛杉矶分校)
研究了图像建模与合成中两种生成模型的协同训练问题。这两个模型都由卷积神经网络(ConvNets)参数化。第一个模型是基于深度能量的模型,其能量函数由自底向上的ConvNet定义,将观察到的图像映射到能量。我们称之为描述符网络。第二个模型是发电机网络,这是因子分析的非线性版本。它由自上而下的ConvNet定义,将潜在因素映射到观察到的图像。这两个模型的极大似然学习算法都涉及MCMC采样,如Langevin动力学。我们观察到,这两个学习算法可以无缝交织成一个合作学习算法,可以同时训练两个模型。具体而言,在协同学习算法的每次迭代中,生成器模型生成初始合成示例以初始化有限步MCMC,该有限步MCMC对基于能量的描述符模型进行采样和训练。之后,生成器模型从MCMC如何改变其合成的示例中学习。也就是说,描述符模型通过MCMC来教导生成器模型,使得生成器模型累积MCMC转变并通过直接祖先采样来再现它们。我们把这个方案称为MCMC教学。我们表明,合作算法可以学习高度现实的生成模型。
2018-10-29 cs.CV stat.ML
Learning Non-Parametric Invariances from Data with Permanent Random Connectomes
Carnegie Mellon University(卡内基梅隆大学)
监督分类和一般机器学习中的基本问题之一是对数据中存在的非参数不变性进行建模。大多数现有技术集中于以不变性的形式对预期存在于数据中的参数干扰变换强制执行先验。直接从数据中学习非参数不变性仍然是一个重要的开放问题。在本文中,我们为卷积网络引入了一个新的架构层,它能够从数据本身学习一般不变性。这一层可以学习非参数变换的不变性,有趣的是,它激发并整合了永久随机连接体,因此被称为永久随机连接体非参数变换网络(PRC-NPTN)。PRC-NPTN网络使用随机连接(不仅仅是权重)进行初始化,这些连接是全连接卷积层中连接的一个小子集。重要的是,PRC-NPTNs中的这些连接一旦初始化就在整个训练和测试过程中保持永久性。永久随机连接体使这些架构比许多其他需要高度有序结构的主流网络架构在生物学上更松散。我们激励随机初始化的连接作为一种简单的方法来学习数据本身的不变性,同时调用对多个滋扰变换的不变性。我们发现,这些随机初始化的永久连接对泛化有积极影响,在执行数据本身的学习不变性的基准上,性能优于更大的ConvNet基线和最近提出的非参数转换网络(NPTN)。
2020-08-14 cs.CV cs.LG cs.NE
Deep convolutional networks for pancreas segmentation in CT imaging
National Institutes of Health Clinical Center(美国国立卫生研究院临床中心)
器官的自动分割是许多计算机辅助诊断系统的重要前提。腹部器官(如胰腺)的高度解剖变异性使许多分割方法与其他器官(如肝脏、心脏或肾脏)的分割相比无法实现高精度。最近,大型注释训练集的可用性和通过GPU可负担得起的并行计算资源的可访问性使得诸如卷积网络(ConvNets)的“深度学习“方法在图像分类任务中取得成功是可行的。这些方法具有直接从成像数据训练所使用的分类特征的优点。我们提出了一个全自动的自下而上的方法胰腺分割的腹部计算机断层扫描(CT)图像。该方法是基于局部图像区域(超像素)的分级粗到细分类。使用简单线性迭代聚类(SLIC)从腹部区域提取超像素。使用块级置信度和两级级联的随机森林分类器生成初始概率响应图,其中保留概率大于0.5的超像素区域。这些保留的超像素充当胰腺及其周围环境到ConvNet的高度敏感的初始输入,该ConvNet以不同的尺度(以及训练时的随机非刚性变形)对每个超像素周围的限界框进行采样,以便为每个超像素区域分配更明显的胰腺或非胰腺的概率。我们在82例患者的CT图像上评估了我们的方法(60例用于训练,2例用于验证,20例用于测试)。使用ConvNets,我们在测试中实现了68%+-10%(范围,43-80%)的平均Dice分数。这显示了使用深度学习方法进行精确胰腺分割的前景,并且与最先进的方法相比具有优势。
2015-04-15 cs.CV
Multi-scale Attention Network for Single Image Super-Resolution
Nankai University(南开大学)
本研究针对单图像超分辨率任务,提出融合多尺度机制与大核注意力的多尺度注意力网络MAN,通过多尺度大核注意力和门控空间注意力单元聚合多尺度信息,实现性能与计算量的灵活权衡,效果比肩SwinIR。
2024-04-13 cs.CV eess.IV
Learning Non-linear Wavelet Transformation via Normalizing Flow
Department of Physics(物理系);The Hong Kong University of Science and Technology(香港科技大学)
小波变换是现代数据分析和信号处理的基石。它的数学本质是一个可逆的变换,在频域中从快速模式中分辨出慢模式。这种可逆变换可以通过设计的归一化流模型来学习。通过将广义提升方案作为耦合层、类似于下采样的因子输出层以及在模型的不同级别上共享参数,可以训练归一化流程以过滤不同级别上的高频元素,从而将传统的线性小波变换扩展到可学习的非线性深度学习模型。在本文中,提出了一种方法来建立这样的流,随着数值分析的学习转换。然后,我们证明了该模型的图像无损压缩的能力,显示它可以实现SOTA压缩分数,同时实现了一个小的模型大小,大量的泛化能力,并能够处理高维数据。
2022-01-27 cs.AI cs.CV cs.LG
Metric and Kernel Learning using a Linear Transformation
度量和核学习在若干机器学习应用中是重要的。然而,大多数现有的度量学习算法仅限于学习低维数据上的度量,而现有的核学习算法通常仅限于转换设置,并且不推广到新的数据点。在本文中,我们研究度量学习作为一个学习的输入数据的线性变换的问题。我们表明,对于高维数据,基于LogDet散度学习数据线性变换的特定框架可以有效地进行核化,以在任意高维空间上学习度量(或等效地,核函数)。我们进一步证明了一个广泛的一类凸损失函数学习线性变换可以类似地被核化,从而大大扩展了度量学习的潜在应用。我们证明了我们的学习方法,将其应用到大规模的现实世界中的问题,计算机视觉和文本挖掘。
2009-10-30 cs.CV cs.IR cs.LG
Similarity Equivariant Linear Transformation of Joint Orientation-Scale Space Representations
University of New Mexico(新墨西哥大学)
卷积通常被定义为对一个或多个变量的函数进行线性运算,其与移位交换。群卷积将概念推广到表示更一般的几何变换的群元素的函数上的线性运算,并且与这些变换交换。由于相似变换是图像上最一般的保形几何变换,因此与相似变换等变的群卷积是最一般的保形线性算子。由于相似变换有四个自由参数,群卷积被定义在四维联合方向尺度空间上。虽然先前的工作等变线性算子已被限制到离散群,相似组是连续的。在本文中,我们描述了线性算子的离散表示是等变的连续相似变换。这是通过使用一个函数的基础来实现的,即它是一个联合的shiftable-twistable-scalable。这些风车功能使用傅立叶级数的方向维度和拉普拉斯变换的对数尺度的维度,以形成一个基础的空间定位功能,可以连续内插的位置,方向和规模。虽然这一结果是潜在的显着相对于视觉计算一般,我们提出了一个初步的证明,它的效用,使用它来计算的形状等变分布的封闭轮廓跟踪粒子进行布朗运动的速度。这些轮廓由代表众所周知的虚幻轮廓诱导模式的点和线端点的集合约束。
2022-03-15 cs.CV
Mixing Paint: An analysis of color value transformations in multiple coordinate spaces using multivariate linear regression
Washington State University(华盛顿州立大学)
该研究针对颜料物理混合的颜色坐标变换问题,通过120组颜料配对实验与多元线性回归分析,对比多颜色空间拟合效果,得出CIEXYZ空间几何对称线性组合决定系数最高、RGB空间同映射均方误差更优的结论。
2024-04-01 cs.CV physics.optics