Dual-Tree Wavelet Scattering Network with Parametric Log Transformation for Object Classification
University of Cambridge(剑桥大学)
我们介绍了一个散点网络,它使用双树复小波的参数对数变换从多分辨率图像中提取平移不变表示。参数变换通过将偏态分布转化为相对平均对称的分布来辅助OLS剪枝算法,而双树小波提高了网络的计算效率。所提出的网络在两个图像数据集上的分类精度和计算效率都优于Mallat的ScatterNet。所提出的网络优于其他监督和一些无监督的方法也提出了使用不同的训练数据集大小进行实验。
2017-02-10 cs.CV
Isometric Transformation Invariant Graph-based Deep Neural Network
EPFL(洛桑联邦理工学院)
学习视觉数据的变换不变表示是计算机视觉中的一个重要问题。深度卷积网络在图像和视频分类任务中表现出了显著的效果。然而,他们只取得了有限的成功进行几何变换的图像分类。在这项工作中,我们提出了一种新的基于变换不变图的网络(TIGraNet),它学习基于图的特征,这些特征对输入图像的旋转和平移等等距变换具有固有的不变性。特别是,图像被表示为图上的信号,这允许用图谱卷积和动态图池化层替换深度网络中的经典卷积和池化层,这些层共同有助于等距变换的不变性。我们的实验表明,与对数据中的变换非常敏感的经典架构相比,测试集的旋转和平移图像具有高性能。我们的框架的固有不变性提供了关键的优势,例如增加对数据变化的弹性和有限训练集的持续性能。我们的代码可在线获取。
2018-08-21 cs.CV
The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance
Stanford(斯坦福大学)
随着对象识别成为越来越常见的机器学习任务,以及最近的研究表明CNN易受攻击和小图像扰动的影响,有必要充分理解对象识别的基础。我们专注于理解神经网络如何推广到复杂对象的空间变换背后的机制。虽然人类擅长区分在新位置、方向和尺度上显示的物体,但过去的结果表明,这可能仅限于熟悉的物体-人类对有目的地构建的新物体表现出较低的空间差异容忍度。由于从头开始训练人工神经网络类似于向人类展示新的对象,因此我们试图了解影响CNN对空间变换的耐受性的因素。我们对七种卷积神经网络(CNN)架构进行了彻底的实证研究。通过在受控的人脸图像数据集上进行训练,我们测量了不同程度的5种变换的模型准确性:位置,大小,旋转,高斯模糊和分辨率变换。我们还通过研究不同数量的预训练对模型鲁棒性的影响来研究学习策略如何影响泛化能力。总的来说,我们发现,对变换不变性最重要的贡献者是在大型、多样化的图像数据集上进行预训练。此外,虽然AlexNet往往是最不健壮的网络,但VGG和ResNet架构对不同的转换表现出更高的健壮性。除了内核可视化和定性分析,我们还研究了学习策略和固有架构属性之间的差异,这些差异有助于实现变换的不变性,为理解如何在CNN中实现更强的变换鲁棒性提供了有价值的信息。
2018-10-31 cs.CV
FuCiTNet: Improving the generalization of deep learning networks by the fusion of learned class-inherent transformations
University of Vigo(维戈大学);University of Alicante(阿利坎特大学);University of Granada(格拉纳达大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
众所周知,非常小的数据集会在深度神经网络(DNN)中产生过拟合,即,网络变得高度偏向于它已经训练过的数据。这个问题通常使用迁移学习、正则化技术和/或数据增强来缓解。这项工作提出了一种新的方法,独立但与前面提到的技术互补,用于改进DNN在非常小的数据集上的泛化,其中所涉及的类共享许多视觉特征。受GANs启发,所提出的方法称为FuCiTNet(Fusion Class inherent Transformations Network,融合类固有变换网络),在问题中创建与类一样多的生成器。每个生成器$k$学习将输入图像带入k类域的变换。我们在生成器中引入分类损失来驱动特定k类变换的学习。我们的实验表明,所提出的转换提高了分类模型在三个不同的数据集的泛化。
2020-05-17 cs.CV
IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition
National University of Defense Technology(国防科技大学)
有效的时空特征表示是基于视频的动作识别任务的关键。针对区分时空特征学习问题,在流行的时间段网络(TSN)框架的基础上,提出了用于动作识别的信息融合时间变换网络(IF-TTN)。在网络中,信息融合模块(IFM)被设计为融合每个视频片段的多个ConvNet级别的外观和运动特征,形成短期视频描述符。以融合特征为输入,采用时间变换网络(TTN)来建模相邻片段之间的中期时间变换。由于TSN本身通过分段共识来描述长期的时间结构,因此该网络综合考虑了多粒度的时间特征。我们的IF-TTN在两个最流行的动作识别数据集上实现了最先进的结果:UCF 101和HMDB 51。实证研究表明,我们的架构是强大的输入运动地图的质量。用压缩视频流中的运动矢量代替光流,性能与基于流的方法相当,而测试速度提高了10倍。
2019-04-11 cs.CV
Unsupervised Image Transformation Learning via Generative Adversarial Networks
Massachusetts Institute of Technology(麻省理工学院);the Chinese University of Hong Kong(香港中文大学);University of California Los Angeles(加州大学洛杉矶分校)
在这项工作中,我们研究了图像变换问题,其目标是学习底层变换(例如,季节的过渡)。但现实世界中的变化数不胜数,尤其是在无人监督的情况下,这一任务的难度更大。为了解决这一障碍,我们提出了一种基于生成对抗网络(GANs)的新型学习框架,其中,生成器和生成器共享一个变换空间。在模型完全优化后,共享空间内的任何两个点都应该定义一个有效的转换。通过这种方式,在推理阶段,我们通过将两个图像投影到变换空间上来充分提取可定制图像对之间的变化因子。所得到的变换向量可以进一步指导图像合成,从而促进具有连续语义变化的图像编辑(例如,以秋季为中间步骤,将夏季变为冬季)。值得注意的是,学习的变换空间不仅支持传输图像风格(例如,从白天变到夜晚),而且还操纵图像内容(例如,在天空中添加云)。此外,我们对变换空间的性质进行了深入的分析,以帮助理解各种变换是如何组织的。项目页面位于https://genforce.github.io/trgan/。
2022-10-05 cs.CV
Review Neural Networks about Image Transformation Based on IGC Learning Framework with Annotated Information
Nanjing University(南京大学)
图像变换是一类视觉和图形问题,其目标是学习输入图像和输出图像之间的映射,在深度神经网络的背景下发展迅速。在计算机视觉(CV)中,许多问题都可以看作是图像变换的任务,例如,语义分割和风格转换。这些作品有不同的主题和动机,使图像转换任务蓬勃发展。有些研究只是综述了风格转换或意象翻译的研究,这些研究都是意象转换的一个分支。然而,据我们所知,没有一项调查在一个统一的框架内总结这些工作。本文提出了一种包含自主学习、引导学习和协作学习的新型学习框架--IGC学习框架。我们讨论的图像转换主要涉及关于深度神经网络的一般图像到图像的翻译和风格转移。从这个框架的角度来看,我们回顾了这些子任务,并给出了各种场景的统一解释。我们根据相似的发展趋势对图像变换的相关子任务进行了分类。最后,通过实验验证了IGC学习的有效性。最后,对未来的研究方向和存在的问题进行了讨论。
2022-06-21 cs.CV
Unwarping Screen Content Images via Structure-texture Enhancement Network and Transformation Self-estimation
提出结构-纹理增强网络(STEN)结合变换自估计,用于屏幕内容图像去扭曲,通过B样条隐式神经表示和自校正算法,显著优于现有方法。
2025-04-21 cs.CV
Studying Invariances of Trained Convolutional Neural Networks
Eidgenössische Technische Hochschule (ETH) Zürich(苏黎世联邦理工学院)
卷积神经网络(CNN)定义了一类非常强大的图像分类模型,但理论背景和对某些变换的不变性是如何学习的理解是有限的。在一个大规模的筛选中,图像被不同大小的仿射和非仿射变换修改,我们分析了CNN架构AlexNet和ResNet的行为。如果不同转换的幅度不超过类和转换相关的阈值,则两种架构都表现出不变的行为。在这项工作中,我们还介绍了一个新的学习模块,不变的Transformer网,它使我们能够学习一组仿射变换的可微参数。这允许我们提取CNN不变的变换空间,并且其类预测是鲁棒的。
2018-03-15 cs.CV
Dual-Flow Transformation Network for Deformable Image Registration with Region Consistency Constraint
形变图像配准能够实现图像间快速、准确的配准,在医学图像研究中起着重要的作用。当前基于深度学习(DL)的图像配准方法通过利用卷积神经网络直接学习从一个图像到另一个图像的空间变换,需要地面真值或相似性度量。然而,这些方法仅使用全局相似性能量函数来评估一对图像的相似性,这忽略了图像内感兴趣区域(ROI)的相似性。而且,基于深度学习的方法往往直接估计图像的全局空间变换,而没有考虑图像中感兴趣区域的空间变换。在本文中,我们提出了一种新的双流变换网络与区域一致性约束,最大限度地提高了一对图像内的ROI的相似性,同时估计全球和区域的空间变换。在4个公开的3D MRI数据集上的实验结果表明,与现有的配准方法相比,该方法在准确性和泛化能力方面都具有最好的性能。
2022-06-05 cs.CV
Why do deep convolutional networks generalize so poorly to small image transformations?
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
卷积神经网络(CNN)通常被认为对小的图像变换是不变的:要么是因为卷积架构,要么是因为它们是使用数据增强训练的。最近,几位作者已经证明情况并非如此:输入图像的小平移或重新缩放可以大大改变网络的预测。在本文中,我们量化了这种现象,并询问为什么卷积架构和数据增强都不足以实现所需的不变性。具体来说,我们证明了卷积架构不具有不变性,因为架构忽略了经典的采样定理,并且数据增强不具有不变性,因为CNN只学习对与训练集中的典型图像非常相似的图像的变换保持不变。我们讨论了这个问题的两种可能的解决方案:(1)抗锯齿的中间表示和(2)增加数据增强,并表明,他们最多只能提供一个部分的解决方案。总之,我们的研究结果表明,在神经网络中,在保持高精度的同时确保对小图像变换的不变性的问题仍然没有解决。
2019-12-31 cs.CV
Resisting Large Data Variations via Introspective Transformation Network
University of California, Irvine(加州大学欧文分校);Johns Hopkins University(约翰斯·霍普金斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室)
训练深度网络,推广到测试数据的各种变化,对于构建准确和强大的图像分类器至关重要。一种标准策略是应用数据增强来综合地扩大训练集。然而,数据增强本质上是一种蛮力方法,它从某些预定义的变换集生成均匀的样本。在本文中,我们提出了一个原则性的方法,训练网络,显着提高抵抗训练和测试数据之间的大变化。这是通过将可学习的转换模块嵌入到内省网络中来实现的,内省网络是一种具有生成能力的卷积神经网络(CNN)分类器。我们的方法在基于当前模型合成伪阴性样本和转换的阳性样本之间交替,并在这些合成样本上优化模型预测。实验结果证明,我们的方法显著提高了深度网络抵抗训练数据和测试数据之间巨大差异的能力,并在几个基准数据集上实现了分类精度的提高,包括MNIST,affNIST,SVHN,CIFAR-10和miniImageNet。
2020-06-26 cs.CV
CSGAN: Cyclic-Synthesized Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology(印度信息技术学院)
图像到图像变换的主要动机是将一个域的图像转换到另一个域。大部分的研究都集中在一组预定义域的图像变换的任务。很少有作品报道,实际上开发了一个共同的框架,图像到图像变换为不同的领域。随着生成对抗网络(GANs)作为图像生成问题的通用框架的引入,图像到图像转换领域有了巨大的增长。大部分的研究集中在图像到图像变换的合适的目标函数。在本文中,我们提出了一个新的循环合成生成对抗网络(CSGAN)的图像到图像的转换。建议CSGAN使用一个新的目标函数(损失)称为循环合成损失(CS)之间的合成图像的一个域和循环图像的另一个域。CSGAN的性能进行了评估的两个基准图像到图像的转换数据集,包括香港中文大学人脸数据集和CMP门面数据集。计算结果使用广泛使用的评估指标,如MSE,SSIM,PSNR和LPIPS。最后,将所提出的CS-GAN GAN方法与最新的GAN、Pix 2 Pix、DualGAN、CycleGAN和PS2 GAN等方法进行了比较.建议的CSGAN技术优于所有的方法在中大数据集,并表现出有前途的和可比的性能超过门面数据集在定性和定量的措施。该代码可在https://github.com/KishanKancharagunta/CSGAN上获得。
2019-01-11 cs.CV
Low-Rank Winograd Transformation for 3D Convolutional Neural Networks
Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室)
本文重点研究了3D卷积神经网络(CNN)中的Winograd变换,与2D版本相比,3D CNN更过参数化。过度增加的Winograd参数不仅加剧了训练的复杂性,而且由于Winograd域中元素级产品的数量而阻碍了实际的加速。我们试图通过引入低秩Winograd变换来减少可训练参数,这是一种新的训练范式,它将原始的大张量分解为两个存储需求较少的可训练张量,从而显着降低了复杂性。建立在我们的低秩Winograd变换,我们提前一步,提出了一个面向低秩的稀疏粒度,措施列的参数的重要性。通过简单地在元素乘积中包含非零列,我们的稀疏粒度被赋予了产生非常规则的稀疏模式的能力,以获得有效的Winograd加速。为了更好地理解我们方法的有效性,我们对3D CNN进行了广泛的实验。结果表明,我们的低秩Winograd变换的性能优于香草Winograd变换。我们还表明,我们提出的低秩面向稀疏粒度允许实际Winograd加速相比,香草。
2023-01-26 cs.CV
Chinese Typeface Transformation with Hierarchical Adversarial Network
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们探讨了自动生成字体通过图像风格转移,在自然图像生成显示出很大的希望。现有的自然图像风格转换方法通常假设源图像和目标图像具有相似的高频特征。然而,这种假设在字体转换中不再成立。受生成对抗网络(GANs)最新进展的启发,我们提出了一种用于字体转换的分层对抗网络(HAN)。HAN由两个子网络组成:一个传输网络和一个分层对抗网络。传输网络将字符从一种字体映射到另一种字体。字体的一个独特的特点是,即使在同一字体下,相同的偏旁在不同的字符中也可能有完全不同的外观。因此,转移网络采用阶段解码器来利用多个特征层,旨在捕获全局和局部特征。层次对抗性搜索隐式地测量生成的域和目标域之间的数据差异。为了充分利用不同特征层的互补鉴别能力,提出了一种分层结构。实验表明,HAN是一种有效的字体迁移和字符恢复框架。
2017-11-17 cs.CV
TI-POOLING: transformation-invariant pooling for feature learning in Convolutional Neural Networks
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们提出了一个深度神经网络拓扑结构,它包含一个简单的实现变换不变池操作(TI-POOLING)。该算子能够有效地处理关于数据中的干扰变化(例如旋转或缩放变化)的先验知识。大多数当前的方法通常利用数据集增强来解决这个问题,但这需要更多的模型参数和更多的训练数据,并导致显著增加的训练时间和更大的欠拟合或过拟合的机会。这些缺点的主要原因是学习模型需要为输入的所有可能转换捕获足够的特征。另一方面,我们将卷积神经网络中的特征公式化为变换不变的。我们实现了使用并行连体架构所考虑的转换集,并应用TI-POOLING操作符在其输出之前的全连接层。我们表明,这种拓扑结构内部找到最佳的“规范”的输入图像的训练实例,因此限制了学习功能的冗余。当与具有数据集增强的标准卷积神经网络和其他基线相比时,这种更有效地使用训练数据的方法在具有较少参数的流行基准数据集上具有更好的性能。
2016-09-22 cs.CV
Improving the Robustness of Capsule Networks to Image Affine Transformations
University of Munich(慕尼黑大学);Siemens AG, Corporate Technology(西门子股份公司企业技术部)
卷积神经网络(CNN)通过使用池化操作来实现平移不变性。然而,这些操作并不保留所学习的表示中的空间关系。因此,CNN不能外推到输入的各种几何变换。最近,有人提出了胶囊网络(CapsNets)来解决这个问题。在CapsNets中,每个实体都由向量表示,并通过动态路由算法路由到高级实体表示。CapsNets已经被证明比CNN对输入的仿射变换更鲁棒。然而,与未转换的版本相比,它们在转换输入上的性能仍然存在巨大差距。在这项工作中,我们首先重新审视路由过程(联合国)滚动其向前和向后通过。我们的调查表明,路由过程既不有助于泛化能力,也不仿射鲁棒性的CapsNets。此外,我们探索了胶囊变换的局限性,并提出了仿射CapsNets(Aff-CapsNets),这是更强大的仿射变换。在我们的基准测试任务中,模型在MNIST数据集上进行训练,并在AffNIST数据集上进行测试,我们的Aff-CapsNets在不使用任何路由机制的情况下,大幅提高了基准测试的性能(从79%提高到93.21%)。
2020-03-31 cs.CV
Intrinsic Image Transformation via Scale Space Decomposition
College of Computer Science Zhejiang University(浙江大学计算机学院);Alibaba - Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
我们引入了一种新的网络结构,用于将图像分解为其固有的灰度和阴影。我们将其视为图像到图像的转换问题,并探索输入和输出的尺度空间。通过将输出图像(阴影和阴影)扩展到它们的拉普拉斯金字塔分量,我们开发了一种多通道网络结构,该结构并行地学习连续频带中的图像到图像变换函数,每个通道内是具有跳跃连接的完全卷积神经网络。该网络结构具有通用性和可扩展性,在图像分解问题上表现出了良好的性能。我们在两个基准数据集上评估了网络:MPI-Sintel数据集和MIT Intrinsic Images数据集。定量和定性结果都表明,我们的模型在最先进的技术水平上取得了明显的进展。
2018-05-25 cs.CV
Recognizing Manipulation Actions from State-Transformations
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
操纵动作将对象从初始状态转换为最终状态。在本文中,我们报告使用对象状态转换作为识别操作动作的手段。我们的方法的灵感来自于直觉,对象状态在视觉上比来自静止帧的动作更明显,从而提供了与时空动作识别互补的信息。我们首先定义一个状态转换矩阵,将动作标签映射到前状态和后状态。从每个关键帧中,我们学习对象及其状态的外观模型。然后,可以从状态转换矩阵中识别操纵动作。我们报告EPIC厨房动作识别挑战赛的结果。
2019-06-12 cs.CV
Interpretable Transformations with Encoder-Decoder Networks
University College London(伦敦大学学院)
深度特征空间具有对其输入数据的复杂变换进行编码的能力。然而,理解两个变换的编码图像之间的相对特征空间关系是困难的。例如,两个旋转图像之间的相对特征空间关系是什么?当我们在特征空间插值时,解码的是什么?理想情况下,我们希望将混淆因素(如姿势、外观和照明)从对象身份中分离出来。解开这些是困难的,因为它们以非常非线性的方式相互作用。我们提出了一个简单的方法来构建一个深的特征空间,明确解开表示几个已知的变换。然后,人或算法可以操纵解开的表示,例如,以通过对参数化的自由度的显式控制来重新渲染图像。特征空间是使用具有自定义特征变换层的变换编码器-解码器网络构造的,作用于隐藏表示。我们展示了在各种数据集和转换上显式解开的优势,并作为传统任务(如分类)的辅助工具。
2017-10-19 cs.CV
Detecting Adversarial Examples by Input Transformations, Defense Perturbations, and Voting
Scuola Superiore Sant’Anna(圣安娜高等学校);Tecip Institute(特西普研究院)
在过去的几年里,卷积神经网络(CNN)已经被证明在视觉识别任务中达到了超人的性能。然而,CNN很容易被对抗性的例子愚弄,即,恶意制作的图像,迫使网络预测不正确的输出,同时与预测正确输出的图像非常相似。常规对抗性示例对输入图像变换不具有鲁棒性,然后可以使用输入图像变换来检测是否向网络呈现对抗性示例。尽管如此,仍然有可能生成对这种转换具有鲁棒性的对抗性示例。本文广泛探讨了通过图像变换检测对抗性示例,并提出了一种新的方法,称为\textit{defense perturbation},检测具有相同的输入变换的对抗性示例是强大的。这种\textit{defense perturbation}被证明是一种有效的对抗措施,强大的对抗性的例子。此外,多网络对抗的例子。这种对抗性的例子可以用来同时欺骗多个网络,这在使用网络冗余的系统中至关重要,例如那些基于多个CNN多数投票的架构。最后报告了一组基于在Imagenet数据集上训练的最先进CNN的广泛实验。
2021-08-16 cs.CV
Transformation-Equivariant 3D Object Detection for Autonomous Driving
Inceptio Technology(嬴彻科技)
三维目标检测近年来在自动驾驶中受到越来越多的关注。三维场景中的物体以不同的方向分布。普通的探测器没有明确地模拟旋转和反射变换的变化。因此,强大的检测需要大型网络和广泛的数据增强。最近的等变网络通过在多个变换的点云上应用共享网络来显式地建模变换变化,在物体几何建模中显示出巨大的潜力。然而,由于计算成本大、推理速度慢,此类网络很难应用于自动驾驶中的3D目标检测。在这项工作中,我们提出了TED,一个有效的变换等变3D检测器,以克服计算成本和速度问题。TED首先应用稀疏卷积主干来提取多通道变换等变体素特征;然后将这些等变特征对齐并聚合成轻量级和紧凑的表示,用于高性能的3D目标检测。在竞争激烈的KITTI 3D汽车检测排行榜上,TED以极具竞争力的效率在所有提交作品中排名第一。
2022-12-01 cs.CV
A DNN Framework For Text Image Rectification From Planar Transformations
Tsinghua University(清华大学)
在本文中,一种新的神经网络架构,提出了试图纠正文本图像与温和的假设。收集了一个新的文本图像数据集来验证我们的模型并向公众开放。我们探索了深度神经网络学习几何变换的能力,发现该模型可以在没有显式监督分割信息的情况下分割文本图像。实验结果表明,该结构能够有效地恢复平面变换,具有良好的鲁棒性。
2016-11-14 cs.CV
Iterative collaborative routing among equivariant capsules for transformation-robust capsule networks
SSSIHL(斯里萨提亚赛高等研究院(SSSIHL))
变换鲁棒性是执行图像分类的机器学习模型的重要特征。许多方法旨在通过使用数据增强策略来赋予模型此属性,而通过使用等变模型来获得更正式的保证。我们认识到,组成或部分整体结构也是图像的一个重要方面,必须考虑建立变换鲁棒模型。因此,我们提出了一个胶囊网络模型,这是,在一次,等变和成分感知。我们的胶囊网络模型的等变来自于在精心选择的新颖架构中使用等变卷积。意识的组合性来自于使用我们提出的新的,迭代的,基于图的路由算法,称为迭代协作路由(ICR)。ICR是我们贡献的核心,它根据最近邻居的度中心性的迭代平均得分来加权胶囊的预测。在FashionMNIST、CIFAR-10和CIFAR-100上对变换后的图像分类进行的实验表明,我们使用ICR的模型优于卷积和胶囊基线,实现了最先进的性能。
2022-10-20 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University(延世大学);Ewha Womans University(梨花女子大学)
本文提出了一种用于密集语义对应的深层架构,称为金字塔仿射回归网络(PARN),它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化,我们利用金字塔模型,其中仿射变换场以从粗到细的方式逐步估计,以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换,并将它们组合以估计最终仿射变换。此外,为了克服语义对应训练数据不足的局限性,我们提出了一种新的弱监督训练方案,通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的,在一个端到端的方式,不需要量化无限连续仿射变换领域。据我们所知,这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明,PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
Transformationally Identical and Invariant Convolutional Neural Networks through Symmetric Element Operators
Georgetown University Medical Center(乔治城大学医学中心);Virginia Tech(弗吉尼亚理工大学);Harbin Institute of Technology(哈尔滨工业大学)
从数学上讲,变换不变算子,例如变换恒等(TI)矩阵核(即,K= T{K}),与变换(T{.})当它们在第一个操作数矩阵上操作时,我们发现,通过在卷积神经网络(CNN)系统中一致地应用相同类型的TI内核,可交换性质在卷积过程的所有层中保持,无论是否涉及激活函数和/或层内跨通道的1D卷积。我们进一步发现,对于所有卷积层具有相同TI内核属性的任何CNN,后面是在其变换对应元素之间具有权重共享的平坦层,将为原始输入向量的所有变换版本输出相同的结果。简而言之,CNN[ Vi ] = CNN[ T{Vi} ],提供CNN中的每个K = T{K},其中Vi表示输入向量,并且CNN[.]将整个CNN过程表示为产生输出向量的输入向量的函数。利用这种变换上相同的CNN(TI-CNN)系统,与在数据增强中使用的预定义TI不相关联的每个变换将固有地包括用于训练的输入向量的所有其对应变换版本。因此,对于CNN中的每个内核使用相同的TI属性将在训练期间与误差反向传播结合用作定向或平移独立的训练指导。对于需要从输入的对应变换版本获得高度一致的输出结果的应用,此TI内核属性是理想的。提供了几个C编程例程,以方便感兴趣的各方使用TI-CNN技术,预计将产生更好的泛化性能比其普通的CNN对应。
2018-07-10 cs.CV
MDReg-Net: Multi-resolution diffeomorphic image registration using fully convolutional networks with deep self-supervision
University of Pennsylvania(宾夕法尼亚大学);Perelman School of Medicine(佩雷尔曼医学院);Center for Biomedical Image Computing and Analytics (CBICA)(生物医学图像计算与分析中心(CBICA))
我们提出了一个同构图像配准算法学习空间变换的图像对之间的注册使用全卷积网络(FCN)下的自监督学习设置。该网络被训练为通过最大化固定和变形运动图像之间的图像相似性度量来估计图像对之间的同构空间变换,类似于传统的图像配准算法。它在多分辨率图像配准框架中实现,以联合和增量地优化和学习不同图像分辨率下的空间变换,并进行深度自我监督,以便更好地处理图像之间的大变形。一个空间高斯平滑内核集成的FCNs产生足够平滑的变形领域,实现同构图像配准。特别地,利用在较粗分辨率下学习的空间变换来扭曲运动图像,该运动图像随后用于在较细分辨率下学习增量变换。该过程递归地进行到全图像分辨率,并且累积的变换用作最终变换以最精细的分辨率扭曲运动图像。用于配准高分辨率3D结构脑磁共振(MR)图像的实验结果表明,与最先进的图像配准算法相比,通过我们的方法训练的图像配准网络在几秒钟内获得了鲁棒的、同构的图像配准结果,并且精度有所提高。
2020-10-04 cs.CV
DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting
Kyungpook National University(庆北国立大学)
针对文本引导图像修复中的图文对齐与区域分布一致性问题,提出DAFT-GAN,通过双仿射变换逐步融合特征并分区编码以减少信息泄漏,在三个基准上取得优于现有GAN模型的效果。
2024-08-09 cs.CV
Aggregated Residual Transformations for Deep Neural Networks
UC San Diego(加州大学圣地亚哥分校);Facebook AI Research(Facebook人工智能研究院)
我们提出了一个简单的,高度模块化的图像分类网络架构。我们的网络是通过重复一个构建块来构建的,该构建块聚合了一组具有相同拓扑的转换。我们简单的设计导致了一个同构的多分支架构,只有几个超参数要设置。这个策略公开了一个新的维度,我们称之为“基数”(转换集的大小),作为除了深度和宽度维度之外的一个重要因素。在ImageNet-1 K数据集上,我们的经验表明,即使在保持复杂性的限制条件下,增加基数也能够提高分类精度。此外,当我们增加容量时,增加基数比更深或更宽更有效。我们的模型名为ResNeXt,是我们进入ILSVRC 2016分类任务的基础,我们获得了第二名。我们进一步研究了ImageNet-5 K集和COCO检测集上的ResNeXt,也显示出比ResNet更好的结果。代码和模型在网上公开。
2017-04-11 cs.CV
Recurrent Transformer Networks for Semantic Correspondence
Yonsei University(延世大学);Microsoft Research(微软研究院);Ewha Womans University(梨花女子大学)
我们提出了经常性的Transformer网络(RTNs)获得语义相似的图像之间的密集对应。我们的网络通过迭代过程来实现这一点,该过程估计输入图像之间的空间变换,并使用这些变换来生成对齐的卷积激活。通过直接估计图像对之间的变换,而不是采用空间Transformer网络来独立地规范化每个单独的图像,我们表明,可以实现更高的精度。该过程以递归方式进行,以细化变换估计和特征表示。此外,提出了一种基于建议的分类损失的RTNs的弱监督训练技术。使用RTNs,在语义对应的几个基准上达到了最先进的性能。
2018-10-29 cs.CV
DTA: Physical Camouflage Attacks using Differentiable Transformation Network
Pusan National University(釜山国立大学);SmartM2M;Institut Teknologi Bandung(万隆理工学院);Hung Yen University of Technology and Education(兴安技术教育大学);Agency for Defense Development (ADD)(国防发展局)
为了在物理世界中执行对抗攻击,许多研究提出了对抗伪装,一种通过在3D对象表面上应用伪装图案来隐藏目标对象的方法。为了获得最佳的物理对抗伪装,以前的研究利用了所谓的神经渲染器,因为它支持可微性。然而,现有的神经渲染器不能完全表示各种真实世界的转换,由于缺乏对场景参数的控制相比,传统的照片级真实感渲染器。在本文中,我们提出了微分变换攻击(DTA),一个框架,用于在目标对象上生成一个强大的物理对抗模式,以伪装它对目标检测模型具有广泛的变换。它利用了我们新的微分变换网络(DTN),该网络在纹理发生变化时学习渲染对象的预期变换,同时保留目标对象的原始属性。使用我们的攻击框架,对手可以通过提供可区分性来获得传统照片级真实感渲染器的优势,包括各种物理世界变换和白盒访问的好处。我们的实验表明,我们的3D车辆可以成功地逃避最先进的目标检测模型在照片逼真的环境(即,虚幻引擎上的卡拉)。此外,我们在特斯拉Model 3上的演示证明了我们的方法在现实世界中的适用性和可移植性。
2022-03-18 cs.CV
Standard Plane Detection in 3D Fetal Ultrasound Using an Iterative Transformation Network
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院)
胎儿脑超声(US)中的标准扫描平面检测是评估胎儿发育的关键步骤。在临床环境中,这是通过手动操纵2D探头到所需的扫描平面来完成的。随着3D US的出现,可以容易地获取包含这些标准平面的整个胎儿脑体积。然而,3D体积中的手动标准平面识别是劳动密集型的,并且需要胎儿解剖学的专业知识。我们提出了一个新的迭代变换网络(ITN)的标准平面在3D体积的自动检测。ITN使用卷积神经网络来学习2D平面图像与将该平面朝向3D体积中的标准平面的位置/方向移动所需的变换参数之间的关系。在推理过程中,当前平面图像迭代地传递到网络,直到它收敛到标准平面位置。我们探讨了使用不同的转换表示作为ITN的回归输出的效果。在多任务学习框架下,我们向网络引入额外的分类概率输出,作为回归变换参数的置信度度量,以进一步提高定位精度。在72个胎儿脑组织上,经脑室平面和经小脑平面的误差分别为3.83mm/12.7 °和3.80mm/12.6 °,每个平面耗时0.46s。源代码可在https://github.com/yuanwei1989/plane-detection上公开获取。
2018-10-07 cs.CV
Latent Transformations for Object View Points Synthesis
Purdue University(普渡大学)
我们提出了一个完全卷积的条件生成模型,潜在的转换神经网络(LTNN),能够使用适合实时应用的轻量级神经网络的视图合成。与现有的条件生成模型,通过级联将条件信息,我们引入了一个专用的网络组件,条件变换单元(CTU),旨在学习对应于指定的目标视图的潜在空间变换。此外,一致性损失项被定义为引导网络学习所需的潜在空间映射,任务划分的解码器被构造为细化生成的视图的质量,并引入自适应的训练来改善对抗性训练过程。所提出的方法的一般性表现在三个不同的任务的集合:多视图重建真实的手的深度图像,视图合成的真实和合成的脸,和刚性物体的旋转。所提出的模型被证明是超过国家的最先进的结果,在每个类别,同时实现了减少所需的计算需求的推理平均30%。
2018-11-28 cs.CV
How ConvNets model Non-linear Transformations
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们从理论上解决了涉及深度卷积网络的三个基本问题,即不变性、深度和层次。我们介绍了转换网络(TN)的范式,它是卷积网络(ConvNets)的直接推广。从理论上讲,我们证明了TN(以及ConvNets)可以对输入的非线性变换保持不变,尽管仅在局部平移上进行了池化。我们的分析提供了清晰的见解,在这些网络的深度增加不变性。更深层次的网络能够模拟更丰富的转换类别。我们还发现,一个分层的架构允许网络生成不变性比非分层网络更有效。我们的研究结果为使用ConvNets的深度学习中的这三个基本问题提供了有用的见解。
2017-02-24 cs.CV cs.LG
Learning Spatially Structured Image Transformations Using Planar Neural Networks
Vanderbilt University(范德堡大学)
学习图像变换对于心理模拟作为认知推理方法的想法至关重要。我们采用连接主义建模方法,使用平面神经网络从图像序列形式的感知体验中学习基本的图像变换,如平移、旋转和缩放。我们研究了网络拓扑结构,训练数据和图像形状等因素的变化如何影响学习视觉图像转换的效率和有效性,包括转移到新类型数据上操作的有效性。
2020-08-10 cs.CV cs.LG stat.ML
Affine Transformation Edited and Refined Deep Neural Network for Quantitative Susceptibility Mapping
University of Queensland(昆士兰大学);Central South University(中南大学)
深度神经网络在解决定量磁化率映射(QSM)的偶极反演方面表现出巨大的潜力。然而,大多数现有的深度学习方法的性能会随着不匹配的序列参数(如采集方向和空间分辨率)而急剧下降。我们提出了一种用于QSM的端到端AFfine Transformation Edited and Refined(AFTER)深度神经网络,该网络对任意采集方向和空间分辨率具有鲁棒性,最高可达0.6 mm各向同性。AFTER-QSM神经网络从正向仿射变换层开始,然后是用于偶极反演的Unet,然后是逆仿射变换层,然后是用于QSM细化的残余密集网络(RDN)。仿真和活体实验表明,所提出的AFTER-QSM网络结构具有良好的通用性。它可以成功地重建磁化率图从高度倾斜和各向异性扫描,导致最好的图像质量评估在模拟测试和抑制条纹伪影和噪声水平的体内实验相比,其他方法。此外,消融研究表明,RDN细化网络显着减少了图像模糊和敏感性低估,由于仿射变换。此外,AFTER-QSM网络大大缩短了重建时间,从使用传统方法的几分钟缩短到几秒钟。
2022-11-25 cs.CV physics.med-ph
Trainable Spectrally Initializable Matrix Transformations in Convolutional Neural Networks
University of Fribourg(弗里堡大学);University of Bern(伯尔尼大学);V7 Ltd(V7有限公司);Luleå University of Technology(吕勒奥理工大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
在这项工作中,我们研究了可训练和频谱可初始化矩阵变换在卷积运算产生的特征映射上的应用。虽然以前的文献已经证明了添加静态谱变换作为特征处理器的可能性,但我们的重点是更一般的可训练变换。我们研究了四个不同性质的数据集上各种架构配置的转换:从医学(ColorectalHist,HAM10000)和自然(Flowers,ImageNet)图像到历史文档(CB55)和手写识别(GPDS)。通过严格的实验,控制参数和随机性的数量,我们表明,网络利用引入矩阵变换优于香草神经网络。在所有数据集中,观察到的准确性平均增加了2.2。此外,我们表明,频谱初始化的好处导致显着更快的收敛,而不是随机初始化的矩阵变换。这些转换被实现为可自动区分的PyTorch模块,可以集成到任何神经网络架构中。整个代码库都是开源的。
2019-11-13 cs.CV cs.LG
Random smooth gray value transformations for cross modality learning with gray value invariant networks
Radboud University Medical Center(拉德布德大学医学中心);Nijmegen(奈梅亨(注:Nijmegen是城市名,通常不单独作为机构,但根据上下文可能是指拉德布德大学医学中心所在城市,此处仅按原文提取))
随机变换通常用于增强训练数据,目的是降低训练样本的均匀性。这些变换通常针对在来自相同模态的图像中可以预期的变化。在这里,我们提出了一个简单的方法来转换图像的灰度值,以减少跨模态差异的目标。这种方法能够使用专门用MR图像训练的网络分割CT图像中的腰椎椎体。源代码可在https://github.com/nlessmann/rsgt上获得
2020-03-13 cs.CV eess.IV
Image Transformation Network for Privacy-Preserving Deep Neural Networks and Its Security Evaluation
Tokyo Metropolitan University(东京都立大学)
我们提出了一个转换网络,用于为保护隐私的DNN生成受视觉保护的图像。建议的转换网络是通过使用一个普通的图像数据集进行训练,使普通图像转换成视觉保护的。传统的感知加密方法存在视觉保护能力弱、图像分类精度下降等问题。相比之下,所提出的网络使我们不仅能够有力地保护视觉信息,而且还能够保持使用普通图像实现的图像分类精度。在一个图像分类实验中,该网络被证明可以在使用CIFAR数据集的情况下,强烈保护普通图像上的视觉信息,而不会降低性能。此外,它表明,视觉保护的图像是强大的对基于DNN的攻击,称为逆变换网络攻击(ITN攻击)在实验中。
2020-08-07 cs.CV cs.LG eess.IV
Revisiting Transformation Invariant Geometric Deep Learning: An Initial Representation Perspective
Department of Computer Science and Technology(计算机科学与技术系)
本文提出变换不变神经网络(TinvNN),通过修改多维缩放得到变换不变且保持距离的初始点表示,实现几何数据的严格变换不变性,在点云分析和组合优化中验证了其有效性与通用性。
2025-10-27 cs.CV cs.LG
Feature-level augmentation to improve robustness of deep neural networks to affine transformations
University of Bucharest(布加勒斯特大学);SecurifAI;Romanian Young Academy(罗马尼亚青年科学院)
最近的研究表明,卷积神经网络不能很好地推广到小的图像变换,例如旋转几度或平移几个像素。为了提高这种变换的鲁棒性,我们建议在神经架构的中间层引入数据增强,除了在输入图像上应用的常见数据增强之外。通过在不同层次上对激活图(特征)引入小的扰动,我们开发了神经网络应对这种转换的能力。我们在三个图像分类基准(Tiny ImageNet,Caltech-256和Food-101)上进行实验,考虑两种不同的卷积架构(ResNet-18和DenseNet-121)。当与两个国家的最先进的稳定方法相比,实证结果表明,我们的方法始终达到准确性和平均翻转率之间的最佳权衡。
2022-08-20 cs.CV cs.LG
Seeing Convolution Through the Eyes of Finite Transformation Semigroup Theory: An Abstract Algebraic Interpretation of Convolutional Neural Networks
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
研究人员正在积极尝试更好地了解卷积神经网络的代表性属性,以指导更好的网络设计和解释网络的计算性质。由于网络中参数的数量和网络架构的复杂性,获得这种见解可能是一项艰巨的任务。目前的神经网络解释方法包括贝叶斯概率解释和信息论解释。在这项研究中,我们采取了不同的方法来研究卷积神经网络,提出了一个抽象的代数解释,使用有限变换半群理论。具体来说,卷积层被分解并映射到有限空间。然后将所提出的有限变换半群的状态空间定义为卷积层内的单个元素,其中由周围的状态元素与卷积核元素组合定义的作用元素。定义了有限变换半群的生成元来完成这一解释。我们利用这种方法来分析所得到的有限变换半群的基本属性,以获得对卷积神经网络的表示属性的见解,包括对量化网络表示的见解。这样的有限变换半群解释还可以使得能够更好地理解固定格数据结构的界限之外,因此对于处理位于不规则格上的数据是有用的。此外,所提出的抽象代数解释被证明是可行的解释各种卷积神经网络架构内的卷积运算。
2019-05-26 cs.CV cs.LG cs.NE
CDGAN: Cyclic Discriminative Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology, Sri City(印度信息技术学院斯里城校区);Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德校区)
生成对抗网络(GANs)为解决图像到图像转换问题提供了一个新的方向。不同的GANs使用目标函数中具有不同损耗的生成器和卷积网络。在生成图像的质量和接近地面实况图像方面仍然存在差距。在这项工作中,我们介绍了一种新的图像到图像变换网络,称为循环判别生成对抗网络(CDGAN),填补了上述空白。建议的CDGAN生成高质量和更逼真的图像,通过将额外的循环图像,除了原来的架构的CycleGAN的网络。在三个图像到图像转换数据集上测试了所提出的CDGAN。定量和定性的结果进行了分析,并与国家的最先进的方法进行比较。在三个基线图像到图像变换数据集上进行比较时,所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/KishanKancharagunta/CDGAN上获得。
2021-11-27 cs.CV cs.LG eess.IV
Transformationally Identical and Invariant Convolutional Neural Networks by Combining Symmetric Operations or Input Vectors
Georgetown University Medical Center(乔治城大学医学中心);Virginia Tech(弗吉尼亚理工大学)
由变换后的输入向量或算子构造的变换不变处理器已被提出并应用于许多应用中。在这项研究中,transformationally相同的处理的基础上相结合的结果,所有的子过程与相应的转换在一个处理步骤或在开始的步骤被认为是等效的一个给定的条件。该特性可以应用于大多数卷积神经网络(CNN)系统。具体地,可以通过将内部对称操作与相同的变换族并行地布置来构造变换上相同的CNN,所述相同的变换族包括平坦化层,其中权重在其对应的变换元素之间共享。其他变换上相同的CNN可以通过在输入层对该族的变换输入向量进行平均,然后进行普通的CNN过程或一组对称操作来构建。有趣的是,我们发现,通过在激活函数之前对所有子通道的对应元素应用平均操作或不使用非线性激活函数,两种类型的变换相同的CNN系统在数学上是等效的。
2018-08-20 cs.CV cs.LG stat.ML
Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
等方差是一个很好的属性,因为它可以产生更具参数效率的神经架构,并通过特征映射保留输入的结构。即使变换的某些组合可能永远不会出现(例如,直立的脸与水平的鼻子),当前的等变架构在学习特征表示时会考虑变换组中所有可能的变换的集合。首先,人类视觉系统能够注意到环境中发生的一组相关变换,并利用这些信息来帮助和改进对象识别。基于这一观察,我们修改传统的等变特征映射,使他们能够参加的数据中的共现变换集,并推广这一概念,以作用于由多个对称性组成的组。我们表明,我们提出的共同关注等变神经网络始终优于传统的旋转等变和旋转和反射等变神经网络旋转MNIST和CIFAR-10。
2020-02-10 cs.CV cs.LG stat.ML
Transformation Behavior of Images in Latent Space
Department of Applied Tumor Biology, Institute of Pathology, Heidelberg University Hospital(海德堡大学医院病理学研究所应用肿瘤生物学系);National Center for Hereditary Tumor Syndromes, University Hospital Bonn(波恩大学医院遗传性肿瘤综合征国家中心);Department of Internal Medicine I, University Hospital Bonn(波恩大学医院第一内科);Leibniz Institut für Wissensmedien(莱布尼茨知识媒体研究所)
研究病理图像编码器对经典图像变换的鲁棒性,发现变换后嵌入与原始嵌入接近但非完全不变,解释了数据增强提升性能的原因。
2026-06-24 cs.AI cs.CV
Learning Lie Group Symmetry Transformations with Neural Networks
University of Amsterdam(阿姆斯特丹大学);Imperial College London(帝国理工学院)
本文提出利用神经网络发现并刻画数据集中未知的李群对称变换及其参数分布,无需事先知道对称性类型,并在单参数子群变换场景下验证了方法的有效性。
2023-07-04 cs.CV cs.LG
Quantised Transforming Auto-Encoders: Achieving Equivariance to Arbitrary Transformations in Deep Networks
University of Oxford(牛津大学)
在这项工作中,我们研究了如何在深度网络中实现输入变换的等方差,纯粹来自数据,而不需要给出这些变换的模型。例如,卷积神经网络(CNN)与图像平移是等变的,图像平移是一种可以很容易地建模(通过垂直或水平移动像素)的变换。其他变换,如平面外旋转,不允许一个简单的分析模型。我们提出了一种自动编码器架构,其嵌入同时服从一组任意的等方差关系,如平移,旋转,颜色变化等。这意味着它可以获取输入图像,并产生之前未观察到的给定量的版本(例如,同一对象的不同视角或颜色变化)。尽管扩展到许多(甚至是非几何)变换,我们的模型在消除等方差的特殊情况下精确地减少到CNN。等方差对于深度网络的可解释性和鲁棒性非常重要,我们展示了在几个合成和真实数据集上成功重新渲染输入图像的转换版本的结果,以及对象姿态估计的结果。
2021-11-25 cs.AI cs.CV cs.LG
Effects of Data Enrichment with Image Transformations on the Performance of Deep Networks
Artvin Coruh University(阿特温科尔赫大学)
本研究针对图像格式方向变化的问题,用六种图像变换增强ILSVRC2012数据集训练深度网络,实验发现混合全变换训练得分最高,180度旋转单变换效果最优,上下翻转效果最差,明确了数据增强对超分辨率任务的性能影响。
2023-06-13 cs.CV cs.LG eess.IV
An Artificial Neural Network Architecture Based on Context Transformations in Cortical Minicolumns
皮质微柱被认为是皮质组织的模型。它们的功能仍然是一个研究的来源,并没有在人工智能算法的现代网络结构中得到适当的反映。我们假设它的功能,并在本文中描述它。此外,我们展示了这个建议如何允许构建一个新的架构,这不是基于卷积神经网络,测试它的MNIST数据和接收接近卷积神经网络的准确性。我们还表明,所提出的架构具有训练少量的样本的能力。为了实现这些结果,我们使minicolumns记住上下文转换。
2017-12-16 cs.CV cs.LG cs.NE
Network Recasting: A Universal Method for Network Architecture Transformation
Seoul National University(首尔国立大学);Neural Processing Research Center (NPRC)(神经处理研究中心(NPRC))
本文提出了网络重铸作为一种通用的方法,网络体系结构的转变。这种方法的主要目标是通过转换来加速推理过程,但也可以有许多其他的实际应用。该方法基于逐块重铸;它将预先训练的教师网络中的每个源块重铸到学生网络中的目标块。对于重铸,目标块被训练成使得其输出激活近似于源块的输出激活。这种以顺序方式的逐块重铸在保持准确性的同时变换了网络架构。此方法可用于将任意教师网络类型转换为任意学生网络类型。它甚至可以生成由两种或多种类型的块组成的混合架构网络。网络重铸可以生成具有更少参数和/或激活的网络,这显著减少了推理时间。当然,它可以用于网络压缩,通过将训练过的网络重铸为相同类型的较小网络。我们的实验表明,它优于以前的压缩方法在GPU上的实际加速。
2019-06-19 cs.CV cs.LG stat.ML
Non-Parametric Transformation Networks
Carnegie Mellon University(卡内基梅隆大学)
ConvNets通过其架构,只强制翻译的不变性。在本文中,我们介绍了一类新的深度卷积架构,称为非参数变换网络(NPTNs),它可以直接从数据中学习\textit{general}不变性和对称性。NPTNs是ConvNets的自然推广,可以直接使用梯度下降进行优化。与几乎所有以前在深度架构中的工作不同,它们没有假设数据中存在的不变性的结构,并且在这方面是灵活和强大的。我们还在一个名为转换网络(TN)的统一框架下对ConvNets和NPTNs进行建模,这可以更好地理解两者之间的联系。我们证明了NPTNs在数据上的有效性,例如具有极端变换的MNIST和CIFAR 10,它们的性能优于基线,并进一步优于ETH-80上的几种最新算法。他们这样做,同时具有相同数量的参数。我们还表明,它们比ConvNets更有效地从数据中建模对称性和不变性,而无需明确了解添加的任意滋扰变换。最后,我们在胶囊网络中用NPTN取代了ConvNets,并表明这使胶囊网络的性能更好。
2018-09-08 cs.AI cs.CV cs.LG
Energy-efficient and Robust Cumulative Training with Net2Net Transformation
Yale University(耶鲁大学)
深度学习已经在几个计算机视觉任务上达到了最先进的精度。然而,与训练这种深度神经网络相关联的计算和能量要求可能相当高。在本文中,我们提出了一种使用Net2Net变换的累积训练策略,与从头开始训练的模型相比,该策略可以在不造成大的准确性损失的情况下实现训练计算效率。我们首先在原始数据集的一个小子集上训练一个小网络(参数较少),然后使用Net2Net变换逐渐扩展网络,以在数据集的较大子集上递增地进行训练。Net2Net的这种增量训练策略利用了函数保持转换,将知识从之前的每个小网络转移到下一个更大的网络,从而降低了整体训练的复杂性。我们的实验表明,与从头开始训练相比,使用VGG 19以等精度训练TinyImageNet的累积训练在计算复杂性方面降低了约2倍。除了训练效率之外,我们的累积训练策略的一个关键优势是,我们可以在Net2Net扩展期间执行修剪,以获得具有最佳配置的最终网络(与从头开始的传统训练相比,推理计算复杂度降低约0.4倍)。我们还证明,从累积训练获得的最终网络产生更好的泛化性能和噪声鲁棒性。此外,我们还表明,通过累积Net 2Net扩展创建的所有网络的相互推理可以改进对抗性输入检测。
2020-03-02 cs.CV cs.LG
Image Transformation can make Neural Networks more robust against Adversarial Examples
Institute of Information Security(信息安全研究所)
神经网络正被应用于与物联网相关的许多任务中,并取得了令人鼓舞的成果。例如,神经网络可以通过监控摄像头精确地检测人、物体和动物,以达到安全目的。然而,最近发现神经网络容易受到被称为对抗性样本的精心设计的输入样本的攻击。这样的问题会导致神经网络对人类无法感知的对抗性样本进行错误分类。我们发现,对对抗性示例图像进行旋转可以击败对抗性示例的效果。以MNIST数字图像为原始图像,首先生成对抗性样本给神经网络识别器,完全被伪造的样本欺骗。然后,我们旋转了对抗图像,并将它们交给识别器,让识别器重新获得正确的识别。因此,我们经验性地证实了对图像的旋转可以保护基于神经网络的模式识别器免受对抗性示例攻击。
2019-01-10 cs.CV cs.LG