Self-Supervised Enhancement of Forward-Looking Sonar Images: Bridging Cross-Modal Degradation Gaps through Feature Space Transformation and Multi-Frame Fusion
College of Electronic Engineering, Naval University of Engineering(电子工程学院,海军工程大学);College of Meteorology and Oceanography, National University of Defense Technology(气象海洋学院,国防科技大学);College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
提出一种基于特征空间变换与多帧融合的自监督方法,有效弥合声纳与遥感图像间的跨模态退化差距,显著提升前视声纳图像的增强效果与水下目标检测性能。
2025-05-29 cs.CV eess.IV
Image Transformation Network for Privacy-Preserving Deep Neural Networks and Its Security Evaluation
Tokyo Metropolitan University(东京都立大学)
我们提出了一个转换网络,用于为保护隐私的DNN生成受视觉保护的图像。建议的转换网络是通过使用一个普通的图像数据集进行训练,使普通图像转换成视觉保护的。传统的感知加密方法存在视觉保护能力弱、图像分类精度下降等问题。相比之下,所提出的网络使我们不仅能够有力地保护视觉信息,而且还能够保持使用普通图像实现的图像分类精度。在一个图像分类实验中,该网络被证明可以在使用CIFAR数据集的情况下,强烈保护普通图像上的视觉信息,而不会降低性能。此外,它表明,视觉保护的图像是强大的对基于DNN的攻击,称为逆变换网络攻击(ITN攻击)在实验中。
2020-08-07 cs.CV cs.LG eess.IV
Aggregated Residual Transformations for Deep Neural Networks
UC San Diego(加州大学圣地亚哥分校);Facebook AI Research(Facebook人工智能研究院)
我们提出了一个简单的,高度模块化的图像分类网络架构。我们的网络是通过重复一个构建块来构建的,该构建块聚合了一组具有相同拓扑的转换。我们简单的设计导致了一个同构的多分支架构,只有几个超参数要设置。这个策略公开了一个新的维度,我们称之为“基数”(转换集的大小),作为除了深度和宽度维度之外的一个重要因素。在ImageNet-1 K数据集上,我们的经验表明,即使在保持复杂性的限制条件下,增加基数也能够提高分类精度。此外,当我们增加容量时,增加基数比更深或更宽更有效。我们的模型名为ResNeXt,是我们进入ILSVRC 2016分类任务的基础,我们获得了第二名。我们进一步研究了ImageNet-5 K集和COCO检测集上的ResNeXt,也显示出比ResNet更好的结果。代码和模型在网上公开。
2017-04-11 cs.CV
Soft Equivariance Regularization for Invariant Self-Supervised Learning
AITRICS;Voronoi Inc.;Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出软等价性正则化,通过解耦不变性和等价性强制的层,提升自监督学习在ImageNet-1k和ImageNet-C/P等任务中的性能。
2026-03-04 cs.CV cs.LG
Effects of Image Degradations to CNN-based Image Classification
Beijing Jiaotong University(北京交通大学);University of South Carolina(南卡罗来纳大学)
就像计算机视觉中的许多其他主题一样,最近通过使用深度学习神经网络,特别是卷积神经网络(CNN),图像分类取得了重大进展。现有的大多数工作都集中在对非常清晰的自然图像进行分类,这一点可以从广泛使用的图像数据库(如Caltech-256,PASCAL VOC和ImageNet)中得到证明。然而,在许多实际应用中,所获取的图像可能包含导致各种模糊、噪声和失真的某些退化。一个重要而有趣的问题是这种退化对基于CNN的图像分类性能的影响。更具体地说,我们想知道图像分类性能是否会随着每种退化而下降,是否可以通过将退化图像纳入训练来避免这种下降,以及现有的试图消除这种退化的计算机视觉算法是否可以帮助提高图像分类性能。在本文中,我们实证研究了四种退化图像-模糊图像,水下图像,运动模糊图像和鱼眼图像的这个问题。在这项研究中,我们合成了大量这样的退化图像,通过应用各自的物理模型,以清晰的自然图像,并收集一个新的模糊图像数据集从互联网上。我们期望这项工作能引起更多的兴趣,从社区研究退化图像的分类。
2018-10-12 cs.CV
A general approach to bridge the reality-gap
In-Q-Tel Labs(In-Q-Tel实验室)
在现实世界中使用机器学习模型需要收集大量数据,这既耗时又昂贵。规避此问题的常见方法是利用现有的具有大量标记数据的类似数据集。然而,在这些典型分布上训练的模型并不容易转移到现实世界中。领域自适应和迁移学习通常用于突破这种“现实差距”,尽管两者都需要大量的现实数据。在本文中,我们讨论了一种更通用的方法:我们提出学习一种通用的变换,将任意图像带到一个规范的分布,在那里我们可以天真地应用训练好的机器学习模型。这种转换是在无监督的机制中训练的,利用数据增强来生成图像的非规范示例,并训练深度学习模型来恢复它们的原始副本。我们使用预先训练的ImageNet分类器量化了这种转换的性能,证明了这种方法可以恢复扭曲数据集上性能损失的一半。然后,我们在一系列预先训练的ImageNet模型上验证了这种方法的有效性,这些模型是通过在不同光照条件下打印和拍摄图像收集的真实世界数据集。
2020-09-03 cs.CV cs.LG
Learning degraded image classification with restoration data fidelity
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
基于学习的方法,特别是卷积神经网络(CNN)在计算机视觉应用中不断显示出优越的性能,从图像分类到恢复。对于图像分类,大多数现有的工作集中在非常干净的图像,如Caltech-256和ImageNet数据集中的图像。然而,在大多数现实场景中,所获取的图像可能会遭受降级。一个重要而有趣的问题是将图像分类和恢复任务相结合,以提高基于CNN的分类网络对退化图像的性能。在这份报告中,我们探讨了退化类型和水平对四个广泛使用的分类网络的影响,以及使用恢复网络来消除退化的影响。我们还提出了一种新的方法,利用保真度映射来校准由预训练的分类网络获得的图像特征。我们的经验表明,我们提出的方法在所有退化水平和类型下,在加性高斯白噪声(AWGN)下,性能始终优于预先训练的网络,甚至在低退化水平下,对于退化图像,它的性能甚至优于重新训练的网络。我们还表明,所提出的方法是一种模型无关的方法,有利于不同的分类网络。我们的研究结果表明,该方法是一个很有前途的解决方案,以减轻图像退化所造成的影响。
2021-01-23 cs.CV
Attentive Normalization
NC State University(北卡罗来纳州立大学)
在最先进的深度神经网络中,特征规范化和特征关注都变得无处不在。%,在大量任务中显示出显著的性能改进。然而,它们通常作为单独的模块进行研究。在本文中,我们提出了一个轻量级的集成之间的两个模式和本注意规范化(AN)。AN不是学习单个仿射变换,而是学习仿射变换的混合,并利用它们的加权和作为应用于以特定于实例的方式重新校准特征的最终仿射变换。权重是通过利用通道特征注意力来学习的。在实验中,我们使用ImageNet-1000分类基准和MS-COCO 2017目标检测和实例分割基准中的四个代表性神经架构测试了所提出的AN。AN在两个基准测试中针对不同的神经架构获得了一致的性能改进,ImageNet-1000中的top-1准确度的绝对增加在0.5\%和2.7\%之间,MS-COCO中的限界框和掩码AP的绝对增加分别高达1.8\%和2.2\%。我们观察到,建议AN提供了一个强大的替代广泛使用的挤压和激励(SE)模块。源代码可在https://github.com/iVMCL/AOGNet-v2(ImageNet Classification Repo)和https://github.com/iVMCL/AttentiveNorm\_Detection(MS-COCO Detection and Segmentation Repo)上公开获取。
2021-03-25 cs.CV
Feature-level augmentation to improve robustness of deep neural networks to affine transformations
University of Bucharest(布加勒斯特大学);SecurifAI;Romanian Young Academy(罗马尼亚青年科学院)
最近的研究表明,卷积神经网络不能很好地推广到小的图像变换,例如旋转几度或平移几个像素。为了提高这种变换的鲁棒性,我们建议在神经架构的中间层引入数据增强,除了在输入图像上应用的常见数据增强之外。通过在不同层次上对激活图(特征)引入小的扰动,我们开发了神经网络应对这种转换的能力。我们在三个图像分类基准(Tiny ImageNet,Caltech-256和Food-101)上进行实验,考虑两种不同的卷积架构(ResNet-18和DenseNet-121)。当与两个国家的最先进的稳定方法相比,实证结果表明,我们的方法始终达到准确性和平均翻转率之间的最佳权衡。
2022-08-20 cs.CV cs.LG
LT-GAN: Self-Supervised GAN with Latent Transformation Detection
Adobe(奥多比);Birla Institute of Technology & Science, Pilani(皮拉尼博拉理工学院)
生成对抗网络(GANs)与自监督任务相结合,在无条件和半监督图像生成方面表现出了良好的效果。我们提出了一种自监督方法(LT-GAN),通过估计GAN诱导的变换(即通过扰动生成器的潜在空间在生成的图像中诱导的变换)来提高图像的生成质量和多样性。具体而言,给定两对图像,其中每对包括生成的图像及其变换版本,自我监督任务旨在识别在给定对中应用的潜在变换是否与另一对的潜在变换相同。因此,这种辅助损失鼓励生成器产生可由辅助网络区分的图像,这反过来又促进了关于潜在变换的语义一致的图像的合成。我们通过在CIFAR-10,CelebA-HQ和ImageNet数据集上的条件和无条件设置的最先进模型上提高FID的图像生成质量来证明这个借口任务的有效性。此外,我们的经验表明,LT-GAN有助于改善CelebA-HQ和ImageNet在基线模型上的受控图像编辑。我们的实验证明,我们提出的LT自我监督任务可以有效地与其他最先进的训练技术相结合,以获得额外的好处。因此,我们证明了我们的方法在条件CIFAR-10图像生成上实现了9.8的新的最先进的FID分数。
2020-10-19 cs.CV
Steering Self-Supervised Feature Learning Beyond Local Pixel Statistics
University of Bern(伯尔尼大学);Adobe Research(奥多比研究院)
我们介绍了一种新的原则,自我监督的特征学习的基础上的歧视的特定变换的图像。我们认为,学习的特征的泛化能力取决于什么样的图像邻域大小足以区分不同的图像变换:所需的邻域大小越大,特征可以描述的图像统计数据就越全局。全局图像统计的准确描述可以更好地表示对象的形状和配置及其上下文,最终更好地推广到新的任务,如对象分类和检测。这为图像变换的选择和设计提供了依据。基于这一标准,我们介绍了一种新的图像变换,我们称之为有限的上下文修复(LCI)。此转换只对以小矩形像素边界(有限上下文)为条件的图像补丁进行补绘。由于有限的边界信息,内绘器可以学习匹配局部像素统计,但不太可能匹配图像的全局统计。我们声称,同样的原则可以用来证明性能的变换,如图像旋转和扭曲。事实上,我们通过实验证明,学习区分LCI,图像扭曲和旋转等变换,可以在Pascal VOC,STL-10,CelebA和ImageNet等几个数据集上产生具有最先进泛化能力的特征。值得注意的是,我们训练的特征在Places上的性能与通过使用ImageNet标签的监督学习训练的特征相当。
2020-04-05 cs.CV
Enhancing Neural Network Robustness Against Fault Injection Through Non-linear Weight Transformations
Kyushu Institute of Technology(九州工业大学);Graduate School of Life Science and Systems(生命科学与系统研究生院);Research Center for Neuromorphic AI Hardware(神经形态AI硬件研究中心)
针对现实环境中硬件故障导致DNN失效的问题,提出通过应用Tanh、Arctan等饱和激活函数约束权重,增强DNN对故障注入的鲁棒性并小幅提升性能,且预训练模型适配仅需少量epoch。
2024-11-28 cs.AI cs.CV cs.LG
Block-wise Image Transformation with Secret Key for Adversarially Robust Defense
Tokyo Metropolitan University(东京都立大学)
在本文中,我们提出了一种新的防御性变换,使我们能够在使用干净图像和对抗性示例进行对抗性鲁棒防御的情况下保持较高的分类精度。建议的变换是一个块的预处理技术与秘密密钥输入图像。我们开发了三种算法来实现所提出的转换:像素洗牌,位翻转,和FFX加密。在CIFAR-10和ImageNet数据集上进行了实验,使用黑盒和白盒攻击,使用各种度量,包括自适应度量。实验结果表明,该方法在自适应攻击下,首次获得了接近于使用干净图像的高准确率。在最好的情况下,使用FFX加密转换的图像训练的模型(块大小为4)在干净图像上产生了92.30%的准确率,在PGD攻击下产生了91.48%的准确率,噪声距离为8/255,这接近于非鲁棒准确率CIFAR-10数据集的准确率为95.45%,在干净图像上的准确率为72.18%,在相同攻击下的准确率为71.43%,这也接近ImageNet数据集的标准准确率(73.70%)。总体而言,所有三种算法都被证明优于最先进的防御,包括对抗训练,无论模型是否受到攻击。
2020-10-02 cs.CR cs.CV
RestoreDet: Degradation Equivariant Representation for Object Detection in Low Resolution Images
Shanghai Jiao Tong University(上海交通大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);RIKEN AIP(理化学研究所革新智能综合研究中心);The University of Tokyo(东京大学);Innopeak Technology;The University of British Columbia(不列颠哥伦比亚大学);Shanghai AI Laboratory(上海人工智能实验室)
超分辨率等图像复原算法是退化图像目标检测中不可缺少的预处理模块。然而,这些算法中的大多数假设退化是固定的并且先验已知。当真实退化未知或与假设不同时,预处理模块和随后的高级任务(诸如对象检测)都将失败。在这里,我们提出了一个新的框架,RestoreDet,检测对象在退化的低分辨率图像。RestoreDet利用下采样退化作为自监督信号的一种变换,以探索针对各种分辨率和其他退化条件的等变表示。具体来说,我们学习这个内在的视觉结构的编码和解码的退化变换从一对原始的和随机退化的图像。该框架可以进一步利用具有任意分辨率恢复解码器的高级SR架构来从退化的输入图像重建原始对应。表示学习和对象检测都以端到端的训练方式联合优化。RestoreDet是一个通用的框架,可以在任何主流的对象检测架构上实现。大量的实验表明,我们的框架的基础上CenterNet取得了优越的性能与现有的方法相比,面对变异退化的情况。我们的代码很快就会发布。
2022-01-07 cs.CV eess.IV
Soft Label Pruning and Quantization for Large-Scale Dataset Distillation
CFAR, Agency for Science, Technology and Research, Singapore(新加坡科技研究局应用科学与技术研究院);IHPC, Agency for Science, Technology and Research, Singapore(新加坡科技研究局信息与通信技术研究院);National University of Singapore(新加坡国立大学)
本文提出LPQLD方法,通过增强图像多样性与监督多样性,减少软标签存储量并提升准确率,适用于大规模数据集蒸馏。
2026-04-20 cs.AI cs.CV cs.LG
Survey on Self-supervised Representation Learning Using Image Transformations
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
深度神经网络需要大量的训练数据,而在现实世界中,可用于训练目的的数据稀缺。为了解决这些问题,自监督学习(SSL)方法被使用。SSL使用几何变换(GT)是一种简单而强大的技术,用于无监督表示学习。虽然多篇调查论文已经回顾了SSL技术,但没有一篇只关注使用几何变换的技术。此外,这些方法没有在审查它们的文件中深入讨论。我们提出这项工作的动机是几何变换已被证明是无监督表示学习中强大的监督信号。此外,许多这样的作品取得了巨大的成功,但没有得到太多的关注。我们提出了一个简洁的调查SSL的方法,使用几何变换。我们列出了六个使用图像变换的代表性模型,包括基于预测和自动编码变换的模型。我们回顾他们的架构以及学习方法。我们还比较了这些模型在CIFAR-10和ImageNet数据集上的对象识别任务中的性能。我们的分析表明,AETv 2在大多数设置中表现最佳。在某些设置中,具有特征解耦的旋转也表现良好。然后,我们从观察到的结果中获得见解。最后,我们总结的结果和见解,以及突出开放的问题要解决,并指出各种未来的方向。
2022-02-17 cs.CV cs.LG
An accuracy-aware extension to LRP-based pruning for CNNs to prevent cascading accuracy degradation in data-scarce transfer learning
Mathematics and Computer Science National Defense Academy of Japan(日本防卫大学校数学与计算机科学系)
针对数据稀缺迁移学习中预训练CNN剪枝导致的级联精度下降问题,提出一种精度感知的剪枝控制机制,通过动态调整剪枝率和顺序来抑制精度下降,提升模型压缩后的分类性能。
2026-05-28 cs.AI cs.CV cs.LG
Confidence from Invariance to Image Transformations
Weizmann Institute of Science(魏茨曼科学研究所);TTIC(丰田技术研究所芝加哥分校)
我们开发了一种自动检测预训练的视觉分类器的分类错误的技术。我们的方法是不可知的分类器的形式,只需要访问一组输入的分类器响应。我们训练一个参数化的二元分类器(错误/正确)的表示来自一组分类器的响应产生的多个副本相同的输入,每个受到不同的自然图像变换。因此,我们建立了一个衡量的信心,在分类器的决策,通过分析其决策的不变性下各种转换。在多个数据集(STL-10,CIFAR-100,ImageNet)和分类器的实验中,我们展示了错误检测任务的最新技术水平。此外,我们将我们的技术应用于新颖性检测场景,在那里我们还展示了最先进的结果。
2018-04-02 cs.CV
Quality-aware Pre-trained Models for Blind Image Quality Assessment
Kuaishou Technology(快手科技)
盲图像质量评估(BIQA)旨在自动评估单个图像的感知质量,近年来,基于深度学习的方法提高了其性能。然而,标记数据的缺乏在某种程度上限制了基于深度学习的BIQA方法释放其全部潜力。在本文中,我们建议解决这个问题的借口任务定制BIQA的自监督学习的方式,使学习表示从数量级更多的数据。为了约束学习过程,我们提出了一个基于一个简单假设的质量感知对比损失:来自失真图像的补丁的质量应该是相似的,但不同的补丁从同一图像具有不同的退化和补丁从不同的图像。进一步改进现有的退化过程,形成一个大小约为$2\times10^7$的退化空间.使用我们的方法在ImageNet上进行预训练后,模型对图像质量更敏感,并且在下游BIQA任务中表现得更好。实验结果表明,我们的方法取得了显着的改善流行的BIQA数据集。
2023-03-23 cs.CV
Recognizing Instagram Filtered Images with Feature De-stylization
Comcast Applied AI Research(康卡斯特应用人工智能研究院)
深度神经网络已经被证明在添加小扰动(如高斯噪声)时泛化能力较差,但很少有人评估它们对更自然的图像变换(如照片滤波器)的鲁棒性。本文介绍了一项关于流行的预训练模型如何受到常用Instagram过滤器影响的研究。为此,我们引入ImageNet-Instagram,ImageNet的过滤版本,其中20个流行的Instagram过滤器应用于ImageNet中的每个图像。我们的分析表明,简单的结构保留滤波器只会改变图像的全局外观,可能会导致卷积特征空间中的巨大差异。为了提高泛化能力,我们引入了一个轻量级的去风格化模块,该模块预测用于缩放和移动特征图的参数,以“撤销”过滤器所引起的更改,从而反转样式传输任务的过程。我们进一步证明了该模块可以很容易地插入到现代CNN架构与跳过连接。我们对ImageNet-Instagram进行了广泛的研究,并在定量和定性方面表明,所提出的模块可以通过简单地学习归一化参数而无需重新训练整个网络来有效地提高泛化能力,从而恢复由过滤器引起的特征空间的变化。
2019-12-30 cs.CV cs.LG eess.IV
Adaptive Image Transformations for Transfer-based Adversarial Attack
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Intelligent Computing Technology, Suzhou, CAS(中国科学院苏州智能计算技术研究所)
对抗攻击为研究深度学习模型的鲁棒性提供了一种很好的方法。基于迁移的黑盒攻击中的一类方法利用多个图像变换操作来提高对抗样本的迁移性,虽然有效,但没有考虑到输入图像的具体特征。在这项工作中,我们提出了一种新的架构,称为自适应图像变换学习器(AITL),它将不同的图像变换操作合并到一个统一的框架中,以进一步提高对抗性示例的可移植性。与现有作品中使用的固定组合变换不同,我们精心设计的变换学习器自适应地选择特定于输入图像的图像变换的最有效组合。在ImageNet上进行的大量实验表明,我们的方法在各种设置下显着提高了正常训练模型和防御模型的攻击成功率。
2022-09-28 cs.CV
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet
Yitu Tech(依图科技);National University of Singapore(新加坡国立大学);YITU Technology Institute of Data Science(依图科技数据科学研究所)
Transformers是语言建模的热门工具,最近已被探索用于解决视觉任务,例如,用于图像分类的视觉Transformer(ViT)。ViT模型将每个图像分割成具有固定长度的标记序列,然后应用多个Transformer层来建模它们的全局关系以进行分类。然而,当在ImageNet等中型数据集上从头开始训练时,ViT的性能不如CNN。我们发现这是因为:1)输入图像的简单标记化未能对重要的局部结构(例如相邻像素之间的边缘和线)进行建模,导致低训练样本效率; 2)ViT的冗余注意力主干设计导致对于固定计算预算和有限训练样本的有限特征丰富度。为了克服这些限制,我们提出了一种新的令牌到令牌视觉Transformer(T2 T-ViT),它包括1)逐层令牌到令牌(T2 T)变换,通过递归地将相邻令牌聚合成一个令牌来逐步将图像结构化为令牌(令牌到令牌),使得可以对由周围令牌表示的局部结构进行建模并且可以减少令牌长度;(2)基于CNN的结构设计,通过实验研究,提出了一种具有深窄结构的高效视觉Transformer骨干。值得注意的是,T2 T-ViT将vanilla ViT的参数计数和MAC减少了一半,同时在ImageNet上从头开始训练时实现了超过3.0%的改进。它的性能也优于ResNets,并通过直接在ImageNet上进行训练来实现与MobileNets相当的性能。例如,具有与ResNet 50…
2021-11-30 cs.CV
Fine-grained Recognition in the Noisy Wild: Sensitivity Analysis of Convolutional Neural Networks Approaches
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学);University of Edinburgh(爱丁堡大学)
在本文中,我们研究了CNN输出的灵敏度相对于图像变换和噪声在细粒度识别领域。特别是,我们回答了以下问题:(1)CNN对野生图像捕获过程中遇到的图像变换有多敏感?(2)我们如何预测CNN灵敏度?以及(3)我们能否增加CNN对图像退化的鲁棒性?为了回答第一个问题,我们提供了一个广泛的经验灵敏度分析常用的CNN架构(AlexNet,VGG19,GoogleNet)在各种类型的图像退化。这允许预测由较低质量的图像或从不同视点捕获的图像组成的新域的CNN性能。我们还展示了如何预测单个图像的CNN输出的灵敏度。此外,我们证明了在测试期间输入层的丢弃或预滤波只会降低CNN对高级别降级的敏感性。细粒度识别任务的实验表明,VGG19比AlexNet和GoogleNet对严重的图像退化更具鲁棒性。然而,即使对于VGG 19,小强度噪声也会导致CNN性能的显著变化。
2016-10-21 cs.CV
MicroNet: Improving Image Recognition with Extremely Low FLOPs
University of California San Diego(加利福尼亚大学圣迭戈分校);Microsoft(微软)
本文旨在以极低的计算成本(例如ImageNet分类的5 M FLOP)解决性能大幅下降的问题。我们发现两个因素,稀疏连接和动态激活函数,是有效的,以提高精度。前者避免了网络宽度的显着减少,而后者则减轻了网络深度减少的危害。从技术上讲,我们提出了微因式卷积,它将卷积矩阵分解为低秩矩阵,将稀疏连接集成到卷积中。我们还提出了一个新的动态激活函数,命名为Dynamic Shift Max,通过最大化输入特征映射和其循环通道移位之间的多个动态融合来改善非线性。在这两个新的运营商的基础上,我们到达了一个家庭的网络,名为MicroNet,实现了显着的性能增益在低FLOP制度的最先进的。例如,在12 M FLOPs的约束下,MicroNet在ImageNet分类上达到了59.4%的top-1准确率,比MobileNetV 3高出9.6%。源代码位于\href{https://github.com/liyunsheng13/micronet}{https://github.com/liyunsheng13/micronet}。
2021-08-12 cs.CV cs.LG
TaskIR: Task-Driven Image Restoration via Degradation Adaptation and Task Feedback
Northwestern Polytechnical University(西北工业大学);Shenzhen Research Institute of Northwestern Polytechnical University(西北工业大学深圳研究院)
TaskIR提出两阶段任务驱动图像恢复框架,结合退化自适应与任务反馈细化,提升多样退化下的恢复质量和下游任务性能。
2026-09-30 cs.CV
Grounding inductive biases in natural images:invariance stems from variations in data
Facebook AI Research(Facebook人工智能研究院)
为了在看不见的和潜在的分布外的样本上表现良好,期望机器学习模型具有关于影响输入的变化因素的变换的可预测响应。在这里,我们研究了几种类型的归纳偏差对这种可预测的行为的相对重要性:数据的选择,它们的增强和模型架构。不变性通常是通过手工设计的数据增强来实现的,但是标准的数据增强是否解决了解释真实数据变化的转换?虽然之前的工作主要集中在合成数据上,但我们在这里尝试描述真实数据集ImageNet中的变化因素,并研究标准残差网络和最近提出的视觉Transformer相对于这些因素变化的不变性。我们发现标准增强依赖于平移和缩放的精确组合,平移重新获得了大部分性能改进-尽管内置的(近似)平移不变性是卷积架构,如残差网络。事实上,我们发现,尽管残差网络和视觉Transformer模型的架构归纳偏差明显不同,但它们的尺度和平移不变性是相似的。我们发现训练数据本身是不变性的主要来源,数据增强只会进一步增加学习的不变性。值得注意的是,在训练过程中学习到的不变性与我们发现的ImageNet变化因素一致。最后,我们发现ImageNet中的主要变化因素主要与外观有关,并且特定于每个类别。
2021-11-16 cs.CV
Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation
University of California, Merced(加利福尼亚大学默塞德分校);Virginia Tech(弗吉尼亚理工大学);Google Research(谷歌研究院);Yonsei University(延世大学)
Few-Shot分类的目标是识别新的类别,每个类别中只有很少的标记图像。现有的基于度量的Few-Shot分类算法通过使用学习的度量函数将查询图像的特征嵌入与来自一些标记图像(支持示例)的特征嵌入进行比较来预测类别。虽然已经证明了有前途的性能,这些方法往往无法推广到看不见的领域,由于跨域的特征分布的差异很大。在这项工作中,我们解决的问题,Few-Shot分类域移位的度量为基础的方法。我们的核心思想是使用特征变换层来增强图像特征,使用仿射变换来模拟训练阶段不同域下的各种特征分布。为了捕捉不同域下特征分布的变化,我们进一步应用学习到学习的方法来搜索特征变换层的超参数。我们使用五个Few-Shot分类数据集:mini-ImageNet,CUB,Cars,Places和Plantae在领域泛化设置下进行了广泛的实验和消融研究。实验结果表明,所提出的特征变换层适用于各种基于度量的模型,并在域偏移下对Few-Shot分类性能提供了一致的改善。
2020-03-09 cs.CV cs.LG
Countering Adversarial Images using Input Transformations
Cornell University(康奈尔大学);Facebook AI Research(脸书人工智能研究院)
本文研究的策略,防止对抗性的例子攻击图像分类系统的输入之前,将它们馈送到系统进行转换。具体来说,我们研究了在将图像馈送到卷积网络分类器之前应用图像变换,例如位深度减少,JPEG压缩,总方差最小化和图像绗缝。我们在ImageNet上的实验表明,总方差最小化和图像拼接在实践中是非常有效的防御方法,特别是当网络在变换后的图像上训练时。这些防御的力量在于它们的不可微性和固有的随机性,这使得对手很难绕过防御。我们最好的防御消除了60%的强灰盒和90%的强黑盒攻击的各种主要攻击方法
2018-01-25 cs.CV
Invertible Rescaling Network and Its Extensions
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Peng Cheng Laboratory(鹏城实验室)
图像缩放是一种常用的双向操作,它首先缩小高分辨率图像以适应各种显示屏幕或存储和带宽友好,然后放大相应的低分辨率图像以恢复原始分辨率或放大图像中的细节。然而,非内射降尺度映射丢弃高频内容,导致逆恢复任务的不适定问题。这可以抽象为一般的图像退化恢复问题的信息丢失。在这项工作中,我们提出了一种新的可逆框架来处理这个一般性的问题,从一个新的角度,即可逆双射变换模型的双向退化和恢复。可逆性使该框架能够以分布的形式对退化前的信息损失进行建模,这可以减轻后恢复过程中的不适定问题。具体而言,我们开发可逆模型来生成有效的退化图像,同时在前向退化过程中将丢失内容的分布转换为潜变量的固定分布。然后通过对生成的退化图像进行逆变换以及随机抽取的潜变量来进行恢复。我们从图像缩放开始,将模型实例化为可逆缩放网络(IRN),它可以很容易地扩展到类似的脱色-着色任务。我们进一步建议将可逆框架与现有的退化方法(如图像压缩)相结合,以获得更广泛的应用。实验结果表明,我们的模型显着改善现有的方法在定量和定性评估的放大和彩色重建从缩小和脱色图像,和率失真的图像压缩。
2022-10-09 cs.CV cs.LG eess.IV
Cycle-Consistent Counterfactuals by Latent Transformations
Collaborative Robotics and Intelligent Systems (CoRIS) Institute(协作机器人与智能系统(CoRIS)研究所);Oregon State University(俄勒冈州立大学)
反事实(CF)视觉解释试图找到与查询图像相似的图像,这些图像将视觉系统的决策改变为指定的结果。现有的方法要么需要推理时间优化,要么需要与生成对抗模型进行联合训练,这使得它们非常耗时,难以在实践中使用。我们提出了一种新的方法,周期一致的反事实的潜在变换(C3LT),它学习一个潜在的转换,自动生成视觉CF转向生成模型的潜在空间。我们的方法使用查询和CF潜在表示之间的循环一致性,这有助于我们的训练找到更好的解决方案。C3LT可以很容易地插入任何最先进的预训练生成网络。这使我们的方法能够以高分辨率生成高质量和可解释的CF图像,例如ImageNet中的图像。除了几个既定的指标,用于评估CF的解释,我们引入了一个新的度量,专门用于评估所生成的CF的例子的质量和验证我们的方法的有效性上一组广泛的实验。
2022-03-28 cs.AI cs.CV cs.LG
Some Improvements on Deep Convolutional Neural Network Based Image Classification
Andrew Howard Consulting(安德鲁·霍华德咨询公司)
我们研究了多种技术来改进当前基于深度卷积神经网络的图像分类流水线。这些技术包括向训练数据添加更多的图像变换,添加更多的变换以在测试时生成额外的预测,以及使用应用于更高分辨率图像的互补模型。本文总结了我们在2013年Imagenet大规模视觉识别挑战赛中的参赛作品。我们的系统在没有外部数据的情况下实现了13.55%的前5名分类出错率,这比前一年的冠军有20%以上的相对改善。
2013-12-19 cs.CV
General Lipschitz: Certified Robustness Against Resolvable Semantic Transformations via Transformation-Dependent Randomized Smoothing
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Artificial Intelligence Research Institute(人工智能研究所);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息学研究所可信人工智能研究中心);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Sber AI Lab(俄罗斯联邦储蓄银行人工智能实验室)
针对图像模糊、平移等可解析语义变换及其组合,本文提出 General Lipschitz 框架,通过分析平滑分类器关于变换参数的 Lipschitz 连续性获得鲁棒性认证,并在 ImageNet 上达到与最先进方法相当的性能。
2024-08-09 cs.AI cs.CV
Impact of Scaled Image on Robustness of Deep Neural Networks
University of Electronic Science and Technology of China(电子科技大学)
本文研究图像缩放对深度神经网络鲁棒性的影响,提出缩放失真数据集ImageNet-CS,发现缩放尺寸与准确率下降呈正相关,并证实Augmix等鲁棒训练技术能有效提升网络对缩放变换的鲁棒性。
2023-05-23 cs.CV
GraCIAS: Grassmannian of Corrupted Images for Adversarial Security
IIIT-Delhi(德里印度理工学院);Arizona State University(亚利桑那州立大学)
基于输入变换的防御策略在防御强对抗攻击方面存在不足。一些成功的防御采用的方法要么增加了应用转换的随机性,要么使防御计算密集,使攻击者更具挑战性。然而,它限制了这种防御作为预处理步骤的适用性,类似于使用再训练和网络修改来实现对扰动的鲁棒性的计算量大的方法。在这项工作中,我们提出了一种防御策略,应用随机图像损坏的输入图像单独,构造一个基于自相关的子空间,然后通过投影操作来抑制对抗性扰动。由于其简单性,与最先进的防御方法相比,所提出的防御方法在计算上是有效的,但可以承受巨大的扰动。此外,我们开发一个干净的图像和它的adversarially扰动版本的投影算子之间的接近关系,通过有关的格拉斯曼矩阵Frobenius规范的测地距离的界限。我们的经验表明,我们的策略是对JPEG压缩等其他弱防御的补充,并且可以与它们无缝集成,以创建更强大的防御。我们在ImageNet数据集上进行了广泛的实验,包括四个不同的模型,即InceptionV 3,ResNet 50,VGG 16和MobileNet模型,扰动幅度设置为ε = 16。与最先进的方法不同,即使没有任何再训练,所提出的策略在ImageNet上的防御准确率也绝对提高了~ 4.5%。
2020-05-07 cs.CR cs.CV cs.LG
Exploring Resolution and Degradation Clues as Self-supervised Signal for Low Quality Object Detection
Shanghai Jiao Tong University(上海交通大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);RIKEN AIP(理化学研究所先进智能项目中心);The University of Tokyo(东京大学);The University of British Columbia(不列颠哥伦比亚大学);Shanghai AI Laboratory(上海人工智能实验室)
超分辨率(SR)等图像复原算法是低质量图像中目标检测目标检测不可缺少的预处理模块。这些算法中的大多数假设退化是固定的并且是先验已知的。然而,在实际中,真实的降级或最佳上采样比率速率是未知的或与假设不同,导致预处理模块和随后的高级任务(诸如目标检测)的性能恶化。在这里,我们提出了一种新的自监督框架来检测退化的低分辨率图像中的对象。我们利用下采样退化作为一种自监督信号的变换,以探索各种分辨率和其他退化条件下的等变表示。自监督自动编码分辨率(AERIS)框架可以进一步利用具有任意分辨率恢复解码器的高级SR架构来从退化的输入图像重建原始对应。表示学习和目标检测都以端到端的训练方式联合优化。通用AERIS框架可以在具有不同主干的各种主流目标检测架构上实现。大量的实验表明,我们的方法取得了优越的性能相比,现有的方法时,面对变异退化的情况。代码将在https://github.com/cuiziteng/ECCV_AERIS上发布。
2022-08-05 cs.CV
Detecting Adversarial Examples by Input Transformations, Defense Perturbations, and Voting
Scuola Superiore Sant’Anna(圣安娜高等学校);Tecip Institute(特西普研究院)
在过去的几年里,卷积神经网络(CNN)已经被证明在视觉识别任务中达到了超人的性能。然而,CNN很容易被对抗性的例子愚弄,即,恶意制作的图像,迫使网络预测不正确的输出,同时与预测正确输出的图像非常相似。常规对抗性示例对输入图像变换不具有鲁棒性,然后可以使用输入图像变换来检测是否向网络呈现对抗性示例。尽管如此,仍然有可能生成对这种转换具有鲁棒性的对抗性示例。本文广泛探讨了通过图像变换检测对抗性示例,并提出了一种新的方法,称为\textit{defense perturbation},检测具有相同的输入变换的对抗性示例是强大的。这种\textit{defense perturbation}被证明是一种有效的对抗措施,强大的对抗性的例子。此外,多网络对抗的例子。这种对抗性的例子可以用来同时欺骗多个网络,这在使用网络冗余的系统中至关重要,例如那些基于多个CNN多数投票的架构。最后报告了一组基于在Imagenet数据集上训练的最先进CNN的广泛实验。
2021-08-16 cs.CV
Gradient as Conditions: Rethinking HOG for All-in-one Image Restoration
HOGformer通过整合可学习的HOG特征,利用动态HOG感知自注意力机制和DIFF模块,实现退化感知的图像恢复,取得最佳性能并具有良好的泛化能力。
2025-12-22 cs.CV
Adversarial Transformation Networks: Learning to Generate Adversarial Examples
Google Research(谷歌研究院)
已经提出了多种不同的生成对抗性示例的方法来攻击深度神经网络。这些方法涉及直接计算关于图像像素的梯度,或者直接求解图像像素上的优化。在这项工作中,我们提出了一种生成对抗性示例的全新方法,该方法执行速度快,并提供了异常多样的输出。我们以自监督的方式有效地训练前馈神经网络,以生成针对目标网络或一组网络的对抗性示例。我们将这种网络称为对抗转换网络(ATN)。ATN被训练来生成对抗性示例,这些示例在给定原始输入的情况下最小限度地修改分类器的输出,同时约束新分类以匹配对抗性目标类。我们提出了训练ATN的方法,并针对各种MNIST分类器以及最新的最先进的ImageNet分类器Inception ResNet v2分析了它们的有效性。
2017-03-28 cs.AI cs.CV cs.NE
Deep Photo Scan: Semi-Supervised Learning for dealing with the real-world degradation in Smartphone Photo Scanning
Hosei University(法政大学)
物理照片现在可以方便地通过智能手机扫描并永久存储为数字版本,但扫描的照片无法很好地恢复。一种解决方案是在许多数码照片和相应的扫描照片上训练有监督的深度神经网络。然而,它需要高的劳动力成本,导致有限的训练数据。以前的作品通过使用图像处理技术模拟退化来创建训练对。他们的合成图像是由潜在空间中完美扫描的照片形成的。即便如此,智能手机照片扫描的真实世界退化仍然没有解决,因为它由于镜头散焦,照明条件,通过打印丢失细节而变得更加复杂。此外,局部结构错位仍然发生在数据中,由于在三维世界中捕获的扭曲形状,降低恢复性能和定量评估的可靠性。为了解决这些问题,我们提出了一种半监督深度照片扫描(DPScan)。首先,我们提出了一种产生真实世界退化的方法,并为智能手机扫描的照片恢复提供DIV2K-SCAN数据集。此外,局部对齐被提出来减少数据中剩余的微小不对齐。其次,我们使用低级图像变换来模拟真实世界退化的许多不同变体,以获得智能手机扫描图像属性的泛化,然后训练退化网络来泛化所有类型的退化,并为未扫描的图像提供伪扫描照片,就像它们被智能手机扫描一样。最后,我们提出了一个半监督学习,允许我们的恢复网络在扫描和未扫描的图像上进行训练,使训练图像内容多样化。因此,在智能手机照片扫描方面,所提出的DPScan在数量和质量上都优于其基线架构、最先进的学术研究和工业产品。
2021-08-18 cs.CV
Random Transformation of Image Brightness for Adversarial Attack
深度神经网络容易受到对抗性样本的影响,这些样本是通过向原始图像添加人类无法感知的小扰动来制作的,但会使模型输出不准确的预测。因此,在部署深度神经网络之前,对抗攻击可以成为在安全关键型应用中评估和选择鲁棒模型的重要方法。然而,在具有挑战性的黑盒设置下,攻击成功率,即,对抗性示例的可移植性仍然需要改进。基于图像增强方法,我们发现图像亮度的随机变换可以消除生成对抗性样本中的过拟合,提高其可移植性。为此,我们提出了一种基于这种现象的对抗性示例生成方法,该方法可以与快速梯度符号方法(FGSM)相关的方法相结合,以构建更强大的基于梯度的攻击,并生成具有更好可移植性的对抗性示例。在ImageNet数据集上的大量实验证明了该方法的有效性。无论是在正常或对抗训练的网络,我们的方法有一个更高的成功率的黑盒攻击比其他攻击方法的基础上数据增强。我们希望这种方法可以帮助评估和提高模型的鲁棒性。
2021-01-12 cs.CV
Feature Lenses: Plug-and-play Neural Modules for Transformation-Invariant Visual Representations
Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所);Mila - Quebec Artificial Intelligence Institute(Mila-魁北克人工智能研究所)
已知卷积神经网络(CNN)在各种图像变换下是脆弱的,包括旋转、缩放和光照条件的变化。我们观察到,变换后的图像的特征与原始图像的特征截然不同。为了使CNN对变换更具不变性,我们提出了“特征透镜”,这是一组可以轻松插入训练模型(称为“宿主模型”)的特设模块。每个单独的透镜在给定特定变换下的变换图像的特征的情况下重建原始特征。这些透镜共同抵消各种变换引起的特征失真,从而使宿主模型更加鲁棒,而无需重新训练。通过仅更新镜头,当面对训练数据中不存在的新变换时,主模型免于迭代更新;由于保留了特征语义,下游应用程序(如分类器和检测器)自动获得鲁棒性而无需重新训练。通过最小化镜片变换特征和原始特征之间的新颖的“Top-K激活对比度损失”,以无注释的自监督方式训练镜片。在ImageNet,MNIST-rot和CIFAR-10上进行评估,特征透镜显示出明显优于基线方法的优势。
2020-04-12 cs.CV eess.IV
On the Generalization Effects of Linear Transformations in Data Augmentation
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
本研究在过参数化线性回归中分析了线性变换对岭估计器的泛化效应,发现保留标签和混合数据分别通过扩大张成空间和正则化改善估计,并提出基于模型不确定性的增强方案,在图像和文本数据集上取得优异表现。
2023-07-26 cs.AI cs.CV cs.LG
Inverse Image Frequency for Long-tailed Image Recognition
University of Liverpool(利物浦大学);Imperial College London(帝国理工学院)
针对长尾图像识别中的类别不平衡问题,提出逆图像频率(IIF)方法,通过对分类层logits进行乘法边际调整来去偏,在多个长尾基准上达到最先进性能。
2023-10-07 cs.CV
Contemplating real-world object classification
HCL America(HCL美国公司)
深度对象识别模型在ImageNet等基准数据集上非常成功。它们对数据集中自然和合成变异引起的分布偏移的准确性和稳健性如何?之前对这个问题的研究主要集中在ImageNet的变化(例如,ImageNetV2、ImageNet-A)。为了避免这些研究中潜在的遗传偏见,我们采取了不同的方法。具体来说,我们重新分析的ObjectNet数据集最近提出的Barbu等人。包含对象在日常生活中的情况。他们在这个数据集上显示了最先进的对象识别模型的性能急剧下降。由于他们的结果对深度模型泛化能力的重要性和影响,我们再次审视他们的分析。我们发现,将深度模型应用于孤立的对象,而不是像原始论文中那样应用于整个场景,可以提高大约20-30%的性能。相对于Barbu等人报告的数字,在没有任何测试时间数据增强的情况下,恢复了大约10-15%的性能损失。然而,尽管有了这些收获,我们得出结论,深度模型在ObjectNet数据集上仍然受到严重影响。我们还研究了模型对合成图像扰动的鲁棒性,例如几何变换(例如,缩放、旋转、平移),自然图像失真(例如,脉冲噪声、模糊)以及对抗攻击(例如,FGSM和PGD-5)。我们的结果表明,尽可能多地限制对象区域(即,从整个图像到限界框再到分割掩模)导致准确性和鲁棒性的一致改进。
2021-03-27 cs.AI cs.CV
Closing the Performance Gap in Biometric Cryptosystems: A Deeper Analysis on Unlinkable Fuzzy Vaults
Biometrics and Security Research Group(生物识别与安全研究组);Hochschule Darmstadt(达姆斯塔特应用技术大学)
本文针对基于模糊金库的生物特征密码系统中的性能下降问题,提出一种基于等频区间的特征量化方法,保证特征集大小固定并减少特征转换的信息损失,显著缩小了模板保护引入的性能差距。
2025-06-27 cs.CV
Reversing Flow for Image Restoration
State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), CASIA(多模态人工智能系统国家重点实验室(MAIS),中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);Ant Group(蚂蚁集团);PeopleAI Inc.(PeopleAI公司)
提出ResFlow框架,利用连续归一化流将退化过程建模为确定性路径,通过辅助过程消除不确定性并匹配速度场,实现少于四步采样的高效图像复原,在多个基准上达到最先进性能。
2025-06-20 cs.CV eess.IV
Class-Conditioned Transformation for Enhanced Robust Image Classification
提出测试时威胁模型无关算法CODIP,通过条件图像变换和距离预测增强对抗训练模型,无需额外训练,在多个数据集上显著提升鲁棒准确率。
2024-11-04 cs.CV
Structure Invariant Transformation for better Adversarial Transferability
Huawei Singularity Security Lab(华为奇点安全实验室);HUST(华中科技大学);Chinese University of Hong Kong(香港中文大学)
针对基于迁移的黑盒对抗攻击迁移性不足的问题,本文提出结构不变攻击 SIA,通过对各图像块随机施加变换来增强多样性并保持图像结构,实验证明其在 CNN 与 transformer 模型上优于现有 SOTA 方法。
2023-09-26 cs.CV
Image and Model Transformation with Secret Key for Vision Transformer
Tokyo Metropolitan University(东京都立大学)
在本文中,我们提出了一种组合使用的变换图像和视觉Transformer(ViT)模型与秘密密钥。我们首次证明,在ViT架构的基础上,使用普通图像训练的模型可以直接转换为使用加密图像训练的模型,并且在使用加密的测试图像时,转换后的模型的性能与使用普通图像训练的模型相同。密钥。此外,所提出的方案不需要任何专门准备的数据用于训练模型或网络修改,所以它也允许我们很容易地更新秘密密钥。在一个实验中,所提出的计划的有效性进行评估的性能退化和模型保护性能在图像分类任务的CIFAR-10数据集。
2022-07-21 cs.CR cs.CV
Transformation Behavior of Images in Latent Space
Department of Applied Tumor Biology, Institute of Pathology, Heidelberg University Hospital(海德堡大学医院病理学研究所应用肿瘤生物学系);National Center for Hereditary Tumor Syndromes, University Hospital Bonn(波恩大学医院遗传性肿瘤综合征国家中心);Department of Internal Medicine I, University Hospital Bonn(波恩大学医院第一内科);Leibniz Institut für Wissensmedien(莱布尼茨知识媒体研究所)
研究病理图像编码器对经典图像变换的鲁棒性,发现变换后嵌入与原始嵌入接近但非完全不变,解释了数据增强提升性能的原因。
2026-06-24 cs.AI cs.CV
Toward Efficient Deep Blind RAW Image Restoration
University of Würzburg(维尔茨堡大学)
针对sRGB域退化建模复杂的问题,本研究直接在RAW域进行图像恢复,设计了一条考虑传感器噪声、运动模糊等现实退化的新流水线,训练深度盲恢复模型,成功实现了跨相机的降噪去模糊与细节恢复。
2024-09-26 cs.CV eess.IV
A Multiplierless Pruned DCT-like Transformation for Image and Video Compression that Requires 10 Additions Only
Universidade Federal de Pernambuco(伯南布哥联邦大学);Universidade Federal de Santa Maria(圣玛丽亚联邦大学);The University of Akron(阿克伦大学)
提出了一种无乘法器的近似8点离散余弦变换(DCT),只需10次加法。该算法在图像和视频压缩中进行了评估,显示出与最先进的方法具有竞争力的性能。采用45 nm CMOS技术的数字实现达到布局布线级别,表明1.1 V电源时的时钟速度为288 MHz。8x8块速率为36 MHzdDCT近似被嵌入HEVC参考软件中;对于8位RGB HEVC,所产生的视频帧高达327 Hz,呈现出可忽略的图像劣化。
2016-12-11 cs.CV cs.MM stat.ME