Temporal Coherent Test-Time Optimization for Robust Video Classification
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学)
当测试数据在现实世界部署中被破坏时,深度神经网络可能会失败(例如,模糊、天气等)。测试时优化是一种有效的方法,它可以使模型在测试过程中泛化到损坏的数据,这已经在图像域中得到了证明。然而,用于提高视频分类损坏鲁棒性的技术仍然很少。在这项工作中,我们提出了一个时间相关的测试时间优化框架(TeCo),利用时空信息的测试时间优化鲁棒的视频分类。为了通过自监督学习利用视频中的信息,TeCo使用来自视频剪辑的全局内容并优化模型以实现熵最小化。TeCo基于来自视频剪辑的全局内容最小化预测的熵。同时,它还提供局部内容,以在特征层上正则化时间相干性。TeCo保留了各种视频分类模型的泛化能力,并在Mini Kinetics-C和Mini SSV 2-C上实现了显着的腐败鲁棒性改进。此外,TeCo通过测试时优化为视频分类损坏鲁棒性设定了新的基线。
2023-02-28 cs.CV
Point-Voxel Adaptive Feature Abstraction for Robust Point Cloud Classification
DeepGlint(深瞐科技);China University of Mining and Technology(中国矿业大学)
基于学习的点云分类方法已经取得了很大的进展。然而,在实际应用中,复杂的场景和传感器的不准确性使得点云数据受到诸如遮挡、噪声和离群点等污染。在这项工作中,我们提出了基于点体素的自适应(PV-Ada)特征抽象鲁棒点云分类下的各种腐败。具体来说,该框架迭代体素化的点云和提取点体素特征与共享的本地编码和Transformer。然后,提出了自适应最大池鲁棒地聚集点云特征进行分类。在ModelNet-C数据集上的实验表明,PV-Ada的性能优于最先进的方法。特别是,我们在PointCloud-C Challenge 2022的ModelNet-C分类赛道中排名$2^{nd}$,总体准确度(OA)为0.865。代码将在https://github.com/zhulf0804/PV-Ada上提供。
2022-10-30 cs.CV
Estimating the Robustness of Classification Models by the Structure of the Learned Feature-Space
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);Offenburg University(奥芬堡应用科学大学);University of Mannheim(曼海姆大学)
在过去的十年中,深度图像分类网络的发展主要是通过在ImageNet等标准化基准上寻找分类准确性方面的最佳性能来推动的。最近,这一焦点已经被模型鲁棒性的概念所扩展,\ie模型对数据分布中以前看不见的变化的泛化能力。虽然新的基准测试,如ImageNet-C,已经被引入来衡量鲁棒性,我们认为,固定的测试集只能捕获一小部分可能的数据变化,因此是有限的,容易产生新的过拟合的解决方案。为了克服这些缺点,我们建议直接从学习的特征空间的结构来估计模型的鲁棒性。我们引入了鲁棒性指标,这些指标是通过对来自训练分类器的潜在表示进行无监督聚类而获得的,并且在损坏的测试数据上与模型性能表现出非常高的相关性。
2021-08-19 cs.CV
PolSAR Image Classification Based on Robust Low-Rank Feature Extraction and Markov Random Field
University of Bristol(布里斯托大学);German Aerospace Center(德国航空航天中心);Chinese Academy of Sciences(中国科学院)
极化合成孔径雷达(PolSAR)图像分类在各种遥感应用中得到了广泛的研究。然而,这在今天仍然是一个具有挑战性的任务。一个重要的障碍在于在PolSAR成像过程中嵌入的斑点效应,这大大降低了图像的质量,并进一步复杂化的分类。为此,我们提出了一种新的PolSAR图像分类方法,通过低秩(LR)特征提取去除斑点噪声,并通过马尔可夫随机场(MRF)强制平滑先验。具体来说,我们采用基于高斯的鲁棒LR矩阵分解的混合,同时提取鉴别特征和去除复杂的噪声。然后,对提取的特征应用数据增强的卷积神经网络得到分类图,其中隐含了局部一致性,缓解了标签不足的问题。最后,我们通过MRF细化分类图以增强上下文平滑性。我们在两个基准PolSAR数据集上进行了实验。实验结果表明,该方法具有良好的分类性能和较好的空间一致性。
2020-09-13 cs.CV
Robust Classification with Convolutional Prototype Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence of Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
卷积神经网络(CNN)已广泛用于图像分类。尽管准确率很高,但CNN已经被证明很容易被一些对抗性的例子所欺骗,这表明CNN对于模式分类来说不够鲁棒。在本文中,我们认为CNN缺乏鲁棒性是由softmax层造成的,softmax层是一个完全区分的模型,并且基于封闭世界的假设(即,有固定数量的类别)。为了提高鲁棒性,我们提出了一种新的学习框架,称为卷积原型学习(CPL)。使用原型的优点是它可以很好地处理开放世界识别问题,从而提高鲁棒性。在CPL的框架下,设计了多种分类准则对网络进行训练。此外,原型损失(PL)被提出作为一个正则化,以提高类内紧凑性的特征表示,它可以被看作是一个生成模型的基础上高斯假设的不同类别。在多个数据集上的实验表明,CPL可以获得与传统CNN相当甚至更好的结果,并且从鲁棒性的角度来看,CPL在拒绝和增量类别学习任务中都表现出很大的优势。
2018-05-09 cs.CV
Diffusion-Based Feature Denoising with NNMF for Robust handwritten digit multi-class classification
Doctoral School of Computer Science, University of Szeged(塞格德大学计算机科学博士学院);University Research and Innovation Center (EKIK), Óbuda University(奥布达大学研究与创新中心(EKIK))
本文提出结合扩散驱动特征去噪与混合特征表示的鲁棒多类分类框架,通过NNMF提取紧致可解释特征并结合CNN深度特征,提升噪声和对抗攻击下的分类鲁棒性。
2026-05-12 cs.CV
Human uncertainty makes classification more robust
Princeton University(普林斯顿大学)
深度神经网络的分类性能已经开始接近完美水平。然而,它们在训练集之外的泛化能力和对对抗攻击的鲁棒性却没有。在本文中,我们通过使用反映人类感知不确定性的完整标签分布进行训练,在这个问题上取得了进展。我们首先提出了一个新的基准数据集,我们称之为CIFAR10H,包含CIFAR10测试集的每个图像的人类标签的完整分布。然后,我们表明,虽然当代分类器本身无法表现出类似人类的不确定性,但对我们数据集的显式训练弥补了这一差距,支持对越来越多的训练分布测试数据集的改进泛化,并赋予对抗攻击的鲁棒性。
2019-08-19 cs.CV
Reconciliation of Statistical and Spatial Sparsity For Robust Image and Image-Set Classification
Nanyang Technological University(南洋理工大学)
与经典的基于特征的方法相比,最近的图像分类算法通过从大规模数据集中学习深度特征,取得了显着更好的结果。然而,图像分类在实际应用中仍然存在各种挑战,如对噪声图像或图像集查询进行分类,以及在有限规模数据集上训练深度图像分类模型。代替应用通用深度特征,基于模型的方法对于鲁棒图像和图像集分类任务可以更有效和数据高效,因为各种图像先验被用于对集间和集内数据变化进行建模,同时防止过拟合。在这项工作中,我们提出了一种新的联合统计和空间稀疏表示,被称为\textit{J3S},建模的图像或图像集的数据进行分类,通过调和他们的局部补丁结构和全球高斯分布映射到黎曼流形。据我们所知,没有工作到目前为止,利用全球统计和本地补丁结构联合通过联合稀疏表示。我们提出了解决联合稀疏编码问题的J3 S模型的基础上,通过耦合的局部和全局图像表示使用联合稀疏。学习的J3 S模型用于鲁棒的图像和图像集分类。实验结果表明,基于J3 S的图像分类方法在FMD、UIUC、ETH-80和YTC数据库上的分类性能优于目前流行的或最先进的同类方法。
2021-06-01 cs.CV
Hierarchical Bayesian Noise Inference for Robust Real-time Probabilistic Object Classification
鲁棒的环境感知对于机器人在复杂领域中的决策至关重要。对机器人观测模型中的不确定性源进行有原则的处理是精确测绘和目标检测所必需的。这不仅对低水平的观察很重要(例如,加速度计数据),但是也用于诸如语义对象标签的高级观察。本文提出了一种利用分类器输出的噪声特性的在线建模来过滤对象分类概率序列的方法。一个分层贝叶斯方法是用来模拟每类噪声分布,同时允许类之间的高级别的噪声特性的共享。所提出的过滤方案,称为分层贝叶斯噪声推理(HBNI),优于现有的方法的分类精度。本文还提出了实时的【形】滤波分类硬件实验运行完全板载一个移动的四旋翼,其中所提出的方法被证明是在一个具有挑战性的领域,噪声不可知滤波失败。
2016-07-14 cs.CV
Diffusion-Based Feature Denoising and Using NNMF for Robust Brain Tumor Classification
Doctoral School of Computer Science, University of Szeged(计算机科学博士学院,塞格德大学);Academic Staff, Doctoral School of Computer Science, University of Szeged(学术人员,计算机科学博士学院,塞格德大学)
本文提出结合NNMF、轻量CNN和扩散去噪的鲁棒脑肿瘤分类框架,通过预处理MRI图像并提取可解释特征,提升对抗扰动下的分类鲁棒性。
2026-04-07 cs.CV
Many-MobileNet: Multi-Model Augmentation for Robust Retinal Disease Classification
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);McKeley School of Engineering, Washington University in St. Louis(圣路易斯华盛顿大学麦凯尔工程学院);School of Computing, Clemson University(克莱姆森大学计算学院);Mayo Clinic(梅奥诊所)
本研究提出基于轻量级CNN架构的Many-MobileNet多模型融合策略,通过不同数据增强和模型复杂度训练多模型解决过拟合与数据集局限,在数据稀缺领域实现鲁棒泛化并平衡计算效率与特征提取能力。
2024-12-03 cs.CV
Contrastive meta-domain adaptation for robust skin lesion classification across clinical and acquisition conditions
University of São Paulo(圣保罗大学)
提出基于视觉元域概念的适应策略,通过将大规模皮肤镜数据集的视觉表示迁移到临床图像域,提高皮肤病变分类的泛化鲁棒性。
2026-06-01 cs.CV
Intriguing Properties of Diffusion Models: An Empirical Study of the Natural Attack Capability in Text-to-Image Generative Models
University of California, Irvine(加州大学欧文分校);University of Cambridge(剑桥大学)
本文揭示扩散模型存在自然去噪扩散(NDD)攻击风险,通过文本提示移除人类视觉关键特征仍可欺骗DNN,并构建NDDA数据集实证评估其低成本、模型无关且可迁移的对抗攻击能力。
2024-05-02 cs.CR cs.CV
Intriguing Properties of Vision Transformers
Monash University(莫纳什大学);Linköping University(林雪平大学);University of California, Merced(加利福尼亚大学默塞德分校);Australian National University(澳大利亚国立大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Stony Brook University(石溪大学);Yonsei University(延世大学);Google Research(谷歌研究院)
视觉Transformer(ViT)在各种机器视觉问题上表现出令人印象深刻的性能。这些模型是基于多头自我注意力机制,可以灵活地参加一系列的图像补丁编码上下文线索。一个重要的问题是,在以给定块为条件的关注图像范围上下文方面的这种灵活性如何能够促进处理自然图像中的干扰,严重的遮挡、域移位、空间排列、对抗性和自然扰动。我们通过一系列广泛的实验系统地研究了这个问题,这些实验包括三个ViT家族,并与高性能卷积神经网络(CNN)进行了比较。我们展示并分析了ViT的以下有趣特性:(a)Transformers对严重的遮挡、扰动和域偏移具有高度鲁棒性,例如,即使在随机遮挡80%的图像内容后,仍能在ImageNet上保持高达60%的top-1准确率。(b)对遮挡的鲁棒性能不是由于对局部纹理的偏见,与CNN相比,ViT对纹理的偏见明显更少。当经过适当的训练来编码基于形状的特征时,ViTs表现出与人类视觉系统相当的形状识别能力,这在文献中是前所未有的。(c)使用ViTs对形状表示进行编码导致了一个有趣的结果,即精确的语义分割而无需像素级监督。(d)来自单个ViT模型的现成特征可以被组合以创建特征集成,从而在传统和少样本学习范例中跨一系列分类数据集实现高准确率。我们表明,有效的功能ViTs是由于灵活和动态的感受野可能通过自我注意力机制。
2021-11-25 cs.AI cs.CV cs.LG
Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape
University of Science and Technology of China(中国科学技术大学)
本文质疑分类鲁棒性与解释鲁棒性强相关的传统观点,通过聚类评估解释鲁棒性,并提出调整解释损失景观的训练方法,发现两者并不强相关。
2026-06-08 cs.CV cs.LG
Generative Robust Classification
University of Virginia(弗吉尼亚大学)
训练对抗性强的判别(即,softmax)分类器已经成为鲁棒分类的主要方法。基于最近在基于对抗训练(AT)的生成模型方面的工作,我们研究了使用AT来学习非规范化的类条件密度模型,然后执行生成鲁棒分类。结果表明,在模型容量相近的情况下,当测试数据干净或测试扰动大小有限时,生成式鲁棒分类器的性能与基线softmax鲁棒分类器相当,而当测试扰动大小超过训练扰动大小时,生成式鲁棒分类器的性能要优于基线softmax鲁棒分类器.生成分类器还能够生成更接近于训练数据的样本或反事实,这表明生成分类器可以更好地捕获类条件分布。与标准的判别对抗训练相比,高级数据增强技术只有在与权重平均相结合时才有效,我们发现应用高级数据增强来实现更好的鲁棒性是很简单的。我们的研究结果表明,生成分类器是一个有竞争力的替代强大的分类,特别是对有限数量的类的问题。
2022-12-14 cs.CV cs.LG
Mini-batch graphs for robust image classification
McGill University(麦吉尔大学);Carnegie Mellon University(卡内基梅隆大学)
当前用于计算机视觉中分类任务的深度学习模型是使用小批量训练的。在本文中,我们利用小批量样本之间的关系,使用图神经网络从相似的图像中聚合信息。这有助于减轻对输入图像的更改对分类性能的不利影响。基于图像的目标和场景分类实验表明,该方法不仅提高了分类器的性能,而且提高了其对图像扰动和对抗攻击的鲁棒性。此外,我们还表明,小批量图神经网络可以帮助减轻模式坍塌的问题,在生成对抗网络。
2021-04-22 cs.AI cs.CV
Robust Object Classification Approach using Spherical Harmonics
RMIT University(皇家墨尔本理工大学);University College London(伦敦大学学院)
在本文中,我们提出了一个强大的球谐函数的点云为基础的对象的分类方法。球谐函数多年来一直用于分类,文献中存在几个框架。这些方法使用各种基于球谐函数的描述符来对对象进行分类。我们首先研究了这些框架对数据增强的鲁棒性,如离群值和噪声,因为以前没有研究过。然后,我们提出了一个球形卷积神经网络框架的鲁棒目标分类。该框架使用同心球的体素网格来学习单位球上的特征。由于所选择的采样策略和设计的卷积操作,我们提出的模型学习对数据增强不太敏感的特征。我们测试了我们提出的模型对几种类型的数据增强,如噪声和离群值。我们的研究结果表明,该模型优于最先进的网络在鲁棒性方面的数据增强。
2020-09-02 cs.CV cs.LG
Distributional Loss for Robust Classification
Institute for Neuro- and Bioinformatics(神经与生物信息学研究所)
提出一种基于双峰高斯分布的分布损失概念,通过软化目标隐式捕捉类别模糊性,缓解过拟合,提升决策边界鲁棒性,尤其在低数据场景下效果显著。
2026-06-12 cs.CV cs.LG
MIRST-DM: Multi-Instance RST with Drop-Max Layer for Robust Classification of Breast Cancer
University of Idaho(爱达荷大学)
鲁棒自训练(Robust Self-training,简称RSE)可以在不显著牺牲模型泛化能力的前提下增强图像分类模型的对抗鲁棒性。然而,ESTA和其他国家的最先进的防御方法未能保持的泛化能力,并重现其良好的对抗性的鲁棒性小的医学图像集。在这项工作中,我们提出了具有drop-max层的多实例递归,即MIRST-DM,它涉及在训练过程中迭代生成的对抗实例序列,以在小数据集上学习更平滑的决策边界。建议的drop-max层消除了不稳定的特征,并有助于学习对图像扰动具有鲁棒性的表示。使用具有1,190个图像的小型乳腺超声数据集验证了所提出的方法。结果表明,该方法实现了最先进的对抗鲁棒性对三种流行的攻击。
2022-05-02 cs.CV eess.IV
Non-Robust Features are Not Always Useful in One-Class Classification
Georgia Tech(佐治亚理工学院);Technology Innovation Institute(技术创新研究院)
该研究针对单类分类实际应用中轻量级模型的对抗样本威胁展开,发现轻量级单类分类器在强攻击下学习的非鲁棒特征并非始终对任务有用,这类特征是训练的不良副产品。
2024-07-08 cs.CV cs.LG
Discriminative models for robust image classification
The Graduate School(研究生院)
各种现实世界的任务涉及到图像到预定类别的分类。设计对采集噪声和图像失真表现出鲁棒性的图像分类算法,特别是当可用的训练数据不足以学习准确的模型时,是一个重大的挑战。本论文探讨了发展的歧视性模型的强大的图像分类,利用潜在的信号结构,通过概率图形模型和稀疏信号表示。概率图模型被广泛用于许多应用中,以降低复杂性的设置来近似高维数据。学习图形结构来近似概率分布是一个活跃的研究领域。最近的工作集中在学习图的区别性的方式,以最大限度地减少分类错误的目标。在论文的第一部分中,我们开发了一个判别学习框架,利用互补但相关的信息提供的多个表示(或投影)的一个给定的信号/图像。具体来说,我们提出了一个判别树为基础的计划,通过明确学习的条件相关性,这样的多个投影在迭代的方式进行特征融合。实验表明,所得到的图形模型分类器的鲁棒性训练不足。
2016-03-08 cs.CV stat.ML
An Empirical Evaluation of Four Algorithms for Multi-Class Classification: Mart, ABC-Mart, Robust LogitBoost, and ABC-LogitBoost
Cornell University(康奈尔大学)
本实证研究主要致力于比较四种基于树的boosting算法:mart,abc-mart,robust logitboost和abc-logitboost,在各种公开数据集上进行多类分类。其中一些数据集已经在之前的研究中使用广泛的分类算法进行了彻底的测试,包括SVM,神经网络和深度学习。在经验分类误差方面,我们的实验结果表明:1。abc-马特大大提高马特。2. abc-logitboost大大提高了(鲁棒)logitboost。3. robust)logitboost}大大提高了大多数数据集上的mart。4. abc-logitboost在大多数数据集上大大改进了abc-mart。5.这四种boosting算法(特别是abc-logitboost)在许多数据集上的性能优于SVM。6.与最好的深度学习方法相比,这四种boosting算法(尤其是abc-logitboost)具有竞争力。
2010-01-07 cs.AI cs.CV cs.LG
Intriguing Properties of Large Language and Vision Models
School of Computing, KAIST(韩国科学技术院计算学院);NAVER Cloud Multimodal AI(NAVER 云多模态人工智能)
该研究针对大语言视觉模型在基础感知任务上性能偏低的问题,通过10个基准测试系统探究其特性,发现了全局处理图像、数值感知不全仍能解题等四点奇特性质,并提出未来优化方向。
2024-10-07 cs.CL cs.CV
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department(多特尔研究与创新中心,人工智能部门);TRAIL – Trusted AI Labs(TRAIL——可信AI实验室)
研究安全关键应用中分类器的稳健性与可靠性,通过选择性分类视角探讨差距,引入统一基准,提出证据对抗训练方法,提升稳健性与不确定性权衡,优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
Right for the Right Reason: Making Image Classification Robust
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
卷积神经网络(CNN)在图像数据分类中的有效性已得到充分证明。为了向人类解释分类,近年来已经开发了用于可视化分类证据的方法。这些解释表明,有时图像被正确分类,但由于错误的原因,即,基于偶然的证据当然,期望图像由于正确的原因而被正确地分类,即,基于实际证据。为此,我们提出了一个新的解释质量度量来衡量对象对齐的解释在图像分类,我们称之为ObAlExmetric。使用目标检测方法,解释方法和ObAlEx,我们量化了CNN对实际证据的关注。此外,我们还证明了CNN的额外训练可以提高CNN的焦点,而不会降低其准确性。
2021-01-12 cs.CV cs.LG
Quantum-Inspired Robust and Scalable SAR Object Classification
Tensor AI Solutions GmbH(Tensor AI解决方案有限公司);Ulm University(乌尔姆大学);Institute for Complex Quantum Systems(复杂量子系统研究所);Hensoldt Sensors GmbH(亨索尔特传感器有限公司);German Aerospace Center (DLR)(德国航空航天中心(DLR));Microwaves and Radar Institute(微波与雷达研究所)
本文利用张量网络实现SAR目标分类,在保证鲁棒性(尤其抗数据投毒)的同时平衡模型大小与精度。
2026-05-22 cs.CV physics.comp-ph quant-ph
Beyond cross-entropy: learning highly separable feature distributions for robust and accurate classification
Politecnico di Torino(都灵理工大学)
深度学习在包括图像分类在内的多个应用中表现出了出色的性能。然而,众所周知,深度分类器非常容易受到对抗攻击的攻击,因为输入的微小扰动很容易导致错误。为对抗攻击提供鲁棒性是一项非常具有挑战性的任务,特别是在涉及大量类的问题中,因为它通常以精度降低为代价。在这项工作中,我们提出了高斯类条件单纯形(GCCS)损失:一种用于训练深度鲁棒多类分类器的新方法,该方法提供了对抗鲁棒性,同时达到甚至超过了最先进方法的分类精度。与其他框架相类似,所提出的方法学习输入类到潜在空间中的目标分布的映射,使得类是线性可分的。我们的目标函数不是最大化单个样本的目标标签的可能性,而是推动网络产生产生高类间分离的特征分布。分布的平均值以单形的顶点为中心,使得每个类与其他类的距离相同。我们表明,基于我们的方法的潜在空间的正则化产生了出色的分类准确性,并且固有地提供了对多个对抗攻击的鲁棒性,包括有针对性的和无针对性的,在具有挑战性的数据集上优于最先进的方法。
2020-10-29 cs.CV eess.IV
Multi-layer Representation Learning for Robust OOD Image Classification
Harokopio University(哈罗科皮奥大学)
卷积神经网络已经成为图像分类的标准。然而,在过去的几年里,他们在数据集上保持高准确性的困难变得越来越明显。为了在现实世界的场景和应用中利用这些模型,它们必须能够对看不见的数据提供值得信赖的预测。在本文中,我们认为从CNN的中间层提取特征可以帮助模型的最终预测。具体来说,我们将Hypercolumns方法应用于ResNet-18,并在NICO数据集上进行评估时发现模型的准确性显着提高。
2022-07-27 cs.CV cs.LG
Understanding Robustness of Transformers for Image Classification
Google Research(谷歌研究院)
深度卷积神经网络(CNN)长期以来一直是计算机视觉任务的首选架构。最近,像视觉Transformer(ViT)这样基于Transformer的架构已经在图像分类方面与ResNets相匹配,甚至超过了ResNets。然而,Transformer体系结构的细节--比如使用非重叠补丁--让人怀疑这些网络是否同样健壮。在本文中,我们对ViT模型鲁棒性的各种不同度量进行了广泛的研究,并将研究结果与ResNet基线进行了比较。我们调查的鲁棒性输入扰动以及模型扰动的鲁棒性。我们发现,当用足够多的数据进行预训练时,ViT模型在广泛的扰动下至少与ResNet模型一样鲁棒。我们还发现,Transformers是强大的删除几乎任何单一的层,虽然从后面的层激活是高度相关的彼此,他们仍然发挥了重要作用的分类。
2021-10-08 cs.AI cs.CV cs.LG
Disentangled Deep Autoencoding Regularization for Robust Image Classification
Shanghai Jiao Tong University(上海交通大学);NEC Labs America - Princeton(美国电气通信技术公司美国研究院 - 普林斯顿);Princeton University(普林斯顿大学)
尽管在机器学习方面取得了革命性的成功,但最近发现深度卷积神经网络容易受到对抗攻击的攻击,并且难以推广到具有相当大的几何变换的新测试图像。受最近神经科学发现的启发,揭示了灵长类动物的大脑使用解纠缠的形状和外观表示进行对象识别,我们提出了一个通用的解纠缠的深度自编码正则化框架,可以很容易地应用于任何基于深度嵌入的分类模型,以提高深度神经网络的鲁棒性。我们的框架有效地学习了解纠缠的外观代码和几何代码,用于鲁棒的图像分类,这是第一个基于解纠缠的方法防御对抗攻击,并补充标准的防御方法。在几个基准数据集上的大量实验表明,我们提出的正则化框架利用解纠缠嵌入显著优于传统的非正则化卷积神经网络用于图像分类,对对抗攻击和推广到新的测试数据的鲁棒性。
2019-02-27 cs.CV cs.LG stat.ML
Discriminative Robust Deep Dictionary Learning for Hyperspectral Image Classification
Indraprastha Institute of Information Technology, Delhi(因德拉普拉斯信息技术学院(德里))
这项工作提出了一个新的深度学习框架,特别适合高光谱图像分类。我们以一种健壮的方式学习多级字典。最后一层是判别式的,它学习线性分类器。训练过程是渐进式的,每次只学习一级字典,而系数用于训练下一级。最后一级的系数用于分类。鲁棒性通过最小化绝对偏差而不是更流行的欧几里德范数来实现。内置的鲁棒性有助于对抗高光谱图像中存在的混合噪声(高斯和稀疏)。结果表明,我们提出的技术优于所有其他深度学习方法深度信念网络(DBN),堆叠自动编码器(SAE)和卷积神经网络(CNN)。在基准高光谱成像数据集上进行了实验。
2019-12-11 cs.CV cs.LG eess.IV
Strategies for Robust Image Classification
Colorado State University(科罗拉多州立大学)
在这项工作中,我们评估的影响,数字化改变的图像上的人工神经网络的性能。我们探讨了负面影响图像分类模型产生一致和准确结果的能力的因素。由于数字异常或物理环境的变化而导致的图像更改会对模型的分类能力产生负面影响。本文的重点是发现和复制修改图像外观的场景,并在最先进的机器学习模型上对其进行评估。我们的贡献提出了各种训练技术,增强了模型的泛化能力,并提高了对这些变化的鲁棒性。
2020-08-13 cs.CV cs.LG stat.ML
PointCert: Point Cloud Classification with Deterministic Certified Robustness Guarantees
Duke University(杜克大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
点云分类是自动驾驶和增强现实等许多安全关键型应用的重要组成部分。然而,点云分类器容易受到不利扰动的点云。针对对抗性点云的现有认证防御受到一个关键限制:它们的认证鲁棒性保证是概率性的,即,它们以某种概率产生不正确的经认证的鲁棒性保证。在这项工作中,我们提出了一个通用的框架,即PointCert,它可以将任意点云分类器转换为具有确定性保证的对抗性点云的可证明鲁棒性。当任意添加、删除和/或修改的点的数量小于阈值时,PointCert可证明为点云预测相同的标签。此外,我们提出了多种方法来优化PointCert在三个应用场景中的认证鲁棒性保证。我们在ModelNet和ScanObjectNN基准数据集上系统地评估了PointCert。我们的研究结果表明,PointCert大大优于国家的最先进的认证防御,即使他们的鲁棒性保证是概率。
2023-03-03 cs.AI cs.CR cs.CV
Enhance CNN Robustness Against Noises for Classification of 12-Lead ECG with Variable Length
University of Miami(迈阿密大学)
心电图(ECG)是监测心血管系统状况的最广泛使用的诊断工具。深度神经网络(DNN)已在许多研究实验室中开发,用于自动解释ECG信号,以识别患者心脏的潜在异常。研究表明,如果数据量足够大,DNN的分类准确度可以达到人类专家心脏病专家的水平。然而,尽管DNN在分类准确性方面表现出色,但已经表明DNN非常容易受到对抗性噪声的影响,这些噪声是DNN输入的细微变化,并导致具有高置信度的错误类别标签预测。因此,提高DNN对对抗性噪声的鲁棒性对于ECG信号分类是具有挑战性和必要性的,这是一个生命攸关的应用。在这项工作中,我们设计了一个CNN的12导联心电图信号的分类与可变长度,我们采用了三种防御方法,以提高这个CNN的鲁棒性,这个分类任务。本研究中的ECG数据非常具有挑战性,因为样本量有限,并且每个ECG记录的长度在很大范围内变化。评估结果表明,我们定制的CNN达到了令人满意的F1得分和平均准确度,与CPSC 2018 ECG分类挑战中的前6名条目相当,并且防御方法增强了我们的CNN对对抗性噪声和白噪声的鲁棒性,并且在干净数据上的准确度降低最小。
2020-11-30 cs.CV cs.LG eess.SP
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of California, Davis(加利福尼亚大学戴维斯分校)
Few-Shot图像分类的目标是推广到具有有限标记数据的任务,多年来已经取得了很大的进展。然而,分类器容易受到对抗性样本的影响,这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合,以提高Few-Shot分类器的鲁棒性。我们表明,一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明,在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器,在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的,易于扩展,并与很少的努力,可以导致强大的Few-Shot分类器。代码可在这里:\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
Robust Classification of High-Dimensional Spectroscopy Data Using Deep Learning and Data Synthesis
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
本文提出了一种新的方法来分类的高维光谱数据,并证明它优于其他目前的最先进的方法。我们考虑的具体任务是根据拉曼光谱确定样品是否含有氯化溶剂。我们还研究了对训练集中未表示的离群值样本(负离群值)进行分类的鲁棒性。提出了一种新的应用程序的本地连接的神经网络(NN)的光谱数据的二进制分类,并证明了传统流行的算法产生更高的精度。此外,我们提出了通过使用合成训练光谱进一步提高局部连接NN算法的准确性的能力,我们研究了基于自动编码器的一类分类器和离群值检测器的使用。最后,一个两步的分类过程中提出的二进制和一类分类范式的替代。这个过程结合了本地连接的NN分类器,使用合成的训练数据,和基于自动编码器的离群值检测器,以产生一个模型,该模型被示出既产生高的分类精度,并且对负离群值的存在是鲁棒的。
2020-03-26 cs.CV cs.LG cs.NE
Toward Robust Image Classification
Taibah University(泰巴大学);University of Colorado at Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
神经网络经常用于图像分类,但容易受到由对抗性图像引起的误分类的影响。使神经网络图像分类更鲁棒的尝试包括预处理(裁剪,应用噪声,模糊),对抗训练和丢弃随机化的变化。在本文中,我们实现了一个模型的对抗检测的基础上结合了这两种技术:辍学随机化与预处理应用于图像在给定的贝叶斯不确定性。我们在MNIST数据集上评估了我们的模型,使用快速梯度符号方法(FGSM),基于雅可比的显着图攻击(JSMA)和基本迭代法(BIM)攻击生成的对抗图像。我们的模型实现了97%的平均敌对图像检测准确率,在丢弃标记为敌对的图像后,平均图像分类准确率为99%。我们的平均检测精度超过了最近使用类似技术的论文。
2019-09-19 cs.CV cs.LG eess.IV
Robust Training with Data Augmentation for Medical Imaging Classification
University of Connecticut(康涅狄格大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本研究提出带数据增强的鲁棒训练算法(RTDA),在医学影像分类中提升对对抗攻击和分布偏移的鲁棒性,同时保持高准确率。
2025-06-20 cs.AI cs.CV cs.LG
Adversarially Robust Medical Classification via Attentive Convolutional Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
基于卷积神经网络的医学图像分类器已被证明特别容易受到对抗性示例的影响。这种不稳定性在未来的自动诊断中可能是不可接受的。虽然统计对抗性示例检测方法已被证明是有效的防御机制,但还需要进行更多的研究,以调查基于深度学习的系统的基本漏洞,以及如何最好地构建模型,以最大限度地提高传统和鲁棒的准确性。本文提出了在基于CNN的医学图像分类器中包含注意力机制,作为一种可靠有效的策略,用于在不牺牲的情况下提高鲁棒性准确性。这种方法能够在典型的对抗场景中将鲁棒准确率提高16%,在极端情况下提高2700%。
2022-10-26 cs.CR cs.CV cs.LG