Towards Full-to-Empty Room Generation with Structure-Aware Feature Encoding and Soft Semantic Region-Adaptive Normalization
Centre for Research and Technology Hellas（希腊研究与技术中心）
将带家具的房间图像转换为仅背景图像的任务极具挑战性，因为它需要在保持整体布局和风格的同时对场景上下文进行较大的更改。为了获得照片般逼真和结构一致的背景，现有的深度学习方法要么采用图像修补方法，要么将场景布局的学习作为一个单独的任务，然后在不完全可区分的语义区域自适应归一化模块中利用它。为了解决这些缺点，我们把场景布局生成作为一个特征线性变换问题，并提出了一个简单而有效的调整完全可微软语义区域自适应归一化模块（softSEAN）块。我们展示了在减少现实和深度估计任务中的适用性，其中我们的方法除了减轻训练复杂性和不可微性问题的优点之外，在定量和定性方面都超过了比较方法。我们的softSEAN模块可用作现有判别和生成模型的插入式模块。可在vcl3d.github.io/PanoDR/上获得实现。
2021-12-10 cs.CV
Test-time image-to-image translation ensembling improves out-of-distribution generalization in histopathology
CentraleSupélec - Université Paris-Saclay（巴黎萨克雷大学中央高等电子学院）；VitaDX International（VitaDX国际公司）
组织学全切片图像（WSI）可以显示显著的医院间差异，如照明，颜色或光学伪影。这些变化是由医疗中心（染色，扫描仪）使用不同的扫描协议引起的，可能会严重损害算法在看不见的协议上的泛化。这促使开发新的方法来限制这种性能下降。为了提高对未知目标协议的鲁棒性，提出了一种基于多域图像-图像转换的测试时数据增强方法。它允许将图像从看不见的协议投影到每个源域，然后对它们进行分类并集成预测。这种测试时间增强方法导致领域泛化性能的显著提高。为了证明其有效性，我们的方法已被评估2个不同的组织病理学任务，它优于传统的领域泛化，标准的H&E特定的颜色增强/归一化和标准的测试时间增强技术。我们的代码可在https://gitlab.com/vitadx/articles/test-time-i2i-translation-ensembling上公开获取。
2022-06-30 cs.CV
Adaptive Input-image Normalization for Solving the Mode Collapse Problem in GAN-based X-ray Images
Department of Computer Science, Munster Technological University, Cork, Ireland（计算机科学系，穆斯廷技术大学，科克，爱尔兰）
本文提出通过自适应输入图像归一化技术缓解GAN生成X射线图像中模式崩溃问题，提升图像多样性和分类性能。
2024-04-29 cs.CV cs.LG eess.IV
Improving Data Driven Inverse Text Normalization using Data Augmentation
University of California Merced（加州大学默塞德分校）；Meta Inc.（Meta公司）
反向文本规范化（ITN）用于将自动语音识别（ASR）系统的口语形式输出转换为书面形式。传统的手工ITN规则可能很复杂，难以转录和维护。同时，神经建模方法需要在与ASR系统相同或相似的域中的高质量的大规模讲写对示例（域内数据）来进行训练。这两种方法都需要昂贵且复杂的注释。在本文中，我们提出了一个数据增强技术，有效地产生丰富的口语，书面数字对从域外的文本数据与最少的人的注释。我们的经验表明，使用我们的数据增强技术训练的ITN模型在所有数字表面（如基数，货币和分数）上始终优于仅使用域内数据训练的ITN模型，总体准确率为14.44%。
2022-07-20 cs.CL cs.LG cs.SD
Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis
Tomorrow Advancing Life（好未来）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
语义图像合成是一个具有挑战性的任务，有许多实际应用。尽管在具有空间自适应归一化的语义图像合成中已经取得了显着的进展，并且现有方法在粗略级别的指导（例如，语义类）。然而，语义对象的不同部分（例如，车轮和车窗）在结构和纹理上有很大的不同，由于缺少细粒度的指导，通常不可避免地会导致模糊的合成结果。在本文中，我们提出了一种新的规范化模块，称为基于REtrieval的空间自适应规范化（RESAIL），引入像素级细粒度的指导规范化架构。具体来说，我们首先提出了一个检索范式，找到一个相同的语义类的内容补丁从训练集与最相似的形状，每个测试语义面具。然后，RESAIL被提出来使用检索到的补丁来指导相应区域的特征归一化，并且可以提供像素级的细粒度指导，从而极大地减轻了模糊的合成结果。此外，失真的地面实况图像也被用作基于检索的指导的替代方案，用于特征归一化，进一步有利于模型训练和提高生成图像的视觉质量。在几个具有挑战性的数据集上的实验表明，我们的RESAIL在定量指标、视觉质量和主观评价方面都优于最先进的方法。源代码和预训练模型将公开提供。
2022-04-06 cs.CV
Attentive Normalization for Conditional Image Generation
The Chinese University of Hong Kong（香港中文大学）；MEGVII Technology（旷视科技）
传统的基于卷积的生成对抗网络基于分层局部操作合成图像，其中长距离依赖关系用马尔可夫链隐式建模。对于具有复杂结构的类别，它仍然是不够的。在本文中，我们描述了长期依赖与注意规范化（AN），这是传统的实例规范化的扩展。具体地说，输入的特征图被软划分成几个区域的内部语义相似性的基础上，分别归一化。它通过语义对应增强了遥远区域之间的一致性。与自注意GAN相比，我们的注意归一化不需要测量所有位置的相关性，因此可以直接应用于大尺寸的特征图，而没有太多的计算负担。类条件图像生成和语义修复的实验验证了我们提出的模块的有效性。
2020-04-08 cs.CV
FAN: Feature Adaptation Network for Surveillance Face Recognition and Normalization
Michigan State University（密歇根州立大学）；Youtu Lab, Tencent（腾讯优图实验室）
本文研究了监控图像中的人脸识别和归一化问题。侦查是一个具有挑战性的问题，在执法中具有重要的价值。尽管最近的进展，在传统的FR，较少的努力一直致力于监督FR。为了弥合这一差距，我们提出了一个功能自适应网络（FAN），共同执行监督FR和规范化。我们的人脸归一化主要作用于图像分辨率方面，与人脸超分辨率密切相关。然而，以前的人脸超分辨率方法需要具有像素到像素对应关系的成对训练数据，这通常在现实世界的低分辨率和高分辨率人脸之间不可用。FAN可以利用配对和未配对的数据，因为我们将特征分解为身份和非身份分量，并适应身份特征的分布，这打破了当前人脸超分辨率方法的限制。我们进一步提出了一种随机尺度增强方案来学习分辨率鲁棒的身份特征，与之前的固定尺度增强相比具有优势。在LFW、WIDER FACE、QUML-SurvFace和SCface数据集上的大量实验表明了该方法在监测FR和归一化方面的有效性。
2020-10-02 cs.CV cs.LG
AugMax: Adversarial Composition of Random Augmentations for Robust Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA（英伟达）；Arizona State University（亚利桑那州立大学）；California Institute of Technology（加州理工学院）
数据增强是提高深度神经网络（DNN）鲁棒性的一种简单而有效的方法。多样性和硬度是数据增强实现鲁棒性的两个互补维度。例如，AugMix探索了一组不同增强的随机组合，以增强更广泛的覆盖范围，而对抗性训练则生成对抗性的硬样本来发现弱点。出于这一动机，我们提出了一个数据增强框架，称为AugMax，统一的多样性和硬度的两个方面。AugMax首先随机采样多个增强算子，然后学习所选算子的对抗混合。作为一种更强大的数据增强形式，AugMax导致显著增强的输入分布，这使得模型训练更具挑战性。为了解决这个问题，我们进一步设计了一个被称为DuBIN（Dual-Batch-and-Instance Normalization）的解纠缠规范化模块，该模块可以解纠缠AugMax产生的实例特征异质性。实验表明，AugMax-DuBIN显著提高了分布外鲁棒性，在CIFAR 10-C、CIFAR 100-C、Tiny ImageNet-C和ImageNet-C上的性能分别优于现有技术3.03%、3.49%、1.82%和0.71%。代码和预训练模型可在https://github.com/VITA-Group/AugMax上找到。
2022-01-01 cs.CV cs.LG
Feature Normalization Prevents Collapse of Non-contrastive Learning Dynamics
The Institute of Statistical Mathematics（统计数学研究所）
该研究针对非对比学习的表示坍缩问题，通过引入含特征归一化的余弦损失拓展了现有动力学理论，发现余弦损失诱导的六阶动力学生成稳定平衡点，证明特征归一化可鲁棒防止动力学坍缩。
2025-06-11 cs.LG stat.ML
Understanding Unconventional Preprocessors in Deep Convolutional Neural Networks for Face Identification
Baze University（巴泽大学）；The University of the West of England（西英格兰大学）
深度网络在物体和人脸识别等应用领域取得了巨大的成功。性能提升归因于网络架构的不同方面，例如：卷积层的深度、激活函数、池化、批量归一化、前向和反向传播等等。然而，很少强调预处理器。因此，在本文中，网络的预处理模块是不同的预处理方法，同时保持恒定的网络架构的其他方面，调查预处理对网络的贡献。常用的预处理器是数据增强和归一化，并被称为传统的预处理器。其他被称为非常规预处理器，它们是：颜色空间转换器; HSV，CIE L*a*b* 和YCBCR，灰度分辨率预处理器;基于全平面和基于平面的图像量化，照明归一化和不敏感特征预处理，使用：直方图均衡化（HE），局部对比度归一化（LN）和完整的面部结构模式（CFSP）。为了实现固定的网络参数，采用具有迁移学习的CNN。来自Inception-V3网络的高级特征向量的知识被转移到离线预处理的LFW目标数据;并使用SoftMax分类器进行人脸识别。实验表明，在将RGB数据馈送到CNN之前，可以通过使用HE、基于全平面和基于平面的量化、rgbGELog和YCBCR预处理器对RGB数据进行预处理来提高深度网络的辨别能力。然而，为了获得最佳性能，需要正确设置具有增强和/或归一化的预处理数据。基于平面的图像量化被发现增加了邻域像素的均匀性，并利用减少的位深度以获得更好的存储效率。
2019-05-02 cs.CV cs.LG stat.ML
High-Performance Large-Scale Image Recognition Without Normalization
DeepMind（深度思维）
批量归一化是大多数图像分类模型的关键组成部分，但它有许多不希望的属性，源于它对批量大小和样本之间的相互作用的依赖。虽然最近的工作已经成功地训练了没有归一化层的深度ResNet，但这些模型与最好的批量归一化网络的测试精度不匹配，并且对于大的学习率或强数据增强来说往往不稳定。在这项工作中，我们开发了一种自适应的梯度裁剪技术，克服了这些不稳定性，并设计了一个显着改进的类归一化自由ResNets。我们较小的模型与ImageNet上EfficientNet-B7的测试精度相匹配，同时训练速度提高了8.7倍，我们最大的模型达到了86.5%的最先进的顶级精度。此外，Normalizer-Free模型在ImageNet上对3亿张标记图像的数据集进行大规模预训练后，在ImageNet上进行微调时，其性能明显优于批量归一化模型，我们的最佳模型的准确率为89.2%。我们的代码可以在https://github.com/deepmind/ deepmind-research/tree/master/nfnets上找到
2021-02-11 cs.CV cs.LG stat.ML
Normalization Before Shaking Toward Learning Symmetrically Distributed Representation Without Margin in Speech Emotion Recognition
University of Southern California（南加州大学）
正则化对于许多实用的深度学习模型的成功至关重要，特别是在只有少数到中等数量的可访问训练样本的情况下。除了权重衰减、数据增强和丢弃外，基于多分支结构的正则化（如Shake-Shake正则化）在许多应用中被证明是成功的，并受到越来越多的关注。然而，除了基于模型的表示增强之外，尚不清楚Shake-Shake正则化如何帮助进一步改进分类任务，更不用说批量归一化和摇动之间令人困惑的交互了。在这项工作中，我们提出了我们的调查摇动正则化，绘制连接到邻近风险最小化原则和判别特征学习验证任务。此外，我们确定了批归一化残差块和批归一化递归神经网络之间的高度相似性，其中它们都具有相似的收敛行为，这可以通过适当初始化批量归一化来减轻。基于这些发现，我们在语音情感识别上的实验同时表明，分类准确率的提高和泛化差距的减少都具有统计意义。
2018-08-05 cs.HC cs.LG cs.MM
Mean Shift Rejection: Training Deep Neural Networks Without Minibatch Statistics or Normalization
AI Foundation（AI基金会）
已知深度卷积神经网络在高学习率的训练期间是不稳定的，除非采用归一化技术。归一化权重或激活允许使用更高的学习率，从而导致更快的收敛和更高的测试精度。批量归一化需要近似数据集统计的小批量统计，但这会导致额外的计算和内存成本，并导致分布式训练的通信瓶颈。权重标准化和仅初始化方案无法实现可比的测试精度。我们引入了对训练不稳定性原因的新理解，并提供了一种独立于归一化和小批量统计的技术。我们的方法将训练不稳定性视为空间共模信号，通过将模型放置在整个训练过程中保持的通道零均值等倾线上来抑制该信号。首先，我们应用具有整体单位核幅度的滤波器核的通道式零均值初始化。在每个训练步骤中，我们修改空间内核的梯度，以便减去它们的加权通道平均值，以保持共模抑制条件。这可以防止均值漂移的发生。这种新技术允许直接训练测试图，以便训练和测试模型是相同的。我们还证明了在训练过程中在整个网络中注入随机噪声可以提高泛化能力。这是基于这样的想法，即作为副作用，由于数据集近似的弱点，批量归一化通过注入小批量噪声来执行深度数据增强。与批量归一化相比，我们的技术实现了更高的准确性，并且首次表明小批量和归一化对于最先进的训练是不必要的。
2019-11-29 cs.CV cs.LG stat.ML
Language Agnostic Data-Driven Inverse Text Normalization
Meta Platforms, Inc.（Meta平台公司）
随着自动语音识别（ASR）模型的出现，迫切需要将口语形式的文本（从ASR）转换为书面形式。这种逆文本规范化（ITN）问题吸引了来自各个领域的研究人员的关注。最近，一些工作表明，数据驱动的ITN方法可以输出高质量的书面形式的文本。由于标注的口语-书面语数据集的稀缺性，对非英语数据驱动的ITN的研究非常有限。在这项工作中，我们提出了一个语言无关的数据驱动的ITN框架，以填补这一空白。具体来说，我们将数据增强与神经机器翻译的数据结合起来用于低资源语言。此外，我们设计了一个评估方法，语言无关的ITN模型时，只有英文数据。我们的实证评估表明，这种语言无关的建模方法是有效的低资源的语言，同时保持高资源的语言的性能。
2023-01-24 cs.CL cs.LG
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI（LIMSI实验室）；CNRS（法国国家科学研究中心）；Paris-Sud University（巴黎南大学）；Paris-Saclay University（巴黎萨克雷大学）；DreamQuark（DreamQuark公司）
在这项工作中，我们设计了一个神经网络识别语音中的情绪，使用IEMOCAP数据集。根据音频分析的最新进展，我们使用了一种涉及两个卷积层的架构，用于从原始频谱图中提取高级特征，以及用于聚合长期依赖关系的递归特征。我们研究的技术，数据增强与声乐音轨长度扰动，逐层优化调整，批量归一化的递归层，并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
Deep Feature Pyramid Convolutional Networks with In-Place Activated Batch Normalization for Automated Skin Lesion Boundary Segmentation
本研究针对皮肤病变边界分割任务，采用结合InPlace-ABN的深度特征金字塔卷积网络，实现内存高效训练，在ISIC 2018挑战赛中取得阈值Jaccard分数0.752，为资源受限场景下训练高容量分割模型提供了可行方案。
2026-08-26 cs.CV cs.LG stat.ML
Disease Entity Recognition and Normalization is Improved with Large Language Model Derived Synthetic Normalized Mentions
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
该研究通过微调LLaMa-2 13B生成合成规范化疾病提及数据，显著提升了疾病实体规范化（DEN）的总体和分布外性能，对疾病实体识别（DER）改进有限。
2024-10-10 cs.CL cs.LG
Do CNNs Encode Data Augmentations?
University of Washington（华盛顿大学）；Google Brain（谷歌大脑）
数据增强是训练鲁棒神经网络的重要组成部分，特别是在计算机视觉中。一个基本问题是神经网络特征是否编码数据增强转换。为了回答这个问题，我们引入了一种系统的方法来研究神经网络的哪些层是最具预测性的增强变换。我们的方法使用预先训练的视觉模型中的特征，并进行最少的额外处理，以预测通过增强转换的常见属性（比例，长宽比，色调，饱和度，对比度和亮度）。令人惊讶的是，神经网络特征不仅预测数据增强转换，而且它们以高精度预测许多转换。在验证了神经网络对与增强变换相对应的特征进行编码之后，我们证明了这些特征是在现代CNN的早期层中进行编码的，尽管增强信号在更深层中会消失。
2021-10-27 cs.CV cs.LG eess.IV
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
批量归一化（BN）由于改进了收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN提高了模型的准确性，同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说，准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提出了实证证据，支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变，我们提出了一个框架，用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解，例如DNN首先主要学习RF，然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
On Fragile Features and Batch Normalization in Adversarial Training
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
现代深度学习架构利用批量归一化（BN）来稳定训练并提高准确性。已经表明，单独的BN层是令人惊讶的表现力。然而，在对抗性示例的鲁棒性方面，BN被认为会增加脆弱性。也就是说，BN有助于学习脆弱的特征。尽管如此，BN仍然用于对抗训练，这是学习鲁棒特征的事实标准。为了阐明BN在对抗训练中的作用，我们研究了BN的表达能力在多大程度上可以用于增强脆弱特征，而不是随机特征。在CIFAR10上，我们发现仅对BN层进行对抗性微调可以产生非平凡的对抗性鲁棒性。相反，从头开始只对抗训练BN层，无法传达有意义的对抗鲁棒性。我们的研究结果表明，脆弱特征可以用于学习具有中等对抗鲁棒性的模型，而随机特征则不能
2022-04-26 cs.CR cs.CV cs.LG
Mahalanobis++: Improving OOD Detection via Feature Normalization
针对马氏距离OOD检测性能不稳定的问题，提出对特征进行ℓ2归一化以符合高斯假设，在44个模型上显著且一致地提升检测效果，优于现有方法。
2025-05-23 cs.CV cs.LG
Efficient and Effective Augmentation Strategy for Adversarial Training
Indian Institute of Science（印度科学学院）；Indian Institute of Technology (BHU) Varanasi（印度理工学院（瓦拉纳西））
众所周知，与标准训练相比，深度神经网络的对抗性训练对数据的需求更大。此外，复杂的数据增强（如AutoAugment）在图像分类器的标准训练中获得了实质性的收益，但在对抗训练中并不成功。我们首先通过将训练过程中的增强视为领域泛化的问题来解释这种对比行为，并进一步提出了基于多样增强的联合对抗训练（DAJAT），以在对抗训练中有效地使用数据增强。我们的目标是通过在训练过程中使用简单和复杂的增强与单独的批量归一化层的组合来处理增强训练数据集的多样性和使用接近测试分布的数据进行训练的冲突目标。我们进一步利用流行的Jensen-Shannon发散损失来鼓励不同增强的联合学习，从而允许简单的增强来指导复杂增强的学习。最后，为了提高所提出方法的计算效率，我们提出并利用了一种两步防御，即上升约束对抗训练（ACAT），它使用了一个递增的时间表和权重空间平滑来防止梯度掩蔽。与ResNet-18和WideResNet-34-10上RobustBench排行榜上的现有方法相比，所提出的方法DAJAT实现了更好的鲁棒性-准确性权衡。实现DAJAT的代码可以在这里找到：https://github.com/val-iisc/DAJAT。
2022-10-27 cs.CV cs.LG
Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization
New York University（纽约大学）；New York University School of Medicine（纽约大学医学院）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
外部变量是与特定任务无关的变量，但严重影响可用数据的分布。在这项工作中，我们证明了这些变量的存在会降低深度学习模型的性能。我们研究了三个数据集，其中有一个强大的影响，已知的外来变量：分类中风患者的上身运动，手术活动的注释，并识别损坏的图像。用批量归一化训练的模型学习高度依赖于无关变量的特征。在批量归一化中，用于归一化特征的统计量是从训练集学习的，并在测试时固定，这在存在变化的无关变量的情况下会产生不匹配。我们证明了在推理过程中自适应地估计特征统计，如在实例归一化中，解决了这个问题，产生了对无关变量的变化更鲁棒的归一化特征。这导致不同网络架构和特征统计选择的性能显著提高。
2020-02-25 cs.LG stat.ML
Local Context Normalization: Revisiting Local Normalization
The University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；Microsoft AI for Good Research Lab（微软益世AI研究实验室）；Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
规范化层已被证明可以提高深度神经网络的收敛性，甚至可以增加有用的归纳偏差。在许多视觉应用中，特征的局部空间上下文是重要的，但是最常见的归一化方案包括组归一化（GN）、实例归一化（IN）和层归一化（LN），其在特征的整个空间维度上进行归一化。这可能会洗掉重要信号并降低性能。例如，在使用卫星图像的应用程序中，输入图像可以是任意大的;因此，在整个区域上进行归一化是没有意义的。另一方面，位置归一化（PN）一次仅对单个空间位置进行归一化。一个自然的折衷方案是通过本地上下文来规范化特征，同时还考虑到组级别的信息。在本文中，我们提出了局部上下文规范化（LCN）：一个规范化层，其中每个特征都基于其周围的窗口及其组中的过滤器进行规范化。我们提出了一种算法解决方案，使LCN有效的任意窗口大小，即使在图像中的每个点都有一个独特的窗口。LCN在多个基准数据集中的目标检测、语义分割和实例分割应用方面优于其批量归一化（BN）、GN、IN和LN对等体，同时保持性能独立于批量大小并促进迁移学习。
2020-05-09 cs.CV cs.LG
Towards Understanding Why Data Augmentation Improves Generalization
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
针对数据增强提升泛化的机制缺乏统一解释的问题，本研究提出统一理论框架，阐明其通过部分语义特征移除和特征混合两种效应实现，并经实验验证，为理解数据增强提供统一视角。
2025-02-13 cs.CV cs.LG stat.ML
Image Data Augmentation Approaches: A Comprehensive Survey and Future directions
Dublin City University（都柏林城市大学）；University College Dublin（都柏林大学学院）；University of Galway（戈尔韦大学）
深度学习（DL）算法在各种计算机视觉任务中表现出了显著的性能。然而，具有有限的标记数据导致网络过拟合问题，其中与训练数据相比，网络性能在看不见的数据上很差。因此，它限制了性能的提高。为了解决这个问题，已经提出了各种技术，例如丢弃、归一化和高级数据增强。其中，旨在通过包括样本多样性来扩大数据集大小的数据增强近年来一直是热门话题。在本文中，我们重点介绍高级数据增强技术。我们提供了数据增强的背景，一种新的和全面的已审查的数据增强技术的分类，以及每种技术的优点和缺点（只要可能）。我们还提供了三个流行的计算机视觉任务，如图像分类，目标检测和语义分割的数据增强效果的综合结果。为了结果的重现性，我们编译了所有数据增强技术的可用代码。最后，我们讨论了挑战和困难，以及研究界未来可能的方向。我们相信，这项调查提供了几个好处i）读者将了解数据增强的工作机制，以解决过拟合问题ii）结果将节省研究人员的搜索时间进行比较。iii）上述数据增强技术的代码可在https://github.com/kmr2017/Advanced-Data-augmentation-codes上获得 iv）未来的工作将激发研究界的兴趣。
2023-03-12 cs.AI cs.CV cs.LG
Spectral Batch Normalization: Normalization in the Frequency Domain
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Stuttgart（斯图加特大学）
本文提出谱批归一化（SBN），通过在频域对特征图归一化来防止深度网络中特征图爆炸，促进频率分量均匀分布，从而增强正则化效果并提升网络性能。
2023-06-29 cs.CV cs.LG
Positional Normalization
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）
减少深度神经网络训练时间的一种流行方法是将每层的激活归一化。尽管已经提出了各种归一化方案，但它们都遵循一个共同的主题：跨空间维度进行归一化并丢弃提取的统计数据。在本文中，我们提出了一种替代的规范化方法，明显偏离这种惯例，并专门跨通道进行规范化。我们认为，通道尺寸是自然的吸引力，因为它允许我们提取在特定图像位置提取的特征的第一和第二时刻。这些矩捕获了关于输入图像和提取特征的结构信息，这开辟了一条新的途径，网络可以从特征归一化中受益：我们建议将它们重新注入到后面的层中，以保留或传输生成网络中的结构信息，而不是忽略归一化常数。代码可在https://github.com/Boyiliee/PONO上获得。
2019-12-19 cs.CV cs.LG
3D Brain MRI Classification for Alzheimer Diagnosis Using CNN with Data Augmentation
Vo Thien Nhan Institute of Engineering, Ho Chi Minh City University of Technology (HUTECH), Vietnam（越南胡志明市技术大学（HUTECH）工程学院）；Ho Bac Nam Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), Vietnam National University Ho Chi Minh City (VNU-HCM), Vietnam（越南胡志明市技术大学（HCMUT）计算机科学与工程学院，越南胡志明市国家大学（VNU-HCM））
本研究开发了带随机噪声注入数据增强的3D CNN用于阿尔茨海默病脑MRI分类，五折交叉验证下准确率达0.912、AUC达0.961，验证了简单增强的有效性并为后续研究指明方向。
2025-06-17 cs.CV cs.LG eess.IV
Data Augmentation as Feature Manipulation
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
数据增强是机器学习管道的基石，但其理论基础仍不清楚。它仅仅是一种人为地增加数据集大小的方法吗？或者是鼓励模型满足某些不变性？在这项工作中，我们考虑另一个角度，我们研究了数据增强的动态学习过程中的效果。我们发现，数据增强可以改变各种特征的相对重要性，有效地使某些信息丰富但难以学习的特征更有可能在学习过程中被捕获。重要的是，我们证明了这种效应对于非线性模型（如神经网络）更为明显。我们的主要贡献是详细分析了Allen-Zhu和Li [2020]最近提出的多视图数据模型中双层卷积神经网络的学习动态数据增强。我们补充这个分析与进一步的实验证据表明，数据增强可以被视为功能操作。
2022-09-21 cs.LG stat.ML
Robust Face Recognition using Local Illumination Normalization and Discriminant Feature Point Selection
Kim Il Sung University（金日成大学）
人脸识别系统必须对人脸表情、光照、头部姿态和年龄等各种因素的变化具有鲁棒性。特别是，对光照变化的鲁棒性是人脸识别系统实际应用中需要解决的最重要的问题之一。Gabor小波由于能够模拟人类视觉系统的功能而被广泛应用于人脸检测和识别中。本文提出了一种在局部光照变化下保持稳定的Gabor小波特征提取方法，并给出了实验结果，证明了该方法的有效性。
2012-12-11 cs.CV cs.LG
Visual Data Augmentation through Learning
Imperial College London（帝国理工学院）；Middlesex University London（伦敦密德萨斯大学）
机器学习方法的快速发展得益于：i）收集和注释的巨大数据集，ii）改进的工程（例如数据预处理/标准化）。现有的数据集通常包括数百万个样本，这使得它们的扩展成为一项艰巨的任务。此外，最先进的数据驱动方法需要大量的数据，因此所采用的标准工程技巧是人工数据增强，例如通过添加到数据裁剪和（近似）变换的图像中。然而，这种方法不对应于自然3D场景中的任何变化。相反，我们建议通过学习现实的局部变换来执行数据增强。我们学习了一个正向和反向变换，将图像从像素强度的高维空间映射到一个潜在空间，该潜在空间随着图像的现实变换版本的潜在空间（近似）线性变化。这样的变换图像可以被认为是视频中的两个连续帧。接下来，我们利用这些变换来学习修改潜在空间的线性模型，然后使用逆变换来合成新图像。我们认为，这个过程产生强大的不变表示。我们进行定性和定量实验，证明我们提出的方法创建新的逼真的图像。
2018-01-20 cs.CV cs.LG
U-Net Training with Instance-Layer Normalization
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
归一化层在深度卷积神经网络（DCNN）中至关重要。已经提出了各种归一化方法。用于规范化特征图的统计数据可以在批处理、通道或实例级别进行计算。然而，在大多数现有的方法中，每个层的归一化是固定的。批量实例归一化（BIN）是最早提出的方法之一，它结合了两种不同的归一化方法，并为不同的层实现了不同的归一化。然而，BIN中存在两个潜在问题：首先，Clip函数在输入值0和1处不可微;其次，组合特征图不具有归一化分布，这对DCNN中的信号传播有害。本文提出了一种实例层规范化（ILN）层，通过使用Sigmoid函数进行特征图组合，并级联组规范化。使用U-Net作为网络架构，对右心室（RV）和左心室（LV）的图像分割进行了ILN的性能验证。实验结果表明，该方法优于传统的归一化方法，在大多数验证中具有显著的精度提高，支持了该方法的有效性。
2019-08-25 cs.CV cs.LG eess.IV
Normalization in Proportional Feature Spaces
该研究从均匀与比例（右偏）特征及比较操作视角探讨特征归一化问题，揭示两类特征空间的对偶关系，提出两种非中心化离散度归一化方法与改进的Jaccard相似度指数，并通过初步实验验证相关概念与方法。
2024-09-17 cs.LG physics.soc-ph
MAST: Masked Augmentation Subspace Training for Generalizable Self-Supervised Priors
Apple Inc.（苹果公司）
最近的自监督学习（SSL）方法能够学习对不同数据增强不变的特征表示，然后可以将其转移到感兴趣的下游任务。然而，不同的下游任务需要不同的不变性才能获得最佳性能，因此SSL增强的最佳选择取决于目标任务。在本文中，我们的目标是学习自我监督的特征，这些特征在各种下游任务（例如，对象分类、检测和实例分割）而无需预先知道任何任务信息。我们通过掩蔽增强子空间训练（MAST）来实现这一点，以因子分解的方式在单个特征空间中对来自不同数据增强的先验进行编码。具体来说，我们将特征空间分解为单独的子空间，每个子空间由一个可学习的掩码诱导，该掩码选择相关的特征维度来对特定增强的不变性进行建模。我们展示了MAST在联合捕获来自不同扩增的可推广先验方面的成功，使用跨子空间的独特和共享功能。我们进一步表明，MAST受益于不确定性建模重新加权模糊的样本，从强增强，可能会导致相似性不匹配，在每个子空间。实验表明，MAST一致地提高了各种下游任务的泛化能力，同时在SSL期间是任务不可知的和高效的。我们还提供了关于不同的增强是如何相关的，以及不确定性如何反映学习困难的有趣见解。
2023-03-07 cs.CV cs.LG
SeqAug: Sequential Feature Resampling as a modality agnostic augmentation method
National Technical University of Athens（雅典国家技术大学）；Athena Research Center（雅典娜研究中心）
本研究提出模态无关的序列特征增强方法SeqAug，通过随机选特征维度并沿时间轴排列实现重采样增强，经CMU-MOSEI实验验证适用于单/多模态及循环、transformer架构，效果达当前最优水平。
2023-05-03 cs.CL cs.LG
COSTA: Covariance-Preserving Feature Augmentation for Graph Contrastive Learning
The Chinese University of Hong Kong（香港中文大学）；Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
图对比学习（GCL）改进了图表示学习，从而在各种下游任务上实现SOTA。图增强步骤是GCL的一个重要但很少研究的步骤。在本文中，我们证明了通过图增强获得的节点嵌入是高度有偏的，这在一定程度上限制了对比模型学习下游任务的判别特征。因此，而不是调查输入空间中的图增强，我们也建议对隐藏特征进行增强（特征增强）。受所谓的矩阵草图的启发，我们提出了COSTA，一种新的协方差预服务的GCL特征空间增强框架，它通过保持原始特征的“良好草图”来生成增强特征。为了突出COSTA的特征增强的优越性，我们研究了一个单视图设置（除了多视图），节省内存和计算。我们表明，与COSTA的功能增强实现可比/更好的结果比基于图增强模型。
2022-06-13 cs.AI cs.LG
Supervised Quantile Normalization for Low-rank Matrix Approximation
Google Research, Brain Team（谷歌研究院脑团队）；New York University（纽约大学）
低秩矩阵分解是机器学习中的基本构建块，例如用于总结基因表达谱数据或单词文档计数。为了对离群值和特征之间的尺度差异具有鲁棒性，矩阵因子分解步骤通常在ad-hoc特征归一化步骤之前，例如\texttt{tf-idf}缩放或数据白化。我们建议在这项工作中学习这些归一化运算符与因子分解本身。更确切地说，给定$n$个体上测量的$d$特征的$d\times n$矩阵$X$，我们建议学习分位数归一化算子的参数，该分位数归一化算子可以对$X$和/或其因子分解$UV$的值进行逐行操作，以提高$X$本身的低秩表示的质量。通过引入使用最优传输构建的新的可微分位数归一化算子来促进这种优化，从而在现有工作的基础上提供新的结果（Cuturi et al. 2019）。我们证明了这些技术在合成和基因组学数据集上的适用性。
2020-07-03 cs.LG stat.ML
Understanding the Role of Layer Normalization in Label-Skewed Federated Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文揭示了层归一化通过其关键机制特征归一化（FN）控制特征坍塌和局部过拟合，从而显著加速联邦学习在极端标签偏移下的全局训练收敛并保持对学习率的鲁棒性。
2024-02-15 cs.LG stat.ML
Exploiting Test-Time Augmentation in Federated Learning for Brain Tumor MRI Classification
Institute of Exact and Technological Sciences, Federal University of Viçosa - UFV, Rio Paranaíba-MG, Brazil（精确与技术科学研究所，弗拉维亚联邦大学-UFV，里奥帕拉纳伊巴-MG，巴西）；Department of Computing, Federal University of São Carlos, São Carlos-SP, Brazil（计算系，萨o卡洛斯联邦大学，萨o卡洛斯-SP，巴西）
本文提出在联邦学习中结合测试时增强和轻量预处理以提升脑肿瘤MRI分类的准确性。
2026-01-19 cs.AI cs.CV cs.LG
Spectral Feature Augmentation for Graph Contrastive Learning and Beyond
The Chinese University of Hong Kong（香港中文大学）；Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
虽然增强（例如，图边缘的扰动、图像裁剪）提高了对比学习（CL）的效率，特征级增强是另一种合理的、互补的但尚未得到充分研究的策略。因此，我们提出了一种新的光谱特征论证的对比学习的图形（和图像）。为此，对于每个数据视图，我们估计每个特征映射的低秩近似，并从映射中减去该近似以获得其补。这是通过本文提出的不完全功率迭代来实现的，不完全功率迭代是一种非标准功率迭代机制，其具有两个有价值的副产品（在仅仅一次或两次迭代下）：（i）它部分地平衡特征图的频谱，以及（ii）它将噪声注入到特征图的重新平衡的奇异值中（频谱增强）。对于两个视图，我们将这些重新平衡的特征图对齐，因为改进的对齐步骤可以更多地关注两个视图的矩阵的不太占主导地位的奇异值，而光谱增强不影响光谱角度对齐（奇异向量不受干扰）。我们推导出的解析形式：（i）不完整的功率迭代，以捕捉其频谱平衡效果，和（ii）的奇异值的方差增加隐含的噪声。我们还表明，谱增强提高了泛化界。在图形/图像数据集上的实验表明，我们的光谱特征增强优于基线，与其他增强策略互补，并与各种对比度损失兼容。
2022-12-02 cs.AI cs.CV cs.LG
Augmentation Component Analysis: Modeling Similarity via the Augmentation Overlaps
Nanjing University（南京大学）
自监督学习旨在学习语义相似样本接近的嵌入空间。对比学习方法将样本的视图拉到一起，将不同的样本推开，利用了增强的语义不变性，但忽略了样本之间的关系。为了更好地利用增强的力量，我们观察到语义相似的样本更有可能具有相似的增强视图。因此，我们可以将增强视图作为样本的特殊描述。在本文中，我们模型的增广分布，我们称之为增广功能的描述。增强特征的相似性反映了两个样本的视图重叠程度，并与它们的语义相似性有关。在没有计算负担来明确估计增强特征的值的情况下，我们提出了增强分量分析（ACA），其具有类似对比的损失来学习主分量和实时投影损失来嵌入数据。ACA相当于PCA的有效降维，并提取低维嵌入，理论上保持了样本之间增强分布的相似性。实验结果表明，我们的方法可以取得竞争力的结果，对各种传统的对比学习方法在不同的基准。
2023-02-16 cs.CV cs.LG
FAGC:Feature Augmentation on Geodesic Curve in the Pre-Shape Space
针对小样本场景下现有数据增强方法因信息损失表现不佳的问题，提出预形状空间中基于测地曲线的特征增强方法FAGC，可显著提升深度学习和机器学习方法的小样本任务性能。
2025-09-05 cs.CV cs.LG
Feature Dropout: Revisiting the Role of Augmentations in Contrastive Learning
Stanford University（斯坦福大学）
增强在对比学习中扮演什么角色？最近的工作表明，良好的扩增是标签保留相对于一个特定的下游任务。我们通过展示破坏标签的增强在基础模型设置中可能是有用的来使这幅图复杂化，在该设置中，目标是为多个下游任务学习多样化的通用表示。我们对一系列图像和音频数据集进行了对比学习实验，并进行了多个下游任务（例如，叠加在照片上的数字，预测一个与另一个的类别）。我们发现，Viewmaker网络，最近提出的对比学习的学习增强模型，产生标签破坏增强，随机破坏不同的下游任务所需的功能。这些增强是可解释的（例如，改变形状，数字或添加到图像中的字母），并且令人惊讶的是，与专家设计的增强相比，这些增强通常会产生更好的性能，尽管不保留标签信息。为了支持我们的实证结果，我们从理论上分析了一个简单的对比学习设置与线性模型。在这种情况下，标签破坏增强对于防止一组特征抑制对另一个下游任务有用的特征的学习至关重要。我们的研究结果强调，需要分析多个下游任务之间的相互作用时，试图解释基础模型的成功。
2022-12-16 cs.CV cs.LG cs.SD
Feature Selection Using Batch-Wise Attenuation and Feature Mask Normalization
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
特征选择通常被用作机器学习中最重要的预处理技术之一，因为它有助于降低数据的维数并帮助研究人员和从业者理解数据。因此，通过利用特征选择，可以预期更好的性能和减少的计算消耗、存储器复杂度以及甚至数据量。尽管存在利用深度神经网络的能力来执行特征选择的方法，但其中许多方法通常受到敏感超参数的影响。提出了一种基于批量衰减和特征模板归一化的特征选择特征模板模块（FM-模块）。该方法几乎不需要超参数，可以作为一种嵌入式特征选择方法集成到普通神经网络中。在流行的图像、文本和语音数据集上的实验表明，我们的方法易于使用，与其他最先进的基于深度学习的特征选择方法相比，具有更优越的性能。
2021-04-23 cs.LG
FAAGC: Feature Augmentation on Adaptive Geodesic Curve Based on the shape space theory
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；Key Laboratory of Silicate Cultural Relics Conservation (Shanghai University), Ministry of Education（上海大学硅酸盐文物保护重点实验室（教育部））
针对数据不足问题，提出在预形状空间沿自适应测地曲线采样增强特征，提升数据稀缺下的分类精度并泛化于多种特征。
2025-09-07 cs.CV cs.LG
Adaptive Batch Normalization for Training Data with Heterogeneous Features
Umm Al-Qura University（乌姆·库拉大学）；Assiut University（艾斯尤特大学）
批量归一化（BN）是许多深度学习应用的重要预处理步骤。由于它是一个依赖于数据的过程，对于某些同构数据集来说，它是一个冗余甚至是性能下降的过程。在本文中，我们提出了一个早期阶段的可行性评估方法，估计应用BN对给定的数据批次的好处。该方法使用了一种新的基于阈值的方法来分类的训练数据批次分为两组，根据其需要进行规范化。基于所考虑批次的特征异质性来决定是否需要进行归一化。所提出的方法是一个预训练处理，这意味着没有训练开销。评估结果表明，所提出的方法实现了更好的性能，主要是在小批量比传统的BN使用MNIST，时尚MNIST，CIFAR-10，CIFAR-100数据集。此外，通过减少内部变量变换的发生，提高了网络的稳定性。
2022-11-30 cs.LG
Implicit Label Augmentation on Partially Annotated Clips via Temporally-Adaptive Features Learning
University of California, San Diego（加州大学圣迭戈分校）
部分注释的剪辑包含丰富的时间上下文，可以补充稀疏的关键帧注释，为模型训练提供监督。我们提出了一种称为时间自适应特征（TAF）学习的新范式，可以利用这些数据来学习更好的单帧模型。通过对模型中的不同因素施加不同的时间变化率约束，TAF能够使用上下文从未标记的帧中学习，以提高模型的准确性。TAF概括了“慢特征”学习，我们提出了比以前的作品更强的经验证据，在各种架构设计和两个流行的数据集上显示出令人信服的收益，用于具有挑战性的语义分割任务。TAF可以被解释为一种隐式标签增强方法，但与现有的显式增强技术相比，它是一种更有原则的公式。因此，我们的工作将两种有前途的方法联系起来，这些方法利用部分注释的剪辑进行单帧模型训练，并可以激发未来在这个方向上的探索。
2019-05-24 cs.CV cs.LG
General Purpose (GenP) Bioimage Ensemble of Handcrafted and Learned Features with Data Augmentation
Missouri State University（密苏里州立大学）；Tampere University（坦佩雷大学）
生物图像分类在许多生物学问题中起着至关重要的作用。在这项工作中，我们提出了一种新的通用（GenP）集成，通过结合局部特征，密集采样特征和深度学习方法来提高性能。首先，我们介绍了三种基于PCA/DCT的数据增强的新方法;其次，我们展示了不同的数据增强方法可以提高CNN集成的性能;最后，我们提出了一组高度通用的手工制作/学习描述符。每个手工制作的描述符用于训练不同的支持向量机（SVM），并且不同的SVM与CNN的集合相结合。我们的方法进行了评估，一组不同的生物图像分类问题。结果表明，所提出的GenP生物图像集成获得了最先进的性能，而没有任何ad-hoc数据集调整参数（从而避免了过度拟合/过度训练的风险）。
2021-07-06 cs.CV cs.LG
FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning
KAIST（韩国科学技术院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）；SAIT（三星先进技术研究院）
本文提出FedFN方法，通过特征归一化更新缓解联邦学习中的数据异质性问题，实验证明其在预训练ResNet18和基础模型上均表现优越。
2023-11-22 cs.AI cs.CV cs.LG
Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift
Google Research（谷歌研究院）
协变量偏移已被证明会大幅降低预测准确性和深度学习模型的不确定性估计的校准。这是令人担忧的，因为协变量偏移在广泛的现实世界部署设置中普遍存在。然而，在本文中，我们注意到，经常有可能在预测时间之前访问少量未标记的移位数据。这个有趣的观察使一个简单但令人惊讶的有效方法，我们称之为预测时间批量归一化，显着提高模型的准确性和校准下协变量偏移。使用这一行代码更改，我们在最近的协变量偏移基准测试中实现了最先进的技术，在具有挑战性的ImageNet-C数据集上实现了60.28\%的mCE;据我们所知，这是任何不包含额外数据增强或修改训练管道的模型的最佳结果。我们发现，预测时间批量归一化提供了互补的好处，现有的国家的最先进的方法，以提高鲁棒性（例如，深度集成）和结合这两个进一步提高性能。我们的研究结果得到了详细测量的效果，这种策略对模型的行为在严格的消融在各种数据集模式。然而，当与预训练一起使用时，该方法的结果好坏参半，并且在更自然的数据集转移类型下似乎表现不佳，因此值得进一步研究。我们在图中包含了数据链接以提高可重复性，包括一个Python笔记本，可以在https://colab.research.google.com/drive/11N0wDZnMQQuLrRwRoumDCrhSaIhkqjof上运行以轻松修改我们的分析。
2021-01-14 cs.LG stat.ML
SeA: Semantic Adversarial Augmentation for Last Layer Features from Unsupervised Representation Learning
Alibaba Group（阿里巴巴集团）；School of Engineering and Technology, University of Washington（华盛顿大学工程与技术学院）
针对固定深度特征增强困难导致性能下降的问题，提出特征空间内的语义对抗增强方法SeA，通过梯度投影保留语义信息并扰动特征，在11个下游任务上性能提升2%，且在6个任务上媲美昂贵的微调。
2024-08-23 cs.CV cs.LG
A Closer Look At Feature Space Data Augmentation For Few-Shot Intent Classification
Amazon Alexa（亚马逊Alexa）
新的对话主题和功能不断被添加到对话式人工智能智能体中，如亚马逊Alexa和苹果Siri。由于数据汇集和注释不可扩展，并且通常成本高昂，因此只有少数几个新功能的示例可用，这导致泛化性能较差。我们将其表述为Few-Shot Integration（FSI）问题，其中使用几个示例来引入新的意图。在本文中，我们研究了六个特征空间数据增强方法，以提高分类性能，在FSI设置结合监督和无监督的表示学习方法，如BERT。通过对两个公共会话数据集SNIPS和Facebook Dialog语料库的实际实验，我们表明，特征空间中的数据增强提供了一种有效的方法来提高Few-Shot设置中的意图分类性能，超越了传统的迁移学习方法。特别是，我们表明，（a）在潜在空间的上采样是一个有竞争力的基线特征空间增强（b）添加两个例子之间的差异，一个新的例子是一个简单而有效的数据增强方法。
2019-10-09 cs.CL cs.IR cs.LG
Robust Classification using Robust Feature Augmentation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Georgia Institute of Technology（佐治亚理工学院）；Stony Brook University（石溪大学）
现有的深度神经网络，比如用于图像分类的深度神经网络，已经被证明容易受到对抗性图像的攻击，这些图像可能会导致DNN错误分类，而不会对图像产生任何可感知的变化。在这项工作中，我们提出了冲击吸收鲁棒特征，如二值化，例如，舍入和组提取，例如，颜色或形状，以增强分类管道，从而产生更强大的分类器。实验表明，使用这些技术增强ML模型可以提高对抗性输入的整体鲁棒性，并显着改善训练时间。在MNIST数据集上，我们实现了14倍的训练时间加速，获得了90%的对抗准确率，与Madry等人的最先进的对抗训练方法相比，并在更广泛的攻击范围内保持更高的对抗准确性。我们还发现鲁棒性改进交通标志分类使用强大的功能增强。最后，我们给出了理论上的见解，为什么人们可以期望鲁棒的特征增强来减少对抗性输入空间
2019-09-18 cs.LG stat.ML
