Is augmentation effective to improve prediction in imbalanced text datasets?
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Universidade Federal de São Carlos(圣卡洛斯联邦大学)
本文质疑数据增强对不平衡文本预测的必要性,证明仅调整分类器截断阈值即可取得与过采样相近的效果,并提供理论与实证依据。
2023-04-20 cs.CL stat.ML
Aircraft Trajectory Dataset Augmentation in Latent Space
Department of Air Transport, Transportation, and Logistics(航空运输与物流系)
提出ATRADA框架,利用Transformer编码器、PCA降维和GMM采样在潜空间中增强飞机轨迹数据集,生成高质量合成数据以提升下游任务性能。
2025-09-26 cs.LG
Augmentation Component Analysis: Modeling Similarity via the Augmentation Overlaps
Nanjing University(南京大学)
自监督学习旨在学习语义相似样本接近的嵌入空间。对比学习方法将样本的视图拉到一起,将不同的样本推开,利用了增强的语义不变性,但忽略了样本之间的关系。为了更好地利用增强的力量,我们观察到语义相似的样本更有可能具有相似的增强视图。因此,我们可以将增强视图作为样本的特殊描述。在本文中,我们模型的增广分布,我们称之为增广功能的描述。增强特征的相似性反映了两个样本的视图重叠程度,并与它们的语义相似性有关。在没有计算负担来明确估计增强特征的值的情况下,我们提出了增强分量分析(ACA),其具有类似对比的损失来学习主分量和实时投影损失来嵌入数据。ACA相当于PCA的有效降维,并提取低维嵌入,理论上保持了样本之间增强分布的相似性。实验结果表明,我们的方法可以取得竞争力的结果,对各种传统的对比学习方法在不同的基准。
2023-02-16 cs.CV cs.LG
Guidelines for Augmentation Selection in Contrastive Learning for Time Series Classification
RMIT(皇家墨尔本理工大学)
针对时间序列对比学习中增强选择依赖经验或网格搜索效率低的问题,提出基于趋势、季节性特征的增强选择框架,经合成与真实数据集验证,Recall@3达0.667,为相关研究提供指导。
2024-07-12 cs.AI cs.LG
A Closer Look At Feature Space Data Augmentation For Few-Shot Intent Classification
Amazon Alexa(亚马逊Alexa)
新的对话主题和功能不断被添加到对话式人工智能智能体中,如亚马逊Alexa和苹果Siri。由于数据汇集和注释不可扩展,并且通常成本高昂,因此只有少数几个新功能的示例可用,这导致泛化性能较差。我们将其表述为Few-Shot Integration(FSI)问题,其中使用几个示例来引入新的意图。在本文中,我们研究了六个特征空间数据增强方法,以提高分类性能,在FSI设置结合监督和无监督的表示学习方法,如BERT。通过对两个公共会话数据集SNIPS和Facebook Dialog语料库的实际实验,我们表明,特征空间中的数据增强提供了一种有效的方法来提高Few-Shot设置中的意图分类性能,超越了传统的迁移学习方法。特别是,我们表明,(a)在潜在空间的上采样是一个有竞争力的基线特征空间增强(b)添加两个例子之间的差异,一个新的例子是一个简单而有效的数据增强方法。
2019-10-09 cs.CL cs.IR cs.LG
Incorporating Music Knowledge in Continual Dataset Augmentation for Music Generation
Northwestern University(西北大学);Bienen School of Music, Northwestern University(西北大学比嫩音乐学院);Sony CSL(索尼计算机科学实验室)
深度学习已迅速成为音乐生成的最先进方法。然而,训练深度模型通常需要大量的训练集,这通常不适用于特定的音乐风格。在本文中,我们提出了增强生成(Aug-Gen),一种在资源受限域上训练的任何音乐生成系统的数据集增强方法。该方法的关键直观在于,生成系统的训练数据可以通过系统在训练过程中产生的示例来增强,只要这些示例具有足够高的质量和多样性。我们将Aug-Gen应用于基于transformer的合唱生成,风格类似于J.S.巴赫,并表明这允许更长的训练和更好的生成输出的结果。
2020-07-20 cs.LG cs.SD eess.AS
General Purpose (GenP) Bioimage Ensemble of Handcrafted and Learned Features with Data Augmentation
Missouri State University(密苏里州立大学);Tampere University(坦佩雷大学)
生物图像分类在许多生物学问题中起着至关重要的作用。在这项工作中,我们提出了一种新的通用(GenP)集成,通过结合局部特征,密集采样特征和深度学习方法来提高性能。首先,我们介绍了三种基于PCA/DCT的数据增强的新方法;其次,我们展示了不同的数据增强方法可以提高CNN集成的性能;最后,我们提出了一组高度通用的手工制作/学习描述符。每个手工制作的描述符用于训练不同的支持向量机(SVM),并且不同的SVM与CNN的集合相结合。我们的方法进行了评估,一组不同的生物图像分类问题。结果表明,所提出的GenP生物图像集成获得了最先进的性能,而没有任何ad-hoc数据集调整参数(从而避免了过度拟合/过度训练的风险)。
2021-07-06 cs.CV cs.LG
SeA: Semantic Adversarial Augmentation for Last Layer Features from Unsupervised Representation Learning
Alibaba Group(阿里巴巴集团);School of Engineering and Technology, University of Washington(华盛顿大学工程与技术学院)
针对固定深度特征增强困难导致性能下降的问题,提出特征空间内的语义对抗增强方法SeA,通过梯度投影保留语义信息并扰动特征,在11个下游任务上性能提升2%,且在6个任务上媲美昂贵的微调。
2024-08-23 cs.CV cs.LG
Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校)
机器学习模型可以在基准自然语言处理(NLP)数据集上达到高性能,但在更具挑战性的设置中失败。我们研究这个问题时,一个预先训练的模型学习数据集工件在自然语言推理(NLI),研究一对文本序列之间的逻辑关系的主题。我们提供了各种技术来分析和定位众包斯坦福自然语言推理(SNLI)语料库内的数据集工件。我们研究了SNLI中数据集工件的风格模式。为了减轻数据集的文物,我们采用了一种独特的多尺度数据增强技术与两个不同的框架:行为测试清单在句子级别和词汇同义词标准在单词级别。具体来说,我们的组合方法增强了模型对扰动测试的抵抗力,使其能够持续优于预先训练的基线。
2023-03-16 cs.CL stat.AP
Data Augmentation as Feature Manipulation
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
数据增强是机器学习管道的基石,但其理论基础仍不清楚。它仅仅是一种人为地增加数据集大小的方法吗?或者是鼓励模型满足某些不变性?在这项工作中,我们考虑另一个角度,我们研究了数据增强的动态学习过程中的效果。我们发现,数据增强可以改变各种特征的相对重要性,有效地使某些信息丰富但难以学习的特征更有可能在学习过程中被捕获。重要的是,我们证明了这种效应对于非线性模型(如神经网络)更为明显。我们的主要贡献是详细分析了Allen-Zhu和Li [2020]最近提出的多视图数据模型中双层卷积神经网络的学习动态数据增强。我们补充这个分析与进一步的实验证据表明,数据增强可以被视为功能操作。
2022-09-21 cs.LG stat.ML
Adaptive Weighting Scheme for Automatic Time-Series Data Augmentation
University of Manchester(曼彻斯特大学);AllianceBernstein(联博集团);Aarhus University(奥胡斯大学)
数据增强方法已被证明是提高图像、文本和音频分类等任务泛化能力的基本技术。最近,自动增强方法已经导致对图像分类和目标检测的进一步改进,从而导致最先进的性能。尽管如此,在时间序列数据方面的工作很少,而鉴于数据集通常规模有限,自动化数据增强对这一领域大有益处。我们提出了两个样本自适应自动加权方案的数据增强:第一个学会加权的损失的增强样本的贡献,和第二种方法选择一个子集的基础上预测的训练损失的排名的转换。我们验证了我们提出的方法在一个大的,嘈杂的金融数据集和时间序列数据集从UCR档案。在金融数据集上,我们证明了与交易策略相结合的方法可以提高超过50个$\%$的年化回报率,在时间序列数据上,我们在一半以上的数据集上表现优于最先进的模型,并在其他数据集上实现了类似的准确性。
2021-02-16 cs.LG stat.ML
Robust Classification using Robust Feature Augmentation
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Georgia Institute of Technology(佐治亚理工学院);Stony Brook University(石溪大学)
现有的深度神经网络,比如用于图像分类的深度神经网络,已经被证明容易受到对抗性图像的攻击,这些图像可能会导致DNN错误分类,而不会对图像产生任何可感知的变化。在这项工作中,我们提出了冲击吸收鲁棒特征,如二值化,例如,舍入和组提取,例如,颜色或形状,以增强分类管道,从而产生更强大的分类器。实验表明,使用这些技术增强ML模型可以提高对抗性输入的整体鲁棒性,并显着改善训练时间。在MNIST数据集上,我们实现了14倍的训练时间加速,获得了90%的对抗准确率,与Madry等人的最先进的对抗训练方法相比,并在更广泛的攻击范围内保持更高的对抗准确性。我们还发现鲁棒性改进交通标志分类使用强大的功能增强。最后,我们给出了理论上的见解,为什么人们可以期望鲁棒的特征增强来减少对抗性输入空间
2019-09-18 cs.LG stat.ML
Discriminative Nonparametric Latent Feature Relational Models with Data Augmentation
Tsinghua University(清华大学)
提出了一种判别式非参数潜在特征关系模型(LFRM),用于链接预测自动推断潜在特征的维数。在一般的RegBayes(regularized Bayesian inference)框架下,我们将贝叶斯模型的预测损失与概率推理相结合,为不同类型的链路设置不同的正则化参数,以处理真实网络中的不平衡问题,并统一分析平滑对数损失和分段线性铰链损失。对于非共轭后验推断,我们提出了一个简单的吉布斯采样通过数据增强,而不作限制性的假设,在变分方法。我们进一步开发了一个近似采样器,使用随机梯度Langevin动力学来处理具有数十万个实体和数百万个链接的大型网络,其数量级大于现有LFRM模型可以处理的数量级。对各种真实网络的广泛研究显示出良好的性能。
2015-12-07 cs.LG stat.ML
Bias Challenges in Counterfactual Data Augmentation
Purdue University(普渡大学)
深度学习模型往往不是分布外鲁棒的,主要是因为它们依赖虚假特征来解决任务。反事实数据增强提供了一种(近似)实现对虚假特征反事实不变的表示的一般方法,这是对分布外(OOD)鲁棒性的要求。在这项工作中,我们表明,反事实的数据增强可能无法实现所需的反事实不变性,如果增强是由上下文猜测机,一个抽象的机器,猜测一个给定的输入最有可能的上下文。我们从理论上分析了这种反事实数据增强所施加的不变性,并描述了一个示例性的NLP任务,其中由上下文猜测机的反事实数据增强不会导致强大的OOD分类器。
2022-09-13 cs.LG stat.ML
Do CNNs Encode Data Augmentations?
University of Washington(华盛顿大学);Google Brain(谷歌大脑)
数据增强是训练鲁棒神经网络的重要组成部分,特别是在计算机视觉中。一个基本问题是神经网络特征是否编码数据增强转换。为了回答这个问题,我们引入了一种系统的方法来研究神经网络的哪些层是最具预测性的增强变换。我们的方法使用预先训练的视觉模型中的特征,并进行最少的额外处理,以预测通过增强转换的常见属性(比例,长宽比,色调,饱和度,对比度和亮度)。令人惊讶的是,神经网络特征不仅预测数据增强转换,而且它们以高精度预测许多转换。在验证了神经网络对与增强变换相对应的特征进行编码之后,我们证明了这些特征是在现代CNN的早期层中进行编码的,尽管增强信号在更深层中会消失。
2021-10-27 cs.CV cs.LG eess.IV
Towards Understanding Why Data Augmentation Improves Generalization
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
针对数据增强提升泛化的机制缺乏统一解释的问题,本研究提出统一理论框架,阐明其通过部分语义特征移除和特征混合两种效应实现,并经实验验证,为理解数据增强提供统一视角。
2025-02-13 cs.CV cs.LG stat.ML
Data augmentation and feature selection for automatic model recommendation in computational physics
SafranTech(赛峰科技);MINES ParisTech, PSL University(巴黎文理研究大学巴黎矿业学院)
分类算法最近在计算物理学中找到了应用,用于选择适合于物理系统的环境和状态的数值方法或模型。对于这样的分类任务,标记的训练数据来自数值模拟,并且通常对应于在网格上离散化的物理场。三个具有挑战性的困难出现:缺乏训练数据,他们的高维性,以及不适用于常见的数据增强技术的物理数据。本文介绍了两种算法来解决这些问题,一种是通过特征选择进行降维,另一种是数据增强。这些算法与各种各样的分类器相结合,以进行评估。当结合堆叠合奏由六个多层感知器和脊逻辑斯谛回归,他们能够达到90%的准确率对我们的分类问题的非线性结构力学。
2021-01-12 cs.LG physics.comp-ph stat.ML
Application of Machine Learning in Rock Facies Classification with Physics-Motivated Feature Augmentation
随着算法的最新进展和大量计算能力的可用性,机器学习技术的应用正在成为石油和天然气工业中的热门话题。将机器学习应用于上游领域最有前途的方面之一是储层表征中的岩相分类,这对于确定储层的有效厚度至关重要,因此是钻井决策过程中的决定性因素。对于复杂的机器学习任务,如相分类,特征工程通常是至关重要的。本文表明,在特征增强中包含物理动机的特征交互可以进一步提高机器学习在岩相分类中的能力。我们使用SEG 2016机器学习竞赛数据集和获奖算法演示了这种方法。该改进是鲁棒的,并且可以比当前现有的最佳F-1分数好$\sim5\%$,其中F-1是用于量化平均预测准确度的评估度量。
2018-08-29 cs.LG physics.geo-ph stat.ML
Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
Qube Research & Technologies(Qube研究与技术);École Polytechnique(巴黎政治学院)
本文研究了数据增强在比例 regime 中对监督回归方法的正则化效应,通过仅依赖真实数据的总体量及增强方案的一阶和二阶统计量,精确表征了测试误差。结果适用于不规范特征映射和仅训练最后一层的网络架构。
2026-05-11 cs.LG math.ST stat.ML
Data augmentation approaches for improving animal audio classification
University of Padua(帕多瓦大学);Tampere University(坦佩雷大学)
在本文中,我们提出了一套分类器的自动动物音频分类,利用不同的数据增强技术训练卷积神经网络(CNN)。具体的动物音频分类问题是i)鸟和ii)猫的声音,其数据集是免费提供的。我们训练五个不同的CNN在原始数据集上,并在它们的版本上通过四个增强协议进行增强,处理原始音频信号或它们作为频谱图的表示。我们将我们最好的方法与最先进的方法进行了比较,结果表明,我们在相同的数据集上获得了最佳的识别率,而无需特别的参数优化。我们的研究表明,不同的CNN可以被训练用于动物音频分类的目的,并且它们的融合比独立的分类器更好。据我们所知,这是使用相同的分类器和参数集在动物音频分类音频数据集中对CNN进行数据增强的最大研究。我们的MATLAB代码可以在https://github.com/LorisNanni上找到。
2020-03-15 cs.LG cs.SD eess.AS
On Feature Normalization and Data Augmentation
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);ASAPP(ASAPP公司);Facebook AI(Facebook人工智能实验室)
时刻(A.K.A.,平均值和标准偏差)在训练图像识别模型时通常作为噪声被去除,以增加稳定性并减少训练时间。然而,在图像生成领域,矩扮演着更加核心的角色。研究表明,实例归一化和位置归一化提取的矩可以粗略地捕捉图像的风格和形状信息。而不是被丢弃,这些时刻是工具的生成过程。在本文中,我们提出了矩交换,一个隐式的数据增强方法,鼓励模型利用矩信息也识别模型。具体来说,我们将一个训练图像的学习特征的矩替换为另一个训练图像的学习特征的矩,并对目标标签进行插值--迫使模型除了从归一化特征中提取训练信号外,还从矩中提取训练信号。由于我们的方法速度快,完全在特征空间中操作,并且混合了与现有方法不同的信号,因此可以将其与现有的增强方法有效地结合起来。我们在几个识别基准数据集上证明了它的有效性,它提高了高度竞争的基线网络的泛化能力,具有显着的一致性。
2021-03-30 cs.CL cs.CV cs.LG
Feature Augmentation via Nonparametrics and Selection (FANS) in High Dimensional Classification
我们提出了一个高维分类方法,涉及非参数特征增强。知道边际密度比是最强大的单变量分类器,我们使用比估计来转换原始特征测量。随后,调用惩罚的逻辑斯谛回归,将新变换或增强的特征作为输入。该过程训练具有局部复杂性和全局简单性的模型,从而避免维数灾难,同时创建灵活的非线性决策边界。由此产生的方法被称为通过非参数化和选择的特征增强(FANS)。我们激励FANS通过推广朴素贝叶斯模型,将联合密度的对数比作为边际密度的线性组合。它与广义可加模型有关,但具有更好的可解释性和可计算性。为FANS制定了风险界限。在数值分析中,将FANS方法与其它方法进行了比较,为FANS方法的最佳应用领域提供了指导。真实数据分析表明,FANS在基准电子邮件垃圾和基因表达数据集上表现得非常有竞争力。此外,FANS是通过并行计算的一个非常快速的算法实现。
2015-01-02 math.ST stat.AP stat.ME