Data Augmentation with Variational Autoencoders and Manifold Sampling
Université de Paris(巴黎大学);INRIA(法国国家信息与自动化研究所);Centre de recherche des Cordeliers(科德利埃研究中心);INSERM(法国国家健康与医学研究院);Sorbonne Université(索邦大学)
我们提出了一种新的有效的方法来采样从可变自动编码器在具有挑战性的低样本量设置。这种方法特别适合在这样一个低数据制度进行数据增强,并在各种标准和现实生活中的数据集进行验证。特别是,该方案可以大大提高OASIS数据库上的分类结果,其中平衡准确度从使用原始数据训练的分类器的80.7%跃升至仅使用我们的方法生成的合成数据训练时的88.6%。在3个标准数据集和其他分类器上也观察到这样的结果。代码可在https://github.com/clementchadebec/Data_Augmentation_with_VAE-DALI上获得。
2021-09-28 cs.LG stat.ML
T-CGAN: Conditional Generative Adversarial Network for Data Augmentation in Noisy Time Series with Irregular Sampling
Politecnico Milano(米兰理工大学);Harvard University(哈佛大学)
本文提出了一种适用于不规则采样时间序列的数据增强方法--时间条件生成对抗网络(T-CGAN)。我们的方法是基于条件生成对抗网络(CGAN),其中生成步骤是由一个去卷积神经网络和卷积神经网络的判别步骤。生成器和时间序列生成器都以采样时间戳为条件,学习数据和时间戳之间的隐藏关系,从而生成新的时间序列。我们用合成和真实世界的数据集来评估我们的模型。对于合成数据,我们比较了用T-CGAN生成的数据训练的分类器的性能,以及用原始数据训练的相同分类器的性能。结果表明,在T-CGAN生成的数据上训练的分类器与在真实数据上训练的分类器的性能相同,即使是非常短的时间序列和小的训练集。对于现实世界的数据集,我们比较我们的方法与其他技术的数据增强的时间序列,如时间分片和时间扭曲,在分类问题与不平衡的数据集。结果表明,我们的方法总是优于其他方法,在规则采样和不规则采样的时间序列的情况下。我们实现了特别好的性能的情况下,一个小的训练集和短,噪声,不规则采样的时间序列。
2019-02-01 cs.LG stat.ML
Discrete Equilibrium Sampling with Arbitrary Nonequilibrium Processes
D-Wave Systems Inc.(D-Wave系统公司)
我们提出了一个新的框架进行统计抽样,期望估计,分区函数近似使用\emph{arbitrary}启发式随机过程定义在离散状态空间。使用一个高度并行的结构,我们称之为\emph{sequential constraining process},我们能够同时产生的启发式过程的状态,并准确地估计其概率,即使它们太小,实际上是通过直接计数推断。在表明理论上正确的重要性抽样和马尔可夫链蒙特卡罗是可能的顺序约束过程中,我们将其集成到一个方法称为\emph{state space sampling},从计算机科学的抽样范围内的状态空间搜索的想法。该方法包括动态数据结构,该动态数据结构构造由受精度约束的启发式过程生成的统计的鲁棒贝叶斯模型,该精度约束为后验库尔贝克-莱布勒散度。从动态结构中采样通常会产生部分状态,这是通过递归调用启发式算法来细化结构并恢复采样来完成的。我们的各种伊辛模型的实验表明,状态空间采样,使启发式状态生成与准确的概率估计,证明了模拟退火过程的收敛到玻尔兹曼分布的运行长度增加。因此,迄今为止,前所未有的直接重要性抽样使用一般随机过程的\emph{final}(边际)分布是允许的,潜在地增加了蒙特卡罗从业者的处置的算法的范围。
2015-12-03 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Data transforming augmentation for heteroscedastic models
数据增广(DA)通过增加潜在的缺失数据,将看似棘手的计算问题转化为简单的问题。除了计算简单性之外,现在公认的是,配备有确定性变换的DA可以提高诸如期望最大化算法或吉布斯采样器之类的迭代算法的收敛速度。在这篇文章中,我们概述了一个框架的转换为基础的DA,我们称之为数据转换增强(DTA),允许增强的数据是一个确定性的函数的潜在的和观察到的数据,和未知的参数。在这个框架下,我们研究了一种新的DTA计划,把异方差模型到同方差的,以利用更简单的计算通常可在同方差的情况下。应用此DTA计划拟合线性混合模型,我们证明了更简单的计算和更快的收敛速度的迭代算法,与那些下的非变换为基础的DA计划。我们还适合β-二项模型使用建议的DTA计划,这使得采样近似的边缘后验分布,只有在同方差下可用。一个R包Rdta在CRAN上公开可用。
2020-01-28 stat.CO stat.ME
An efficient method of posterior sampling for Poisson INGARCH models
Nanjing Normal University(南京师范大学);Tianjin University(天津大学);Jilin University(吉林大学)
本文提出一种高效后验抽样方法,用于泊松INGARCH模型,通过Pólya-Gamma数据增强方案实现条件高斯更新,并提升Metropolis-Hastings算法效率。
2026-03-08 stat.ME
ParticleAugment: Sampling-Based Data Augmentation
Ulm University(乌尔姆大学)
我们提出了一个自动化的数据增强方法的图像分类。我们制定的问题,蒙特卡罗抽样,我们的目标是近似的最佳增强政策。我们提出了一个粒子滤波方案的政策搜索的概率应用一组增强操作形成的过滤器的状态。我们根据参考模型和实际模型之间的损失函数差异来衡量策略性能,然后使用该差异来重新加权粒子并最终更新策略。在我们的实验中,我们证明了我们的自动增强公式在CIFAR-10,CIFAR-100和ImageNet数据集上使用标准网络架构来解决这个问题。通过与相关工作的比较,我们的方法达到了政策搜索的计算成本和模型性能之间的平衡。我们的代码将公开提供。
2021-10-15 cs.CV cs.LG
False Positive Sampling-based Data Augmentation for Enhanced 3D Object Detection Accuracy
Kookmin University(国民大学)
针对3D目标检测中真值采样易增加假阳性的问题,本研究提出假阳性采样数据增强技术及配套算法与样本库构建方法,在KITTI、Waymo Open数据集上大幅提升检测性能。
2024-05-19 cs.CV cs.LG
Contrastive General Graph Matching with Adaptive Augmentation Sampling
Singapore Management University(新加坡管理大学)
针对图匹配自监督学习依赖辅助信息和难以设计最优图增强的问题,提出无需辅助信息的对比框架GCGM,并引入自适应增强采样器BiAS选择更具挑战性的增强,在多数据集上超越现有自监督方法。
2024-06-25 cs.LG
Smart(Sampling)Augment: Optimal and Efficient Data Augmentation for Semantic Segmentation
University of Freiburg(弗莱堡大学);Fraunhofer Institute for Physical Measurement Techniques IPM(弗劳恩霍夫物理测量技术研究所)
数据增强方法利用增强的数据来丰富数据集,以提高神经网络的性能。最近,出现了自动数据增强方法,其自动设计增强策略。现有的工作集中在图像分类和目标检测,而我们提供了第一个语义图像分割的研究,并介绍了两种新的方法:\textit{SmartAugment}和\textit{SmartSamplingAugment}。SmartAugment使用贝叶斯优化来搜索丰富的增强策略空间,并在我们考虑的所有语义分割任务中实现了最先进的性能。SmartSamplingAugment是一种简单的无参数方法,具有固定的增强策略,在性能上与现有的资源密集型方法竞争,并且优于廉价的最先进的数据增强方法。此外,我们分析了数据增强超参数的影响、相互作用和重要性,并进行了消融研究,这证实了我们在SmartAugment和SmartSamplingAugment背后的设计选择。最后,我们将提供我们的源代码,以便于重复性和进一步的研究。
2021-10-31 cs.CV cs.LG
Data augmentation for dealing with low sampling rates in NILM
L3S Research Center - Leibniz University Hannover(L3S研究中心 - 莱布尼茨汉诺威大学)
数据在评估NILM算法的性能方面具有重要作用。NILM算法的最佳性能是通过高质量的评估数据实现的。然而,许多现有的真实世界数据集的采样质量较低,并且通常存在差距,缺乏某些记录期间的数据。因此,在这样的数据中,NILM算法几乎不能识别设备并正确地估计它们的功耗。提高这些能量分解方法的性能的一个重要步骤是提高数据集的质量。在本文中,我们进行了实验,使用几种方法来提高低采样率数据的采样率。我们的研究结果表明,低频数据的增强可以支持所考虑的NILM算法在估计器具的消费与更高的F分数测量。
2021-03-30 cs.LG eess.SP
Curvature Enhanced Data Augmentation for Regression
Ilya Kaufman Omri Azencot
针对回归任务数据增强不足的问题,提出基于数据流形二阶表示的CEMS采样方法,在分布内外场景中均以极小开销取得优于现有方法的性能。
2025-06-07 cs.LG stat.ML
Data Augmentation for Meta-Learning
University of Maryland, College Park(马里兰大学帕克分校);Microsoft(微软)
传统的图像分类器是通过随机采样小批量图像来训练的。为了实现最先进的性能,从业者使用复杂的数据增强方案来扩展可用于采样的训练数据的量。相比之下,元学习算法在每个训练步骤上对支持数据、查询数据和任务进行采样。在这种复杂的采样场景中,数据增强不仅可以用于扩展每个类可用的图像数量,还可以用于生成全新的类/任务。我们系统地剖析了元学习管道,并研究了数据增强可以在图像和类级别上集成的不同方式。我们提出的元特定的数据增强显着提高性能的元学习器上的Few-Shot分类基准。
2021-06-22 cs.CV cs.LG
Spatiotemporal Contrastive Learning of Facial Expressions in Videos
Queen’s University(女王大学);Ingenuity Labs Research Institute(英格纽蒂实验室研究院)
提出了一种自监督的对比学习方法用于视频中的面部表情识别。我们提出了一种新的基于时间采样的增强方案,除了标准的空间增强用于对比学习。我们提出的时间增强方案从三种时间采样技术中随机选取:(1)纯随机采样,(2)均匀采样和(3)顺序采样。随后是最多三个标准空间增强的组合。然后,我们使用一个深度R(2+1)D网络的FER,我们训练在一个自我监督的方式的基础上增强,随后微调。在Oulu-CASIA数据集上进行了实验,并将其性能与FER中的其他作品进行了比较。结果表明,我们的方法达到了89.4%的准确率,设置一个新的国家的最先进的优于其他作品。额外的实验和分析证实了相当大的贡献,拟议的时间增强与现有的空间。
2021-08-06 cs.CV cs.LG
GeoJEPA: Towards Eliminating Augmentation- and Sampling Bias in Multimodal Geospatial Learning
LUND UNIVERSITY(隆德大学);LTH(隆德理工学院);DEPARTMENT OF COMPUTER SCIENCE(计算机科学系)
本文提出GeoJEPA,一种基于联合嵌入预测架构的多模态地理空间自监督模型,旨在消除现有方法中的增强与采样偏差,并在OpenStreetMap数据上验证了其表示学习效果。
2025-02-25 cs.DB cs.LG
An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design
Nvidia Corporation(英伟达公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校);California Institute of Technology(加州理工学院)
光刻建模是芯片设计中的一个关键问题,以确保芯片设计掩模的可制造性。它需要对光学和化学模型进行严格的模拟,这在计算上是昂贵的。机器学习的最新发展提供了替代方案,用深度神经网络代替耗时的光刻模拟。然而,相当大的精度下降仍然阻碍了其工业应用。最重要的是,训练数据集的质量和数量直接影响模型的性能。为了解决这个问题,我们提出了一个光刻感知的数据增强(LADA)框架,以解决有限的数据和提高机器学习模型的性能的困境。首先,我们预训练用于光刻建模的神经网络和梯度友好的StyleGAN 2生成器。然后,我们执行对抗性主动采样,以生成信息丰富的合成分布掩码设计。这些合成掩模图像将增强用于微调光刻模型以提高性能的原始有限训练数据集。实验结果表明,LADA可以成功地利用神经网络的能力,通过缩小训练和测试数据实例之间的性能差距。
2022-10-27 cs.LG
Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
Qube Research & Technologies(Qube研究与技术);École Polytechnique(巴黎政治学院)
本文研究了数据增强在比例 regime 中对监督回归方法的正则化效应,通过仅依赖真实数据的总体量及增强方案的一阶和二阶统计量,精确表征了测试误差。结果适用于不规范特征映射和仅训练最后一层的网络架构。
2026-05-11 cs.LG math.ST stat.ML
HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning
Stores Foundational AI, Amazon Inc.(亚马逊公司基础人工智能部);Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
研究大语言模型强化学习中提示采样问题,提出HeaPA方法,通过难度感知堆采样和策略内查询增强,维持动态提示池,跟踪能力前沿,在多数据集和基准测试中提升准确率,减少计算量,尤其在中大型模型规模下效果显著。
2026-07-10 cs.CL cs.LG
Learning with the Weighted Trace-norm under Arbitrary Sampling Distributions
University of Chicago(芝加哥大学);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research New England(微软新英格兰研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们提供了严格的保证学习与加权跟踪范数下任意采样分布。我们表明,标准加权跟踪范数可能会失败时,抽样分布不是产品分布(即当行和列索引不独立选择),提出了一个修正的变体,我们建立了强大的学习保证,并证明它在实践中更好地工作。我们提供的保证时,加权的真实或经验的抽样分布,并建议,即使真实的分布是已知的(或均匀),加权的经验分布可能是有益的。
2011-06-21 cs.LG stat.ML
Sequential Data Augmentation for Generative Recommendation
Snap Inc.(Snap公司)
本文研究了生成推荐中数据增强的影响,提出了一种系统化的框架GenPAS,通过三种受偏步骤统一了多种增强策略,提升了模型的准确率、数据效率和参数效率。
2026-05-20 cs.IR cs.LG
TorchIO: A Python library for efficient loading, preprocessing, augmentation and patch-based sampling of medical images in deep learning
University College London(伦敦大学学院);King’s College London(伦敦国王学院)
与计算机视觉中通常使用的RGB图像相比,MRI或CT等医学图像的处理面临着独特的挑战。这些问题包括缺乏大型数据集的标签,计算成本高,以及描述体素物理属性的元数据。数据增强用于人为地增加训练数据集的大小。使用图像补丁进行训练可以降低对计算能力的需求。需要认真考虑空间元数据,以确保各卷的正确对齐。我们介绍了TorchIO,这是一个开源Python库,可以对深度学习的医学图像进行有效的加载、预处理、增强和基于补丁的采样。TorchIO遵循PyTorch的风格,并集成了标准的医学图像处理库,以在神经网络训练期间有效地处理图像。TorchIO transforms可以组合、复制、跟踪和扩展。我们提供了多个通用的预处理和增强操作,以及MRI特定工件的模拟。TorchIO的源代码、全面的教程和大量文档可以在https://torchio.rtfd.io/上找到。该软件包可以从Python软件包索引运行'pip install torchio'安装。它包括一个命令行界面,允许用户在不使用Python的情况下将变换应用于图像文件。此外,我们在3D Slicer中的TorchIO扩展中提供了一个图形界面,以可视化变换的效果。TorchIO的开发旨在帮助研究人员标准化医学图像处理流程,并使他们能够专注于深度学习实验。它鼓励开放科学,因为它支持可重复性,并且是版本控制的,以便软件可以被精确引用。由于其模块…
2021-08-05 cs.AI cs.CV cs.LG
Data Augmentation for Deep Candlestick Learner
National Taiwan University(国立台湾大学);Brookhaven National Laboratory(布鲁克海文国家实验室);Soochow University(东吴大学)
为了成功构建深度学习模型,它将需要大量的标记数据。然而,在许多用例中,标记数据很难收集。为了解决这个问题,近年来出现了一系列数据增强方法,并在计算机视觉、自然语言等领域取得了成功的结果,但对于金融交易数据,成功的数据增强框架研究还很少。在这里,我们提出了一种改进的本地搜索攻击采样方法来增加烛台数据,这是一个非常重要的工具,为专业交易者。实验结果表明,该方法能够生成高质量的、难以被人分辨的数据,为金融界在数据集较小的情况下使用现有的机器学习技术开辟了一条新的途径。
2020-05-29 cs.LG stat.ML
Data Augmentation via Structured Adversarial Perturbations
Google Research(谷歌研究院)
数据增强是许多具有最先进性能的机器学习方法的主要组成部分。常见的增强策略通过从变换空间中抽取随机样本来工作。不幸的是,这样的采样方法在表现力方面是有限的,因为它们由于维数灾难而无法扩展到依赖于许多参数的丰富变换。对抗性示例可以被认为是数据增强的替代方案。通过对输入的最困难的修改进行训练,生成的模型有望能够处理其他可能更容易的修改。对抗性增强的优点是,它使用一个单一的、计算的扰动来取代采样,最大限度地增加损失。然而,缺点是这些原始的对抗性扰动看起来相当非结构化;应用它们通常不会产生自然的转换,这与理想的数据增强技术相反。为了解决这个问题,我们提出了一种方法来生成对抗性的例子,保持一些所需的自然结构。我们首先构造一个子空间,只包含所需结构的扰动。然后,我们将原始的对抗梯度投影到这个空间上,以选择一个结构化的变换,当应用时,它会最大限度地增加损失。我们通过两种类型的图像变换来演示这种方法:光度变换和几何变换。此外,我们还证明了在这种结构化的对抗图像上进行训练可以提高泛化能力。
2020-11-05 cs.LG
RESample: A Robust Data Augmentation Framework via Exploratory Sampling for Robotic Manipulation
Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出RESample框架,通过探索性采样机制提升VLA训练数据分布覆盖,有效解决分布外场景下的能力瓶颈问题,实验证明在LIBERO基准和真实机器人任务中性能提升12%。
2026-08-06 cs.AI cs.LG cs.RO
Close to Reality: Interpretable and Feasible Data Augmentation for Imbalanced Learning
本文提出DPG-da框架,通过提取可解释的决策谓词来增强数据增强的可解释性和可行性,提升分类性能并提供清晰解释。
2026-03-14 cs.LG
Self-supervised Graph Neural Networks without explicit negative sampling
KTH Royal Institute of Technology(瑞典皇家理工学院)
真实世界的数据大多是未标记的,或者只有少数实例被标记。手动标记数据是一项非常昂贵且令人生畏的任务。这就要求无监督学习技术足够强大,可以实现与半监督/监督技术相当的结果。对比自监督学习已经成为一个强大的方向,在某些情况下优于监督技术。在这项研究中,我们提出,SelfGNN,一种新的对比自监督图神经网络(GNN),而不依赖于显式对比条款。我们利用了批量归一化,它引入了隐式对比项,而不会牺牲性能。此外,由于数据增强是对比学习中的关键,我们介绍了四种用于图的特征增强(FA)技术。虽然图拓扑增强(TA)是常用的,我们的实证研究结果表明,FA执行TA一样好。此外,FA不会产生计算开销,不像TA,TA通常具有O(N^3)时间复杂度,N-节点数。我们对七个公开的真实世界数据的实证评估表明,SelfGNN是强大的,其性能与SOTA监督的GNN相当,并且始终优于SOTA半监督和无监督的GNN。源代码可在https://github.com/zekarias-tilahun/SelfGNN上获得。
2021-05-20 cs.LG
Learning Collective Variables with Synthetic Data Augmentation through Physics-Inspired Geodesic Interpolation
Massachusetts Institute of Technology(麻省理工学院);Systems Biology Program(系统生物学项目);Department of Materials Science and Engineering(材料科学与工程系)
提出一种无模拟的数据增强策略,通过物理启发的测地线插值生成类似蛋白质折叠转变的合成数据,以提升集体变量学习的准确性和采样效率。
2024-07-19 cs.LG physics.chem-ph q-bio.BM
LatentAugment: Data Augmentation via Guided Manipulation of GAN's Latent Space
University Campus-Biomedico of Rome(罗马生物医学大学校园);Umeå University(于默奥大学)
针对标准数据增强多样性有限、GAN模式覆盖差难以用于数据增强的问题,提出无监督的LatentAugment策略,通过引导操纵GAN潜向量提升合成样本的多样性与保真度,在MRI转CT任务中效果优于现有方法。
2023-07-21 cs.CV cs.LG eess.IV
Music Boomerang: Reusing Diffusion Models for Data Augmentation and Audio Manipulation
Johannes Kepler University Linz(约翰·凯pler大学林茨分校);Linz Institute of Technology(林茨技术研究所)
本文将图像领域的回旋镖采样引入音频领域,基于 Stable Audio Open 实现数据增强与乐器替换,验证其能保留节奏结构、在有限数据下提升节拍跟踪性能并支持单声道文本乐器替换。
2025-07-07 cs.LG cs.SD eess.AS
Adversarial Augmentation and Active Sampling for Robust Cyber Anomaly Detection
New York University, NYUAD, Division of Science.(纽约大学,NYUAD,科学学院)
针对APT检测中标注数据稀缺的问题,本文提出结合注意力对抗双自动编码器与主动学习的异常检测框架,在多系统真实不平衡数据集上实现了检测率的显著提升,降低了标注成本。
2025-09-05 cs.AI cs.CR cs.CY
Optimal bounds for $\ell_p$ sensitivity sampling via $\ell_2$ augmentation
TU Dortmund University(多特蒙德工业大学);Dortmund Data Science Center(多特蒙德数据科学中心);Lamarr-Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文通过用 $\ell_2$ 敏感度增广 $\ell_p$ 敏感度,将 $p\in[1,2]$ 时的 $\ell_p$ 子空间嵌入采样复杂度改进至最优的线性界限,并应用于逻辑回归问题。
2024-06-01 cs.DS cs.LG stat.ML
Enhancing Neural Theorem Proving through Data Augmentation and Dynamic Sampling Method
National Institute of Science Education and Research(国家教育与科学研究院);Homi Bhabha National Institute(霍米·巴巴国家研究所)
本文提出DS-Prover动态采样方法,通过根据剩余时间调整策略数量优化证明搜索,并分解多前提策略增强训练数据,在MiniF2F和ProofNet上取得显著性能提升。
2024-02-15 cs.AI cs.LG cs.LO
SA-SSL-MOS: Self-supervised Learning MOS Prediction with Spectral Augmentation for Generalized Multi-Rate Speech Assessment
KTH Royal Institute of Technology(皇家理工学院);Google LLC(谷歌公司)
本文提出基于频谱增强的自监督学习方法,通过两步训练提升多速率语音质量评估的准确性。
2026-02-16 cs.LG eess.AS
Evaluating the Impact of Data Augmentation on Predictive Model Performance
Kyushu University(九州大学);Carnegie Mellon University(卡内基梅隆大学);Michigan State University(密歇根州立大学)
本文针对学习分析中训练数据不足的问题,系统评估21种数据增强技术及其99种链式组合,发现SMOTE-ENN及加噪组合能稳定提升学业成果预测性能并降低训练成本。
2024-12-03 cs.CY cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注,因为它需要大量的标记数据,这些数据通常是昂贵的,需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能,监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架,LaplaceNet,深度半监督分类,大大降低了模型的复杂性。我们利用一种混合的方法,其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上,我们的模型优于最先进的深度半监督分类方法。此外,我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明,通过严格的实验,多采样增强方法提高了泛化能力,降低了网络对增强的敏感性。
2022-09-28 cs.LG
Importance of Data Loading Pipeline in Training Deep Neural Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
训练大规模深度神经网络是一项耗时长的操作,通常需要许多GPU来加速。在大型模型中,加载数据所花费的时间占据了模型训练时间的很大一部分。由于GPU服务器通常很昂贵,因此可以节省训练时间的技巧很有价值。在需要详尽的数据增强操作的实际应用中,可以观察到缓慢的训练。数据增强技术包括:填充、旋转、添加噪声、下采样、上采样等。这些额外的操作增加了构建高效数据加载管道的需求,并探索现有工具以加快训练时间。我们重点比较了两个主要工具,即二进制数据格式,以加速数据读取,和NVIDIA DALI加速数据增强。我们的研究表明,如果使用这种专用工具,可以提高20%至40%。
2020-04-21 cs.CV cs.LG
Evaluating the Effect of Frame Rate in Sequence-Based Classification of Autism-Related Self-Stimulatory Hand Idiosyncrasies
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Department of Information and Computer Sciences, University of Hawai‘i at Mānoa(夏威夷大学马诺亚分校信息与计算机科学系)
研究针对自闭症相关自我刺激行为检测,通过在不同帧率下训练LSTM和GRU模型确定最佳架构与采样率,应用十种数据增强策略并做消融研究,采用个性化机器学习方法,为视频行为分类提供架构、采样率及增强策略指导。
2026-07-10 cs.AI cs.CV cs.LG
Metropolis-Hastings Data Augmentation for Graph Neural Networks
Korea University(高丽大学);NAVER CLOVA;NAVER AI LAB(NAVER人工智能实验室)
图神经网络(GNNs)尽管在各种基于图的任务上有很好的效果,但由于稀疏标记的数据,GNNs通常会遭受弱泛化。数据增强是一种普遍的方法来提高模型的泛化能力。然而,由于数据空间的非欧几里得性质和样本之间的依赖性,设计有效的增强图是具有挑战性的。在本文中,我们提出了一个新的框架大都市-黑斯廷斯数据增强(MH-Aug),从一个明确的目标分布半监督学习绘制增强图。MH-Aug从目标分布中生成一系列增强图,可以灵活控制增强的强度和多样性。由于从复杂目标分布中直接采样具有挑战性,我们采用Metropolis-Hastings算法来获得增强样本。我们还提出了一种简单有效的半监督学习策略,使用MH-Aug生成的样本。我们广泛的实验表明,MH-Aug可以根据目标分布生成样本序列,以显着提高GNN的性能。
2022-03-26 cs.LG
Achieving Model Robustness through Discrete Adversarial Training
Tel-Aviv University(特拉维夫大学);The Allen Institute for AI(艾伦人工智能研究所)
离散对抗攻击是对语言输入的符号扰动,保留输出标签,但导致预测错误。虽然这种攻击已被广泛探讨的目的,评估模型的鲁棒性,其效用,以提高鲁棒性已被限制为离线增强。具体地说,给定一个训练好的模型,攻击被用来生成扰动(对抗)示例,模型只被重新训练一次。在这项工作中,我们解决了这一差距,并利用离散攻击进行在线增强,在每个训练步骤中都生成对抗性示例,以适应模型不断变化的性质。我们提出了(i)一个新的离散攻击,基于最佳优先搜索,和(ii)随机抽样攻击,不像以前的工作是基于昂贵的搜索为基础的程序。令人惊讶的是,我们发现随机采样在鲁棒性方面带来了令人印象深刻的收益,优于常用的离线增强,同时在训练时间上加快了约10倍。此外,基于搜索的攻击的在线增强证明了更高的训练成本,显着提高了三个数据集的鲁棒性。最后,我们证明了我们的新攻击与以前的方法相比大大提高了鲁棒性。
2021-10-31 cs.CL cs.LG
Increasing Data Diversity with Iterative Sampling to Improve Performance
OBSS AI
作为以数据为中心的人工智能竞赛的一部分,我们提出了一种以数据为中心的方法,通过迭代采样来提高训练样本的多样性。该方法本身强烈依赖于增强样本的保真度和增强方法的多样性。此外,我们通过为困难的类引入更多的样本来进一步提高性能,特别是提供更接近边缘情况的样本,这些情况可能是手头的模型错误分类的。
2021-11-05 cs.AI cs.LG
Sampling-Based Decomposition Algorithms for Arbitrary Tensor Networks
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);UC Berkeley(加州大学伯克利分校)
我们将展示如何开发基于采样的交替最小二乘(ALS)算法,用于将张量分解为任何张量网络(TN)格式。如果TN格式满足某些温和的假设,则所得到的算法将具有输入次线性每次迭代成本。与以往大多数基于采样的张量分解ALS方法的工作不同,在我们的框架中的采样是根据ALS子问题中的设计矩阵的精确杠杆分数分布来完成的。我们实现和测试两个张量分解算法,使用我们的采样框架在特征提取实验中,我们将它们与其他一些分解算法进行比较。
2022-10-07 cs.LG cs.NA math.NA
Coordinate Descent with Arbitrary Sampling II: Expected Separable Overapproximation
The University of Edinburgh(爱丁堡大学)
随机坐标下降法的设计和复杂性分析,特别是在每次迭代中更新坐标的随机子集(采样)的变体,取决于预期可分离过逼近(ESO)的概念。这是指涉及目标函数和采样的不等式,以紧凑的方式捕获由采样坐标跨越的随机子空间中的函数的某些平滑特性。ESO不等式以前建立的特殊类的采样,几乎总是均匀的采样。在本文中,我们开发了一个系统的技术来推导这些不等式的一大类功能和任意采样。我们证明,可以恢复现有的ESO结果,使用我们的一般方法,这是基于与采样和数据描述的功能相关的特征值的研究。
2015-05-28 cs.LG cs.NA math.NA
Coordinate Descent with Arbitrary Sampling I: Algorithms and Complexity
The University of Edinburgh(爱丁堡大学)
研究了光滑凸函数与凸块可分正则化子之和的极小化问题,提出了一种新的随机坐标下降法,我们称之为ALPHA。我们的方法在每次迭代更新坐标的随机子集,遵循任意分布。没有坐标下降法能够处理一个任意的采样已经在文献中研究了这个问题。ALPHA是一个非常灵活的算法:在特殊情况下,它可以简化为确定性和随机性方法,如梯度下降,坐标下降,并行坐标下降和分布式坐标下降-无论是在非加速和加速变体。具有任意(或重要性)采样的变量是新的。我们提供了一个复杂性分析的ALPHA,从中我们推导出一个直接的推论复杂性界限,其许多变种,所有匹配或改善最知名的界限。
2015-06-15 cs.LG cs.NA math.NA
FAAGC: Feature Augmentation on Adaptive Geodesic Curve Based on the shape space theory
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院);Key Laboratory of Silicate Cultural Relics Conservation (Shanghai University), Ministry of Education(上海大学硅酸盐文物保护重点实验室(教育部))
针对数据不足问题,提出在预形状空间沿自适应测地曲线采样增强特征,提升数据稀缺下的分类精度并泛化于多种特征。
2025-09-07 cs.CV cs.LG
FedGS: Federated Graph-based Sampling with Arbitrary Client Availability
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University(厦门大学信息学院福建省智慧城市感知与计算重点实验室);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
虽然联邦学习在优化机器学习模型而无需直接存取原始数据方面表现出了很好的效果,但其性能可能会受到间歇性客户端可用性的阻碍,这会减慢收敛速度并使最终学习模型产生偏差。在任意客户端可用性下实现稳定和无偏差的培训存在重大挑战。为了解决这些挑战,我们提出了一个名为Federated Graph-based Sampling(FedGS)的框架,以稳定全局模型更新并同时减轻任意客户端可用性的长期偏差。首先,我们使用数据分布依赖图(3DG)对客户端的数据相关性进行建模,该图有助于将采样的客户端数据彼此分开,这在理论上可以提高最佳模型更新的近似值。其次,受样本客户数据分布距离较远的约束,进一步最小化样本客户被抽样次数的方差,以减小长期偏差。为了验证FedGS的有效性,我们在七种客户端可用性模式下对三个数据集进行了实验。我们的实验结果证实了FedGS的优势,使一个公平的客户端采样方案,并提高模型的性能在任意客户端的可用性。我们的代码可在\url{https://github.com/WwZzz/FedGS}上获得。
2022-12-07 cs.LG
Self-Contrastive Graph Diffusion Network
Lanzhou University(兰州大学)
提出自对比图扩散网络SCGDN,通过注意力模块和扩散模块实现无增强的图自对比学习,有效平衡高阶结构信息保留与避免过拟合,性能超越现有对比和经典方法。
2023-07-27 cs.AI cs.LG
On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
自监督学习(SSL)已成为深度学习研究中非常活跃的领域,它被大量用作分类和其他任务的预训练方法。然而,这一领域的快速发展是有代价的:不同论文的培训渠道差异很大,这是一个潜在的关键混淆因素。在这里,我们表明,超参数和数据增强策略的选择确实会对性能产生巨大影响。为了揭示这些被忽视的因素并帮助最大限度地发挥SSL的功能,我们对这些组件进行了超参数化,并使用贝叶斯优化对其进行了优化,显示了SimSiam SSL方法在多个数据集上的改进。意识到数据增强对SSL的重要性,我们还引入了一个新的自动化数据增强算法GroupAugment,它考虑了增强组并优化了组间的采样。与为监督学习设计的算法相比,GroupAugment在我们考虑的所有数据集上都实现了一致的高线性评估精度。总体而言,我们的研究结果表明SSL的重要性和可能被低估的数据增强的作用。
2022-07-16 cs.AI cs.CV cs.LG
Improving sequence-to-sequence speech recognition training with on-the-fly data augmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Maastricht University(马斯特里赫特大学)
序列到序列(S2 S)模型最近开始显示出用于自动语音识别(ASR)的最先进性能。对于这些大而深的模型,过拟合仍然是最大的问题,超过了可以从更好的架构中获得的性能改进。过拟合问题的一个解决方案是在数据增强的帮助下增加可用训练数据的量和训练数据所表现出的多样性。在本文中,我们研究了两个S2 S模型架构的性能上的三种数据增强方法的影响。其中一种数据增强方法来自于文献,而另外两种方法是我们自己开发的-频域时间扰动和子序列采样。我们在Switchboard和Fisher数据上的实验显示了S2 S模型的最新性能,这些模型仅在语音训练数据上进行训练,而不使用额外的文本数据。
2020-02-03 cs.CV cs.LG cs.SD
A Data-Augmentation Is Worth A Thousand Samples: Exact Quantification From Analytical Augmented Sample Moments
Meta/Facebook AI Research(Meta/脸书人工智能研究院)
数据增强(DA)可以提高任务和数据集的性能。我们提出了一种方法,从理论上分析DA的效果和研究的问题,如:需要多少扩增样本,以正确估计的DA编码的信息?增强策略如何影响模型的最终参数?我们得到了几个封闭形式的数量,如期望和方差的图像,损失,模型的输出在给定的DA分布。这些推导为量化DA的优点和局限性开辟了新的途径。例如,我们证明了常见的DA需要数万个样本才能正确估计手头的损失,并使模型训练收敛。我们表明,对于训练损失在DA采样下保持稳定,模型的显着性图(相对于模型输入的损失梯度)必须与所考虑的DA增强下样本方差的最小特征向量对齐,暗示了为什么模型倾向于将焦点从边缘转移到纹理的可能解释。
2022-02-16 cs.CV cs.LG
Sampling from Arbitrary Functions via PSD Models
INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
在应用统计学和机器学习的许多领域中,生成任意数量的独立同分布(i.i.d.)从给定分布中提取样本是一项关键任务。当仅通过密度的评估知道分布时,当前的方法要么随着维度缩放得很差,要么需要非常复杂的实现。相反,我们采取两步走的方法,首先对概率分布进行建模,然后从该模型中进行采样。我们使用最近推出的一类正半定(PSD)模型,这已被证明是有效的近似概率密度。我们表明,这些模型可以近似一个大类的密度简洁地使用很少的评价,并提出了一个简单的算法,有效地从这些模型中采样。我们还提出了初步的实证结果来说明我们的主张。
2021-10-28 cs.AI cs.LG math.ST
Domain Generalization by Rejecting Extreme Augmentations
LIVIA, Dept. of Systems Engineering ETS Montreal(蒙特利尔高等技术学院系统工程系LIVIA实验室)
本文提出一种简单训练流程,通过均匀采样、增强强度和拒绝极端变换的奖励函数,使数据增强在域泛化中显著提升性能,达到或超越最先进方法。
2025-10-08 cs.CV cs.LG
How Re-sampling Helps for Long-Tail Learning?
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Consumer BG, Huawei Technologies(华为技术有限公司消费者业务集团)
本文系统研究重采样在长尾学习中的作用,发现其效果受图像中不相关上下文影响,并提出上下文偏移增强模块以抑制虚假相关性,从而提升尾部类别泛化性能。
2023-10-27 cs.CV cs.LG
DAPLSR: Data Augmentation Partial Least Squares Regression Model via Manifold Optimization
School of Computer Science and Technology, Zhengzhou University of Light Industry(郑州轻工业大学计算机与通信工程学院)
针对PLSR在类别不均衡数据上表现不佳的问题,提出DAPLSR模型,结合SMOTE和VDM进行数据增强,并采用流形优化提升求解精度,实验证明其分类性能显著优于现有方法。
2025-04-23 cs.IR cs.LG
Training GANs with Stronger Augmentations via Contrastive Discriminator
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
生成对抗网络(GANs)的最新工作正在积极地重新审视各种数据增强技术,作为防止过拟合的有效方法。然而,目前还不清楚哪些增强可以真正改善GANs,特别是如何在训练中应用更广泛的增强。在本文中,我们提出了一种新的方法来解决这些问题,将最近的对比表示学习计划纳入GAN的框架,创造了ContraD。这种“融合”使判别器能够在不增加其训练不稳定性的情况下使用更强的增强,从而更有效地防止GANs中的过拟合问题。更好的是,我们观察到对比学习本身也受益于我们的GAN训练,即,通过维持真实样本和假样本之间的区分特征,表明两个世界之间具有很强的一致性:良好的对比表示也有利于GAN鉴别器,反之亦然。我们的实验结果表明,与采用数据增强的其他最新技术相比,具有ContradD的GANs始终提高了FID和IS,在线性评估方面仍然保持了高分辨力的特征。最后,作为一个副产品,我们还表明,我们的GANs以无监督的方式(无标签)训练,可以通过简单的潜在采样,利用ContraD的学习功能,诱导许多条件生成模型。代码可在https://github.com/jh-jeong/ContraD上获得。
2021-03-17 cs.AI cs.CV cs.LG
Randomized Dual Coordinate Ascent with Arbitrary Sampling
The University of Edinburgh(爱丁堡大学);Rutgers University(罗格斯大学);Baidu Inc(百度公司)
研究了用强凸正则化子惩罚的光滑凸函数的均值极小化问题。我们提出并分析了一种新的原始-对偶方法(石英),在每次迭代的样本和更新的随机子集的对偶变量,根据任意分布选择。与典型的分析相反,我们直接限制了原始-对偶误差的减少(在预期中),而不需要首先分析对偶误差。根据选择的采样,我们获得有效的串行,并行和分布式的方法的变种。在串行情况下,我们的边界匹配SDCA的最佳已知边界(均匀和重要性采样)。使用标准的mini-speed,我们的边界预测初始数据无关的加速以及额外的数据驱动的加速,这取决于数据的频谱和稀疏性。我们计算的理论加速因子,并发现它们是很好的预测实际加速在实践中。此外,我们说明,它是可能的,设计一个有效的小批量重要性抽样。Quartz的分布式变体是第一个分析不可分离数据的分布式SDCA类方法。
2014-11-21 cs.LG cs.NA math.NA