Syntax-based data augmentation for Hungarian-English machine translation
Department of Automation and Applied Informatics(自动化与应用信息学系);Budapest University of Technology and Economics(布达佩斯技术与经济大学);Eötvös Loránd Research Network(厄特沃什·罗兰研究网络);Institute for Computer Science and Control(计算机科学与控制研究所)
我们使用Hunglish 2语料库为匈牙利语-英语和英语-匈牙利语训练基于transformer的神经机器翻译模型。我们最好的模型在匈牙利语英语和英语匈牙利语上的BLEU得分分别为40.0和33.4。此外,我们目前正在进行的工作,基于语法的增强神经机器翻译的结果。我们的代码和模型都是公开的。
2022-01-18 cs.CL cs.LG
A Unified Framework for Generative Data Augmentation: A Comprehensive Survey
本论文全面综述了生成式数据增强(GDA)领域,提出了统一框架以系统分析模型选择、数据选择等关键方面,揭示了缺乏通用基准等研究空白,并指出了未来的重要研究方向。
2024-04-21 cs.AI cs.LG
Data Augmentation for Deep Learning Regression Tasks by Machine Learning Models
Bar Ilan University(巴伊兰大学);UCL(伦敦大学学院)
针对表格数据回归中深度学习常落后于传统机器学习的问题,提出并评估保留统计关系的数据增强方法,在30个数据集和三种AutoDL框架上验证,平均性能提升超过10%。
2025-01-07 cs.LG
Image Data Augmentation Approaches: A Comprehensive Survey and Future directions
Dublin City University(都柏林城市大学);University College Dublin(都柏林大学学院);University of Galway(戈尔韦大学)
深度学习(DL)算法在各种计算机视觉任务中表现出了显著的性能。然而,具有有限的标记数据导致网络过拟合问题,其中与训练数据相比,网络性能在看不见的数据上很差。因此,它限制了性能的提高。为了解决这个问题,已经提出了各种技术,例如丢弃、归一化和高级数据增强。其中,旨在通过包括样本多样性来扩大数据集大小的数据增强近年来一直是热门话题。在本文中,我们重点介绍高级数据增强技术。我们提供了数据增强的背景,一种新的和全面的已审查的数据增强技术的分类,以及每种技术的优点和缺点(只要可能)。我们还提供了三个流行的计算机视觉任务,如图像分类,目标检测和语义分割的数据增强效果的综合结果。为了结果的重现性,我们编译了所有数据增强技术的可用代码。最后,我们讨论了挑战和困难,以及研究界未来可能的方向。我们相信,这项调查提供了几个好处i)读者将了解数据增强的工作机制,以解决过拟合问题ii)结果将节省研究人员的搜索时间进行比较。iii)上述数据增强技术的代码可在https://github.com/kmr2017/Advanced-Data-augmentation-codes上获得 iv)未来的工作将激发研究界的兴趣。
2023-03-12 cs.AI cs.CV cs.LG
Iterative Augmentation with Summarization Refinement (IASR) Evaluation for Unstructured Survey data Modeling and Analysis
University of Toledo(托莱多大学);George Mason University(乔治梅森大学)
本文提出用于LLM文本增强的原则性评估框架,包含可扩展性分析和迭代增强与摘要精炼(IASR),在真实主题建模任务中使主题粒度增加400%并消除重叠,验证了其有效性。
2025-07-16 cs.CL cs.LG
Augmentor: An Image Augmentation Library for Machine Learning
Institute for Medical Informatics, Statistics, and Documentation(医学信息学、统计学与文献研究所);Medical University of Graz(格拉茨医科大学)
基于现有观测生成人工数据,称为数据增强,是机器学习中用于提高模型准确性、泛化和控制过拟合的技术。Augmentor是一个软件包,有Python和Julia两个版本,它提供了一个高级API,用于使用随机的、基于管道的方法扩展图像数据,该方法有效地允许在运行时从增强图像的分布中采样图像。Augmentor提供了用于大多数标准增强实践的方法以及一些高级功能,例如标签保留,随机弹性变形,并为机器学习中使用的典型增强任务提供了许多帮助函数。
2017-08-11 cs.CV cs.LG stat.ML
Data Augmentation Improves Machine Unlearning
Visual Computing Lab, Department of Computing, Universidade Federal Rural de Pernambuco, Brazil(视觉计算实验室,计算系,巴西帕尔梅鲁纳联邦大学)
本研究探究数据增强策略对机器遗忘方法性能的影响,实验表明适当增强可显著提升遗忘效果,最高将平均差距度量降低40.12%。
2025-08-25 cs.AI cs.LG
AugLiChem: Data Augmentation Library of Chemical Structures for Machine Learning
Carnegie Mellon University(卡内基梅隆大学)
机器学习(ML)已经证明了对分子和晶体材料的准确和有效的性质预测的希望。为了开发用于化学结构性质预测的高度准确的ML模型,需要具有足够样本的数据集。然而,获得干净和足够的化学性质数据可能是昂贵和耗时的,这极大地限制了ML模型的性能。受计算机视觉和自然语言处理中数据增强成功的启发,我们开发了AugLiChem:用于化学结构的数据增强库。介绍了晶体系统和分子的增强方法,这些方法可用于基于指纹的ML模型和图神经网络(GNN)。我们表明,使用我们的增强策略显着提高了ML模型的性能,特别是在使用GNN时。此外,我们开发的增强功能可以在培训期间用作直接插件模块,并且通过AugliChem库与不同的GNN模型一起实施时已经证明了有效性。用于我们实现Auglichem的基于Python的包:化学结构的数据增强库,可在https://github.com/BaratiLab/AugLiChem上公开获得。
2021-12-01 cs.LG physics.chem-ph
Privacy-Preserving Debiasing using Data Augmentation and Machine Unlearning
University of Florida(佛罗里达大学)
本文提出结合数据增强与机器遗忘的方法,在缓解训练数据偏差的同时,通过多分片遗忘移除模型中的原始数据识别信息,从而提供可证明的隐私攻击防御,并在多个数据集上验证了其有效性与鲁棒性。
2024-04-19 cs.AI cs.CV cs.LG
Bias Challenges in Counterfactual Data Augmentation
Purdue University(普渡大学)
深度学习模型往往不是分布外鲁棒的,主要是因为它们依赖虚假特征来解决任务。反事实数据增强提供了一种(近似)实现对虚假特征反事实不变的表示的一般方法,这是对分布外(OOD)鲁棒性的要求。在这项工作中,我们表明,反事实的数据增强可能无法实现所需的反事实不变性,如果增强是由上下文猜测机,一个抽象的机器,猜测一个给定的输入最有可能的上下文。我们从理论上分析了这种反事实数据增强所施加的不变性,并描述了一个示例性的NLP任务,其中由上下文猜测机的反事实数据增强不会导致强大的OOD分类器。
2022-09-13 cs.LG stat.ML
A Survey on Mixup Augmentations and Beyond
本综述系统梳理了 Mixup 数据增强方法及其应用,提出了统一框架,总结了现状与局限,并展望了未来方向,为研究者提供指导。
2025-04-23 cs.AI cs.CV cs.LG
A Survey on Data Augmentation in Large Model Era
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文综述大模型驱动的数据增强方法,按图像、文本和配对数据分类,梳理后处理技术、跨领域应用、成效与局限,并展望挑战和未来方向。
2024-03-04 cs.CL cs.CV cs.LG
Data Augmentation Approaches in Natural Language Processing: A Survey
Harbin Institute of Technology(哈尔滨工业大学)
作为一种有效的策略,数据增强(DA)可以解决深度学习技术可能失败的数据稀缺场景。它在计算机视觉中得到了广泛的应用,然后被引入到自然语言处理中,并在许多方面取得了改进。DA方法的主要重点之一是提高训练数据的多样性,从而帮助模型更好地推广到看不见的测试数据。在这项调查中,我们框架DA方法分为三类的基础上增强数据的多样性,包括释义,噪声和采样。我们的论文开始详细分析DA方法,根据上述类别。此外,我们还介绍了它们在NLP任务中的应用以及面临的挑战。附录中提供了一些有用的资源。
2022-06-27 cs.AI cs.CL cs.LG
A Survey on Face Data Augmentation
CloudMinds Technologies Inc.(达闼科技有限公司)
训练集的质量和规模对基于深度学习的人脸相关任务的结果有很大影响。然而,收集和标记具有高质量和平衡分布的足够的样本仍然是一项费力且昂贵的工作,因此各种数据增强技术被广泛用于丰富训练数据集。本文从人脸数据增强的变换类型和变换方法两个方面对现有的人脸数据增强方法进行了系统的综述。在所有这些方法中,我们把重点放在基于深度学习的工作上,特别是近年来被认为是更强大和有效的工具的生成对抗网络。我们提出了他们的原则,讨论的结果,并显示他们的应用以及局限性。还介绍了用于评估这些方法的不同评估指标。我们指出了人脸数据增强领域的挑战和机遇,并提供了简短而有见地的讨论。
2019-04-26 cs.AI cs.CV cs.LG
Developing neural machine translation models for Hungarian-English
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
我使用Hunglish 2语料库为英语-匈牙利语和匈牙利语-英语的神经机器翻译任务训练训练模型。这项工作的主要贡献是评估不同的数据增强方法在训练的NMT模型。我提出了5种不同的增强方法,它们是结构感知的,这意味着不是随机选择单词进行空白或替换,而是使用句子的依赖树作为增强的基础。论文首先对神经网络、序列建模、神经机器翻译、依存句法分析和数据增强等方面的研究进行了详细的文献综述。在对Hunglish 2语料库进行了详细的探索性数据分析和预处理之后,本文对所提出的数据增强技术进行了实验。匈牙利语-英语的最佳模型的BLEU得分为33.9,而英语-匈牙利语的最佳模型的BLEU得分为28.6。
2021-11-07 cs.CL cs.LG
Data Augmentation for Time-Series Classification: An Extensive Empirical Study and Comprehensive Survey
School of Engineering, University of Warwick(战争堡大学工程学院);School of Engineering and Materials Science, Queen Mary University of London(伦敦女王学院工程与材料科学学院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);Turing Intelligence Technology Limited(图灵智能科技有限公司)
本研究通过十年文献综述提出时间序列分类数据增强的新分类法,并在15个UCR数据集上对近20种增强策略进行实证评估,揭示了不同方法对模型性能的不一致影响。
2025-06-02 cs.LG
Synthetic Source Language Augmentation for Colloquial Neural Machine Translation
Kata.ai Research Team(Kata.ai研究团队);Sekolah Tinggi Informatika & Komputer Indonesia (STIKI)(印度尼西亚信息与计算机高等学院(STIKI));Beijing Institute of Technology(北京理工大学);Faculty of Computer Science, Universitas Indonesia(印度尼西亚大学计算机学院)
神经机器翻译(NMT)具有典型的领域依赖性和风格依赖性,需要大量的训练数据。国家的最先进的NMT模型往往不足以处理口语的变化,其源语言和缺乏并行数据在这方面是一个具有挑战性的障碍,在系统地改善现有的模型。在这项工作中,我们开发了一个新的口语化的英语测试集,从YouTube的成绩单和Twitter收集。我们执行合成风格增强正式印尼语的源,并表明它提高了基线Id-En模型(在BLEU)在新的测试数据。
2020-12-30 cs.CL cs.LG
Exoplanet Detection by Machine Learning with Data Augmentation
Boğaziçi University(海峡大学)
最近已经证明,深度学习具有很大的潜力,可以使用Kepler \cite{borucki2010kepler} \cite{koch2010kepler}和NASA的凌日系外行星调查卫星(TESS)\cite{ricker2010transiting}等卫星的光变曲线数据自动化部分系外行星探测管道。不幸的是,可用数据集的规模很小,很难实现强大的网络架构所期望的性能水平。在本文中,我们研究了使用数据增强技术的光变曲线数据从训练神经网络来识别系外行星。所使用的增强技术分为两类:简单的(例如,加性噪声增强)和基于学习的(例如,首先训练GAN \cite{goodfellow2020generative}以生成新的示例)。我们证明了数据增强有可能提高系外行星探测问题的模型性能,并建议使用基于生成模型的增强,因为有更多的数据可用。
2022-11-28 astro-ph.EP astro-ph.IM cs.LG
An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation
Department of Nuclear Engineering, North Carolina State University(核工程系,北卡罗来纳州立大学);Burlington Engineering Laboratories(伯灵顿工程实验室)
本研究针对核工程数据稀缺问题,评估基于VAE的深度生成模型进行数据增强的有效性,发现该方法显著提升了DNN模型的预测准确性,并通过BNN和CP证实了预测不确定性的降低。
2024-10-24 cs.LG
A Survey of Data Augmentation Approaches for NLP
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Dartmouth College(达特茅斯学院)
数据增强最近在NLP中引起了越来越多的兴趣,这是由于在低资源领域的更多工作、新任务以及需要大量训练数据的大规模神经网络的流行。尽管最近出现了这种激增,但这一领域的探索仍然相对不足,这可能是由于语言数据的离散性带来的挑战。在本文中,我们提出了一个全面和统一的调查数据增强的NLP通过总结文献结构化的方式。我们首先介绍和激励自然语言处理的数据增强,然后讨论主要的方法论代表性的方法。接下来,我们将重点介绍用于流行的NLP应用程序和任务的技术。最后,我们概述了当前的挑战和未来的研究方向。总的来说,我们的论文旨在澄清现有文献中的自然语言处理数据增强的景观,并激励在这一领域的额外工作。我们还提供了一个GitHub存储库和一个纸质列表,该列表将在https://github.com/styfeng/DataAug4NLP上不断更新。
2021-12-01 cs.AI cs.CL cs.LG
Icospherical Chemical Objects (ICOs) allow for chemical data augmentation and maintain rotational, translation and permutation invariance
本文提出二十面体球形化学对象(ICOs),以旋转不变方式编码三维分子结构并支持数据增强,在分子性质预测、溶解度预测和蛋白质结合任务上验证了其与球形神经网络的有效性。
2023-04-15 cs.LG
Adversarial Examples can be Effective Data Augmentation for Unsupervised Machine Learning
National Yang Ming Chiao Tung University(阳明交通大学);IBM Research(IBM研究院);Michigan State University(密歇根州立大学)
引起回避预测的对抗性示例被广泛用于评估和提高机器学习模型的鲁棒性。然而,目前的研究集中在监督学习任务,依赖于地面实况数据标签,有针对性的目标,或来自训练分类器的监督。在本文中,我们提出了一个为无监督模型生成对抗性示例的框架,并展示了数据增强的新应用。我们的框架利用互信息神经估计器作为信息理论相似性度量,在没有监督的情况下生成对抗性示例。我们提出了一种新的MinMax算法,具有可证明的收敛保证,可有效生成无监督对抗性示例。我们的框架也可以扩展到监督对抗的例子。当使用无监督对抗性示例作为模型再训练的简单插件数据增强工具时,在不同的无监督任务和数据集上都能观察到显著的改进,包括数据重建、表示学习和对比学习。我们的研究结果显示了新的方法和相当大的优势,在研究和改进无监督机器学习通过对抗性的例子。
2021-12-08 cs.CV cs.LG
Data augmentation with automated machine learning: approaches and performance comparison with classical data augmentation methods
Cape Coast Technical University(海岸角理工大学);University of Mines and Technology(矿业与技术大学)
本文全面调研了基于AutoML的数据增强技术,涵盖数据操作、集成与合成方法,并重点探讨了图像数据增强的搜索空间设计、超参数优化和模型评估,实验证明AutoML方法优于经典常规方法。
2025-03-05 cs.AI cs.CV cs.LG
Application of Machine Learning in Rock Facies Classification with Physics-Motivated Feature Augmentation
随着算法的最新进展和大量计算能力的可用性,机器学习技术的应用正在成为石油和天然气工业中的热门话题。将机器学习应用于上游领域最有前途的方面之一是储层表征中的岩相分类,这对于确定储层的有效厚度至关重要,因此是钻井决策过程中的决定性因素。对于复杂的机器学习任务,如相分类,特征工程通常是至关重要的。本文表明,在特征增强中包含物理动机的特征交互可以进一步提高机器学习在岩相分类中的能力。我们使用SEG 2016机器学习竞赛数据集和获奖算法演示了这种方法。该改进是鲁棒的,并且可以比当前现有的最佳F-1分数好$\sim5\%$,其中F-1是用于量化平均预测准确度的评估度量。
2018-08-29 cs.LG physics.geo-ph stat.ML
Experimenting with an Evaluation Framework for Imbalanced Data Learning (EFIDL)
University of Pittsburgh(匹兹堡大学)
数据不平衡是标签较少的大数据分析中的关键问题之一。例如,在现实世界的医疗保健数据、垃圾邮件检测标签和金融欺诈检测数据集中。为了提高机器学习算法的性能,引入了许多数据平衡方法。研究声称,SMOTE和基于SMOTE的数据增强(生成新数据点)方法可以提高算法性能。然而,我们在许多在线教程中发现,基于合成数据集应用的评估方法在评估中引入了偏差,并且性能得到了虚假的改善。在这项研究中,我们提出了一个新的评估框架不平衡数据学习方法。我们已经实验了五种数据平衡方法,以及算法的性能是否会提高。方法收集了8个不同领域、不同比例的不平衡医疗数据集。应用6种数据增强方法和11种机器学习方法,测试数据增强是否有助于提高机器学习性能。我们比较了传统的数据增强评估方法与我们提出的交叉验证评估框架。结果使用传统的数据增强评估Meta会给人一种错误的印象,提高性能。然而,我们提出的评估方法显示数据增强对改善结果的能力有限。结论EFIDL更适合于评价数据扩充后ML方法的预测性能。使用不合适的评估框架会产生错误的结果。未来的研究人员在处理增强数据集时应该考虑我们提出的评估框架。我们的实验表明,数据增强无助于提高ML预测性能。
2023-01-26 cs.LG
Data augmentation for machine learning of chemical process flowsheets
Delft University of Technology(代尔夫特理工大学)
针对化学工艺流程图数据有限的问题,本文提出一种基于SFILES 2.0表示法的数据增强方法,并在案例研究中使流程图自动补全模型的预测不确定性改善14.7%。
2023-02-07 cs.LG math.OC
Towards Understanding How Data Augmentation Works with Imbalanced Data
University of Notre Dame(圣母大学);Lucy Family Institute for Data and Society(露西家族数据与社会研究所)
本文系统考察数据增强在不平衡数据上对卷积神经网络、支持向量机和逻辑回归的影响,发现其主要通过扩大数据方差和特征幅值范围来提升模型泛化能力,而非仅改善全局指标。
2023-04-12 cs.LG
How Does Data Augmentation Affect Privacy in Machine Learning?
Microsoft Research Asia(微软亚洲研究院)
据观察,在文献中,数据增强可以显着减轻隶属推理(MI)攻击。然而,在这项工作中,我们通过提出新的MI攻击来利用增强数据的信息来挑战这一观察结果。MI攻击被广泛用于度量模型对训练集的信息泄漏。我们建立了最优隶属度推断模型训练时,增广数据,这启发我们制定MI攻击作为一个集合分类问题,即,对一组增强实例而不是单个数据点进行分类,并设计输入置换不变特征。从经验上讲,我们证明了所提出的方法普遍优于原始方法时,模型与数据增强训练。更进一步,我们表明,所提出的方法可以实现更高的MI攻击的成功率与一些数据增强训练模型比现有的方法没有数据增强训练模型。值得注意的是,我们在CIFAR10上实现了70.1%的MI攻击成功率,而以前的最佳方法仅达到61.9%。这表明,使用数据增强训练的模型的隐私风险可能在很大程度上被低估了。
2021-02-26 cs.LG stat.ML
Exploring the Design of Adaptation Protocols for Improved Generalization and Machine Learning Safety
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
虽然直接微调(FT)大规模的,预训练模型的任务特定的数据是众所周知的诱导强大的分布任务的性能,最近的工作已经证明,不同的自适应协议,如线性探测(LP)之前的FT,可以提高分布外泛化。然而,这种自适应协议的设计空间仍然未被充分探索,并且对这种协议的评估主要集中在分布偏移上。因此,在这项工作中,我们评估了分布变化和机器学习安全指标(例如,异常检测、校准、对破坏的鲁棒性)。我们发现,协议诱导不同的权衡,是不明显的,从先前的评估。此外,我们证明,适当的配对数据增强和协议可以大大减轻这种权衡。最后,我们假设和经验看到,在LP期间使用硬度促进增强,然后FT与增强可能是特别有效的权衡缓解。
2022-07-26 cs.LG
Copula-based synthetic data augmentation for machine-learning emulators
University of Reading(雷丁大学);Imperial College London(帝国理工学院);Leiden University(莱顿大学);European Centre for Medium-Range Weather Forecasts(欧洲中期天气预报中心)
我们能用合成数据改进机器学习(ML)仿真器吗?如果数据稀缺或来源昂贵,并且物理模型可用,则统计生成的数据可以用于廉价地扩充训练集。在这里,我们探讨了使用基于Copula的模型生成综合增强数据集的天气和气候测试的玩具物理模型的下降流长波辐射和相应的神经网络仿真器的方法。结果表明,Copula增强的数据集,预测提高了62%的平均绝对误差(从1.17到0.44 W m $^{-2}$)。
2021-09-26 cs.LG physics.ao-ph
Improving Graph Machine Learning Performance Through Feature Augmentation Based on Network Control Theory
Vanderbilt University(范德堡大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Information Technology University(信息技术大学)
本文提出 NCT-EFA 方法,将网络控制理论中的平均可控性及中心性指标用于特征增强,以解决节点特征缺失问题,在六个基准 GNN 模型上实现最高 11% 的性能提升。
2024-05-03 cs.LG
Time Series Data Augmentation for Deep Learning: A Survey
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Alibaba Group(阿里巴巴集团);Twitter(推特)
最近,深度学习在许多时间序列分析任务上表现得非常好。深度神经网络的优越性能在很大程度上依赖于大量的训练数据来避免过拟合。然而,许多现实世界的时间序列应用的标记数据可能是有限的,如医疗时间序列中的分类和AIOps中的异常检测。作为提高训练数据规模和质量的有效方法,数据增强对于深度学习模型在时间序列数据上的成功应用至关重要。在本文中,我们系统地回顾了不同的数据增强方法的时间序列。我们提出了一个分类法的审查方法,然后提供了一个结构化的审查,这些方法突出自己的优势和局限性。我们还根据经验比较了不同任务的不同数据增强方法,包括时间序列分类,异常检测和预测。最后,我们讨论并强调了未来的五个方向,以提供有用的研究指导。
2022-03-31 cs.LG eess.SP stat.ML
Augmentation Backdoors
University of Cambridge(剑桥大学);Imperial College London(伦敦帝国理工学院);University of Oxford(牛津大学)
数据增强被广泛用于改进模型的泛化。然而,依赖外部库来实现增强方法会给机器学习管道带来漏洞。众所周知,后门可以通过提供修改后的数据集进行训练来插入机器学习模型。因此,增强提供了一个完美的机会来执行这种修改,而不需要最初的后门数据集。在本文中,我们提出了三个后门攻击,可以隐蔽地插入到数据增强。我们的攻击都使用不同类型的计算机视觉增强变换插入后门,包括简单的图像变换,基于GAN的增强和基于合成的增强。通过使用这些增强转换插入后门,我们使后门难以检测,同时仍然支持任意后门功能。我们评估了我们对一系列计算机视觉基准的攻击,并证明了攻击者能够通过恶意增强程序引入后门。
2022-09-29 cs.CR cs.LG
ARDA: Automatic Relational Data Augmentation for Machine Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Chicago(芝加哥大学)
自动机器学习(\AML)是一系列用于自动化训练预测模型的技术,旨在提高性能并使机器学习更容易获得。虽然最近的许多工作集中在机器学习管道的各个方面,如模型选择,超参数调整和特征选择,相对较少的工作集中在自动数据增强。自动数据增强涉及以最小的“人在环”参与来发现与用户的预测任务相关的新特征。我们提出了\system,一个端到端的系统,作为输入的数据集和数据存储库,并输出一个增强的数据集,这样训练预测模型在这个增强的数据集的结果在提高性能。我们的系统有两个不同的组成部分:(1)一个框架,搜索和连接数据与输入数据,根据输入的各种属性,和(2)一个有效的特征选择算法,修剪出噪音或不相关的功能,从产生的连接。我们进行了广泛的经验评估不同的系统组件和基准我们的特征选择算法在现实世界的数据集。
2020-03-21 cs.DB cs.LG stat.ML
Towards Efficient Data-Centric Robust Machine Learning with Noise-based Augmentation
Huazhong University of Science and Technology(华中科技大学)
以数据为中心的机器学习旨在寻找有效的方法来构建合适的数据集,从而提高AI模型的性能。在本文中,我们主要集中在设计一个有效的数据为中心的计划,以提高鲁棒性的模型对不可预见的恶意输入的黑盒测试设置。具体来说,我们介绍了一种基于噪声的数据增强方法,该方法由高斯噪声、椒盐噪声和PGD对抗性扰动组成。该方法是建立在轻量级算法的基础上,并证明了高效的综合评价的基础上,表现出良好的计算效率和鲁棒性增强。此外,我们还分享了我们从实验中获得的关于以数据为中心的鲁棒机器学习的见解。
2022-03-08 cs.AI cs.CR cs.LG
Sentence Boundary Augmentation For Neural Machine Translation Robustness
Google Research(谷歌研究院)
神经机器翻译(NMT)模型在提供格式良好的训练和评估数据的翻译任务上表现出了强大的最先进的性能,但它们对包括各种类型错误的输入仍然敏感。具体而言,在长形式语音翻译系统的上下文中,其中输入转录来自自动语音识别(ASR),NMT模型必须处理包括音素替换、语法结构和句子边界的错误,所有这些都对NMT鲁棒性提出了挑战。通过深入的错误分析,我们表明,句子边界分割质量的影响最大,我们开发了一个简单的数据增强策略,以提高分割的鲁棒性。
2020-10-21 cs.CL cs.LG cs.SD
Generative Data Augmentation for Non-IID Problem in Decentralized Clinical Machine Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
群学习是一种新兴的分散式机器学习范式,在临床应用中取得了很好的效果。SL通过结合边缘计算和基于区块链的对等网络,解决了联邦学习中的中心结构问题。虽然在假设参与者之间的独立和相同分布(IID)的数据有希望的结果,SL遭受性能下降的程度的非IID数据的增加。为了解决这个问题,我们提出了一个生成增强框架称为SL-GAN,它通过从参与者生成合成数据来增强非IID数据。SL-GAN在本地训练生成器和鉴别器,并通过SL网络中随机选择的协调器定期聚合。在标准假设下,我们从理论上证明了SL-GAN的收敛性使用随机逼近。实验结果表明,SL-GAN在三个真实世界的临床数据集上的性能优于最先进的方法,包括结核病,白血病,COVID-19。
2022-12-02 cs.DC cs.LG
Cheap and Good? Simple and Effective Data Augmentation for Low Resource Machine Reading
University of Arizona(亚利桑那大学);IBM Research(IBM研究院)
我们提出了一个简单而有效的策略,用于低资源机器阅读理解(MRC)的数据增强。我们的方法首先在包含正确答案的近似上下文的增强数据上预训练MRC系统的答案提取组件,然后在确切的答案跨度上训练它。近似上下文有助于QA方法组件缩小答案的位置。我们证明,我们简单的策略,通过提供更大的上下文的答案和额外的训练数据,大大提高了文档检索和答案提取性能。特别是,我们的方法显着提高性能的BERT为基础的检索器(15.12\%),和答案提取器(4.33\% F1)TechQA,一个复杂的,低资源的MRC任务。此外,我们的数据增强策略产生了显着的改善高达3.9\%的精确匹配(EM)和2.7\%的F1的答案提取PolicyQA,另一个实用的,但中等大小的QA数据集,也包含长的答案跨度。
2021-06-08 cs.AI cs.CL cs.LG
Self-paced Data Augmentation for Training Neural Networks
National Institute of Advanced Industrial Science and Technology(独立行政法人产业技术综合研究所)
数据增强广泛用于机器学习;然而,尚未建立应用数据增强的有效方法,即使它包括应仔细调整的几个因素。一个这样的因素是样本适用性,其涉及选择适合于数据增强的样本。将数据增强应用于所有训练样本的典型方法忽略了样本适合性,这可能降低分类器性能。为了解决这个问题,我们提出了自定步增强(SPA)自动和动态地选择合适的样本数据增强时,训练神经网络。所提出的方法减轻了无效的数据增强造成的泛化性能恶化。我们讨论了两个原因,建议SPA工程相对于课程学习和可取的变化,损失函数不稳定性。实验结果表明,所提出的集对分析可以提高泛化性能,特别是当训练样本数较少时。此外,所提出的SPA优于最先进的RandAugment方法。
2020-10-29 cs.LG
Dynamic Data Augmentation with Gating Networks for Time Series Recognition
Kyushu University(九州大学)
数据增强是一种通过增加数据集的大小来提高机器学习方法泛化能力的技术。但是,由于每种增强方法对每个数据集的效果并不相同,因此需要仔细选择合适的方法。我们提出了一个神经网络,动态地选择最佳组合的数据增强方法使用一个互利的门控网络和功能的一致性损失。选通网络能够控制每个数据增强中有多少用于网络内的表示。特征一致性损失给出了来自相同输入的增强特征应该相似的约束。在实验中,我们证明了所提出的方法的有效性的12个最大的时间序列数据集从2018年UCR时间序列档案,并揭示了数据增强方法之间的关系,通过分析所提出的方法。
2022-05-28 cs.LG
Exploring Graph Classification Techniques Under Low Data Constraints: A Comprehensive Study
Veermata Jijabai Technology Institute(维尔马塔吉贾拜技术学院)
本综述概述了图数据增强与少样本学习的最新研究,涵盖节点边扰动、图粗化、图生成及元学习等技术,为低数据场景下的图处理问题提供了全面的技术方案。
2023-11-21 cs.LG
Mapping fNIRS to fMRI with Neural Data Augmentation and Machine Learning Models
Seoul National University(首尔大学)
神经成像技术的进步为我们理解人类思维的工作方式提供了新的见解。功能性磁共振成像(fMRI)是最流行和最广泛使用的神经影像学技术,并且人们对基于fMRI的个体差异标记物越来越感兴趣。然而,由于其高成本和难以从包括儿童和婴儿在内的特定人群中获得,其效用往往受到限制。功能性磁共振成像标记物的替代标记物或神经相关物具有重要的实际意义,但我们几乎没有功能性磁共振成像标记物的独立预测因子。在这里,使用机器学习(ML)模型和数据增强,我们从功能近红外光谱(fNIRS)的多变量模式预测了经过充分验证的人类认知功能磁共振成像标志物,这是一种便携式且相对便宜的光学神经成像技术。我们招募了50名人类参与者,他们执行两项认知任务(停止信号任务和概率反转学习任务),而神经激活在总共两次访问中的每一次都用fNIRS或fMRI测量。使用ML模型和数据增强,我们可以预测反应抑制或预测错误信号的48通道fNIRS激活前额叶皮层的功能磁共振成像标记。这些结果表明,fNIRS可能提供了一个替代标记的功能磁共振成像激活,这将扩大我们的理解不同的人群,包括婴儿。
2022-06-13 cs.LG q-bio.NC
Entropy-Constrained Machine Learning with Residual Data Augmentation for Modeling Chemical Kinetics
Department of Mechanical and Industrial Engineering(机械与工业工程系)
提出物理约束机器学习框架加速湍流反应流DNS,用替代模型预测反应速率,引入热力学第二定律约束提高稳定性,在二维火焰DNS验证,计算成本降低超量级,基于残差的数据增强策略可参数探索,为燃烧模拟提供可靠高效替代模型。
2026-07-13 cs.LG physics.flu-dyn
Improving Machine Learning Performance with Synthetic Augmentation
University of California, Berkeley(加州大学伯克利分校)
本文研究合成增强在金融机器学习中缓解数据稀缺的作用,通过结构偏倚-方差权衡分析,发现其在方差主导的波动预测中有效,但在偏倚主导的预测中表现下降。
2026-04-16 cs.AI cs.LG stat.ML
Data Augmentation with GAN increases the Performance of Arrhythmia Classification for an Unbalanced Dataset
由于数据短缺问题,这是机器学习领域的主要问题之一,许多应用程序的准确性水平仍然远低于预期。它阻止研究人员利用现有数据开发新的基于人工智能的系统。这个问题可以通过用增强方法生成新的合成数据来解决。在这项研究中,新的心电图信号产生使用MIT-BIH心律失常数据库通过使用生成对抗神经网络(GAN),这是一种现代的数据增强方法。这些生成的数据被用于训练机器学习系统和真实的ECG数据用于测试它。所得到的结果表明,这种方式的机器学习系统的性能提高。
2023-02-24 cs.AI cs.LG eess.SP
Tabular Data Augmentation for Machine Learning: Progress and Prospects of Embracing Generative AI
Zhejiang University(浙江大学)
本文系统综述了表格数据增强的进展与前景,提出增强前、增强、增强后三阶段架构视图,重点分析了生成式人工智能驱动的数据生成方法,并总结了未来研究方向。
2024-07-31 cs.AI cs.DB cs.LG
Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation
Google Research(谷歌研究院)
神经机器翻译(NMT)在过去几年中发展迅速,现代模型能够仅使用单语文本数据实现相对较高的质量,这种方法被称为无监督机器翻译(UNMT)。然而,这些模型仍然在各种各样的方面挣扎,包括对人类来说最简单的翻译方面-例如,正确翻译普通名词。这项工作探索了一种廉价而丰富的资源来解决这个问题:双语词汇。我们在真实世界的设置中测试了双语词典的功效,在网络抓取文本上训练了200种语言的翻译模型。我们提出了几个发现:(1)使用词汇数据增强,我们证明了无监督翻译的可观性能增益;(2)我们比较了几个数据增强家族,证明它们产生了类似的改进,并且可以组合以获得更大的改进;(3)我们证明了精心策划的词汇相对于更大,更嘈杂的词汇的重要性,特别是对于更大的模型;(4)比较了多语种词典数据和人工翻译的平行数据的有效性。最后,我们开源了GATITOS(可在https://github.com/google-research/url-nlp/tree/main/gatitos获得),这是一个新的多语言词典,适用于26种低资源语言,在我们的实验中,它在所有词典中表现最好。
2023-03-27 cs.AI cs.CL cs.LG
Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition
University of Michigan(密歇根大学)
本文提出一个数据驱动框架,利用神经常微分方程和全连接神经网络对阴极电泳沉积基线模型进行可解释增强,在提高预测精度的同时降低了离线计算成本。
2024-01-16 cs.LG physics.comp-ph
Strategic Data Augmentation with CTGAN for Smart Manufacturing: Enhancing Machine Learning Predictions of Paper Breaks in Pulp-and-Paper Production
West Virginia University(西弗吉尼亚大学)
针对纸浆造纸生产中断纸事件稀缺导致预测模型效果不佳的问题,提出结合CTGAN与SMOTE的新型数据增强框架,显著提升了三类机器学习算法的断纸预测性能,助力工业质量控制与维护调度。
2023-11-15 cs.AI cs.LG
Hessian-Informed Conformation Augmentation for Potential Energy Surface Curvature in Machine Learning Interatomic Potentials
该研究针对机器学习原子间势未充分利用海森矩阵信息的问题,提出两种基于海森矩阵的构象增强方案,实现即插即用集成并提升模型精度。
2026-10-14 cs.LG physics.chem-ph
Can We Achieve More with Less? Exploring Data Augmentation for Toxic Comment Classification
Stanford University(斯坦福大学)
本文解决了机器学习中最大的限制之一:数据稀缺。具体来说,我们探索是否可以从小数据集建立高精度的分类器,利用数据增强技术和机器学习算法的组合。在这篇论文中,我们尝试了简单的数据增强(EDA)和反向翻译,以及三种流行的学习算法,逻辑回归,支持向量机(SVM)和双向长短期记忆网络(Bi-LSTM)。对于我们的实验,我们利用维基百科有毒评论数据集,以便在探索数据增强的好处的过程中,我们可以开发一个模型来检测和分类评论中的有毒言论,以帮助反击网络欺凌和在线骚扰。最终,我们发现数据增强技术可以用来显着提高分类器的性能,是一个很好的策略,以打击缺乏数据的NLP问题。
2020-07-02 cs.AI cs.CL cs.IR
Synthetic Data Augmentation for Enhancing Harmful Algal Bloom Detection with Machine Learning
Student Ambassador App Inventor Foundation(App Inventor基金会)
针对有害藻华检测中高质量训练数据稀缺的问题,本研究采用高斯Copulas合成数据增强方法,证实适度增强可显著提升模型性能,为有害藻华监测提供了可扩展的低成本方案。
2025-03-05 cs.AI cs.CY cs.LG
A survey of synthetic data augmentation methods in computer vision
Cape Coast Technical University(海岸角技术大学);University of Mines and Technology(矿业与技术大学)
本文系统综述了计算机视觉中的合成数据增强方法,涵盖三维图形建模、神经风格迁移、可微神经渲染及GAN、VAE等生成式AI技术,并总结了常用合成数据集、应用场景、局限性与有效性。
2024-03-18 cs.CV cs.GR cs.LG
DataLoc+: A Data Augmentation Technique for Machine Learning in Room-Level Indoor Localization
Alexandria University(亚历山大大学);James Madison University(詹姆斯·麦迪逊大学);Virginia Tech(弗吉尼亚理工大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
室内定位是近二十年来的研究热点。自问世以来,它一直在稳步利用新兴技术来提高准确性,而机器学习一直是其核心。机器学习已经越来越多地用于基于指纹的室内定位,以替代或仿真用于在给定位置签名的情况下预测位置的无线电地图。机器学习模型的预测质量主要取决于模型训练的好坏,而训练的好坏又取决于用于训练模型的数据的数量和质量。数据增强通过综合产生更多的训练数据来提高训练模型的质量,文献中使用了几种方法,从不同角度解决训练数据不足的问题。在本文中,我们提出了DataLoc+,一个数据增强技术的房间级室内定位,结合不同的方法在一个简单的算法。我们评估的技术,通过比较它的典型的直接快照的方法,在医院进行的现场实验收集的数据。我们的评估表明,使用所提出的技术训练的模型实现了更高的准确性。我们还表明,该技术适用于更大的问题,使用有限的数据集,同时保持高精度。
2021-01-21 cs.CV cs.LG cs.NI