The data augmentation algorithm
本文综述 DA MCMC 算法的理论、实现、应用、收敛分析与加速扩展,并指出未来方向,为相关研究者和实践者提供参考。
2024-06-15 stat.CO stat.ME stat.ML
Smart(Sampling)Augment: Optimal and Efficient Data Augmentation for Semantic Segmentation
University of Freiburg(弗莱堡大学);Fraunhofer Institute for Physical Measurement Techniques IPM(弗劳恩霍夫物理测量技术研究所)
数据增强方法利用增强的数据来丰富数据集,以提高神经网络的性能。最近,出现了自动数据增强方法,其自动设计增强策略。现有的工作集中在图像分类和目标检测,而我们提供了第一个语义图像分割的研究,并介绍了两种新的方法:\textit{SmartAugment}和\textit{SmartSamplingAugment}。SmartAugment使用贝叶斯优化来搜索丰富的增强策略空间,并在我们考虑的所有语义分割任务中实现了最先进的性能。SmartSamplingAugment是一种简单的无参数方法,具有固定的增强策略,在性能上与现有的资源密集型方法竞争,并且优于廉价的最先进的数据增强方法。此外,我们分析了数据增强超参数的影响、相互作用和重要性,并进行了消融研究,这证实了我们在SmartAugment和SmartSamplingAugment背后的设计选择。最后,我们将提供我们的源代码,以便于重复性和进一步的研究。
2021-10-31 cs.CV cs.LG
Efficient data augmentation techniques for some classes of state space models
数据增广通过引入精心设计的潜变量来提高迭代算法(例如期望最大化算法和吉布斯采样器)的收敛性。在这篇文章中,我们首先提出了一个数据增强计划的一阶自回归加噪声模型,最佳值的工作参数引入重新定位和重新缩放的潜在状态,可以通过最小化丢失的信息在期望最大化算法的分数解析推导。建议的数据增强计划,然后利用设计高效的马尔可夫链蒙特卡罗(MCMC)算法的贝叶斯推断的一些非高斯和非线性状态空间模型,通过混合的法线近似加上块特定的重新参数化策略。模拟和基准真实数据集上的应用表明,所提出的MCMC采样器可以产生模拟效率的提高相比,中心,非中心,甚至辅助充分交织策略。
2022-07-05 stat.ME
Data augmentation in Bayesian neural networks and the cold posterior effect
Imperial College London(帝国理工学院);University of Bristol(布里斯托大学);University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
包含数据增强的贝叶斯神经网络隐式地使用“随机扰动对数似然[其]不具有作为有效似然函数的清晰解释"(Izmailov等人,2021)。在这里,我们提供了几种方法来开发原则贝叶斯神经网络纳入数据增强。我们引入了一个“有限轨道”设置,它允许精确计算似然性,并在更常见的“全轨道”设置中给出了严格的多样本界限。这些模型揭示了冷后效应的起源。特别是,我们发现,冷后验效应仍然存在,即使在这些原则性的模型纳入数据增强。这表明,冷后验效应不能被视为使用不正确的可能性进行数据增强的伪影。
2021-12-09 cs.LG stat.ML
Scalable Bayesian neural networks by layer-wise input augmentation
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
我们介绍了隐式贝叶斯神经网络,这是一种用于深度学习中不确定性表示的简单且可扩展的方法。深度学习的标准贝叶斯方法需要对数百万个参数的后验分布进行不切实际的推断。相反,我们建议通过用潜变量增加每层的输入来诱导一个分布,该分布捕获神经网络上的不确定性。我们提出了适当的输入分布,并展示了最先进的性能,在大规模,数百万参数的图像分类任务的校准,鲁棒性和不确定性特征。
2020-10-26 cs.LG stat.ML
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification
New York University(纽约大学)
随机不确定性捕获数据的固有随机性,例如测量噪声。在贝叶斯回归中,我们经常使用高斯观测模型,其中我们用噪声方差参数控制任意不确定性的水平。相比之下,对于贝叶斯分类,我们使用分类分布,没有机制来表示我们对任意不确定性的信念。我们的工作表明,明确说明任意的不确定性显着提高贝叶斯神经网络的性能。我们注意到许多标准基准,例如CIFAR,基本上没有任意的不确定性。此外,我们表明,近似推理中的数据增强具有软化可能性的效果,导致信心不足,并深刻地歪曲了我们对任意不确定性的诚实信念。因此,我们发现,一个冷后验,由一个权力大于1,往往更诚实地反映了我们的信念,任意的不确定性比没有回火-提供了一个明确的联系之间的数据增强和冷后验。我们表明,我们可以匹配或超过后回火的性能,通过使用狄利克雷观测模型,在那里我们明确地控制任意的不确定性的水平,而不需要任何回火。
2022-03-30 cs.LG stat.ML
Optimizing Data Augmentation through Bayesian Model Selection
KAUST(卡斯土尼亚和布尔班大学);Huawei Paris Research Center(华为巴黎研究中心);UiT The Arctic University of Norway(UiT北极大学);Aalto University(艾尔沃斯大学)
本文提出通过贝叶斯模型选择优化数据增强,提升模型鲁棒性和泛化能力。
2026-03-03 cs.LG stat.ML
How Tempering Fixes Data Augmentation in Bayesian Neural Networks
ETH Zürich(苏黎世联邦理工学院)
本文从理论上解释贝叶斯神经网络中数据增强导致冷后验效应的原因,证明调温可修正把相关增强视为 i.i.d. 数据带来的误设,并通过组卷积实验验证模型不变性与最优温度的关系。
2022-05-27 cs.LG stat.ML
Learning Bayesian Networks with Incomplete Data by Augmentation
University of Amsterdam(阿姆斯特丹大学)
我们提出了新的算法,学习贝叶斯网络的缺失值的数据,使用数据增强的方法。通过将该问题转化为一个无数据缺失的标准贝叶斯网络学习问题,得到了一个精确的贝叶斯网络学习算法。据我们所知,这是这个问题的第一个精确算法。正如预期的那样,精确算法不能扩展到大的域。我们建立在精确的方法,使用爬山技术创建一个近似算法。该算法可扩展到大的域,只要一个合适的标准结构学习方法的完整的数据是可用的。我们进行了广泛的实验,以证明学习贝叶斯网络的好处,这种新的方法。
2016-10-09 cs.AI stat.ML
Pólygamma Data Augmentation to address Non-conjugacy in the Bayesian Estimation of Mixed Multinomial Logit Models
Cornell University(康奈尔大学);UNSW Australia(新南威尔士大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
混合多项Logit(MMNL)模型的标准Gibbs抽样方法是采用Metropolis-Hastings(MH)算法对效用参数的条件密度进行抽样,但由于Logit核的共轭先验不可用。为了解决这种非共轭问题,我们提出了应用Pólygamma数据增强(PG-DA)技术的MMNL估计。增广和默认吉布斯采样器的后验估计是相似的两个替代方案(二进制选择),但我们遇到的情况下,更多的替代品($J \geq 3$)的经验识别问题。
2019-04-13 cs.LG econ.EM stat.AP
Scalable Vertical Federated Learning via Data Augmentation and Amortized Inference
Centre for Data Science, Queensland University of Technology(昆士兰科技大学数据科学中心);School of Mathematical Sciences, Queensland University of Technology(昆士兰科技大学数学科学学院);Euler Institute, Università della Svizzera italiana (USI)(瑞士意大利语区大学欧拉研究所);Insubria University(因苏布里亚大学)
提出首个面向VFL的贝叶斯建模综合框架,通过数据增强、似然分解与摊销变分近似实现与观测数无关的可扩展隐私保护推理。
2024-05-07 cs.LG stat.CO stat.ME
Bayesian Generative Active Deep Learning
University of Adelaide(阿德莱德大学);University of Liverpool(利物浦大学)
深度学习模型在几个问题上表现出了出色的性能,但它们的训练过程往往需要大量的计算和人力资源来进行训练和标记,从而限制了可以解决的问题类型。因此,设计有效的训练方法,需要小标记的训练集是一个重要的研究方向,将允许更有效地利用资源。在目前的方法,旨在解决这个问题,两个特别有趣的:数据增强和主动学习。数据增强通过人工生成新的训练点来实现这一目标,而主动学习则依赖于选择未标记训练样本的“信息量最大”子集来由oracle标记。虽然在实践中是成功的,但数据增强可能会浪费计算资源,因为它不加区别地生成不能保证是信息性的样本,并且主动学习(从大的未注释集合中)选择可能不足以用于训练过程的信息性样本的小子集。在本文中,我们提出了一种贝叶斯生成主动深度学习方法,将主动学习与数据增强相结合-我们提供了理论和经验证据(MNIST,CIFAR- $\{10,100\}$和SVHN),证明我们的方法比数据增强和主动学习具有更有效的训练和更好的分类结果。
2019-04-26 cs.LG stat.ML
Bayesian inference for logistic models using Polya-Gamma latent variables
我们提出了一种新的数据增强策略,完全贝叶斯推断模型与二项式似然。该方法利用一类新的Polya-Γ分布,并详细构造了这类分布.各种各样的例子来显示该方法的多功能性,包括逻辑斯谛回归,负二项回归,非线性混合效应模型,和计数数据的空间模型。在每一种情况下,我们的数据增强策略都能为后验推理提供简单有效的方法:(1)避免解析近似、数值积分或Metropolis-Hastings的需要;(2)在易用性和计算效率方面优于其他已知的数据增强策略。所有的方法,包括一个有效的采样器的Polya-Γ分布,在R包贝叶斯Logit实现。在论文结尾的技术补充中,我们提供了关于Polya-Gamma随机变量生成的进一步细节;主要手稿中报告的经验基准;以及将基本数据增强框架扩展到列联表和多项式结果。
2013-07-22 stat.CO stat.ME stat.ML
Bayesian Non-Homogeneous Markov Models via Polya-Gamma Data Augmentation with Applications to Rainfall Modeling
离散时间隐马尔可夫模型是一类广泛使用的潜变量模型,在语音识别、生物信息学和气候数据分析等领域有着广泛的应用。在实践中,通过多项式逻辑参数化使转移概率依赖于随时间变化的外部输入变量,从而将时间非均匀性引入此类模型中是常见的。我们扩展这样的模型,引入额外的非均匀性的排放分布使用广义线性模型(GLM),与数据扩增的采样为基础的推理。然而,在状态转换模型中的逻辑函数的存在显着复杂的参数推断的整体模型,特别是在贝叶斯上下文中。为了解决这个问题,我们扩展了最近提出的Polya-Gamma数据增强方法来处理非齐次隐马尔可夫模型(NHMM),允许开发一个有效的马尔可夫链蒙特卡罗(MCMC)采样方案。我们将我们的模型和推理方案应用于印度30年的日降雨量,从而对该地区与气候相关的现象产生了一些见解。我们提出的方法允许完全贝叶斯分析的规模相对复杂的NH 4S,这是不可能与以前的方法。实现本文所述方法的软件可通过R包NHMM获得。
2017-01-13 stat.AP stat.ML
Posterior Uncertainty Quantification in Neural Networks using Data Augmentation
Columbia University(哥伦比亚大学);Apple Machine Learning Research(苹果公司机器学习研究部门)
本文提出MixupMP,通过数据增强构建更真实的预测分布,作为深度集成的替代品,基于鞅后验框架实现隐式贝叶斯后验采样,在图像分类上取得更优的预测性能与不确定性量化。
2024-03-18 cs.LG stat.ML
Discriminative Nonparametric Latent Feature Relational Models with Data Augmentation
Tsinghua University(清华大学)
提出了一种判别式非参数潜在特征关系模型(LFRM),用于链接预测自动推断潜在特征的维数。在一般的RegBayes(regularized Bayesian inference)框架下,我们将贝叶斯模型的预测损失与概率推理相结合,为不同类型的链路设置不同的正则化参数,以处理真实网络中的不平衡问题,并统一分析平滑对数损失和分段线性铰链损失。对于非共轭后验推断,我们提出了一个简单的吉布斯采样通过数据增强,而不作限制性的假设,在变分方法。我们进一步开发了一个近似采样器,使用随机梯度Langevin动力学来处理具有数十万个实体和数百万个链接的大型网络,其数量级大于现有LFRM模型可以处理的数量级。对各种真实网络的广泛研究显示出良好的性能。
2015-12-07 cs.LG stat.ML
Sampling constrained probability distributions using Spherical Augmentation
具有约束概率分布的统计模型在机器学习中非常丰富。一些示例包括具有范数约束的回归模型(例如,Lasso)、probit、许多copula模型和潜在狄利克雷分配(LDA)。贝叶斯推断涉及概率分布局限于约束域可能是非常具有挑战性的常用的抽样算法。在本文中,我们提出了一种新的增强技术,通过将约束域映射到增强空间中的球体来处理各种约束。通过在这个球体的表面上自由移动,采样算法隐式地处理约束,并生成在映射回原始空间时保持在边界内的建议。我们提出的方法,称为{球面增强},提供了一个数学上自然和计算效率的框架,从约束概率分布采样。我们展示了我们的方法的优势,国家的最先进的采样算法,如精确的哈密顿蒙特卡罗,使用几个例子,包括截断高斯分布,贝叶斯套索,贝叶斯桥回归,重建量化平稳高斯过程,和LDA主题建模。
2015-06-19 stat.CO stat.ML
Pseudo-task Augmentation: From Deep Multitask Learning to Intratask Sharing---and Back
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Sentient Technologies, Inc.(Sentient科技公司)
深度多任务学习通过在相关任务之间共享学习到的结构来提高性能。本文将深度多任务学习的思想适应于只有单个任务可用的环境。该方法被形式化为伪任务增强,其中每个任务都使用多个解码器来训练模型。伪任务模拟训练对来自同一宇宙的密切相关任务的影响。在一系列实验中,伪任务增强被证明可以提高单任务学习问题的性能。当与多任务学习相结合时,可以实现进一步的改进,包括CelebA数据集上最先进的性能,这表明伪任务增强和多任务学习具有互补价值。总而言之,伪任务增强是提高深度学习系统性能的一种广泛适用且有效的方法。
2018-06-12 cs.LG stat.ML
Improving Deep Learning using Generic Data Augmentation
University of Cape Town(开普敦大学)
深度人工神经网络需要大量的训练数据以便有效地学习,其中收集这样的训练数据通常是昂贵且费力的。数据增强通过使用标签保持转换人为地膨胀训练集来克服这个问题。最近,已经广泛使用通用数据增强来提高卷积神经网络(CNN)任务性能。这项研究对各种流行的数据增强方案进行了基准测试,以使研究人员能够就哪些训练方法最适合他们的数据集做出明智的决定。使用相对简单的CNN在粗粒度数据集上评估各种几何和光度方案。使用4倍交叉验证运行并以Top-1和Top-5准确度报告的实验结果表明,几何增强中的裁剪显著提高了CNN任务性能。
2017-08-20 cs.LG stat.ML
Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes
University of Cambridge(剑桥大学);University of Bristol(布里斯托大学)
我们认为最佳的近似后验的顶层权重的贝叶斯神经网络的回归,并表明它表现出很强的依赖于较低层的权重。我们适应这一结果,在贝叶斯神经网络的所有层的权重开发一个相关的近似后验。我们将这种方法扩展到深度高斯过程,统一了两个模型类中的推理。我们的近似后验使用学习的“全局”诱导点,这些诱导点仅在输入层定义,并通过网络传播以获得后续层的诱导输入。相比之下,来自深度高斯过程文献的标准“局部”诱导点方法优化了每一层处的诱导输入的单独集合,并且因此不对跨层的相关性进行建模。我们的方法为变分贝叶斯方法提供了最先进的性能,在没有数据增强或回火的情况下,CIFAR-10为86.7%,与没有回火但有数据增强的SGMCMC相当(Wenzel等人2020年为88%)。
2021-06-22 cs.LG stat.ML
A Bayesian Approach to Invariant Deep Neural Networks
ETH Zürich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Imperial College London(帝国理工学院)
我们提出了一种新的贝叶斯神经网络架构,可以学习不变性的数据单独推断后验分布在不同的权重分配方案。我们表明,当在包含特定不变性的数据集上训练时,我们的模型优于其他非不变架构。当不执行数据增强时,情况也是如此。
2021-11-02 cs.LG stat.ML
Bayesian Inference for Gamma Models
我们使用正态方差-均值混合理论来推导包括伽马函数的模型的数据增强方案。我们的方法适用于统计和机器学习中的许多情况,包括多项狄利克雷分布、负二项回归、Poisson-Gamma分层模型、极值模型等。所有这些模型都包括一个伽马函数,它不允许自然共轭先验分布,这对推理和预测提出了重大挑战。为了提供一个数据扩充策略,我们建立和发展了指数倒数Γ分布类的理论。这允许开发可扩展的EM和MCMC算法。我们说明了我们的方法上的一些例子,包括伽玛形状推断,负二项回归和狄利克雷分配。最后,我们总结了未来研究的方向。
2021-06-21 stat.CO stat.ME stat.ML
Data Augmentation for Deep Candlestick Learner
National Taiwan University(国立台湾大学);Brookhaven National Laboratory(布鲁克海文国家实验室);Soochow University(东吴大学)
为了成功构建深度学习模型,它将需要大量的标记数据。然而,在许多用例中,标记数据很难收集。为了解决这个问题,近年来出现了一系列数据增强方法,并在计算机视觉、自然语言等领域取得了成功的结果,但对于金融交易数据,成功的数据增强框架研究还很少。在这里,我们提出了一种改进的本地搜索攻击采样方法来增加烛台数据,这是一个非常重要的工具,为专业交易者。实验结果表明,该方法能够生成高质量的、难以被人分辨的数据,为金融界在数据集较小的情况下使用现有的机器学习技术开辟了一条新的途径。
2020-05-29 cs.LG stat.ML
SODA: Self-organizing data augmentation in deep neural networks -- Application to biomedical image segmentation tasks
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CRIStAL(里尔信号与自动化信息研究中心)
在实践中,数据增强被分配了预定义的预算,即每个时期新创建的样本。当使用几种类型的数据扩充时,预算通常均匀分布在扩充集上,但人们可能会想,是否应该以更有效的方式将此预算分配给每种类型。本文利用在线学习来动态分配此预算,作为神经网络训练的一部分。该元算法几乎无需额外成本即可运行,因为它利用基于梯度的信号来确定应首选哪种类型的数据增强。实验表明,这种策略可以节省计算时间,从而在绿色的机器学习实践的方式。
2022-02-07 cs.LG eess.IV stat.ML
Deep Learning Hyperspectral Image Classification Using Multiple Class-based Denoising Autoencoders, Mixed Pixel Training Augmentation, and Morphological Operations
Mississippi State University(密西西比州立大学)
在这里,我们提出了一个系统的高光谱图像分割,利用多个类-基于去噪自动编码器,有效地训练。此外,我们提出了一种新的高光谱数据增强方法标记HSI数据使用线性混合像素从每个类,这有助于系统的边缘像素几乎总是混合像素。最后,我们利用深度神经网络和形态学孔洞填充来提供鲁棒的图像分类。在Salinas数据集上的运行结果验证了该算法的高性能。
2018-07-11 cs.CV cs.LG stat.ML
Online Data Augmentation for Forecasting with Deep Learning
Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院);Laboratory for Artificial Intelligence and Computer Science (LIACC)(人工智能与计算机科学实验室);INESC TEC;Fraunhofer Portugal AICOS(弗劳恩霍夫葡萄牙AICOS)
本文提出在线数据增强框架,在神经网络训练过程中逐批次生成合成样本以平衡真实与合成数据,并在6个基准数据集、3797条时间序列、三种架构和七种生成技术上验证其优于离线增强或无增强的预测性能。
2025-01-03 cs.LG stat.ML
Signed Laplacian Deep Learning with Adversarial Augmentation for Improved Mammography Diagnosis
University of Edinburgh(爱丁堡大学);Edinburgh Cancer Centre, Western General Hospital(西部综合医院爱丁堡癌症中心)
计算机辅助乳腺癌诊断在乳房X线摄影是有限的数据不足和良性和恶性肿块之间的相似性。为了解决这个问题,我们提出了一个带有对抗性增强的符号图正则化深度神经网络,名为\textsc{DiagNet}。首先,我们使用对抗学习来为每个质量类别生成包含阳性和阴性质量的乳房X线照片。之后,在扩展的数据上构建有符号的相似性图,以进一步突出区分。最后,通过联合优化符号图正则化和分类损失来训练深度卷积神经网络。实验表明,\textsc{DiagNet}框架在乳腺X射线摄影中的乳腺肿块诊断方面优于最新技术。
2019-09-14 cs.LG eess.IV stat.ML
Fast Mixing of Data Augmentation Algorithms: Bayesian Probit, Logit, and Lasso Regression
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出使用改进的导电性方法研究数据增强算法的混合时间,证明了三种重要算法的非渐近多项式上界,展示了在设计矩阵和先验协方差矩阵上的紧界。
2026-04-21 math.PR math.ST stat.ML
Time Series Data Augmentation for Deep Learning: A Survey
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Alibaba Group(阿里巴巴集团);Twitter(推特)
最近,深度学习在许多时间序列分析任务上表现得非常好。深度神经网络的优越性能在很大程度上依赖于大量的训练数据来避免过拟合。然而,许多现实世界的时间序列应用的标记数据可能是有限的,如医疗时间序列中的分类和AIOps中的异常检测。作为提高训练数据规模和质量的有效方法,数据增强对于深度学习模型在时间序列数据上的成功应用至关重要。在本文中,我们系统地回顾了不同的数据增强方法的时间序列。我们提出了一个分类法的审查方法,然后提供了一个结构化的审查,这些方法突出自己的优势和局限性。我们还根据经验比较了不同任务的不同数据增强方法,包括时间序列分类,异常检测和预测。最后,我们讨论并强调了未来的五个方向,以提供有用的研究指导。
2022-03-31 cs.LG eess.SP stat.ML
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University(台湾大学)
在过去的几年里,深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括,并利用先前的经验更快地学习新技能。然而,目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识,并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法,这是一种流行的强化学习基准,并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
Image Augmentation Is All You Need: Regularizing Deep Reinforcement Learning from Pixels
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
我们提出了一种简单的数据增强技术,可以应用于标准的无模型强化学习算法,使强大的学习直接从像素,而不需要辅助损失或预训练。该方法利用计算机视觉任务中常用的输入扰动来正则化价值函数。现有的无模型方法,如Soft Actor-Critic(SAC),无法从图像像素有效地训练深度网络。然而,我们的增强方法的加入大大提高了SAC的性能,使其在DeepMind控制套件上达到最先进的性能,超过了基于模型的方法(Dreamer,PlaNet和SLAC)和最近提出的对比学习(CURL)。我们的方法可以与任何无模型强化学习算法相结合,只需要很小的修改。可以在https://sites.google.com/view/data-regularized-q找到实现。
2021-03-07 cs.CV cs.LG eess.IV
Data Augmentation for Detection of Architectural Distortion in Digital Mammography using Deep Learning Approach
University of São Paulo(圣保罗大学);Eco & Mama Diagnóstico Digital(Eco & Mama数字诊断公司)
早期发现乳腺癌可以提高治疗效率。架构扭曲(AD)是乳腺组织的一种非常微妙的收缩,可能是癌症的最早迹象。由于它很可能被放射科医生忽视,多年来已经提出了几种方法,但没有一种使用深度学习技术。为了训练卷积神经网络(CNN),这是一种深度神经架构,需要大量的数据。为了克服这个问题,本文提出了一种应用于临床图像数据集的数据增强方法,以正确地训练CNN。使用接收器操作特征分析的结果显示,利用非常有限的数据集,我们可以训练CNN以在数字乳腺摄影中检测AD,曲线下面积(AUC = 0.74)。
2018-07-06 cs.CV cs.LG stat.ML
Anatomically-Informed Data Augmentation for functional MRI with Applications to Deep Learning
UT Southwestern Medical Center(德克萨斯大学西南医学中心)
应用深度学习从功能神经成像数据构建准确的预测模型通常会受到数据集大小有限的阻碍。虽然数据增强可以帮助减轻这种训练障碍,但大多数数据增强方法都是针对自然图像开发的,如CIFAR等计算机视觉任务,而不是针对医学图像。这项工作有助于填补这一空白,提出了一种方法,用于生成新的功能磁共振图像(fMRI)与现实的大脑形态。这种方法是测试一个具有挑战性的任务,预测抗抑郁药治疗反应的治疗前任务为基础的功能磁共振成像,并证明了26%的性能提高预测响应使用增强图像。这种改进与自然图像的最先进的增强方法相比是有利的。通过烧蚀测试,增强也被证明是大幅提高性能时,应用在超参数优化。这些结果表明,最佳的操作顺序和支持的作用,数据增强方法,提高预测性能的任务,使用功能磁共振成像。
2019-10-17 cs.LG eess.IV q-bio.NC
DeepCapture: Image Spam Detection Using Deep Learning and Data Augmentation
Sungkyunkwan University(成均馆大学);Data61, CSIRO(联邦科学与工业研究组织数据61所);Cyber Security Cooperative Research Centre(网络安全合作研究中心)
图像垃圾邮件通常用于逃避基于文本的垃圾邮件过滤器,该过滤器使用其频繁使用的关键字来检测垃圾邮件。在本文中,我们提出了一个新的图像垃圾邮件检测工具,称为DeepCapture使用卷积神经网络(CNN)模型。已经有许多努力来检测图像垃圾邮件,但是由于在训练阶段的过拟合,针对全新的和看不见的图像垃圾邮件存在显著的性能下降。为了解决这个具有挑战性的问题,我们主要集中在开发一个更强大的模型来解决过拟合问题。我们的主要思想是建立一个CNN-XGBoost框架,包括8层,只有大量的训练样本,使用数据增强技术量身定制的图像垃圾邮件检测任务。为了证明DeepCapture的可行性,我们使用由6,000个垃圾邮件和2,313个非垃圾邮件图像样本组成的公开数据集来评估其性能。实验结果表明,DeepCapture能够实现88%的F1分数,比现有最好的垃圾邮件检测模型CNN-SVM(F1分数为82%)提高了6%。此外,DeepCapture在新的和看不见的图像数据集上优于现有的图像垃圾邮件检测解决方案。
2020-06-16 cs.CV cs.LG stat.ML
Time Matters in Regularizing Deep Networks: Weight Decay and Data Augmentation Affect Early Learning Dynamics, Matter Little Near Convergence
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
正则化通常被理解为通过改变模型最终收敛到的局部极值来改善泛化。然而,深度神经网络(DNN)挑战了这一观点:我们表明,在初始过渡期之后删除正则化对泛化的影响很小,即使最终的损失情况与没有正则化的情况相同。在某些情况下,在中断正则化之后,泛化甚至有所改善。相反,如果仅在初始瞬态之后应用正则化,则它对最终解没有影响,其泛化差距就像正则化从未发生过一样糟糕。这表明,训练深度网络的重要性不仅仅在于是否或如何正则化,而是何时正则化。我们观察到的现象表现在不同的数据集(CIFAR-10,CIFAR-100),不同的架构(ResNet-18,All-CNN),不同的正则化方法(权重衰减,数据增强),不同的学习率调度(指数,分段常数)。他们共同认为,有一个“关键时期”来正则化深度网络,这对最终的表现是决定性的。因此,更多的分析应该集中在学习的瞬态而不是渐近行为上。
2019-05-30 cs.AI cs.LG stat.ML
Improving brain computer interface performance by data augmentation with conditional Deep Convolutional Generative Adversarial Networks
脑机接口领域的一个很大的限制是训练样本非常有限,很难用这样有限的数据建立一个可靠的可用系统。为了提高卷积神经网络在脑机接口领域中的性能,克服训练数据集小的问题,受生成对抗网络的启发,提出了一种条件深度卷积生成对抗网络(cDCGAN)方法,自动生成更多的人工脑电信号用于数据增强。我们在运动想象的BCI竞争数据集上评估了所提出的cDCGAN方法。实验结果表明,从高斯噪声中生成的人工脑电数据能够学习到原始脑电数据的特征,并且在测试数据集中具有不低于原始脑电数据的分类精度。同时,在训练数据有限的情况下,利用生成的人工数据可以有效地提高同一模型的分类精度。
2018-12-27 cs.HC cs.LG q-bio.NC
ZhuSuan: A Library for Bayesian Deep Learning
Tsinghua University(清华大学);University of Toronto(多伦多大学)
在本文中,我们介绍了用于贝叶斯深度学习的Python概率编程库ZhuSuan,它结合了贝叶斯方法和深度学习的互补优势。ZhuSuan基于Tensorflow构建。与现有的深度学习库主要针对确定性神经网络和监督任务而设计不同,ZhuSuan的特点是它深深植根于贝叶斯推断,从而支持各种概率模型,包括传统的分层贝叶斯模型和最近的深度生成模型。我们使用运行的例子来说明竹算上的概率规划,包括贝叶斯逻辑斯谛回归,变分自动编码器,深度sigmoid信念网络和贝叶斯递归神经网络。
2017-09-18 cs.AI cs.LG cs.NE