General Purpose (GenP) Bioimage Ensemble of Handcrafted and Learned Features with Data Augmentation
Missouri State University(密苏里州立大学);Tampere University(坦佩雷大学)
生物图像分类在许多生物学问题中起着至关重要的作用。在这项工作中,我们提出了一种新的通用(GenP)集成,通过结合局部特征,密集采样特征和深度学习方法来提高性能。首先,我们介绍了三种基于PCA/DCT的数据增强的新方法;其次,我们展示了不同的数据增强方法可以提高CNN集成的性能;最后,我们提出了一组高度通用的手工制作/学习描述符。每个手工制作的描述符用于训练不同的支持向量机(SVM),并且不同的SVM与CNN的集合相结合。我们的方法进行了评估,一组不同的生物图像分类问题。结果表明,所提出的GenP生物图像集成获得了最先进的性能,而没有任何ad-hoc数据集调整参数(从而避免了过度拟合/过度训练的风险)。
2021-07-06 cs.CV cs.LG
Geodesics of learned representations
Howard Hughes Medical Institute(霍华德·休斯医学研究所);Center for Neural Science(神经科学中心);Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
我们开发了一种新的方法来可视化和精炼学习表征的不变性。具体来说,我们测试的一般形式的不变性,线性化,其中的行动的变换被限制在一个低维子空间。给定两个参考图像(通常,通过一些变换而不同),我们合成一个图像序列,该图像序列位于它们之间的路径上,该路径在表示空间中具有最小长度(“表示测地线”)。如果通过表示将与两个参考图像相关的变换线性化,则该序列应当遵循该变换的逐渐演变。我们使用这种方法来评估一个国家的最先进的图像分类网络的不变性,并发现生成的图像对不同的平移,旋转和膨胀的测地线不演变根据其相关的变换。我们的方法还建议这些故障的补救措施,并按照此处方,我们表明,修改后的表示是能够线性化的各种几何图像变换。
2016-02-22 cs.CV cs.LG
SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
UC Berkeley(加州大学伯克利分校);BAIR(伯克利人工智能研究中心);Weill Neurosciences Institute(威尔神经科学研究所);UCSF(加州大学旧金山分校)
无监督表示学习中的一个常见做法是使用标记数据来评估学习表示的质量。然后,该监督评估用于指导训练过程的关键方面,例如选择数据增强策略。然而,通过监督评估来引导无监督训练过程对于实际上不包含标签的真实世界数据是不可能的(例如,在诸如医学成像的隐私敏感领域中可能是这种情况)。因此,在这项工作中,我们表明,评估学习表示与自我监督的图像旋转任务是高度相关的一组标准的监督评价(秩相关$> 0.94$)。我们在数百种增强策略、训练设置和网络架构之间建立了这种相关性,并提供了一种算法(SelfAugment)来自动有效地选择增强策略,而无需使用监督评估。尽管没有使用任何标记的数据,学习的增强策略执行与使用穷举监督评估确定的增强策略的交互。
2021-05-17 cs.CV cs.LG
Learning Data Augmentation Strategies for Object Detection
Google Research(谷歌研究院)
数据增强是训练深度学习模型的关键组成部分。虽然数据增强已被证明可以显着改善图像分类,但其潜力尚未被彻底研究用于目标检测。考虑到为目标检测注释图像的额外成本,数据增强对于该计算机视觉任务可能甚至更重要。在这项工作中,我们研究了数据增强对目标检测的影响。我们首先证明,从图像分类借用的数据增强操作可能有助于训练检测模型,但改进是有限的。因此,我们研究如何学习,专门的数据增强政策提高检测模型的泛化性能。重要的是,这些增强策略只影响训练,并在评估期间保持训练模型不变。COCO数据集上的实验表明,优化的数据增强策略将检测精度提高了+2.3 mAP以上,并允许单个推理模型达到50.7 mAP的最新精度。重要的是,在COCO上找到的最佳策略可以不加改变地转移到其他检测数据集和模型,以提高预测准确性。例如,COCO确定的最佳增强策略将PASCAL-VOC的强基线提高了+2.7 mAP。我们的研究结果还表明,学习增强策略优于最先进的架构正则化方法的目标检测,即使在考虑强基线。使用所学策略进行培训的代码可在https://github.com/tensorflow/tpu/tree/master/models/official/detection上在线获取
2019-06-26 cs.CV cs.LG
Geodesic Semantic Search: Cartographic Navigation of Citation Graphs with Learned Local Riemannian Maps
本文提出Geodesic Semantic Search (GSS),通过在引文图上学习节点特定的黎曼度量,实现几何感知的语义检索。不同于传统基于嵌入的检索依赖固定欧几里得距离,GSS在每个节点学习低秩度量张量,诱导局部正定度量,从而在保持模型可计算性的同时保证有效度量。检索过程通过多源Dijkstra算法在学习的测地距离上进行,随后通过最大边际相关性重排序和路径一致性过滤。在包含169,000篇arXiv论文的引文预测基准上,GSS在Recall@20上比SPECTER+FAISS基线提升了23%。我们提供了Bridge Recovery Guarantee,描述了测地检索在定性上优于直接相似性的情况,以及训练损失与检索质量的边际分离结果,并刻画了低秩度量参数化的表达能力。我们的分层粗到细检索方法结合k-means池化,将计算成本降低4倍,同时保持97%的检索质量。
2026-06-04 cs.IR cs.LG cs.SI
Principled Ultrasound Data Augmentation for Classification of Standard Planes
University of Oxford(牛津大学)
具有大学习能力的深度学习模型通常过拟合医学成像数据集。这是因为由于在医疗数据采集和标记中产生的大量时间和财务成本,训练集通常相对较小。因此,数据增强通常用于扩展训练数据的可用性并增加泛化。然而,增加战略往往是在没有正当理由的情况下临时选择的。在本文中,我们提出了一个增强策略搜索方法,以提高模型分类性能的目标。我们在增强策略搜索中包括了医学图像分析中经常使用的其他变换,并评估了它们的性能。此外,我们扩展了增强策略搜索,包括非线性混合示例数据增强策略。使用这些学习的政策,我们表明,原则性的数据增强的医学图像模型训练可以导致显着改善超声标准平面检测,平均F1分数提高了7.0%,总体上超过天真的数据增强策略,在超声胎儿标准平面分类。我们发现,学习表示的超声图像更好地聚类和定义与优化的数据增强。
2021-03-14 cs.CV cs.LG
Planckian Jitter: countering the color-crippling effects of color jitter on self-supervised training
University of Milano – Bicocca(米兰比可卡大学);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);University of Florence(佛罗伦萨大学)
最近的几项关于自监督学习的工作是通过将同一图像的不同增强映射到同一特征表示来训练的。所使用的数据增强对学习特征表示的质量至关重要。在本文中,我们分析了传统上用于数据增强的颜色抖动如何对学习特征表示中的颜色特征的质量产生负面影响。为了解决这个问题,我们提出了一个更现实的,基于物理学的颜色数据增强-我们称之为普朗克抖动-创造现实的变化,色度和产生一个模型鲁棒的照明变化,可以在现实生活中经常观察到,同时保持能力,区分图像内容的颜色信息的基础上。实验证实,这样的表示是互补的表示学习与当前使用的颜色抖动增强和一个简单的串联导致显着的性能增益在广泛的下游数据集。此外,我们提出了一个颜色敏感度分析,记录不同的训练方法对模型神经元的影响,并表明学习的功能的性能是强大的照明变化。
2023-02-02 cs.CV cs.LG
Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室);Simon Fraser University(西蒙菲莎大学)
图对比学习(GCL)是通过扩充图来学习节点表示的一种学习方法。尽管各种图增强策略的扩散,一些基本的问题仍然不清楚:什么信息本质上是编码到学习表示的GCL?在不同的扩充背后是否有一些通用的图扩充规则?如果是,它们是什么,它们能带来什么样的见解?本文通过建立GCL与图谱之间的联系,回答了这些问题。通过谱域的实验研究,我们首先发现了GCL的广义grAph增强(GAME)规则,即,两个增广图之间的高频部分的差异应该大于低频部分的差异。该规则揭示了重新审视现有图扩充和设计新的有效图扩充的基本原理。然后,我们从理论上证明了GCL能够通过对比不变性定理学习不变性信息,结合我们的GAME规则,我们首次发现GCL学习的表示本质上编码了低频信息,这解释了为什么GCL工作。在此规则的指导下,我们提出了一个谱图对比学习模块(SpCo),这是一个通用的和GCL友好的插件。我们将其与不同的现有GCL模型相结合,大量的实验表明,它可以进一步提高各种不同的GCL方法的性能。
2022-10-05 cs.LG
Fine-Grained AutoAugmentation for Multi-Label Classification
Peking University(北京大学);Alibaba Group(阿里巴巴集团);Alibaba DAMO Academy(阿里巴巴达摩院)
数据增强是提高深度学习模型泛化能力的常用方法。最近的工作表明,学习数据增强政策可以实现更好的泛化比手工制作的。然而,这些工作中的大多数对数据集中的所有样本使用统一的增强策略,这被观察到不一定对多标签分类任务中的所有标签有益,即,有些政策可能对某些标签产生负面影响,而对另一些标签有利。为了解决这个问题,我们提出了一种新的基于标签的自动增强(LB-Aug)方法,用于多标签场景,其中通过增强策略网络生成关于标签的增强策略。通过使用策略梯度方法的强化学习来学习策略,从而提供从实例标签到其最优增强策略的映射。数值实验表明,我们的LB-Aug在图像和视频分类的多个基准测试中的大幅度优于以前的最先进的增强方法。
2021-07-13 cs.CV cs.LG
Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations
Texas A&M University(德克萨斯A&M大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
自我监督最近在图形学习的新前沿蓬勃发展。它促进了有利于下游任务的图形表示;但它的成功可能取决于手工或通常昂贵的试验和错误的领域知识。即使是其最先进的代表,图对比学习(GraphCL),也不能完全摆脱这些需求,因为GraphCL使用由图数据增强的临时手动选择反映的预制先验。我们的工作旨在通过回答以下问题来推进GraphCL:如何表示图增强视图的空间?在那个空间里,学习先验知识可以依靠什么原则?什么样的框架可以被构建来与对比学习同步学习先验知识?因此,我们已经扩展了预制的离散先验的增强集,一个可学习的连续先验的参数空间中的图形生成器,假设图形先验本身,类似于图像流形的概念,可以通过数据生成来学习。此外,为了形成对比视图,而不会由于先前的可学习性而崩溃到平凡的解决方案,我们利用了信息最小化(InfoMin)和信息瓶颈(InfoBN)的原则来正则化学习的先验知识。最终,对比学习,InfoMin和InfoBN有机地结合到一个框架的双层优化。我们的原则性和自动化方法已被证明与最先进的图形自我监督方法(包括GraphCL)在小图基准上具有竞争力;并且在大规模图上显示出更好的泛化能力,而无需诉诸人类专业知识或下游验证。我们的代码在https://github.com/Shen-Lab/GraphCL_Automated上公开发布。
2022-01-04 cs.LG
Graph Contrastive Learning with Personalized Augmentation
The Hong Kong Polytechnic University(香港理工大学);Texas A&M University(德州农工大学)
图对比学习(GCL)已经成为学习图的无监督表示的有效工具。关键思想是通过数据增强来最大化每个图的两个增强视图之间的一致性。现有的GCL模型主要集中在对给定场景中的所有图应用\textit{identical augmentation strategies}。然而,现实世界的图往往不是单形的,而是不同性质的抽象。即使在相同的场景中(例如,大分子和在线社区),不同的图可能需要不同的增强来执行有效的GCL。因此,盲目地扩充所有图而不考虑它们的个体特征可能会破坏GCL艺术的性能。为了解决这个问题,我们提出了第一个原则性框架,称为\textit{G},使用\textit{P} sonalized \textit{A} ugmentation(GPA)进行对比学习,通过允许每个图选择自己合适的扩充操作来改进传统的GCL。本质上,GPA通过一个可学习的增强选择器,根据每个图的拓扑和节点属性为每个图推断定制的增强策略,该选择器是一个即插即用模块,可以通过下游GCL模型进行端到端的有效训练。在不同类型和领域的11个基准图上进行的大量实验证明了GPA相对于最先进竞争对手的优越性。此外,通过可视化不同类型数据集上的学习增强分布,我们表明GPA可以有效地根据每个图的特征识别最合适的增强。
2022-09-15 cs.LG
Cross-Class Feature Augmentation for Class Incremental Learning
Seoul National University(首尔大学)
本文提出一种基于对抗攻击的跨类特征增强方法,利用旧分类器为旧类别生成补充特征样本,缓解类增量学习中的样本不足和决策边界崩溃问题,无需修改架构即可显著提升性能。
2024-02-26 cs.CV cs.LG
Local Reference Geometry Residual Augmentation for Imbalanced Time Series Classification
针对不平衡时间序列分类中少数类特征空间局部可靠性不足的问题,提出LRG模块,通过增强特征提升分类性能,验证其在多类表示及高风险区域的有效性。
2026-09-02 cs.LG
Reactive Motion Generation on Learned Riemannian Manifolds
Bosch(博世)
本文提出利用VAE从人类示教中学习黎曼度量,并以障碍物感知度量重塑流形生成测地线,使7自由度机械臂可反应式避障并产生多模式运动。
2023-08-17 cs.AI cs.LG cs.RO
Augmentations in Graph Contrastive Learning: Current Methodological Flaws & Towards Better Practices
University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校)
无监督图表示学习对于标签可能稀缺或购买昂贵的广泛应用至关重要。对比学习(CL)是一个越来越受欢迎的范例,这种设置和国家的最先进的无监督视觉表示学习。最近的工作将视觉CL的成功归因于使用任务相关的增强和大型,多样化的数据集。有趣的是,图CL框架报告了强大的性能,尽管使用了数量级较小的数据集并采用了域不可知图增强(DAGA)。出于这种差异,我们探讨了使用DAGA的流行图CL框架学习的表示质量。我们发现,DAGA可以破坏任务相关的信息,损害模型的能力,学习歧视性的表示。在小的基准数据集上,我们证明了图神经网络的归纳偏差可以显着弥补这种弱的可分辨性。基于我们的研究结果,我们提出了几个健全的检查,使从业者能够快速评估他们的模型的学习表示的质量。我们进一步提出了一个广泛的策略,用于设计任务感知的增强,是服从图CL,并证明其功效两个大规模的,复杂的图形应用程序。例如,在基于图的文档分类中,我们发现任务感知增强将准确率提高了20%。
2022-03-11 cs.LG
Local Augmentation for Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学);Stanford University(斯坦福大学);Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
图神经网络(GNN)在基于图的任务上取得了卓越的性能。GNN的核心思想是通过聚集来自局部邻域的信息来获得信息表示。然而,它仍然是一个悬而未决的问题,是否足够的邻域信息聚合学习表示的节点与邻居很少。为了解决这个问题,我们提出了一个简单而有效的数据增强策略,局部增强,学习的中心节点的功能为条件的邻居的节点特征的分布和增强GNN的表达能力与生成的功能。局部增强是一个通用框架,可以以即插即用的方式应用于任何GNN模型。它从学习的条件分布中采样与每个节点相关联的特征向量,作为每次训练迭代时骨干模型的额外输入。大量的实验和分析表明,局部增强在应用于各种GNN架构时,在不同的基准测试中始终会产生性能改进。例如,实验表明,在Cora,Citeseer和Pubmed上的测试准确性方面,插入GCN和GAT的局部增强平均提高了3.4%和1.6%。此外,我们在大型图(OGB)上的实验结果表明,我们的模型一致地提高了主干的性能。代码可在https://github.com/SongtaoLiu0823/LAGNN上获得。
2022-06-27 cs.LG
Measuring Learned Equivariance: An Information Theoretic Approach
Khoury College of Computer Sciences(科里计算机科学学院);Northeastern University(东北大学)
该研究提出一种基于信息论的方法,通过归一化互信息(NMI)和中心核对齐(CKA)测量神经网络的学习等变性,实验显示数据增强可提升变换一致性,无需恢复隐藏变换规则即可探测等变性。
2026-10-14 cs.AI cs.IT cs.LG
Robust Hybrid Learning With Expert Augmentation
Apple(苹果公司);Harvard(哈佛大学);University of Liège(列日大学)
本文提出专家增强策略,利用专家模型在训练分布外的有效性,通过概率形式化将其纳入混合系统以提升泛化能力,并在动力系统建模和真实双摆数据上验证了其效果。
2023-04-11 cs.LG stat.ML
Distributionally Robust Fair Principal Components via Geodesic Descents
VinAI Research(VinAI 研究院);Hong Kong Polytechnic University(香港理工大学)
主成分分析是现代机器学习管道中一种简单而有用的降维技术。在大学入学、医疗保健和信贷审批等重要领域,必须考虑新兴标准,如学习预测的公平性和稳健性。在本文中,我们提出了一个分布鲁棒优化问题的主成分分析,内在的公平性标准的目标函数。因此,学习的投影平衡了总重构误差与子组之间的重构误差间隙之间的权衡,在基于矩的模糊度集合中的所有分布上在最小-最大意义上采取。由此产生的Stiefel流形上的优化问题可以有效地解决了黎曼次梯度下降算法的次线性收敛速度。我们在真实世界数据集上的实验结果显示了我们所提出的方法在最先进的基线上的优点。
2022-02-07 cs.LG math.OC stat.ML
CNN based Cuneiform Sign Detection Learned from Annotated 3D Renderings and Mapped Photographs with Illumination Augmentation
Martin-Luther-Universität Halle-Wittenberg(马丁·路德大学哈雷-维滕贝格);University of Applied Sciences Mainz(美因茨应用科学大学)
本研究针对楔形文字识别难题,提出基于RepPoints检测器结合3D渲染与照片映射及光照增强的方法,利用HeiCuBeDa和MaiCuBeDa数据集验证,证明3D渲染图像提升照片检测性能。
2023-08-22 cs.AI cs.CV cs.LG
Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models
Carnegie Mellon University(卡内基梅隆大学);Tohoku University(东北大学);Center for Advanced Intelligence Project (AIP), RIKEN(理化学研究所先进智能项目中心(AIP))
本文实证研究 Random Erasing、CutOut、CutMix 和 MixUp 四种数据增强对自监督/半监督/全监督预训练模型的影响,揭示遮盖区域降低不变性但提升多样性,而 MixUp 在几乎不损失不变性的情况下显著增强多样性。
2023-10-28 cs.AI cs.CV cs.LG
Graph Contrastive Learning with Implicit Augmentations
The University of Sydney(悉尼大学);ByteDance AI Lab(字节跳动人工智能实验室);University of California San Diego(加利福尼亚大学圣迭戈分校)
现有的图对比学习方法依赖于基于随机扰动的增强技术(例如,随机添加或丢弃边和节点)。然而,改变某些边或节点可能会意外地改变图形特征,并且为每个数据集选择最佳扰动率需要繁重的手动调整。在本文中,我们介绍了隐式图对比学习(iGCL),它利用增广的潜在空间学习的变化图自动编码器通过重建图的拓扑结构。重要的是,而不是显式地从潜在分布中采样增强,我们进一步提出了一个上限的预期对比损失,以提高我们的学习算法的效率。因此,图语义可以以智能的方式保留在扩充中,而无需任意的手动设计或先前的人类知识。图形级和节点级任务的实验结果表明,与其他基准测试相比,所提出的方法达到了最先进的性能,其中消融研究最终证明了iGCL中模块的有效性。
2022-11-07 cs.LG stat.ML
Dataset Augmentation in Feature Space
University of Guelph(圭尔夫大学)
数据集增强是应用广泛的特定领域转换来综合扩展训练集的实践,是监督学习中的标准工具。虽然在视觉识别等任务中很有效,但必须为每个新领域仔细设计、实现和测试转换集,这限制了其重用和通用性。在本文中,我们采用了一种更简单的、与领域无关的方法来增强数据集。我们从现有的数据点开始,并应用简单的转换,例如添加噪声,插值或在它们之间外推。我们的主要见解是不在输入空间中执行转换,而是在学习的特征空间中执行转换。人们对无监督表示学习的兴趣重新燃起,使得这种技术变得及时和有效。这是一个简单的建议,但迄今为止还没有经过经验检验。在序列到序列模型生成的上下文向量空间中工作,我们展示了一种对静态和顺序数据都有效的技术。
2017-02-17 cs.LG stat.ML
Riemannian Metric Learning for Symmetric Positive Definite Matrices
University of Maryland, College Park(马里兰大学帕克分校)
在过去的几年里,对称正定(SPD)矩阵一直受到计算机视觉界的广泛关注。虽然在过去已经提出了各种距离措施比较SPD矩阵,两个最广泛使用的措施是仿射不变距离和对数欧几里德距离。这是因为这两个测度是由黎曼几何导出的真测地距离。在这项工作中,我们专注于对数欧几里德黎曼几何,并提出了一个数据驱动的方法来学习黎曼度量/测地距离SPD矩阵。我们表明,使用所提出的方法学习的测地线距离比各种现有的距离措施进行评估时,人脸匹配和聚类任务。
2015-01-10 cs.CV cs.LG
Deep Cross-Modality and Resolution Graph Integration for Universal Brain Connectivity Mapping and Augmentation
Istanbul Technical University(伊斯坦布尔技术大学)
连接大脑模板(CBT)捕捉了给定大脑连接体群体中所有个体的共同特征,从而充当指纹。从一个人群中估计CBT,其中脑图来自不同的神经成像模式(例如,功能的和结构的)和不同的分辨率(即,节点数)仍然是一个需要解决的巨大挑战。这样的网络整合任务允许学习跨不同模态和分辨率的大脑连接的丰富和通用的表示。由此产生的CBT基本上可以用于生成全新的多模态大脑连接体,这可以促进下游任务的学习,例如大脑状态分类。在这里,我们提出了多模态多分辨率脑图集成器网络(即,M2GraphIntegrator),第一个多模态多分辨率图集成框架,将给定的连接组群体映射到一个中心良好的CBT。M2GraphIntegrator首先通过使用分辨率特定的图形自动编码器来统一脑图分辨率。接下来,它将得到的固定大小的大脑图整合到位于其人群中心的通用CBT中。为了保持种群的多样性,我们进一步设计了一种新的基于聚类的训练样本选择策略,该策略利用了最异构的训练样本。为了确保生物学健全的学习CBT,我们提出了一个拓扑损失,最大限度地减少地面实况脑图和学习CBT之间的拓扑差距。我们的实验表明,从一个单一的CBT,可以生成逼真的连接数据集,包括不同分辨率和模式的脑图。我们进一步证明,我们的框架显着优于基准重建质量,增强任务,中心化和拓扑健全。
2022-09-13 cs.LG q-bio.NC
A Bayesian Data Augmentation Approach for Learning Deep Models
The University of Adelaide(阿德莱德大学)
数据增强是应用于深度学习模型的训练过程的重要组成部分。其动机是,深度学习模型的鲁棒训练过程依赖于大型注释数据集,这些数据集的获取、存储和处理成本很高。因此,一个合理的替代方案是能够使用称为数据增强的过程自动生成新的带注释的训练样本。该领域中占主导地位的数据增强方法假设新的训练样本可以通过应用于注释的训练样本的随机几何或外观变换来获得,但这是一个强有力的假设,因为不清楚这是否是用于产生新训练样本的可靠生成模型。在本文中,我们提供了一种新的贝叶斯公式数据增强,新的注释训练点被视为缺失变量,并根据从训练集学习的分布生成。对于学习,我们引入了一个理论上合理的算法-广义蒙特卡罗期望最大化,并通过生成对抗网络(GAN)的扩展展示了一种可能的实现。在MNIST、CIFAR-10和CIFAR-100上的分类结果表明,与上述当前占主导地位的数据增强方法相比,我们提出的方法具有更好的性能--结果还表明,我们的方法比类似的GAN模型产生更好的分类结果。
2017-10-29 cs.CV cs.LG
Disentangling the Effects of Data Augmentation and Format Transform in Self-Supervised Learning of Image Representations
University of Maryland, College Park(马里兰大学帕克分校);Google Research(谷歌研究院)
本文通过提出 Fourier Domain Augmentations(FDA)并区分格式变换与数据增强,证明二者结合可提升视觉自监督表征在 ImageNet-1K、少样本及迁移学习任务中的表现。
2023-12-02 cs.CV cs.LG
Data-Agnostic Augmentations for Unknown Variations: Out-of-Distribution Generalisation in MRI Segmentation
University of Twente(特文特大学);Siemens Healthineers(西门子医疗)
该研究系统评估 MixUp 与 Auxiliary Fourier Augmentation,证明其可在心脏电影 MRI 和前列腺 MRI 分割中提升分布外泛化、成像变化鲁棒性及特征表示质量,并可便捷集成于 nnU-Net。
2025-05-15 cs.CV cs.LG
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University(清华大学);Hongkong University(香港大学);Standford University(斯坦福大学)
视觉强化学习(RL)的关键挑战之一是学习可以推广到不可见环境的策略。最近,旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而,由于RL训练的敏感性,天真地应用数据增强(其以任务不可知的方式变换每个像素)可能遭受不稳定性并损害样本效率,从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题,我们提出了任务感知的Lipschitz数据增强(TLDA)的视觉RL,明确识别任务相关的像素与大Lipschitz常数,只增加任务无关的像素。为了验证TLDA的有效性,我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验,结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
Contrastive Self-Supervised Learning for Skeleton Representations
Imperial College London(帝国理工学院);Apple(苹果公司)
人类骨骼点云通常用于自动分类和预测他人的行为。在本文中,我们使用对比自监督学习方法,Simplified,学习表示捕捉骨架点云的语义。这项工作的重点是系统地评估不同的算法决策(包括增强,数据集分区和骨干架构)对学习的骨架表示的影响。为了预训练表示,我们对六个现有数据集进行了归一化,以获得超过4000万个骨架帧。我们通过三个下游任务来评估学习到的表示的质量:骨架重建,运动预测和活动分类。我们的研究结果证明了1)结合空间和时间增强,2)包括编码器训练的额外数据集,以及3)使用图神经网络作为编码器的重要性。
2022-11-10 cs.CV cs.LG
A deep learning framework for geodesics under spherical Wasserstein-Fisher-Rao metric and its application for weighted sample generation
Shanghai Jiao Tong University(上海交通大学);Duke University(杜克大学)
Wasserstein-Fisher-Rao(WFR)距离是衡量两种Radon测量值差异的一组度量,它考虑了运输和重量变化。球面WFR距离是概率测度的WFR距离的投影形式,因此具有WFR的Radon测度空间可以看作是具有球面WFR的概率测度空间上的度量锥。与Wasserstein距离相比,球面WFR下的测地线的理解还不太清楚,仍然是一个正在进行的研究热点。在本文中,我们开发了一个深度学习框架来计算球形WFR度量下的测地线,并且可以采用学习的测地线来生成加权样本。我们的方法是基于一个Benamou-Brenier型动态制定球形WFR。为了克服权值变化带来的边界约束难以实现的问题,在代价函数中引入了基于逆映射的Kullback-Leibler(KL)发散项。此外,引入了一个新的正则化项,用粒子速度代替动力学公式中的Hamilton-Jacobi方程。当用于样本生成,我们的框架可以是有益的应用程序与给定的加权样本,特别是在贝叶斯推理,与以前的流模型的样本生成相比。
2022-08-25 cs.LG math.PR
An Effective Hit-or-Miss Layer Favoring Feature Interpretation as Learned Prototypes Deformations
University of Liège(列日大学);Institut Montefiore(蒙特菲奥雷研究所)
近年来,为分类任务设计的神经网络已经成为一种商品。许多工作的目标是开发更有效的网络,这导致其架构复杂化,具有更多的层,多个子网络,甚至多个分类器的组合,但这往往是以产生不可解释的黑盒为代价的。在本文中,我们重新设计了一个简单的胶囊网络,使其能够合成类代表性的样本,称为原型,通过用一个新的命中或失误层取代最后一层。这一层包含被激活的向量,称为胶囊,我们通过定制特定的向心损失函数来训练这些向量以击中或错过固定的目标胶囊。这种可能性允许开发组合来自数据空间和特征空间的信息的数据增强步骤,导致混合数据增强过程。我们表明,我们的网络,名为HitNet,能够达到比在几个数据集上使用初始CapsNet复制的性能更好的性能,同时允许将提取的特征的性质可视化为原型的变形,这提供了对网络学习的特征表示的直接洞察。
2019-02-23 cs.AI cs.CV cs.LG
On the Benefits of Invariance in Neural Networks
University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);University of British Columbia(不列颠哥伦比亚大学)
许多现实世界的数据分析问题都表现出不变结构,利用这种结构的模型表现出令人印象深刻的经验性能,特别是在深度学习中。虽然文献中包含了各种将不变性纳入模型的方法,但理论上的理解很差,并且没有办法评估何时应该首选一种方法。在这项工作中,我们分析了深度学习中存在不变性的两种广泛使用的方法的优点和局限性:数据增强和特征平均。我们证明了使用数据增强进行训练可以更好地估计风险及其梯度,并且我们为使用数据增强训练的模型提供了PAC-Bayes泛化界。我们还表明,相比数据增强,特征平均减少了泛化误差时,使用凸损失,并收紧PAC贝叶斯界限。我们提供了这些理论结果的实证支持,包括为什么泛化可能无法通过数据增强训练来改善的演示:“学习不变性”在训练分布之外失败。
2020-05-01 cs.LG stat.ML
FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning
Georgia Tech(佐治亚理工学院);Virginia Tech(弗吉尼亚理工大学)
最新的半监督学习(SSL)方法使用基于图像的变换和一致性正则化的组合作为核心组件。然而,这样的方法限于简单的变换,例如传统的数据增强或两个图像的凸组合。在本文中,我们提出了一种新的学习基于特征的细化和增强方法,产生一组不同的复杂变换。重要的是,这些转换还使用了我们通过聚类提取的类内和跨类原型表示的信息。我们使用已经在迭代中计算的特征,将它们存储在存储体中,从而避免了大量额外计算的需要。这些变换与传统的基于图像的增强相结合,然后用作基于一致性的正则化损失的一部分。我们证明,我们的方法与当前较小数据集(CIFAR-10和SVHN)的最新技术水平相当,同时能够扩展到更大的数据集,如CIFAR-100和mini-Imagenet,我们在最新技术水平上实现了显着的增益(\textit{e.g.,}在mini-Imagenet上的绝对增益为17.44\%)。我们进一步在DomainNet上测试了我们的方法,证明了对域外未标记数据的更好的鲁棒性,并进行了严格的消融和分析来验证该方法。
2020-07-16 cs.CV cs.LG
Training GANs with Stronger Augmentations via Contrastive Discriminator
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
生成对抗网络(GANs)的最新工作正在积极地重新审视各种数据增强技术,作为防止过拟合的有效方法。然而,目前还不清楚哪些增强可以真正改善GANs,特别是如何在训练中应用更广泛的增强。在本文中,我们提出了一种新的方法来解决这些问题,将最近的对比表示学习计划纳入GAN的框架,创造了ContraD。这种“融合”使判别器能够在不增加其训练不稳定性的情况下使用更强的增强,从而更有效地防止GANs中的过拟合问题。更好的是,我们观察到对比学习本身也受益于我们的GAN训练,即,通过维持真实样本和假样本之间的区分特征,表明两个世界之间具有很强的一致性:良好的对比表示也有利于GAN鉴别器,反之亦然。我们的实验结果表明,与采用数据增强的其他最新技术相比,具有ContradD的GANs始终提高了FID和IS,在线性评估方面仍然保持了高分辨力的特征。最后,作为一个副产品,我们还表明,我们的GANs以无监督的方式(无标签)训练,可以通过简单的潜在采样,利用ContraD的学习功能,诱导许多条件生成模型。代码可在https://github.com/jh-jeong/ContraD上获得。
2021-03-17 cs.AI cs.CV cs.LG
Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation
University of Toronto(多伦多大学);Vector Institute(向量学院);Google Research(谷歌研究院)
我们介绍示例VAE,一个家庭的生成模型,弥合参数和非参数,基于示例的生成模型之间的差距。示例VAE是VAE的变体,其基于Parzen窗口估计器在潜在空间中具有非参数先验。为了从中采样,首先从训练集中抽取一个随机样本,然后随机地将该样本转换为潜在代码和新的观察结果。我们提出检索增强训练(RAT)作为一种方式,以加快示例VAE训练,通过使用近似最近邻搜索在潜在空间中定义一个下限的对数边际似然。为了提高泛化能力,模型参数的学习使用样本留一法和子采样。实验证明了Exemplar VAE在密度估计和表示学习上的有效性。重要的是,在置换不变MNIST和时尚MNIST上使用Exemplar VAE的生成数据增强将分类误差从1.17%降低到0.69%和从8.56%降低到8.16%。
2020-11-24 cs.CV cs.LG stat.ML
Temporal Distance-aware Transition Augmentation for Offline Model-based Reinforcement Learning
Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学);Department of Intelligent Semiconductors, Soongsil University, Seoul, South Korea(智能半导体系,顺斯大学)
针对离线基于模型强化学习在稀疏奖励长视野任务中表现不佳的问题,提出TempDATA框架,在时间结构化潜在空间生成增强转换并学习捕捉时间距离的潜在抽象,在多个基准上取得更优性能。
2025-05-19 cs.AI cs.LG cs.RO
AETv2: AutoEncoding Transformations for Self-Supervised Representation Learning by Minimizing Geodesic Distances in Lie Groups
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Huawei Research America(华为美国研究院)
通过预测变换的自监督学习在无监督和(半)监督任务中都表现出了出色的性能。其中最先进的方法是自动编码变换(AET),通过解码原始图像和变换图像的学习表示的变换。确定性和概率性的Aesthetics都依赖于欧几里得距离来测量估计的转换与其地面真实对应物的偏差。然而,这个假设是有问题的,因为一组变换通常驻留在弯曲的流形上,而不是停留在平坦的欧几里得空间中。为此,我们应该用测地线来描述图像如何沿着变换群的流形变换,并采用其长度来度量变换之间的偏差。特别地,我们提出自动编码单应性变换PG(2)的李群来学习图像表示。为此,我们通过将PG(2)投影到旋转变换SO(3)的一个子群来估计难以处理的黎曼对数,该子群允许测地距离的封闭形式表达。实验表明,所提出的AETv2模型优于以前的版本,以及其他国家的最先进的自监督模型在多个任务。
2019-11-16 cs.CV cs.LG cs.NE