Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经架构搜索(NAS)已经被爆炸性地研究,以自动发现性能最好的神经网络。目前的工作需要大量的超网训练或密集的架构评估,从而遭受沉重的资源消耗,并经常招致搜索偏见,由于截断训练或近似。我们能在不进行任何训练的情况下选择最好的神经架构,并消除搜索成本的一大部分吗?我们提供了一个肯定的答案,提出了一个新的框架,称为训练免费神经架构搜索(TE-NAS)。TE-NAS通过分析神经切线核(NTK)的频谱和输入空间中线性区域的数量来对架构进行排名。两者都是由深度网络的最新理论进展推动的,并且可以在没有任何训练和任何标签的情况下进行计算。我们证明:(1)这两个测量值意味着神经网络的可训练性和表达性;(2)它们与网络的测试准确性密切相关。此外,我们设计了一个基于修剪的NAS机制,以实现更灵活和更优越的可训练性和表达性之间的权衡在搜索过程中。在NAS-Bench-201和DARTS搜索空间中,TE-NAS在CIFAR-10和ImageNet上分别使用一个1080 Ti完成高质量搜索,但仅需0.5和4 GPU小时。我们希望我们的工作能够激发更多的尝试,将深度网络的理论发现与实际NAS应用中的实际影响联系起来。代码可在:https://github.com/VITA-Group/TENAS.
2021-03-16 cs.CV cs.LG
EMP-SSL: Towards Self-Supervised Learning in One Training Epoch
University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
本文提出EMP-SSL方法,通过增加图像实例的裁剪数量并摒弃多种启发式技术,在单周期内实现高效自监督学习,大幅减少训练周期并展现出优异的准确率和迁移性能。
2023-04-08 cs.AI cs.CV
Computing Large-Scale Matrix and Tensor Decomposition with Structured Factors: A Unified Nonconvex Optimization Perspective
Oregon State University(俄勒冈州立大学);KU Leuven(鲁汶大学);University of Florida(佛罗里达大学);University of Mons(蒙斯大学)
本文采用自上而下的非凸优化视角,从通用优化理论出发讲解结构化矩阵与张量分解的算法设计,重点介绍了随机草图、自适应步长随机优化等前沿方法,兼具教育价值并旨在推动该领域研究。
2020-08-05 cs.LG eess.SP math.OC
Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Corporation(微软公司);Tsinghua University(清华大学)
用有限的真实图像数据训练生成对抗网络(GANs)通常会导致性能恶化和模型崩溃。为了克服这一挑战,我们受到最新观察的启发,人们可以发现独立可训练和高度稀疏的子网络(又名,彩票)。将其视为归纳先验,我们提出了一个全新的角度来进行数据高效的GAN训练:首先使用真实图像的小训练集从原始GAN中识别彩票;然后通过重用相同的集合来专注于训练稀疏子网络。我们发现我们的协调框架提供正交增益现有的真实图像数据增强方法,我们还提出了一个新的特征级增强,可以与他们一起应用。综合实验证实了我们提出的框架的有效性,在各种GAN架构(SNGAN,BigGAN和StyleGAN-V2)和不同的数据集(CIFAR-10,CIFAR-100,Tiny-ImageNet,ImageNet和多个Few-Shot生成数据集)。代码可在https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training上获得。
2021-10-22 cs.AI cs.CV cs.LG
Does Robustness on ImageNet Transfer to Downstream Tasks?
Yale University(耶鲁大学);CyberAgent, Inc.(赛博艾坚特公司)
随着干净的ImageNet准确性接近其上限,研究界越来越关注分布变化下的鲁棒准确性。虽然已经提出了各种方法来增强神经网络的鲁棒性,但这些技术通常针对在ImageNet分类上训练的模型。与此同时,使用ImageNet预训练的主干来执行下游任务(例如来自不同领域的目标检测、语义分割和图像分类)是一种常见的做法。这就提出了一个问题:这些鲁棒的图像分类器能否将鲁棒性转移到下游任务?对于目标检测和语义分割,我们发现,一个香草Swin Transformer,一个为密集预测任务量身定制的视觉Transformer的变体,比卷积神经网络更好地传递鲁棒性,后者被训练成对ImageNet的损坏版本具有鲁棒性。对于CIFAR10分类,我们发现为ImageNet进行鲁棒化的模型在完全微调时不会保持鲁棒性。这些发现表明,当前的鲁棒化技术倾向于强调ImageNet评估。此外,当我们考虑迁移学习时,网络架构是鲁棒性的强大来源。
2022-04-08 cs.CV cs.LG
Self-supervised Benchmark Lottery on ImageNet: Do Marginal Improvements Translate to Improvements on Similar Datasets?
Ghent University Global Campus(根特大学全球校区);Ghent University(根特大学)
本研究评估了12个自监督学习框架在5个ImageNet变体上的表现,发现ImageNet上的边际改进未必能转化为相似数据集上的改进,呼吁采用考虑多数据集的统一指标以避免“基准抽奖”。
2025-01-26 cs.AI cs.CV cs.LG
A Flat Minima Perspective on Understanding Augmentations and Model Robustness
本文从平坦极小值角度理论揭示了标签保持增强提升模型鲁棒性的通用条件,并通过实验验证其在不同分布偏移下的有效性。
2025-12-14 cs.AI cs.LG
Accelerating Diffusion Model Training under Minimal Budgets: A Condensation-Based Perspective
本文提出D2C框架,通过选择和附加两阶段方法,从大规模数据集中凝聚出小数据集,从而在有限资源下加速扩散模型训练并保持生成质量。
2026-03-13 cs.LG
A Data-Based Perspective on Transfer Learning
MIT(麻省理工学院)
通常认为,在迁移学习中,包括更多的预训练数据转化为更好的性能。然而,最近的证据表明,从源数据集中删除数据实际上也有帮助。在这项工作中,我们仔细研究了源数据集的组成在迁移学习中的作用,并提出了一个框架,用于探测其对下游性能的影响。我们的框架产生了新的功能,例如精确定位迁移学习脆性,以及检测数据泄漏和源数据集中存在误导性示例等病理。特别是,我们证明了删除框架识别的有害数据点可以提高ImageNet在各种目标任务上的迁移学习性能。代码可在https://github.com/MadryLab/data-transfer上获得
2022-07-12 cs.LG
From MNIST to ImageNet: Understanding the Scalability Boundaries of Differentiable Logic Gate Networks
针对可微分逻辑门网络(DLGNs)仅在小类别数据集测试的局限,研究其在大型多类数据集上的表达能力与可扩展性,验证温度调优的作用及Group-Sum层在最多2000类分类任务中的应用条件。
2025-09-30 cs.AI cs.CV cs.LG
Toward Training at ImageNet Scale with Differential Privacy
Google Research(谷歌研究院);Columbia University(哥伦比亚大学)
差分隐私(DP)是训练机器学习(ML)模型(包括神经网络)的事实标准,同时确保训练集中各个示例的隐私。尽管关于如何训练具有差分隐私的ML模型的文献非常丰富,但训练具有合理准确性和隐私性的真实大型神经网络仍然极具挑战性。我们开始研究如何做到这一点,使用ImageNet图像分类作为ML任务的海报示例,该任务目前非常具有挑战性,难以用DP准确解决。本文分享了我们的努力的初步经验教训,希望它将启发和通知其他研究人员探索DP培训的规模。我们展示了有助于使DP训练更快的方法,以及在DP设置中更好地工作的训练过程的模型类型和设置。结合,我们讨论的方法让我们训练Resnet-18与DP到$47.9\%$的准确性和隐私参数$ε= 10, δ= 10^{-6}$。这是对ImageNet模型的“天真”DP训练的重大改进,但与没有隐私的相同网络可以获得的$75\%$准确性相去甚远。我们使用的模型是以Places 365数据集为起点进行预训练的。我们在https://github.com/google-research/dp-imagenet上分享了我们的代码,呼吁其他人在这个新的基础上进一步改进DP。
2022-02-09 cs.LG
Non-Vacuous Generalization Bounds at the ImageNet Scale: A PAC-Bayesian Compression Approach
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
现代神经网络是高度过参数化的,具有显著过拟合训练数据的能力。尽管如此,这些网络在实践中通常具有很好的泛化能力。人们还观察到,经过训练的网络通常可以被“压缩”为更小的表示。本文的目的是将这两个经验观察联系起来。我们的主要技术成果是压缩网络的压缩大小的基础上的泛化界。结合现成的压缩算法,该边界导致最先进的泛化保证;特别是,我们为应用于ImageNet分类问题的现实架构提供了第一个非空泛化保证。作为连接压缩和泛化的额外证据,我们证明了倾向于过拟合的模型的可压缩性是有限的:我们建立了预期可压缩性的绝对限制,作为预期泛化误差的函数,其中预期是随机选择的训练样本。经验结果表明,过度拟合的增加意味着描述训练网络所需的比特数增加。
2019-02-25 cs.LG stat.ML
Learning high-level visual representations from a child's perspective without strong inductive biases
Center for Data Science(数据科学中心);New York University(纽约大学)
该研究用单名儿童200小时头戴摄像头视频训练嵌入和生成模型,证明在没有强归纳偏置和显式监督下,仍能稳健学习到广泛有用的高层视觉表征,并在多名儿童中验证了结果一致性。
2023-09-22 cs.CV cs.LG cs.NE
Tensor-networks for High-order Polynomial Approximation: A Many-body Physics Perspective
Boston College(波士顿学院);Brandeis University(布兰迪斯大学);Boston University(波士顿大学);J.P. Morgan(摩根大通)
我们从多体物理的角度分析了高阶多项式近似的问题,并证明了纠缠熵在捕获模型容量和任务复杂性方面的描述能力。以一个高阶非线性动力学建模问题为例,研究了张量网络模型,并显示出很好的建模优势。这一新的视角将量子信息与泛函近似联系起来,值得在今后的研究中进一步探索。
2022-04-16 cond-mat.dis-nn cs.LG cs.NA
Neural Network Weights Do Not Converge to Stationary Points: An Invariant Measure Perspective
Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院)
这项工作研究了现有的基于梯度的算法的理论分析和训练深度神经网络的实践之间的深度脱节。具体来说,我们提供了数值证据,表明在大规模神经网络训练(例如,ImageNet + ResNet 101和WT 103 + TransformerXL模型),神经网络的权重不会收敛到损失梯度为零的稳定点。然而,值得注意的是,我们观察到,即使权重没有收敛到固定点,最小化损失函数的过程也会停止,训练损失也会稳定下来。受此启发,我们提出了一个基于动力系统遍历理论的新视角来解释这一现象,即不研究权的演化,而是研究权分布的演化。我们证明了权重分布收敛到近似不变测度,从而解释了训练损失如何在权重不一定收敛到稳定点的情况下稳定。我们进一步讨论了这种观点如何更好地将优化理论与机器学习实践中的经验观察相结合。
2022-06-17 cs.LG math.OC stat.ML
Towards Calibrated Model for Long-Tailed Visual Recognition from Prior Perspective
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
现实世界的数据普遍面临着严重的类不平衡问题,并表现出长尾分布,即,大多数标签与有限的实例相关联。由这些数据集监督的幼稚模型会更喜欢主导标签,遇到严重的泛化挑战,并且校准不良。我们提出了两个新的方法,从先验的角度来缓解这种困境。首先,我们推导出一个平衡导向的数据增强均匀混合(UniMix),以促进混合在长尾场景,它采用了先进的混合因子和采样器,有利于少数。其次,在贝叶斯理论的指导下,我们计算出贝叶斯偏差(Bayias),这是一种由先验不一致引起的固有偏差,并将其作为标准交叉熵损失的修正进行补偿。我们进一步证明,所提出的方法确保分类校准理论和经验。大量的实验验证了我们的策略有助于更好地校准模型,并且它们的组合在CIFAR-LT,ImageNet-LT和iNaturalist 2018上实现了最先进的性能。
2021-11-06 cs.CV cs.LG
Anomaly Detection from a Tensor Train Perspective
Instituto Tecnológico de Castilla y León(卡斯蒂利亚莱昂理工学院);MONDRAGON Corporation(蒙德拉贡集团);i3B Ibermatica(i3B伊贝尔马蒂卡)
本文提出一系列基于Tensor Train表示进行数据压缩的张量网络异常检测算法,通过保留正常数据结构并删除异常数据结构进行检测,在多种数据集上验证了其有效性。
2024-09-23 cs.CR cs.ET cs.IT
A Generalizable Approach to Learning Optimizers
OpenAI(开放人工智能研究中心)
学习优化神经网络的一个核心问题是缺乏对现实世界问题的概括。为了解决这个问题,我们描述了一个从泛化优先的角度设计的系统,学习更新优化器超参数,而不是直接使用新的功能,动作和奖励函数的模型参数。该系统在所有神经网络任务中的表现都优于Adam,包括在训练过程中看不到的模态。我们在ImageNet上实现了2倍的加速,在语言建模任务上实现了2.5倍的加速,使用的计算量比训练任务多5个数量级。
2021-06-07 cs.AI cs.LG cs.NE
Deep Neural Networks pruning via the Structured Perspective Regularization
CERC, Polytechnique Montréal(蒙特利尔理工学院计算与工程研究中心);University of Pisa(比萨大学);Huawei Montreal Research Centre(华为蒙特利尔研究中心);Jacobs Technion-Cornell Institute(雅各布斯泰克尼翁-康奈尔研究所);Cornell Tech(康奈尔理工学院);Technion - IIT(以色列理工学院)
在机器学习中,人工神经网络(ANN)是一种非常强大的工具,广泛应用于许多应用中。通常,所选择的(深度)架构包括许多层,因此包含大量参数,这使得训练、存储和推理变得昂贵。这激发了一系列关于在不过度牺牲性能的情况下将原始网络压缩成更小网络的研究。在提出的许多压缩方法中,最流行的方法之一是\emph{pruning},其中ANN的整个元素(链路、节点、信道、\ldots)和相应的权重被删除。由于问题的本质是固有的组合(什么元素修剪,什么不),我们提出了一个新的修剪方法的基础上运筹学工具。我们从一个自然的混合规划模型的问题,我们使用的透视重构技术,以加强其连续松弛。从这个重新表述中投射出指示变量会产生一个新的正则化项,我们称之为结构化透视正则化,它会导致初始架构的结构化修剪。我们在CIFAR-10、CIFAR-100和ImageNet数据集上测试了一些ResNet架构,获得了具有竞争力的性能。结构化修剪的最新技术。
2022-06-28 cs.CV cs.LG math.OC
Model Evolution Under Zeroth-Order Optimization: A Neural Tangent Kernel Perspective
The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科技大学)
本文从神经切线核视角探讨零阶优化下的模型演化,证明线性模型中预期NZK恒定,提出通过NZK解释零阶更新的核梯度下降,实验证实理论结果并展示加速效果。
2026-03-22 cs.LG
MixupE: Understanding and Improving Mixup from Directional Derivative Perspective
National University of Singapore(新加坡国立大学);Universite de Montreal(蒙特利尔大学);Mila(米拉研究所);Aalto University(阿尔托大学);Google Brain(谷歌大脑)
本文从方向导数视角分析Mixup,发现其隐式正则化所有阶方向导数,据此提出改进版MixupE,在图像、表格、语音和图等任务上提升泛化性能,如ImageNet top-1准确率提高0.8%。
2023-10-16 cs.CV cs.LG
Fast Fourier Correlation is a Highly Efficient and Accurate Feature Attribution Algorithm from the Perspective of Control Theory and Game Theory
School of Computer Science(计算机科学学院);Wuhan University(武汉大学);Brain Research Center Second Clinical School(脑科学研究中心第二临床学院)
针对神经网络所学傅里叶特征缺乏明确归因方法的问题,提出基于信号分解理论的新型傅里叶特征归因方法,实验证明其仅需少量特征即可维持高准确率且具更强类间区分度。
2025-07-15 cs.LG
Tensor Completion Algorithms in Big Data Analytics
Texas A&M University(得克萨斯农工大学)
张量完备化是一个填补部分观测张量中缺失或未观测项的问题。由于张量在描述复杂数据集时的多维性,张量补全算法及其应用在数据挖掘、计算机视觉、信号处理、神经科学等领域得到了广泛的关注和研究。在这项调查中,我们从大数据分析的角度对张量补全算法的最新进展进行了现代概述,其特点是多样性,大容量和高速度。我们从四个方面描述这些进展:一般张量完成算法,张量完成辅助信息(品种),可扩展张量完成算法(卷),和动态张量完成算法(速度)。此外,我们确定了几个张量完成应用程序在现实世界中的数据驱动的问题,并提出了一些常见的实验框架,在文献中推广。我们的目标是总结这些流行的方法,并将其介绍给研究人员和从业人员,以促进未来的研究和应用。最后,我们讨论的关键挑战和有前途的研究方向,在这个社区的未来探索。
2018-05-03 cs.AI cs.LG stat.ML
The Pursuit of Human Labeling: A New Perspective on Unsupervised Learning
EPFL(洛桑联邦理工学院)
该研究提出模型无关的无监督框架HUME,基于人类标注类别线性可分的特性,在固定预训练表示上训练线性分类器推断人类标注,在多个图像分类基准上取得了最优性能,为无监督学习提供了新视角。
2023-11-06 cs.LG
Tensor Networks Meet Neural Networks: A Survey and Future Perspectives
City University of Hong Kong(香港城市大学);Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));Fudan University(复旦大学);Quantum Science Center of Guangdong-Hong Kong-Macao Greater Bay Area(粤港澳大湾区量子科学中心);Information Engineering University(信息工程大学);Imperial College London(伦敦帝国学院);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所);Artificial Intelligence Project, Riken(理化学研究所人工智能项目)
本文综述张量网络与神经网络结合形成的张量神经网络,从数据处理和模型架构两方面梳理其方法、工具、应用与未来方向。
2025-03-17 cs.LG
A Feature-map Discriminant Perspective for Pruning Deep Neural Networks
Princeton University(普林斯顿大学)
网络修剪已成为加速移动和边缘应用的深度神经网络的事实上的工具。最近,基于特征图判别式的通道修剪已经显示出有希望的结果,因为它与区分多个类的CNN目标很好地一致,并且提供了修剪决策的更好的可解释性。然而,现有的基于判别式的方法受到计算效率低下的挑战,因为缺乏量化特征图判别能力的理论指导。在本文中,我们提出了一个新的数学公式,以准确和有效地量化的特征映射的区分度,从而产生了一个新的标准,判别信息(DI)。我们分析了DI的理论属性,特别是非减属性,这使得DI成为一个有效的选择标准。基于DI的修剪去除对DI值影响最小的信道,因为它们包含关于判别能力的很少信息。DI准则的通用性还使得层内混合精度量化能够进一步压缩网络。此外,我们提出了一个基于DI的贪婪修剪算法和结构蒸馏技术,自动决定修剪结构,满足一定的资源预算,这是一个常见的需求,在现实中。大量的实验证明了我们方法的有效性:与未修剪的模型相比,我们在ImageNet上修剪的ResNet 50实现了44%的FLOPs减少,而没有任何Top-1精度损失
2020-05-28 cs.CV cs.LG stat.ML
CoAtNet: Marrying Convolution and Attention for All Data Sizes
Google Research, Brain Team(谷歌研究院大脑团队)
Transformers在计算机视觉中引起了越来越多的兴趣,但它们仍然落后于最先进的卷积网络。在这项工作中,我们表明,虽然Transformers往往具有更大的模型容量,但由于缺乏正确的归纳偏差,它们的泛化能力可能比卷积网络更差。为了有效地结合这两种架构的优势,我们提出了CoAtNets(发音为“coat”nets),这是一个基于两个关键见解的混合模型家族:(1)dependency卷积和self-Attention可以通过简单的相对注意力自然地统一起来;(2)以原则性的方式垂直堆叠卷积层和注意力层在提高泛化能力,容量和效率方面令人惊讶地有效。实验表明,我们的CoAtNet在不同的资源约束下,在不同的数据集上实现了最先进的性能:在没有额外数据的情况下,CoAtNet达到了86.0%的ImageNet top-1准确率;当使用ImageNet-21 K的13 M图像进行预训练时,我们的CoAtNet达到了88.56%的top-1准确率,将ViT-huge预训练与JFT-300 M的300 M图像进行匹配,同时使用23倍的数据;值得注意的是,当我们使用JFT-3B进一步扩展CoAtNet时,它在ImageNet上实现了90.88%的top-1准确率,建立了一个新的最先进的结果。
2021-09-15 cs.CV cs.LG
Tensor Networks for Dimensionality Reduction and Large-Scale Optimizations. Part 2 Applications and Future Perspectives
本文第二部分探讨了张量网络在数据/参数超压缩高阶表示及相关成本函数中的应用,重点介绍张量列车(TT)和分层张量(HT)分解及其物理意义,展示其在机器学习和数据分析中的潜力。
2017-08-30 cs.LG cs.NA math.NA
Convolutions and More as Einsum: A Tensor Network Perspective with Advances for Second-Order Methods
Vector Institute(向量研究所)
本文将卷积统一表示为可图示化、可变换并用 einsum 求值的张量网络,支持自动微分、曲率近似与任意卷积维度,并将 KFAC 变体最高加速 4.5 倍。
2024-10-23 cs.CV cs.LG stat.ML
Unifying Multi-Domain Multi-Task Learning: Tensor and Neural Network Perspectives
Queen Mary, University of London(伦敦玛丽女王大学)
多领域学习的目的是从同时学习几个不同但相关的领域中受益。在本章中,我们提出了一个单一的框架,统一多域学习(MDL)和相关的,但更好的研究领域的多任务学习(MTL)。通过利用一个\emph{semantic descriptor}的概念,我们展示了我们的框架如何包括各种经典和最近的MDL/MTL算法的特殊情况下,不同的语义描述符编码。作为第二个贡献,我们提出了一个更高阶的概括这个框架,能够同时多任务多域学习。这种推广分别在多线性代数和门控神经网络中有两种数学等价的观点。此外,通过利用语义描述符,它为神经网络提供了零样本学习(ZNL)的能力,其中在没有任何训练数据的情况下为看不见的类生成分类器;以及zero-shot领域自适应(ZLDA),其中在没有任何训练数据的情况下为看不见的域生成模型。在实践中,这个框架提供了一个强大而易于实现的方法,可以灵活地应用于MTL,MDL,CFDL和CFDDA。
2016-11-28 cs.LG
TensorShield: Tensor-based Defense Against Adversarial Attacks on Images
University of California Riverside(加州大学河滨分校)
最近的研究表明,像深度神经网络(DNN)这样的机器学习方法很容易被对抗攻击所欺骗。数据的微妙和不可察觉的扰动能够改变深度神经网络的结果。利用易受攻击的机器学习方法引起了许多担忧,特别是在安全性是重要因素的领域。因此,设计针对对抗攻击的防御机制至关重要。对于图像分类任务,不明显的扰动大多发生在图像的高频频谱中。在本文中,我们利用张量分解技术作为预处理步骤,找到一个低秩近似的图像,可以显着丢弃高频扰动。最近,一个名为Shield的防御框架可以通过对ImageNet数据集上的局部图像块执行随机质量的JPEG压缩,为卷积神经网络(CNN)接种对抗性样本的“疫苗”。我们的基于张量的防御机制在抵抗FastGradient Descent(FGSM)对抗攻击时比Shield的SLQ方法性能高14%,同时保持相当的速度。
2020-02-18 cs.CR cs.CV cs.LG
The Origins and Prevalence of Texture Bias in Convolutional Neural Networks
Stanford University(斯坦福大学);Google Research(谷歌研究院)
最近的研究表明,与人类不同,ImageNet训练的CNN倾向于根据纹理而不是形状对图像进行分类。这种偏见有多普遍,它来自哪里?我们发现,当在具有冲突形状和纹理的图像数据集上进行训练时,CNN学习按形状分类至少和按纹理分类一样容易。那么,是什么因素在ImageNet上训练的CNN中产生了纹理偏差呢?不同的无监督训练目标和不同的架构对纹理偏差水平有很小但很大程度上独立的影响。然而,所有的目标和架构仍然导致模型,使基于纹理的分类决策的大部分时间,即使形状信息是从他们的隐藏表示解码。数据增强的效果要大得多。通过在训练时采取不那么激进的随机裁剪,并应用简单、自然的增强(颜色失真、噪声和模糊),我们训练了在大多数情况下通过形状对模糊图像进行分类的模型,并在分布外测试集上优于基线。我们的研究结果表明,人类和经过ImageNet训练的CNN处理图像的方式存在明显差异,这可能主要不是因为它们内部工作方式的差异,而是因为它们所看到的数据的差异。
2020-11-03 cs.CV cs.LG q-bio.NC
SVDinsTN: A Tensor Network Paradigm for Efficient Structure Search from Regularized Modeling Perspective
School of Information Science and Technology, Southwest Jiaotong University(西南交通大学信息科学与技术学院);School of Mathematical Sciences, University of Electronic Science and Technology of China(电子科技大学数学科学学院);School of Automation, Guangdong University of Technology(广东工业大学自动化学院);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能研究中心)
针对张量网络结构搜索计算成本过高的问题,提出SVDinsTN范式,从正则化建模视角通过对角因子稀疏性揭示紧凑结构,实现百倍至千倍加速且保持相当表示能力。
2024-04-09 cs.LG
A Unified Analysis of Mixed Sample Data Augmentation: A Loss Function Perspective
MIT(麻省理工学院);NAVER AI Lab(NAVER人工智能实验室)
我们提出了第一个统一的理论分析混合样本数据增强(MSDA),如Mixup和CutMix。我们的理论结果表明,无论选择的混合策略,MSDA的行为作为一个像素级的正则化的基础训练损失和正则化的第一层参数。同样,我们的理论结果支持MSDA训练策略与香草训练策略相比可以提高对抗鲁棒性和泛化能力。使用的理论结果,我们提供了一个高层次的理解如何不同的设计选择的MSDA不同的工作。例如,我们展示了最流行的MSDA方法Mixup和CutMix的行为不同,例如,CutMix按像素距离正则化输入梯度,而Mixup则不考虑像素距离正则化输入梯度。我们的理论结果还表明,最佳MSDA策略取决于任务,数据集或模型参数。从这些观察,我们提出了广义MSDAs,混合版本的Mixup和CutMix(HMix)和高斯Mixup(GMix),简单的扩展Mixup和CutMix。我们的实现可以利用Mixup和CutMix的优点,而我们的实现是非常有效的,计算成本几乎可以忽略不计的Mixup和CutMix。我们的实证研究表明,我们的HMix和GMix在CIFAR-100和ImageNet分类任务中优于以前最先进的MSDA方法。源代码可在https://github.com/naver-ai/hmix-gmix上获得
2022-08-21 cs.CV cs.LG
Tensor Contraction Layers for Parsimonious Deep Nets
Amazon AI(亚马逊AI);Imperial College London(帝国理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Southern California(南加利福尼亚大学);California Institute of Technology(加利福尼亚理工学院)
张量为机器学习中经常遇到的许多类型的数据提供了自然的表示。例如,图像自然地表示为三阶张量,其中模式对应于高度、宽度和通道。张量方法以其发现多维依赖关系的能力而闻名,特别是张量分解,已被用于产生数据的紧凑低秩近似。在本文中,我们探讨了张量收缩作为神经网络层的使用,并研究了将其应用于激活张量的几种方法。具体来说,我们提出了张量收缩层(TCL),这是首次尝试将张量收缩作为端到端的可训练神经网络层。应用于现有的网络,TCL减少了激活张量的维数,从而减少了模型参数的数量。我们评估TCL的图像识别任务,增强两个流行的网络(AlexNet,VGG)。生成的模型是端到端可训练的。将TCL应用于图像识别任务,使用CIFAR100和ImageNet数据集,我们评估了通过张量收缩进行参数缩减对性能的影响。我们证明了显着的模型压缩,而不显着影响的准确性,在某些情况下,提高了性能。
2017-06-01 cs.LG
Reduced storage direct tensor ring decomposition for convolutional neural networks compression
Wroclaw University of Science and Technology(弗罗茨瓦夫科技大学)
本文提出基于降存储直接张量环分解(RSDTR)的低秩CNN压缩方法,通过更灵活的循环模式置换实现高参数与FLOPS压缩率,并在CIFAR-10和ImageNet上验证其优于现有方法。
2024-08-05 cs.CV cs.LG