SDGCCA: Supervised Deep Generalized Canonical Correlation Analysis for Multi-omics Integration
Gwangju Institute of Science and Technology(光州科学技术院)
多组学数据的整合为揭示与某些表型相关的生物学机制提供了机会。本文提出了一种新的多组学整合方法--监督式深度广义典型相关分析(SDGCCA),用于非线性多组学流形之间的相关结构建模,旨在改善表型分类,揭示与表型相关的生物标志物。SDGCCA解决了其他基于典型相关分析(CCA)的模型(例如,深CCA,深广义CCA),通过考虑复杂/非线性交叉数据相关性和区分表型组。虽然有一些方法用于非线性CCA预测的判别目的的表型,他们只考虑两个视图。另一方面,SDGCCA是一种非线性多视角CCA投影方法。当我们将SDGCCA应用于阿尔茨海默病(AD)患者的预测和早期和晚期癌症的区分时,它优于其他基于CCA的方法和其他监督方法。此外,我们证明了SDGCCA可以用于特征选择以识别重要的多组学生物标志物。在AD数据的应用中,SDGCCA识别了多组学数据中的基因簇,这些基因簇是众所周知的与AD相关的。
2022-04-17 cs.AI cs.LG q-bio.QM
Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach
Imperial College London(帝国理工学院)
特征交互的有效建模支持非顺序任务的监督学习,其特征在于缺乏特征(变量)的固有顺序。对于每一阶的每一个交互,学习一个参数的蛮力方法是以指数级的计算和内存成本来实现的(强制性的诅咒)。为了缓解这个问题,已经提出将模型参数隐式地表示为张量,张量的阶数等于特征的数量;为了效率,可以将其进一步分解为紧凑的张量训练(TT)格式。然而,TT和其他张量网络(Tensor Networks,TN),如张量环(Tensor Ring)和分层塔克(Hierarchical Tucker),对它们的索引顺序(因此对特征)都很敏感。为了建立所需的特征排序的不变性,我们建议通过典型的多矢(CP)分解(CPD)表示的权重张量,并介绍相关的推理和学习算法,包括适当的正则化和初始化方案。结果表明,建议的CP为基础的预测显着优于其他TN为基础的预测稀疏数据,同时表现出相当的性能密集的非顺序任务。此外,为了增强表现力,我们推广的框架,允许特征映射到任意高维特征向量。结合特征向量归一化,这表明在密集的非顺序任务的性能上有了显着的提高,匹配模型,如完全连接的神经网络。
2021-03-30 cs.LG stat.ML
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明,较大的模型比较小的模型从自监督学习中受益更多。因此,对于较大的模型,监督学习和自监督学习之间的差距已经大大缩小。在这项工作中,我们没有为自监督学习设计新的伪任务,而是开发了一种模型压缩方法,将已经学习的深度自监督模型(教师)压缩为较小的模型(学生)。我们对学生模型进行训练,使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet,我们的方法优于所有以前的方法,包括ImageNet线性评估(59.0%与56.5%相比)和最近邻评估(50.7%与41.4%相比)的完全监督模型。据我们所知,这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到:https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,基于变换的自监督学习已被应用于生成对抗网络(GANs),以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而,在现有的自监督GANs中,单独的自监督任务会导致与生成建模不一致的目标,因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题,我们提出了一种新的自监督GAN,它通过自监督数据转换来增强GAN标签(真实或虚假),从而将GAN任务与自监督任务相结合。具体地说,原始的分类器和自监督分类器被统一成一个标签增强的分类器,该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布,然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲,我们表明,所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven(鲁汶大学)
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标,它集成了自监督和结构学习。此外,我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明,与传统的自监督学习相比,该框架在下游分类任务中实现了更高的泛化性能,并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon AWS AI(亚马逊云科技人工智能)
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性,值得探索。在这项研究中,我们提出了一个有效的自监督学习框架和一个新的正则化策略,以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同,所提出的自监督正则化(SSReg)只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略,所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力,并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明,通过添加有效的自监督正则化,我们提出的自监督方法获得了23.4%的相对改进,并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec(魁北克大学国立科学研究院-能源、材料与电信);Salesforce Research(赛富时研究院)
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明,使用自监督学习获得的功能是可比的,或优于,监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组,并证明了多任务学习兼容的借口任务提高领域泛化性能相比,单独训练的任务。当训练和测试分布之间存在较大的域偏移时,与其监督对应物相比,通过自监督学习的特征可以更好地泛化到不可见的域,甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合,以进一步提高性能。
2020-03-30 cs.CV cs.LG
Using Multiple Self-Supervised Tasks Improves Model Robustness
Columbia University(哥伦比亚大学)
深度网络在计算机视觉任务上实现了最先进的性能,但它们在人类无法感知的对抗攻击下失败了。在本文中,我们提出了一种新的防御,可以动态地适应输入使用多个自监督任务的内在结构。通过同时使用许多自监督任务,我们的防御避免了将自适应图像过度拟合到一个特定的自监督任务,并与单个自监督任务方法相比,恢复了图像中更多的内在结构。与最先进的单任务自我监督防御相比,我们的方法进一步提高了鲁棒性和清洁准确性。我们的工作是第一个将多个自我监督任务与鲁棒性联系起来的工作,并表明我们可以从视觉数据中获得更多的内在信号来实现更好的鲁棒性。
2022-04-07 cs.CV cs.LG
Self-supervised Adversarial Training
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
最近的研究表明,神经网络容易受到对抗性样本的影响。为了摆脱这一困境,许多研究者试图通过各种方法对模型进行强化,其中对抗性训练是一种有效的方法,它可以学习鲁棒的特征表示,从而抵抗对抗攻击。同时,自监督学习的目标是从数据本身学习鲁棒的和语义的嵌入。基于这些观点,本文引入了自监督学习来对抗对抗性样本。具体地说,自监督表示与k-最近邻相结合,提出了分类。为了进一步增强防御能力,提出了自监督对抗训练方法,该方法最大化了原始样本和对应对抗样本的表示之间的互信息。实验结果表明,自监督表示在鲁棒性方面优于监督表示,自监督对抗训练能进一步有效提高防御能力。
2020-02-01 cs.CV cs.LG
A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning
本文简要回顾了元学习和自监督学习之间的联系。元学习可用于提高模型泛化能力和构造通用的人工智能算法。自监督学习利用原始数据的自监督,通过无监督的预训练或对比损失目标的优化来提取更高级别的可概括特征。在自监督学习中,数据增强技术被广泛应用,并且不需要数据标签,因为可以从类似任务的训练模型中估计伪标签。元学习旨在调整训练的深度模型以解决各种任务并开发通用AI算法。我们回顾了元学习与生成和对比自监督学习模型的关联。来自多个源的未标记数据可以联合考虑,即使数据源非常不同。我们表明,整合元学习和自监督学习模型可以最好地提高模型的泛化能力。由元学习者引导的自监督学习和在自监督下的一般元学习算法都是可能的组合的示例。
2021-11-16 cs.AI cs.LG
Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay
Columbia University(哥伦比亚大学)
自监督学习因其不需要数据标注就能学习有意义的表示而成为近年来的热门方法。本文提出了一种新的图像增强技术,叠加图像,这还没有被广泛应用于自监督学习。此方法旨在为模型提供更好的指导,以理解底层信息,从而产生更有用的表示。所提出的方法使用对比学习进行评估,对比学习是一种广泛使用的自监督学习方法,在下游任务中表现出良好的性能。实验结果表明,所提出的增强技术在提高自监督模型的性能方面是有效的。
2023-01-23 cs.CV cs.LG
Homomorphic Self-Supervised Learning
Apple(苹果公司)
在这项工作中,我们观察到,许多现有的自监督学习算法可以统一和推广时,通过等变表示的镜头。具体来说,我们介绍了一个一般的框架,我们称之为同态自监督学习,并从理论上展示了它如何可能substrate的使用输入增强提供了一个增强同态特征提取器。我们验证了这个理论的实验简单的增强,演示了框架失败时,代表性结构被删除,并进一步实证探索如何这个框架的参数与传统的基于增强的自监督学习。最后,我们讨论了这种新的视角对自监督学习的潜在好处。
2022-11-15 cs.AI cs.LG
Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising
Texas A&M University(得克萨斯农工大学)
仅使用单个噪声图像学习去噪模型的自监督框架在各种图像去噪任务中表现出强大的能力和有前途的性能。现有的自监督去噪框架大多建立在相同的理论基础上,其中去噪模型需要是J不变的。然而,我们的分析表明,目前的理论和J-不变性可能导致降噪模型的性能降低。在这项工作中,我们介绍了Noise 2Same,一种新的自监督去噪框架。在Noise 2Same中,通过推导典型监督损失的自监督上界,提出了一种新的自监督损失。特别是,Noise 2Same既不需要J不变性,也不需要有关噪声模型的额外信息,可以用于更广泛的去噪应用中。我们从理论和实验上分析了我们提出的Noise 2 Same。实验结果表明,我们的Noise 2Same在去噪性能和训练效率方面明显优于以前的自监督去噪方法。我们的代码可在https://github.com/divelab/Noise2Same上获得。
2020-10-22 cs.CV cs.LG
MAST: A Memory-Augmented Self-supervised Tracker
Visual Geometry Group, Department of Engineering Science(工程科学系视觉几何组);University of Oxford(牛津大学)
最近对自监督密集跟踪的兴趣已经取得了快速进展,但性能仍然远远低于监督方法。我们提出了一个在没有任何注释的视频上训练的密集跟踪模型,它在现有基准上超过了以前的自监督方法(+15%),并实现了与监督方法相当的性能。在本文中,我们首先通过进行彻底的实验来重新评估用于自我监督训练和重建损失的传统选择,最终阐明最佳选择。其次,我们进一步改善现有的方法,通过增加我们的架构与一个关键的内存组件。第三,我们对大规模半监督视频对象分割(又名。密集跟踪),并提出了一个新的度量:泛化。我们的前两个贡献产生了一个自监督网络,这是第一次在密集跟踪的标准评估指标上与监督方法竞争。在衡量泛化能力时,我们发现自监督方法实际上优于大多数监督方法。我们相信这种新的可推广性度量可以更好地捕捉密集跟踪的真实用例,并将激发人们对这一研究方向的新兴趣。
2020-02-26 cs.CV cs.LG
Self-Adaptive Training: Bridging Supervised and Self-Supervised Learning
The University of Tokyo(东京大学);Peking University(北京大学);University of Waterloo(滑铁卢大学)
我们提出了自适应训练-一种统一的训练算法,通过模型预测动态校准和增强训练过程,而不会产生额外的计算成本-以推进深度神经网络的监督学习和自监督学习。我们在训练数据上分析深度网络的训练动态,这些数据被以下因素破坏,例如,随机噪声和对抗性示例。我们的分析表明,模型预测能够放大数据中有用的底层信息,即使在没有任何标签信息的情况下,这种现象也会广泛发生,这突出表明模型预测可以大大有利于训练过程:自适应训练提高了噪声下深度网络的泛化能力,并增强了自监督表示学习。该分析还有助于理解深度学习,例如,对最近发现的经验风险最小化中的双下降现象和最先进的自监督学习算法的崩溃问题的潜在解释。在CIFAR,STL和ImageNet数据集上的实验验证了我们的方法在三个应用中的有效性:标签噪声分类,选择性分类和线性评估。为了方便今后的研究,该守则已在https://github.com/LayneH/self-adaptive-training上公布。
2022-10-14 cs.CV cs.LG
Intrinsically Motivated Self-supervised Learning in Reinforcement Learning
Peking University(北京大学);Tsinghua University(清华大学)
在基于视觉的强化学习(RL)任务中,为了获得更多的语义表示并提高样本效率,通常采用代理自监督损失来分配辅助任务。然而,由于表示学习部分和决策部分被分离,自监督辅助任务中的丰富信息被忽视。为了充分利用辅助任务中的信息,我们提出了一个简单而有效的想法,采用自我监督损失作为内在奖励,称为强化学习中的内在激励自监督学习(IM-SSR)。我们正式表明,自我监督的损失可以分解为探索新的状态和鲁棒性的提高,从滋扰消除。IM-SSR可以毫不费力地插入任何具有自监督辅助目标的强化学习,几乎没有额外的成本。结合IM-SSR,以前的底层算法在DeepMind控制套件的各种基于视觉的机器人任务中,特别是在奖励信号稀疏时,在样本效率和泛化方面都取得了显着的改进。
2022-05-13 cs.AI cs.LG
Self-Supervised Models are Continual Learners
University of Trento(特伦托大学);Inria(法国国家信息与自动化研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
当在大规模的未标记数据上进行离线训练时,自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而,在持续学习(CL)场景中,它们的功效会灾难性地降低,其中数据按顺序呈现给模型。在本文中,我们表明,自我监督的损失函数可以无缝地转换成CL蒸馏机制,通过添加一个预测网络,映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架,(i)显着提高学习表示的质量,(ii)与几个最先进的自监督目标兼容,(iii)几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
Self-supervised Video Object Segmentation
Fudan University(复旦大学);University of Oxford(牛津大学);West Virginia University(西弗吉尼亚大学)
本文的目标是自监督的表示学习,目标是解决半监督视频对象分割(a.k.a.密集跟踪)。本文的主要贡献如下:(1)改进了现有的自监督匹配方法,提出了一种简单有效的长时匹配记忆机制,解决了对象消失和再现带来的挑战;(ii)通过用在线自适应模块增强自监督方法,我们的方法成功地消除了由时空不连续性引起的跟踪器漂移,例如,遮挡或不遮挡,快速运动;(iii)我们探索了自监督表示学习用于密集跟踪的效率,令人惊讶的是,我们证明了一个强大的跟踪模型可以用少至100个原始视频剪辑来训练(相当于11分钟的持续时间),表明低级别的统计数据已经对跟踪任务有效;(iv)我们在DAVIS-2017和YouTube-VOS上展示了自监督方法的最新结果,并超越了使用数百万手动分割注释训练的大多数方法,进一步弥合了自监督学习和监督学习之间的差距。发布代码以促进任何进一步的研究(https://github.com/fangruizhu/self_sup_semiVOS)。
2020-06-22 cs.CV cs.LG
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo(滑铁卢大学)
本综述总结自监督预训练在放射影像诊断任务中的效果,发现其通常优于全监督学习,尤其在未标记数据多时,并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
UC Berkeley(加州大学伯克利分校);BAIR(伯克利人工智能研究中心);Weill Neurosciences Institute(威尔神经科学研究所);UCSF(加州大学旧金山分校)
无监督表示学习中的一个常见做法是使用标记数据来评估学习表示的质量。然后,该监督评估用于指导训练过程的关键方面,例如选择数据增强策略。然而,通过监督评估来引导无监督训练过程对于实际上不包含标签的真实世界数据是不可能的(例如,在诸如医学成像的隐私敏感领域中可能是这种情况)。因此,在这项工作中,我们表明,评估学习表示与自我监督的图像旋转任务是高度相关的一组标准的监督评价(秩相关$> 0.94$)。我们在数百种增强策略、训练设置和网络架构之间建立了这种相关性,并提供了一种算法(SelfAugment)来自动有效地选择增强策略,而无需使用监督评估。尽管没有使用任何标记的数据,学习的增强策略执行与使用穷举监督评估确定的增强策略的交互。
2021-05-17 cs.CV cs.LG
Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation
Indian Institute of Technology, Gandhinagar(甘地讷格尔印度理工学院)
在过去的十年里,我们见证了监督学习范式的巨大增长。监督学习需要大量的标记数据来达到最先进的性能。然而,标记样本需要大量的人工注释。为了避免标记数据的成本,提出了自监督方法来利用大量可用的未标记数据。本研究对特征表征的自我监督范式的最新发展进行了全面而深入的调查和分析。在本文中,我们调查的因素影响的有用性,自我监督在不同的设置。我们提出了一些关于自我监督,生成和对比方法的两种不同方法的关键见解。我们还研究了监督对抗训练的局限性,以及自我监督如何帮助克服这些局限性。然后,我们继续讨论有效地使用视觉任务的自我监督的局限性和挑战。最后,我们强调了一些开放的问题,并指出未来的研究方向。
2021-11-03 cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Heidelberg(海德堡大学)
最近的进展表明,自我监督预训练的优势,以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而,当需要构建不同于自监督模型的自定义模型架构时,微调并不能推广到这种情况。在这项工作中,我们制定了一个新的知识蒸馏框架,通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言,受自监督学习中实例区分的精神的启发,我们在特征嵌入空间中通过图公式化来建模实例-实例关系,并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识,以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集,包括CIFAR 100,STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里:https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
On the robustness of self-supervised representations for multi-view object classification
University of the Witwatersrand(威特沃特斯兰德大学)
众所周知,来自自监督预训练的表示可以在各种下游任务上与来自完全监督预训练的表示表现相当,并且通常更好。这已经在诸如通用对象分类和检测、语义分割和图像检索之类的大量设置中示出。然而,最近出现了一些问题,展示了自监督表示的一些失败模式,例如非ImageNet类数据或复杂场景的性能。在本文中,我们表明,自我监督表示的基础上的实例歧视目标导致更好的表示对象,更强大的变化的观点和观点的对象。我们对多个监督基线进行现代自监督方法的实验来证明这一点,包括通过单应性近似对象视点变化,以及基于多个多视图数据集的真实世界测试。我们发现,自监督表示更强大的对象的观点,似乎编码更多的相关信息的对象,促进从新的观点对象的识别。
2022-07-27 cs.CV cs.LG
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心)
自监督学习方法在计算机视觉中获得越来越多的关注,这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理(NLP)中,自监督学习和Transformers已经是首选的方法。最近的文献表明,Transformers在计算机视觉中也变得越来越流行。到目前为止,视觉Transformer已经被证明在使用大规模监督数据或某种共同监督(例如,在教师网络方面)进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中,我们调查的优点自监督学习预训练图像/视觉Transformer,然后使用它们的下游分类任务。我们提出了自监督视觉Transformer(SiT),并讨论了几种自监督训练机制,以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明,预训练的SiT可以在小规模数据集上进行下游分类任务的微调,这些数据集由几千张图像组成,而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习,并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Self-supervised Monocular Trained Depth Estimation using Self-attention and Discrete Disparity Volume
Australian Institute for Machine Learning(澳大利亚机器学习研究所);School of Computer Science, University of Adelaide(阿德莱德大学计算机科学学院)
单目深度估计已经成为计算机视觉中研究最多的应用之一,其中最准确的方法是基于完全监督学习模型。然而,获取准确且大型的地面实况数据集来对这些完全监督的方法进行建模是该地区进一步发展的重大挑战。由于训练数据的广泛可用性,用单目视频训练的自监督方法构成了缓解上述挑战的最有前途的方法之一。因此,它们被深入研究,其中探索的主要思想包括不同类型的模型架构,损失函数和遮挡掩模,以解决非刚性运动。在本文中,我们提出了两个新的想法,以改善自我监督的单眼训练深度估计:1)自我注意,和2)离散视差预测。与通常的局部卷积操作相比,自我注意可以探索更一般的上下文信息,该上下文信息允许在图像的非连续区域处推断类似的视差值。除了能够估计深度不确定性之外,已经通过完全监督的方法示出了离散视差预测提供比更常见的连续视差预测更鲁棒和更锐利的深度估计。我们证明,通过这两个想法扩展最先进的自监督单目训练深度估计器Monodepth 2,使我们能够设计一个在KITTI 2015和Make3D中产生最佳结果的模型,缩小了自监督立体声训练和完全监督方法之间的差距。
2020-03-31 cs.CV cs.LG
Self-supervised Learning from a Multi-view Perspective
Carnegie Mellon University(卡内基梅隆大学)
作为无监督表示学习的一个子集,自监督表示学习采用自定义信号作为监督,并将学习到的表示用于下游任务,例如目标检测和图像描述。许多提出的用于自监督学习的方法自然地遵循多视图视角,其中输入(例如,原始图像)和自监督信号(例如,增强图像)可以被看作数据的两个冗余视图。从这个多视角的角度来看,本文提供了一个信息理论的框架,以更好地理解的属性,鼓励成功的自监督学习。具体来说,我们证明了自监督学习表示可以提取任务相关的信息和丢弃任务无关的信息。我们的理论框架为自监督学习目标设计的更大空间铺平了道路。特别是,我们提出了一个复合目标,弥合了以前的对比和预测学习目标之间的差距,并引入了一个额外的目标项,以丢弃任务无关的信息。为了验证我们的分析,我们进行对照实验,以评估复合目标的影响。我们还探讨了我们的框架的经验泛化超越多视图的角度来看,跨视图冗余可能不会被清楚地观察到。
2021-03-22 cs.LG stat.ML
Self-Supervised Learning for Large-Scale Unsupervised Image Clustering
Technion – Israel Institute of Technology(以色列理工学院)
无监督学习一直吸引着机器学习研究人员和从业者,使他们能够避免昂贵而复杂的数据标记过程。然而,复杂数据的无监督学习具有挑战性,即使是最好的方法也比有监督的方法表现出更弱的性能。自监督深度学习已经成为计算机视觉中表示学习的强大工具。然而,这些方法尚未在完全无监督的环境中进行评估。在本文中,我们提出了一个简单的计划,基于自监督表示的无监督分类。我们使用几种最近的自监督方法对所提出的方法进行了评估,结果表明它在ImageNet分类方面取得了有竞争力的结果(ImageNet上1000个聚类的准确率为39%,过聚类的准确率为46%)。我们建议将无监督评估添加到自监督学习的标准基准中。代码可在https://github.com/Randl/kmeans_selfsuper上获得
2020-11-09 cs.CV cs.LG
Self-supervised Learning: Generative or Contrastive
Tsinghua University(清华大学);Tsinghua National Laboratory for Information Science and Technology (TNList)(清华信息科学与技术国家实验室);Anhui University(安徽大学);Renmin University of China(中国人民大学)
深度监督学习在过去十年中取得了巨大的成功。然而,其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法,在过去的几年里,由于其在表示学习方面的出色表现,吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督,并使几乎所有类型的下游任务受益。在这篇综述中,我们将探讨新的自监督学习方法,用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法,并根据其目标将其归纳为三个主要类别:生成,对比和生成对比(对抗)。我们进一步研究相关的理论分析工作,提供更深层次的思考自监督学习是如何工作的。最后,我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University(哥伦比亚大学)
最近,自监督学习在各种机器学习任务中出现了爆炸性增长和使用,因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献,并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成,跨模态预训练,循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
Self-Supervised Learning of Pretext-Invariant Representations
Facebook AI Research(脸书人工智能研究院)
从图像中进行自监督学习的目标是通过不需要对大型图像训练集进行语义注释的借口任务来构建语义上有意义的图像表示。许多借口任务导致与图像变换协变的表示。我们认为,相反,语义表示在这种变换下应该是不变的。具体来说,我们开发了Pretext-Invariant表示学习(PIRL,发音为“pearl”),它基于借口任务学习不变表示。我们将PIRL用于一个常用的借口任务,包括解决拼图游戏。我们发现,PIRL大大提高了学习的图像表示的语义质量。我们的方法设置了一个新的国家的最先进的自监督学习从图像上的几个流行的基准自监督学习。尽管是无监督的,但PIRL在学习目标检测的图像表示方面优于有监督的预训练。总之,我们的研究结果表明,自监督学习的图像表示具有良好的不变性的潜力。
2019-12-04 cs.CV cs.LG
Self-supervised self-supervision by combining deep learning and probabilistic logic
MIT(麻省理工学院);Microsoft Research(微软研究院)
大规模标记训练样本是机器学习中的一个长期挑战。自我监督方法通过利用先验知识自动生成带噪声标记的示例来弥补直接监督的不足。深度概率逻辑(DPL)是用于自监督学习的统一框架,其将未知标签表示为潜在变量,并使用概率逻辑来结合多样的自监督,以使用变分EM来训练端到端的深度神经网络。虽然DPL成功地结合了预先指定的自我监督,但手动制作自我监督以获得高准确性可能仍然是繁琐和具有挑战性的。在本文中,我们提出了自我监督的自我监督(S4),它增加了DPL自动学习新的自我监督的能力。从初始“种子”开始,S4迭代地使用深度神经网络来提出新的自我监督。它们要么直接添加(一种结构化的自我训练形式),要么由人类专家验证(如基于特征的主动学习)。实验表明,S4能够自动提出准确的自我监督,并且通常可以用人类努力的一小部分来接近监督方法的准确性。
2020-12-23 cs.LG stat.ML
Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification
监督学习中的数据标注被认为是一种昂贵的工具,在某些情况下是不可行的。提出了自监督学习方法来解决具有较少标记数据的学习有效性,然而,对实现足够结果所需的标记数据的大小缺乏信心。这项研究的目的是绘制一个基线的标记数据的比例,模型可以欣赏,以产生合格的准确性相比,训练与额外的标签。该研究实现了www.example.com 'cats-vs-dogs数据集Mnist和Fashion-Mnist,通过在原始数据集上实现随机旋转增强来研究自监督学习任务。为了揭示自监督学习中借口过程的真实有效性,原始数据集被分成较小的批次,并且在每个批次上重复学习,有和没有借口预训练。结果表明,与普通监督学习相比,自监督学习中的借口过程在下游分类任务中提高了约15%的准确率。
2021-08-17 cs.CV cs.LG
SelFlow: Self-Supervised Learning of Optical Flow
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
我们提出了一种自监督学习方法的光流。我们的方法从未被遮挡的像素中提取可靠的流量估计,并使用这些预测作为基础事实来学习幻觉遮挡的光流。我们进一步设计了一个简单的CNN,利用时间信息从多个帧更好的流量估计。这两个原则导致了一种方法,该方法在具有挑战性的基准测试(包括MPI Sintel,KITTI 2012和2015)上为无监督光流学习提供了最佳性能。更值得注意的是,我们的自监督预训练模型为监督微调提供了一个很好的初始化。我们的微调模型在所有三个数据集上都实现了最先进的结果。在撰写本文时,我们在Sintel基准测试中实现了EPE = 4.26,优于所有提交的方法。
2019-04-19 cs.CV cs.LG
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University(斯坦福大学)
本文提出自引导掩码自编码器SMA,通过可学习的掩码采样消除领域特定假设,实现完全领域无关的自监督学习,并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
实例判别式自监督表示学习由于其无监督性质和下游任务的信息特征表示而受到关注。在实践中,它通常使用比监督类的数量更多的负样本。然而,在现有的分析中存在不一致性;理论上,大量的负样本会降低下游监督任务的分类性能,而经验上,它们会提高性能。我们提供了一个新的框架来分析这一实证结果,关于负样本使用优惠券收集器的问题。我们的界限可以通过增加负样本的数量来隐含地将下游任务的监督损失纳入自监督损失。我们确认,我们提出的分析在真实世界的基准数据集上成立。
2022-01-14 cs.LG stat.ML
SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs
Tsinghua University(清华大学);Bosch Center for AI(博世人工智能中心)
实体对齐是构建网络规模知识图的基本问题,其目的是在不同的知识图谱中识别等价实体。在其发展过程中,标签监督被认为是准确对齐所必需的。受自监督学习最新进展的启发,我们探讨了实体对齐可以在多大程度上摆脱监督。通常,标签信息(正实体对)用于监督将每个正对中的对齐实体拉得更近的过程。然而,我们的理论分析表明,实体对齐的学习实际上可以从推动未标记的负对远离彼此而不是将标记的正对拉近中受益更多。通过利用这一发现,我们开发了实体对齐的自监督学习目标。我们提出了SelfKG的有效策略,以优化这一目标,调整实体没有标签监督。在基准数据集上进行的大量实验表明,没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明,自监督学习为KG中的实体对齐提供了巨大的潜力。代码和数据可在https://github.com/THUDM/SelfKG上获得。
2022-03-02 cs.CL cs.LG
CaSS: A Channel-aware Self-supervised Representation Learning Framework for Multivariate Time Series Classification
Fudan University(复旦大学);Arcplus Group PLC(华东建筑集团股份有限公司)
多变量时间序列的自监督表示学习是一个具有挑战性的课题,近年来引起了人们越来越多的研究兴趣。以前的许多工作都集中在自监督学习的借口任务上,通常忽视了MTS编码的复杂问题,导致结果不尽如人意。本文从编码器和托词任务两个方面解决了这一问题,提出了一个统一的通道感知自监督学习框架CaSS。具体来说,我们首先设计了一个新的基于transformer的编码器的并行感知Transformer(CaT),以捕捉MTS的不同时间通道之间的复杂关系。其次,我们结合了两个新的借口任务下一个趋势预测(NTP)和上下文相似性(CS)的自我监督表示学习与我们提出的编码器。在几个常用的基准数据集上进行了大量的实验。实验结果表明,与以往的自监督MTS表示学习方法相比,该框架取得了新的进步(在LSST数据集上提高了+7.70\%),可以很好地应用于下游MTS分类.
2022-03-08 cs.AI cs.LG
A Self-Training Method for Semi-Supervised GANs
Huawei Technologies Co. Ltd.(华为技术有限公司)
自生成对抗网络(GANs)创建以来,人们已经做了很多工作来提高其训练稳定性,生成的图像质量,应用范围,但几乎没有一个探索其自我训练潜力。在深度学习出现之前,自我训练已经被使用,以便在有限的标记训练数据上进行训练,并且在半监督学习中显示出令人印象深刻的结果。在这项工作中,我们结合了这两个想法,并通过利用其无限的数据生成潜力,使GANs可自训练用于半监督学习任务。结果表明,即使使用最简单的自我训练形式也会产生改进。我们还显示了一个更复杂的自我训练计划,执行至少以及基本的自我训练计划,但显着减少数据增强的结果。
2017-10-27 cs.LG stat.ML
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University(杜克大学)
自监督学习显著提高了许多NLP任务的性能。然而,自监督学习如何发现有用的表示,以及为什么它比概率模型等传统方法更好,在很大程度上仍然是未知的。在本文中,我们专注于主题建模的背景下,并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时,自监督学习可以忽略特定的模型,因此不太容易受到模型误指定。特别是,我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲,我们表明,相同的目标可以执行与后验推理使用正确的模型,而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?
DeepMind(深度思维);Twitter Cortex(推特科泰克斯)
尽管自监督方法最近在残差网络的表示学习方面取得了进展,但它们在ImageNet分类基准上的表现仍然低于监督学习,限制了它们在性能关键设置中的适用性。基于来自ReLIC的先前理论见解[Mitrovic等人,2021],我们将额外的归纳偏差纳入自监督学习。我们提出了一种新的自我监督的表示学习方法,ReLICv 2,它结合了一个明确的不变性损失与对比的目标,在一组不同的适当构造的数据视图,以避免学习虚假的相关性,并获得更多的信息表示。在ResNet 50上进行线性评估时,ReLICv 2在ImageNet上实现了$77.1\%$ top- $1$精度,从而通过绝对$+1.5\%$改进了先前的最先进技术;在更大的ResNet模型上,ReLICv 2实现了高达$80.6\%$的性能,优于先前的自监督方法,其裕度高达$+2.3\%$。最值得注意的是,ReLICv 2是第一个无监督的表示学习方法,在一系列ResNet架构的同类比较中始终优于监督基线。使用ReLICv 2,我们还学习了更强大和可转移的表示,这些表示比以前的工作更好地概括了分布,无论是在图像分类还是语义分割方面。最后,我们表明,尽管使用ResNet编码器,ReLICv 2与最先进的自监督Vision Transformers相当。
2022-11-03 cs.CV cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Low-Trace Adaptation of Zero-shot Self-supervised Blind Image Denoising
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学)
提出低迹自适应Noise2Noise(LoTA-N2N)模型,通过迹约束损失弥合自监督与监督去噪差距,实现零样本自监督盲去噪的最优性能。
2024-03-19 cs.CV cs.LG eess.IV
Self-Knowledge Distillation based Self-Supervised Learning for Covid-19 Detection from Chest X-Ray Images
Hokkaido University(北海道大学)
2019冠状病毒(COVID-19)的全球爆发使全球医疗系统不堪重负。用于COVID-19快速检测和患者分诊的计算机辅助诊断变得至关重要。提出了一种新的基于自知识提取的自监督学习方法,用于从胸部X射线图像中检测COVID-19。我们的方法可以使用基于图像视觉特征相似性的图像自我知识进行自我监督学习。实验结果表明,我们的方法在最大的开放COVID-19胸部X射线数据集上获得了0.988的HM评分、0.999的AUC和0.957的准确度。
2022-06-07 cs.CV cs.LG eess.IV
Big Self-Supervised Models Advance Medical Image Classification
Google Research and Health(谷歌研究与健康)
自我监督预训练,然后进行监督微调,在图像识别中取得了成功,特别是当标记的例子很少时,但在医学图像分析中受到的关注有限。本文研究了自监督学习作为医学图像分类预训练策略的有效性。我们对两个不同的任务进行了实验:数码相机图像的皮肤病皮肤状况分类和多标签胸部X射线分类,并证明了ImageNet上的自监督学习,然后对未标记的特定领域医学图像进行额外的自监督学习,显着提高了医学图像分类器的准确性。我们介绍了一种新的多实例对比学习(MICLe)方法,该方法使用每个患者病例的基础病理的多个图像,当可用时,为自我监督学习构建更多信息的阳性对。结合我们的贡献,我们在皮肤病学和胸部X射线分类上分别实现了6.7%的top-1准确率和1.1%的平均AUC提高,优于ImageNet上预训练的强监督基线。此外,我们还证明了大型自监督模型对分布偏移具有鲁棒性,并且可以使用少量标记的医学图像进行有效学习。
2021-04-01 cs.CV cs.LG eess.IV
On the surprising similarities between supervised and self-supervised models
University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注:IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所,但根据常见中文译法及上下文,此处保留缩写更准确))
人类如何学习获得强大、灵活和健壮的对象表示?虽然这个过程的大部分仍然未知,但很明显,人类不需要数百万个对象标签。令人兴奋的是,自监督学习的最新算法进步现在使卷积神经网络(CNN)能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破,我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型,这些数据集有大规模的人类行为数据(130 K高度受控的心理物理试验)。令人惊讶的是,目前的自监督CNN具有监督CNN的四个关键特征:(1)相对较差的噪声鲁棒性(Simplified的显著例外),(2.)非人类类别级错误模式,(3.)非人类图像级错误模式(与监督模型错误的高度相似性)和(4.)对质地的偏爱总的来说,这些结果表明,通过今天的监督和自我监督训练目标学习的策略最终惊人地相似,但与人类行为相去甚远。话虽如此,我们显然只是处于所谓的机器视觉自监督革命的开始,我们希望未来的自监督模型与监督模型的行为不同,并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review
New York University(纽约大学);Meta AI - FAIR
本文从信息理论视角审视自监督学习方法,引入统一框架涵盖自监督信息理论学习问题,探讨当代方法论、研究方向及信息理论量的经验评估,提供信息理论、自监督学习与深度神经网络交叉领域的详尽综述。
2023-11-21 cs.IT cs.LG math.IT
Scaling and Benchmarking Self-Supervised Visual Representation Learning
Facebook AI Research(脸书人工智能研究院)
自监督学习的目标是在没有明确的人工监督的情况下从数据本身学习表示。现有的努力忽略了自监督学习的一个关键方面-扩展到大量数据的能力,因为自监督不需要手动标签。在这项工作中,我们重新审视了这一原则,并将两种流行的自监督方法扩展到1亿张图像。我们表明,通过在各个轴上进行缩放(包括数据大小和问题“硬度”),可以在很大程度上匹配甚至超过监督预训练在各种任务上的性能,例如使用强化学习进行目标检测,表面法线估计(3D)和视觉导航。扩展这些方法也提供了许多有趣的见解,目前的自我监督技术和评估的局限性。我们的结论是,目前的自我监督的方法是不够“硬”,以充分利用大规模的数据,似乎没有学习有效的高层次的语义表示。我们还介绍了一个跨9个不同数据集和任务的广泛基准。我们认为,要取得有意义的进展,就必须有这样一个基准以及可比较的评价环境。代码在:https://github.com/facebookresearch/fair_self_supervision_benchmark。
2019-06-06 cs.AI cs.CV cs.LG
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology(快手科技)
近年来,从大量未标记数据中学习,特别是自监督学习,逐渐兴起并受到广泛关注。自监督学习,然后对一些标记的示例进行监督微调,可以显着提高标记效率,并优于使用完全注释数据的标准监督训练。在这项工作中,我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说,我们设计了一个学生-教师网络来生成自监督学习数据的多视图,并将硬负对挖掘集成到训练中。然后,我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
自我监督为下游任务提供了有效的表示,而不需要标签。然而,现有的方法落后于完全监督的训练,并且通常被认为除了消除或减少对注释的需求之外没有好处。我们发现,自我监督可以通过多种方式使鲁棒性受益,包括对抗性示例的鲁棒性,标签腐败和常见的输入腐败。此外,自监督极大地有利于对困难的、接近分布的离群值的分布外检测,以至于它超过了完全监督方法的性能。这些结果证明了自我监督的承诺,提高鲁棒性和不确定性估计,并建立这些任务作为新的轴的评价,为未来的自监督学习研究。
2019-10-29 cs.CV cs.LG stat.ML
Lattice-Free MMI Adaptation Of Self-Supervised Pretrained Acoustic Models
Idiap Research Institute(伊迪亚普研究所)
在这项工作中,我们提出了无格MMI(LFMMI)用于自监督预训练声学模型的监督自适应。我们在数千小时的未转录Librispeech数据上预训练了一个Transformer模型,然后在三个不同的数据集上使用LFMMI进行监督适应。我们的研究结果表明,使用LFMMI进行微调,与仅使用监督数据训练的基线相比,我们在Librispeech(100小时)的清洁和其他测试集上始终获得10%和35.3%的相对WER改进,在Switchboard(300小时)上获得10.8%的相对WER改进,在Swahili(38小时)上获得4.3%的相对WER改进,在Taglets(84小时)上获得4.4%的相对WER改进。
2021-04-06 cs.LG cs.SD eess.AS
Self-supervised Neural Architecture Search
Tel Aviv University(特拉维夫大学)
神经结构搜索(NAS)最近已被用于实现各种任务的性能提高,最突出的是在图像分类。然而,当前的搜索策略依赖于大的标记数据集,这限制了它们在仅注释了一小部分数据的情况下的使用。自监督学习在使用未标记数据训练神经网络方面显示出巨大的前景。在这项工作中,我们提出了一种自监督神经结构搜索(SSNAS),它允许在不需要标记数据的情况下找到新的网络模型。我们表明,这样的搜索导致类似的结果,监督训练与“完全标记”NAS,它可以提高性能的自监督学习。此外,我们证明了所提出的方法的优点时,在搜索中的标签的数量相对较小。
2020-07-03 cs.CV cs.LG stat.ML