Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision
Imperial College London（帝国理工学院）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））；Facebook London（Facebook（伦敦））
音频和视觉模态之间的直观交互对于跨模态自监督学习是有价值的。这一概念已被证明为通用的视听任务，如视频动作识别和声学场景分类。然而，自我监督仍然没有充分探讨视听讲话。我们提出了一种从原始音频波形中学习自监督语音表示的方法。我们训练一个原始的音频编码器相结合的音频只有自我监督（通过预测信息音频属性）与视觉自我监督（通过生成说话的脸从音频）。视觉托词任务驱动音频表示来捕获与嘴唇运动相关的信息。这丰富了音频编码器的视觉信息和编码器可以用于评估没有视觉模态。我们的方法相对于现有的自监督音频特征在已建立的孤立词分类基准上具有竞争力的性能，并且在从较少的标签中学习方面显着优于其他方法。值得注意的是，我们的方法还优于完全监督训练，从而为语音相关任务提供了强大的初始化。我们的研究结果表明，在视听语音学习良好的音频表示的多模态自我监督的潜力。
2020-07-08 cs.CL cs.CV cs.LG
Self-Supervision by Prediction for Object Discovery in Videos
EPFL（洛桑联邦理工学院）
尽管深度学习算法取得了不可阻挡的成功，但它们仍然严重依赖于注释数据。另一方面，无监督设置带来了许多挑战，特别是在不同场景中确定正确的归纳偏差。一种可扩展的解决方案是通过利用部分输入数据使模型为自己生成监督，这被称为自监督学习。在本文中，我们使用的预测任务作为自我监督，并建立了一个新的对象为中心的图像序列表示模型。除了解开对象和运动动态的概念，我们的组成结构明确地处理遮挡和inpaints推断的对象和背景的预测帧的组成。借助于辅助损失函数，可以促进空间和时间一致的对象表示，我们的自监督框架可以在没有任何手动注释或预训练网络的帮助下进行训练。初步实验证实，所提出的管道是一个有前途的一步，以对象为中心的视频预测。
2021-03-09 cs.CV cs.LG
Defending Graph Convolutional Networks against Dynamic Graph Perturbations via Bayesian Self-supervision
Indiana University-Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
近年来，大量的证据表明，图卷积网络（GCN）在节点分类方面取得了非凡的成就。然而，GCN可能容易受到标签稀缺的动态图上的对抗攻击。许多现有的工作旨在加强GCN的鲁棒性;例如，对抗训练用于保护GCN免受恶意扰动。然而，这些作品失败的动态图标签稀缺性是一个紧迫的问题。为了克服标签稀缺性，自训练尝试迭代地将伪标签分配给高度自信的未标记节点，但这种尝试在动态图扰动下可能会严重退化。在本文中，我们推广噪声监督作为一种自监督学习方法，然后提出了一种新的贝叶斯自监督模型，即GraphSS，来解决这个问题。大量的实验表明，GraphSS不仅可以肯定地警告动态图上的扰动，而且还可以有效地恢复节点分类器的预测，当图是在这样的扰动。这两个优点被证明是在五个公共图数据集上的三个经典GCN上推广的。
2022-03-07 cs.LG
Equivariant Self-Supervision for Musical Tempo Estimation
Universal Music Group（环球音乐集团）
近年来，自监督方法已经成为表示学习的一个有前途的途径，因为它们减轻了对标记数据集的需求，而标记数据集是稀缺且昂贵的。对比方法是音频领域中自我监督的流行选择，并且通常通过强制模型对输入的某些变换保持不变来提供学习信号。然而，这些方法需要采取负采样或某种形式的正则化等措施，以防止模型在平凡解上崩溃。在这项工作中，而不是不变性，我们建议使用等方差作为一个自我监督信号学习音频节奏表示从未标记的数据。我们推导出一个简单的损失函数，它可以防止网络在训练过程中崩溃在一个平凡的解决方案上，而不需要任何形式的正则化或负采样。我们的实验表明，它是可以学习有意义的表示节奏估计仅仅依靠等变自我监督，实现性能与监督的方法在几个基准。作为一个额外的好处，我们的方法只需要适度的计算资源，因此仍然可以访问广泛的研究社区。
2022-09-03 cs.AI cs.LG cs.SD
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
SLADE: Detecting Dynamic Anomalies in Edge Streams without Labels via Self-Supervised Learning
KAIST（韩国科学技术院）
提出自监督框架SLADE，通过训练神经网络最小化节点表示漂移并从短期模式生成长期模式，在无标签边流中实现常数时间的动态异常检测，性能优于多种有监督方法。
2024-07-25 cs.LG cs.SI
No More Shortcuts: Realizing the Potential of Temporal Self-Supervision
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究中心）
针对时间自监督任务过于简单和存在捷径的问题，提出帧级任务重表述与增强策略，结合变换器显著提升视频特征质量，在多项高级和低级任务上达到最先进性能。
2023-12-20 cs.AI cs.CV cs.LG
On the Effects of Self-supervision and Contrastive Alignment in Deep Multi-view Clustering
UiT The Arctic University of Norway（挪威北极大学）；Norwegian Computing Center（挪威计算中心）；University of Copenhagen（哥本哈根大学）
自监督学习是最近深度多视图聚类（MVC）方法的核心组成部分。然而，我们发现在深度MVC的基于自我监督的方法的开发中存在很大的差异，这可能会减缓该领域的进展。为了解决这个问题，我们提出了DeepMVC，这是一个统一的深度MVC框架，其中包括许多最新的方法作为实例。我们利用我们的框架，使自我监督的效果，特别是调整表示与对比学习的缺点的关键意见。此外，我们证明了对比对齐会对聚类可分性产生负面影响，并且当视图数量增加时，这种影响会变得更糟。在我们的研究结果的激励下，我们开发了几个新的DeepMVC实例，具有新的自我监督形式。我们进行了大量的实验，发现（i）与我们的理论研究结果一致，对比比对降低了具有许多视图的数据集的性能;（ii）所有方法都受益于某种形式的自我监督;（iii）我们的新实例在几个数据集上优于以前的方法。根据我们的研究结果，我们提出了几个有前途的未来研究方向。为了增强该领域的开放性，我们提供了DeepMVC的开源实现，包括最近的模型和我们的新实例。我们的实施包括一个一致的评估协议，促进公平和准确的方法和组件的评估。
2023-03-17 cs.CV cs.LG stat.ML
Uni-Mlip: Unified Self-supervision for Medical Vision Language Pre-training
Technology Innovation Institute（技术创新研究院）
本文提出统一自监督框架Uni-Mlip，通过整合跨模态、单模态和融合模态自监督并定制医学图像自监督策略，缓解医学多模态数据稀缺问题，在图像-文本检索、图像分类和视觉问答任务上显著超越现有方法。
2024-11-20 cs.AI cs.CL cs.CV
Advancing Melanoma Diagnosis with Self-Supervised Neural Networks: Evaluating the Effectiveness of Different Techniques
Greenwood High International School（格林伍德高中国际学校）；Weill Cornell Medicine（威尔康奈尔医学院）
本研究评估多种自监督技术对黑色素瘤斑块分类深度学习模型准确性的影响，发现损坏去除方法效果显著，并指出通过更多训练轮次或扩大数据集可进一步提升性能，建议未来探索BYOL和对比学习等方法。
2024-07-19 cs.CV cs.LG
Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty
UC Berkeley（加州大学伯克利分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
自我监督为下游任务提供了有效的表示，而不需要标签。然而，现有的方法落后于完全监督的训练，并且通常被认为除了消除或减少对注释的需求之外没有好处。我们发现，自我监督可以通过多种方式使鲁棒性受益，包括对抗性示例的鲁棒性，标签腐败和常见的输入腐败。此外，自监督极大地有利于对困难的、接近分布的离群值的分布外检测，以至于它超过了完全监督方法的性能。这些结果证明了自我监督的承诺，提高鲁棒性和不确定性估计，并建立这些任务作为新的轴的评价，为未来的自监督学习研究。
2019-10-29 cs.CV cs.LG stat.ML
OPERA: Omni-Supervised Representation Learning with Hierarchical Supervisions
Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）；PhiGent Robotics（鉴智机器人）
现代计算机视觉中的预训练-微调范例促进了自监督学习的成功，其倾向于实现比监督学习更好的可移植性。然而，随着大量标记数据的可用性，一个自然的问题出现了：如何训练一个更好的模型与自我和全监督信号？在本文中，我们提出了全方位监督的表示学习与层次监督（OPERA）作为解决方案。我们提供了一个统一的角度监督标记和未标记的数据，并提出了一个统一的框架，完全监督和自监督学习。我们为每个图像提取一组分层代理表示，并对相应的代理表示施加自监督和全监督。在卷积神经网络和视觉Transformer上的大量实验证明了OPERA在图像分类、分割和目标检测方面的优越性。代码可从以下网址获得：https://github.com/wangck20/OPERA。
2022-11-29 cs.AI cs.CV cs.LG
There is more to graphs than meets the eye: Learning universal features with self-supervision
ETH Zurich（苏黎世联邦理工学院）；Pacific Northwest National Lab（西北太平洋国家实验室）；Indiana University Bloomington（印第安纳大学伯明顿分校）
针对现有图自监督方法仅限于单一图训练的局限，提出使用特定图编码器同质化特征，并通过通用表示学习模块在多图上学习可泛化特征，显著提升了下游任务性能、训练效率及模型紧凑性。
2024-07-29 cs.LG
On the Transferability of Large-Scale Self-Supervision to Few-Shot Audio Classification
University of Edinburgh（爱丁堡大学）；Thales UK RTI（泰雷兹英国研究与技术研究所）
本研究评估了大规模自监督模型在少样本音频分类中的性能，发现其在SpeechCommandsv2等任务上达到最先进水平，并揭示了少样本学习能力与下游音频任务基准间的强相关性。
2024-02-13 cs.LG cs.SD eess.AS
Co-learning: Learning from Noisy Labels with Self-supervision
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于人工标注错误或监督学习的网络数据采集错误而导致的噪声标注会导致神经网络过拟合误导信息，从而降低泛化性能。自监督学习在没有标签的情况下工作，从而消除了噪声标签的负面影响。受监督学习和自监督学习的共同训练的启发，我们提出了一种简单而有效的方法，称为Co-learning学习噪声标签。协同学习以协同的方式进行监督学习和自监督学习。与自监督模块的内在相似性和与噪声监督模块的结构相似性的约束施加在共享的共同特征编码器上，以正则化网络，从而最大化两个约束之间的一致性。在基准数据集上对协同学习与对等方法进行了比较，并提供了大量的结果，表明协同学习优于许多最先进的方法。
2021-10-30 cs.LG
Online Adversarial Purification based on Self-Supervision
University of California, San Diego（加利福尼亚大学圣迭戈分校）
众所周知，深度神经网络容易受到对抗性示例的影响，其中输入空间中的扰动会导致潜在网络表示的放大偏移。在本文中，我们结合了规范监督学习与自监督表示学习，并提出了自监督在线对抗净化（SOAP），一种新的防御策略，使用自监督损失，以净化敌对的例子在测试时。我们的方法利用了自监督信号的标签独立性，并对抗了自监督任务的对抗性扰动。SOAP与最先进的对抗性训练和净化方法相比，具有竞争力的鲁棒准确性，并且训练复杂性大大降低。此外，我们的方法是强大的，即使对手的知识的净化防御策略。据我们所知，我们的论文是第一个概括了使用自监督信号进行在线测试时净化的想法。
2021-01-23 cs.CR cs.CV cs.LG
CoLES: Contrastive Learning for Event Sequences with Self-Supervision
AIRI（人工智能研究所）；Sber AI Lab（俄罗斯联邦储蓄银行人工智能实验室）；MIPT（莫斯科物理技术学院）；New York University（纽约大学）
我们解决的问题，自监督学习的离散事件序列产生的现实世界的用户。自监督学习将来自原始数据的复杂信息合并到低维固定长度的向量表示中，可以很容易地应用于各种下游机器学习任务。在本文中，我们提出了一种新的方法“CoLES”，适应对比学习，以前用于音频和计算机视觉域，在自监督设置的离散事件序列域。我们基于欧洲大型金融服务公司的交易序列部署了CoLES嵌入。CoLES嵌入的使用显著提高了现有模型在下游任务上的性能，并产生了显著的财务收益，每年可达数亿美元。我们还在几个公共事件序列数据集上评估了CoLES，并表明CoLES表示在不同的下游任务上始终优于其他方法。
2022-07-22 cs.LG
Feature propagation as self-supervision signals on graphs
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)（加泰罗尼亚理工大学-巴塞罗那理工（UPC））
针对图自监督学习中对比学习开销大且增广可能改变语义的问题，提出RGI框架，通过最大化节点嵌入与特征传播的互信息训练图神经网络，非对比且无需增广，在基准上达到最先进性能。
2023-09-04 cs.LG
Hyperspherically Regularized Networks for Self-Supervision
University of Aberdeen（阿伯丁大学）
Bootstrap Your Own Latent（BYOL）引入了一种自监督学习的方法，避免了对比范式，并随后消除了与此类方法相关的负采样的计算负担。然而，我们的经验发现，下BYOL的自蒸馏范式产生的图像表示是不好的分布在表示空间相比，对比方法。这项工作经验表明，对比度损失所实施的功能多样性是有益的图像表示的均匀性时，采用BYOL，因此，提供了更大的类间表示可分性。此外，我们探索并提倡使用正则化方法，特别是网络权重的超球能量的逐层最小化（即熵的最大化），以鼓励表示的均匀性。我们表明，直接优化标准损失的均匀性度量，或正则化BYOL架构的网络以最小化神经元的超球面能量，可以产生更均匀分布的表示，从而更好地执行下游任务。
2022-03-27 cs.LG
Fourier Self-Supervision for Fine-Grained Generalized Category Discovery
University of Amsterdam（阿姆斯特丹大学）；University of Technology Nuremberg（纽伦堡工业大学）
提出傅里叶自监督学习，通过双频率过滤策略优化特征空间，在多细粒度数据集上实现优于现有方法的广义类别发现性能。
2026-08-11 cs.AI cs.CV cs.LG
LiRA: Learning Visual Speech Representations from Audio through Self-supervision
Imperial College London（伦敦帝国理工学院）；Facebook London（脸书伦敦）；University of Augsburg（奥格斯堡大学）
当今在线共享的大量视听内容引起了人们对视听自监督学习前景的极大关注。最近的作品集中在这些模式分别，而其他人试图同时在一个跨模态的方式建模。然而，相对而言，很少有人注意利用一种方式作为培训目标，向另一种方式学习。在这项工作中，我们提出了通过自我监督从音频中学习视觉语音表示（LiRA）。具体来说，我们训练ResNet+Conformer模型来预测来自未标记视觉语音的声学特征。通过特征提取和微调实验，我们发现这种预训练模型可以用于单词级和句子级唇读。我们表明，我们的方法在野生唇读（LRW）数据集上的表现明显优于其他自监督方法，并且仅使用总标记数据的一小部分就在唇读句子2（LRS2）上实现了最先进的性能。
2021-06-16 cs.CV cs.LG cs.SD
Cross Pixel Optical Flow Similarity for Self-Supervised Learning
University of Oxford（牛津大学）
我们提出了一种新的方法来学习卷积神经图像表示，而无需人工监督。我们使用光流形式的运动线索来监督静态图像的表示。训练网络以从单个图像预测流量的明显方法可能是不必要的困难，因为这种预测任务中存在固有的模糊性。相反，我们提出了一个简单得多的学习目标：嵌入像素，使它们的嵌入之间的相似性匹配的光流向量之间。在测试时，可以在不访问视频或流信息的情况下使用学习的深度网络，并将其转移到图像分类、检测和分割等任务中。我们的方法大大简化了以前使用运动进行自我监督的尝试，在使用运动线索的自我监督中实现了最先进的结果，一般来说，自我监督的竞争结果，并且在语义图像分割的自我监督预训练中是最先进的，如标准基准测试所示。
2018-07-15 cs.CV cs.LG cs.NE
SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs
Tsinghua University（清华大学）；Bosch Center for AI（博世人工智能中心）
实体对齐是构建网络规模知识图的基本问题，其目的是在不同的知识图谱中识别等价实体。在其发展过程中，标签监督被认为是准确对齐所必需的。受自监督学习最新进展的启发，我们探讨了实体对齐可以在多大程度上摆脱监督。通常，标签信息（正实体对）用于监督将每个正对中的对齐实体拉得更近的过程。然而，我们的理论分析表明，实体对齐的学习实际上可以从推动未标记的负对远离彼此而不是将标记的正对拉近中受益更多。通过利用这一发现，我们开发了实体对齐的自监督学习目标。我们提出了SelfKG的有效策略，以优化这一目标，调整实体没有标签监督。在基准数据集上进行的大量实验表明，没有监督的SelfKG可以与最先进的监督基线匹配或实现可比的结果。SelfKG的性能表明，自监督学习为KG中的实体对齐提供了巨大的潜力。代码和数据可在https://github.com/THUDM/SelfKG上获得。
2022-03-02 cs.CL cs.LG
Self-supervised Representation Learning for Reliable Robotic Monitoring of Fruit Anomalies
数据增强可以是一个简单而强大的工具，自主机器人充分利用现有的数据进行自我监督识别的非典型场景或对象。国家的最先进的增强方法任意嵌入“结构”的特殊性，对典型的图像，使这些文物分类可以提供指导学习表示异常的视觉信号的检测。然而，在本文中，我们认为学习这种结构敏感的表示可能是某些异常类别的次优方法（例如，不健康的水果），这可以通过不同类型的视觉元素（例如“颜色”）来更好地识别。因此，我们提出通道随机化作为一种新的数据增强方法，用于限制神经网络学习“颜色不规则性”的编码，同时预测通道随机化图像，以最终建立可靠的水果监测机器人，识别非典型水果品质。我们的实验表明，（1）这种基于颜色的替代方法可以更好地学习表示，以始终如一地准确识别各种水果中的水果异常，而且，（2）与其他方法不同，在实践中，由于在自监督颜色中的性能之间的正相关性，验证精度可以用作早期停止训练的标准。区分任务和随后的实际异常水果的检测率。此外，所提出的方法在一个新的农业数据集Riseholme-2021上进行了评估，该数据集由移动机器人收集的3.5K草莓图像组成，我们在网上分享这些图像，以鼓励积极的农业机器人研究。
2022-03-24 cs.CV cs.LG cs.RO
LPaintB: Learning to Paint from Self-Supervision
University of Maryland at College Park（马里兰大学帕克分校）；Adobe Research（奥多比研究院）
提出了一种新的基于强化学习的自然媒体绘制算法。我们的目标是使用画笔笔划再现参考图像，并通过观察对目标进行编码。我们的公式考虑到奖励在动作空间中的分布是稀疏的，从头开始训练强化学习算法可能很困难。我们提出了一种结合自监督学习和强化学习的方法来有效地将负样本转换为正样本，并改变奖励分布。我们证明了我们的绘画代理的好处，以重现参考图像与笔触。训练阶段大约需要一个小时，运行时算法在GTX 1080 GPU上大约需要30秒，再现具有20，000个笔划的1000x800图像。
2019-09-21 cs.AI cs.CV cs.LG
Towards Lifelong Self-Supervision For Unpaired Image-to-Image Translation
Mila；Universite de Montreal（蒙特利尔大学）
不成对的图像到图像翻译（I2IT）任务经常受到缺乏数据的困扰，这是自监督学习（SSL）最近非常流行并成功解决的问题。利用旋转预测或生成着色等辅助任务，SSL可以在低数据状态下生成更好、更鲁棒的表示。然而，随着模型大小和任务数量的增长，沿着I2IT任务训练这样的任务在计算上是难以处理的。另一方面，顺序学习可能导致对先前学习的任务的灾难性遗忘。为了缓解这一问题，我们引入了终身自我监督（LiSS）作为预训练I2IT模型的一种方式（例如，CycleGAN）在一组自我监督的辅助任务上。通过保持过去编码器的指数移动平均值并提取积累的知识，我们能够在许多任务上保持网络的验证性能，而无需任何形式的重放，参数隔离或再训练技术通常用于持续学习。我们发现，使用LiSS训练的模型在过去的任务中表现更好，同时也比CycleGAN基线对颜色偏差和实体纠缠（当两个实体非常接近时）更鲁棒。
2020-03-31 cs.CV cs.LG eess.IV
Self-interacting hidden sector dark matter, small scale galaxy structure anomalies, and a dark force
暗物质（DM）在星系尺度下的短距离行为表现出一些典型的速度无关截面冷暗物质（CDM）所不能解释的特征。我们讨论了一个粒子物理模型，其中暗费米子通过暗力与作为介质的亮暗光子进行自相互作用，暗扇区与可见扇区微弱地相互作用。我们研究耦合玻尔兹曼方程涉及两个温度，一个为每个部门。我们拟合的速度依赖DM截面的数据从矮星系到星团的尺度与遗迹密度约束一致。
2021-04-08 hep-ph
Semi-visible jets, energy-based models, and self-supervision
本文提出DarkCLR框架，通过自监督对比学习构建对变换近似不变的观测量，并结合背景增强、CLR异常分数与归一化自编码器，实现对LHC半可见喷注的高灵敏且鲁棒的异常探测。
2025-01-13 hep-ph
'Deep' Dive into $b \to c$ Anomalies: Standardized and Future-proof Model Selection Using Self-normalizing Neural Networks
注意到信息理论方法的错误倾向，如Akaike信息准则（AIC），选择更简单的模型，同时执行模型选择与小样本大小，我们解决了新的物理模型选择问题，在本文中，通过采用特定的机器学习算法（自归一化神经网络，a.k.a.）在$b\to c τν_τ$衰变。SNN）用于监督分类和回归，在模型独立的框架中。虽然与真实数据集的分类结果与AIC相比，SNN在模型选择的各个方面都优于AIC $_c$，但回归结果与贝叶斯分析的结果相比，所获得的参数空间差异很大，同时保持最大后验（MAP）估计相似。一些两个运营商的情况下与张量型相互作用被发现是最可能的解决方案的数据。我们还使用Belle-II中预期的更精确的数据来测试我们训练的网络的有效性。提供经过训练的网络和相关功能供社区使用。
2020-08-10 hep-ex hep-lat hep-ph
Symmetries, Safety, and Self-Supervision
本文提出 JetCLR，利用自监督对比学习和置换不变 transformer-encoder，将喷注低层数据映射为保留物理对称性与判别信息的新物理无关表示。
2021-08-09 hep-ph
