Look, Listen, and Attend: Co-Attention Network for Self-Supervised Audio-Visual Representation Learning
Academy for Engineering and Technology, Fudan University（复旦大学工程与应用技术研究院）；School of Computer Science, Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学计算机科学技术学院，上海市智能信息处理重点实验室）
当观看视频时，视觉事件的发生通常伴随有音频事件，例如，嘴唇运动的声音，演奏乐器的音乐。视听事件之间存在潜在的相关性，可以作为自由监督信息，通过解决视听同步的前提任务来训练神经网络。在本文中，我们提出了一种新的自监督框架与共注意力机制学习通用的跨模态表示在野外未标记的视频，并进一步受益于下游任务。具体来说，我们探讨了三种不同的共同注意模块，专注于与声音相关的区别性视觉区域，并介绍它们之间的相互作用。实验表明，我们的模型实现了国家的最先进的性能的借口任务，而与现有的方法相比，具有更少的参数。为了进一步评估我们方法的可推广性和可转移性，我们将预训练模型应用于两个下游任务，即，声源定位和动作识别。大量的实验表明，我们的模型提供了竞争力的结果与其他自我监督的方法，也表明我们的方法可以解决具有挑战性的场景，包含多个声源。
2020-08-13 cs.AI cs.CV cs.LG
Self-Supervised Audio-Visual Representation Learning with Relaxed Cross-Modal Synchronicity
Queen’s University（女王大学）；Vector Institute（向量研究所）
我们提出了CrissCross，一个用于学习视听表示的自我监督框架。在我们的框架中引入了一个新的概念，除了学习模态内和标准的“同步”跨模态关系，CrissCross还学习“异步”跨模态关系。我们进行了深入的研究，表明通过放松音频和视觉模态之间的时间同步性，网络学习了对各种下游任务有用的强广义表示。为了预训练我们提出的解决方案，我们使用了3个不同大小的数据集，Kinetics-Sound，Kinetics 400和AudioSet。学习的表示进行评估的一些下游任务，即动作识别，声音分类和动作检索。我们的实验表明，CrissCross在动作识别和动作检索方面优于或达到了与当前最先进的自监督方法（UCF 101和HMDB 51）以及声音分类（ESC 50和DCASE）相当的性能。此外，CrissCross在Kinetics-Sound上进行预训练时优于完全监督的预训练。代码和预训练模型可在项目网站上获得。
2022-11-25 cs.CV cs.LG
Learning Representations by Predicting Bags of Visual Words
University of Crete（克里特大学）
自监督表示学习的目标是从未标记的数据中学习基于convnet的图像表示。受NLP方法在这一领域取得成功的启发，在这项工作中，我们提出了一种基于空间密集图像描述的自监督方法，该图像描述对离散视觉概念进行编码，这里称为视觉词。为了构建这样的离散表示，我们将第一个预训练的自监督convnet的特征映射映射到基于k-means的词汇表上。然后，作为一个自我监督的任务，我们训练另一个convnet来预测图像的视觉单词的直方图（即，其词袋表示）作为输入给出图像扰动版本。所提出的任务迫使convnet学习扰动不变和上下文感知的图像特征，这对下游图像理解任务很有用。我们广泛地评估我们的方法，并证明了非常强的实证结果，例如，当与监督情况相比时，我们的预训练的自监督表示在检测任务上转移得更好，并且类似地在预训练期间对“看不见的”类的分类上转移得更好。这也表明，图像离散化为视觉文字的过程可以为图像领域非常强大的自监督方法提供基础，从而允许与迄今为止非常成功的NLP领域的相关方法建立进一步的联系。
2020-02-27 cs.CV cs.LG
High Fidelity Visualization of What Your Self-Supervised Representation Knows About
Meta AI Research（Meta人工智能研究院）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）
发现神经网络学到了什么仍然是一个挑战。在自监督学习中，分类是最常见的任务，用于评估表示的好坏。然而，仅依赖于这样的下游任务可能会限制我们对给定输入的表示中保留哪些信息的理解。在这项工作中，我们展示了使用一个表示条件扩散模型（RCDM）在数据空间中可视化的表示学习自监督模型。使用RCDM的动机是它能够生成高质量的样本-与最先进的生成模型相当-同时确保这些样本的表示是忠实的，即接近用于调节的表示。通过使用RCDM来分析自监督模型，我们能够清楚地可视化地显示i）SSL（主干）表示对于它们被训练的数据增强不是不变的-因此揭穿了经常重申但错误的信念; ii）SSL后投影仪嵌入对于这些数据增强以及许多其他数据对称性确实是不变的; iii）SSL表示比以监督方式训练的表示对输入的小对抗性扰动更鲁棒; iv）SSL训练的表示表现出固有的结构，由于RCDM可视化，可以探索该结构并实现图像操作。
2022-08-16 cs.AI cs.LG
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute（Mila-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）；University of Montreal（蒙特利尔大学）
我们研究了一种策略，通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失，SuNCEt，基于噪声对比估计和邻域成分分析，其目的是区分不同类别的例子，除了自我监督的实例借口任务。在ImageNet上，我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性，同时使用不到一半的预训练和计算量。我们的主要观点是，在预训练期间，而不仅仅是在微调期间，即使是少量的标记数据，也可以提供一个重要的信号，可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
SAVe: Self-Supervised Audio-visual Deepfake Detection Exploiting Visual Artifacts and Audio-visual Misalignment
Social Networks and Human-Centered Computing Program, Taiwan International Graduate Program, Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所台湾国际研究生计划社交网络与人本计算项目）；Department of Computer Science, National Chengchi University（国立政治大学资讯科学系）；Institute of Information Systems and Applications, National Tsing Hua University（国立清华大学资讯系统与应用研究所）；National Institute of Informatics（国立情报学研究所）；Department of Electrical Engineering and the Institute of Communications Engineering, National Tsing Hua University（国立清华大学电机工程学系与通讯工程研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
SAVe通过自监督学习在真实视频上训练，生成伪篡改以学习互补的视觉线索，并通过音视频对齐组件捕捉跨模态证据，实现对深度伪造的高效检测。
2026-03-26 cs.AI cs.CV cs.LG
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research（Facebook AI研究院）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆塔纳实验室）
最近，自监督学习方法，如MoCo，Simploy，BYOL和SwAV，已经缩小了与监督方法的差距。这些结果是在控制环境中实现的，即高度策划的ImageNet数据集。然而，自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中，我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督（SEER）模型，一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY，达到了84.2%的top-1准确率，超过了最好的自监督预训练模型1%，并证实了自监督学习在现实世界中的工作环境。有趣的是，我们还观察到自监督模型是很好的Few-Shot学习者，在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码：https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
EBMs vs. CL: Exploring Self-Supervised Visual Pretraining for Visual Question Answering
University of Adelaide（阿德莱德大学）；Amazon（亚马逊）；Idiap Research Institute（Idiap研究所）
干净和多样的标记数据的可用性是训练模型进行复杂任务（如视觉问答（VQA））的主要障碍。对大型视觉和语言模型的大量研究表明，自监督学习对于预训练多模态交互是有效的。在这份技术报告中，我们专注于视觉表现。我们审查和评估自我监督方法，以利用未标记的图像并预训练模型，然后在自定义VQA任务上进行微调，以允许受控的评估和诊断。我们比较了基于能量的模型（EBM）和对比学习（CL）。虽然循证医学越来越受欢迎，但它们缺乏对下游任务的评估。我们发现EBM和CL都可以从未标记的图像中学习表示，从而能够在很少的注释数据上训练VQA模型。在一个类似于CLEVR的简单设置中，我们发现CL表示也提高了系统的泛化能力，甚至可以与来自更大的、有监督的、ImageNet预训练模型的表示的性能相匹配。然而，我们发现循证医学是难以训练，因为不稳定性和高变异性，在他们的结果。虽然EBM被证明对OOD检测有用，但基于监督的能量训练和不确定性校准的其他结果在很大程度上是负面的。总的来说，合作法目前似乎比循证医学更可取。
2022-06-29 cs.CL cs.CV cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
LeAVJEPA: A Minimalist Architecture for Audio-Visual Self-Supervised Learning
ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿尔托大学）
LeAVJEPA提出一种极简视听自监督架构，利用单一早期融合ViT和模态丢弃实现跨模态对齐，在AudioSet-20K、ESC-50和VGGSound上取得优异性能，并支持零样本检索。
2026-10-06 cs.CV cs.LG
SEED: Self-supervised Distillation For Visual Representation
Arizona State University（亚利桑那州立大学）；Microsoft Corporation（微软公司）
本文研究了小模型的自监督学习。这个问题的动机是我们的实证研究，虽然广泛使用的对比自监督学习方法在大模型训练方面取得了很大的进展，但它对小模型的效果并不好。为了解决这个问题，我们提出了一种新的学习范式，名为自监督蒸馏（SEED），在这种范式中，我们利用一个更大的网络（作为教师）以自我监督的方式将其表征知识转移到一个更小的架构（作为学生）中。我们不是直接从未标记的数据中学习，而是训练学生编码器来模仿教师在一组实例上推断的相似性分数分布。我们表明，种子显着提高下游任务的小型网络的性能。与自监督基线相比，SEED将EfficientNet-B 0上的前1准确率从42.2%提高到67.6%，并将MobileNet-v3-Large上ImageNet-1 k数据集的前1准确率从36.3%提高到68.2%。
2021-04-15 cs.AI cs.CV
Supervised Dimensionality Reduction and Visualization using Centroid-encoder
Colorado State University（科罗拉多州立大学）
可视化高维数据是数据科学和机器学习中的一项重要任务。质心编码器（CE）方法类似于自动编码器，但包含标签信息，以保持类的对象在减少的可视化空间中靠近在一起。CE利用非线性和标签来编码低维的高方差，同时捕获数据的全局结构。我们提出了一个详细的分析，使用各种各样的数据集的方法，并将其与其他监督降维技术，包括NCA，非线性NCA，t-分布NCA，t-分布MCML，监督UMAP，监督PCA，彩色最大方差展开，监督Isomap，参数嵌入，监督邻居检索可视化，和多关系嵌入。我们的经验表明，质心编码器优于大多数这些技术。我们还表明，当数据方差分布在多个模态时，质心编码器从低维空间的数据中提取大量的信息。这个关键特性确立了它作为数据可视化工具的价值。
2020-02-28 cs.CV cs.LG stat.ML
Self-Supervised Representation Learning for Visual Anomaly Detection
KAIST（韩国科学技术院）
自监督学习允许更好地利用未标记的数据。通过自监督获得的特征表示可以用于下游任务，例如分类、目标检测、分割和异常检测。虽然分类，目标检测和分割已经研究了自监督学习，异常检测需要更多的关注。研究了图像和视频中的异常检测问题，提出了一种新的视频视觉异常检测技术。许多开创性的和国家的最先进的自我监督的方法进行评估，对各种图像数据集的异常检测。最好的基于图像的自我监督表示学习方法，然后用于视频异常检测，看到视频中的视觉异常检测的空间特征的重要性。我们还提出了一个简单的自我监督的方法来学习跨视频帧的时间相干性，而不使用任何光流信息。在其核心，我们的方法确定的混乱的视频序列的帧索引，使其能够学习的时空特征的视频。与UCF 101和ILSVRC 2015视频数据集上的图像和视频的许多方法相比，这种直观的方法显示了视觉异常检测的优越性能。
2020-06-17 cs.CV cs.LG eess.IV
Extracting Symbolic Sequences from Visual Representations via Self-Supervised Learning
Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Posgrado en Ciencia e Ingeniería de la Computación（计算机科学与工程研究生课程）；Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas（应用数学与系统研究所）
本文提出扩展DINO框架，利用自监督学习从视觉数据生成离散符号序列，并通过解码器交叉注意力实现可解释性，为高层场景理解奠定基础。
2025-03-06 cs.CV cs.LG
A Computational Account Of Self-Supervised Visual Learning From Egocentric Object Play
Vanderbilt University（范德堡大学）
本文基于 Toybox 自我中心视频数据集，研究将同一物体不同视角表征等同的自监督对比学习方法，证明其能鲁棒提升下游图像分类性能并可迁移到多个任务。
2023-05-30 cs.AI cs.CV
Harmony: A Joint Self-Supervised and Weakly-Supervised Framework for Learning General Purpose Visual Representations
Harvard University（哈佛大学）；KAUST（王国立人工智能科技大学）
Harmony框架结合视觉-语言训练与自监督学习，通过多目标优化和软CLIP目标，在多种下游视觉任务上显著超越CLIP及现有联合方法。
2025-06-23 cs.CV cs.LG
Understand and Improve Contrastive Learning Methods for Visual Representation: A Review
Georgia Tech（佐治亚理工学院）
传统的监督学习方法由于依赖于昂贵的人工标记数据以及泛化能力有限和易受对抗攻击等弱点而遇到瓶颈。作为无监督学习的一种，自监督学习是一种很有前途的替代方法，由于其在不需要人工标记的情况下学习有效的数据表示的潜力而受到欢迎。在自监督学习算法中，对比学习在多个研究领域取得了最新的性能。这篇文献综述旨在提供一个最新的分析研究人员的努力，以了解自监督学习的关键组成部分和局限性。
2021-06-06 cs.CV cs.LG
Time to augment self-supervised visual representation learning
CNRS（法国国家科学研究中心）；Pascal institute - University Clermont-Ferrand（克莱蒙费朗大学帕斯卡研究所）；Frankfurt Institute for Advanced Studies（法兰克福高等研究所）
生物视觉系统在没有监督的情况下学习视觉表示的能力是无与伦比的。在机器学习中，自监督学习（SSL）在以无监督方式形成对象表示方面取得了重大进展。这样的系统学习对图像上的增强操作（如裁剪或翻转）不变的表示。相比之下，生物视觉系统在与对象的自然交互期间利用视觉体验的时间结构。这样就可以访问SSL中不常用的“增强”，例如从多个视点或不同背景观看同一对象。在这里，我们系统地研究和比较这种基于时间的增强在学习对象类别的自然交互过程中的潜在好处。我们的研究结果表明，基于时间的增强实现大的性能增益超过国家的最先进的图像增强。具体来说，我们的分析表明：1）3-D对象操作大大提高了对象类别的学习; 2）在不断变化的背景下查看对象对于学习从潜在表示中丢弃背景相关信息非常重要。总的来说，我们的结论是，在与物体的自然交互过程中基于时间的增强可以大大提高自监督学习，缩小人工和生物视觉系统之间的差距。
2022-12-21 cs.CV cs.LG
Towards Efficient and Effective Self-Supervised Learning of Visual Representations
Indian Institute of Science（印度科学学院）
自我监督已经成为一个有利的视觉表示学习的方法后，最近的范式转变，从手工制作的借口任务，以实例相似性为基础的方法。大多数最先进的方法强制给定图像的各种增强之间的相似性，而一些方法还使用对比方法来明确确保不同的表示。虽然这些方法确实显示出了有希望的方向，但与有监督的方法相比，它们需要大量的训练迭代。在这项工作中，我们探讨了这些方法收敛缓慢的原因，并进一步提出使用适定的辅助任务来加强它们，这些辅助任务收敛得更快，并且对表示学习也很有用。所提出的方法利用旋转预测的任务，以提高现有的国家的最先进的方法的效率。我们在多个数据集上使用所提出的方法表现出显着的性能增益，特别是对于较低的训练时期。
2022-10-18 cs.CV cs.LG
Self-supervised visual learning for analyzing firearms trafficking activities on the Web
Harokopio University of Athens（雅典哈罗科皮奥大学）
该研究针对网络枪支贩运分析中的视觉分类任务，提出采用自监督学习与视觉Transformer进行评估，以弥补现有迁移学习方法的不足，提升分类性能。
2024-02-06 cs.AI cs.CV
Self-Supervised Visual Representation Learning Using Lightweight Architectures
Pune Institute of Computer Technology（浦那计算机技术学院）；Whirlpool Corporation（惠而浦公司）
在自监督学习中，使用机器创建注释的数据集来训练模型以解决借口任务。目标是将训练的权重转移到目标域中执行下游任务。我们批判性地研究了从图像数据中提取特征的最显著的借口任务，并进一步在资源受限的网络上进行实验，这有助于更快的实验和部署。我们研究了保持所有其他参数一致的各种自监督技术的性能。我们研究了通过改变模型类型、大小和对骨干进行的预训练量而出现的模式，并建立了一个标准，以供将来的研究进行比较。我们还进行了全面的研究，以了解不同架构学习的表示质量。
2021-10-21 cs.CV cs.LG
How much human-like visual experience do current self-supervised learning algorithms need in order to achieve human-level object recognition?
New York University（纽约大学）
本文解决了一个基本问题：我们目前的自我监督视觉表示学习算法相对于人类有多好？更具体地说，这些算法需要多少“类人”的自然视觉体验才能在复杂、现实的视觉对象识别任务（如ImageNet）中达到人类水平的性能？使用缩放实验，我们估计答案比人类寿命长几个数量级：通常在100万到10亿年的自然视觉体验（取决于所使用的算法）。我们在ImageNet衍生的鲁棒性基准测试中获得了更大的估计，以实现人类水平的性能。这些估计数的确切值对一些基本假设很敏感，但即使在最乐观的情况下，它们仍然比人类寿命大几个数量级。我们讨论了我们的估计和这些令人惊讶的结果的影响周围的主要警告。
2022-05-24 cs.CV cs.LG cs.NE
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Oxford（牛津大学）
自监督视觉表示学习（SSL）的研究提高了编码器的骨干，以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能，但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发，我们提出了一个CNN注意力恢复（CARE）框架，以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流（C-stream）和Transformer流（T-stream）组成，其中每个流包含两个分支。C-stream遵循现有的SSL框架，具有两个CNN编码器，两个投影仪和一个预测器。T-stream包含两个Transformers，两个projector和一个predictor。T-Stream连接到CNN编码器，并与其余的C-Stream并行。在训练过程中，我们同时在两个流中执行SSL，并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强，并且变得适合于SSL场景。我们使用这些调制特征来监督C流，以学习专注的CNN编码器。为此，我们以Transformers为指导，重振CNN的关注。几个标准的视觉识别基准，包括图像分类，目标检测和语义分割的实验表明，所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
Semi-Supervised Visual Representation Learning for Fashion Compatibility
Carnegie Mellon University（卡内基梅隆大学）；Walmart Global Tech Bangalore（沃尔玛全球科技班加罗尔分部）
我们考虑互补的时尚预测问题。现有的方法专注于学习嵌入空间，其中视觉上兼容的不同类别的时尚物品彼此更接近。然而，创建这种标记的服装是密集的，并且也不可行以生成所有可能的服装组合，特别是对于大型时尚目录。在这项工作中，我们提出了一种半监督学习方法，在这种方法中，我们利用大型未标记的时尚语料库在训练过程中动态创建伪正面和伪负面服装。对于训练批次中的每个标记服装，我们通过将标记服装中的每个项目与未标记的项目进行匹配来获得伪服装。此外，我们引入了一致性正则化，以确保原始图像及其变换的表示是一致的，通过自我监督隐式地包含颜色和其他重要属性。我们对Polyvore，Polyvore-D和我们新创建的大规模Fashion Outfits数据集进行了广泛的实验，并表明我们的方法只有一小部分标记的示例与完全监督的方法相当。
2021-09-16 cs.CV cs.LG
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Self-Supervised Visual Place Recognition Learning in Mobile Robots
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
位置识别是机器人导航中的一个关键组成部分，它使机器人能够重新建立以前访问过的位置，并同时使用这些信息来纠正其推算估计中发生的漂移。在这项工作中，我们开发了一种自我监督的方法来识别机器人。视觉环路闭合识别的任务被转换为度量学习问题，其中环路闭合的正面和负面示例的标签可以使用机器人已经使用的GPS辅助导航解决方案自举。通过利用传感器之间的同步，我们表明，我们能够学习任意实值图像描述符（包括最先进的CNN模型），这是专门面向移动机器人的视觉识别的适当的距离度量。此外，我们表明，新学习的嵌入可以特别强大的消歧视觉场景的任务，基于视觉的闭环识别移动机器人。
2019-05-11 cs.CV cs.LG cs.RO
SelfVIO: Self-Supervised Deep Monocular Visual-Inertial Odometry and Depth Estimation
The University of Oxford（牛津大学）；Bogazici University（博阿齐奇大学）；Middle East Technical University（中东技术大学）
在过去的十年中，已经提出了许多需要大量标记数据的监督深度学习方法用于视觉惯性里程计（VIO）和深度图估计。为了克服数据限制，自监督学习已经成为一种有前途的替代方案，利用场景中的几何和光度一致性等约束。在这项研究中，我们引入了一种新的基于自监督深度学习的VIO和深度图恢复方法（SelfVIO），该方法使用对抗训练和自适应视觉-惯性传感器融合。SelfVIO学习从未标记的单目RGB图像序列和惯性测量单元（IMU）读数联合估计6自由度（6-DoF）自我运动和场景的深度图。所提出的方法是能够执行VIO，而不需要IMU的内部参数和/或外部校准之间的IMU和相机。估计和单视图深度恢复网络。我们提供了全面的定量和定性评估的建议框架比较其性能与国家的最先进的VIO，VO，视觉同时定位与地图构建（VSLAM）的方法对KITTI，欧洲RoC和城市景观数据集。详细的比较证明，SelfVIO在姿态估计和深度恢复方面优于最先进的VIO方法，使其成为文献中现有方法中有前途的方法。
2020-07-23 cs.CV cs.LG eess.IV
Multimodal Visual-Tactile Representation Learning through Self-Supervised Contrastive Pre-Training
Cyber-Physical-Systems Lab at Montanuniversität Leoben（莱奥本大学信息物理系统实验室）
本文提出自监督对比学习框架 MViTac，通过模态内与模态间损失融合视觉和触觉信息，在材料分类与抓取成功预测上优于现有自监督及监督方法。
2024-01-22 cs.AI cs.LG cs.RO
Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry
Key Laboratory of Machine Perception (MOE), School of EECS, Peking University（北京大学信息科学技术学院机器感知与智能教育部重点实验室）；PKU-SenseTime Machine Vision Joint Lab（北京大学-商汤科技机器视觉联合实验室）
我们提出了一个自监督学习框架，视觉里程计（VO），结合了连续帧的相关性，并利用对抗学习。先前的方法将自监督VO处理为局部运动恢复结构运动恢复结构（SfM）问题，其通过最小化扭曲图像和捕获图像之间的光度损失来从单个图像恢复深度并从图像对恢复相对姿态。由于单视点深度估计是一个不适定问题，而光度损失不能区分扭曲图像的失真伪影，因此估计的深度是模糊的，姿态是不准确的。与以前的方法相比，我们的框架学习了帧到帧相关性的紧凑表示，并通过合并顺序信息进行更新。更新的表示用于深度估计。此外，我们处理VO作为一个自我监督的图像生成任务，并利用生成对抗网络（GAN）。生成器学习估计深度和姿态以生成变形的目标图像。该方法利用高层次的结构感知来评估生成图像的质量，克服了以往方法中像素丢失的问题。在KITTI和Cityscapes数据集上的实验表明，该方法在保留细节的情况下获得了更准确的深度，并且预测姿势的性能明显优于最先进的自监督方法。
2019-08-23 cs.CV cs.LG cs.RO
Leveraging Unimodal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Horizon Robotics（地平线机器人）
训练基于transformer的模型需要大量的数据，而在多模态中获得对齐和标记的数据是相当昂贵的，特别是对于视听语音识别（AVSR）。因此，使用未标记的单峰数据非常有意义。另一方面，尽管大规模自监督学习的有效性在音频和视觉模式中都得到了很好的证实，但如何将这些预先训练的模型集成到多模式场景中仍然没有得到充分的探索。在这项工作中，我们成功地利用单峰自监督学习，以促进多模态AVSR。特别是，音频和视觉前端在大规模单峰数据集上进行训练，然后我们将两个前端的组件集成到一个更大的多模态框架中，该框架通过CTC和seq2seq解码的组合学习将并行视听数据识别为字符。我们发现，这两个组件继承自单峰自监督学习合作良好，从而导致多模态框架产生竞争力的结果，通过微调。我们的模型是实验验证的单词级和单词级的任务。特别是，即使没有一个外部的语言模型，我们提出的模型提高了国家的最先进的性能上广泛接受的唇读句子2（LRS 2）数据集的大幅度，相对提高了30%。
2022-03-26 cs.AI cs.CL cs.CV
AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning
ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University, Espoo, Finland（艾尔沃斯大学计算机科学系）
研究将LeJEPA扩展到视听自监督学习，核心方法是用早期融合视觉Transformer和模态丢弃作掩码训练模型对齐视图嵌入，主要贡献是实现跨模态对齐，架构简洁，在分类任务中有竞争力且支持零样本音频-视频检索。
2026-07-20 cs.AI cs.LG cs.MM
Self-Supervised Radio-Visual Representation Learning for 6G Sensing
Bell Labs（贝尔实验室）；UCLA（加州大学洛杉矶分校）
在未来的6G蜂窝网络中，联合通信和传感协议将允许网络感知环境，为统一通信感知基础设施上的许多新应用打开大门。然而，解释稀疏无线电表示的传感场景是具有挑战性的，这阻碍了这些新兴系统的潜力。我们建议将无线电和视觉相结合，以最少的人为干预自动学习仅无线电传感模型。我们希望建立一个无线电传感模型，可以以数百万个未经管理的数据点为基础。为此，我们利用自监督学习的最新进展，并制定了一个新的无标签的无线电视觉协同学习计划，通过跨模态的互信息的视觉训练无线电。我们实施和评估我们的计划，根据共同的线性分类基准，并报告定性和定量的性能指标。在我们的评估中，通过无线电视觉自我监督学习的表示对于下游传感演示器效果良好，并且在使用较少标记数据时优于其完全监督的对应物。这表明，自监督学习可能是未来可扩展的无线电传感系统的重要推动者。
2022-02-24 cs.LG cs.NI
Supervised Visualization for Data Exploration
Utah State University（犹他州立大学）；Université de Montréal（蒙特利尔大学）
简化通常被用作数据探索的初始步骤，无论是作为分类或回归的预处理，还是用于可视化。迄今为止，大多数降维技术都是无监督的;它们不考虑类别标签（例如，PCA、MDS、t-SNE、Isomap）。这样的方法需要大量的数据，并且通常对可能混淆数据中的重要模式的噪声敏感。在考虑辅助注释（例如，类标签）已经成功地实现了提高分类准确性或改进数据可视化的目标。这些监督技术中的许多技术以相似性或相异性矩阵的形式将标签并入损失函数中，从而在类别聚类之间创建过度强调的分离，这并不能真实地表示数据中的局部和全局关系。此外，这些方法往往是敏感的参数调整，这可能是难以配置没有明确的定量概念的视觉优势。在本文中，我们描述了一种新的监督可视化技术的基础上随机森林的接近和基于扩散的降维。我们定性和定量地展示了我们的方法在保留数据中的局部和全局结构方面的优势，同时强调了低维嵌入中的重要变量。重要的是，我们的方法对噪声和参数调整具有鲁棒性，因此使用简单，同时为数据探索提供可靠的可视化。
2020-06-15 cs.HC cs.LG stat.AP
MAPLE: Self-Supervised Learning-Enhanced Nonlinear Dimensionality Reduction for Visual Analysis
Linköping University（林肯大学）；University of Arizona（亚利桑那大学）；Utrecht University（乌得勒支大学）；University of Basel（巴塞尔大学）；Linnaeus University（林奈大学）
MAPLE通过改进流形建模提升UMAP，利用最大流形容量表示有效分离复杂流形，适用于高维数据中的生物或图像数据分析。
2026-09-15 cs.HC cs.LG
RCA: Ride Comfort-Aware Visual Navigation via Self-Supervised Learning
Carnegie Mellon University（卡内基梅隆大学）
在共享自主下，轮椅使用者期望车辆在遵循用户高水平导航计划的同时提供安全舒适的乘坐。为了找到这样的路径，车辆与不同的地形进行协商，并评估其穿越难度。大多数先前的作品通过几何表示或语义分类对周围环境进行建模，这并不反映下游导航任务中感知的运动强度和乘坐舒适性。我们建议使用本体感觉在可通行性分析中明确地建模乘坐舒适性。我们开发了一个自监督学习框架，利用车辆状态作为训练信号，从第一人称视角图像预测可通行性成本图。我们的方法估计如何车辆会觉得，如果穿越基于地形外观。然后，我们展示了我们的导航系统提供了人类首选的乘坐舒适性，通过机器人实验与人类的评价研究。
2022-07-29 cs.AI cs.RO
Self-supervised learning for audio-visual speaker diarization
Tencent AI Lab（腾讯人工智能实验室）
说话人日志化（Speaker Diarization）是一种寻找特定说话人的语音片段的方法，在以人为中心的应用中得到了广泛的应用，如电视会议或人机交互系统。在本文中，我们提出了一个自我监督的音频视频同步学习方法来解决说话人日记化的问题，而无需大量的标记工作。我们通过引入两个新的损失函数：动态三重损失和多项式损失来改进以前的方法。我们在一个真实的人机交互系统上对它们进行了测试，结果表明我们的最佳模型产生了+8%F1分数的显着增益以及日志错误率的降低。最后，我们介绍了一个新的大规模音视频语料库，旨在填补汉语音视频数据集的空缺。
2020-02-13 cs.LG cs.MM cs.SD
Physics-Aligned Self-Supervised Learning for Scientific Imaging
Institute for Materials Data Science and Informatics (IAS-9), Forschungszentrum Jülich GmbH（于利希研究中心材料数据科学与信息学研究所（IAS-9））
本研究针对科学成像的物理测量特性，提出了一套物理对齐的自监督学习增强设计流程，在五种SSL范式的分类和回归任务中显著提升了下游性能。
2026-08-03 cs.CV
Corrupted Image Modeling for Self-Supervised Visual Pre-Training
Huazhong University of Science & Technology（华中科技大学）；Microsoft Research（微软研究院）
我们引入了用于自我监督视觉预训练的损坏图像建模（CIM）。CIM使用一个带有小的可训练BEiT的辅助生成器来破坏输入图像，而不是使用人工[MASK]令牌，其中一些补丁被随机选择并替换为从BEiT输出分布中采样的合理替代品。给定这个损坏的图像，增强器网络学习恢复所有原始图像像素，或者预测每个视觉标记是否被生成器样本替换。生成器和增强器同时训练并协同更新。在预训练之后，增强器可以用作下游任务的高容量视觉编码器。CIM是一个通用的、灵活的可视化预训练框架，适用于各种网络架构。CIM第一次证明了ViT和CNN都可以使用统一的非暹罗框架来学习丰富的视觉表示。实验结果表明，我们的方法在视觉基准测试中取得了令人信服的结果，如ImageNet分类和ADE 20 K语义分割。
2023-03-16 cs.AI cs.CV cs.LG
Semi-Supervised and Unsupervised Deep Visual Learning: A Survey
University of Tübingen（图宾根大学）；University of Surrey（萨里大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
最先进的深度学习模型通常使用大量昂贵的标记训练数据进行训练。然而，需要详尽的手动注释可能会降低模型在有限标签制度中的泛化能力。半监督学习和无监督学习为从大量未标记的视觉数据中学习提供了有前途的范例。这些范式的最新进展表明，利用未标记数据来改进模型泛化并提供更好的模型初始化具有强大的好处。在本调查中，我们从统一的角度回顾了最近用于视觉识别的半监督学习（SSL）和无监督学习（UL）的高级深度学习算法。为了全面了解这些领域的最新技术，我们提出了一个统一的分类法。我们对现有的代表性SSL和UL进行了全面而深入的分析，以突出其在不同学习场景和不同计算机视觉任务中的应用中的设计原理。最后，我们讨论了SSL和UL的新兴趋势和开放性挑战，以阐明未来的关键研究方向。
2022-08-24 cs.AI cs.CV cs.LG
Transfer Learning for Fine-grained Classification Using Semi-supervised Learning and Visual Transformers
Amazon（亚马逊）
本文提出Semi-ViT，一种基于半监督学习微调的Visual Transformers模型，解决细粒度分类中标注数据稀缺的问题，实验证明其优于传统CNN和ViT。
2023-05-17 cs.AI cs.CV cs.LG
Weakly-supervised Discovery of Visual Pattern Configurations
University of California, Berkeley（加州大学伯克利分校）
随着弱标记数据的日益突出，对能够应对最小监督的目标检测方法的需求不断增长。我们提出了一种方法，自动识别的视觉模式的特征是一个给定的对象类的歧视性配置。我们制定的问题作为一个受约束的子模块优化问题，并证明了发现的配置在纠正错误定位和寻找信息丰富的积极和消极的训练样本的好处。总之，这些导致了具有挑战性的PASCAL VOC数据集上最先进的弱监督检测结果。
2014-06-25 cs.CV cs.LG
Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation
Indian Institute of Technology, Gandhinagar（甘地讷格尔印度理工学院）
在过去的十年里，我们见证了监督学习范式的巨大增长。监督学习需要大量的标记数据来达到最先进的性能。然而，标记样本需要大量的人工注释。为了避免标记数据的成本，提出了自监督方法来利用大量可用的未标记数据。本研究对特征表征的自我监督范式的最新发展进行了全面而深入的调查和分析。在本文中，我们调查的因素影响的有用性，自我监督在不同的设置。我们提出了一些关于自我监督，生成和对比方法的两种不同方法的关键见解。我们还研究了监督对抗训练的局限性，以及自我监督如何帮助克服这些局限性。然后，我们继续讨论有效地使用视觉任务的自我监督的局限性和挑战。最后，我们强调了一些开放的问题，并指出未来的研究方向。
2021-11-03 cs.CV cs.LG
Naturally Supervised 3D Visual Grounding with Language-Regularized Concept Learners
Stanford University（斯坦福大学）
本文提出语言正则化概念学习器LARC，利用从大语言模型蒸馏的语言约束正则化神经符号学习，在仅用3D场景和问答对的自然监督设置下提升3D视觉定位与推理性能。
2024-04-30 cs.AI cs.CL cs.CV
Semi-Supervised Audio-Visual Video Action Recognition with Audio Source Localization Guided Mixup
Artificial Intelligence Graduate School（人工智能研究生院）；Ulsan National Institute of Science & Technology（蔚山国家科学技术研究院）
针对半监督视频动作识别中单一模态的局限性，提出同时利用视觉和音频的视听半监督框架，并引入考虑跨模态关系的声源定位引导 Mixup 方法，在多个数据集上取得卓越性能。
2025-03-04 cs.AI cs.CV
Self-supervised Contrastive Learning for Audio-Visual Action Recognition
Sun Yat-sen University（中山大学）
音频和视觉模态之间的潜在相关性可以用于学习未标记视频的监督信息。在本文中，我们提出了一个端到端的自我监督框架，名为视听对比学习（AVCL），学习有区别的视听表示动作识别。具体来说，我们设计了一个基于注意力的多模态融合模块（AMFM）融合音频和视觉模态。为了对齐异构视听模态，我们构建了一个新的相关引导表示对齐模块（CGRA）。为了从未标记的视频中学习监督信息，我们提出了一种新的自监督对比学习模块（SelfCL）。此外，我们建立了一个新的视听动作识别数据集，名为Kinetics-Sounds 100。在Kinetics-Sounds 32和Kinetics-Sounds 100数据集上的实验结果表明，我们的AVCL在大规模动作识别基准上优于最先进的方法。
2023-03-20 cs.CV
SC-ML: Self-supervised Counterfactual Metric Learning for Debiased Visual Question Answering
Nanjing University of Information Science and Technology（南京信息工程大学）；Inria（法国国家信息与自动化研究所）；Universite Paris-Saclay（巴黎萨克雷大学）；Southeast University（东南大学）
针对VQA中的语言偏置问题，提出自监督反事实度量学习方法SC-ML，通过自适应选择问题相关视觉特征并融入反事实训练方案，在VQA-CP数据集上有效提升了模型去偏性能与鲁棒性。
2023-04-04 cs.AI cs.CV
Do Self-Supervised and Supervised Methods Learn Similar Visual Representations?
Apple（苹果公司）
尽管最近的一些视觉自我监督深度学习技术取得了成功，但对最终学习到的表示的研究有限。通过利用神经表征比较的最新进展，我们在这个方向上进行了探索，通过比较一个对比的自监督算法，以监督简单的图像数据在一个共同的架构。我们发现，这些方法通过不同的方式学习类似的中间表示，并且表示在最后几层中迅速发散。我们调查了这种分歧，发现这些层非常适合他们不同的学习目标。我们还发现，在中间层的对比目标隐含地适合监督的目标，但反过来是不正确的。我们的工作特别强调了学习的中间表示的重要性，并提出了辅助任务设计的关键问题。
2021-12-02 cs.CV cs.LG stat.ML
Self-supervised vision-language pretraining for Medical visual question answering
Harbin Engineering University（哈尔滨工程大学）；Monash University（莫纳什大学）
医学图像视觉问答（VQA）是在给定的射线图像下回答临床问题的任务，这是一个具有挑战性的问题，需要一个模型来集成视觉和语言信息。为了解决训练数据数量有限的医学VQA问题，预训练-微调范式被广泛用于提高模型的泛化能力。在本文中，我们提出了一种自监督的方法，应用掩码图像建模，屏蔽语言建模，图像文本匹配和图文对齐通过对比学习（M2 I2）的预训练的医学图像字幕数据集，并微调到下游的医学VQA任务。所提出的方法在所有三个公共医疗VQA数据集上实现了最先进的性能。我们的代码和型号可在https://github.com/pengfeiliHEU/M2I2上获得。
2022-11-24 cs.AI cs.CV
Self-Supervision on Images and Text Reduces Reliance on Visual Shortcut Features
Harvard-MIT（哈佛-麻省理工学院）；Harvard Medical School（哈佛医学院）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）
以完全监督方式训练的深度学习模型已被证明依赖于所谓的“快捷方式”特征。训练特征是与训练数据中的感兴趣的结果相关联的输入，但是在测试或部署设置中不再相关联或不存在。在这里，我们提供的实验表明，最近在图像和文本上训练的自监督模型提供了更强大的图像表示，并减少了模型对现实医学成像示例中视觉快捷功能的依赖。此外，我们发现，当对标记数据进行微调时，这些自监督模型比完全监督模型更快地“忘记”快捷功能。虽然不是一个完整的解决方案，但我们的实验提供了令人信服的证据，证明在图像和文本上训练的自监督模型对视觉快捷功能提供了一些弹性。
2022-07-10 cs.CV cs.LG
Learning Online Visual Invariances for Novel Objects via Supervised and Self-Supervised Training
University of Bristol（布里斯托大学）
人类可以识别物体的各种空间变换，如规模和观点。这延伸到新颖的对象，在单个姿势的单个呈现之后，有时被称为在线不变性。CNN已经被提出作为人类视觉的一种引人注目的模型，但它们识别跨转换对象的能力通常是在经过广泛的数据增强后，在训练类别的保持样本上进行测试的。本文评估了标准CNN是否可以通过训练模型来识别经历几种变换的合成3D对象的图像来支持类似人类的在线不变性：旋转，缩放，平移，亮度，对比度和视点。通过分析模型的内部表示，我们表明，在变换对象上训练的标准监督CNN可以在新类上获得强不变性，即使在训练时只需要从10个类中选取50个对象。这扩展到真实物体照片的不同数据集。我们还表明，这些不变性可以获得在一个自我监督的方式，通过解决相同/不同的任务。我们认为，后者的方法可能类似于人类如何获得不变性。
2022-01-14 cs.AI cs.CV
Visual Delta Generator with Large Multi-modal Models for Semi-supervised Composed Image Retrieval
Meta AI；Korea University（高丽大学）；University of Central Florida（中佛罗里达大学）
提出半监督CIR方法，利用大型语言模型驱动的Visual Delta Generator生成伪三元组，显著提升组合图像检索性能并达到SOTA。
2024-04-23 cs.AI cs.CV
UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual Representation Learning
Tencent Wechat AI（腾讯微信AI）；South China University of Technology（华南理工大学）
动量对比度（MoCo）在无监督视觉表示方面取得了巨大的成功。然而，有很多监督和半监督数据集已经被标记。为了充分利用标签注释，我们提出了统一动量对比（UniMoCo），它扩展了MoCo以支持任意比例的标记数据和未标记数据训练。与MoCo相比，UniMoCo有以下两个改进：（1）与MoCo中的单个正对不同，我们通过将查询标签与标签队列进行比较来动态维护多个正对。(2)我们提出了一个统一的对比（UniCon）损失，以支持任意数量的积极和消极的统一成对优化的角度。我们的UniCon算法在理论和实践上都比监督对比损失算法更加合理和有效。在我们的实验中，我们使用不同比例的ImageNet标签预训练多个UniMoCo模型，并评估各种下游任务的性能。实验结果表明，UniMoCo对无监督、半监督和有监督的视觉表示学习都有很好的泛化能力。
2021-03-19 cs.CV
How Useful is Self-Supervised Pretraining for Visual Tasks?
Princeton University（普林斯顿大学）
最近的进展在自我监督的视觉预训练方面取得了令人难以置信的进展。我们调查哪些因素可能发挥作用，这些预培训方法的实用性从业者。为此，我们在一系列综合的合成数据集和下游任务中评估了各种自监督算法。我们准备了一套合成数据，可以无休止地提供注释图像，并完全控制数据集的难度。我们的实验提供了洞察自我监督的效用如何随着可用标签数量的增长而变化，以及效用如何随着下游任务和训练数据的属性而变化。我们还发现，线性评价与微调性能无关。代码和数据可在\href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy}上获得。
2020-03-31 cs.CV cs.LG
Can Semantic Labels Assist Self-Supervised Visual Representation Learning?
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）
近年来，对比学习极大地推动了无监督视觉表示学习的发展。在ImageNet上进行预训练后，与完全监督的方法相比，一些自监督算法报告了更高的迁移学习性能，似乎传递了这样一个信息，即人类标签几乎无助于学习可迁移的视觉特征。在本文中，我们为语义标签的有用性辩护，但指出全监督和自监督方法追求不同类型的特征。为了缓解这个问题，我们提出了一个新的算法命名为监督对比调整邻域（SCAN），最大限度地防止语义指导破坏外观特征嵌入。在一系列的下游任务中，SCAN实现了比以前的全监督和自监督方法更优越的性能，有时增益是显著的。更重要的是，我们的研究表明，语义标签在辅助自我监督方法方面很有用，为社区开辟了一个新的方向。
2020-11-17 cs.CV
